大数据采集工程师招聘

发布时间：2025-06-05 09:45:09 | 责任编辑：吴昊 | 浏览量：22 次

以下是根据最新招聘信息整理的大数据采集工程师的招聘情况：

岗位职责

• 数据采集与处理：负责从多种数据源（如互联网、数据库、传感器等）采集数据，并进行清洗、预处理、存储等工作，确保数据的质量和可用性。

• 系统开发与维护：设计和开发数据采集系统，优化采集效率，维护采集站点，解决数据采集过程中遇到的技术难题。

• 数据质量监控：监控数据质量，提出改进建议和方案。

• 数据分析与挖掘：运用数据分析工具和算法，对采集到的数据进行深入挖掘，发现潜在规律和趋势，为业务提供有价值的见解。

• 跨部门协作：与业务部门、技术团队等进行有效沟通和协作，共同推进项目进展。

技能要求

• 编程语言：至少掌握一门编程语言，如Python、Java、C++等，能够利用这些编程语言编写数据处理程序。

• 数据库操作：熟悉关系型数据库（如MySQL、Oracle等）和非关系型数据库（如MongoDB、Redis等）的操作，具备SQL查询和数据导入导出能力。

• 数据清洗与预处理：能够根据业务需求，对数据进行清洗、去重、填充缺失值等预处理工作。

• 数据挖掘与建模：熟悉常用的数据挖掘算法和建模技术，如决策树、关联规则、神经网络等，并且可以将这些算法应用于实际问题中。

• 数据可视化：熟练使用各种数据可视化工具和技术，如Tableau、PowerBI、ECharts等，能够把数据分析的结果直观地展示给业务人员。

• 网络协议与爬虫技术：熟悉HTTP/HTTPS等网络通信协议，熟悉各种网络请求方式，有网络爬虫相关经验者优先。

• 其他技能：熟悉Linux操作系统，基础命令；熟悉Scrapy、scrapy-redis等开源爬虫框架。

职位信息

• 薪资范围：根据不同的公司和职位要求，薪资范围较广，一般在7-25K之间。

• 工作地点：主要集中在一线城市，如北京、上海、深圳等。

• 学历要求：多数职位要求本科及以上学历，部分职位接受大专学历。

• 经验要求：经验要求从经验不限到3-5年不等，部分职位要求有相关领域的工作经验。

部分公司及职位描述

• 平方和：位于深圳，招聘数据采集工程师，负责机器人项目数据采集与标注，要求具备良好的沟通能力和团队协作能力。

• 中软国际：位于上海闵行区梅陇，招聘数据采集工程师，负责数据采集平台开发、维护工作，参与外部数据项目开发。

• 精诺数据：位于深圳南山区科技园，招聘数据采集工程师，负责爬取国内外社交媒体平台的数据。