大数据开发工程师岗位的职责描述

大数据开发工程师岗位的职责描述

大数据开发工程师负责大数据体系架构设计和应用产品的研究。以下是小编整理的大数据开发工程师岗位的职责描述。

大数据开发工程师岗位的职责描述1

职责：

1、负责异构数据系统和大数据平台的集成与融合;

2、负责数据挖掘算法的设计及对海量数据进行挖掘分析;

3、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统开发;

4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模;

5、参与数据平台各系统的性能分析与系统优化，不断提高系统运行效率;

6、完成领导交办的其他任务。

任职资格：

1、计算机及其相关专业，大专及以上学历。两年以上大数据应用经验;

2、具备实时处理框架的设计和开发能力，熟练掌握Storm、Spark streaming等大数据实时处理框架中的一种;

3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr 等相关技术;

4、熟悉Scala、熟悉Linux开发环境，能进行shell脚本的编写;

5、具有较强的逻辑分析能力，高度的责任心及团队合作精神;

6、具有实际大数据项目的成功经验者优先考虑。

大数据开发工程师岗位的职责描述2

职责

1、参与大规模数据快速查询系统的架构设计和开发;

2、大规模数据挖掘和机器学习算法的实现;

3、在线和离线海量数据分析平台的开发;

4、研究大数据前沿技术，提升系统的运维效率;

5、实现大数据基础架构平台的自动化运维。

任职资格

1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux;

2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先;

3、熟练地处理数据模型、数据ETL以及存储管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先;

5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;

6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。

大数据开发工程师岗位的职责描述3

职责：

1、参与南方电网软件产品(项目)前/后台服务开发，要求高性能、高可用、高并发;

2、独立完成产品模块(项目)核心代码开发、业务代码开发、系统性能调优等工作;

3、根据分配任务制定开发计划并按时完成相应模块的设计、开发和单元测试;

4、参与产品(项目)相关系统需求分析以及撰写相关系统设计文档;

要求：

1. 五年左右大数据研发岗位工作经验

2、丰富大数据开发经验：熟悉企业大数据常用技术，熟悉Spark、Flume、Hbase、Hadoop、Kafka，ES技术;

3、具有大型应用系统开发经验，具有分布式、高并发、高性能等架构经验，具有一定团队管理经验者优先;

4、了解J2EE技术平台及主流框架，具有SpingMVC、SpringBoot、Spring cloud、Mybatis、Redis等框架开发经验;

5、了解HTML5,CSS3,JavaScript,Ajax,jQuery等Web前端技术，熟悉jQuery、Bootstrap、AngularJS，VUE等主流前端JS框架中的一种;

大数据开发工程师岗位的职责描述4

职责：

1、负责大数据ETL开发与维护;