大数据开发工程师的基本职责

大数据开发工程师的基本职责

大数据开发工程师负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作。下面是小编整理的大数据开发工程师的基本职责。

大数据开发工程师的基本职责1

职责：

1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作

2、与交易员对接，制定切实可行的的策略测试计划，开展新策略模型的开发和验证

3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化

4、上级交办的其他工作

任职要求：

1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础

2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先

3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验;

4、对数字货币领域感兴趣，结果导向;

5、有网页抓取和爬虫程序编写经验者优先。

大数据开发工程师的基本职责2

职责：

1、大数据日志分析系统的设计，选型和开发;

2、配合各业务给予数据支持，对产品和运营数据总结和优化;

3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，完成分析结果;

4、发现并指出数据异常情况，分析数据合理性;

5、公司大数据基础架构平台的运维，保障数据平台服务的稳定性和可用性;

6、大数据基础架构平台的监控、资源管理、数据流管理;

7、基于数据分析的可预测的云平台弹性扩展解决方案。

1、日志分析数据系统实际经验;

2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark 分析海量数据的能力;

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安装与调试;

4、熟悉大数据周边相关的数据库系统，关系型数据库和NoSQL。

5、掌握Linux 操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，以及优秀的学习能力。

大数据开发工程师的基本职责3

职责：

1、负责数据分析、加工、清理、处理程序的开发;

2、负责数据相关平台的搭建、维护和优化;

3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;

1、本科学历须211院校以上，硕士及以上学历不限院校，计算机软件及相关专业

2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识;

3、熟练使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底层框架和实现原理;

4、使用Spark Streaming和Spark SQL进行数据处理, 并具有SPARK SQL优化经验;

5、需要有至少2年开发经验,有flink开发经验优先;

6、学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力。

大数据开发工程师的基本职责4

职责:

1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;

2、对各种开源框架进行深入的代码剖析和优化;