大数据架构师的主要职责说明

大数据架构师的主要职责说明

大数据架构师负责解决核心技术问题，对技术方案进行决策。下面是小编为您精心整理的大数据架构师的主要职责说明。

大数据架构师的主要职责说明1

职责：

1、负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;

2、负责公司项目的整体评估、设计、架构及关键模块的开发;

3、负责架构优化，协助团队解决开发过程中遇到的技术难题;

4、负责新技术的调研和大数据相关开源组件的研究，并能在团队进行推广应用;

5、参与数据分析、数据建模、项目核心模块及核心框架的开发;

6、负责大数据平台的性能条有和问题诊断。

任职要求：

1、计算机相关专业，本科及以上学历，3-5年以上工作经验，2-3年大数据相关经验;

2、具有扎实的大数据和数据仓库理论功底，负责过大数据平台或数据仓库设计;

3、对基于Hadoop的大数据体系有深入的认识，具备相关产品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)项目应用研发经验，有Hadoop集群搭建和管理经验，度过Hadoop和Spark源码;

4、熟悉Linux和Python语言，了解Scala原理和底层技术;

5、熟悉分布式系统的架构及对其进行设计和优化，对海量数据的清晰、分析处理及存储有相关的实战经验;

6、算法基础扎实，熟悉常见的数据结构，深入理解分布式算法和以上提到的分布式系统，

7、必须有一线coding的能力;

8、有统计学、数学知识，海量数据处理、分析和挖掘，大型互联网公司从业经历着优先。

大数据架构师的主要职责说明2

职责：

1. 负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策

2. 参与数据挖掘和建模相关核心算法的代码实现

3. 负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施

5. 负责数据库设计、应用架构设计、核心技术选型等工作

6. 协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行

7. 培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题

任职要求：

1. 熟悉大数据和数据仓库的系统架构设计方法

2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

3. 熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验

4. 熟练使用JAVA，具有大规模分布式系统调优经验

5. 熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;

6. 具备良好的团队合作精神，对工作充满激情。

7. 熟悉FusionInsight平台开发经验者优先

大数据架构师的主要职责说明3

职责：

(1) 负责公司大数据平台搭建，相关的设计和技术开发工作，负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

(2) 通过数据分析技术，挖掘有利于营销中各业务场景的变量或规则类标签，以提升模型效果，为文旅、教育业务提供数学模型理论及编程支撑;