大数据工程师的必备技能(经典)

上市公司，官网：https://www.360docs.net/doc/402451548.html,

大数据工程师的必备技能

一、数据可视化

R不仅是编程语言，同时也R具有强大的统计计算功能和便捷的数据可视化系统。在此，推荐大家看一本书，这本书叫做《R数据可视化手册》。《R数据可视化手册》重点讲解R的绘图系统，指导读者通过绘图系统实现数据可视化。书中提供了快速绘制高质量图形的150多种技巧，每个技巧用来解决一个特定的绘图需求。

Python 出现了很多新的Python数据可视化库，弥补了一些这方面的差距。matplotlib 已经成为事实上的数据可视化方面最主要的库，此外还有很多其他库，例如vispy，bokeh，seaborn，pyga，folium 和networkx，这些库有些是构建在matplotlib 之上，还有些有其他一些功能。

ECharts和D3.js 是基于HTML5 的两个纯Javascript图表库，它们提供直观，生动，可交互，可个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验，赋予了用户对数据进行挖掘、整合的能力。其拥有混搭图表、拖拽重计算、制作数据视图、动态类型切换、图例开关、数据区域选择、值域漫游、多维度堆积等非常丰富的功能。

Excel中大量的公式函数可以应用选择，使用Microsoft Excel可以执行计算，分析信息并管理电子表格或网页中的数据信息列表与数据资料图表制作，可以实现许多方便的功能，带给使用者方便。事实上，Excel完全可以满足大家日常工作中图表制作和数据可视化的需求，所以，想要进入大数据行业，学好Excel是基础。

二、机器学习

机器学习的基础包括聚类、时间序列、推荐系统、回归分析、文本挖掘、决策树、支持向量机、贝叶斯分类和神经网络。这些基础知识光是听到名字就觉得深不可测，但是如果具备了统计学和概率学的基础知识，就能够轻松掌握这些高深莫测的名词。因此，建议在进行机器学习之前，先进行统计学和概率学的学习是非常有必要的。

上市公司，官网：https://www.360docs.net/doc/402451548.html,

完成了统计学和概率学的基础学习之后，之后就可以选择一两款机器学习工具来实战练习了，谷歌的TensorFlow和百度的百度大脑都是非常优秀的机器学习框架。

三、算法

对于程序员来说算法并不会太陌生，首先要了解什么是数据结构，它包括栈、队列、链表、散列表、二叉树、红黑树、B树。之后就要学习常用算法了，常用算法包括：排序（插入排序、桶排序、堆排序、快速排序）、最大子数组、最长公共子序列、最短路径和矩阵的存储运算。

最后，掌握几款常用的数据分析挖掘软件，比如MATLAB、SPSS和SAS。

【报名信息】

最新开班时间：2017.6.26

电脑报名地址：https://www.360docs.net/doc/402451548.html,/

手机报名地址：https://www.360docs.net/doc/402451548.html,/mobile/

了解最新课程及报名优惠信息，请访问光环大数据官方网站：https://www.360docs.net/doc/402451548.html,

学大数据，就来光环大数据！16年老品牌，上市机构有保障！

大数据工程师简历模板标准版

大数据工程师简历模板标准版张* 居住地：北京 E-mail：最近工作[1年6个月] 公司：XX有限公司行业：房地产开发职位：数据分析工程师最高学历学历：本科专业：电子商务学校：北京外国语大学求职意向到岗时间：一个月之内工作性质：全职希望行业：房地产开发目标地点：北京期望月薪：面议/月目标职能：数据分析工程师工作经验

2013/6—2014/12：XX有限公司[1年6个月] 所属行业：房地产开发信息部数据分析工程师 1.房产二手市场业务数据整理分析、各门店业绩情况整理分析; 3.参与公司数据仓库开发; 4.参与开发过程中的各项工作; 2012/8—2013/5：XX有限公司[9个月] 所属行业：快速消费品信息部首席信息官CIO 2.建立信息管理系统，从业务调研，系统开发，到后期实施全程主导参与; 2007/9—2012/6北京外国语大学电子商务本科证书语言能力英语(良好)听说(良好)，读写(良好) 基本情况姓名性别女出生日期 1985.11.21 民族汉族

婚姻状况已婚教育程度本科工作年限 4年群众现有职称无户口所在地山东省青岛市现居住地青岛市联系方式电子邮箱求职意向期望从事职位：数据分析师期望工作地点：青岛市自我评价 2、熟练掌握常用的数据挖掘方法，算法和相关工具、熟练使用SAS软件; 3、数据处理能力很强，熟练使用Office软件; 工作经历

单位性质：合资所任职位：数据分析师工作地点：青岛市职责描述： 1、根据业务需求，制定用户使用行为数据的采集策略，设计、建立、测试相关的数据模型，从而实现从数据中提取决策价值，撰写分析报告; 2、跟踪并分析客户业务数据，为客户的发展进行决策支持; 3、完成对海量信息进行深度挖掘和有效利用，充分实现数据的商业价值; 4、支持微博事业部等产品部门下的运营，产品，研发，市场销售等各方面的数据分析，处理和研究的工作需求。单位性质：国企所任职位：数据分析助理工作地点：青岛市职责描述： 1、完成对行业销售及相关数据的分析、挖掘，熟练制作数据报表、撰写评估分析报告; 2、独立完成用户行为特征与规律的分析，关注市场动态与风险，为产品方向提出合理建议; 3、在分析师的指导下构建公司业务领域数据分析与挖掘模型和方法论; 5、完成数据分析相关的需求调研、需求分析等。项目经验项目职责：

从职场角度解读大数据工程师及岗位现状

从职场角度解读大数据工程师及岗位现状手机微信关注公众号ID：datadw 学习数据挖掘，研究大数据，关注你想了解的，分享你需要的大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。这群人在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英（LinkedIn）和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。不过在国内，大数据的应用才刚刚萌芽，人才市场还不那么成熟，“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板，招聘能和现有团队互补的人才。”领英（LinkedIn）中国商务分析及战略总监王昱尧对《第一财经周刊》说。于是每家公司对大数据工作的要求不尽相同：有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此，很多公司会针对自己的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：数据挖掘

工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title，我们将其统称为“大数据工程师”。王昱尧认为，在一个成熟的数据驱动型公司，“大数据工程师”往往是一个团队，它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全过程。这个团队中可能包括数据工程师、分析师、产品专员、市场专员和商业决策者等角色，共同完成从原始数据到商业价值的转换—概括来讲，这是一个支持企业做出商业决策、发掘商业模式的重要群体。由于国内的大数据工作还处在一个有待开发的阶段，因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架，包括要有计算机编码能力、数学及统计学相关背景，当然如果能对一些特定领域或行业有比较深入的了解，对于其快速判断并抓准关键因素则更有帮助。虽然对于一些大公司来说，拥有硕博学历的公司人是比较好的选择，不过阿里巴巴[微博]集团研究员薛贵荣强调，学历并不是最主要的因素，能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。除此之外，一个优秀的大数据工程师要具备一定的逻辑分析能力，并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的，哪个是重要的，使用什么样的数据是最有价值的，如何快速找到每个业务最核心的需求。”

工程师岗位职责范本(共7篇)

篇一：总工程师岗位职责总工程师岗位职责 1、负责贯彻国家、军队关于军工产品等方面的有关法律法规和技术要求。 2、负责公司产品工艺、技术改造等方面的管理工作。 3、熟悉公司的生产技术状况，掌握同行业技术发展动态，推动新技术的应用。 4、组织解决生产过程中的技术问题。 5、负责公司技术文件的审查、批准。 6、负责监督检查分管部门的质量职责和体系运行情况。篇二：电子开发工程师岗位职责 4电子开发工程师图片已关闭显示，点此查看篇三：网络工程师岗位职责 1、负责网络管理中心的日常工作。协助主管领导制定网络管理中心工作计划和网络管理有关办法。 2、协助主管领导组织制订网络建设规划，系统网络的拓扑图的建立和完善，拓展网络管理信息中心业务。 3、负责网络管理中心各项工程的实施。 4、负责协调解决所有用户网络使用中的问题。 5、负责网络管理中心工作人员的队伍建设。 6、负责机房服务器，网络设备及软件的部署及正常运行，并做好运行记录。 7、负责用户帐号的管理，提供包括开户、修改、暂停、注销等服务。 8、负责计算机网络资料的整理和归档。备份主要信息资源，为数据安全提供保障。 9、负责主干线路网络设备，电话交换机，语音设备，门禁设备，监控设备，考勤设备检查维护。 10、定期对计算机网络的效能进行评价，提出网络结构、网络技术和网络管理的改进措施。 11、负责各部门人员的信息技术培训，以及技术咨询和疑难解答。 11、与网络设备，网络营运等厂商协调处理给类设备故障。 12、负责办公设备，网络设备购买申报，维修跟进，更换等工作。 13、协助处理桌面端出现的一切故障。 14、完成主管领导交办的其它工作 1、负责电脑设备,桌面端网络设备，打印机，投影仪等设备日常安装维护。 2、负责公司计算机操作系统，erp系统，oa系统，邮件系统，等桌面应用安装维护。 3、负责接待并处理终端用户报告的网络通信故障。 4、负责客户端电脑系统漏洞修复，病毒查杀。 5、负责计算机，网络，门禁，电话，监控，考勤等硬件设备的维护和保养 6、保证计算机的正常运行，每天应对设备进行常规检测，发现问题及时查找原因并修复，不能修复的要及时上报维修。 7、负责各类故障统计，并作好汇总。 8、负责it类资产管理。 9、协助处理各类，服务器，网络等弱电设备出现的故障 10、协助系统网络的拓扑图的建立和完善，提出网络结构、网络技术和网络管理的改进措施 11、完成主管领导交办的其它工作.

大数据工程师和普通的程序员区别

大数据工程师和普通的程序员区别 Company Document number：WUUT-WUUY-WBBGB-BWYTT-1982GT

问你个问题：你是不是曾无数次下定决心要做大数据工作，但因为不知如何开始而放弃是不是曾经去面试过大数据工作，但因为没有经验缕缕碰壁你在公司里表现很好，布置的任务总是能又好又快的完成，但两年来你的工资一直是1万3，多次跟领导提出加薪，结果领导每次都是哦哦哦知道了。你心里知道，现在的工作遇到了瓶颈，薪资想要有50%以上的增长已经很难了，能做的也只有转行。最近，身边几个程序员朋友都在学Spark、Hadoop等相关知识，仿佛不紧跟时代步伐，就会被随时甩出半条街的节奏;而打开知乎，诸如“怎样进行大数据的入门学习”“JavaWeb程序员如何转型大数据”之类的话题也屡受关注。麦肯锡公司报告指出，大数据、人工智能方面人才紧缺，需求量激增。自己有技术优势，而且大数据行业也非常缺人，现在入行正是最合适的时候。那么大数据之火热依赖于什么 1.技术日渐成熟，应用空间得以拓展大数据技术，最早于1980年被首次提及，却在近几年才获得突飞猛进的发展。相较于几十年前神经网络算法捉襟见肘的计算能力，如今处理器对大规模数据的高速处理能力无疑发挥了关键性的作用。借助于处理器的高性能，使我们短时间内完成PB级数据的机器学习和模型训练成为可能，由此为高度依赖深度学习的图像、语音识别产品的快速迭代奠定基础，大数据应用空间得以拓展，也由此催生了提供相关产品与服务的技术公司。 2.重视数据资产，数据挖掘已成必然现代信息技术使每日产生的数据量呈指数级增长，企业发展再也无法回避对数据价值的挖掘与利用。 3.技术催生业务新模式，蕴含创业新契机大数据产业链，催生出针对不同版块提供产品和服务的业务组合新模式，无论是利用推荐算法做内容服务的今日头条，还是基于数据整合提供监测服务的TalkingData，或者是提供底层架构支持的阿里云，无不是发觉了大数据产业链条所蕴含的创业先机。 4.市场供不应求，岗位挑战空间大

大数据开发工程师的具体职责

大数据开发工程师的具体职责大数据开发工程师负责公司项目应用监测数据，分析软件大数据平台的代码开发。下面是小编整理的大数据开发工程师的具体职责。大数据开发工程师的具体职责1 职责: 1、负责公司大数据平台数据处理工具ETL、流处理平台等建设，功能规划，平台演进，维护调优等; 2、结合公司业务特征，负责公司数据仓库规划、数据仓库建设、数仓管理等; 3、负责大数据处理技术研究及新技术引进，参与超大规模实时/离线数据计算框架，存储、查询、可视化解决方案的设计，研发; 4、负责公司业务数据仓库模型建设及全业务数据域打通; 5、负责BI报表和可视化项目，和客户深度沟通，理解客户的业务挑战，提供解决方案，制定开发计划并执行，支持各单位日常数据需求和任务; 任职资格: 1、熟练掌握关系型数据库,例如：Oracle、Mysql、Vertica等;熟悉NoSql数据库，例如HBase、Redis、MongodDB 等;具备丰富的数据库管理和运维调优经验; 2、熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、

主数据管理，数据打通等; 3、有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm; 4、精通数据预处理、检验、清洗、分析方法，精通各种常用统计检验方法;熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，如Java、Python、Shell和scala 等; 5、精通Linux，熟悉日常运维、搭建常见服务器、定位解决日常问题的能力，具备ETL开发经验优先; 6、良好的语言沟通与表达能力，有丰富的数据开发经验，较强的数据、平台、技术理解能力; 7、具备数学类、计算机类等相关专业统招本科及以上学历，具有3年及以上大数据开发工作经验，有互联网行业背景优先。大数据开发工程师的具体职责2 职责： 1、在hadoop平台进行hive/hbase/spark开发; 2、处理公司大数据平台产品的技术工作，包括存储、处理、分析、挖掘、架构设计、研发工作; 3、熟悉设计、构建和优化基于hadoop/Hbase的存储平台架构; 4、熟悉整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;

大数据工程师面试题

大数据工程师面试题大数据工程师面试，对于很多人来说应该都不陌生了吧，虽说大数据就业前景很好，但想要成功进入名企，并不是一件容易的事情，不仅仅需要专业的技能，还需要你在面试的时候认真准备一下。面试的时候，我们会遇到各种各样的问题，千锋讲师今天就先讲解一下面试经常会遇到的问题，Hadoop是如何工作的？ Hadoop是一个分布式文件系统（Hadoop Distributed File System），简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理。所以说Hadoop解决了大数据如何存储的问题，因而在大数据培训机构中是必须学习的课程，也是面试中面试官非常注重的一个技术点。 Hadoop是如何工作的？ Hadoop是从Google文件系统发源而来，并且他是一个用Java开发的跨平台的应用。核心组件有: Hadoop Common，拥有其他模块所依赖的库和基础

工具，Hadoop分布式文件系统(HDFS)，负责存储，Hadoop YARN，管理计算资源，和Hadoop MapReduce，负责处理的过程。 Hadoop把文件拆成小块并且把他们分发给集群中的节点。然后，它使用打包的代码分发到节点上并行处理数据。这意味着可以处理数据的速度会比使用传统的体系结构的更快。一个典型的Hadoop集群都会有主节点和从节点或者叫工作节点。主节点有一个任务跟踪器，任务调度，名字节点和数据节点组成。从节点通常作为一个数据节点和任务调度器，不过特殊的场景下程序可能只有数据节点然后在其他的从节点进行处理计算。在大的Hadoop集群中，通常会使用一个专用的名字节点来管理HDFS节点的文件系统索引信息，这防止了文件系统的数据丢失和损坏。千锋教育拥有一支的强师队伍，在教学研究方面，我们老师不断的推陈出新，探索更新的教学方式，结合时代所需不断更新课程大纲，加强学生对于知识的理解和运用。千锋讲师对于大数据行业时刻保持一定的敏感性和前瞻性，定期与各大企业的技术官交流分析，掌握大数据的发展动向，不仅仅可以帮助同学们更好的学习大数据技术，还会预测一些大数据工程师面试题，为同学们的就业之路披荆斩棘。关键词：大数据工程师面试题

大数据开发工程师岗位的主要职责概述

大数据开发工程师岗位的主要职责概述大数据开发工程师负责大数据平台的技术和产品的设计、开发、优化和维护。以下是xx整理的大数据开发工程师岗位的主要职责概述。大数据开发工程师岗位的主要职责概述1 职责： 1、规划及建设大数据平台; 2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作; 3、负责分析、挖掘、对抗各种产品安全层面的恶意行为; 4、参与项目的系统设计和核心代码开发，指导和培训其他工程师; 5、整理和提交技术文档，负责核心功能模块的代码编写和测试工作。岗位要求： 1、计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数

据挖掘的相关技术，3年以上大数据开发相关经验; 2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala等一种以上语言; 3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理; 4、精通MapReduce设计方法或Spark计算框架、对NoSQL，Hadoop、Hbase、Spark、Hive等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂问题; 5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等; 6、研读过Hadoop、Hbase、Hive源代码者，能够在特定业务中进行定制改造者优先; 7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。大数据开发工程师岗位的主要职责概述2 职责： 1、参与大数据架构的规划设计，参与业务建模及数据

大数据工程师主要做哪些工作

1、什么是数据工程师数据工程师这个概念其实很模糊，不同的人和公司对它赋予的含义也区别很大，感兴趣的可以看一下多智时代的相关文章。在这里，我们大概聊一下一般意义上的数据工程师在工作中会做什么? 集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么。 2、集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力：Linux。要对Linux比较熟悉，能各种自己折腾着玩。

由于现在的大数据生态系统基本上是JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。 3.ETL ETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。 4.系统开发我们大部分的价值都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，用的较多就是JavaWeb这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下，Sql就跑不掉了，老老实实学一下Sql很必要。如果你也想学习大数据，就来课工场吧！课工场作为专业IT培训机构，专注于

工艺工程师岗位职责

工艺工程师岗位职责 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998

工艺工程师岗位职责根据目前公司的实际情况，结合实际的工作内容，生产车间工艺工程师的岗位职责如下：一、工艺工程师职责范围 1、编制产品的工艺文件，制定材料消耗定额，测定产品生产的标准工时。 2、根据工艺需要，设计并安装工艺装备，负责对工艺设备的验证和改进工作。 3、设计公司、车间工艺平面布置图。 4、新产品批量试制的工艺工装设计，验证产品的批量生产可行性，完善试制报告和有关的工艺资料。 5、负责对员工进行工艺操作的培训和指导，使员工能够熟练掌握产品生产工艺及相关的工艺设备操作。二、具体工作职责 1、根据产品规格、质量要求、生产方式、生产流程，编制产品工艺文件。 2、根据产品的生产方式、生产流程，测定原材料的消耗定额。 3、根据产品的生产流程、人员的操作熟练程度，测定各工序的标准生产工时，换算或测定基础工时（不熟练操作工时）和最佳工时（熟练操作工时）。 4、根据生产工艺流程的需要，设计有效的工艺设备，安装并调试正常。

5、对生产员工进行工艺流程、工艺操作的培训，生产过程中遇到的工艺问题，由工艺工程师负责解决并指导工人进行操作。 6、工艺工程师负责主导车间的工艺设备验证，维持工艺设备的正常运转，并根据生产过程中的具体情况，改进工艺设备，提升生产效率。 7、根据公司的要求，结合生产的工序流转、物料流转，合理设计公司、车间的工艺平面布置图，合理优化生产布局，并负责对生产线进行排布。 8、新产品试制的跟踪、工艺工装的设计，跟踪新产品从试生产转批量试生产、车间正常生产的整个过程。对产品批量生产的可行性进行把控，完善试制报告和相关的工艺资料。 9、对车间所有产品的制成数据、标准工时数据进行ERP系统输入、数据更改等。 10、工艺工程师参与车间项目或者公司项目的建设与实施，协助项目负责人完成项目。 11、公司安排的其它临时性工作。三、职责要求与考核 1、工艺工程师由车间生产经理进行直接管理与考核。 2、工艺工程师需熟悉车间的产品生产工艺、产品生产流程、产品的生产标准工时。 3、生产经理根据工艺工程师的工作完成情况、对车间的贡献情况，每月对工艺工程师进行考核和评价。

大数据开发运用的常用技术

大数据开发运用的常用技术大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术： 1. Java编程技术 Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的！ 2.Linux命令对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令。 3. Hadoop Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop 高级管理等相关技术与操作！ 4. Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce 任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。 5. Avro与Protobuf Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。 6.ZooKeeper ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。 7. HBase HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。 8.phoenix phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

大数据开发工程师需要懂哪些技术

大数据开发工程师需要懂哪些技术想要学习大数据开发，第一件事并不是要找书籍或者是找视频教程，而是要了解一下大数据行业前景，了解一下成为大数据工程师需要具备什么样的能力，掌握哪些技能我当初学习大数据之前也有过这样的问题，作为一个过来人，今天就跟大家聊下大数据人才应该具备的技能。首先我们要知道对于大数据开发工程师需要具备的技能，下面我们分别来说明：用人单位对于大数据开发人才的能力要求有技能要求： 1.精通JAVA开发语言，同时熟悉Python、Scala开发语言者优先； 2.熟悉Spark或Hadoop生态圈技术，具有源码阅读及二次开发工作经验；精通Hadoop生态及高性能缓存相关的各种工具，有源码开发实战经验者优先； 3.熟练使用SQL，熟悉数据库原理，熟悉至少一种主流关系型数据库；熟悉Linux操作系统，熟练使用常用命令，熟练使用shell脚本；熟悉ETL开发，能熟练至少一种ETL（talend、kettle、ogg等）转化开源工具者优先；

4.具有清晰的系统思维逻辑，对解决行业实际问题有浓厚兴趣，具备良好的沟通协调能力及学习能力。以上就是想要成为大数据人才需要具备的技能那么如何具备这些能力，怎么学习了，对于大多数人来说，目前只有通过参加大数据的培训，才能够系统的掌握以上的大数据技能，从而胜任大数据工程师的工作。千锋大数据培训课程是“技术+管理”的集合，千锋大数据课程，不仅要提高学员对理论的认识，重点是强调学员的动手能力以及实战经验的累积。也就是说千锋大数据课程培训是在沿袭普通高校大体教学模式的基础上，结合新的教改方案，提高了专业课和实践教学内容在整个教学体系中的比重，让学生在学完大数据之后就能直接去企业上手项目开发。想学习大数据的同学们，快来吧！千锋为你准备了长达两周的免费试听课程等你慢慢考虑！

项目工程师岗位职责(共11篇)

篇一：项目工程师岗位职责项目工程师岗位职责 1、在项目部经理的领导下主管项目施工技术、质量、安全工作，协助项目部经理抓好施工生产进度。 2、负责项目土建专业图纸会审及工程变更的组织与确认落实，对存在的设计问题及时与设计人员沟通。 3、编制工程项目施工组织设计及相关专项方案，施工组织设计编制及专项方案编写严格按照公司制度规定及时报批整改完善。 4、根据现行施工验收规范及施工组织设计（方案），结合现场实际情况，对各分部分项工程施工班组进行技术交底，技术交底以书面形式存档，交底人与接底人必须签字确认。 5、负责日常施工测量、现场试验、图纸管理、技术资料管理，现场高程控制点、坐标控制点熟知并妥善保护。负责编制试验计划并跟踪落实，记录施工日志，对图纸技术资料加强责任管理。 6、负责现场技术问题的处理、协调，定期如实全面向主任工程师汇报工作情况，能指导各专业分包单位的技术管理。 7、参加隐蔽工程验收，审核隐蔽验收工程资料的真实性和正确性，做到资料与工程进度同步。 8、制定项目质量目标和质量控制措施，过程中跟踪落实。准确把握质量验收规范，提高总结并解决问题的管理水平；对质量问题积极进行技术攻关，在qc小组中发挥带头作用。 9、戒骄戒躁，端正工作态度，刻苦学习深造，重视平时积累，业务素质必须上水平。 10、积极参与公司科技项目建设，做“四新技术” 的推广人。 11、凡事有计划，工作要有计划，个人职业要有规划，工作中不盲目，做到主动性去工作，摒弃“等、靠、要”的被动工作方法。 12、计划制定后要讲效率，对计划的执行要行动迅速，不拖泥带水，不敷衍应付。 13、技术工作要严谨，要虚心，不做表面文章，踏踏实实做好点滴工作，敢于担当，培养工作责任心。 14、正确的认识自我，对自身能力科学平衡评估，学会自我控制。篇二：项目管理工程师职位说明书职位说明书图片已关闭显示，点此查看岗位编号：职位说明书图片已关闭显示，点此查看篇三：项目工程师岗位职责项目工程师岗位职责一、执行国家与地方有关工程建设的技术标准，规范、规程。二、组织有关人员认真熟悉施工图纸，参见图纸会审，综合

大数据开发工程师岗位的基本职责

大数据开发工程师岗位的基本职责大数据开发工程师需要编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库。以下是小编整理的大数据开发工程师岗位的基本职责。大数据开发工程师岗位的基本职责1 职责: 1、负责大数据平台的技术和产品的设计、开发、优化和维护; 2、负责大数据平台设计文档编写，线上产品的维护; 3、负责系统性能优化，解决各类潜在系统技术风险，保证系统的安全、稳定、快速运行; 4、负责整个产品平台的搭建、多维数据库建设及管控流程设计; 5、参与指标设计，数据建模，负责将数据模型在系统中实现;

6、负责数据抽取、数据交换、实时计算等框架研究及相关产品的研发; 7、负责追踪整体产品过程及质量把控。任职要求： 1、专业技能：精通Hadoop 生态圈中的一项或几项技术，深入了解Hadoop 及相关组件的部署及调优;设计或开发过大容量，高性能，高可用，易扩展的分布式系统;熟悉实时计算/流式计算系统，至少熟悉一项Nosql 技术;具有扎实java 功底及开发能力;对hadoop，hive，hbase，spark 等相关源码有一定了解; 2、学历背景：计算机相关专业本科及以上学历; 3、工作经验：3年以上JAVA开发经验及1年以上大数据研发经验 4、能力素质：具有出色的抽象设计能力，思路清晰，善于思考，良好的团队合作能力、沟通能力、较好的自学能力，具有敬岗爱业的精神。 5、有团队管理经验者优先。大数据开发工程师岗位的基本职责2 职责：

1、负责大数据统计平台建设与优化; 2、负责广告效果分析，反作弊平台建设; 3、负责移动广告平台相关系统的设计研发及持续优化。职位要求： 1、计算机或相关专业本科学历及以上，2年工作经验; 2、精通大数据采集、处理、存储、查询相关技术; 3、熟悉Hadoop/Hbase/Hive/Spark/Storm/Kafka相关技术; 4、至少熟练掌握Java/Scala/Python 中一门语言; 5、有做过大数据量查询优化的优先; 6、有大数据服务运维、性能调优者优先; 7、熟悉常用的设计模式，对MVC框架有了解; 8、强烈的责任心，对技术充满热情，高效率，良好的沟通能力。大数据开发工程师岗位的基本职责3 职责： 1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。

大数据工程师是干什么的

数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都可统称为“大数据工程师”。大数据工程师有不少细分方向，不同的方向需要具备不同的知识结构，通常情况下大数据工程师分为四个具体的工作领域，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维。大数据工程师是做什么的? 分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时的重要三大任务：找出过去事件的特征：大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，非常大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。预测未来可能发生的事情：通过引入关键因素，大数据工程师可以预测未来的消费趋势。找出优化的结果：根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

在工作岗位上，大数据工程师需要基于Hadoop，Spark等构建数据分析平台，进行设计、开发分布式计算业务。负责大数据平台(Hadoop，HBase，Spark 等)集群环境的搭建，性能调优和日常维护。负责数据仓库设计，数据ETL的设计、开发和性能优化。参与构建大数据平台，依托大数据技术建设用户画像。除开以上是需要负责处理的工作，还需要负责分析新的数据需求，完成数据处理的设计(文档)和实现。对大数据应用产品设计及解决方案设计，通过大数据挖掘用户需求。负责数据处理程序设计框架改善，数据处理性能优化, 系统数据处理的能力提高等。大数据工程师工作内容取决于你工作在数据流的哪一个环节。从数据上游到数据下游，大致可以分为：数据采集-> 数据清洗-> 数据存储-> 数据分析统计-> 数据可视化等几个方面工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。大数据工程师需要掌握哪些技能? 由于国内的大数据工作还处在一个有待开发的阶段，因此能从其中挖掘出多

大数据开发工程师岗位的职责描述

大数据开发工程师岗位的职责描述大数据开发工程师负责大数据体系架构设计和应用产品的研究。以下是小编整理的大数据开发工程师岗位的职责描述。大数据开发工程师岗位的职责描述1 职责： 1、负责异构数据系统和大数据平台的集成与融合; 2、负责数据挖掘算法的设计及对海量数据进行挖掘分析; 3、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统开发; 4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模; 5、参与数据平台各系统的性能分析与系统优化，不断提高系统运行效率; 6、完成领导交办的其他任务。任职资格：

1、计算机及其相关专业，大专及以上学历。两年以上大数据应用经验; 2、具备实时处理框架的设计和开发能力，熟练掌握Storm、Spark streaming等大数据实时处理框架中的一种; 3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr 等相关技术; 4、熟悉Scala、熟悉Linux开发环境，能进行shell脚本的编写; 5、具有较强的逻辑分析能力，高度的责任心及团队合作精神; 6、具有实际大数据项目的成功经验者优先考虑。大数据开发工程师岗位的职责描述2 职责 1、参与大规模数据快速查询系统的架构设计和开发; 2、大规模数据挖掘和机器学习算法的实现; 3、在线和离线海量数据分析平台的开发; 4、研究大数据前沿技术，提升系统的运维效率; 5、实现大数据基础架构平台的自动化运维。

任职资格 1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux; 2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先; 3、熟练地处理数据模型、数据ETL以及存储管理; 4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先; 5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验; 6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。大数据开发工程师岗位的职责描述3 职责： 1、参与南方电网软件产品(项目)前/后台服务开发，要求高性能、高可用、高并发; 2、独立完成产品模块(项目)核心代码开发、业务代码开发、系统性能调优等工作;

材料工程师的岗位职责说明

材料工程师的岗位职责说明一、职责： 1.负责整理、编写新材料样品的承认规范； 2.制定物料编码规则并对新申请编码的物料进行审核与编码； 3.负责材料部品的收集整理，建立产品材料部品库并对其更新维护； 4.产品BOM（物料清单）结构的搭建、维护、更新、会签及发布； 5.研发部新样品材料的寻找、图纸的索要、目录册、规格书的收集等； 6.负责研发部技术文档的归档、分发、回收之管理控制工作；（如BOM、ECN的发行） 7.负责研发部样品的收、发登记工作。 8.关心公司，忠于本职，主动保守公司各类秘密，保护公司利益。 9.完成上级或领导交办的其它工作。二、权利： 1.对本人保管的技术资料（公司机密的）文件有拒绝外借权； 2.对申请料号之工作人员，如没有按照规范描述或描述不清、没有规格、图面等技术参照，则有权退回申请； 3.有权根据工作需要及国家法律制度规定审请出差、请假等； 4.有权拒绝公司或上级指派的违反国家法律法规、危害自己或他人安全健康、违反社会公德或伤害公司利益的工作。 5.有权享受国家及公司规定的各类薪酬、福利、假期及入职时与公司约定的各项其它待遇；三、绩效指标： 1.工作表现：1) 敬业精神; 2) 纪律性；3）服从性；4）积极主动性；5）团队精神。 2.工作能力：1）工作质量；2）工作数量；3）工作改进与改善情况。 3.工作业绩：1）学习能力；2）沟通能力；3）执行应变能力。 4.专业技能：1) 专业技术或工作经验是否能满足工作的需要。四、任职资格： 1.性别：无要求 2.工作经验：

语言文字功底强，有较好的文字组织能力；熟悉电子等产品物料的性能且对产品BOM的结构了解；有三年以上对零件承认及供应商管理经验；熟悉ISO9000体系技术、工艺相关部分运作、技术文档资料的管理及控制；做事严谨踏实，责任心强，条理清楚，善于学习总结，有良好的团队合作精神。 3.外语：会使用英语，能看懂一般的技术文件资料、要求读写熟练，听说一般; 4.计算机：能够熟练使用文档制作相关工具（WORD、EXCEL、Visio、PDF等）；

大数据开发工程师的职责文本.doc

大数据开发工程师的职责文本精选大数据开发工程师需要处理公司大数据平台产品的技术工作，包括存储、处理、分析、挖掘、架构设计、研发工作。下面是我整理的大数据开发工程师的职责文本精选。大数据开发工程师的职责文本精选1 职责： 1、负责该领域的业务需求讨论，完成技术方案及数据开发; 2、负责数据仓库的体系建设及落地实现; 3、负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作; 4、负责该领域所属模块的代码开发、调试与维护工作，并进行技术沉淀和文档输出。招聘要求： 1、计算机、电子通信、自动化等专业，本科及以上学历; 2、五年以上研发经验，其中二年以上大数据开发的相关工作经验; 3、熟练JAVA开发语言;熟悉微服务及Spring框架; 4、熟练熟练Hive、Impala、ES性能调优，关注细节，学习能力强; 5、能配合团队完成该领域的工作，自我管理能力强，能承受工作中的各种压力，具备很好的团队意识 6、熟练主流大数据平台产品部署及运维，如CDH、HDP平台。 7、对机器学习和深度学习等方面有一定的了解;

8、有汽车制造业及相关行业的大数据开发经验优先。大数据开发工程师的职责文本精选2 职责： 1、负责数据中心和大数据处理平台的搭建 2、在线和离线海量数据分析平台的开发; 3、研究大数据前沿技术，提升系统的运维效率; 4、参与大数据的采集、存储、处理，分析等开发 5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现【任职要求】： 1、计算机或相关专业本科学历及以上，2年工作经验以上 2、熟悉Java/Scala等至少一门语言，能对分布式常用技术进行合理应用，解决实际架构问题 3、熟练使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume 等大数据开发组件 4、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储、分析和可视化及报表开发; 5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验; 6. 具有优秀的学习能力、独立分析和解决问题能力，良好的团队合作精神。 7. 有BI开发经验的优化考虑。

大数据开发工程师(基础级)考试大纲

大数据开发工程师（基础级）考试大纲Big Data Development Engineer Level I Examination Outline BDDE考试大纲是CBDA国际认证培训中心基于大数据开发工程师等级认证标准而设定的一套科学、详细、系统的考试纲要。考纲规定并明确了BDDE大数据开发工程师认证考试的具体范围、内容和知识点，考生可按照BDDE考试大纲进行相关知识的复习。大数据基础（占比10%） 1.大数据概念（占比2%） 2.大数据特点。（占比3%） 3.大数据处理流程（占比5%）大数据Hadoop技术（占比70%） 1.Hadoop基础（占比5%） 2.Hadoop安装配置（占比10%） 3.分布式文件系统HDFS（占比15%） 4.分布式计算框架MapReduce编程（占比40%）大数据数据仓库Hive（占比20%） 1.Hive概述（占比2%） 2.Hive客户端访问（占比2%） 3.Hive数据类型（占比1%） 4.Hive DDL、DML、Select语法（占比15%）

大数据开发工程师（基础级）考试大纲解析 Big Data Development Engineer Level I Examination Note 根据BDDE大数据开发工程师认证考试大纲，泰迪智能研究院给出了详细解析，以“领会”，“熟知”，“应用”三个不同的级别将每一个知识点进行分解，建议考生应该按照不同的知识掌握程度有目的性的进行复习。 1. 领会：要求应考者能够记忆规定的有关知识点的主要内容，并能够了解规定的有关知识点的内涵与外延，了解其内容要点和它们之间的区别与联系，并能根据考核的不同要求，做出正确的解释、说明和阐述。 2. 熟知：要求应考者必须熟悉的理论知识，并能够正确理解和记忆相关的理论方法，根据考核的不同要求，做出逻辑严密的解释、说明和阐述。 3．应用：要求应考者必须掌握知识点的主要内容，并能够结合工具进行商业应用，根据考核的具体要求，做出问题的具体实施流程和策略。 Part 1：大数据基础 ?大数据概念 1.领会：大数据基本概念、起源、目标及发展历程。 2.熟知：明确大数据的基本概念、发展历程，针对大数据的起源及要解决的问题（即目标）有一定认知。 ?大数据特点 1.领会：了解大数据特点、对比传统小数据不同之处、应用场景及行业。 2.熟知：明确大数据3V、4V特点、针对不同的特点有明确的认知，对大数据的应用场景及行业有比较清晰的认识。 ?大数据处理流程 1.领会：大数据存储、大数据传输，大数据预处理，建模预测及评估调优。 2.熟知：明确大数据存储、传输的通用技术、大数据预处理常用过程：数据抽取、属性选择数据质量分析、数据分布分析、数据清洗、属性变换、数据规约，根据实际业务场景对不同数据进行不同的建模及调优。

大数据工程师的必备技能(经典)

上市公司，官网：https://www.360docs.net/doc/402451548.html, 大数据工程师的必备技能一、数据可视化 R不仅是编程语言，同时也R具有强大的统计计算功能和便捷的数据可视化系统。在此，推荐大家看一本书，这本书叫做《R数据可视化手册》。《R数据可视化手册》重点讲解R的绘图系统，指导读者通过绘图系统实现数据可视化。书中提供了快速绘制高质量图形的150多种技巧，每个技巧用来解决一个特定的绘图需求。 Python 出现了很多新的Python数据可视化库，弥补了一些这方面的差距。matplotlib 已经成为事实上的数据可视化方面最主要的库，此外还有很多其他库，例如vispy，bokeh，seaborn，pyga，folium 和networkx，这些库有些是构建在matplotlib 之上，还有些有其他一些功能。 ECharts和D3.js 是基于HTML5 的两个纯Javascript图表库，它们提供直观，生动，可交互，可个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验，赋予了用户对数据进行挖掘、整合的能力。其拥有混搭图表、拖拽重计算、制作数据视图、动态类型切换、图例开关、数据区域选择、值域漫游、多维度堆积等非常丰富的功能。 Excel中大量的公式函数可以应用选择，使用Microsoft Excel可以执行计算，分析信息并管理电子表格或网页中的数据信息列表与数据资料图表制作，可以实现许多方便的功能，带给使用者方便。事实上，Excel完全可以满足大家日常工作中图表制作和数据可视化的需求，所以，想要进入大数据行业，学好Excel是基础。二、机器学习机器学习的基础包括聚类、时间序列、推荐系统、回归分析、文本挖掘、决策树、支持向量机、贝叶斯分类和神经网络。这些基础知识光是听到名字就觉得深不可测，但是如果具备了统计学和概率学的基础知识，就能够轻松掌握这些高深莫测的名词。因此，建议在进行机器学习之前，先进行统计学和概率学的学习是非常有必要的。