Hadoop大数据研发工程师岗位-简历
求职简历模板大数据工程师

个人概况姓 名:XX性 别:男联系方式:XXXXXX 求职意向工作性质:全职目标职能:大数据开发工程师 专业技能 __________________________________________________________________ 1 .精通Java ,熟练使用Scala , 了解Python ,熟悉常见数据结构和算法2 .熟悉JVM 内存结构、JVM 调优以及垃圾收集算法,了解CMS 和Gl 垃圾收集器3 .熟练使用Linux 操作系统,熟悉Shell 编程4 .熟练掌握HDFS 读写流程,MapReduce 工作原理,Yarn 提交job 流程,熟悉MR 程序调优以及Hadoop 集 群搭建5 .熟练掌握Hive 并使用HQL 进行开发,熟练使用开窗函数和自定义UDF 函数,理解HQL 语句执行流程及其优 化措施6 .熟练使用SparkCore x SparkSQL SparkStreaming 编程,深亥U 理解Spark 底层原理、共享变量、RDD 持久 化机制,并能进行一些性能调优与故障处理7 .熟练使用Zookeeper,理解其选举机制、监听器原理以及ZAB 协议8 .熟练使用Kafka ,理解Kafka 高、低阶API 的差异,分区分配策略,精确一次性语义9 .熟练掌握SparkStreaming 与Kafka 的搭配使用,尤其擅长Kafka 低阶API 操作10 .熟练使用Flume 进行日志采集,熟悉其架构组成、拓扑结构以及Agent 内部原理,有自定义拦截器和修改源 码的经历11 .熟练使用MySQL ,对其优化有一定理解,了解MyISAM 和InnoDB 存储引擎12 .熟练使用 Sqoop x Azkaban x Kylin x Git 、Maven 等工具13 .熟悉Hbase ,理解其读写流程以及数据刷写过程,了解RowKey 设计规则14 .能使用Redis ,理解其持久化机制及集群的主从复制,了解乐观锁与悲观锁15 .了解EIasticSearch ,能进行一些常用操作,了解倒排索引工作经历宝贝格子(北京)科技有限公司-大数据开发工程师 2016年8月-至今 1 .参与需求分析,编写相应文档,从技术角度给出开发意见2 .使用双层FIUme 拓扑结构搭建日志采集系统3 .负责对数据清洗、加工、建模,并进行数据分析、挖掘4 .优化存储和计算架构性能,kafka 与SparkStreaming 高低版本适配方案研究杨强简历工作经验:X 年 毕业院校:XX 大学(本科)目标地点:北京 期望薪资:面议项目经验项目一:宝贝格子数仓系统软件架构:Hadoop + MySQL + Sqoop + Spark + Hive + Azkaban项目描述:该项目主要基于来自APP和网站的启动(访问)日志、用户行为日志、订单数据、用户信息、商品信息等数据,经过清洗、加工、建模、分析与挖掘,得到日活、周活、月活、GMV.转化率、复购率等指标,同时建立用户画像,以供运营及公司决策。
高级大数据工程师sparkhadoop工程师简历模板范文

高级大数据工程师sparkhadoop工程师简历模板范文基本资料姓名:XX 学历:全日制本科工作年限:4年工作状态:目前正在找工作工作意向: 大数据研发工程师、spark工程师,Hadoop工程师薪水:面议个人技能1 深刻理解hdfs分布式文件系统存储结构和高可用原理2 熟练掌握hadoop mapreduce计算框架编程,对yarn的资源调度,作业监控有一定认识3 掌握storm streaming编程,对定时批量任务处理,分布式rpc 有一定认识4 深刻了解Spark底层运行机制,4 熟练掌握scala编程,能运用scala进行spark RDD,spark streaming编程5 熟悉flume,kafka等日志收集,分发框架的使用,能够将他们和storm,spark进行整合进行数据的实时处理6 能够熟练运用hive数据仓库工具,对日志数据进行查询,统计等数据操作,并且有一定的数据优化经验7 能将hive和spark sql进行整合,进行数据查询等相关操作8 熟悉hbase数据库的使用,及其编程9 熟悉redis内存数据库,能搭建redis高可用集群及其编程10 熟悉ELK技术栈,了解ElasticSearch,Logstash的整合使用11 掌握Sqoop数据迁移工具的使用,能熟练的将数据从不同的存储介质进行迁移12 了解linux系统,熟悉常用的linux的shell命令,能在linux 系统下搭建开发环境13熟练掌握JavaSE,深刻理解面向对象设计思想,熟练使用IO流操作和集合框架,网络编程等JavaSE主流技术。
14 能使用反射、注解、动态代理等Java高级技术,对代码的封装抽取及其性能优化有点一定的经验。
15 熟悉Struts,Spring,Hibernate,Servlet,Jsp等WEB编程技术16 能熟练使用Oracle,MySql主流数据库技术,擅长SQL语句的编写工作经验1 公司名称:xx软件有限公司性质:民营时间:2018年8月-至今职位:大数据研发工程师参与项目:游戏运营指标分析项目乐玩家社区用户行为分析项目移动应用市场应用信息比对项目2 公司名称:xx发展股份有限公司性质:国有控股时间:2016年4月-2018年7月职位:JavaEE工程师参与项目:钦州个人贷款系统电子档案管理系统3 公司名称:xx信息技术有限公司性质:民营时间:2015年3月-2016年3月职位:javaEE工程师参与项目:xx基层公共卫生服务系统xx电力中心设备资源管理系统项目经验大数据项目部分项目名称:游戏运营指标分析项目开发环境:IDEA+maven+scala+jdk+git系统架构:ElasticSearch+Logstash+Kafka+Zookeeper+Spark+Hdfs+Hbase +Mysql+Echarts项目描述:游戏玩家的各种行为会产生大量的数据,这些数据可以帮助游戏运维者了解玩家的行为和需求,通过玩家反馈的信息可以不断地矫正游戏中出现的问题,从而让游戏健康稳定的可持续运营。
大数据专业个人简历模板范文

大数据专业个人简历模板范文个人信息姓名:XXX性别:男出生日期:XXXX年X月X日联系方式:XXXXXXXXEmail:XXXXXX教育背景XXXX年-XXXX年,XXXX大学,计算机科学与技术专业,本科学位工作经历XXXX年-至今,XXXX公司,大数据工程师主要工作内容:1. 参与公司大数据平台的规划与设计,负责数据存储、数据处理和数据分析等方面的工作;2. 使用Hadoop、Spark等大数据处理框架,负责大数据的ETL、数据清洗、数据挖掘等工作;3. 对数据进行分析和建模,为业务部门提供数据支持,提高数据可视化和数据分析效率;4. 负责大数据平台的维护和优化工作,确保平台的稳定性和高效性;5. 参与公司大数据项目的开发和实施,为业务部门提供技术支持和解决方案。
项目经验XXXX年-XXXX年,某电商平台大数据分析项目项目描述:该项目主要利用大数据技术对电商平台的用户行为进行分析,提高用户体验和销售额。
工作职责:1. 收集和清洗用户行为数据,建立用户画像和用户行为模型;2. 使用Spark和Hive等工具进行数据分析和挖掘,发现用户行为规律和商业价值;3. 对分析结果进行可视化展示,为业务部门提供数据分析报告和决策支持;4. 优化数据流程和数据模型,提高数据处理效率和准确性。
技能清单1. 熟练掌握Hadoop、Spark、Hive等大数据处理框架,具有丰富的大数据处理经验;2. 熟悉数据分析和数据挖掘技术,具有良好的数据建模和数据分析能力;3. 具有良好的编程能力,熟练掌握Java、Python等编程语言;4. 具有较强的沟通能力和团队合作能力,能够有效地与业务部门合作,解决问题并提供解决方案;5. 具有较强的学习能力和技术更新能力,能够快速适应新的技术和工作环境。
自我评价本人性格开朗,善于与他人沟通和合作,具有良好的团队意识和责任心。
在大数据领域有较丰富的工作经验和专业知识,能够独立完成大数据项目的规划和实施工作。
大数据开发工程师求职简历模板_002

大数据开发工程师-赵毅个人资料姓名:XX学位:本科邮箱:XXXXXX求职意向 工作性质:全职目标地点:北京 期望职位:大数据开发工程帅专业技能1. 熟练使用MapReduce 处理复杂业务,熟悉HDFS 的读写流程、MapRcduce 的运行流程以及Shuffle 机制、Yarn 的工作机制、Hadoop 的优化手段以及Hadoop 框架搭建过程。
2.熟悉Zookeeper 的选举机制和监听机制。
3.熟悉HiVe 的架构和调优策略,熟练使用Hive 的开窗等函数处理业务问题。
4.熟练使用FIUnIC 完成数据的采集、过滤、分流等功能,熟悉双层FlUme 的使用。
5.熟悉Kafka 的工作流程、能够搭建Kafka 集群,使用Kafka 和Spark 进行数据的流式处理。
6.熟悉HBasc 框架,会使用HBaSe 的基本操作以及HBase 调优。
7. 熟练掌握SPark 任务调度和资源调度过程,会使用SPark 常用的RDD 算子处理数据,能够独立完成SPark 集群的搭建,熟悉SPark 的优化策略。
8. 熟练使用DataSet 和DataFrame 算子和UDAF 函数处理数据,熟练使用DStream 算子完成流式实时数据的批次处理。
9. 了解 EIaStiCSearCho10. 会使用Azkaban 和Oozie 批量工作流任务调度器。
11. 会使用SqOoP 工具,实现关系型数据库和非关系型数据库表数据的交互。
12. 熟练使用Java 和Scala 编程,了解Python 编程。
13. 了解MongoDB 、RCdiS 等非关系型数据库。
14. 熟练掌握常用的LinUX 命令,使用ShelI 常用工具编写LinUX 脚本。
工作经历公司名称: 工作时间: 职位名称: 项目经验XXXXX 教育科技有限公司 2015.07-至今大数据开发工程师项目名称: 开发环境:技术框架:项目描述:东奥电商业务分析系统(2017.01—2019-02)IDEA + jdkl.8 + MySQL+ Maven + SVN SpringBoot-. Nginx 、Flume- Hadoop∙. Hive 、Spark 、Sqoop∙, Azkaban通过对PC 端和手机APP 端用户产生的各类型日志经过一系列处理,形成各种报表,并且 将网站的品牌前十、每月畅销图书、每季热门名师、地区点击量排名等统计出来,提供给公司 的各大责任描述: 1 .参与前期项目分析、设计系统整体架构。
大数据研发工程师30求职简历模板

大数据开发工程师姓名:XXX 年龄:XX毕业院校:XX大学手机:XXXXXE-Maikxxxxxx籍贯:xx×xxXXXXXXX有限公司大数据开发工程师2016年1月-—2019年2月工作技能:1、熟练掌握HDFS f Yarn f MapReduce工作机制与运行原理,MR程序调优,HadOOP集群搭建,高可用部署。
2、熟悉Zookeeper集群搭建与Zookeeper内部选举机制。
3、熟练掌握Hive数仓工具,熟练应用HQ1操作数据仓库,自定义过UDF函数,熟练窗口函数,用户定义表函数exp1ode与其他类型函数,理解HQ1运行流程与相应优化措施4、熟练使用F1ume日志采集工具,熟悉F1ume的运行原理。
有基于多层次F1ume结构经验,自定义过F1ume 拦截器。
5、耨东掌握Kafka工作流程搭建过Kafka集群熟悉Kafka的高级与低级API的差异与SParkStreaming对接时方案的选取。
6、了解HBase基于分布式,高并发的列式存储。
理解Hbase底层数据存储原理与HRegione热点问题。
7、熟悉Sq。
P数据的导入导出,并结合AZkaban任务调度工具使用。
8、熟悉Sca1a编程语言,熟悉Sca1a的隐式转换,熟悉模式匹配和样例类的使用,以及常用算子的使用。
9、熟悉Spark的Transformation算子与Action算子熟悉Spark的架构与提交流程启定义过SparkSq1o的UDF 函数,熟悉SparkStreaming对流的按批次处理,熟悉DStream的有状态与无状态的转换。
10、瞬Java编程语言,熟悉JVM内存结构,了解JVM调优。
11、熟悉MySq1Redies x EIasticSearch的使用,熟悉SQ1012、熟悉1inux操作系统,熟练1inux常用命令,编写过She1I脚本,使用过Crontab o项目经验:项目名称:开卷有益业务平台离线数仓开发环境:IDEA+JDK1.8+Sca1a2.12.1+Maven软件架构:Hadoop+Hive+Sca1a+SparkCore+SparkSq1项目描述:针对公司APP日志采集系统收集的数据与公司APP业务数据库收集的数据落盘到Hive后,对数据做分层处理。
求职简历模板—大数据开发工程师

个人简历令个人信息姓名:XXX 工作经验:X年性别:X 英语水平:CET-6学历:本科联系电话:XXXXXX毕业学校:XX大学电子邮箱:XXXXXXX令求职意向目标职能:大数据开发工程师目标地点:上海目前状态:离职,可立即上岗目标薪资:面议Q工作经历单位名称:XXXXXX有限公司职位名称:大数据开发工程师工作时间:2017年7月至今令专业技能A熟练使用Java,SCaIa编程语言进行大数据开发,有良好的编码习惯>熟悉HadooP核心技术,包括MaPRedUCe工作原理,ShUff1e机制,HadOoP优化方案>能熟练应用Kafka框架,理解Kafka生产消费流程,了解高低阶消费者模式并且掌握Kafka 的高可靠性存储>掌握Hbase核心架构,了解Hbase读写数据流程,理解数据刷写及合并过程,掌握RowKey的设计原则能够解决热点数据问题>熟悉SPark工作机制及其ShUffIe过程,掌握SPark算子的应用,熟悉SPark性能调优,可以解决数据倾斜等常见问题>熟悉JVM内存结构,简单理解GC策略及其工作原理>了解Redis数据库RDB和AOF持久化机制,理解哨兵模式工作原理以及数据存储方式,开发中能够正常应用Redis存储数据>熟练使用FhIme的基本架构搭建分布式数据框架,采集日志用于离线分析>能熟练使用Hive进行数据统计,了解Hive的架构原理,能够应用HQ1处理业务需求,并有一定的HiVe调优经验>熟练在1inux操作系统进行项目开发,能够编写She11脚本>能够使用Azkaban工作流调度框架完成离线任务的调度,并且可以使用Sqoop在数据库和HDFS之间的导入和导出>熟悉分布式服务管理框架Zookeeper的内部原理及其分布式安装部署>理解E1asticSearch的分词及其索引查询,了解基本操作可以将业务数据存储和查询◊项目经验>项目名称:可可宝贝数仓分析开发环境:IDEA+JDK+Maven+Git项目架构:Nginx,F1ume,HDFS,Hive,Spark,Sqoop项目描述:该项目是对针对用户在客户端产生的基本用户信息,收藏点赞等行为数据,经过离线采集,存储和分析来实现用户日活,用户留存,TOPN热门视频等需求。
大数据开发简历模板

个人简历个人概况姓名:性别:出生日期:电话:毕业学校:专业:学历:学位:毕业时间:E—mail:个人技能☆精通Oracle、db2数据库使用及SQL优化相关☆精通linux系统操作使用,熟悉系统性能等方面的监控☆精通shell编程相关内容☆精通kettle、info等数据抽取工具☆精通Oracle数据库的优化备份及运维监控、故障处理等☆精通数据仓库模型设计及hadoop大数据相关☆熟悉金融领域银行、保险相关业务工作经历1、XXXX.XX-XXXX.XX XXXXXX公司2、XXXX.XX-XXXX.XX XXXXXX公司3、XXXX.XX-XXXX.XX XXXXXX公司项目经历XXXX.XX-至今职位:VERTICA支持服务对象:工作描述:主要职责:●上线脚本评审及优化●集群日常状态的监控●定时对数据库进行相关检查备份●库间数据同步备份等XXXX.XX-XXXX.XX 职位:数据库工程师服务对象:工作描述:主要职责:●相关业务报表需求分析及确认●业务报表的页面设计及后台模型设计●根据后台数据库业务数据提供,在涉及数据库上进行相应脚本开发●保障数据库的正常运行XXXX.XX-XXXX.XX 职位:数据库开发工程师服务对象:工作描述:主要职责:●数仓三个层级三个集市的跑批运维●两个集市的需求分析代码设计、报表开发XXXX.XX-XXXX.XX 职位:数据库开发工程师服务对象:工作描述:主要职责:负责这个项目的日常运行维护、全科目报送、开发新报表以及新员工的培训工作。
XXXX.XX-XXXX.XX 职位:etl工程师服务对象:工作描述:主要职责:参与数据抽取、加载、转换脚本开发。
大数据开发工程师简历

大数据开发工程师简历个人信息姓名:[XXXXX]电话:XXX-XXXX-XXXX邮箱:**************现居地址:[XXXXX]教育背景XXXX年XX月- XXXX年XX月XXX大学计算机科学与技术专业本科主修课程:数据结构、算法、数据库原理、计算机网络、操作系统、大数据技术等工作经历XXXX年XX月-至今XXX公司大数据开发工程师主要工作内容:1. 负责大数据平台的搭建、部署和运维,提高平台的稳定性和可用性;2. 负责数据采集、清洗、整合和存储等工作,确保数据质量和可用性;3. 运用大数据技术,对海量数据进行挖掘和分析,为业务部门提供数据支持和优化建议;4. 参与公司大数据项目的开发和实施,与团队成员协作完成项目目标;5. 针对业务需求,提出创新性的大数据解决方案,并付诸实践。
项目经验1. 大数据平台搭建与运维项目描述:本项目旨在为公司搭建一个稳定、高效的大数据平台,提供数据采集、处理、存储和分析等功能。
我负责平台的部署、优化和运维,确保数据的及时处理和准确分析。
我在项目中负责的工作:* 平台架构设计,选用Hadoop、Spark等开源框架进行搭建;* 平台部署和配置,包括硬件和软件的安装和配置;* 优化数据处理流程,提高数据处理效率;* 监控平台运行状态,及时发现和解决问题,确保平台的稳定性和可用性。
项目成果:成功搭建了大数据平台,并投入使用。
经过不断优化,平台的处理能力得到显著提升,满足了公司的数据处理需求。
2. 客户行为分析系统项目描述:本项目旨在通过对客户的行为进行分析,为公司提供客户洞察和优化建议。
我负责数据的采集、清洗和整合,以及模型的设计和实现。
我在项目中负责的工作:* 设计数据采集方案,开发数据采集程序;* 对数据进行清洗和整合,提高数据的质量和可用性;* 设计分析模型,运用机器学习等技术对数据进行挖掘和分析;* 撰写分析报告,为公司提供优化建议。
项目成果:成功开发了客户行为分析系统,提供了准确的数据分析和优化建议。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Hadoop大数据研发工程师岗位-简历
基本信息
求职意向
技能
•深入了解Hadoop生态系统,包括HDFS、MapReduce、Hive、Pig、HBase等。
•熟练使用Apache Spark进行大规模数据处理和分析。
•数据库管理经验,熟悉MySQL、NoSQL数据库(如MongoDB)。
•编程语言:Java、Scala、Python。
•数据仓库建模和ETL流程设计。
•分布式系统和集群管理经验。
•数据可视化工具:Tableau、Power BI。
•熟悉Linux操作系统。
•版本控制工具Git的熟练使用。
教育背景
工作经历
自我评价
我是一名拥有丰富Hadoop大数据研发经验的工程师,熟练掌握Hadoop生态系统和大数据处理工具。
我注重数据质量和性能优化,能够高效地设计和实施数据处理管道。
我善于团队协作,能够与不同部门合作,为业务决策提供有价值的数据分析支持。
我对新技术充满热情,持续学习并不断提升自己的技能。