大数据工程师主要做哪些工作

大数据工程师主要做哪些工作
大数据工程师主要做哪些工作

1、什么是数据工程师

数据工程师这个概念其实很模糊,不同的人和公司对它赋予的含义也区别很大,感兴趣的可以看一下多智时代的相关文章。在这里,我们大概聊一下一般意义上的数据工程师在工作中会做什么?

集群运维:安装、测试、运维各种大数据组件

数据开发:细分一点的话会有ETL工程师、数据仓库工程师等

数据系统开发:偏重Web系统开发,比如报表系统、推荐系统等

这里面有很多内容其实是十分重合的,下面大致聊一下每一块内容大致需要学什么。

2、集群运维

数据工程师,基本上是离不开集群搭建,比如hadoop、Spark、Kafka,不要指望有专门的运维帮你搞定,新组件的引入一般都要自己来动手的。

因此这就要求数据工程师了解各种大数据的组件。

由于要自己的安装各种开源的组件,就要求数据工程师要具备的能力:Linux。要对Linux比较熟悉,能各种自己折腾着玩。

由于现在的大数据生态系统基本上是JVM系的,因此在语言上,就不要犹豫了,JVM系的Java和Scala基本上跑不掉,Java基本上要学的很深,Scala就看情况了。

3.ETL

ETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上,比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要,Java、Shell和Sql是基本功。

4.系统开发

我们大部分的价值都会由系统来体现,比如报表系统和推荐系统。因此就要求有一定的系统开发能力,用的较多就是JavaWeb这一套了,当然Python也是挺方便的。

需要注意的是,一般数据开发跑不掉的就是各种提数据的需求,很多是临时和定制的需求,这种情况下,Sql就跑不掉了,老老实实学一下Sql很必要。

如果你也想学习大数据,就来课工场吧!课工场作为专业IT培训机构,专注于

培训软件开发工程师,课程包含:大数据培训、Java培训、前端培训、云计算培训、人工智能培训、UI设计培训等,从建校以来始终坚持以实践为基础,以就业为导向。有志于从事IT行业的你,快到课工场学习大数据吧!轻轻松松实现高薪就业。

大数据工程师简历模板标准版

大数据工程师简历模板标准版 张* 居住地:北京 E-mail: 最近工作[1年6个月] 公司:XX有限公司 行业:房地产开发 职位:数据分析工程师 最高学历 学历:本科 专业:电子商务 学校:北京外国语大学 求职意向 到岗时间:一个月之内 工作性质:全职 希望行业:房地产开发 目标地点:北京 期望月薪:面议/月 目标职能:数据分析工程师 工作经验

2013/6—2014/12:XX有限公司[1年6个月] 所属行业:房地产开发 信息部数据分析工程师 1.房产二手市场业务数据整理分析、各门店业绩情况整理分析; 3.参与公司数据仓库开发; 4.参与开发过程中的各项工作; 2012/8—2013/5:XX有限公司[9个月] 所属行业:快速消费品 信息部首席信息官CIO 2.建立信息管理系统,从业务调研,系统开发,到后期实施全程主导参与; 2007/9—2012/6北京外国语大学电子商务本科 证书 语言能力 英语(良好)听说(良好),读写(良好) 基本情况 姓名 性别 女 出生日期 1985.11.21 民族 汉族

婚姻状况 已婚 教育程度 本科 工作年限 4年 群众 现有职称 无 户口所在地 山东省青岛市 现居住地 青岛市 联系方式 电子邮箱 求职意向 期望从事职位:数据分析师 期望工作地点:青岛市 自我评价 2、熟练掌握常用的数据挖掘方法,算法和相关工具、熟练使用SAS软件; 3、数据处理能力很强,熟练使用Office软件; 工作经历

单位性质:合资 所任职位:数据分析师 工作地点:青岛市 职责描述: 1、根据业务需求,制定用户使用行为数据的采集策略,设计、 建立、测试相关的数据模型,从而实现从数据中提取决策价值,撰 写分析报告; 2、跟踪并分析客户业务数据,为客户的发展进行决策支持; 3、完成对海量信息进行深度挖掘和有效利用,充分实现数据的 商业价值; 4、支持微博事业部等产品部门下的运营,产品,研发,市场销 售等各方面的数据分析,处理和研究的工作需求。 单位性质:国企 所任职位:数据分析助理 工作地点:青岛市 职责描述: 1、完成对行业销售及相关数据的分析、挖掘,熟练制作数据报表、撰写评估分析报告; 2、独立完成用户行为特征与规律的分析,关注市场动态与风险,为产品方向提出合理建议; 3、在分析师的指导下构建公司业务领域数据分析与挖掘模型和 方法论; 5、完成数据分析相关的需求调研、需求分析等。 项目经验 项目职责:

网络工程师个人求职简历及范文

网络工程师个人求职简历 个人简历 姓名:王勇国籍:中国照片 目前住地:南京溧水民族:汉族 户籍地:南京溧水身高: 170cm 婚姻状况:已婚年龄: 33 岁 求职意向及工作经历 应聘职位:网络工程师工作年限: 7年 求职类型:全职可到职日期:随时 工作经历: 2003-2005年在长春电脑公司销售; 2005-2007年在南京电信下属公司做宽带及网络安装等; 2007-2008年个人做电脑销售,监控安装等; 2008-至今在南京创捷和信汽车零配件公司做网络维护。 教育背景 毕业院校:长春东方大学所学专业:计算机信息与网络 最高学历:大专毕业日期: 2003年7月 工作能力及其他专长 网络硬件设备: a.能熟练配置路由器、交换机、熟悉服务器的实际安装步骤,并能根据企业的不同需求进行服务器选型、配置和优化。 b.掌握主流防火墙、rras 服务器和vpn服务器安装技术以及在完整网络环境下的实际应用。 d.能安装和维护网络外部打印服务器/网络内置打印服务器,包括使用网络打印机管理工具进行密码恢复和网络打印设置。 网络软件系统:

a. 能熟练安装和配置企业和互联网服务器,包括邮件服务器(exchang),文件服务器(f tp)、网站服务器(iis),以及 dns/ddns、活动目录(ad)和 dhc p服务器。 b.了解 linux 操作系统,能安装和配置 redhat enterprise version3.0,能搭建和维护基于 linux 平台的 web 服务器、samba 服务器,包括网页的创建和更新。 c. 熟悉网站架设和网页设计构件,掌握 dns 和 iis 服务器的安装和配置。 网络安全系统: a. 能熟练安装和配置微软 isa / cisco pix 防火墙和 http、ftp、pop3、smtp 等协议在防火墙设置中实际应用,掌握动态过滤、邮件/ftp过滤、web访问、sql数据过滤等技术。 b.能独立架设 vpn,熟练安装 vpn 服务器,为用户端提供安全的远程访问服务。 网络管理工具: 能使用网络管理工具 whatsup gold、vnc、pcanywhere,sniffer 对局域网和广域网进行排错和远程管理。 个人评价 工作责任心强,有良好的团队精神和良好的沟通能力及自学能力。 月薪要求:面议

从职场角度解读大数据工程师及岗位现状

从职场角度解读大数据工程师及岗位现状 手机微信关注公众号ID:datadw 学习数据挖掘,研究大数据,关注你想了解的,分享你需要的 大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。 这群人在国外被叫做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出,他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。 不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟,“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板,招聘能和现有团队互补的人才。”领英(LinkedIn)中国商务分析及战略总监王昱尧对《第一财经周刊》说。 于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘

工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title,我们将其统称为“大数据工程师”。 王昱尧认为,在一个成熟的数据驱动型公司,“大数据工程师”往往是一个团队,它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全过程。这个团队中可能包括数据工程师、分析师、产品专员、市场专员和商业决策者等角色,共同完成从原始数据到商业价值的转换—概括来讲,这是一个支持企业做出商业决策、发掘商业模式的重要群体。 由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。 虽然对于一些大公司来说,拥有硕博学历的公司人是比较好的选择,不过阿里巴巴[微博]集团研究员薛贵荣强调,学历并不是最主要的因素,能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。 除此之外,一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的,哪个是重要的,使用什么样的数据是最有价值的,如何快速找到每个业务最核心的需求。”

网络工程师简历模板

网络工程师简历模板 以下是关于网络工程师简历模板,希望内容对您有帮助,感谢您得阅读。 个人简历 姓名:刘先生性别:男 民族:汉学历:大学本科 出生日期: 1981年01月23日籍贯:山东省东营市 专业:信息管理与信息系统政治面貌:党员 工作年限:两年户口:济南 电子邮件: 自我评价 认真、乐观、开朗、自信,工作认真负责、积极主动、责任心强,具有良好的团队合作精神,思维严谨,能吃苦耐劳,有较强的学习和适应能力,具有较高的技术水平和一定工作经验。求职意向 工作性质:全职 希望行业:电信,金融,企事业单位的网络管理,网络建设,信息技术,互联网及相关各项工作 目标职能:计算机/互联网/通讯,高级网络工程师 工作经验 ·

2003/07 至今:太平洋人寿保险公司信息技术部 所属行业:金融公司信息技术部门 所属部门:信息技术部网络硬件科 工作内容: 1、分公司全辖市级公司的网络规划与建设 2、济南分公司局域网建设及维护 3、公司OA系统管理及升级维护 4、网络及系统安全管理,防火墙及防病毒服务器的日常维护 5、卫星电视系统及视频会议服务器的建设及维护 6、内部IP电话网络的建设和维护 7、分公司硬件设备管理和维修 项目经验 2003/07 2003/10:内部IP电话项目 项目描述:为有效利用公司内部网络资源、降低通讯费用,利用专用数据网络实现公司辖内内部通话和传真功能而进行的IP语音电话建设项目 责任描述: IP电话项目的设备选型、设备安装调试、后期的版本升级和日常维护 2003/127 2004/01:广域网络改造项目 项目描述:辖内烟台和威海两个中心支公司所属的支公司的线路改造,新建一部分县级公司线路,改建一部分低速线路 ·

Java软件开发工程师简历

个人简历 姓名性别 年龄学历 毕业院校专业 工作经验现居住地 移动电话电子邮件 【技术】 ?熟悉java语言,理解oop思想,了解多线程,知道Socket编程,对UDP/TCP网络协议有一定的了解。 ?熟练使用EL表达式、ognl、JSP、Servlet等WEB应用的开发技术。 ?熟悉jQuery、javaScript、Ajax等前端WEB技术,JavaWeb中防盗链的原理机制。 ?熟练JavaEE的主流开发技术,对Struts2、Spring、Hibernate等企业主流开发框架技术有较深入了解。 ?了解Mybatis的CRUD操作,能够使用Mybatis+Struts2+Spring架构整合 ?熟悉JBPM工作流引擎,能够独立完成工作流的定制和控制。 ?熟悉Lucene,了解搜索引擎的运行原理,Hibernate中的二级缓存存储原理。 ?能使用Hibernate Search3.4.2+二级缓存来优化sql查询。 ?熟悉熟练应用MySQL、Orcal等关系型数据库,掌握SQL程序语言,利用JDBC操作数据库。 ?理解hadoop处理大数据的运行机制,能够搭建hadoop集群。 ?理解hadoop中HDFS与MapReduce交互数据的底层原理机制,了解Hbase的表存储、zookeep er协调管理hadoop、Hbase。 ?了解HTML5、webservice(Axis2/CXF)、NoSQL非关系型数据库等技术。 【工作经验】武汉泷收电子系统工程有限公司 飞达物流管理配送系统(项目一) 12/09--13/08 开发技术struts2.3.7+spring3.2+hibernate3.6+JBPM4.4+jquery easyui+ztree 开发工具MyEclipse8.5+jdk7.0+Tomcat6+MySQL5.0+PowerDesigner 项目描述此系统作为服务前端,客户通过电话、网络等多种方式进行委托,业务受理员通过与客户交流,获取客户的服务需求和具体委托信息,将服务指令输入我公司服务系统。 该系统是物流管理的前端系统,其核心模块主要有:基本设置模块、取派业务模块、中转配送模块、用户模块、权限模块、财物管理等。 担任职务Java软件工程师

大数据工程师和普通的程序员区别

大数据工程师和普通的 程序员区别 Company Document number:WUUT-WUUY-WBBGB-BWYTT-1982GT

问你个问题: 你是不是曾无数次下定决心要做大数据工作,但因为不知如何开始而放弃 是不是曾经去面试过大数据工作,但因为没有经验缕缕碰壁 你在公司里表现很好,布置的任务总是能又好又快的完成,但两年来你的工资一直是1万3,多次跟领导提出加薪,结果领导每次都是哦哦哦知道了。 你心里知道,现在的工作遇到了瓶颈,薪资想要有50%以上的增长已经很难了,能做的也只有转行。 最近,身边几个程序员朋友都在学Spark、Hadoop等相关知识,仿佛不紧跟时代步伐,就会被随时甩出半条街的节奏;而打开知乎,诸如“怎样进行大数据的入门学习”“JavaWeb程序员如何转型大数据”之类的话题也屡受关注。 麦肯锡公司报告指出,大数据、人工智能方面人才紧缺,需求量激增。自己有技术优势,而且大数据行业也非常缺人,现在入行正是最合适的时候。 那么大数据之火热依赖于什么 1.技术日渐成熟,应用空间得以拓展 大数据技术,最早于1980年被首次提及,却在近几年才获得突飞猛进的发展。相较于几十年前神经网络算法捉襟见肘的计算能力,如今处理器对大规模数据的高速处理能力无疑发挥了关键性的作用。借助于处理器的高性能,使我们短时间内完成PB级数据的机器学习和模型训练成为可能,由此为高度依赖深度学习的图像、语音识别产品的快速迭代奠定基础,大数据应用空间得以拓展,也由此催生了提供相关产品与服务的技术公司。 2.重视数据资产,数据挖掘已成必然 现代信息技术使每日产生的数据量呈指数级增长,企业发展再也无法回避对数据价值的挖掘与利用。 3.技术催生业务新模式,蕴含创业新契机 大数据产业链,催生出针对不同版块提供产品和服务的业务组合新模式,无论是利用推荐算法做内容服务的今日头条,还是基于数据整合提供监测服务的TalkingData,或者是提供底层架构支持的阿里云,无不是发觉了大数据产业链条所蕴含的创业先机。 4.市场供不应求,岗位挑战空间大

软件工程师英语简历免费模板

软件工程师英语简历免费模板 英语简历的情况会决定软件工程师外企求职者能否得到面试机会。下面是WTT为大家精心推荐的软件工程师英语简历免费模板,希望能够对您有所帮助。 软件工程师英语简历免费模板 Name: fresh graduate employment s gender Self assessment I have strong ability of self-study, get to work the ability and the puter skills, and a strong ability to adapt to the environment and team cooperation ability. Works is responsible earnestly, bears hardships and stands hard work, innovative consciousness. As a test personnel, for software testing to have the strong interest. With me to the cause of the love and I existing ability, I believe that as long as give me a play in the chance, I will make you satisfied, I wish to join consistent vitality and perseverance, as your pany developed give my all talent and sweat. 2021.3-2021.2: XX Co., LTD, as a software testing.

lte网络优化个人简历模板

lte网络优化个人简历模板 以下是关于lte网络优化个人简历模板,希望内容对您有帮助,感谢您得阅读。 HCNP 拓展阅读:衡量个人简历质量的根本标准 个人简历在求职中起到非常重要的作用,所有的在职人员在求职的时候都写过个人简历,一般来说的求职者从大学刚毕业找工作开始就要有自己的个人简历。在求职中需要先通过个人简历然后才会有面试的机会,因此,个人简历在求职中就起到“名片”的作用。 而在写个人简历的时候,也需要讲究推销的原理,能够将自己推销出去就是好的个人简历。有很多人都想要知道什么样的个人简历是高质量的,其实个人简历能够达到基本要求,就是衡量简历质量的根本标准,也就是说在写个人简历的时候要非常助于其基本要求。 1,个人简历上要无错别字 错别字在个人简历上可以算是最低级的错误,即便说在写个人简历上会用到一些生僻字,但是个人简历本身的内容就不会有很多,一旦出现错误很容易就会被发现。一方面说明求职者写个人简历不够用心,另一方面也说明求职者的能力有限。 ·

因此,好的个人简历上一定不能出现错别字。 2,个人简历信息内容完整 个人简历上主要就是自己的信息,虽然说个人简历要求是简洁,但同时也要求要完整。在个人简历上要有自己完整的信息,这也是基本的要求,尤其是求职者的联系方式以及求职目标等等,这些信息都不能缺少。 3,语言描写有逻辑性 个人简历大多数都是通过文字的方式来写出的,而由文字所写的个人简历,基本要求就是语句通顺不能过于口语化。更重要的是,个人简历上的语言描述要有逻辑性。 更多相关文章推荐阅读: 1.计算机网络技术专业的个人简历模板 2.计算机网络大专求职简历模板 3.网络工程本科个人简历模板 4.网络测试工程师求职简历模板 5.网络维护电子简历模板 6.网络销售应聘简历模板 7.网络公司应聘电子简历模板 8.计算机网络构建求职简历模板 9.网络安全管理个人简历模板 10.网络技术员简历模板 ·

数据库工程师简历模板

个人简历 姓名:*** 性别:男 出生年月:联系电话:135*** 学历:硕士专业:社会学(社会统计 与人口分析方向) 工作经验:民族:汉 毕业学校:***大学 住址:*** 电子信箱:*** 自我简介: 极强的可塑性:文科(管理学,社会学背景),通过全国校招,成为网站数据分析部第一个校招生,半年后 获得特别晋升,成为39个来自***,***,***,***,***的校招生中唯一一个一个获得晋升的应届生,熟练领 衔商业模式研究,全站用户留存模型,产品信息模型等,独立支持小商品发展部的业务开展和中文网站的 产品使用模型。一年半的数据分析师经验。学习能力强:研究能力强,喜欢用一套逻辑思维去研究各种社 会现象,大学期间,曾独自完成高校同性恋人群研究,基督教人群研究等课题,对新知识有极强的兴趣, 零基础成为部门ORACLE PL/SQL的高手,对于clementine也有自己的使用心得。在小商品业务发展部 建立了业务分析的SPU模式,产品信息模型实现全网站的推广。沟通能力强:作为数据部门,经常承担起 需分,产品经理乃至项目经理的角色,协调数据仓库,运营,产品的无缝衔接。 求职意向: 目标职位:产品经理| 项目经理·项目主管| 数据库管理员·数据库开发工程师| 咨询员| 编 辑·记者 目标行业:政府·非营利机构| 媒体·出版·文化传播| 互联网·电子商务| 房地产开发·建筑与工 程| 专业服务(咨询·财会·法律等)

期望薪资:面谈 期望地区:*** 到岗时间:面谈 工作经历: –最近的公司名称保密 数据分析师需求分析师数据库开发 工作职责和业绩: 作为部门第一个校园招聘的新人,两年期间,先后负责或者正在负责阿里巴巴搜索 线,在线交易市场,网站基础产品(商品信息,类目体系,会员体系)三大部门的 数据监控,数据分析产品开发,用户分层,用户研究,用户数据建模,数据挖掘, 产品设计的数据参谋,以及数据模型的应用推广。 教育培训: –***大学 社会学(社会统计与人口分析方向)硕士 专业描述与主修课程: 重点发展了数据处理能力和社会调查能力,对spss,人口数据分析技术,社会心理 学,社会调查方法等课程掌握的非常好熟练使用spss并掌握sas –***大学 公共管理 专业描述与主修课程: 重点学习了管理学的大类课程对管理学人力资源管理经济学等有较好的功底 提供个人简历模板,正式使用前请删除本行。

大数据开发工程师的具体职责

大数据开发工程师的具体职责大数据开发工程师负责公司项目应用监测数据,分析软件大数据平台的代码开发。下面是小编整理的大数据开发工程师的具体职责。 大数据开发工程师的具体职责1 职责: 1、负责公司大数据平台数据处理工具ETL、流处理平台等建设,功能规划,平台演进,维护调优等; 2、结合公司业务特征,负责公司数据仓库规划、数据仓库建设、数仓管理等; 3、负责大数据处理技术研究及新技术引进,参与超大规模实时/离线数据计算框架,存储、查询、可视化解决方案的设计,研发; 4、负责公司业务数据仓库模型建设及全业务数据域打通; 5、负责BI报表和可视化项目,和客户深度沟通,理解客户的业务挑战,提供解决方案,制定开发计划并执行,支持各单位日常数据需求和任务; 任职资格: 1、熟练掌握关系型数据库,例如:Oracle、Mysql、Vertica等;熟悉NoSql数据库,例如HBase、Redis、MongodDB 等;具备丰富的数据库管理和运维调优经验; 2、熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、

主数据管理,数据打通等; 3、有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术并有相关实践经验着优先,如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm; 4、精通数据预处理、检验、清洗、分析方法,精通各种常用统计检验方法;熟练掌握一门或多门编程语言,并有大型项目建设经验者优先,如Java、Python、Shell和scala 等; 5、精通Linux,熟悉日常运维、搭建常见服务器、定位解决日常问题的能力,具备ETL开发经验优先; 6、良好的语言沟通与表达能力,有丰富的数据开发经验,较强的数据、平台、技术理解能力; 7、具备数学类、计算机类等相关专业统招本科及以上学历,具有3年及以上大数据开发工作经验,有互联网行业背景优先。 大数据开发工程师的具体职责2 职责: 1、在hadoop平台进行hive/hbase/spark开发; 2、处理公司大数据平台产品的技术工作,包括存储、处理、分析、挖掘、架构设计、研发工作; 3、熟悉设计、构建和优化基于hadoop/Hbase的存储平台架构; 4、熟悉整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;

2020年网络系统工程师的简历范文

网络系统工程师的简历范文 本页是最新发布的《网络系统工程师的简历范文》的详细文章,觉得应该跟大家分享,为了方便大家的阅读。 姓名:王XX 性别:男 民族:汉政治面目:团员 学历(学位):学士专业:工业电器自动化 ___:手机: 联系地址:邮编: Email Address:呼机: 教育背景 毕业院校:北京工业大学 1993.9--1997.7 工业电器自动化专业

主修课程:自控原理,电力拖动,电子技术,自动测试,组织与结构,计算机硬件及接口电路设计,汇编语言程序设计,C.C++程序设计,软件工程计算机网络原理等课程 另:其他情况 *微软认证系统工程师培训,培训科目:Windows NT Technology,Windows NT Enterprise,Networking with TCP/IP on Windows NT,ⅡS4.0 WindowsNT * 英语通过国家四级考试,阅读和翻译能力较强,曾多次为机械工业出版社翻译计算机书籍,并获出版。 工作经历 *1998年5月---至今 XX 网络系统工程师 ● Cisco、IBM网络产品的技术支持

网络系统方案(局域网和广域网)的设计和规划,解答的疑问,根据用户需求提出最佳解决方案;Cisco、IBM网络产品的现场调试和系统维护 ●客户技术培训,及公司内部的技术交流与培训 网络基本原理及技术:LAN,WAN,TCP/IP,ATM等,以及Cisco、IBM 网络设备调试过程;讲解IBM AIX基本系统管理及高级系统管理、Netview、 NFS、HACMP等 ●曾经参与的项目 设计,安装,调试“吉林97工程”--吉林省电信综合管理系统ATM网络及主机系统,长沙卷烟厂,锦州合作银行,人民教育出版社信息系统;设计云南省邮电办公信息集成系统,济南广电ATM宽带综合业务网、陕西有线电视宽带网。 *1996年9月---1998年3月 XX公司 系统管理员/工程师

软件工程师个人简历【三篇】

软件工程师个人简历【三篇】 导读:本文软件工程师个人简历【三篇】,仅供参考,如果觉得很不错,欢迎点评和分享。 篇一 个人信息 姓名: 性别:女 手机:1897275xxx 居住地:广州 工作年限:一年 电子邮件: 求职意向 期望职位:JAVA软件工程师 到岗时间:随时 工作性质:全职 希望行业:计算机软件 目标地点:深圳、广州 工作经验 20xx.9-20xx.9:广州锐盾科技有限公司 所属行业:计算机软件 职位:JAVA软件工程师

项目经验 项目一:ERP企业资源计划管理 项目描述:整个项目的流程按系统架构、需求分析、设计、编码、测试的流程进行,主要模块分为:客户信息、客户服务、日程/任务、项目管理、系统管理、数据字典、消息提醒。 系统没有采用Orcale,MsSql等对服务器配置要求很高的数据库,而是采用最适合中小企业使用的免费开源工具:sqlserver数据库+当前流行的J2EE企业级开发,使产品可运行于Windows、Linux 等任何操作系统之上,同时降低了服务器的配置要求,也降低了用户成本,节省了不必要的开支。 利用Struts规范、清晰的MVC框架将项目层次化,只需编写相应组件、不必再考虑架构的设计,SpringIOC容器实现组件控制关系的转移,一定程度上降低了代码的耦合度;Hibernate主要是O/RMapping的框架,将对数据库的操作转换为对对象的操作,更加符合了面向对象的思想,简化了程序的编写和维护的难度,使用Spring对Hibernate的整合简化了代码,系统架构采用N层架构模式,实现如下: Web层:用JSP,Struts,JSTL,EL,Ajax技术,通过调用业务接口来调用具体的业务组件的实例,而业务组件的实例是Spring的IoC容器取得。 业务层:使用业务委托模式使控制层与业务层实现分离,避免控制层与业务层的耦合带来的维护和升级的困难。

大数据工程师面试题

大数据工程师面试题 大数据工程师面试,对于很多人来说应该都不陌生了吧,虽说大数据就业前景很好,但想要成功进入名企,并不是一件容易的事情,不仅仅需要专业的技能,还需要你在面试的时候认真准备一下。面试的时候,我们会遇到各种各样的问题,千锋讲师今天就先讲解一下面试经常会遇到的问题,Hadoop是如何工作的? Hadoop是一个分布式文件系统(Hadoop Distributed File System),简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架,以一种可靠、高效、可伸缩的方式进行数据处理。所以说Hadoop解决了大数据如何存储的问题,因而在大数据培训机构中是必须学习的课程,也是面试中面试官非常注重的一个技术点。 Hadoop是如何工作的? Hadoop是从Google文件系统发源而来,并且他是一个用Java开发的跨平台的应用。核心组件有: Hadoop Common,拥有其他模块所依赖的库和基础

工具,Hadoop分布式文件系统(HDFS),负责存储,Hadoop YARN,管理计算资源,和Hadoop MapReduce,负责处理的过程。 Hadoop把文件拆成小块并且把他们分发给集群中的节点。然后,它使用打包的代码分发到节点上并行处理数据。这意味着可以处理数据的速度会比使用传统的体系结构的更快。 一个典型的Hadoop集群都会有主节点和从节点或者叫工作节点。主节点有一个任务跟踪器,任务调度,名字节点和数据节点组成。从节点通常作为一个数据节点和任务调度器,不过特殊的场景下程序可能只有数据节点然后在其他的从节点进行处理计算。 在大的Hadoop集群中,通常会使用一个专用的名字节点来管理HDFS节点的文件系统索引信息,这防止了文件系统的数据丢失和损坏。 千锋教育拥有一支的强师队伍,在教学研究方面,我们老师不断的推陈出新,探索更新的教学方式,结合时代所需不断更新课程大纲,加强学生对于知识的理解和运用。千锋讲师对于大数据行业时刻保持一定的敏感性和前瞻性,定期与各大企业的技术官交流分析,掌握大数据的发展动向,不仅仅可以帮助同学们更好的学习大数据技术,还会预测一些大数据工程师面试题,为同学们的就业之路披荆斩棘。 关键词:大数据工程师面试题

大数据简历--模板

Hadoop软件工程师 个人信息 姓名:性别:男 年龄:26岁学历:本科 籍贯:英语水平:CET-4,熟练阅读API文档毕业院校:联系电话: 工作经验:3年电子邮件: 求职意向 工作性质:全职目标地点:北京 目标职能:hadoop 高级工程师目标薪资:面议 工作经历 单位名称:正保教育 职位名称:hadoop软件工程师 工作时间:2014.3-2015年7月 工作描述:1、主要从事软件编码工作。 2、需求调研,需求分析,功能模块分析以及编码实现等。 3、调整整个项目的开发周期 4、参与系统的业务需求分析 5、把握项目周期 单位名称:创维互联新能源科技有限公司 职位名称:hadoop项目经理 工作时间:2015.7-至今 工作描述:1、项目的需求分析 2、项目的架构设计 3、项目的扩展性设计 4、编码工作 5、把握项目周期 专业技能 1.理解hadoop的分布式文件系统,掌握hadoop集群的搭建 2.根据业务需求,完成Map/Reduce编程 3.设计hive数据仓库设计,数据仓库主题分析 4.擅长sqoop数据传输工具 5.擅长kafak消息队列,和strom的对接 6.设计storm实时处理方案 7.设计storm数据落地的完整性需求

8.设计hbase数据仓库,实现二级索引,达到完美的批量写,毫秒级别的查询 9.设计hbase和hive的数据增量 10.熟练掌握redis实时nosql数据库的使用 11.扎实的Java基础,良好的编码风格 项目经历 项目一:创维互联新能源大数据平台 项目名称:新能云平台 软件架构:kafka+strom+redis+hbase+hive+cdh+sqoop 开发环境:eclipse + jdk1.7 + mysql + maven+ svn 项目描述: 随着国家对新能源行业的重视和发展,利用大数据技术,以软件免费共享的模式,实现电站发电设备状态可控在控、故障处理准确及时、人员操作安全规范、统计分析深入全面、运行维护智能高效、经营效益不断提高。 责任描述: 1.参与前期项目分析,设计系统整体架构 2.数据采集设计,实时处理部分strom设计 3.strom写hbase的实质意义的批量写设计 4.hbase和hive增量对接方案设计,hbase二级索引,分页方案设计 5.hive数据仓库设计和维护,数据主题的抽取,数据维度分析 开发步骤: 1.通过远程调用,把二进制数据压缩传输给kafak,在kafak的消费者端进行解压 2.strom通过和kafak对接,消费kafak消息队列里面的数据,strom进行故障判断等分析 3.strom将分析的结果实时存入到redis中,同事把历史数据全量写入到hbase中,满足实时查询 4.数据落地到hbase中,把hbase中的数据和hive进行对接,每天增量更新,传入到hive数据仓库中按天进行分表操作 5.hive数据仓库设计,主题抽取,维度分析,分析历史数据,最后把每天分析的结果存放到hbase中,供给也没进行查询操作 项目二:中华会计网数据分析统计 项目名称:中华会计网数据分析统计 软件架构:hadoop+flume+Hbase+hive 开发环境:Eclipse + Jdk1.7 + maven + svn 项目描述: 该项目主要对教师,学生,已经课件,课程的相关数据进行统计分析。通过统计分析可以分析出老师的受欢迎程度,老师上课的质量,学生的学习的情况,学生的学习习惯,学习行为进行分析,以及课件的受欢迎程度,题库的答疑。已经对账号公用,对非法登账号异常进行统计分析,从而保证产品的版权问题。课程的难易程度进行分析。从而为决策者提供有效的策略方案。

大数据开发工程师岗位的主要职责概述

大数据开发工程师岗位的主要职责概述 大数据开发工程师负责大数据平台的技术和产品的设计、开发、优化和维护。以下是xx整理的大数据开发工程师岗位的主要职责概述。 大数据开发工程师岗位的主要职责概述1 职责: 1、规划及建设大数据平台; 2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作; 3、负责分析、挖掘、对抗各种产品安全层面的恶意行为; 4、参与项目的系统设计和核心代码开发,指导和培训其他工程师; 5、整理和提交技术文档,负责核心功能模块的代码编写和测试工作。 岗位要求: 1、计算机、统计学等相关专业本科及以上学历,具有深厚的数学、统计学和计算机相关知识,精通数据仓库和数

据挖掘的相关技术,3年以上大数据开发相关经验; 2、具有非常扎实的Java基础,熟悉Shell、Python、R、Scala等一种以上语言; 3、算法基础扎实,熟悉常见的数据结构,了解分布式算法和分布式系统的技术原理; 4、精通MapReduce设计方法或Spark计算框架、对NoSQL,Hadoop、Hbase、Spark、Hive等主流云计算,大数据相关软件有充分的了解,并且有实践经验,能解决应用中的复杂问题; 5、熟悉大数据处理相关技术,包括但不限于Hadoop、Hive、Hbase、impala、Spark,Kafaka、Flume、Sqoop、Storm、Redis等; 6、研读过Hadoop、Hbase、Hive源代码者,能够在特定业务中进行定制改造者优先; 7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。 大数据开发工程师岗位的主要职责概述2 职责: 1、参与大数据架构的规划设计,参与业务建模及数据

大数据开发工程师个人简历模板word电子版手机可编辑修改

简小历 求职意向: 大数据开发工程师 1994.03,26岁 现居:广东广州 请输入手机号码 请输入邮箱地址 1. 4年大数据开发经验,良好的数据敏感度,熟悉大数据平台的实时计算架构、实时搜索结构、离线分析结构。 2. 熟练地开发编程能力、缜密的逻辑思维能力,良好的开发习惯,对工作尽职尽责,乐于从事有挑战性的工作。 3. 丰富的团队协作经验,乐于与用户以及同事和领导沟通,以便快速解决项目遇到的问题,抗压能力强。 2018.03 - 2020.11 广州某某网络技术发展有限公司 大数据工程师 在该公司主要负责别克,斯柯达,大众进口, 凯迪拉克,大通等项目数据中台,数据仓库构建,采集用户行为日志,并做出数据分析,完成临时性数据查询的需求等其它工作。具体工作如下: 1. Hadoop 平台搭建,使用Hive,Zepplin ,MR 等大数据技术的脚本编写,统计涵盖留资,商品,订单,行为 轨迹等多维度数据来源。 2. 基于Python 的实时统计报表,涵盖PC,WAP ,小程序秒级的统计;基于经销商的数字集客可视化报表的开发。 3. 参与线上"无埋点技术"开发,及表结构设计和维度拆分,以及从数据采集,转换,清洗数据到数据仓库,以及数 据处理功能的开发。 4. 对数据资源进行抽取、清洗、转换、分析等处理工作,整合数据资源,为产品,运营提供数据支持。 5. 支持多来源渠道监测,完成网站引流流量数据的监控和统计;汽车之家,爱卡,太平洋,懂车帝等多渠道来源 监测,完成线索数据的监控和统计。 6. 统计别克,斯柯达,大众进口车,凯迪拉克等项目的报表数据,通过数据对网站进行分析,优化;根据网站做 用户标签,用户行为轨迹更加直观的展示。 2016.07 - 2018.02 广州某某科技股份有限公司 大数据开发工程师 1. 参与公司大数据平台需求的开发--优化程序,提高了数据预处理的效率。 2. 为公司搭建自动部署平台--通过自动打包部署,提高了项目部署的效率。 3. 参与东莞移动大数据平台项目(互联网质量提升与数据分析项目)设计和开发--成功的帮助该公司定位用户问 题、提供专项分析,为该公司的决策提供了依据,并且成功的推广到其他地市。 4. 参与公司DMP 数据管理平台(房地产项目、汽车项目)--成功的运用某房地产商。 5. 参与省电信大数据中心异网终端识别、以及APP 应用的深度分析。 6. 参与临时性需求的开发,包括为公司竞标北京电信的精准营销项目提供支持,支撑公司的智能推送等等。 工作经历 自我评价

网络维护工程师专业简历模板

网络维护工程师专业简历模板 个人简历在网上注册的大部分都是表格式的个人简历让求职填写,但现在去公司面试是否也一样用表格式的个人简历?表格式的个人简历是一种比较多人用,也是比较标准的求职简历设计,用表格式写个人简历能请让看简历的人眼睛比较舒服,因为表格式的个人简历是每一项都有一个表格的,分格得很清楚文字不会连在一起,要让看简历的人自己分。以下小雅WTT推荐网络维护管理员求职简历阅读。 网络维护工程师专业简历模板 姓名:小雅 一年以上工作经验|男|26岁(1990年2月19日) 居住地:合肥 电话:137*******(手机) E-mail:. 最近工作[4个月] 公司:XX有限公司 行业:计算机软件 职位:网络维护工程师 最高学历 学历:本科 专业:计算机应用

学校:中国科技大学 求职意向 到岗时间:可随时到岗 工作性质:全职 希望行业:计算机软件 目标地点:合肥 期望月薪:面议/月 目标职能:网络维护工程师 工作经验 20XX/12 – 20XX/4:XX有限公司[4个月] 所属行业:计算机软件 工程部网络维护工程师 1. 负责网站的日常维护,保证网站的安全,维护相关的工具。 2. 独立进行必要的编程工作,不断改进工具的功能和可靠性。 3. 参与制定合作方网站的结构、内容,设计并负责其实施和后期维护。 20XX/5 – 20XX/11:XX有限公司[1年6个月] 所属行业:计算机软件 工程部系统维护工程师 1. 与产品规划人员沟通,掌握产品需求及变更。

2. 进行数据库的安装和维护,进行数据平台的安装、配置和使用。 3. 安装和配置各种应用服务器,撰写相关工作日志和技术摘要。 教育经历 20XX/8- 20XX/6 中国科技大学计算机应用本科 证书 20XX/12 大学英语四级 语言能力 英语(良好)听说(良好),读写(良好) 自我评价 本人综合素质佳,能够吃苦耐劳,忠诚稳重,坚守诚信正直原则,勇于挑战自我开发自身潜力。善于学习,勤奋务实,刻苦钻研,具备广泛的兴趣和很丰富的知识,适应能力强,能够在很短时间内融入一个新的领域,适应它并且把它做好。

大数据工程师主要做哪些工作

1、什么是数据工程师 数据工程师这个概念其实很模糊,不同的人和公司对它赋予的含义也区别很大,感兴趣的可以看一下多智时代的相关文章。在这里,我们大概聊一下一般意义上的数据工程师在工作中会做什么? 集群运维:安装、测试、运维各种大数据组件 数据开发:细分一点的话会有ETL工程师、数据仓库工程师等 数据系统开发:偏重Web系统开发,比如报表系统、推荐系统等 这里面有很多内容其实是十分重合的,下面大致聊一下每一块内容大致需要学什么。 2、集群运维 数据工程师,基本上是离不开集群搭建,比如hadoop、Spark、Kafka,不要指望有专门的运维帮你搞定,新组件的引入一般都要自己来动手的。 因此这就要求数据工程师了解各种大数据的组件。 由于要自己的安装各种开源的组件,就要求数据工程师要具备的能力:Linux。要对Linux比较熟悉,能各种自己折腾着玩。

由于现在的大数据生态系统基本上是JVM系的,因此在语言上,就不要犹豫了,JVM系的Java和Scala基本上跑不掉,Java基本上要学的很深,Scala就看情况了。 3.ETL ETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上,比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要,Java、Shell和Sql是基本功。 4.系统开发 我们大部分的价值都会由系统来体现,比如报表系统和推荐系统。因此就要求有一定的系统开发能力,用的较多就是JavaWeb这一套了,当然Python也是挺方便的。 需要注意的是,一般数据开发跑不掉的就是各种提数据的需求,很多是临时和定制的需求,这种情况下,Sql就跑不掉了,老老实实学一下Sql很必要。 如果你也想学习大数据,就来课工场吧!课工场作为专业IT培训机构,专注于

java程序员简历模板(保留了项目经验、工作经验、技能专长)

【基本信息】姓名: 出生日期: 性别: 婚姻状况: 年龄: 身高: 工作年限: 计算机: 目前所在地: 英语水平: 第二外语: 最高学历: 户囗所在地: 英语级别: 水平: 专业: 目前岗位: 软件工程师/程序员 目前行业: 计算机软件及服务

意向地区: 深圳市 意向行业: 计算机软件及服务目前月薪: 期望月薪: 住房要求: 面议 可到岗时间: 一周内 意向岗位: 高级软件工程师/高级程序员/软件工程师/程序员 【联系方式】 联系电话: 公司电话: 个人主页: 【工作经验】 2010-08 ~ 2011-08JAVA中级开发工程师手机号码: Email: 通信地址: 在职期间主要负责对麦当劳食品物流管理系统的升级,业务的分析和整理。

与SA一起完成系统分析工作和制定技术方案。 根据客户的需求文档进行分析,提出解决方案,并快速完成任务。 2008-08 ~ 2010-08JAVA开发工程师 在职期间主要负责对麦当劳食品物流管理系统的开发和维护。 【工作经历详细介绍】 夏辉物流管理系统 项目描述: 夏辉物流管理系统(麦当劳食品物流管理系统),包含基础信息设置,采购,销售,仓管,运输管理,财务接口等模块。该项目前台采用ACHIEVO HAVI团队开发的WAF框架开发。后台采用QUERTZ进行任务管理和调度,业务逻辑采用高效的MYSQL存储过程编写。前台后台独立布置,系统设计成灵活的可扩展的数据导入导出、JOB运行配置等。 使用技术: jsp、javaBean,servlet,,JDBC,struts,hibernate。 开发环境: WindowXP,Tomcat 6."0,Mysql。 责任描述:1)带领小组(2人)负责销售、运输、财务模块开发,处理部分系统性能问题。 2)参与客户需求分析,系统设计,文档编写,数据字典设计,核心代码编写,测试。 项目经验总结: 1)代码规范化,每个人都照公司的规范编码,有利于代码阅读和维护。

软件开发工程师简历模板

软件开发工程师简历模板 自我评价 具备创新意识、能独立分析和解决问题、具有较好的动手能力,对待工作细致负责、组织管理能力强。善于学习新技术,肯钻研,肯吃苦,纪律观念极强,为人正直,乐于助人,善于与他人协同工作。 具备项目的开发和管理经验,曾经参与多个实际项目的开发,对项目整个开发流程熟悉,始终贯彻以用例为驱动,以体系结构为核心,增量和迭代式开发的思想。能够协调组员共同工作,使整个团队上下一条心,共同进步。 本人性格开朗,为人谦和,注重事实,讲究时效。个人的奋斗目标是成为一名优秀的项目负责人。 我将以饱满的热情投入到工作岗位。相信您的信任和我的实力将为我们共同的未来带来共同的成功! 求职意向 工作性质:全职 希望行业:通信及IT企业(中等规模以上) 应聘职位:软件开发工程师、技术支持工程师、软件测试工程师及相关行业 教育经历 软件开发工程师 2003/07—2004/07 武汉东湖新技术开发区英泰移动 通软件培训学校 1996/09--2001/07 中南财经政法大学计算机会计(本科) 证书情况 1998/09 全国计算机等级二级证书 1995/09 全国计算机应用技术证书 工作经验 2001/02—2003/02 武汉盈丰投资顾问有限公司 所属行业:金融(银行、风险基金) 所属部门:电脑部 担任职务:网管 主要职责:负责公司网站整体构架、数据库设计、程序编码和维护以及内部局域网管理维护2000/05—2000/11 武汉春秋国际旅行社 所属行业:旅游业 所属部门:电脑部 担任职务:网页设计/程序设计

主要职责:主要从事公司主页设计/内部软件编码 1997/04—2000/04 武汉市瑞得工贸发展有限公司 所属行业:钢材贸易 所属部门:销售部 担任职务:销售代表 主要职责:主要负责钢材销售、库存管理、财务结算 1996/06—1997/03 武汉市科汉电脑公司 所属行业:IT企业(硬件) 所属部门:技术部 担任职务:技术工程师 主要职责:从事计算机硬件安装调试及售后服务 IT 技能 1.掌握面向对象技术和工程化编程思想以及OOA&OOD&OOP软件设计和UML; 2.掌握J2EE构架,特别是MVC编程模型; 3.熟悉J2SE,并能在Jdk 1.4.2 + Jboss 3.2.3 + Oracle 9i方案下进行分布式软件开发; 4.熟悉SQL Server和Oracle(PL/SQL)数据库设计; 5.熟悉VB + COM + ASP + IIS 5.0 + SQL Server 2000三层组件开发; 项目经验 2004/03—2004/06 分布式药店管理系统EMS V1.0 软件环境:Jdk 1.4.2 + Jboss 3.2.3 + Oracle 9i 开发工具:Java 项目描述:本次开发将采用国际上通行的J2EE(MVC)开发模式,并最大程度的利用面向 对象技术的特点,将整个系统划分为不同的层次来处理。本次开发的目的是最 大程度的整合药店的资源,并将关键性的数据进行集中的统一管理。规模近似 于中等规模的企业级应用,总的模块数量介于30-60个之间;在开发的后期可 能会随着药店的业务发展而做出相应的调整。根据目前市面上Java应用的情 况看来,以JSP/Servlet为主的网络应用代表了其主流的开发方向,而J2EE 的核心EJB由于其过于复杂,在基础应用中使用的并不是很多,同时 JSP/Servlet的开发其竞争力并不是特别强(在国内市场上),所以本次开发 以J2EE的开发模式为主,整个开发将转为使用以EJB为核心的J2EE(MVC模 式)进行编写工作。系统开发成功后,将考虑把其中的核心模块部分重新改写, 以便能够适应其他应用场合的需要。 团队描述:任开发组组长,小组成员共由六人组成。 责任描述:协助项目负责人管理开发活动并全权负责本小组的开发活动,主要负责架构设 计、数据库设计及部分核心代码的实现。 2004/02--2004/03 企业信息化管理平台 软件环境:IIS+IE6 开发工具:ASP+VB+COM 项目描述:该平台包括系统权限管理、新闻发布、公共论坛、内部邮箱、投票管理、任务 管理等模块,在系统权限管理模块中采用三层组件技术,实现界面和代码的分

相关文档
最新文档