大数据运维工程师的岗位职责模板

合集下载

大数据运维工程师岗位职责

大数据运维工程师岗位职责

大数据运维工程师岗位职责简介随着大数据时代的到来,越来越多企业开始使用大数据技术来分析海量数据并提高业务效率。

这就需要专业的大数据运维工程师来维护大数据系统的稳定运行以及数据的高效管理。

本文将会介绍大数据运维工程师的岗位职责,同时分析该职位所需要的技术和能力。

岗位职责维护大数据系统的稳定运行大数据系统运营状况的稳定性是大数据运维工程师的核心职责之一。

运维人员需要针对不同的大数据集群进行监控、检查和维护,确保系统不会出现故障和错误信息。

这个过程通常包括做备份和恢复,开发灾备计划,建立恰当的监控系统等。

如果系统出现了故障或是性能问题,大数据运维人员需要快速定位并修复问题,同时评估和优化系统以提高可靠性和性能。

管理大数据系统的配置大数据技术中包含有众多的配置选项和参数设置。

一个优秀的大数据运维工程师需要了解这些选项和参数,并且知道如何合理地使用它们。

大数据运维工程师可以为不同的数据科学家和其他用户定义适当的数据分析环境和数据管道。

另外,他们还负责确保系统集成在应用程序和建筑中,能够顺利运行。

实施数据治理策略数据治理是确保组织解决方案在企业中取得成功的一个重要部分。

大数据运维工程师需要能够开发和实现数据和元数据治理方案,确保数据追踪、数据质量、数据的安全性等问题可以得到解决。

这个过程通常包括对数据的捕捉、处理、存储、备份和恢复等方面的控制,同时需要确保数据和元数据的准确性和一致性。

实施安全措施大数据系统通常包含敏感数据,而且这些数据的数量非常庞大。

大数据运维工程师需要确保这些数据安全,满足法规要求。

运维人员需要了解安全风险,基于这些风险来建立安全策略。

实施安全策略通常包括访问控制、权限管理、日志记录和审计等方面。

他们还需要评估现有的安全策略,评估其有效性,随时做出必要的调整。

建立和维护技术文档大数据技术十分复杂,大数据系统的设置也很复杂。

大数据运维工程师在运维大数据系统时需要文档化工作,包括为项目建立文档和记录、确保团队其他成员可以理解和理解所涉及的技术知识、并确保不断学习新技术并用通过文档将学习的知识反馈到代码库中。

大数据运维工程师岗位的工作职责概述(精选30篇)

大数据运维工程师岗位的工作职责概述(精选30篇)

大数据运维工程师岗位的工作职责概述(精选30篇)大数据运维工程师岗位的工作职责概述篇1职责:1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作,保障系统7*24小时运营;2. 为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张,发现并能解决重大故障及性能瓶颈;3. 深入理解系统平台及大数据相关运维技术,持续优化集群服务架构;4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求:1. 至少3年以上大数据运维经验,深入理解Linux系统,运维体系结构;2. 深度优化HADOOP平台MR作业/计算框架/存储技术,提升集群吞吐并降低成本;3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flu me/Impala/Hue/Kettle/Flink等大数据系统的运维经验,有开发经验;4. 熟悉HADOOP生态,有数据安全相关工作经验,并能对平台CPU/MEM/IO/网络/调度中一个或多个方面的性能调优;5. 熟练掌握shell/python中的任意一门脚本语言;6. 强烈责任感、缜密的逻辑思维能力,良好的团队协作能力,具备良好的项目管理及执行能力;大数据运维工程师岗位的工作职责概述篇2职责:1,负责软件系统的部署运行;2、负责业务数据系统接入的规划和实施;3,理解行业业务,梳理业务数据模型;4,完成项目实施过程中各类文档的编写、收集、整理、归档;5,与客户保持密切沟通,建立良好的客户关系,保障良好的客户满意度;有效的分析和控制客户需求,解决项目实施过程中遇到的质量问题和管理问题。

岗位要求:1、全日制本科以上学历,软件工程、计算机科学相关专业;2、3年以上的软件/项目管理实施经验;3、熟悉Linux操作,熟练编写shell/python脚本;4、了解常用开源分布式系统Hadoop/Spark/Hive/Hbase;5、熟练使用SQL语句,熟悉ETL工作;6、熟悉Oracle,mysql等关系型数据库;7、具有强烈的责任感与团队合作精神,出色的沟通及学习能力;8、有较强的分析问题能力,独立解决问题能力,能接受在客户公司办公。

大数据运维工程师岗位职责

大数据运维工程师岗位职责

大数据运维工程师岗位职责职位描述大数据运维工程师是负责管理和维护企业的大数据基础设施和应用平台的专业人员。

他们负责监控数据流、处理数据故障,并解决与大数据相关的技术问题。

此外,大数据运维工程师还负责与开发团队和业务团队合作,以优化和提高大数据平台和应用的性能。

主要职责以下是大数据运维工程师的主要职责:1. 管理和维护大数据平台•管理和监控大数据平台的正常运行,确保系统的稳定性和可用性。

•定期维护和更新大数据平台的软件和硬件设备,确保平台的性能优化。

•负责处理大数据平台的故障和问题,并及时解决。

•跟踪和研究行业的最新技术动态,以确保大数据平台的技术更新。

2. 数据流管理•设计和优化数据流程,确保数据的准确性和完整性。

•监控数据流的运行情况,及时发现和解决数据流的故障。

•分析和评估数据流的性能,提出改进和优化建议。

3. 数据安全和备份•确保大数据平台的数据安全,包括数据的备份、存储和加密。

•监控和管理数据备份的存储和恢复过程,确保备份的及时性和完整性。

•制定数据安全策略和规范,并监督和执行其实施。

4. 大数据应用支持•与开发团队合作,确保大数据应用的正常运行。

•提供对大数据应用的技术支持和故障排除。

•分析和解决大数据应用的性能问题,并提出优化建议。

5. 与业务团队合作•与业务团队合作,了解他们的需求,并根据需求优化和改进大数据平台和应用。

•解答业务团队关于大数据平台和应用的技术问题。

•为业务团队提供数据分析和报告支持。

任职要求以下是大数据运维工程师的一些常见任职要求:•扎实的计算机科学和大数据技术背景。

•熟悉大数据平台和应用的管理和维护。

•熟悉大数据技术和工具,如Hadoop、Spark等。

•具备良好的问题分析和解决能力。

•具备良好的沟通和合作能力,能够与不同团队合作。

•具备较强的自学能力,能够快速学习和应用新的技术。

结束语大数据运维工程师是负责管理和维护企业的大数据基础设施和应用平台的重要职位。

他们的主要职责包括管理大数据平台、处理数据流故障、确保数据安全和备份、支持大数据应用和与业务团队合作。

数据运维工程师岗位职责

数据运维工程师岗位职责

数据运维工程师岗位职责数据运维工程师岗位职责在不断进步的时代,我们都跟岗位职责有着直接或间接的联系,岗位职责包括岗位职务范围、实现岗位目标的责任、岗位环境、岗位任职资格及各个岗位之间的相互关系等。

想学习制定岗位职责却不知道该请教谁?以下是店铺为大家收集的数据运维工程师岗位职责,仅供参考,大家一起来看看吧。

数据运维工程师岗位职责1岗位职责:1、负责数据平台的实时及离线计算的运维管理工作(部署、监控、优化、故障处理);2、参与数据平台的相关工具开发(包括自动化部署、关键指标监控等)。

3、负责系统的运维与主动预防,搭建监控机制以及时发现集群问题,持续提升系统可用性与稳定性;4、跟进并处理系统事件,对系统问题及故障解决跟踪优化,负责服务状况与服务质量报告,不断提升集群服务质量;5、梳理优化业务使用集群的流程及规范,使集群使用在资源利用、质量等方面均达到较高水平;6、日常跟踪业界技术发展动态,并结合业务发展需要,研究引入合适的技术。

任职要求:1、本科以上学历,有2年以上Hadoop相关运维经验,了解Hadoop各组件的原理,并有实际部署维护经验;2、深入理解linux系统,计算机网络,运维体系结构,精于容量规划、架构设计、性能优化;3、熟悉一门以上脚本语言(shell/perl/python等),熟练掌握自动化运维技术;4、熟悉docker操作、实施,能通过kuberneter、swarm技术管理docker集群,熟悉灰度发布;5、熟悉hadoop、hive、hbase、yarn、spark等大数据生态圈之组件的原理及运维方式;6、熟悉数据库基本原理,能对Mysql进行性能优化,监控Mysql 日常运行情况,熟悉主备、主从、安全机制;7、有敏锐的技术洞察力和较强的问题分析能力,故障排查能力,有很好的技术敏感度和风险识别能力;8、良好的沟通技巧和推动能力,良好的服务意识和团队协作意识,细致周到的做事风格,责任心强;9、熟悉公有云及架构,如AWS优先考虑。

大数据运维工程师的主要职责说明(精选27篇)

大数据运维工程师的主要职责说明(精选27篇)

大数据运维工程师的主要职责说明(精选27篇)大数据运维工程师的主要职责说明篇1职责:1、负责公司大数据集群的构建,任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守,参与大数据基础环境的架构设计与改进;3、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的Hadoop、Spark运维技术及发展方向;4、具备ownership,故障排查能力,有很好的技术敏感度和风险识别能力;5、良好的服务意识,主动思考,自我驱动力。

任职资格:1、熟悉RedHat、CentOS、Ubuntu系列Linux系统的配置、管理、内核优化。

能够独立编写(Shell/Python)脚本语言,脚本开展日常服务器的运维;2、熟悉hadoop生态圈Hadoop, Kafka, Zookeeper, Hbase, Spark、YARN、Elasticsearch、Storm、Tomcat的安装、调试和运维经验; 熟悉分布式日志分析系统ELK及相关技术;3、熟悉软硬件设备,网络原理,有丰富的大数据平台部署,性能优化和运维经验; 了解运维高容量、大流量、大并发Web系统的业务知识以及解决方案;4、工作认真负责,有较强的学习能力,动手能力和分析解决问题的能力;5、能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务;6、mongodb、mysql等配置、调优和备份。

大数据运维工程师的主要职责说明篇2职责:1、负责大数据运维体系中的监控工作;2、负责处理用户服务请求事件;3、负责监控报警事件的处理;4、负责协助完善监控体系;5、负责监控平台运维工作,持续优化监控体系;6、按时完成领导交办的其他相关工作。

任职要求:1、大专及以上学历,计算机相关专业,1年以上大数据系统运维经验;2、熟悉linux操作系统,熟悉hadoop、hive、hbase、yarn、spark、storm等组件的原理及运维方式;3、熟悉中间件工作原理,对TOMCAT/jetty/nginx/微服务有一定了解,具备一定的操作能力;4、至少熟悉python/bash/shell一种或多种语言,可独立编写维护及监控脚本;5、有强烈的求知欲和钻研技巧,具有良好的独立分析问题与迅速解决问题的能力;6、有良好的职业责任心和团队协作意识;7、能适应7*24小时三班倒工作时间。

IT运维工程师工作的岗位职责范本(34篇)

IT运维工程师工作的岗位职责范本(34篇)

IT运维工程师工作的岗位职责范本(34篇)IT运维工程师工作的岗位职责范本(通用34篇)IT运维工程师工作的岗位职责范本篇1与主要客户员建立良好关系;SLA达成及客户满意度高;围绕问题和机遇进行良好的沟通&&把事情做好,解决紧急case;做好服务报告;技术文件的更新和整理。

自学新技术和新产品服务报告及承办服务提供会议;消除客户满意的所有障碍关注客户和MTS的长期利益;跟进服务提供不符合预期的情况; 成功的服务交付;IT运维工程师工作的岗位职责范本篇2职责:1.负责公司内部、外部网络设备的管理及运维,数据库维护、优化、备份、灾备与恢复、应急措施等;2.负责公司业务网络设备的网络整体解决方案与规划,保证业务服务器、网站的正常运转和升级;3.负责各种办公软件的安装、调试、维护和升级。

任职资格:1. 本科及以上学历,理工科专业背景;2年以上互联网行业企业局域网网络调试、维护工作经验,精通主流数据库的配置与优化,数据备份与恢复,数据安全,数据迁移与归档,数据库日常监控与管理,熟悉SQL SERVER、ORACLE等数据库的安装;3.对windows、linu_等主流操作系统的业务运营有丰富的经验;4.精通sqlserver和mysql数据库,精通IIS和Apache等中间件的配置和部署,精通windows7和linu_服务器操作系统管理;IT运维工程师工作的岗位职责范本篇3职责:1.负责机房基础设施及服务器、交换机的日常维护巡检,保持机房运行环境的良好状态;2.对数据中心机房服务器、网络等设备进行安装、硬件维护、故障处理等工作;3.负责服务器系统、数据库安装与维护管理;4.负责公司网络平台的运行监控与维护;5.进行路由器等网络设备的维护管理,并对网络优化及办公室病毒查杀进行合理规划;6.对公司电脑、及IT周边设备故障维护;7.负责VPN网络、VOIP网络建设和维护,技术档案维护。

8.对泛微OA系统、SAP系统开发与维护任职要求:1.计算机相关专业,大专以上学历;2.3年以上的网络管理、服务器管理、机房管理维护工作经验;3.熟悉服务器系统、数据库安装与维护;4.熟悉企业级路由器、交换机、防火墙设备的设置与维护管理;5.精通windows,AD域、DHCP、DNS搭建与管理,熟悉e_change邮箱服务器的管理6.熟悉应用系统架构,对OA系统、ERP软件有维护经验7.注重服务意识,责任心强,性格开朗,工作积极主动,能接受勤奋工作氛围,有一定的抗压能力,敢于承担。

运维工程师岗位职责范文(5篇)

运维工程师岗位职责范文(5篇)

运维工程师岗位职责范文1、响应及解决客户的技术要求、疑问以及系统使用过程中遇到的各种问题;2、负责服务过程中问题现象和处理方案的收集撰写,形成知识库,并对知识库进行维护更新;3、及时反馈技术处理过程中的异常情况,及时向部门负责人、服务开发PM、客户经理等相关人员报警;同时,主动协调资源推动问题解决;4、定期对所有服务问题进行分析,并对服务效率有影响的问题提供反馈意见,提升服务支持团队专业度岗位职责2:运维工程师岗位职责1、负责数据中心日常巡检工作,并根据要求形成相关统计报告。

2、每周按照要求制作机房运行参数等的统计分析。

3、能够部署相关的操作系统(windows、linu____)以及一些基本服务,例如AD、DNS、DHCP、AAA、IIS、文件系统等。

4、能够配置交换机的基础配置(MSTP、RSTP、主从VLAN、动态VLAN等基础配置)5、路由协议(静态、RIP、ospf路由)。

6、了解防火墙的工作原理,能够进行简单的策略下发。

岗位职责3:运维工程师岗位职责无论做什么运维,运维工程师最基本的职责都是负责服务的稳定性,确保服务可以7____24H不间断地为用户提供服务。

在此之上运维工程师的主要工作职责如下:质量:保障并不断提升服务的可用性,确保用户数据安全,提升用户体验。

效率:用自动化的工具/平台提升软件在研发生命周期中的工程效率。

成本:通过技术手段优化服务架构、性能调优;通过资源优化组合降低成本、提升ROI。

从产品的生命周期来看:1.产品发布前:负责参与并审核架构设计的合理性和可运维性,以确保在产品发布之后能高效稳定的运行。

2.产品发布阶段:负责用自动化的技术或者平台确保产品可以高效的发布上线,之后可以快速稳定迭代。

3.产品运行维护阶段:负责保障产品7____24H稳定运行,在此期间对出现的各种问题可以快速定位并解决;在日常工作中不断优化系统架构和部署的合理性,以提升系统服务的稳定性。

岗位职责4:运维工程师岗位职责1、参与设计、审核、优化公司IT系统以及各应用系统的体系架构;2、全面负责公司运维项目的系统升级、扩容需求与资源落实,配合开发需求,测试、调整运维平台;3、负责网络以及服务器的网络设置、维护和优化、网络的安全监控、系统性能管理和优化、网络性能管理和优化;4、建立面向开发部门,业务部门的服务流程和服务标准;5、负责IT运维相关流程的规划、设计、推行、实施和持续改进;6、负责内部分派下发,对实施结果负责。

大数据运维工程师的主要职责说明(十七篇)

大数据运维工程师的主要职责说明(十七篇)

大数据运维工程师的主要职责说明(十七篇)大数据运维工程师的主要职责说明篇一大数据运维工程师的主要职责说明篇九大数据运维工程师的主要职责说明篇十一1、负责公司服务器的日常维护,降低服务器的故障率;2、负责系统、软件的安装、管理及技术支持;3、编写脚步,简化工作,提升效率;4、制定工作流程标准,优化现有工作流程;5、负责服务器资产的管理、各种信息的更新;6、完成各项临时性工作。

大数据运维工程师的主要职责说明篇十二1、负责系统运行团队的日常运维工作;2、做好相关系统运行情况的值班记录和数据汇总工作;3、负责团队运维系统的安装、调试、维护、监控和故障处理等日常工作,对团队运维系统提供技术支撑,保证系统稳定运行;4、负责日常运维问题记录、反馈和跟踪。

5、撰写相关的运行维护手册和后续完善修订,定期编写系统运行维护报告。

6、完成领导安排的其他事项。

大数据运维工程师的主要职责说明篇十三职责1、服务器的配置,维护,监控,调优,故障排除等;2、大用户量下高性能服务器系统部署方案的制定及实施;3、保障服务器与数据库安全,检查并消除安全漏洞;4、数据备份、数据监控、应急响应、故障排除、编写数据分析报告等;5、能够熟练排查运维过程中出现的服务故障、系统故障、网络故障;6、负责公司计算机硬件的安装、配置以及维护修理任职要求1、本科学历,计算机应用或网络相关专业,有1~2年相关工作经验者优先考虑;2、精通shell/python/bat等1至2种编程语言;3、熟悉常见的监控软件zabbix;4、熟悉网络基础知识;5、熟悉使用linux/unix操作系统;6、能熟练的进行postgresql数据库运维管理操作,并能熟练的解决较严重数据库故障;7、精通数据库的各种备份及恢复方法,能进行数据库备份方案的设计,并能进行方案的实施和维护;8、工作积极主动、踏实、认真,有较强的责任心和服务意识,良好的表达及沟通协调能力。

大数据运维工程师的主要职责说明篇十四职责:1.支持仓库管理系统wms和物流中心的日常作业,维护wms相关作业设备2.负责用户、内部人员及外部人员的沟通,及时解决wms系统出现的问题3.培训用户如何使用wms系统,收集、整理wms新需求4.维护仓库网络和电脑设备正常运行,对突发状况及时响应处理和修复5.数据备份和日常安全维护任职要求:1.大专及以上学历,计算机或相关相关物流管理专业2.2年以上仓储物流行业系统运维经验,有wms系统经验者优先3.熟悉windows操作系统和oracle数据库,精通sql语句4.有责任心,具备良好的沟通表达能力和严谨的逻辑分析推理能力大数据运维工程师的主要职责说明篇十五职责:1、负责银行数据中心内基础环境交付工作,包含服务器、操作系统批量安装配置管理。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

大数据运维工程师的岗位职责模板
大数据运维工程师需要负责银行各类应用系统的运维标准制定和运维管理等工作。

下面是小编为您精心整理的大数据运维工程师的岗位职责模板。

大数据运维工程师的岗位职责模板1
职责:
负责公司大数据业务集群的运维工作、集群容量规划、扩容及性能优化;
设计实现大规模分布式集群的运维、监控和管理平台;
参与业务架构设计,在设计阶段给出可运维性改进建议;
深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
负责公司大数据平台的应用监控、容量管理,应急响应等;
领导安排的其他工作。

任职要求:
1、本科及以上学历,软件工程、计算机等相关专业;
2、熟悉计算机原理、网络原理等知识;至少2年以上运维或开发工作经验;
3、搭建,管理及调优
Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等开源项目优先;
4、至少掌握java/python/go中的一种语言;
5、熟悉HBase/Flink/mysql/redis运维优先;
6、熟悉zabbix/graphit/grafana加分;
7、具有很强的分析和解决问题的能力;
8、具有攻克难题的强烈兴趣,以及提升技术能力的意愿;
9、善于主动学习,责任心强,能够承受较大的工作压力。

大数据运维工程师的岗位职责模板2
职责:
1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的Hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求:
1.2年以上中等规模集群环境下的
Hadoop/Impala/Hive/Spark集群相关运维经验。

2.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉Kerberos安全认证系统,实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有Cloudera的CM使用经验尤佳。

大数据运维工程师的岗位职责模板3
职责:
1.负责公司大数据业务集群的运维工作
(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch /Flume等)确保高可用;
2.负责大数据平台的日常部署、升级、扩容、迁移;
3.设计实现大规模分布式集群的运维、监控和管理平台;
4.参与业务架构设计,在设计阶段给出可运维性改进建议;
5.深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
6.兼顾应用系统的运维工作。

任职要求:
1.要求掌握java、shell语言,有Spring Cloud微服务架构开发经验的优先;
2.了解Docker,可以做简单应用;
3.熟悉
Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等开源项目优先;
4.熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题;
5.掌握puppet、kerberos应用的优先;
6.良好的客户服务意识,强烈的责任心和使命感,执行力强,富有团队合作精神;
7.对大数据方向运维有很高的热情和兴趣,能主动学习了解相关知识;
大数据运维工程师的岗位职责模板4
职责:
1、负责公司服务器日常的维护,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;
2、负责公司大数据产品的现场实施,制定可靠的实施方案;
3、负责公司大数据环境(hadoop生态)集群环境安装、维护、部署、优化;
【任职资格】
1、至少2年服务器、大数据集群运维经验;
2、精通linux运维命令,熟悉Linux的维护和管理,熟悉Shell 脚本开发,能看懂Python/Scala优先;
3、熟悉大数据项目实施:包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建,监控,运维,调优、生产环境;
4、熟悉docker技术优先;
5、熟练使用git版本控制,jenkins持续集成工具优先;
6、具备强烈的进取心、自我学习能力,良好的沟通能力和团队合作意识。

大数据运维工程师的岗位职责模板5
职责:
1、负责公司大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;
2、深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;
3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;
4、负责Hadoop/spark/Mysql等集群服务、业务监控、持续交付、应急响应、容量规划等。

任职要求:
1、3年以上互联网运维相关工作经验,2年以上大数据平台运维相关工作经验;
2、具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉
Http/Https、TCP/IP、SMTP等协议;
3、熟悉Hadoop大数据生态圈,包括但不限于
CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impal a/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;
4、熟悉Hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。

并拥有持续调优能力,运维管理过大规模数据平台;
5、熟悉Kubernetes(K8s) 集群Docker 在大数据环境场景的使用;
6、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务
7、有Java开发经验和阅读源码能力者优先。

相关*:
1.大数据运维工程师的职责精选
2.初级运维工程师的岗位职责模板
3.运维经理的工作职责模板
4.运维经理的岗位职责
5.运维服务工程师的职位职责。

相关文档
最新文档