大数据运维工程师的工作职责
大数据运维工程师岗位职责
大数据运维工程师岗位职责简介随着大数据时代的到来，越来越多企业开始使用大数据技术来分析海量数据并提高业务效率。
这就需要专业的大数据运维工程师来维护大数据系统的稳定运行以及数据的高效管理。
本文将会介绍大数据运维工程师的岗位职责，同时分析该职位所需要的技术和能力。
岗位职责维护大数据系统的稳定运行大数据系统运营状况的稳定性是大数据运维工程师的核心职责之一。
运维人员需要针对不同的大数据集群进行监控、检查和维护，确保系统不会出现故障和错误信息。
这个过程通常包括做备份和恢复，开发灾备计划，建立恰当的监控系统等。
如果系统出现了故障或是性能问题，大数据运维人员需要快速定位并修复问题，同时评估和优化系统以提高可靠性和性能。
管理大数据系统的配置大数据技术中包含有众多的配置选项和参数设置。
一个优秀的大数据运维工程师需要了解这些选项和参数，并且知道如何合理地使用它们。
大数据运维工程师可以为不同的数据科学家和其他用户定义适当的数据分析环境和数据管道。
另外，他们还负责确保系统集成在应用程序和建筑中，能够顺利运行。
实施数据治理策略数据治理是确保组织解决方案在企业中取得成功的一个重要部分。
大数据运维工程师需要能够开发和实现数据和元数据治理方案，确保数据追踪、数据质量、数据的安全性等问题可以得到解决。
这个过程通常包括对数据的捕捉、处理、存储、备份和恢复等方面的控制，同时需要确保数据和元数据的准确性和一致性。
实施安全措施大数据系统通常包含敏感数据，而且这些数据的数量非常庞大。
大数据运维工程师需要确保这些数据安全，满足法规要求。
运维人员需要了解安全风险，基于这些风险来建立安全策略。
实施安全策略通常包括访问控制、权限管理、日志记录和审计等方面。
他们还需要评估现有的安全策略，评估其有效性，随时做出必要的调整。
建立和维护技术文档大数据技术十分复杂，大数据系统的设置也很复杂。
大数据运维工程师在运维大数据系统时需要文档化工作，包括为项目建立文档和记录、确保团队其他成员可以理解和理解所涉及的技术知识、并确保不断学习新技术并用通过文档将学习的知识反馈到代码库中。
大数据运维岗位职责
大数据运维岗位职责在当今信息化的时代，大数据已经成为许多企业的核心资产。
为了高效管理和运营这些海量数据，大数据运维岗位应运而生。
下面将详细介绍大数据运维岗位的职责和相关技能要求。
一、数据平台运维作为大数据运维人员，首先要负责维护和管理企业的数据平台，并确保其高效稳定运行。
这包括但不限于以下职责：1. 安装、配置和升级数据平台，如Hadoop、Spark等，并确保其与服务器、网络、存储等环境的兼容性。
2. 监控数据平台运行状态，定期进行巡检和故障排除，以确保高可用性和高性能。
3. 设计和实施数据备份和恢复策略，保障数据的安全性和可靠性。
4. 负责数据平台的容量规划和扩展，及时调整硬件资源，满足业务需求。
二、数据治理和质量保障大数据运维岗位还需要参与数据治理和质量保障的工作，具体包括：1. 设计和实施数据清洗、整合和转换的流程，保障数据的准确性和一致性。
2. 制定和执行数据质量评估和监控机制，定期检查和修复数据质量问题。
3. 合规性与安全性审计，确保大数据的使用符合法律法规和企业政策，并保护数据的安全。
三、故障排除和性能优化大数据运维人员需要具备故障排查和性能优化的能力，以提高数据处理的效率和稳定性。
具体职责包括：1. 根据用户的反馈或监控系统的警报，快速定位故障原因，并采取相应措施解决问题。
2. 分析和优化数据处理和存储的性能问题，提供性能调优建议，以提升数据平台的响应速度和处理能力。
3. 配合开发人员和数据科学家进行系统调试和测试，确保新功能的稳定运行。
四、自动化运维和监控为了提高工作效率和降低人为错误的风险，大数据运维岗位还需要进行自动化运维和监控。
具体职责包括：1. 设计和实施自动化脚本和工具，提高运维工作的自动化程度。
2. 配置和维护监控系统，监视数据平台的运行状态和性能指标。
3. 分析监控数据，制定相应的操作策略，以及时预防和解决潜在问题。
综上所述，大数据运维岗位的职责较为复杂，需要运维人员具备扎实的技术功底和综合能力。
大数据运维岗位职责
大数据运维岗位职责随着大数据技术的迅速发展，大数据运维岗位的需求也越来越大。
大数据运维人员是负责管理、维护、优化大数据平台的专业职业人员。
大数据运维岗位的职责很多，在本文中，我们将详细介绍大数据运维岗位的职责和技能要求。
1. 系统部署和管理大数据运维人员需要负责数据中心、云平台以及大数据集群的部署和管理。
在系统部署方面，大数据运维人员需要了解各种大数据平台的特点和优缺点，选择最适合公司需求的平台，并负责平台的部署、配置和测试。
在系统管理方面，大数据运维人员需要监控平台运行状态，及时发现和排除故障，确保系统的高可用性和安全性。
2. 数据存储和处理大数据运维人员需要负责数据存储和处理方面的工作。
数据存储是指对企业的数据分析进行存储、备份和管理；数据处理是指对企业的数据进行分析、挖掘、优化和清洗，从而为企业的决策和业务拓展提供支持。
在这方面，大数据运维人员需要掌握Hadoop、HBase、MapReduce等相关技术，能够利用这些技术构建高效可靠的大数据存储和处理系统。
3. 系统监控和调优大数据运维人员需要负责大数据平台的监控和调优工作。
在监控方面，大数据运维人员需要了解平台运行的各个环节，及时发现和排除问题，确保平台的高可用性和稳定性。
在调优方面，大数据运维人员需要分析平台的性能瓶颈，优化平台的性能和效率。
4. 安全监控和管理大数据平台的安全性是非常重要的。
大数据运维人员需要负责企业大数据平台的安全监控和管理工作，确保大数据平台的安全性。
这包括对用户访问权限的管理、对数据传输的加密、对系统漏洞的修复等方面的工作。
在这方面，大数据运维人员需要了解大数据安全的风险和挑战，掌握安全监控和管理的相关技术。
5. 维护综合技能大数据运维人员需要拥有一些维护综合技能。
这包括与客户沟通协调能力、团队协作能力、学习能力等方面的能力。
大数据运维人员必须能够与客户沟通，理解客户的需求，并协助团队实现相关业务。
同时，大数据运维人员还需要拥有自主学习和不断进步的能力，通过学习开源组件、最新技术和最佳实践，提高自己的技能水平，以更好地服务于企业。
大数据运维工程师的基本职责（精选30篇）
大数据运维工程师的基本职责（精选30篇）大数据运维工程师的基本职责篇1职责:1、负责Hadoop平台搭建，运维，管理，故障处理。
2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。
3、对平台的Hadoop，Hbase，Kafka，Hive等进行优化。
4、建立Hadoop集群管理和维护规范，包括版本管理和变更记录等。
岗位要求:1、有丰富的Hadoop生态系统的运维经验，了解Hadoop、Storm、Spark、Kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;2、至少精通 Perl/Python/Shell脚本语言中的一种;3、掌握Linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。
5、有独立分析问题和解决问题的能力，能出差。
大数据运维工程师的基本职责篇2职责：1. 负责大数据平台的稳定性和性能优化;2. 负责大数据项目的运维工作;3. 针对业务需求制定统一的运维解决方案;4. 完善自动监控报警系统，对业务层面关键指标进行监控与报警通知;任职要求：1、熟练掌握hadoop平台搭建、维护，有平台优化经验;2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等组件的原理，有阅读源码能力者优先;3、熟悉腾讯云产品，有腾讯云EMR使用经验者优先考虑;4、熟练掌握java、python语言，熟练使用SQL，并有一定的优化能力大数据运维工程师的基本职责篇3职责:1、技术保障各底层支撑系统的可靠性与稳定性;2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;3、负责技术文档手册编写，更新，经验总结沉淀，培训分享;4、负责对新技术和方案进行调研，评估和引进，用技术去提升运维生产效率任职资格:1、熟悉常见的应用服务部署和调优(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、负载均衡集群的规划与搭建;2、熟练使用Linux、TCP/IP网络协议栈，了解常用的Troubleshooting手段和常见性能指标3、具有车联网平台运维的经验，精于容量规划、架构设计、性能优化;4、熟悉主流PaaS云产品的使用，具有运维平台开发经验者、参与过开源产品的开发者优先;5、优秀的沟通能力，出色的学习与钻研能力，良好的问题分析与解决能力;6、对行业技术敏感度高且细致，善于思考，乐于发现，对解决具有挑战性问题充满激情。
大数据运维工程师岗位的工作职责概述（精选30篇）
大数据运维工程师岗位的工作职责概述（精选30篇）大数据运维工程师岗位的工作职责概述篇1职责：1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作，保障系统7*24小时运营;2. 为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张，发现并能解决重大故障及性能瓶颈;3. 深入理解系统平台及大数据相关运维技术，持续优化集群服务架构;4. 对大数据体系下新技术的调研、应用、对内培训。
职位要求：1. 至少3年以上大数据运维经验，深入理解Linux系统，运维体系结构;2. 深度优化HADOOP平台MR作业/计算框架/存储技术，提升集群吞吐并降低成本;3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flu me/Impala/Hue/Kettle/Flink等大数据系统的运维经验，有开发经验;4. 熟悉HADOOP生态，有数据安全相关工作经验，并能对平台CPU/MEM/IO/网络/调度中一个或多个方面的性能调优;5. 熟练掌握shell/python中的任意一门脚本语言;6. 强烈责任感、缜密的逻辑思维能力，良好的团队协作能力，具备良好的项目管理及执行能力;大数据运维工程师岗位的工作职责概述篇2职责：1，负责软件系统的部署运行;2、负责业务数据系统接入的规划和实施;3，理解行业业务，梳理业务数据模型;4，完成项目实施过程中各类文档的编写、收集、整理、归档;5，与客户保持密切沟通，建立良好的客户关系，保障良好的客户满意度;有效的分析和控制客户需求，解决项目实施过程中遇到的质量问题和管理问题。
岗位要求：1、全日制本科以上学历，软件工程、计算机科学相关专业;2、3年以上的软件/项目管理实施经验;3、熟悉Linux操作，熟练编写shell/python脚本;4、了解常用开源分布式系统Hadoop/Spark/Hive/Hbase;5、熟练使用SQL语句，熟悉ETL工作;6、熟悉Oracle，mysql等关系型数据库;7、具有强烈的责任感与团队合作精神，出色的沟通及学习能力;8、有较强的分析问题能力，独立解决问题能力，能接受在客户公司办公。
大数据运维工程师岗位职责
大数据运维工程师岗位职责职位描述大数据运维工程师是负责管理和维护企业的大数据基础设施和应用平台的专业人员。
他们负责监控数据流、处理数据故障，并解决与大数据相关的技术问题。
此外，大数据运维工程师还负责与开发团队和业务团队合作，以优化和提高大数据平台和应用的性能。
主要职责以下是大数据运维工程师的主要职责：1. 管理和维护大数据平台•管理和监控大数据平台的正常运行，确保系统的稳定性和可用性。
•定期维护和更新大数据平台的软件和硬件设备，确保平台的性能优化。
•负责处理大数据平台的故障和问题，并及时解决。
•跟踪和研究行业的最新技术动态，以确保大数据平台的技术更新。
2. 数据流管理•设计和优化数据流程，确保数据的准确性和完整性。
•监控数据流的运行情况，及时发现和解决数据流的故障。
•分析和评估数据流的性能，提出改进和优化建议。
3. 数据安全和备份•确保大数据平台的数据安全，包括数据的备份、存储和加密。
•监控和管理数据备份的存储和恢复过程，确保备份的及时性和完整性。
•制定数据安全策略和规范，并监督和执行其实施。
4. 大数据应用支持•与开发团队合作，确保大数据应用的正常运行。
•提供对大数据应用的技术支持和故障排除。
•分析和解决大数据应用的性能问题，并提出优化建议。
5. 与业务团队合作•与业务团队合作，了解他们的需求，并根据需求优化和改进大数据平台和应用。
•解答业务团队关于大数据平台和应用的技术问题。
•为业务团队提供数据分析和报告支持。
任职要求以下是大数据运维工程师的一些常见任职要求：•扎实的计算机科学和大数据技术背景。
•熟悉大数据平台和应用的管理和维护。
•熟悉大数据技术和工具，如Hadoop、Spark等。
•具备良好的问题分析和解决能力。
•具备良好的沟通和合作能力，能够与不同团队合作。
•具备较强的自学能力，能够快速学习和应用新的技术。
结束语大数据运维工程师是负责管理和维护企业的大数据基础设施和应用平台的重要职位。
他们的主要职责包括管理大数据平台、处理数据流故障、确保数据安全和备份、支持大数据应用和与业务团队合作。
数据运维工程师岗位职责
数据运维工程师岗位职责数据运维工程师岗位职责在不断进步的时代，我们都跟岗位职责有着直接或间接的联系，岗位职责包括岗位职务范围、实现岗位目标的责任、岗位环境、岗位任职资格及各个岗位之间的相互关系等。
想学习制定岗位职责却不知道该请教谁？以下是店铺为大家收集的数据运维工程师岗位职责，仅供参考，大家一起来看看吧。
数据运维工程师岗位职责1岗位职责：1、负责数据平台的实时及离线计算的运维管理工作（部署、监控、优化、故障处理）；2、参与数据平台的相关工具开发（包括自动化部署、关键指标监控等）。
3、负责系统的运维与主动预防，搭建监控机制以及时发现集群问题，持续提升系统可用性与稳定性；4、跟进并处理系统事件，对系统问题及故障解决跟踪优化，负责服务状况与服务质量报告，不断提升集群服务质量；5、梳理优化业务使用集群的流程及规范，使集群使用在资源利用、质量等方面均达到较高水平；6、日常跟踪业界技术发展动态，并结合业务发展需要，研究引入合适的技术。
任职要求：1、本科以上学历，有2年以上Hadoop相关运维经验，了解Hadoop各组件的原理，并有实际部署维护经验；2、深入理解linux系统，计算机网络，运维体系结构，精于容量规划、架构设计、性能优化；3、熟悉一门以上脚本语言(shell/perl/python等)，熟练掌握自动化运维技术；4、熟悉docker操作、实施，能通过kuberneter、swarm技术管理docker集群，熟悉灰度发布；5、熟悉hadoop、hive、hbase、yarn、spark等大数据生态圈之组件的原理及运维方式；6、熟悉数据库基本原理，能对Mysql进行性能优化，监控Mysql 日常运行情况，熟悉主备、主从、安全机制；7、有敏锐的技术洞察力和较强的问题分析能力，故障排查能力，有很好的技术敏感度和风险识别能力；8、良好的沟通技巧和推动能力,良好的服务意识和团队协作意识,细致周到的做事风格,责任心强；9、熟悉公有云及架构，如AWS优先考虑。
大数据运维工程师的主要职责说明（精选27篇）
大数据运维工程师的主要职责说明（精选27篇）大数据运维工程师的主要职责说明篇1职责：1、负责公司大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;3、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的Hadoop、Spark运维技术及发展方向;4、具备ownership，故障排查能力，有很好的技术敏感度和风险识别能力;5、良好的服务意识，主动思考，自我驱动力。
任职资格：1、熟悉RedHat、CentOS、Ubuntu系列Linux系统的配置、管理、内核优化。
能够独立编写(Shell/Python)脚本语言，脚本开展日常服务器的运维;2、熟悉hadoop生态圈Hadoop, Kafka, Zookeeper, Hbase, Spark、YARN、Elasticsearch、Storm、Tomcat的安装、调试和运维经验; 熟悉分布式日志分析系统ELK及相关技术;3、熟悉软硬件设备，网络原理，有丰富的大数据平台部署，性能优化和运维经验; 了解运维高容量、大流量、大并发Web系统的业务知识以及解决方案;4、工作认真负责，有较强的学习能力，动手能力和分析解决问题的能力;5、能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作任务;6、mongodb、mysql等配置、调优和备份。
大数据运维工程师的主要职责说明篇2职责:1、负责大数据运维体系中的监控工作;2、负责处理用户服务请求事件;3、负责监控报警事件的处理;4、负责协助完善监控体系;5、负责监控平台运维工作，持续优化监控体系;6、按时完成领导交办的其他相关工作。
任职要求：1、大专及以上学历，计算机相关专业，1年以上大数据系统运维经验;2、熟悉linux操作系统，熟悉hadoop、hive、hbase、yarn、spark、storm等组件的原理及运维方式;3、熟悉中间件工作原理，对TOMCAT/jetty/nginx/微服务有一定了解，具备一定的操作能力;4、至少熟悉python/bash/shell一种或多种语言，可独立编写维护及监控脚本;5、有强烈的求知欲和钻研技巧，具有良好的独立分析问题与迅速解决问题的能力;6、有良好的职业责任心和团队协作意识;7、能适应7*24小时三班倒工作时间。
大数据运维岗位职责
大数据运维岗位职责随着信息技术的快速发展和互联网的普及，大数据已逐渐成为各行各业的重要组成部分。
大数据运维岗位在这个背景下应运而生，承担着保障数据平稳运行和优化数据管理的重要任务。
本文将介绍大数据运维岗位的职责，并探讨在实际工作中需要具备的技能和素质。
一、大数据平台搭建与维护大数据运维岗位的主要职责之一是搭建和维护大数据平台。
他们需要根据企业的实际需求，选择合适的硬件设备和软件系统，搭建稳定高效的大数据平台。
同时，他们还需要进行系统的监控和维护工作，确保平台的稳定性和安全性。
在出现故障或异常情况时，他们需要及时做出响应并解决问题，保证数据的连续性和准确性。
二、数据采集与处理大数据运维岗位的另一个重要职责是负责数据的采集和处理工作。
他们需要与业务部门合作，了解业务需求，并根据需求设计和开发相应的数据采集和处理系统。
在数据采集过程中，他们需要确保数据的完整性和准确性，防止数据丢失或错误。
同时，他们还需负责数据的清洗、转换和统计分析等工作，为企业提供可靠的决策依据。
三、问题排查与优化在大数据运维工作中，问题排查与优化是重要的环节。
大数据系统可能面临各种各样的问题，如性能瓶颈、容量不足、安全隐患等。
大数据运维人员需要具备较强的问题解决能力，能够快速定位和解决问题，并进行系统的优化和调整，以提升系统的性能和效率。
四、数据安全与备份大数据运维人员需要对数据的安全进行全面的管理和监控。
他们需要设立合理的权限控制机制，确保数据的机密性和完整性。
同时，他们还需进行数据的备份和灾备工作，以应对系统故障、灾害等不可预见的情况，保证数据的安全可靠。
五、团队协作与沟通大数据运维岗位通常不是单打独斗的工作，而是需要与其他团队成员进行紧密的合作。
大数据运维人员需要具备良好的团队合作意识和沟通能力，能够与开发人员、数据分析师等其他岗位进行有效的协作。
只有团队的协同配合，才能够更好地完成工作任务。
六、学习与创新作为一个快速发展的领域，大数据运维人员需要不断学习和更新知识，跟进行业的最新动态和技术发展。
大数据运维岗位职责
大数据运维岗位职责随着大数据技术的迅速发展，大数据运维岗位也逐渐成为了各大企业中不可或缺的职位之一。
大数据运维工程师在企业中负责保证大数据系统的正常运行和优化，确保数据的准确性、完整性和安全性。
下面将具体介绍大数据运维岗位的职责。
1. 系统监控和故障排除：大数据运维工程师负责监控大数据系统的运行状态，及时发现和排除系统故障。
他们需要使用监控工具来监测系统的各项指标，比如存储空间、CPU利用率、网络延迟等。
一旦发现异常，他们会及时采取相应的措施解决问题，确保系统的正常运行。
2. 数据备份和恢复：大数据系统中存储的数据量通常非常巨大，因此数据备份和恢复是非常重要的任务。
大数据运维工程师需要定期执行数据备份，并确保备份的数据完整性和可用性。
在发生数据丢失或系统崩溃等情况时，他们需要迅速进行数据的恢复，以最大程度地减少数据丢失和对业务的影响。
3. 系统性能优化：大数据系统的性能对于企业的数据分析和决策具有重要意义。
大数据运维工程师需要深入了解整个系统的架构和运行原理，根据实际情况进行性能分析和优化。
他们可能会对系统的各个组件进行调优，比如调整存储引擎的配置、优化数据查询的性能等，以提高系统的响应速度和并发处理能力。
4. 安全管理：大数据中包含着重要的商业数据和用户隐私信息，因此安全管理是大数据运维工程师的一项重要职责。
他们需要制定和执行安全策略，确保大数据系统的安全性。
这包括对系统进行漏洞扫描和安全检查，监控和防止潜在的数据泄漏风险，以及协助应对安全事件和恶意攻击。
5. 问题分析和优化建议：大数据运维工程师负责分析和解决系统中的问题，并提出优化建议。
他们需要收集和分析系统运行过程中的日志和指标数据，识别潜在的性能瓶颈和问题原因，并给出相应的改进方案。
这需要对大数据技术有深入的理解和实践经验，以提高系统的稳定性和可靠性。
总结：大数据运维岗位的职责十分繁重，需要对大数据技术有深入的了解和实践经验。
大数据运维工程师需要具备扎实的技术功底和分析能力，能够快速解决系统故障和优化系统性能。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据运维工程师的工作职责
大数据需要负责公司产品的技术支持、安装调试、客户使用培训及相关硬件的安装调试。
下面是小编为您精心整理的大数据运维工程师的工作职责。
大数据运维工程师的工作职责1
职责：
1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;
2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;
3、负责和参与自动化运维系统及平台的建设;
4、负责优化部门运维流程提升运维效率。
任职要求：
1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;
2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix 等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;
3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;
4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;
5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;
6、具备较好的沟通能力、主动性和团队合作精神。
大数据运维工程师的工作职责2
职责：
1、负责Hadoop、HBase、Hive、Spark等大数据平台规划、部署、监控、系统优化等，确保高可用;
2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;
3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;
4、设计实现大规模分布式集群的运维、监控和管理平台;
5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;
6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。
岗位要求：
1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;
2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;
3、熟悉Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;
4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;
5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;
6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;
大数据运维工程师的工作职责3
职责：
1、负责大数据平台架构的规划、设计、搭建;
2、负责大数据平台的运维保障工作;
3、负责运维相关数据分析，以及报表产出;
4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;
5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;
6、研究跟进大数据架构领域新技术并分享。
工作要求：。