华为FusionInsight 2.5可靠性技术白皮书

华为FusionInsight 2.5 可靠性技术白皮书

文档版本01

发布日期2015-06-30

版权所有? 华为技术有限公司2015。保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司

地址：深圳市龙岗区坂田华为总部办公楼邮编：518129

网址：https://www.360docs.net/doc/b612643202.html,/

目录

1 简介 (1)

1.1 FusionInsight概述 (1)

1.2 FusionInsight可靠性设计原则 (1)

2 系统可靠性 (3)

2.1 管理节点支持双机配置 (3)

2.2 系统的掉电可靠性保障 (3)

2.3 备份和恢复 (4)

2.4 地理容灾 (4)

3 节点可靠性 (6)

3.1 硬件健康状态监控 (6)

3.2 操作系统健康状态监控 (6)

3.3 进程健康状态监控 (7)

3.4 硬盘故障的自动处理 (7)

3.5 节点RAID组的配置 (7)

4 网络可靠性 (9)

4.1 网络隔离 (9)

4.2 组网可靠性 (10)

5 数据可靠性 (12)

5.1 数据持久度 (12)

1 简介

1.1 FusionInsight概述

华为FusionInsight是一种高可靠性、高扩展性、高效性、高容错性、易运维的大数据管

理和分析平台。作为一种新的数据平台，大数据系统存储了海量的业务数据，承载着企

业的价值业务，数据的丢失、业务的中断，都会给企业带来有形、无形的损失，因此系

统必须充分考虑业务连续性的要求，实现高可靠性。

本文将对华为FusionInsight的可靠性技术和基本设计原则进行分析和介绍。

1.2 FusionInsight可靠性设计原则

华为FusionInsight在可靠性方面遵循如下设计原则：

●所有对象的故障都有自动恢复措施，包括集群管理节点，计算节点，进程，服务容

器，服务实例等。

●通过监控业务成功率等手段，避免单个节点/进程的亚健康、僵死导致业务全中断。

●提供服务质量保障能力，实现租户资源隔离和任务优先级调度，避免不合规的用户

业务导致系统业务全阻塞。

按照上述原则，FusionInsight对社区版本进行了大量的可靠性增强。例如：

●华为FusionInsight产品的OMS Server、数据库、HDFS NameNode、HBase HMaster、

Hive Server等管理节点，全部采用主备或负荷分担配置，避免单点故障。

●针对系统掉电后可能发生文件损坏的问题，FusionInsight对数据写入的全路径进行

了优化，确保系统异常掉电后，业务仍能可靠地启动。

●FusionInsight支持对节点亚健康状态的侦测，在紧急状况下，自动重启节点以恢复

业务。

●针对Hadoop大集群系统中硬盘数量众多，更换不便的问题，FusionInsight支持对

硬盘进行实时监控，单块硬盘的故障不影响任何业务。硬件维护人员可随时更换故

障硬盘，无需在OM界面上进行手工干预。

●支持管理平面与业务平面的网络隔离，防止业务平面的高负载对集群管理通道造成

冲击。

通过这些措施，系统的数据持久度、业务可用性都得到了极大提高。

2 系统可靠性

2.1 管理节点支持双机配置

Hadoop社区版本的数据/计算节点是按照分布式系统进行设计的，单节点故障不影响系

统整体运行；而以集中模式运作的管理节点却可能出现单点故障，这就成为全系统可靠

性的短板。

例如，HDFS NameNode掌管着分布式文件系统的元数据（包括目录层次结构、文件所

有者和权限信息、文件的数据块索引信息等），如果NameNode宕机，HDFS就无法对

外提供服务；如果NameNode硬盘损坏，即使全部DataNode都是正常的，HDFS存储

的文件也会全部丢失，因为从DataNode的数据块中是无法重建元数据信息的。

在Hadoop 1.0版本中，NameNode是单实例部署的，因此存在单点故障问题，严重降低

了数据的持久度。Hadoop 2.0版本开始引入NameNode双机机制，但在全系统中，仍有

一些部件是不支持双机倒换的，或者支持得不完善。

华为FusionInsight产品对所有业务组件的管理节点，都实现了双机机制，这包括OMS

Server、数据库、HDFS NameNode、HBase HMaster、Hive Server、YARN ResourceManager、

Hue、Oozie Server、Kerberos Server、Ldap Server等，它们全部采用主备或负荷分担配

置，有效避免了单点故障场景对系统可靠性的影响。

2.2 系统的掉电可靠性保障

当应用程序对HDFS文件系统发起一次写操作时，为了提高吞吐量，数据可能缓存在应

用程序的HDFS客户端缓存中，或者HDFS服务端的操作系统文件缓存中，或者RAID

卡的缓存中，或者硬盘的缓存中。这些缓存，有少数是掉电安全的，例如，RAID卡通

常会有电池或者超级电容的支撑，在掉电之后不会损失数据；但更常见的场景，是掉电

就会导致缓存数据的丢失。

Hadoop系统运行过程中，如果发生突然掉电，受上述因素的影响，轻则导致部分业务

数据的丢失（例如某些HDFS文件的尾部数据不正确），重则导致某些业务组件/业务组

件实例无法启动（例如HBase的RegionServer检测到文件损坏后会拒绝启动）。

FusionInsight对数据写入的全路径进行了优化，确保系统异常掉电后，业务仍能可靠地

启动。不论是单节点意外掉电，还是整个集群意外断电，恢复供电后，系统都能正常恢

复业务，关键数据不会丢失。

这里的关键数据至少包括：（1）操作系统启动和正常运行所需的文件；（2）为业务组件

提供的基本运行环境（如JDK）；（3）启动和运行业务组件所需的文件，包括程序文件、

配置文件等；（4）以即时提交方式运作的业务数据文件，如HBase的事务日志，以及特

别关键的元数据信息，如HDFS NameNode的FSImage文件；（5）由用户输入的、长期

生效的配置信息，如用户账户信息/权限信息，上级网管的SNMP对接地址等。

2.3 备份和恢复

FusionInsight产品支持对OMS Server、Hive/Oozie/Hue/Loader元数据、Ldap Server数据、

HDFS文件、HBase表进行备份。

2.4 地理容灾

FusionInsight提供了实时的HBase地理数据容灾功能以及基础的运维工具(包含灾备关

系维护，重建，数据校验，数据同步进展查看等)，避免因火灾、地震等灾难带来的数

据丢失，为企业最大限度减少损失。

HBase灾备方案基于HLog实现。HLog是HBase中的事务日志，即所有要写入HBase

表中的数据，都会被首先写入Hlog。

在激活容灾功能以后，HBase主集群实时读取HLog中的记录来解析变更的数据，然后

将该数据发送到容灾集群中。容灾集群在接收到HLog后对其进行解析，并调用HBase

客户端接口，写入到容灾集群中。这样，一旦主集群被破坏，容灾集群可以立即接管业

务。

HBase集群间所传输的数据均进行了压缩和加密，保证数据传输的安全和效率。

3 节点可靠性

3.1 硬件健康状态监控

FusionInsight运行在通用x86服务器上。商用x86服务器一般都会支持IPMI规范。IPMI

即智能平台管理接口（Intelligent Platform Management Interface），是管理基于Intel架构

的企业系统所采用的一种工业标准。

FusionInsight通过调用IPMI接口，监视服务器的物理健康特征，如温度、电压、风扇

工作状态、电源状态等。如果发现异常，FusionInsight会作为节点的亚健康状态上报，

维护人员可根据节点故障对系统的威胁程度和紧急程度，安排相关硬件的检修计划（例

如，在100个节点的集群中，损坏2个数据节点对业务是没有任何影响的，可以延迟修

理；但如果损坏了2个HDFS NameNode节点，系统就可能停止服务了，需要紧急处理）。

FusionInsight当前可监控的硬件状态包括：处理器状态、交流供电状态、直流电源模块

状态、内存状态、硬盘状态、电池状态等。但具体的支持项，还取决于x86服务器硬件

供应商。

3.2 操作系统健康状态监控

FusionInsight运行在Linux操作系统上（当前支持SUSE和Redhat的企业版Linux）。如

果操作系统不正常，可能导致该节点上的业务实例长期处于亚健康状态，影响集群的运

作。

FusionInsight对操作系统采取了多种监控措施：

1.支持对节点运行状态的监控。如果节点进入假死状态，严重影响业务的运作，就会

自动执行节点复位，迅速恢复业务。

2.支持对操作系统内核参数进行微调，在操作系统出现致命异常，如内存耗尽、非法

地址访问、内核死锁、调度器失效时，重启操作系统，恢复业务。

3.周期采集节点上各类硬件资源运行状况的数据，包括处理器状态、内存状态、硬盘

状态、网络状态等，如果发现异常，FusionInsight会作为节点的亚健康状态上报，

携带相关的异常指示信息，如“CPU过载”、“内存过载”、“发现慢盘”、“TCP

重传率越限”等，维护人员可据此对相关节点的操作系统状态进行检查，排除故障。

3.3 进程健康状态监控

FusionInsight在各节点上都部署了代理进程，负责监控业务实例的状态。如果业务实例

进程故障，代理进程会尝试自动重启对应的业务实例进程，如无法启动，会向OMS Server

发送告警。

代理进程会周期向OMS Server发送心跳。如果代理进程故障，OMS Server也会检测到

异常，发送节点故障告警，并尝试自动重启对应的代理进程。

代理进程还会周期收集业务实例进程的健康指标信息（如Hive Server主备服务状态、

Hive元数据库状态、Hive数据存储空间状态等），如果发现异常，会作为对应业务的亚

健康状态上报，维护人员可根据对应信息进行业务修复。

3.4 硬盘故障的自动处理

大型Hadoop集群中，硬盘数量可能高达成千上万。由于机械硬盘的故障率偏高，系统

运行一段时间之后，故障硬盘就会不断出现。例如，存储1PB数据，且保存三副本，大

约需要1200块硬盘。若硬盘年故障率3%，则每10天即可能有1块硬盘损坏。因此，

能否自动处理硬盘故障，是提升Hadoop系统可靠性的关键因素。

社区版本的HDFS能够应对DataNode的硬盘故障，当DataNode的单块硬盘故障（或者

DataNode节点整体故障）时，NameNode会迅速找到受影响的数据块，进行数据副本的

重建。

但是，社区版本也存在明显的不足，例如，当维护人员更换了故障硬盘之后，需要进行

大量的手工操作（如格式化文件系统、向操作系统挂载分区、重启DataNode等），才能

将新硬盘加入存储池中，单次操作需要20分钟以上的时间。对于NameNode这样的管

理节点，问题更严重，因为一个NameNode故障后，若不及时修复，另一个NameNode

就成了单点故障源。

FusionInsight对社区版本进行了增强，它会监控各节点上的硬盘状态，以及文件系统状

态，如果出现异常，立即将相关分区踢出存储池；如果硬盘恢复正常（通常是因为用户

更换了新硬盘），也会采取措施，将新硬盘重新加入业务运作。这样，极大简化了维护

人员的工作，更换故障硬盘可以在线完成；同时，用户可以设置热备盘，从而大大缩减

了故障硬盘的修复时间，有利于提高系统的可靠性。

当前，FusionInsight包含的所有业务组件，都已实现硬盘的热插拔支持。

3.5 节点RAID组的配置

FusionInsight建议按照实际业务需要，合理规划节点的硬盘资源，以提高系统对硬盘故

障的抵御能力。

（1）各节点的操作系统，建议安装在两块硬盘做成的RAID 1上，以保障系统盘的稳定，

避免一块盘损坏就导致操作系统崩溃，整个节点不可用。

（2）如果条件允许，管理节点关键进程使用的硬盘（如HDFS NameNode、数据库等）

尽量做成RAID 1，以保证元数据的可靠性。读写模式差异很大的业务组件，应当避免

共用同一块硬盘。

（3）数据盘（HDFS DataNode）可以做成单盘RAID 0（即每个RAID 0组内只有1块硬盘），或者做成NonRaid。单盘RAID 0模式的优势是可以使用RAID卡上的写缓存，因此写操作的相对性能较高；NonRaid的优势是硬盘可以直接被OS识别和管理，有利于提升硬件兼容性。

无论是做RAID 0还是RAID 1，都可能用到RAID卡缓存。对于可靠性要求较高的场景，为了避免掉电丢失数据，需要正确配置RAID卡的写缓存策略。

4 网络可靠性

4.1 网络隔离

Hadoop是全分布式计算系统，要求业务节点之间全互联。为应对由此带来的可靠性、

安全性风险，FusionInsight支持将网络划分为三级：集群业务平面、集群管理平面和集

群外维护网络，彼此之间实施物理隔离，保证业务网络、管理网络的独立运作。

实施网络隔离，可以防止业务平面的高负载对集群管理通道造成冲击，也可以阻止外部

攻击者通过管理通道入侵实际业务数据。

4.2 组网可靠性

在典型配置下，FusionInsight集群采用三层双平面组网。各服务器节点采用双网口

Bonding方式（每节点一个业务IP地址），分别接入到两个接入层交换机，提供可靠性

和负载均衡。业务平面的接入层和汇聚层分别用两套交换机通过堆叠线互联提供可靠性

保障。这样，无论是节点的单个网口故障，还是网口与交换机之间单条连线故障，或者

单个交换机故障，都不影响业务的运行。

进一步的细节，可以参见《硬件部署和组网方案指南》的说明。

5 数据可靠性

5.1 数据持久度

FusionInsight通过对节点硬件（特别是硬盘）、操作系统、进程的监控，及时发现相关部

件的异常状况，缩短了对应部件的故障检测时间和修复时间，从而提高了系统整体的数

据持久度。

假设集群中包含100个HDFS DataNode，每个节点使用12块4TB硬盘，其中写入了2.4TB

的数据，相当于60%的硬盘空间被占用（HDFS节点上一般会运行MapReduce任务，因

此还需要预留部分硬盘空间给MapReduce）。

此时集群中约有1PB的有效数据（HDFS缺省保存三副本，系统存储的实际数据是3PB）。

若硬盘年故障率3%，经计算，全系统数据持久度可达99.999%。双容灾集群的数据持

久度更高（>7个9）。