华为OceanStor 企业统一存储可靠性技术白皮书

华为OceanStor 企业统一存储可靠性技术白皮书文档版本01 发布日期 2014-3-18华为技术有限公司版权所有© 华为技术有限公司2014。

保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。

除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。

除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：客户服务邮箱：support@客户服务电话：4008302118目录1 概述 (5)1.1 华为OceanStor企业统一存储产品概述 (5)1.2 华为OceanStor企业统一存储可靠性概述 (1)2 系统可靠性设计 (2)2.1 架构可靠性设计 (2)2.2 基本可靠性设计 (3)2.3 模块级可靠性设计 (4)2.4 多重硬盘故障容错设计 (5)2.5 端到端的数据完整性保证设计 (6)2.6 创新的数据保护设计 (7)2.7 智能的QoS设计 (8)2.8 完善的数据备份和容灾方案 (9)3 精益的制造加工 (11)3.1 单板-整机制造全流程质量保证 (11)3.2 硬盘生产质量保证 (12)3.3 整柜制造及交付 (13)4 完善的运维流程 (14)4.1 在线维护 (14)4.2 高效及时的Cloud Service服务 (15)4.3 维保服务 (15)5 缩略语表/Acronyms and Abbreviations (16)修订记录/Change History1 概述1.1 华为OceanStor企业统一存储产品概述华为OceanStor企业统一存储产品是华为技术有限公司（以下简称华为）根据存储产品应用现状和存储技术未来发展趋势，推出的一系列统一存储产品，能够满足各类应用对海量数据存储、高速数据存取、高可用性、高利用率、绿色环保和易于使用等需求。

华为OceanStor企业统一存储系统包括中端和高端两大系列产品型号，涵盖型号从最低端的S2600T到最高端的18800。

所有产品型号都是基于统一的XVE软件架构，除S2600T规格为中低端双控外，S5500T及以上产品型号均支持多控scale-out。

因此，各产品型号功能特性基本上是相同的，主要的差异在硬件形态、硬件/软件规格等方面，规格随着型号的提升而提高。

具体各产品型号如图1所示。

图2华为OceanStor系列存储家族1.2 华为OceanStor企业统一存储可靠性概述存储系统承载了用户的关键业务数据，一旦重要的数据不可访问或者丢失，就会对企业日常运营产生重大影响。

因此，存储系统是否可靠直接决定了数据的可用性。

造成数据不可用的原因有很多：突发的硬件故障、错误的维护操作、供电故障、自然灾害等诸多内部、外部的原因都可能造成用户业务中断，甚至数据丢失。

一个可靠的系统，需在设计上有高可靠的保证，制造上有精确的控制，使用上有完善的维护，端到端的保证系统的稳定运行，本白皮书主要从设计、制造、运维三个方面来介绍华为OceanStor企业统一存储的可靠性。

2 系统可靠性设计2.1 架构可靠性设计OceanStor企业统一存储系统采取智能矩阵架构设计，控制器之间采用PCIe 2.0全光互联设计，实现控制器间的业务交换。

高端最大支持8个引擎，每对引擎包含2个控制器，整个系统最大支持16个控制器。

每个控制器分别与2个交换平面通过4 lanePCIe2.0进行互连实现数据转发，此外，引擎内的两个控制器之间存在8 lane PCIe2.0镜像通道。

图 3 OceanStor统一存储系统Smart Matrix智能交换矩阵管理、控制平面与业务平面物理分离，其中，管理、控制平面通过GE通道承载，业务平面通过PCIE通道承载，管理、控制平面故障，不会影响业务，业务平面拥塞，不会影响系统管理、控制，每个功能平面可在各自平面内部单独完成故障检测、修复和隔离，互不影响。

系统中所有组件都进行了冗余设计，无单点故障。

硬盘IO通道、PCIE交换通道、GE交换通道都有冗余路径，因此，系统的管理、控制平面与业务平面在传输通道上都有冗余保护。

存储系统配套了主机多路径软件（UltraPath），该软件可以管理主机与阵列之间的路径，实现应用服务器到存储系统之间的路径选择以及路径管理。

当主机与阵列之间的某一条路径故障时，多路径软件可以将IO切换到冗余路径上下发。

图 4 多控内部组网示意图说明：图3中的黄色线为冗余的两个GE网络，绿色为PCIe网络，蓝色为后端盘框级联线；SVP为高端自带的管理服务器，中低端没有配置，中低端的管理网络连接的是客户的管理客户端；S5500T由于单个控制器仅有一个网口，4控GE网络需要通过交换机互联。

2.2 基本可靠性设计存储系统面临的外部环境复杂多变，空气污染、突发的空调故障，甚至地震等异常的环境变化都可能导致存储系统工作异常，因此，华为存储加强了基本可靠性设计，提高抵抗异常环境的能力。

1、领先的结构抗振设计●硬盘单元的振动隔离：托架内侧增加粘弹性材料吸收硬盘自身旋转振动能量；紧固螺钉处的粘弹性垫圈有效隔离外界线性振动能量。

●风扇振动的多级隔离：热塑粘弹性材料风扇安装钉，覆盖硬盘敏感振动频率；风扇、支架与机箱之间的垂直、水平多级减振，降低40%以上来自于风扇的振动。

●高强度机箱及硬盘滑道设计：机箱硬盘部位的双层式结构，强度增强20%以上，有效保证各硬盘槽位尺寸一致性；压铸锌基合金的滑道材料，良好的耐冲击性降低机箱向硬盘振动的传递放大作用。

●设备运行环境状况实时监测：集成于背板上的振动传感器实时监控系统环境的振动、冲击状况。

●业界唯一通过抗9级烈度地震认证。

2、双重防腐蚀专利设计●联合硬盘厂商开发出硬盘防腐蚀工艺：ENIG/SPV（化镍浸金/锡封），有效提升了硬盘在污染环境中的寿命和可靠性。

●通过防腐蚀工艺结合温升、电压分布设计进行局部防护，有效提升了控制器在污染环境中的寿命和可靠性。

●通过在线腐蚀监控设备（华为发明专利：中国201210519754.9）提前预警数据中心腐蚀风险，并可通过专业测试设备快速(72hr)量化数据中心腐蚀等级。

●通过机框加装防腐蚀过滤器（华为发明专利：中国201110314472.0）解决机框级腐蚀问题；通过化学过滤方案设计解决机房级腐蚀问题。

3、热设计●系统内设计了多个温度监控点，对系统内温度进行实时监控，当检测到温度异常，则通过智能风扇调速来调节温度，使系统一直工作在适宜的温度下。

●如果温度检测持续异常，无法保证系统正常工作和数据可靠性，则会采取停止提供服务或者系统下电等保护措施，避免温度异常造成系统故障。

2.3 模块级可靠性设计良好的模块级可靠性是系统高可靠的基础，华为OceanStor企业统一存储在FRU模块级别进行了完善的可靠性设计，保证各模块健康运行，减小故障影响。

1、优选器件及降额设计华为存储系统中选用的每个器件都是华为认证的优选器件，并通过对器件的电压、电流等进行降额设计，使器件始终工作在合理的工作负荷下。

2、故障自愈当系统发生局部异常时，支持对芯片、部件等通过复位等措施，实现故障自愈，避免局部故障扩散导致系统异常。

3、供电异常保护各部件实时监控供电的异常，并采取了过压、过流等保护措施，保证不会因为供电的异常导致硬件故障。

4、支持上电自检提供单板上电自检功能，如果自检出现问题，则根据故障情况，部分或者全部隔离故障部件，并进行告警，避免系统带病运行。

5、部件支持热插拔所有的部件（包括接口卡）都支持热插拔操作，可以不中断业务完成对部件的更换、扩容等操作。

尤其是接口卡支持现场热插拔，而无需中断控制器业务或者复位控制器。

6、内存支持高级ECC保护功能支持内存ECC，可以发现并纠正内存数据访问过程中的单比特错误，并且支持内存颗粒级的错误检测和纠正，并在后台实时扫描内存错误，发现错误立即纠正，避免内存错误的累积导致不可纠正错误的发生。

说明：S5600T及其以上规格产品支持内存颗粒级的错误检测和纠正及后台内存错误扫描，S2200T、S2600T和S5500T不支持。

2.4 多重硬盘故障容错设计硬盘只有两种状态：故障和即将故障。

存储系统中的硬盘数量庞大，承载了用户的所有关键数据。

因此，如何及时发现和有效处理硬盘故障，将硬盘故障影响最小化，是存储系统面临的可靠性挑战之一。

华为OceanStor企业统一存储为了提升硬盘的容错能力，设计了硬盘故障管理系统，采取了主动预防、局部隔离、快速恢复等一系列容错设计来应对这一挑战。

1、主动预防●DHA（Disk Health Analyzer）硬盘故障诊断与预警：硬盘作为存储系统中一个重要的机械部件，经过长时间的不间断工作运行后会出现部件老化，故障率会随着时间呈上升趋势。

硬盘健康度分析子系统通过建立硬盘故障模型，对硬盘关键指标进行监控，利用先进的算法，评估硬盘的健康度，准确预测硬盘故障，防患于未然。

●坏道后台扫描：坏道是硬盘最常见的故障模式。

但是当硬盘出现坏道时，不会自动将坏扇区信息告知主机进行修复，只有在读写的时候才能发现坏道。

华为OceanStor企业统一存储的硬盘坏道后台扫描可以在不影响业务和硬盘自身可靠性的前提下，根据硬盘的物理参数，在一定的扫描周期内，设置合适的扫描策略，在最短的时间内发现坏道并进行修复，从而降低数据丢失的风险。

2、局部隔离●硬盘坏道修复：坏道修复可以在发现坏道后，对其进行读重试或利用RAID重构出该坏道对应扇区的数据并下发写命令，进而利用硬盘自身的重映射功能恢复，可以避免全盘失效和重构。

●数据块级隔离：将硬盘在正常读写的过程中，无法写入某些扇区且无法修复的数据按照一定算法写到热备空间上，并建立映射关系，以保证用户数据的可用性，并降低维护成本。

3、快速恢复●硬盘在线诊断：硬盘故障后并不会被立即剔除，而会先进行诊断“硬盘是不是真的故障”。

华为OceanStor企业统一存储在硬盘故障处理流程中加入了诊断操作，分析硬盘故障原因和程度，通过重试、复位等方法来尝试恢复硬盘，对故障扇区进行写修复、重映射等操作，修复局部硬盘故障并恢复硬盘工作，从而保证业务连续性，达到提高系统可靠性的目的。

●局部重构：华为OceanStor企业统一存储支持硬盘误拔出修复功能。