华为OceanStor 18000 V3系列高端存储系统技术白皮书

OceanStor 18000 V3系列高端存储系统V300R003产品技术白皮书文档版本1.3 发布日期 2016-10-11华为技术有限公司版权所有© 华为技术有限公司2016。

保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。

除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。

除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：客户服务邮箱：support@客户服务电话：4008302118目录1 执行摘要/Executive Summary (1)2 简介/Introduction (2)3 解决方案/Solution (3)3.1 系统架构 (3)3.1.1 后端全互连 (3)3.1.2 PCIE Scale-Out (4)3.1.3 负载均衡 (5)3.1.4 数据缓存 (5)3.1.5 SAN/NAS一体化 (9)3.2 块级虚拟化 (10)3.2.1 块级虚拟化原理 (10)3.2.2 快速重构 (11)3.2.3 硬盘负载均衡 (12)3.2.4 最大化硬盘资源利用率 (12)3.2.5 提升存储管理效率 (12)3.3 稳定可靠 (12)3.3.1 硬件全冗余 (12)3.3.2 端到端DIF (13)3.3.3 本地数据保护 (13)3.3.3.1 快照（HyperSnap） (13)3.3.3.2 克隆（HyperClone） (15)3.3.4 远程数据保护 (17)3.3.4.1 同步远程复制（HyperReplication/S） (17)3.3.4.2 异步远程复制（HyperReplication/A） (20)3.3.5 阵列双活（HyperMetro） (21)3.4 安全高效 (22)3.4.1 性能效率提升 (22)3.4.2 关键业务保障 (23)3.4.3 LUN销毁 (24)3.4.4 静态数据加密 (25)3.4.4.1 门卫式数据加密（国内适用） (25)3.4.4.2 硬盘加密（海外适用） (26)3.5 弹性融合 (26)3.5.1 最大扩展能力 (26)3.5.2 8Gbps FC高密接口卡 (27)3.5.3 虚拟机环境优化 (27)3.5.4 SAN/NAS融合 (28)3.5.5 面向闪存的系统优化 (28)3.5.6 高中低端复制互通 (28)3.5.7 异构虚拟化（SmartVirtualization） (29)3.5.8 智能数据迁移（SmartMigration） (30)3.5.9 一体化备份（HyperV ault） (31)4 推广/Experience (33)5 结论/Conclution (37)6 缩略语表/Acronyms and Abbreviations (38)图表目录图 1 OceanStor 18000 V3四控引擎示意图 (4)图 2 OceanStor 18000 V3后端硬盘连接示意图 (4)图 3 OceanStor 18000 V3 PCIe Scale-out示意图 (5)图 4 本地写流程示意图 (6)图 5 非本地写流程示意图 (7)图 6 本地读流程示意图 (8)图7 非本地读流程示意图 (9)图8 华为SAN/NAS融合架构示意图 (9)图9 友商SAN/NAS集成架构示意图 (10)图10 RAID2.0块虚拟化 (10)图11 RAID 2.0快速重构示意图（一） (11)图12 RAID 2.0快速重构示意图（二） (11)图13 快照应用示意图（一） (14)图14 快照应用示意图（二） (15)图15 克隆技术原理示意图 (16)图16 克隆技术应用效果示意图 (17)图17 同步复制技术原理示意图 (18)图18 同步复制主从切换示意图 (19)图19 同步复制一致性组示意图 (19)图20 异步复制技术原理示意图 (20)图21 阵列双活示意图 (21)图22 门卫式数据加密示意图 (25)图23 硬盘加密示意图 (26)图24 8Gbps FC高密接口卡/MPO-4DLC光纤 (27)图25 异构虚拟化技术示意图 (29)图26 高性能方案 (34)图27 高密度虚拟机方案 (35)图28 高可靠方案 (35)图29 高可用方案 (36)产品技术白皮书 1 执行摘要/Executive Summary1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点，结合用户需求，从高性能、高可靠、高扩展、存储效率、数据保护等方面详细介绍了华为公司OceanStor 18000 V3系列高端存储系统的功能及亮点，旨在突出华为高端存储系统独有的亮点以及为客户带来的价值。

产品技术白皮书 2 简介/Introduction2 简介/Introduction当今世界，越来越多的企业采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。

然而，虚拟化与云计算技术的广泛应用也给后端的存储系统提出更加严峻的挑战。

如：需要存储系统能够承载更多的业务、更高的性能与可靠性、更好的扩展性、保证关键业务服务级别水平并降低成本的关键技术等。

华为公司全力打造的OceanStor 18000 V3系列高端存储系统正是以高性能、高可靠、高扩展、存储效率、数据保护为其设计理念，充分满足企业未来业务需求，帮助其IT系统转型以更快更好地应对日益激烈的竞争环境，实现与客户的共同成长。

3 解决方案/Solution随着企业面临的竞争环境越来越激烈、新业务上线时间要求越来越短，其IT系统需要从传统的成本中心转变为提升企业竞争力的利器，帮助企业提升竞争力并实现商业成功。

作为存放核心业务数据的高端存储系统，不但要满足核心业务所需要的高性能、高可靠等基本诉求，更要满足未来业务的发展、提升业务的敏捷性，帮助业务更快更好地适应竞争环境的需要。

华为OceanStor 18500/18800 V3高端存储致力于打造企业高端存储新标杆，为企业核心业务提供最高水平的数据服务。

凭借业界领先的SmartMatrix 2.0系统架构、HyperMetro免网关A-A双活、面向闪存的融合技术、持续领先一代的硬件平台以及丰富的效率提升和数据保护方案，OceanStor 18500/18800 V3高端存储在可靠性、性能和解决方案方面都达到业界领先水平，满足了大型数据库OLTP/OLAP、云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、交通、制造等行业，是企业核心应用的最佳选择。

3.1 系统架构3.2 块级虚拟化3.3 稳定可靠3.4 安全高效3.5 弹性融合3.1 系统架构3.1.1 后端全互连OceanStor 18000 V3系统高端存储系统每个引擎包含4个控制器，4个控制器直接通过机框无源背板上的PCIe 3.0高速通道互联，4控以内的配置不需要通过外部线缆和交换机，部署更简单，可靠性更好，性能也更好。

下面左图为引擎前视图，最上面是4个BBU，下面是4个呈“田”字分布的4个控制器；右图为引擎内部连接示意图。

图 1 OceanStor 18000 V3四控引擎示意图OceanStor 18000 V3高端存储系统使用SAS 3.0后端全互连接口卡，该接口卡由引擎4个控制器共享，与4个控制器都有连接。

某一个控制器发生故障时，引擎到硬盘框的连接仍然是冗余的，后端连接的可靠性不会降低。

下面左图为引擎后视图，中间4个槽位所插接口卡，即为后端全互连接口卡，高度为4U；右图为共享SAS接口卡的连接示意图。

图 2 OceanStor 18000 V3后端硬盘连接示意图OceanStor 18000 V3高端存储系统支持持续镜像（Persistent Cache）技术。

引擎中的4个控制器，正常情况下A/B控的Cache相互镜像，C/D控的Cache相互镜像。

当一个控制器故障后，假设B控故障，此时按照传统设计，为了保证数据可靠性，A控Cache将转为透写，性能急剧下降，而持续镜像技术会将A控Cache数据重新镜像到C或D控（由内部算法动态选择），以保证Cache数据可靠性，避免转透写带来的性能急剧下降。

3.1.2 PCIE Scale-OutOceanStor 18000 V3系列高端存储系统采取多控智能矩阵（SmartMatrix 2.0）架构设计，控制器之间采用PCIe光互联设计，实现控制器间的业务交换。

最大支持4引擎，每个引擎包含4个控制器，整个系统最大支持16个控制器。

每个控制器分别与2个交换平面通过PCIe光缆进行互连实现数据转发；此外，引擎内的4个控制器之间还可以通过引擎背板上的PCIe互联通道进行数据转发。

如下图所示：每个控制器在3号槽位配置一张PCIe接口卡，每张卡有两个PCIe光口，分别用光缆连接到两个PCIe交换机（为避免图中连线太多，引擎2/引擎3的线没有连）。

图 3 OceanStor 18000 V3 PCIe Scale-out示意图16个控制器通过QSFP光缆连接到两个冗余的DSW中，在DSW中实现数据交换，采用全PCIe的互联架构的优势在于减少协议转换的延时，可以实现更加高效的数据交换。

采用全光互联的设计一方面提高了长距离数据传输的可靠性，另外一方面对机柜之间的距离要求减少，有利于客户机房内部的机柜布局设计；每台PCIe交换机提供16个PCIe交换端口，每个端口4GB/s的交换带宽，两台PCIe交换机共提供128GB/s（2*16*4GB/s=128GB/s）的交换带宽；每个引擎内的4个控制器之间有128GB/s(PCIe3.0*64)的背板PCIe互联带宽，用于引擎内控制器之间的数据交换。

则OceanStor 18000 V3 16控配置下，总的系统交换带宽为640GB/s（引擎内交换带宽128GB/s*4+跨引擎交换带宽128GB/s=640GB/s）。

3.1.3 负载均衡默认情况下，系统自动将不同LUN均衡分配到不同控制器，LUN空间均衡打散到系统内所有硬盘。