华为OceanStor 9000 V5 横向扩展文件存储 产品技术白皮书
OceanStor 9000 V5横向扩展文件存储产品技术白皮书文档版本016发布日期2019-12-30华为技术有限公司版权所有© 华为技术有限公司2019 保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。
除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：/enterprise客户服务邮箱：ChinaEnterprise_TAC@目录1 概述 (5)2 硬件、软件与网络 (6)2.1 产品逻辑结构 (6)2.2 组网概述 (8)2.2.1 Ethernet组网描述（前后端网络均采用Ethernet组网） (10)2.2.2 IB组网描述（前后端网络均采用IB组网） (10)2.2.3 前端Ethernet后端IB组网描述（前端网络采用Ethernet，后端网络采用IB组网） (11)2.3 系统运行环境 (12)3 分布式文件系统架构 (13)3.1 分布式文件系统架构概述 (13)3.1.1 分布式文件系统服务 (15)3.1.2 存储资源池平面 (15)3.1.3 管理平面 (16)3.2 元数据管理 (16)3.3 分布式数据可靠性技术 (17)3.3.1 数据条带化 (17)3.3.2 集群对象存储系统 (18)3.3.3 N+M数据保护 (19)3.4 全局缓存 (22)3.4.1 全局缓存组成要素 (23)3.4.2 实现原理 (24)3.5 文件写示意流程 (25)3.6 文件读示意流程 (27)3.7 负载均衡 (28)3.7.1 智能IP管理 (28)3.7.2 多样的负载策略 (30)3.7.3 节点分区管理 (30)3.8 数据重构 (31)4 系统特点 (32)4.1 卓越性能 (32)4.2 灵活扩展 (32)4.3 开放融合 (33)5 缩略语和术语 (34)1 概述信息爆炸时代中人们可以获取的数据成指数倍的增长，传统的单机文件系统单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。
为应对不同的存储需求，催生出不同的存储模式：集中式存储：文件的元数据（描述数据的数据，如文件位置、大小等等）、数据信息存放在一起，前端NFS挂载后端SAN、NAS模式。
此类传统存储模式扩展困难，难以支持超大数据量存储（PB级）。
非对称分布式存储：单一元数据服务节点，文件元数据、数据分离存储，例如lustre、moosefs等等，独立元数据服务带来的问题：单点故障，可以采用heart beat等方式消除单点访问故障，但单点访问的性能瓶颈无法消除。
全对称分布式存储：全对称、去中心化的分布式架构，用一致性哈希consistent hash算法（DHT的一种实现）来定位文件在存储节点中的位置，从而取消了元数据服务的角色，系统中只有存储节点的角色，不区分元数据和数据块。
但在节点扩容、故障场景下，对一致性哈希算法要求有极高的效率以及均衡性、一致性。
OceanStor DFS采用的是全对称、去中心化的分布式架构，但未采用DHT来定位文件存储节点的位置，OceanStor DFS系统内每个节点都能提供元数据服务（MDS）、数据服务（DS）以及外部访问的接口服务（CA），无独立元数据服务节点，消除性能瓶颈，不存在单点故障，在节点扩容、故障场景下都能无缝平滑切换，业务无感知。
系统能够给应用服务器提供统一的文件系统空间，满足多台应用服务器之间共享数据的需求。
非分布式集群的设备一般使用双控或者多控节点提供服务，每个节点支持特定的业务负载，当容量不够时通过扩展硬盘框的方式增加存储容量。
这种方式并不完美：首先业务和节点的绑定，意味着一个业务及其关联的文件系统只在一个节点上工作，容易造成系统整体的负载不均；其次，这种系统本质上是Scale-up的扩容方式，追求单机性能，无法做到系统性能随容量的增加线性增加。
作为OceanStor 9000 V5系统的软件基础，OceanStor DFS（原WushanFS）采用全Active的Share Nothing方式，系统的数据和管理数据（元数据）平均分布在各个节点上，避免了系统资源争用，消除了系统瓶颈；即使出现整节点故障，系统也能够自动识别故障节点，自动重构故障节点涉及的数据和元数据，使故障对业务透明，完全不影响业务连续性。
整系统采用全互联全冗余的组网机制，全对称分布式集群设计，实现存储系统节点的全局统一命名空间，从而允许系统中任何节点并发访问整系统的任何文件；并且支持文件内的细粒度的全局锁，提供从多个节点并发访问相同文件的不同区域，实现高并发高性能读写。
2 硬件、软件与网络2.1 产品逻辑结构OceanStor 9000 V5系统采用全对称架构，对相同类型(硬件节点系列参见后文描述)的节点而言，节点内部的软硬件配置完全对等，这样的设计使得用户首次购买或者扩容时，不需要考虑独立元数据服务器或独立网管服务器等问题，只需根据实际需求计算出需要的节点数即可，最小3台起配。
OceanStor 9000 V5系统由交换设备和OceanStor 9000 V5硬件节点组成，不需要额外的设备。
产品结构如图2-1所示。
图2-1OceanStor 9000 V5产品结构OceanStor 9000 V5针对不同的应用需求提供不同系列的硬件节点类型，有支持在性能要求较高场景使用的P系列节点、有支持在大容量场景使用的C系列节点。
不同类型节点可以单独使用，也可以混合部署以达到整体最优，混合部署时每种节点最少配置为3台。
通过划分不同“节点池”将不同的硬件统一在单一的文件系统下，满足客户同时多层次的容量和性能级别的需求，并通过分级存储特性适应业务数据在不同层级之间流动。
OceanStor 9000 V5系统硬件节点系列如图2-2所示。
图2-2OceanStor 9000 V5硬件节点系列OceanStor 9000 V5所有的存储节点硬件配置均通过技术手段实现了数据掉电保护，使得数据即使在缓存中也可以得到持久化保护，同时，通过RDMA技术，有效减少了网络传输过程中内存拷贝次数。
这样在不降低可靠性的前提下，进一步提升整系统响应速度。
OceanStor 9000 V5系统可分为硬件平台和软件系统，硬件平台包括网络设备和物理存储节点。
软件系统主要为OceanStor DFS、管理系统和多种Info系列增值特性，OceanStor DFS提供对外统一的NAS共享服务，其中OceanStor DFS基础软件包中包含NFS、CIFS、FTP、NDMP多种协议以及客户端负载均衡和性能加速软件。
管理系统包含统一的系统资源管理、存储设备管理、网络设备管理（10GE组网时）和系统统计报表，趋势分析，容量趋势预测，性能对比，诊断分析等功能。
OceanStor 9000 V5的软件如下列表：表2-1OceanStor 9000 V5软件列表名称功能OceanStor DFS 分布式文件系统软件Device Manager 设备管理软件InfoEqualizer 客户端连接负载均衡NAS存储增值特性InfoTurbo 性能加速InfoAllocator 配额管理InfoTier 自动分级存储InfoLocker WORMInfoStamper 快照InfoReplicator 远程复制InfoScanner 防病毒InfoRevive 视频图像修复InfoMigrator 文件迁移InfoStreamDS 流直存InfoContainer 虚拟机2.2 组网概述OceanStor 9000 V5前后端网络物理隔离，业务网络与管理网络分别使用不同的网络平面，组网结构如下图2-3所示，包括：●前端业务网络用于OceanStor 9000 V5与用户网络对接。
●后端存储网络用于OceanStor 9000 V5内部节点间互联。
图2-3OceanStor 9000 V5组网结构在OceanStor 9000 V5系统中，集群后端网络可以支持10GE、25GE或InfiniBand连接，前端网络支持GE、10GE、25GE或InfiniBand连接，以满足不同场景用户的组网需求。
无论哪种组网，OceanStor 9000 V5系统的所有节点网络都是冗余的，任何单一网口故障或者单一交换机故障均不影响系统使用。
OceanStor 9000 V5系统前端和后端可以分别使用不同的物理网卡以达到从网络上相互隔离的目的，并且前端网络可以根据用户现有网络状况选择GE、10GE、25GE或InfiniBand连接。
通过OceanStor 9000 V5存储设备所提供的IPMI网口可以访问设备的管理界面。
OceanStor 9000 V5不同类型的节点支持的组网类型包括：P系列节点：●前2*10GE后2*10GE组网●前2*GE后2*10GE组网●前2*IB后2*IB组网●前2*25GE后2*25GE组网●前2*10GE后2*25GE组网●前2*10GE后2*100G IB组网●前2*25GE后2*100G IB组网C系列节点：●前2*10GE后2*10GE组网●前2*GE后2*10GE组网●前2*25GE后2*25GE组网●前2*10GE后2*25GE组网图2-4组网部署●系统支持多种类型节点混合部署，混合部署时相同类型相同配置的节点最少配置为3台；●系统仅部署NAS存储时，最少需要部署3台节点；2.2.1 Ethernet组网描述（前后端网络均采用Ethernet组网）前后端均采用Ethernet交换机组网的典型配置方案如下所示。
图2-5前端和后端网络均采用Ethernet交换机组网方案示意组网说明：●当OceanStor 9000 V5使用Ethernet组网时，前端网络对接用户Ethernet交换网，后端网络使用内部Ethernet交换机。
前后端交换机冗余配置。
●GE交换机通过网线连接管理网口和IPMI网口，仅用于管理维护。
2.2.2 IB组网描述（前后端网络均采用IB组网）前后端均采用IB交换机组网的典型配置方案如下图2-6所示。
华为OceanStor T系列 技术白皮书
资料编码OceanStor T 系列技术白皮书文档版本V3.1 发布日期201307目录1执行摘要/Executive Summary (4)2简介/Introduction (5)3解决方案/Solution (6)4推广/Experience (21)5结论/Conclution (27)6缩略语表/Acronyms and Abbreviations (28)第3 页, 共28 页1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点，结合用户需求，从融合统一、高性能、高可靠、高扩展及绿色节能等方面详细介绍了华为公司OceanStor T 系列统一存储产品的功能及亮点，旨在突出T 系列产品独有的功能点以及为客户带来的价值。
2 简介/Introduction随着IT 技术的发展，IT 系统的数据量也随之日益增大，而异构多样的网络、割裂林立的部门和庞大冗杂的业务系统，造成了IT 总体架构的复杂性，设备管理和维护也面临着巨大的挑战。
权威机构调查表明，当前IT 运维日益复杂，IT 预算中运维成本占到了IT 总投资的72%，而仅有28%的投资用于基础架构的投资。
复杂的网络环境，单台存储系统遭遇的性能瓶颈，成本与性能需求的平衡以及客户对于混合型存储的强烈需求等等问题被抛出，如何解决这些问题成为IT 业界关注的重中之重。
华为技术有限公司全力打造的OceanStor T系列存储产品正是以统一存储为主打，高性能、高可靠、可扩展以及绿色节能为其设计理念，充分满足用户需求，保护用户投资，最大化提升用户价值。
3解决方案/Solution随着信息产业的发展，存储逐渐从计算机中独立出来，成为IT 产业中的一个大类。
在计算技术迅速发展的今天，技术的进步必然引起相关产业的发展，存储也不例外。
技术发展首先会产生新概念、新标准，这些都会直接影响相关产业的发展趋向，据业内专家分析，存储行业正在朝以下几方面发展：统一存储成为趋势随着信息化进程的加快，数据急速增长，非结构化数据的增长速度更是远超预期。
华为OceanStor 融合存储 V5与V3 产品差异
OceanStor 6800 V5 8控，3200块盘
5PB
OceanStor 5300/5500 V5 8控，1200块盘
15PB
Scalability, PB Usable
25PB
35PB
OceanStor 18500 V5 16控，6400块盘
All Flash Arrays Converged Flash Arrays
线升级
V300R006C50
V500R007C30
商用版本
① 支持Hi1822接口卡 ② 快照支持独立数量上限 ③ 双活支持跨型号互通
V5&V3差异——中低端对位
产品型号 OceanStor 2100 V3 OceanStor 2200 V3 OceanStor 2600 V3 OceanStor 2600F V3 OceanStor 2800 V3
双控缓存 16GB 16GB 32GB 32GB 64GB 64GB
CPU 单颗 CPU 单颗 CPU 单颗 CPU 单颗 CPU 单颗 CPU 单颗 CPU
96GB 32GB 64GB
48GB
96GB 128GB 128GB 128GB 64GB 128GB 256GB 128GB 256GB 256GB 128GB 256GB 512GB 256GB 512GB 512GB
华为OceanStor 融合 存储V5&V3 产品差异
目录
1. 产品对位 2. 硬件差异 3. 软件差异
华为OceanStor V5系列整体展示
6M 4M 2M
0
Performance*, IOPS
OceanStor 6800F V5 8控，2000块SSD
OceanStor9000存储系统技术白皮书
OceanStor 9000 V5华为OceanStor 9000 V5 横向扩展文件存储，采用全对称分布式架构，以其卓越性能、大规模横向扩展能力和超大单一文件系统为用户提供非结构化数据共享资源存储，能够应用于广电媒体、卫星测绘、基因测序、能源勘探、科研教育、视频监控、归档备份等多种业务应用及存储资源共享领域。
全对称分布式架构并行读写，性能领先⏹高性能的读写访问：单节点带宽最高可达2.8 GB/s，单盘性能业界领先⏹网络加速：支持10GE、25GE、40GE等多种组网形态，支持RDMA模式传输及TOE卸载，提高系统传输性能⏹线性增长：系统性能随节点增加线性增长，最高可达700GB/s带宽容量性能线性扩展，规模最大的单一文件系统⏹单一文件系统：140PB级存储容量，降低系统管理和维护的复杂度，并消除多个命名空间带来的数据孤岛⏹超强扩展：3节点到288节点的平滑扩展，容量、性能随节点增加而线性增长⏹数据均匀分布：Share-nothing全对称分布式架构，系统的数据和元数据均匀分布在各个节点上，消除单独的元数据节点访问瓶颈⏹超高利用率：高可靠性的同时，硬盘利用率最高可达95%开放融合，承载多种应用⏹多种接口：支持NFS，CIFS，NDMP，FTP，HDFS等多种接口，一个系统承载多业务应用，实现数据的全生命周期管理⏹多种节点类型：支持多种节点类型，支持不同应用承载⏹管理融合：实现对IT设备统一管理，提供分析报表，简化管理复杂度，提升运营效率全方位可视化，简化资源管理⏹可靠性灵活配置：支持基于目录的冗余配比策略，提供不同的数据保护级别⏹自动统计和分析：自动化的性能统计及分析，辅助合理利用资源⏹自动部署：软件平台自动化部署和配置，“一键式”快速扩容，单节点扩容60秒之内完成⏹权限管理：提供针对IP地址或用户/用户组的访问权限控制，创建安全、隔离的存储池Info系列软件，智能存储管理InfoEqualizer，客户端连接负载均衡⏹跨节点的客户端连接负载均衡，自动平衡容量和性能，优化集群资源⏹智能统一管理，支持节点故障切换(failover)和故障恢复(failback)⏹基于DNS域名的负载均衡技术，支持多种负载均衡策略配置InfoTier，动态分级存储⏹不同节点间动态分级存储，热点数据智能迁移，让不同性价比的存储发挥最大效益，降低TCO⏹支持多种数据迁移策略和优先级设置，无缝适应业务需求及变更InfoAllocator，空间配额管理⏹在目录、用户、用户组的级别对存储进行精简资源调配，满足不同客户所需⏹支持配额项的多层嵌套关系管理，为客户提供易用，弹性灵活的空间访问InfoProtector，高可靠数据保护⏹应用Erasure Code专利技术实现N+M数据保护–InfoProtector，业界最高水平的数据可靠性和可用性保护机制，可支持4个节点同时故障的数据保护⏹系统能够自动重构，多节点并行重构数据，重构速度高达2TB/小时InfoStamper，快照功能⏹目录级别快照，快速数据恢复⏹支持手动快照、定时快照（以天/周/月为粒度）InfoLocker，WORM功能⏹保护数据免遭意外、恶意更改和删除⏹支持设置WORM时钟，设置保护期InfoReplicator，异步远程复制⏹减少系统恢复时间，应用于灾难恢复，数据备份或远距离数据迁移⏹支持不同目录1：N复制，N:1复制InfoRevive视频监控图像修复功能硬盘故障损坏不影响视频流畅度，只对实际丢失数据进行空置处理技术规格。
华为OceanStor9000技术主打胶片(ppt 54页)
Huawei Confidential
11
OceanStor 9000关键能力-简单
传统NAS存储 安装• （1管1步理）不同扩文展件（9系步统） <10管0理T（B7步）
上架及连线 配置HBA 规划RAID，热备盘 配置RAID，热备盘 规划LUN 配置LUN 格式化卷 安装文件系统 网络配置 数据共享 调整各FS数据量
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
1
OceanStor 9000大数据存储系统主打胶片
融合扩展 简单高效
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
2
目录
1 知易行难，大数据的挑战 2 打破陈规，华为应对之道 3 真知灼见，行业深度剖析 4 行以见效，华为应用实践
5
知易行难，大数据的挑战二
性能
成本
数据按照热、温、冷分级管理，带 来数据割裂，自动化程度低，数据 迁移代价高，时效性差，管理复杂
大数据处理中需要高性能系统 的支撑，而性能的提升往往带 来成本的压力
传统技术面临大数据生命周期管理的挑战
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
上架及连线 点击扩容按钮
创建目录 数据共享
简单
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
12
夯实的基础架构
控制器
硬盘框
• Scale-up架构 • 专用硬件 • 后端SAS专用网络
HUAWEI TECHNOLOGIES CO., LTD.
华为OceanStor 9000软件架构与功能特性
当平均文件大小大于128KB且小于等于2048KB时，建议设置为128KB。
当平均文件大小大于2048KB且小于等于4096KB时，建议设置为256KB。 当平均文件大小大于4096KB时，建议设置为512KB。
Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.
4U, 3.5, 36 Drives HD editing, News production, high-end HPC
4U, 3.5, 72 Drives Near-line Media Asset, Video surveillance
Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.
Page 3
目录
1. OceanStor 9000产品的软件架构
2. OceanStor 9000功能特性简介
3. License策略
Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.
Page 4
系统架构
媒体与娱乐 视频监控
从Node A缓存中读取数据
中获数据并返回（如果不在全局缓存中
storage
Node A
storage
Node B
storage
Node C
，则直接从各个节点上读取该分条数据 的所有条带数据后构造出分条数据后再 返回）。
Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.
OceanStor9000横向扩展文件存储概述
行业需求带来容量和性能的挑战
媒体娱乐
4K、8K时代，需要数倍 于传统影片的存储容量
视频监控
百万人口的平安城市建 设，需要存储数万路视频 存储
生命科学
每年2倍的数据增长
海量数据驱动存储创新
原始 分布式
• 写多份，利用率低，容 忍“单” 点故障
• 缺乏统一、图形化管理 • 未针对视频类应用优
化，性能差
7
全分布式架构，高可靠数据保护
+1 +2 +3 +4
N+1~N+4的数据保护，
最大允许4块硬盘/节点故障 磁盘利用率最高达95%
条带化存储，平衡利用率与可靠性
基于N+M构建冗余
均衡分发
文件切分为固定
1
大小的Chunk
N+M以6+2冗余为例
2
条带
3
4
数
5
据
6
……
7
8
……
9 元
数
10
据
卓越性能
易于扩展
可扩展至140PB单一文件系统，系统带宽可以达到 TB/s，性能随容量增加而线性增长
……
HPC——高效简单的存储解决方案
高性能
容量性能线性扩展，可预期； 私有客户端，全面提升系统带宽
高可靠
全对称架构，系统无单点故障， 长时间稳定运行，数据更安全；
快速数据恢复
简单易用
全方位可视化统一资源管理，包括后端 万兆交换机；
单节点图片性能最高可达7000张/秒
InfoRevive视频修复技术 可靠性达99.999%
突破海量文件存储性能瓶颈，千亿级图片秒级检索
文件聚合
OceanStor 9000大数据存储关键信息一纸禅
基于Scale Out架构融合存储、分析、归档多功能于一体 产品特色1
给客户带来的价值：一个系统承载多业务应用，实现数据的全生命周期管理。 差异化：一个系统内实现了对数据的分布式存储、分布式备份以及分布式挖掘的一体化全生命周期管理，实现了数据 的统一调度。业界无同类创新产品，仅能通过多个产品对接形成解决方案，不能实现全生命周期管理。
2015年1月19日星期一
OceanStor 9000大数据存储关键信息一纸禅
OceanStor 9000大数据存储关键信息
1、 弹性空间
3节点起步，最大288节点扩展能力 产品特色1
给客户带来的价值：初始配置低，降低CAPEX开销，随业务量增加弹性扩容。 差异化：288节点扩展能力全球第一，其他同类产品最大可扩展到144个节点。
关键技术
• •
3
OceanStor 9000大数据存储关键信息
4、简化管理
统一命名空间，系统内所有资源整合成一个统一资源池，管理界面集中化管理 产品特色1
给客户带来的价值：管理员通过一个界面完成对整个集群的管理。 差异化：管理界面集群式访问，没有单独的管理服务器，通过一个域名就可以访问管理界面。
支持图形化系统部署，权限管理和配额管理支持模板配置方式，简化客户配置流程。 产品特色2
•
采用Share-nothing系统架构，节点间不会产生资源争抢； 采用对称式设计，服务器之间全对等，没有中央控制节点，不会随规模增大产生瓶颈； 采用一体化全局缓存管理，各服务器缓存整合为统一的缓存资源池，资源统一调度，避免重复缓存，资源池随规 模增减而弹性变化。
关键技术
• •
2
OceanStor 9000大数据存储关键信息
华为OceanStor 9000 V5 横向扩展文件存储 产品技术白皮书
OceanStor 9000 V5横向扩展文件存储产品技术白皮书文档版本016发布日期2019-12-30华为技术有限公司版权所有© 华为技术有限公司2019 保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。
除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：/enterprise客户服务邮箱：ChinaEnterprise_TAC@目录1 概述 (5)2 硬件、软件与网络 (6)2.1 产品逻辑结构 (6)2.2 组网概述 (8)2.2.1 Ethernet组网描述（前后端网络均采用Ethernet组网） (10)2.2.2 IB组网描述（前后端网络均采用IB组网） (10)2.2.3 前端Ethernet后端IB组网描述（前端网络采用Ethernet，后端网络采用IB组网） (11)2.3 系统运行环境 (12)3 分布式文件系统架构 (13)3.1 分布式文件系统架构概述 (13)3.1.1 分布式文件系统服务 (15)3.1.2 存储资源池平面 (15)3.1.3 管理平面 (16)3.2 元数据管理 (16)3.3 分布式数据可靠性技术 (17)3.3.1 数据条带化 (17)3.3.2 集群对象存储系统 (18)3.3.3 N+M数据保护 (19)3.4 全局缓存 (22)3.4.1 全局缓存组成要素 (23)3.4.2 实现原理 (24)3.5 文件写示意流程 (25)3.6 文件读示意流程 (27)3.7 负载均衡 (28)3.7.1 智能IP管理 (28)3.7.2 多样的负载策略 (30)3.7.3 节点分区管理 (30)3.8 数据重构 (31)4 系统特点 (32)4.1 卓越性能 (32)4.2 灵活扩展 (32)4.3 开放融合 (33)5 缩略语和术语 (34)1 概述信息爆炸时代中人们可以获取的数据成指数倍的增长，传统的单机文件系统单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。
OceanStor 5000混合闪存系统技术白皮书-D
华为OceanStor 5000 系列混合闪存存储系统技术白皮书华为OceanStor 5000 V5 系列混合闪存存储系统技术白皮书目录目录1摘要 (1)2简介 (2)2.1产品系列 (2)2.2客户价值 (3)3系统架构 (5)3.1硬件架构 (5)3.1.1多控Scale-out. (5)3.1.2硬件全冗余 (6)3.1.3门卫式数据加密（国内适用） (7)3.1.4SED 数据加密（国外适用） (7)3.2软件架构 (8)3.2.1块级虚拟化 (9)3.2.2SAN/NAS 一体化 (11)3.2.3负载均衡 (12)3.2.4数据缓存 (12)3.2.5端到端数据完整性保护 (13)3.2.6丰富软件特性 (13)3.2.7面向闪存的系统优化 (14)4精简高效Smart 特性系列 (15)4.1异构虚拟化（SmartVirtualiztaion） (15)4.2数据迁移（SmartMigration） (17)4.3数据重删压缩（SmartDedupe&SmartCompression） (18)4.4智能数据分级（SmartTier） (21)4.4.1块数据分级（SmartTier for Block） (21)4.4.2文件数据分级（SmartTier for File） (22)4.5智能精简配置（SmartThin） (23)4.6智能服务质量控制（SmartQoS） (23)4.7智能缓存分区（SmartPartition） (25)4.8SSD 智能缓存（SmartCache） (27)4.9LUN 销毁（SmartErase） (27)4.10多租户（SmartMulti-Tenant） (28)华为OceanStor 5000 V5 系列混合闪存存储系统技术白皮书目录4.11智能配额（SmartQuota） (29)4.12智能数据迅移（SmartMotion） (30)5数据保护Hyper 特性系列 (31)5.1快照（HyperSnap） (31)5.1.1LUN 快照（HyperSnap For Block） (31)5.1.2FS 快照（HyperSnap For File） (32)5.2克隆（HyperClone） (34)5.2.1LUN 克隆（HyperClone For Block） (34)5.2.2FS 克隆（HyperClone For File） (36)5.3远程复制（HyperReplication） (37)5.3.1LUN 同步远程复制（HyperReplication/S For Block） (38)5.3.2LUN 异步远程复制（HyperReplication/A For Block） (40)5.3.3FS 异步远程复制（HyperReplication/A For File） (41)5.4阵列双活（HyperMetro） (43)5.4.1阵列双活（HyperMetro For Block） (43)5.4.2阵列双活（HyperMetro For File） (45)5.5一体化备份（HyperVault） (47)5.6LUN 拷贝（HyperCopy） (47)5.7卷镜像（HyperMirror） (49)5.8WORM（HyperLock） (51)5.9两地三中心（3DC） (53)6最佳实践 (55)A 附录 (56)A.1更多参考信息 (56)A.2如何反馈意见 (56)A.3缩略语表 (57)技术白皮书 1 摘要1摘要华为OceanStor 5000 V5系列混合闪存存储系统（以下简称OceanStor V5中端存储系统）是面向企业级应用的新一代统一存储产品。
华为OceanStor 9000 Data Sheet(详版)
华为技术有限公司
OceanStor 9000
华为OceanStor 9000是面向大数据的存储系统，采用全 对称分布式架构，以其业界领先的卓越性能、大规模横 向扩展能力和超大单一文件系统为用户提供非结构化数 据和结构化共享资源存储，能够应用于广电媒体、卫星 测绘、基因测序、能源勘探、科研教育、视频监控等多 种大数据业务应用及存储资源共享领域的需求。
载，提高系统传输性能 ■■内 部 高 速 互 联 ： 系 统 组 网 冗 余 ， 全 I P 互 联 ， 支 持 1 0 G E
Ethernet、GE Ethernet或Infiniband网络互联 ■■全局缓存：最大可支持55TB全局缓存，提高数据访问命
中率
容量性能线性扩展，规模最大的单一文件系统 ■■单一文件系统：容量高达60PB，降低系统管理和维护的
不构成任何要约或承诺。华为可能不经通知修改上述信息，恕不另行通知。
复杂度，并消除多个命名空间带来的数据孤岛 ■■超强扩展：3节点到288节点的平滑扩展，容量、性能随
节点增加而线性增长
■■数据均匀分布：Share-nothing全对称分布式架构，系统的 数据和元数据均匀分布在各个节点上，消除单独的元数 据节点访问瓶颈
■■超 高 利 用 率 ： 高 可 靠 性 的 同 时 ， 硬 盘 利 用 率 最 高 可 达 95%
系统管理
物理特性 电源 尺寸 (高×宽×深) 节点重量 典型功耗 工作环境温度 工作湿度
节点 机柜
Insight node
全对称分布式架构 3～32节点 2×Intel E5系列 标配96GB，可扩展至192GB 支持2.5寸600GB SAS硬盘 标配25×2.5" 600GB SAS或无硬盘 1GE Ethernet 或10GE Ethernet 10GE Ethernet 非结构化和半结构化数据分析场景