FusionStorage存储资源池方案介绍
华为FusionStorage技术白皮书
华为FusionStorage技术白皮书文档版本V3.02发布日期2014-11-20版权所有© 华为技术有限公司2013。
保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。
除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：目录1 简介 (3)2 解决方案 (4)2.1 ServerSA N介绍 (5)2.2 ServerSA N形态 (5)3 FusionStorage介绍 (6)3.1 软件特点 (6)3.2 应用场景 (7)3.3 架构原理 (7)3.4 软件部署 (9)3.5 关键业务流程 (15)3.5.1 数据路由 (15)3.5.2 Cache机制 (16)3.5.3 读IO流程 (17)3.5.4 写IO流程 (18)3.6 特性介绍 (18)3.6.1 精简配置 (18)3.6.2 快照 (19)3.6.3 链接克隆 (19)3.6.4 弹性扩展 (20)3.6.5 高可靠 (23)3.6.6 同步容灾 (26)3.6.7 管理简便 (28)4 兼容性 (29)4.1 硬件平台 (29)4.2 虚拟化软件 (29)4.3 操作系统 (29)4.4 兼容列表 (29)5 规格参数 (30)6 缩略语表/Acronyms and Abbreviations (31)1 简介虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。
FusionStorage部署规划
大规模存储资源池场景： 至少12台服务器，至少3个
10GE交换机（板）
10GE交换机（板）
汇聚
40GE堆叠
汇聚
机柜，机柜级安全
1
1
1
Eth-Trunk
1
10GE交换机（板） 4x10GE10GE交换机（板）
接入
40GE堆叠
接入
Bond Bond 2x10GE 2x10GE
10GE
10GE
计算服务器
本节重点介绍FusionStorage的部署方式，组网设计，约束条 件直至容量及性能计算等内容。此部分内容和工作实践强相 关，需要基于实践完整掌握
学完本课程后，您将能够:
描述华为FusionStorage产品部署方式 掌握FusionStorage计算存储节点配置规格要求 掌握并描述FusionStorage配置规划约束 掌握FusionStorage有效容量及性能估算等
与VMware融合部署方案
计算网络(10GE/IB/RoCE)
融合Server1
融合Server2
融合Server3
OSD和VBS模块部署在Controller VM中，服务器 PCIE SSD或者SCSI Controller下的硬盘或者SSD盘 pass through到Controller VM中的OSD进行介质 管理， VBS通过iSCSI接口给ESXi提供块存储服务
FusionStorage硬件部署形态
FusionStorage在通用x86服务器上部署分布式存储软件，把所有服务器的本 地硬盘组织成一个虚拟存储资源池，提供块存储接口
典型硬件1：机架式服务器
典型硬件2：刀片式服务器
FusionStorage部署规划
48x10GE
48x10GE
GE Eth-trunk
堆叠
24x10GE
24x10GE
24x10GE
24xGE + 2x10GE LSW
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
融合Server3
VM
VM
融合部署：即将应用或虚拟机与存储同 时部署在同一台服务器上
VBS OSD
UVP/KVM
VBS和OSD安装在Hypervisor上
如果是华为UVP，则部署在Domain0里 面 如果是KVM，则部署在KVM宿主机OS 上面
第4页
硬件介质
版权所有© 2015 华为技术有限公司
GE组网时，硬件至少为4*1Gb组网，其中至少3*1Gb用于存储平面 10GE组网时，硬件至少为2*10Gb组网，其中至少2*6Gb用于存储平面 使用机柜级安全时，机柜间至少为4*10Gb带宽，每服务器为2*10Gb带宽，其中存储平面6*Gb及以上带宽
版权所有© 2015 华为技术有限公司
第11页
FusionStorage以太网组网之融合部署
through到Domain0中的OSD进行介质管理
VM
VM
Computing&Storage Server
Domain0
OSDs VBS
User VMs
VBS
OSD
UVP/KVM
Passthrough P C I E S S D
2.4 融合资源池解决方案-资源池管理能力特性介绍
系统周期检测虚拟机状态，当物理服务器宕机等引起虚拟机故障时，系统 可以将虚拟机迁移到其他物理服务器重新启动，保证虚拟机能够快速恢复 。目前系统能够检测到的引起虚拟机故障的原因包括物理硬件故障、系统 软件故障。
安全组（1）
虚拟机可以加入安全组，安全组用来实现组内和组间的访问控制， 加强虚拟机的安全保护，实现VPC内部的网络隔离。
可以将VPC内的虚拟机加入一个安全组，然后设定不同安全组间的 访问规则。
接入物理机是由全局业务管理员将物理机的信息手动录 入云管理平台中，并提供给用户进行申请。
目录
1. 计算资源 2. 存储资源 3. 网络资源 4. 统一资源管理
存储虚拟化
为云平台提供统一接口，按需分配的，持久化的块存储服务 （类似于Amazon EBS服务）
通过驱动的方式接入不同种类的后端存储（本地存储，网络 存储，FCSAN，IPSAN）
融合资源池解决方案-资源 池管理能力特性介绍
前言
数据中心融合资源池解决方案是华为云数据中心实现载体， 通过对融合资源池服务特性理解掌握，可以深刻理解华为云 数据中心解决方案。
目标
学完本课程后，您将能够：
理解计算资源管理特性； 理解存储资源管理特性； 理解网络资源管理特性； 掌握统一管理资源管理特性。
虚拟卷在线扩容&快照
虚拟卷在线扩容：针对容量达到上限的虚拟卷，传统方法是在虚拟 机关闭后，通过离线扩容虚拟卷的方式来增大磁盘空间，但这样会 造成虚拟机的业务中断。
为了解决这个问题，提供了在线扩容虚拟卷的功能。用户可以在虚拟机 运行时，实现增大磁盘可用空间的同时，达到虚拟机业务不中断的目的
FusionStorage安装部署简介
华为FusionStorage配置iSCSI映射步骤(1)
华为FusionStorage配置iSCSI映射步骤(2)
华为FusionStorage配置iSCSI映射步骤(3)
华为FusionStorage配置iSCSI映射步骤(4)
华为FusionStorage基础配置
华为FusionStorage创建控制集群
华为FusionStorage创建存储资源池
华为FusionStorage创建块客户端
华为FusionStorage创建卷
华为FusionStorage挂载卷
华为FusionStorage配置iSCSI映射流程 安装FSM主备VM规Fra bibliotek要求：项目
是否与主机绑定 •
操作系统 •
•
CPU
•
内存
• •
网卡
•
•
磁盘
•
•
QoS设置
• •
HA
•
启动方式 •
高级设置 •
其他选项 •
规格
是，并选择“始终为虚拟机预留资源” Novell SUSE Linux Enterprise Server 11 SP3 (64位) 3个～64个主机：设置CPU数量为4个 65个～4096个主机：设置CPU数量为16个
确保FusionStorage Agent软件所在主机已配置管理IP，用于CNA与 为主机添加管理接口
VRM间、FSA与FSM间通信
使用FusionStorage提供共享存储，需在每个主机上添加存储接口 为主机添加存储接口
若系统存储平面使用IB网络通信，则不需要为主机添加存储接口
与FusionSphere联合安装部署（2）
本节介绍FusionStorage的安装部署。学员需掌握安装部署的 准备和步骤，并通过亲身实践掌握
FusionStorage架构原理介绍
基础概念（1）
DHT： Distributed Hash Table，FusionStorage中指数据路由算法 Partition：代表了一块数据分区，DHT环上的固定Hash段代表的数据区 Key-Value：底层磁盘上的数据组织成Key-Value的形式，每个Value代表一个块存储
通知状态变化
获取IO View
获取元数据
VBS（Leader）
同步元数据
VBS集群 VBS
系统启动时，MDC与ZK互动决定主MDC。主MDC与其它MDC相互监控心跳，主MDC决定某MDC故障后接替者。 其它MDC发现主MDC故障又与ZK互动升任主MDC
OSD启动时向MDC查询归属MDC,向归属MDC报告状态，归属MDC把状态变化发送给VBS。当归属MDC故障，主 MDC指定一个MDC接管，最多两个池归属同一个MDC
VBS启动时查询主MDC，向主MDC注册（主MDC维护了一个活动VBS的列表，主MDC同步VBS列表到其它MDC， 以便MDC能将OSD的状态变化通知到VBS），向MDC确认自己是否为leader；VBS从主MDC获取IO View，主VBS向 OSD获取元数据，其它VBS向主VBS获取元数据
第14页
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
第5页
FusionStorage数据路由原理
Partition
Disk
P1
Disk 1
(LUN1,LBA1) Generate Key1=(LUN1,LBA1)
值时，系统会自动缓存数据到SSD中，同时会将长时间未被访问的数据移出SSD FusionStorage预读机制，统计读数据的相关性，读取某块数据时自动将相关性高的块读出并缓存到SSD中
FusionCloud桌面云配置指南
华为 FusionCloud 桌面云配置报价指导课程大纲 1 Click to add Title FusionCloud Desktop V1R5C30 解决方案简介 Click to add Title 2桌面云一体机（FusionCube 6000） 4 标准桌面云（E9000+IPSAN ）5CompactVDI （RH2288H V3+本地存储） 6 配置报价演示Click to add Title 3桌面云一体机（FusionCube 9000）FusionCloud Desktop V1R5C30 解决方案FusionCloud Desktop V1R5C30 解决方案的硬件组合：桌面云一体机标准桌面云Compact桌面云E9000 + IPSAN (可配GPU)FusionCloud DesktopV1R5C30 解决方案FusionCube 6000FusionCube 9000 RH2288H V3 + 本地存储桌面云软件桌面云软件采用整体打包的报价方式，打包后的软件报价项目已经包含了桌面云解决方案所需要的虚拟化平台和分布式存储软件（FusionStorage ）的软件许可。
•FusionAccess 5.x-华为桌面云软件V5.0-桌面云企业版许可-每用户-含1年专享升级服务•FusionAccess 5.x-华为桌面云软件V5.0-桌面云企业版许可-每并发连接-含1年专享升级服务以上报价项除了包含桌面云软件License 外，还包含了FusionSphere 虚拟化平台和分布式存储软件（FusionStorage ）的软件许可。
在同一桌面云管理组件中，不能同时加载并发和用户两种License 授权，只能加载其中一种License 授权。
但是，License 授权都是用户数方式或者都是并发数方式下，桌面云企业版、应用虚拟化企业版、企业增强版的License 可以混合搭配。
FusionStorage分布式存储系统介绍
第8页
目录
1. FusionStorage方案介绍 2. FusionStorage架构原理 3. FusionStorage部署配置
第9页
FusionStorage逻辑架构 (1/2)
VM 1
FusionStorage Manager (主)
VM 2
FusionStorage Manager (备)
第4页
分布式Server SAN架构
虚拟化/操作系统 InfiniBand /10GE Network
InfiniBand /10GE Network
共享式存储资源池 计算、存储融合部署
容量和性能线性增长
第5页
华为Server SAN产品FusionStorage
分布式块存储软件
将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池。
服务器1 FusionStorage Agent
MDC VBS
OSD OSD
服务器2 FusionStorage Agent
MDC VBS
OSD OSD
服务器3 FusionStorage Agent
MDC VBS
OSD OSD
服务器4 FusionStorage Agent
VBS
OSD OSD
服务器5 FusionStorage Agent
第2页
认识Server SAN
概念
由多个独立服务器自带的存储组成一个存储资源池，同时融合 了计算和存储资源。
特征
专有设备变通用设备 计算与存储线性扩展 简单管理、低TCO
第3页
传统SAN架构
FC/IP
孤立的存储资源：存储通过 专用网络连接到有限数量的 服务器。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
42%已使用或即将使用
19.7%
19.7%20.8%20.1%
9.8%
5.8%
7.3%
14.6% 11.5%
24.1% 21.1%
16.4%
15.3% 13.6% 14.2%
25.4% 22.6%
18.0%
0.0%
已使用
未来12个 未来12-24个 不会使用 月会使用 月会使用
没听过
不知道 （不确定）
场
景
DB及关键应用
财务报表 ERP 市场营销 CRM
虚拟化 平台
OpenStack
物
理
HANA
部
查询检索
数据分析
署
SCSI/iSCSI
FusionStorage
分布式Cache
高速网络 IB /GE/10GE
x86服务器
…
DHT环 x86服务器
分布式Cache
强一致性算法
8
场景特点
云资源池
• 大规模池化 • 低TCO • 统一管理 • 业务敏捷
*数据来源：中桥国际调研咨询有限公司（2015）
专有设备变通用设备 X86服务器增长为Server SAN
的普及奠定了计算基础
10Gb以太网技术成为企业首选 网络技术，为Server SAN的普
及奠定了网络基础
中国市场趋势
未来24个月内向企业级用户使用 Server SAN的比例将从9.8%上
升至20.8%， 增长率200%
照片服务器 NFS
NAS NAS NAS
活动用户0到1亿55月，1亿到4亿18个月
历史照访问片符合长尾理论 照片数量（10亿）
600 400 200
0
爆发增长带来海量数据，推动IT系统改造
2600亿图片（20P）时，NAS层出现性能瓶颈， 无法满足每秒查询1百万图片的需求。
元数据与图片数据绑定 NAS元数据超大（26T=2600亿*100字 节)，无法缓存到内存。 检索单个图片超过10次磁盘IO。 NAS服务器成本高昂
HDD
SAN/NAS
架构转型
Server本地存储
传统企业客户考虑引入新的存储的架构，构建面向未来灵活可扩展的存储资源池
4
全球存储市场发展趋势：分布式存储快速增长
定义：Server SAN 是由多个独
立的服务器自带的存储组成的一
个存储资源池，同时融合了计算
和存储资源
现在
专有设备变通用设备 计算与存储线性扩展
业务上线快，存储供应时间减少3倍以上 1、弹性扩展/自动供应，减少规划/采购/配置时间 2、削峰填谷，满足业务爆发式增长
IAAS 3.0
以云服务、移动宽带网络、大数据分 析、社交网络技术为依托
PB时代，10~100GB/s，分布式架构
1993年 EMC Symmetrix 16MB DRAM, 1 GB Global Memory,容量1 TB, Hypervolume Extension
2
IBM DS8000 EMC VMAX
Huawei 18000
分布式存储最早诞生在互联网行业，随着技术的产品化成熟，越来
越多的企业级用户也在尝试，将传统的业务迁移到弹性，灵活
的分布式存储资源池
Facebook每天20亿照片存储系统揭秘
业务特点
NAS无法满足海量照片存储
应用推出快。每天上线140，已达24000 应用更新淘汰率高
浏览器 CDN
DB及关键应用• 高吞吐 • 高源自价比 • 开放兼容核心亮点
• 分布式哈希算法 • 可伸缩DHT环 • 分布式Cache • 高速P2P网络 • 强一致性算法
云及虚拟化场景
相比传统存储给客户带来的价值
2011.4
5M
1
2011.5
10M
2011.10
50M
2012.09
200M
2012.10
300M
简单管理、低TCO
未来10年全球企业分布式存储市场快速增长，预计2027将占存储市场的70%份额
5
国内的分布式存储也在快速增长
贵公司是否会考虑Server SAN ？
基础条件已经成熟
中小企业（1000人以下，N=295）
企业级（1000人以上，N=183）
所有受访者（N=478）
30.0% 25.0% 20.0% 15.0% 10.0%
2010s 大数据，云计算
IAAS 1.0
以主机和终端、DAS为主 GB时代，MB/s
1956年 世界第一台磁盘存储系 统IBM 305磁盘介质取 代打孔卡，容量5MB 读写速率10K/s
1980年，薄膜磁头技 术，性能飞跃，容量 8*2.52GB 读写速率3MB/s
IAAS 2.0
以服务器、SAN/NAS为主 TB时代，GB/s
3
传统行业存储面临的挑战
中国企业客户面临哪些存储挑战？
存储容量不能满足需求
50.1%
传统SAN的架构
Server
Server
分布式Server SAN的架构 Controller
资源配置复杂 采购和运营成本高
44.4% 40.2%
VM
VM
VM
VM
VM
VM
VM
VM
Server Server Server
自研分布式存储
浏览器
获取对象元数据 Haystack目录
CDN 获取图片数据
HTTP
缓存可写卷数据，减 少读写混合IO
Haystack 存储
照片服务 下载到存储层
目前每天新增照片20亿，每秒查询最高4百万图片
元数据与图片数据分离 Haystack目录元数据大幅减小（3.5T =2600亿*50字节*1/4)可缓存内存中 检索单个图片数据仅需1次磁盘IO。 商用服务器承载存储，每TB成本降低 28%
VM
VM
VM
VM
VM
VM
不能满足并行处理能力需求
39.3%
非结构化数据的大数据分析
33.2%
存储硬件利用率低下
20.9%
其他
3.1%
*数据来源：中桥国际调研咨询有限公司
FC/IP Network
FC/IP Network
InfiniBand /10GE Network
Cache
HDD
SAN/NAS
Cache
华为FusionStorage存储资源池方案介绍
Content
1
从SAN到Server SAN
2
华为FusionStorage典型应用场景及解决方案
3
华为FusionStorage 应用案例
4 Q&A
1
信息化与存储发展历程
1960s 大型机 1980s 个人电脑
1990s 互联网
2000s 移动互联网
运营商，金融机构数据中心已开 始建立相关的分布式存储资源池
6
Content
1
从SAN到Server SAN
2
华为FusionStorage典型应用场景及解决方案
3
华为FusionStorage 应用案例
4 Q&A
7
FusionStorage应用场景
云资源池
两
大
公有云 私有云 VDI 开发测试
应
用