华为FusionStorage技术建议书分布式存储

华为FusionStorage分布式存储技术建议书

Huawei Technologies Co., Ltd.

华为技术有限公司

All rights reserved

版权所有侵权必究

Revision record 修订记录

//在提供给客户前需删除本页“修订记录”。本文档只是供内部参考使用，禁止将本文档原封不动发给客户或代理商。请结合实际项目需要进行必要增删调整。

Table of Contents 目录

Revision record 修订记录....................................... Table of Contents 目录.......................................

1 项目概述..................................................

1.1 项目背景 ..................................................

1.2 项目需求 ..................................................

1.3 功能需求 ..................................................

2 项目技术方案..............................................

2.1 FusionStorage总体架构 .....................................

2.2 FusionStorage优点概述 .....................................

2.3 FusionStorage应用场景 .....................................

2.3.1 FusionStorage与FusionSphere融合场景...............

2.3.2 FusionStorage与VMware融合场景.....................

2.3.3 FusionStorage与OpenStack融合场景..................

3 FusionStorage应用中典型硬件平台...........................

3.1 FusionStorage在机架式服务器上使用 .........................

3.2 FusionStorage在刀片式服务器上使用 .........................

4 FusionStorage应用中网络设计方案...........................

4.1 总体组网方案 ..............................................

4.2 在机架式服务器上使用组网方案 ..............................

4.2.1 单柜10GE组网......................................

4.2.2 单柜IB存储组网....................................

4.3 在刀片服务器上使用组网方案 ................................

4.3.1 虚拟化10GE 刀片服务器组网.........................

4.3.2 虚拟化IB+SSD组网..................................

5 服务器数量规划............................................

5.1 FusionStorage按容量和性能计算服务器数量 ...................

6 FusionStorage产品特性介绍.................................

6.1 性能卓越 ..................................................

6.2 高可靠 ....................................................

6.3 弹性扩展 ..................................................

6.4 管理简便 ..................................................

6.5 兼容性 ....................................................

7 FusionStorage典型应用案例.................................

7.1 浙江电信选择FusionStorage建设存储资源池 ...................

7.2 华为公司计算云-单资源池5K VM ..............................

7.3 FusionStorage帮助江苏移动CRM系统建设高性能数据库平台 ......

7.4 华为携手沃达丰打造分布式数据中心 ..........................

7.5 华为FusionStorage助力深圳海关加速大数据分析 ...............

7.6 FusionStorage：汇港资讯高效证券交易数据发布云平台建设 .....

7.7 华为FusionStorage助力BME高效交付股票交易系统 ..............

8 系统软硬件配置清单及说明..................................

8.1 软件配置 ..................................................

8.2 硬件配置 ..................................................

9 缩略语....................................................

1项目概述

1.1 项目背景

XXX单位准备采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：存储资源弹性问题：多业务负载、资源的动态需求变化

存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不同步问题）

形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）

容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨机房），硬盘重建时间长问题

针对上述问题，建议使用FusionStorage 分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。

FusionStorage分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，作为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务。

1.2 项目需求

XXX单位，对存储需求如下，需要根据具体的项目进行修改：

1.3 功能需求

XXX单位，对功能需求如下，需要根据具体的项目进行修改：

1、无性能下降智能精简配置

2、基于快照的高性能链接克隆

3、高性能增量快照技术

4、高可靠---多重数据安全保障机制

5、高性能、低时延---支持全SSD 存储

6、高性能、低时延---支持Infiniband网络互联

7、FusionStorage --- 全分布式平滑扩展

2项目技术方案

2.1 FusionStorage总体架构

分布式存储FusionStorage是华为公司设计,完全自主产权的分布式

存储架构.作为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：FusionStorage功能模块:

存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。

存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。

存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。FusionStorage系统软件架构：

FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。

FusionStorage分布式存储系统包含三个子系统：

无状态机头

无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在

存储节点，也可以灵活部署在计算节点。系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。

无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。本地SCSI 支持主流的linux操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。

存储集群

在IO读写过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点；同时存储节点会将每台服务器上的缓存设备划分成读写缓冲区，IO直接写到cache中就向主节点返回。当缓冲区达到一定的水位后，存储节点会自动将缓冲区的数据刷到主存设备（机械硬盘/SSD）上。

分布式机头

FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU 资源，提供比集中式机头更高的IOPS。

分布式缓存

FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage支持将服务器SSD卡用作读、写缓存，对于数据的写操作，系统数据首先写到SSD的写缓存中，所有副本（三个副本）写缓存成功后，IO立即返回。同时IO也会将数据缓存均匀分布到各

个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO 性能，整体性能提升1~3倍，同时提供更大的有效容量。

FusionStorage支持PCIe SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能。由于分布式缓存带来的性能优势，IO时延,IOPS都能很好的满足数据库的应用，FusionStorage系统可以支持业界主流的数据库，支持OLAP,OLTP等主流业务。

集群元数据管理

FusionStorage分布式存储软件的元数据服务采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。

多数据副本

FusionStorage存储系统中没有使用传统的RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片后的数据按照一定的规则保存集群节点上。

如下图所示，对于服务器Server1的磁盘Disk1上的数据块P1，它的数据备份为服务器Server2的磁盘Disk2上P1’，P1和P1’构成了同一个数据块的两个副本。

2.2 FusionStorage优点概述

高IOPS,低时延：应用大容量Cache技术，提升IOPS；

卷被切片分割打散到整个资源池所有硬盘中，条带化宽度增加，单卷可获得的性能大幅提升；

访问均衡，无热点,资源池中各节点的利用率相同；

无需预先设置固定RAID组，大资源池适应应用负载的动态变化；

应用程序通过Cache直达存储，时延更低；

无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不

受限制；

无级扩容：分布式机头(每server服务器相当于一个机头)，无性能瓶颈，可无级扩容

非烟囱式扩展：存储与计算同步平滑扩展。

即插即用式扩容：扩容后系统自动调整负载平衡，真正实现无级平滑扩容。

管理简单：结构简单带来管理简单；

免于低层配置管理：仅需要做应用层面的管理，免去大量低层配置管理事务。

零性能管理的成本：自动负载均衡，无热点，故障自愈，无需进行人工性能优化。

数据重建快：并行重建速快；

数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据

不可访问。

数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，仅重建实际数据，无需热备盘；重建1TB数据时间 < 30分钟。

2.3 FusionStorage应用场景

适合使用FusionStorage的应用场景：

VDI、OA应用。其典型特点是：容量共享精简分配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。

虚拟化环境混合应用。其典型特点是：容量共享需求明显、多应用混合负载、线性扩展。

OLAP应用。其典型特点是：大并发吞吐量，计算和存储带宽要求高。

OLTP应用。其典型特点是：IOPS并发度高。

FusionStorage应用场景图：

2.3.1 FusionStorage与FusionSphere融合场景

FusionStorage适合计算和存储融合的系统，传统的虚拟化方式是在相互分离的计算、存储和网络设备上叠加了一层虚拟化软件。这种方式虽然可以提升资源利用率，但是由于系统的复杂性，并不能简化各类基础设施的运维成本。FusionStorage把计算服务器的本地硬盘组织成一个类似SAN设备的虚拟存储池，对上层应用提供存储功能。

华为云平台FusionSphere主要有虚拟化基础引擎FusionCompute、云管理FusionManager两大组件组成；FusionStorage与FusionSphere融合使

用形成华为FusionCube解决方案应用场景，如下图所示：

2.3.2 FusionStorage与VMware融合场景

FusionStorage与VMware融合使用系统主要由五部分组成：硬件设备、分布式块存储系统，VMware虚拟化平台，统一的云管理平台，备份服务器。VMware与FusionStorage配套使用的系统架构:

1、系统初始部署时，在每台部署VMware的服务器上部署一个控制虚拟机，

该虚拟机上部署FusionStorage的无状态机头，每个无状态机头上会提供ISCSI的服务端。

2、在VMware的ISCSI配置信息中，优先配置本地ISCSI接口信息。VMware

的ESXi会根据配置的ISCSI接口信息，扫描FusionStorage的存储信息。

可以根据扫描出来的LUN组成DataStore。建议每个DataStore对应一个LUN。

3、创建DataStore后，VCenter就可以通过和ESXi的私有协议，创建虚拟

机模板和应用虚拟机。

FusionStorage与VMware融合使用，在网络部署上需要进行存储节点和计算节点分离部署，不能够融合部署。

2.3.3 FusionStorage与OpenStack融合场景

FusionSphere Platform在OpenStack的基础上扩展电信运营商和企业建设IT基础设施及业务平台所需要的特性，使用同一套架构同时支撑公有

云和私有云的管理，提供了基于OpenStack、ICT统一的开放云平台。

FusionSphere Platform保持了OpenStack的开放与兼容性，支持第3方厂商的计算、存储、网络和安全物理硬件，也支持第3方的计算虚拟化、存储虚拟化、网络虚拟化和安全虚拟化产品。在云服务层面，在OpenStack 的基础上提供备份、热迁移、亲和性资源调度、电信云定制化扩展、物理资源池等扩展服务；在运维层面，基于OpenStack提供了安装部署、升级/补丁、管理数据备份/恢复、信息收集、健康检查等运维服务。

基于OpenStack的FusionSphere解决方案系统架构:

3FusionStorage应用中典型硬件平台

FusionStorage在通用x86服务器上部署分布式存储软件，把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储接口

3.1 FusionStorage在机架式服务器上使用

FusionStorage+机架式服务器，实际项目中每台服务器的CPU型号、内存数量，硬盘个数可根据项目需求配置。机架式服务器硬件图如下：以华为RH2288为例，硬件外观如下图：

硬盘位置示意图

FusionStorage+机架式服务器有四种刀片类型，MCNA、LCNA、SCNA、CNA。其中MCNA用于部署管理节点；LCNA、SCNA、CNA用于部署用户虚拟机。几个刀片类型说明如下：

1、MCNA：管理节点，必配。至少两台服务器，需要配置2P *6核以上CPU，内存至少64G，默认128G。同时作为FusionStorage存储节点。

虚拟机部署VRM（4Core/8G内存/50G存储）、FusionManager（4Core/16G 内存/280G存储）、这些管理软件采用虚拟机部署，管理虚拟机需要独占本地的两块硬盘提供存储。

部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存，FusionStorage管理需要独占一块专门的硬盘。另外配置6~11个硬盘用于FusionStorage业务存储。

2、LCNA：计算和存储节点，必配。同时提供计算和FusionStorage存储能力，可部署用户虚拟机。和SCNA的业务功能相同，区别在于LCNA部署了FusionStorage的MDC软件。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）LCNA节点部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存。FusionStorage管理需要独占一块专门的硬盘。另外配置6~11个硬盘用于FusionStorage业务存储。

剩余计算资源可用于部署业务虚拟机。

3、SCNA：计算和存储节点，必配。同时提供计算和FusionStorage存储能力，可部署用户虚拟机。根据部署的用户虚拟机规格和内存确定CPU 型号（默认2P*2640）和内存配置（至少配置64G，默认128G）部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存。另外配置6~11个硬盘用于FusionStorage业务存储。

剩余计算资源可用于部署业务虚拟机。

4、CNA：计算节点，选配。提供计算能力，部署用户虚拟机。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）

部署业务虚拟机。

1)存储

虚拟化应用中未使用传统的SAN设备，存储直接使用2288H服务器上的本地硬盘配合高性能SSD卡做读写缓存介质。

RH2288H上的本地硬盘根据存储位置，分为前置硬盘和后置硬盘。

后置硬盘：

2块2.5存SAS盘，用于部署虚拟化Domain0及FusionSphere(或其他虚拟化平台)管理节点VM，根据管理节点的资源消耗，MCNA选择的是

600GSAS（FC/FM/FSM管理节点需要消耗约440G的存储空间），LCNA和SCNA 均配置300GSAS即可满足要求。

前置硬盘:

选择3.5存SATA盘，物理位置可插12块，支持1T/2T/3T/4T多种配置，可根据用户业务模型选择不同的配置。

SSD卡选择华为Tecal ES3000 PCIe SSD高性能存储卡（以下简称ES3000，外观如下图），ES3000为标准的PCIe全高半长插卡，接口类型为PCIe 2.0 x8，适合安装在机架服务器等通用服务器内，适用于搜索引擎、Cache、数据库、视频服务等随机读写操作频繁和IOPS要求较高的业务，具有高性能、高IOPS、高可靠、易维护等优点。

ES3000外观

2)交换机

每柜配置一对24口10GE交换机S6724，1个GE交换机S5728，多柜间

使用48口或24口的10GE交换机S67XX做汇聚。

汇聚交换机也可以使用局方的交换机，但网口和数量要求同华为

交换机。

3.2 FusionStorage在刀片式服务器上使用

FusionStorag+刀片式服务器的物理形态组成，支持计算、存储、交换、电源模块化设计，计算和存储节点按需混配，支持10GE交换模块，根据业务要求灵活配置

FusionStorage+刀片式服务器有四种刀片类型，MCNA、LCNA、SCNA、CNA。其中MCNA用于部署管理节点；LCNA、SCNA、CNA用于部署用户虚拟机。几个刀片类型说明如下：

1、MCNA：管理节点，必配。至少两台服务器(目前数据库一体机部署MCNA节点只需要一台服务器)，需要配置2P *6核以上CPU，内存至少64G，默认128G。同时作为FusionStorage存储节点。

虚拟机部署VRM（4Core/8G内存/50G存储）、FusionManager（4Core/16G 内存/280G存储）、FusionAccess管理软件，这些管理软件采用虚拟机部署，管理虚拟机需要独占本地的两块硬盘提供存储。

部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存，FusionStorage管理需要独占一块专门的硬盘。另外配置6~12个硬盘用于FusionSorage业务存储。

2、LCNA：计算和存储节点，必配。同时提供计算和FusionStorage存储能力，可部署用户虚拟机。和SCNA的业务功能相同，区别在于LCNA部署了FusionStorage的MDC软件。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存。FusionStorage管理需要独占一块专门的硬盘（用于部署zookeeper进程）。另外配置6~12个硬盘用于FusionSorage业务存储。

部署用户虚拟机。

3、SCNA：计算和存储节点，必配。同时提供计算和FusionStorage存储能力，可部署用户虚拟机。根据部署的用户虚拟机规格和内存确定CPU 型号（默认2P*2640）和内存配置（至少配置64G，默认128G）部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存。另外配置6~12个硬盘用于FusionStorage业务存储，部署用户虚拟机。

4、CNA：计算节点，选配。提供计算能力，部署用户虚拟机。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）

部署用户虚拟机。

4FusionStorage应用中网络设计方案

注：后续会支持其他厂商的服务器异构，比如HP,DELL,IBM的服务器,本方案中以RH2288和E9000为例进行组网说明，其他服务器的组网与下面的

RH2288的组网类似，请根据实际情景进行修改。

4.1 总体组网方案

1、使用计算和存储融合架构，资源池化，统一运维。

2、业务、存储、管理三网隔离，保证安全，存储网络内部运行，对客户网络部可见。

3、虚拟化和桌面云的应用场景使用10GE网络，数据仓库场景使用的情况

下使用IB网络。

4.2 在机架式服务器上使用组网方案

4.2.1 单柜10GE组网

接入交换机采用S6724/S6324 接入部署，服务器可采用华为

RH5885,RH2288H;其他公司如HP,DELL,IBM的服务器。

说明：

1、服务器上默认配置一块2*10GE的网卡，分别与两台10GE交换机连接，

两个网口做bond，缺省为负载分担规模

2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分

别与两个10GE交换机连接

3、10GE交换机下行承担内部管理、存储、业务平面，10GE上行对接客户

网络，默认提供4*10GE，两台10GE交换机堆叠

4、以华为RH2288为例，2m机柜可以部署16台RH2288H，或者部署RH5885服务器6台

5、最大规模16台RH2288H/RH5885服务器，后续扩容需要增加汇聚交换机

4.2.2 单柜IB存储组网

说明：

1、服务器上默认配置一块2*10GE的网卡，分别与两台10GE交换机连接，

两个网口做bond，缺省为源目的IP和Port负荷分担模式，对应的交换机端口配置eth-trunk

2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分

别与两个10GE交换机连接，对应端口做eth-trunk

3、10GE交换机下行承担内部管理、业务平面网络连接，10GE上行对接客

户网络，默认提供4*10GE，两台10GE交换机堆叠

4、每台服务器上的两个IB网口分别与两台IB交换机连接，两台IB交换机

之间6根线互连，IB网口承担存储平面的通信

5、2m机柜可以部署12台RH2288H，或者部署RH5885服务器6台