超融合方案建议书

目录

1项目背景 (3)

1.1需求调研 (3)

1.1.1数据中心调研 (3)

1.1.2应用调研 (3)

1.2超融合与传统架构选择 (4)

2超融合方案设计 (5)

2.1设计原则 (6)

2.2架构设计 (7)

2.3方案描述 (8)

2.3.1计算资源 (8)

2.3.2存储资源 (9)

2.3.3网络拓扑 (11)

2.3.4备份容灾 (12)

2.4方案优势 (14)

2.4.1横向扩展优势 (16)

2.4.2性能优势 (16)

2.4.3可靠性 (17)

2.4.4易于部署 (18)

2.4.5集中管理 (18)

2.4.6自动故障恢复 (20)

3配置清单 (21)

4超融合产品介绍 (22)

4.1N UTANIX的发展历程 (22)

4.2N UTANIX架构和软件定义存储 (22)

4.3N UTANIX与传统架构的差别 (23)

4.4N UTANIX和超融合市场 (24)

1项目背景

经过近几十年的持续稳定发展，XXXX树立了中国企业由小到大、由弱到强、并迅速走向世界的杰出典范。随着全球互联网浪潮技术的迅猛推进，XXXX秉承“科技领先，速度取胜”的经营理念，利用以市场需求为特征的拉动力和技术进步为特征的推动力，优化资源配置，通过技术创新、系统整合数字技术、信息技术和网络技术，改造和提升传统产业，最大限度地满足人们不断增长的物质和文化需要。

为了满足未来业务发展的需要，有效地解决数据安全、集中管控、降低运维成本、快速部署、跨平台访问、节能环保等问题，XXXX一直在关注通过虚拟化、分布式及超融合等互联网相关技术来解决现有数据中心的各种挑战，随着虚拟化及云计算的日益成熟，计划将其数据中心新业务系统运行在的基于互联网基因的超融合基础架构平台上。

1.1需求调研

1.1.1数据中心调研

XXXX现有数据中心存在的挑战包括：

?服务器数量众多，管理变得越来越复杂；

?新业务系统上线周期长，部署慢；

?SAN/NAS存储扩展性差，无法支撑新业务的性能需求；

?新业务走向互联网化，传统架构无法实现线性扩展能力；

?应用系统缺乏高可用性保护；

?数据中心空间资源有限等。

1.1.2应用调研

目前，XXXX紧跟互联网+战略，重点规划以软件为中心的业务较多，多数都是面向互联网以及物联网业务，比如：用户中心、支付平台、设备系统、O2O电商平台、企业移动办公软件平台及大数据平台等。

1.2超融合与传统架构选择

超融合基础架构（Hyper-Converged Infrastructure，或简称“HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。HCI是实现“软件定义数据中心”的终极技术途径。HCI类似Google、Facebook等互联网数据中心的大规模基础架构模式，可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护。使用计算存储超融合的一体化平台，替代了传统的服务器加集中存储的架构，使得整个架构更清晰简单。

图1.1 超融合架构示意图

下表列举了使用超融合架构（计算+存储）和传统数据中心三层架构（服务器+光纤交换机+存储）的对比：

2超融合方案设计

新一代数据中心建设包含众多信息化应用的实施，与此相对应，机房服务器和存储设备也必将大量使用，并且随着后期应用扩充和服务扩容，服务器和存储设备的投入必然越来越庞大。一方面，管理硬件基础设施的压力和成本会不断增大；另一方面，由于应用的多样性，服务器和存储难于有效整合，服务器的资源使用都远低于其实际的处理能力，计算能力和存储容量难以充分利用。

实施虚拟化/云计算数据中心，可以有效整合服务器及存储资源，形成计算资源池，根据新一代数据中心各项应用的实际需要动态分配计算资源，最大效率的利用现有服务器及存储设备，并对数据中心硬件设备进行有效管理和监控。

2.1设计原则

在方案设计中我们将遵循以下总体原则：

以业务需求为导向

技术架构最终是为业务服务的，因此技术架构的设计一定要以业务的需求为导向，充分考虑非功能需求，例如系统的重要程度、安全要求、业务连续性等。

遵循互联网标准

新业务系统都是面向互联网和物联网业务，因此架构体系要遵循互联网数据中心设计和建设标准，吸收互联网架构的优势。

提高资源利用率

现已经部署了大量的服务器，资源使用率低是较突出的一个问题，因此在项目中，提高资源利用率成为一个重要的任务。

动态扩展性

在IT发展趋势中，动态基础架构已经成为IT基础架构的发展方向。使IT基础架构成为一个动态、灵活、具有弹性的IT基础架构，同时在IT实时地运营过程可进行灵活的资源动态调整。资源扩展要体现在计算资源和存储资源的同时扩展。

分布式一切

应用系统的高可用性是保障服务等级的重要因素，在架构设计中应该以软件定义为主，借助软件的分布式架构满足高可用性要求，实现系统架构和平台架构的无单点故障、无单点瓶颈问题，保障新一代的业务系统健壮性。

安全性

在系统设计中，安全性是一个非常重要的问题。在架构中需要考虑到虚拟化架构内外部的安全，包括数据安全等问题，以保证整个系统长期安全稳定的运行。

2.2架构设计

超融合架构在数据中心中承担着计算资源池和分布式存储资源池的作用，极大地简化了数据中心的基础架构，而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力；在虚拟化层可以自由选择Hypervisor 的品牌，包括VMware vSphere、MicroSoft Hyper-v和KVM；而且通过简单、方便的管理界面，实现对数据中心基础架构层的计算、存储、虚拟化等资源进行统一的监控、管理和运维。超融合基础架构形成的计算资源池和存储资源池直接可以被云计算平台进行调配，服务于OpenStack、Cloud Foundry、Docker、Hadoop等IAAS、PAAS平台，对上层的互联网及物联网业务等进行支撑。同时，分布式存储架构简化容灾方式，实现同城数据双活和异地容灾。现有的超融合基础架构可以延伸到公有云，可以轻松将私有云业务迁到公有云服务。

图2.1 超融合数据中心架构

2.3方案描述

2.3.1计算资源

基于Nutanix架构的模块化数据中心由NutanixBlock(区块)和Nutanix Node(节点)组成。下图 2.2为标准的一个Block(区块)设备，仅占用2个机架单元(2U高)。而每台标准的Nutanix Block (区块) 设备均含有四个独立的Nutanix节点，每个Node(节点)都是一台独立的x86服务器。却能够提供4台标准2路Intel CPU的x86服务器和最大48TB存储容量。

图2.2：Nutanix Block (区块)和Node (节点)

N utanix的计算资源池是通过x86服务器虚拟化来实现的，可以支持VMware vSphere、MicroSoft Hyper-v及Nutanix Acropolis平台提供的KVM等Hypervisor，如图2.3。在虚拟化Hypervisor层形成计算资源池，为业务系统的虚拟机提供不同的服务质量和能力，包括了高可用(High Availability)、容错(Fault Tolerant)、在线迁移(Live Migration/vMotion)、资源动态负载均衡(Distributed Resource Scheduler)等虚拟化的特性。同时，Nutanix可以支持业务虚拟机在不同的Hypervisor之前进行迁移，也就是V2V的能力，例如从vSphere迁移到KVM等。

图2.3超融合架构计算资源池（x86服务器虚拟化）

2.3.2存储资源

Nutanix提供的分布式文件系统（NDFS）可以将一组集群内的节点组成一个统一的分布式存储平台。NDFS对于x86虚拟化平台软件而言就是一个集中的共享式存储，与任何其他集中式存储阵列一样工作，且提供更为简单便捷的存储管理，无需像传统集中存储那样再配置LUN、卷、或者Raid组。

图2.4Nutanix分布式存储架构和功能

Nutanix分布式存储架构不仅同样提供传统存储的能力外，还提供更多的能力。针对于虚拟化方面提供快照、克隆等机制，数据层实现本地优先访问、存储分层等性能机制，对数据进行压缩和去重提高存储可用容量，借助两份以上冗余数据提供存储的可靠性，增加或减少节点数据分布会自动平台，当节点宕机或磁盘损坏后具备数据自恢复能力等。

Nutanix每个节点提供两种磁盘，标准配置为2块SSD，容量从480GB到1.6TB；4块SATA的HDD，容量为1TB和2TB (部分型号节点提供4TB和6TB的HDD)。

图2.5分布式存储系统逻辑架构

NDFS被设计成为非常动态的平台，可以适用于不同工作负载的应用，并且允许混合节点类型：例如将计算密集型节点和存储密集型节点混合在一个集群中。对于集群内部磁盘容量大小不同的，确保数据一致的分布非常重要。NDFS有自带的称为磁盘平衡的技术，用来确保数据一致的分布在集群内部各节点上。磁盘平衡功能与各节点的本地磁盘利用率和内置的NDFS ILM（数据生命周期管理）一同工作。它的目标是使得所有节点的磁盘利用率大致相等。

另外，Nutanix节点通过ILM实现SSD和HDD的数据热分层。简单而言，磁盘的热分层时实现在集群内所有节点的SSD和HDD上，并且由ILM负责触发数据在热分层之间的迁移。本地节点的SSD在热分层中是最高优先级的，负责所有本地虚拟机IO的读写操作。并且还可以使用集群内所有其他节点的SSD，因为SSD层总是能提供最好的读写性能，并且在混合存储环境中尤为重要。

在超融合的虚拟化环境中，所有IO操作都将由本地节点上的Nutanix Controler VM(CVM)接管，以提供极高的性能。据以往经验及用户习惯分析，一般运行服务器虚拟化的虚拟机对

IO性能要求在200-300 IOPS左右，而单个Nutanix节点可提供25000上的IOPS，4节点集群可提供将近100,000的IOPS。完全可以满足需求。

2.3.3网络拓扑

下图为Nutanix推荐的网络拓扑图：

图2.6网络拓扑

在计算虚拟化资源池中的每台虚拟化Hypervisor节点上会运行多台虚拟机，多台虚拟机之间共享网络，为了方便管理建议采用虚拟交换机来配置和管理网络，虚拟交换机可在数据中心级别提供集中和聚合的虚拟网络，从而简化并增强虚拟机网络。在虚拟交换机的网络划分上，仍然可以采用VLAN的方式划分不同的子网，实现不同子网段的安全和隔离。

在网络隔离上，也可以采用网络虚拟化VXLAN技术。VXLAN网络协议，即VLAN协议的扩展版本。VXLAN网络可以跨越物理边界，从而跨不连续的数据中心和集群来优化计算资源利用率。VXLAN采用逻辑网络与物理拓扑相互分离，使用IP的技术，所以无需重新配置底层物理网络设备即可扩展VXLAN网络。正因如此，也就无需再花费大量时间来规划如何调配VLAN及管理VLAN数量剧增问题。

在每个Nutanix物理节点上有多种网络需求，包括管内部通讯网络、管理网络、生产网络等，因此每个Nutanix节点需配置多块网卡，网络设计建议如下：

2.3.4备份容灾

Nutanix平台自带的存储层面及基于虚拟机粒度的备份恢复功能Time Stream。用户可以针对每个虚拟机设置不同的备份策略，包括备份计划和备份保留周期，Time Stream会自动通过存储快照方式对虚拟机进行备份。所有Time Stream的快照均是基于存储层面的，与虚拟化层面（例如VMware vSphere）的快照不同，存储层面的快照不会影响虚拟机的性能，对于虚拟化软件是完全透明的。

传统的备份方式通过网络传输备份数据，需要特定的备份窗口以免影响业务正常运行。TimeStream备份可以与传统的备份策略互补，既能保证对于重要的虚拟机进行高频度备份

又不会占用额外的网络带宽。例如：

?对于普通虚拟机可以使用传统的备份方式每周进行全备，将备份数据保留在外部存储（例如磁带库中）；同时使用Time Stream备份进行每天甚至每12小时的备份，

数据直接保留在存储上以便快速恢复。

?对于比较重要的虚拟机可以使用传统备份每周全备、每天增量的方式，将备份数据保留在外部存储（例如磁带库中）；同时使用Time Stream备份进行每2小时甚至

每小时的备份，数据直接保留在存储上以便快速恢复。

?可以采用vSphere Data Protection Advanced(简称VDPA，只针对vSphere)、Commvault(VMware和Hyper-v)、Weeam(vSphere和Hyper-v)等虚拟化备份解决方案

作为有效补充。

图2.7Metro Availability

Nutanix容灾功能，分为两个级别：Metro Availability和Remote Replication。都是基于虚拟机快照的方式将更新数据异步复制到远程的Nutnaix集群中。Metro Availability可以实现同城双数据中心之间的RPO接近于“零”（需要裸光纤支持），即便是标准Remote

Replication也能实现RPO为1小时（基于网络带宽和更新数据量），满足绝大多数异地容灾的业务需求。Nutanix容灾支持双向、一对多、多对一各种不同的复制模式。并且可以通过Nutanix自带的管理界面激活容灾中心的虚拟机进行容灾演练。不再需要额外繁琐的灾难恢复计划，基于鼠标点击即可完成容灾切换。

使用Nutanix解决方案可以在项目初始即确定今后的容灾规划，而无需在今后专门立项重复设计整体容灾架构。依据用户规模和分支机构数量，通过简单灵活的软件配置，将已有分支机构的虚拟化环境远程容灾到总部数据中心，逐步形成星型的容灾架构。

2.4方案优势

使用Nutanix虚拟化基础架构，在保证用户数据的高速访问和高可靠性同时，不再需要传统的集中式存储架构，避免在今后运行过程中出现设计初期忽视的性能问题。

按照服务器和存储使用现状，建议使用Nutanix来支撑现有应用。在今后随着业务发展，可以方便的按照节点进行扩容，避免建设初期一次性投资过大，后期却发现性能问题，需要追加投资的问题出现。

Nutanix是部署广泛、值得信赖的虚拟化基础架构平台。Nutanix适用于最重要的国防、医疗、教育等领域，可为数据中心虚拟化带来横向扩展架构、高可用性和可靠性等优势。研究显示，并非所有的企业数据中心项目真正做到了全面部署，很大一部分项目通常因为基础设施的成本不断攀升而束之高阁。传统服务器和存储阵列扩展成为企业数据中心项目成本高昂、过程复杂并且难于实施的主要因素。从诸多数据中心项目实施来看，在企业环境中，性能、可靠性、可扩展性是关键，因为最终用户体验直接来自于基础设施的高性能和高可靠性。

Nutanix将融合基础设施、横向扩展架构和软件定义存储的各种优势结合在一起，可提供极佳的数据中心虚拟化体验，而其成本仅为传统服务器和存储器的一小部分。Nutanix完整集群是一种能够横向扩展的计算和存储基础设施，它使各组织机构无需存储网络（SAN或NAS）即可实现数据中心虚拟化。Nutanix专门为虚拟化而设计，能够提供全面的计算和存储能力，以及企业级的性能、可扩展性、可用性和数据管理功能。它采用英特尔芯片、固态硬盘等符合行业标准的硬件组件，以及市场领先的高级管理程序，以便提供开箱即用的解决方案，让数据中心虚拟化变得极其简单有效。

1)互联网架构的分布式计算

Nutanix架构与Google的架构相类似，是一种可以横向扩展的计算存储融合的基础架构，消除了对于集中式存储对于网络的依赖。并且在基于Google的架构之上，提供了适合企业环境的解决方案。GFS是一种特定的解决方案为Google内部的应用所使用（例如Gmail），而Nutanix提供的是一种通用的虚拟化环境解决方案。另外，Nutanix有更好的横向扩展能力，提供更好的企业级数据管理特性，通常这些特性需要额外的网络或者存储硬件才能实现，例如，高可用性、备份、快照、灾难恢复等。

2)专为虚拟化设计

Nutanix是针对虚拟化环境而设计的，因此可以很好的支持虚拟化环境中基于传统存储架构所实现的功能，包括虚拟机的热迁移和高可用性等。Nutanix架构是虚拟机感知型的，它克服可传统架构下解决方案的一些弊端，例如，当一个存储设备（LUN）共享所有虚拟机使用时，很难使用在存储上使用基于虚拟机的备份、复制和快照功能，并且当架构越来越复杂时，很难诊断性能瓶颈。而Nutanix架构克服了这些限制。

3)存储分层优势

Nutanix架构充分发挥了存储分层的SSD固态硬盘的优势，由于传统存储都是针对机械硬盘而设计的，而传统的机械硬盘与SSD硬盘的数据访问方式完全不同，机械硬盘需要旋转和寻道，而SSD硬盘则完全没有这些限制，因此不能指望针对机械硬盘设计的存储软件能充分发挥SSD硬盘的性能优势。Nutanix架构使用SSD来保存大量经常访问的数据，从虚拟机的元数据到业务数据都保存在分布式Cache中已提供极高的IO性能，并且保存在持久化的存储中以便于存取。Nutanix架构极高的IO吞吐性能是得益于使用SSD磁盘，包括：?保留SSD用于IO敏感的操作；

?包含空间节省的技术，允许大量的逻辑数据被存储在一个小的物理空间中；

?自动迁移“冷”数据（或者不常访问的数据）到大容量SATA硬盘中，并且允许管理员指定低优先级的虚拟机不使用SSD磁盘。

2.4.1横向扩展优势

Nutanix给虚拟化环境带来的重要差异化因素之一就是，基础设施在进行扩展时其性能仍然保持不变。在Nutanix架构中，在每个物理节点本地都运行一个虚拟存储控制虚机（CVM）。CVM负责本地所有其他虚拟机的IO操作。当集群扩展时，新增加节点的同时也新增了CVM，保证了整个集群性能的横向扩展。与传统集中存储不同，传统架构下集中存储只有两个存储控制器，在集群扩展时，存储控制器无法进行有效的扩展，从而必然成为整个架构的瓶颈。参考图2.4说明了Nutanix的横向扩展架构的优势。

为了展示这种能力，Nutanix曾实施过一个巨型的VDI项目，模拟桌面启动风暴，并且当基础设施从300台桌面扩展到3000台时，其性能从最终用户体验的角度来看保持了一致。在大多数传统的存储环境中，最佳性能仅出现在第一天，因为应用程序或工作负载越来越多，导致性能随着时间的推移不断下降，直至需要进行叉车式升级，采用全新的存储阵列。

下图说明了从300台桌面扩展到3000台时，应用响应时间保持不变：

相对应用性能

虚拟桌面数量与应用响应时间

图2.8不同VDI数量下的相应时间

2.4.2性能优势

Nutanix解决方案在数据中心虚拟化环境中的主要优势之一就是性能，而性能优势是通过比对传统的服务器和存储架构实现的。在传统的架构中，时延是因为每次访问存储都需要通过网络而造成的。通过NFS和iSCSI等协议提供存储本身没有问题，但网络会增加时延。Nutanix可提供NFS协议的优势及其易用性，而通过所谓的“无网络NFS”消除了网络时延。

Nutanix分布式文件系统直接对虚拟机进行检测，然后将特定虚拟机的所有数据存放到本地物理服务器上。因此，虚拟机不是通过网络、而是通过高速内部总线访问其数据。并且所有节点标配SSD磁盘，提供极高的IOPS以满足虚拟化环境各种类型应用需求，无论是虚拟桌面还是服务器虚拟化场景。

更为重要的是，每个节点的SSD磁盘并非有每个节点单独使用，而是在整个集群范围内作为一个整体使用。言下之意，不会由于单个节点本地的SSD耗尽而导致其性能急剧下降。当出现这种极端情况时，节点会使用集群中其他节点的SSD空间。因为即使跨网络访问其他节点SSD磁盘也会比访问本地SATA磁盘快很多。因此极端最差情况时性能也与使用传统集中存储架构时服务器通过网络访问数据的场景相当。其实不会出现这种极端情况，因为当SSD利用率超过一定阈值后，Nutanix的CVM会自动发现并将最少访问的数据从SSD迁移到SATA上，以保证SSD有足够容量满足突发的IO请求。这一自动热分层技术对虚拟化主机而言完全透明。用户无需关心数据保存在哪里，这完全由CVM依据数据访问频度而自动调度。

2.4.3可靠性

Nutanix平台使用复制因子（RF - Replication Factor）和校验和（checksum）来保证当节点或者磁盘失效时，数据的冗余度和可用性。当数据写入SSD时，会被“同步”复制到另1个或者2个Nutanix CVM的SSD之中（依赖RF设置为2或者3），当这个操作完成之后，此次写操作才被确认（Ack）。这样能确保数据至少存在于2个或者3个独立的节点上，保证数据的冗余度。

所有节点都参与数据的复制操作，这样能消除“热点节点”，并保证线性的性能扩展。当数据被写入时，同时计算该数据块的校验和，并且作为数据块元数据中的一部分进行存储。随后数据块在保证满足RF的前提下，被“异步”推送到HDD中。当发生节点或者磁盘失效，数据块会重新在所有节点间进行复制以满足复制因子的设置。任何时候，读取数据块并同时计算其校验和以确保数据块有效。当数据块检查结果不匹配校验和时，副本数据将会覆盖该无效数据块。

在Nutanix分布式文件系统中（NDFS），我们使用了一些关键技术来确保：数据在100%时间内都是可用的（即“强一致性”），并且保证NDFS扩展到超大规模数据量时依然可靠。

这就是文件系统元数据强一致性的Paxos 算法1。NDFS使用一种“环状”的Key-Value结构

的分布式数据库来保存重要的元数据。为了确保元数据的可用性和冗余度，也同样引入了复

制因子（RF）。一旦一条Metadata记录被写或者更新后，这条记录将同时写到“环”中的另

一个节点，然后被复制到n个其他节点（n决定与集群的大小）。集群中大多数（majority）

节点必须同意才能commit一条记录，这就是强一致性的Paxos 算法。这确保了Nutanix平台数据的“可靠性”。

2.4.4易于部署

Nutanix开箱即用的部署方式，可以免去传统集中存储环境下存储的规划、连接、配置等复杂的管理操作，无需再配置Raid组、LUN、卷等。新设备安装上架后只需要约20分钟即可完成初始化配置，用户可以马上开始部署应用虚拟机。

Nutanix集群的扩展也非常方便，通过鼠标点击即可扫描并自动发现新安装的节点，按照提示完成IP地址配置之后，新节点即完成加入集群操作，新增资源也自动纳入资源池统一调度管理。

2.4.5集中管理

通过Nutanix的Prism界面实现所有基础架构的管理操作，包括健康检查、物理机管理、虚拟机管理、存储管理、数据保护、告警监控、报表分析等内容。用户不再需要通过不同界面进行各种管理任务，所有任务都在同一个界面中完成，极大减少的管理复杂程度。

并且可以通过设置不同权限的用户，支持AD整合，将域用户和角色对应到Nutanix的用户和组，从而实现分级的运维管理。

图2.9统一管理界面Prism

所有物理和虚拟管理对象均提供详细的性能采集数据，包括CPU、内存、磁盘容量、IOPS、吞吐、读写延迟等指标，不再依赖于专用的监控工具和复杂的监控脚本。

图2.10统一监控能力

自定义的报表工具可以灵活的将将不同监控项进行组合和展示，减少日常维护的工作量。

图2.11自定义监控指标

另外，Nutanix还提供Prism Central的管理组件，可以将多个Prism管理界面集中管理，不仅可以节省管理员在多个集群之间切换的繁琐动作，更能够将多个集群的状态数据进行汇总，可以方便管理员快速定位当前整个IT架构中是否存在热点主机或者热点虚拟机，特别有利于简化大规模IT架构、或者多站点场景下的日常管理任务。

2.4.6自动故障恢复

Nutanix抛弃了传统的Raid机制来保护硬件失效，采用全新的复制因子和校验和技术来保证当节点或者磁盘失效时，数据的冗余度和可用性（参见章节 2.5.4 可靠性）。当发生单点磁盘甚至是单个节点故障时，Nutanix集群将自动发现这一故障，并立刻在后台开始数据重建工作。整个重建过程非常简单，假设复制因子是2，系统会自动发现只有1份副本的数据块，并将其在另一个节点上复制第2份副本即可。最重要的是，这个数据重建过程是基于MapReduce的分布式框架实现的，集群中所有节点的CVM都可参与数据重建工作，并且依据负载情况动态调配，因此重建工作不会影响系统性能。

与传统的Raid数据重建不同的是，Raid重建过程会极大影响磁盘的正常操作，导致整个系统性能降级，并且由于磁盘容量越来越大，整个重建过程也将耗费更长时间，甚至超过20小时。