(完整版)EASTED私有云超融合解决方案v1.0

易讯通（EASTED）私有云超融合解决方案(V0.5)

北京易讯通信息技术股份有限公司

2016年5月

目录

1.项目背景 (1)

2.需求分析 (2)

3.解决方案 (3)

3.1.方案拓扑 (3)

3.2.方案描述 (4)

3.2.1.超融合简介 (4)

3.2.2.计算资源 (4)

3.2.3.存储资源 (6)

3.2.4.网络拓扑 (7)

产品清单 (9)

4.解决方案优势 (9)

4.1.扩展优势 (10)

4.2.性能优势 (10)

4.3.可靠性 (11)

4.4.存储分层优势 (11)

4.5.易于部署 (12)

4.6.集中管理 (12)

4.7.自动故障恢复 (14)

1.项目背景

过去十年来，随着互联网和Web技术的兴起，数据中心的战略地位变得越来越重要，因为它不但能提高生产率，改善业务流程，还能加快变革的进程。总之，数据中心已经成为IT 部门保护、优化和发展业务的战略重点。

当前，企业IT 数据中心虚拟化向私有云架构转变是行业发展的趋势，更是未来的标准。利用虚拟化软件将物理服务器虚拟成多个虚拟机，把应用部署不同的虚拟中运行，通过云管理平台提供自服务、自动化的运行环境，为企业提供更高的运行密度和更敏捷解决方案。在传统计算存储分离的体系架构下，虚拟机在计算服务器上被创建，其后端存储通常采用SAN/NAS。这种架构已经不能满足企业IT 数据中心高速发展和变化的需求，主要体现在：?扩展困难

传统存储SAN/NAS通过添加新的存储柜扩容升级（Scale Up)，但是这种方法并不能带来同倍的性能提升。存储访问性能并不能随着虚拟机数据量增加而线性增加，致使存储访问性能最终成为数据中心性能和容量的瓶颈。

?管理复杂

IT 管理员不仅需要同时管理计算、存储和网络系统，还需要对应用于服务进行管理，非常繁琐。同时传统网络存储架构SAN/NAS期初就是为静态负载场景设计，对于动态变化的负载，其管理运维就会变得相对复杂。

?性能问题

虚拟机部署在共享的存储系统，对存储系统的性能要求不同与传统架构，在大规模虚拟机应用的环境中，采用传统的存储设备难以满足虚拟机对磁盘性能的需求。

?可靠性低

虚拟机的高可用功能需要健康的共享存储系统实现，一旦存储设备发生故障将导致整个数据中心的运行中断。多数的企业无法承担双活存储系统的高昂资金投入和管理双活存储系统所需要的专业知识。

未来企业IT 数据中心的问题，本质上多归结为计算与存储系统发展不均衡的问题，Google、Amazon 这样的顶级互联网公司多年前已遇到此类问

题。它们发现任何商业存储产品都无法满足他们高速增长的数据业务需求。

于是这类公司通过软件的方式在商用服务器上搭建了自己的IT 基础架构，这些系统大多采用分布架构：上层应用像访问本地资源一样使用分布式计算存储资源，系统可以很容易的水平扩展，并且不受性能和价格的制约。

EASTED借鉴了Google 这类互联网公司的软件架构的思想，结合当前数据中心虚拟化的趋势，推出超融合架构的软硬件解决方案，在商用X86 服务器上搭建可扩展的私有云数据中心。

2.需求分析

在虚拟化私有云架构的IT数据中心建设中，迫切需要解决的问题主要有以下几点：

?提升扩展能力

应对业务的不断变化发展，在计算资源扩充的同时提供相对应的存储资源扩展能力，灵活的扩展存储资源的空间并保持性能的一致性；

?简化管理

改变计算、存储、网络资源的分散管理方式，简化管理流程，提供集中的管理界面，降低运维管理压力；

?性能保障

提供良好的性能保障，满足不同应用虚拟机对存储资源的性能需求；

?可靠性保障

提供全局的系统冗余，彻底消除单点故障，保障系统运行的连续性与稳定性；

3.解决方案

3.1.方案拓扑

方案拓扑图

本项目建议采用EASTED SDDC超融合一体机+EASTED ECloud云平台的解决方案，搭建模块快数据中心。

超融合架构在数据中心中承担着计算资源池和分布式存储资源池的作用，极大地简化了数据中心的基础架构，而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力；通过EASTED ECloud云平台简单、方便的管理界面，实现对数据中心基础架构层的计算、存储、虚拟化等资源进行统一的监控、管理和运维。超融合基础架构形成的计算资源池和存储资源池直接可以被云计算平台进行调配，服务于EASTED ECloud、OpenStack、Cloud Foundry、Docker、Hadoop 等IAAS、PAAS平台，对上层的业务进行支撑。

3.2.方案描述

3.2.1.超融合简介

传统物理数据中心，多定义为服务器、网络和共享存储系统相互连接的生态系统。那么什么是“超融合”?“超融合”的英文为Hyper-Converged Infrastructure。“超”是与英文Hypervisor中的Hyper相对应，是虚拟化的意思，对应着虚拟化这一计算架构。而“超融合”可以简单理解为：将虚拟计算平台和存储融合到一起，将每台服务器里面自带的硬盘组成存储池，以虚拟化的形式提供数据中心所需要的计算、网络、安全以及存储等IT基础架构，通过虚拟化云计算管理平台，实现对计算、存储和网络资源的统一管理界面。

超融合架构示意图

3.2.2.计算资源

EASTED SDDC超融合一体机由EASTED高密度云服务器组成。具备ER210 2U单节点、2U2ND 2U双节点和2U4ND 2U4节点等多种硬件形态，满足不同计算环境所需。

下图为EASTED 2U4ND高密度云服务器：

EASTED 超融合架构的计算资源池通过EVC(EASTED VServer) 服务器虚拟化技术来实现。在虚拟化Hypervisor层形成计算资源池，为业务系统的虚拟机提供不同的服务质量和能力，包括了高可用(High Availability)、在线迁移(vMotion)、资源动态负载均衡(Distributed Resource Scheduler)等虚拟化的特性。同时，借助ECloud云管理平台可以支持业务虚拟机在不同的Hypervisor 之间进行迁移，也就是V2V的能力，例如从vSphere或XENServer迁移到EVC。

3.2.3.存储资源

EASTED 超融合架构提供的分布式文件系统EVS（EASTED VStroage）可以将一组SDDC集群内的节点组成一个统一的分布式存储平台。EVS对于EVC 虚拟化平台软件而言就是一个集中的共享式存储，与任何其他集中式存储阵列一样工作，且提供更为简单便捷的存储管理，无需像传统集中存储那样再配置LUN、卷、或者Raid组。

EVS架构示意图

EVS分布式存储架构不仅同样提供传统存储的能力外，还提供更多的能力。通过结合EASTED ECloud针对于虚拟化方面提供快照、克隆等机制，数据层实现本地优先访问、存储分层等性能机制，借助两份以上冗余数据提供存储的可靠性，增加或减少节点数据分布会自动平台，当节点宕机或磁盘损坏后具备数据自恢复能力等。

EASTED 2U4ND为例，每个节点提供两种磁盘，标准配置为1块SSD，容量从240GB到800GB；2块SATA的HDD，容量为1TB、2TB、4TB和8TB。

分布式存储系统逻辑架构

EVS被设计成为非常动态的平台，可以适用于不同工作负载的应用，并且允许混合节点类型：例如将计算密集型节点和存储密集型节点混合在一个集群中。对于集群内部磁盘容量大小不同的，确保数据一致的分布非常重要。

EVS有自带的称为磁盘平衡的技术，用来确保数据一致的分布在集群内部各节点上。磁盘平衡功能与各节点的本地磁盘利用率和内置的EVS ILM（数据生命周期管理）一同工作。它的目标是使得所有节点的磁盘利用率大致相等。

另外，SDDC超融合节点通过ILM实现SSD和HDD的数据热分层。简单而言，磁盘的热分层时实现在集群内所有节点的SSD和HDD上，并且由ILM 负责触发数据在热分层之间的迁移。本地节点的SSD在热分层中是最高优先级的，负责所有本地虚拟机IO的读写操作。并且还可以使用集群内所有其他节点的SSD，因为SSD层总是能提供最好的读写性能，并且在混合存储环境中尤为重要。

据以往经验及用户习惯分析，一般运行服务器虚拟化的虚拟机对IO性能要求在100-300 IOPS左右，而单个SDDC节点可提供11,000以上的IOPS，4节点集群可提供将近44,000的IOPS。完全可以满足需求。

3.2.

4.网络拓扑

在每个单节点上，默认提供如下网络端口：

下图为SDDC推荐的网络拓扑图：

图2.6 网络拓扑

在计算虚拟化资源池中的每台超融合节点上会运行多台虚拟机，多台虚拟机之间共享网络，为了方便管理建议采用ECloud虚拟交换机来配置和管理网络，虚拟交换机可在数据中心级别提供集中和聚合的虚拟网络，从而简化并增强虚拟机网络。在虚拟交换机的网络划分上，仍然可以采用VLAN的方式划分不同的子网，实现不同子网段的安全和隔离。

在网络隔离上，也可以采用网络虚拟化VXLAN技术。VXLAN网络协议，即VLAN协议的扩展版本。VXLAN网络可以跨越物理边界，从而跨不连续的数据中心和集群来优化计算资源利用率。VXLAN采用逻辑网络与物理拓扑相互分离，使用IP的技术，所以无需重新配置底层物理网络设备即可扩展VXLAN网络。正因如此，也就无需再花费大量时间来规划如何调配VLAN及管理VLAN数量剧增问题。

在每个EASTED物理节点上有多种网络需求，包括管内部通讯网络、管理网络、生产网络等，因此每个EASTED节点需配置多块网卡，网络设计建议如下：

产品清单

4.解决方案优势

使用EASTED私有云超融合架构，在保证用户数据的高速访问和高可靠性同时，不再需要传统的集中式存储架构，避免在今后运行过程中出现设计初期忽视的性能问题。

按照服务器和存储使用现状，建议使用EASTED SDDC超融合一体机来支撑现有应用。在今后随着业务发展，可以方便的按照节点进行扩容，避免建设初期一次性投资过大，后期却发现性能问题，需要追加投资的问题出现。

EASTED私有云超融合架构可为数据中心虚拟化带来横向扩展架构、高可用性和可靠性等优势。传统服务器和存储阵列扩展成为企业数据中心项目成本高昂、过程复杂并且难于实施的主要因素。从诸多数据中心项目实施来看，在企业环境中，性能、可靠性、可扩展性是关键，因为最终用户体验直接来自于基础设施的高性能和高可靠性。

EASTED将融合基础设施、横向扩展架构和软件定义存储的各种优势结合在一起，可提供极佳的数据中心虚拟化体验，而其成本仅为传统服务器和存储器的一小部分。EASTED SDDC超融合一体机是一种能够横向扩展的计算和存储基础设施，它使各组织机构无需存储网络（SAN或NAS）即可实现数据中心虚拟化。EASTED超融合一体机专门为虚拟化而设计，能够提供全面的计算和存储能力，以及企业级的性能、可扩展性、可用性和数据管理功能。它采用英特尔芯片、固态硬盘等符合行业标准的硬件组件，以及市场领先的高级管理程序，以便提供开箱即用的解决方案，让数据中心虚拟化变得极其简单有效。

4.1.扩展优势

EASTED EVS给虚拟化环境带来的重要差异化因素之一就是存储资源在进行扩展时其性能仍然保持不变。通过EVS实现软件定义存储，当集群内增加计算节点是，计算节点的本地磁盘加入到EVS存储资源池，每一个计算机点都提供存储资源的管理和IO，增加计算节点的同时实现了存储容量与性能的线性扩展。与传统集中存储不同，传统架构下集中存储只有两个存储控制器，在集群扩展时，存储控制器无法进行有效的扩展，从而必然成为整个架构的瓶颈。

4.2.性能优势

EASTED超融合架构解决方案在数据中心虚拟化环境中的主要优势之一就是性能，而性能优势是通过传统的服务器和存储架构实现的。在传统的架构中，时延是因为每次访问存储都需要通过网络而造成的。通过NFS和iSCSI等协议提供

存储本身没有问题，但网络会增加时延。EASTED可提供NFS协议的优势及其易用性，而通过所谓的“无网络NFS”消除了网络时延。EASTED分布式文件系统直接对虚拟机进行检测，然后将特定虚拟机的所有数据存放到本地物理服务器上。因此，虚拟机不是通过网络、而是通过高速内部总线访问其数据。并且所有节点标配SSD磁盘，提供极高的IOPS以满足虚拟化环境各种类型应用需求，无论是虚拟桌面还是服务器虚拟化场景。

4.3.可靠性

EASTED平台使用复制因子（RF - Replication Factor）和校验和（checksum）来保证当节点或者磁盘失效时，数据的冗余度和可用性。当数据写入SSD时，会被“同步”复制到另1个或者2个EASTED CVM的SSD之中（依赖RF设置为2或者3），当这个操作完成之后，此次写操作才被确认（Ack）。这样能确保数据至少存在于2个或者3个独立的节点上，保证数据的冗余度。

所有节点都参与数据的复制操作，这样能消除“热点节点”，并保证线性的性能扩展。当数据被写入时，同时计算该数据块的校验和，并且作为数据块元数据中的一部分进行存储。随后数据块在保证满足RF的前提下，被“异步”推送到HDD中。当发生节点或者磁盘失效，数据块会重新在所有节点间进行复制以满足复制因子的设置。任何时候，读取数据块并同时计算其校验和以确保数据块有效。当数据块检查结果不匹配校验和时，副本数据将会覆盖该无效数据块。

在EASTED分布式文件系统中（EVS），我们使用了一些关键技术来确保：数据在100%时间内都是可用的（即“强一致性”），并且保证EVS扩展到超大规模数据量时依然可靠。

4.4.存储分层优势

EASTED架构充分发挥了存储分层的SSD固态硬盘的优势，由于传统存储都是针对机械硬盘而设计的，而传统的机械硬盘与SSD硬盘的数据访问方式完全不同，机械硬盘需要旋转和寻道，而SSD硬盘则完全没有这些限制，因此不能指望针对机械硬盘设计的存储软件能充分发挥SSD硬盘的性能优势。EASTED架构使用SSD来保存大量经常访问的数据，从虚拟机的元数据到业务数据都保存在分布

式Cache中已提供极高的IO性能，并且保存在持久化的存储中以便于存取。EASTED架构极高的IO吞吐性能是得益于使用SSD磁盘，包括：

?保留SSD用于IO敏感的操作；

?包含空间节省的技术，允许大量的逻辑数据被存储在一个小的物理空间中；

?自动迁移“冷”数据（或者不常访问的数据）到大容量SATA硬盘中，并且允许管理员指定低优先级的虚拟机不使用SSD磁盘。

4.5.易于部署

EASTED开箱即用的部署方式，可以免去传统集中存储环境下存储的规划、连接、配置等复杂的管理操作，无需再配置Raid组、LUN、卷等。新设备安装上架后只需要约20分钟即可完成初始化配置，用户可以马上开始部署应用虚拟机。

EASTED集群的扩展也非常方便，通过鼠标点击即可扫描并自动发现新安装的节点，按照提示完成IP地址配置之后，新节点即完成加入集群操作，新增资源也自动纳入资源池统一调度管理。

4.6.集中管理

通过ECloud云平台实现所有基础架构的管理操作，包括运行监控、物理机管理、虚拟机管理、存储管理、数据保护、告警监控、报表分析等内容。用户不再需要通过不同界面进行各种管理任务，所有任务都在同一个界面中完成，极大减少的管理复杂程度。

并且可以通过ECloud直接创建应用集群和实现对应用和集群的自动优化与动态负载均衡。

ECloud架构示意图

所有物理和虚拟管理对象均提供详细的性能采集数据和直观的图表展示，包括CPU、内存、磁盘容量、IOPS等指标，不再依赖于专用的监控工具和复杂的监控脚本。

图2.10统一监控能力

另外，ECloud还提供多数据中心管理功能，可以将多个数据中心管理界面集中管理，不仅可以节省管理员在多个集群之间切换的繁琐动作，更能够将多个集群的状态数据进行汇总，特别有利于简化大规模IT架构、或者多站点场景下的日常管理任务。

4.7.自动故障恢复

EASTED抛弃了传统的Raid机制来保护硬件失效，采用全新的多副本和校验和技术来保证当节点或者磁盘失效时，数据的冗余度和可用性。当发生单点磁盘甚至是单个节点故障时，EASTED集群将自动发现这一故障，并立刻在后台开始数据重建工作。整个重建过程非常简单，假设复本数是2，系统会自动发现只有1份副本的数据块，并将其在另一个节点上复制第2份副本即可。最重要的是，这个数据重建过程是基于EVS的分布式框架实现的，集群中所有节点都可参与数据重建工作，并且依据负载情况动态调配，因此重建工作不会影响系统性能。

与传统的Raid数据重建不同的是，Raid重建过程会极大影响磁盘的正常操作，导致整个系统性能降级，并且由于磁盘容量越来越大，整个重建过程也将耗费更长时间，甚至超过20小时。

通过分布式存储的多副本技术、虚拟化平台的HA高可用功能和云平台软件的集中监控管理与动态资源调度功能，实现99.9999%的数据可靠性，保障业务连续性，实现高自愈能力，提高稳定性架构。