某某集团云计算数据中心和双活灾备X-IO解决方案 2014-5

某某集团

云计算数据中心解决方案

xxxx电子科技有限公司

2014年4月25日

目录

1. 方案背景及用户需求 (3)

1.1. 方案背景 (3)

1.2. 需求分析 (3)

2. 双活数据中心解决方案的优势 (4)

3. X-IO双活数据中心解决方案 (5)

3.1. 拓扑结构图 (5)

3.2. 双活数据中心配置 (5)

3.2.1. 方案配置 (5)

3.2.2. 智能DNS多站点选择器：跨数据中心基于域名的多活 (7)

3.2.3. VMware虚拟化平台：数据中心虚拟化互联 (5)

3.2.4. 虚拟化服务器 (6)

3.2.5. 光纤通道交换机：SAN扩展存储 (6)

3.2.6. X-IO ISE高性能存储阵列 (6)

3.2.7. AAM双活软件 (6)

3.3. 相关技术参考 (7)

3.3.1. 双活数据中心路径优化（Internet） (7)

3.3.2. 双活数据中心应用网络 (8)

3.3.3. 双活数据中心数据同步 (8)

4. X-IO 存储介绍 (9)

4.1. 背景 (9)

4.2. 目标 (10)

4.3. 架构 (11)

4.3.1. X-IO 网格云存储体系架构 (11)

4.3.2. 系统部署架构 (11)

4.4. 功能 (11)

4.4.1. ISE Manager (11)

4.4.2. 网格Matrix RAID (12)

4.4.3. RAGS (12)

4.4.4. CADP (12)

4.4.5. AAM (12)

4.5. 特点 (14)

5. 配置列表 (15)

1.方案背景及用户需求

1.1.方案背景

随着企业的商业活动越来越依赖于网络，因此越来越多的企业在寻找一种强大的数据中心架构，这种高可用的结构能够减少甚至消除正常和非正常的停机对业务可用性造成的影响。这意味着无论是否有中断，关键任务应用系统都能够不间断地创造产值并提高公司的业务持续性底线。

而在面对大数据时代的来临，和云时代的来临，数据中心里不同的环节都需要考虑如何融入大数据和云时代的需求，所以在系统架构上就有云化的必要性。

因此建立多个数据中心来实现业务的容灾成为必然的选择。而企业建立多个数据中心来承载业务系统的主要目的是为了实现应用的高可用性，因此根据数据中心之间的关系，通常将数据中心分为以下两个类型：

●主数据中心/灾备数据中心

●双运营双活数据中心

1.2.需求分析

企业建立多个数据中心来承载业务系统的主要目的是为了实现应用的高可用性，因此根据数据中心之间的关系，通常将数据中心分为以下两个类型：

●主数据中心/灾备数据中心，

●双运营双活数据中心

主数据中心/灾备数据中心：

企业拥有两个(或多个)数据中心，一个主数据中心用于承载业务的运行，另一个备份数据中心用于备份主数据中心的数据和应用（冷备或热备）。一旦发生灾难，主数据中心宕机，可以在备份数据中心恢复数据和应用，从而减轻因灾难给用户带来的损失。灾难是小概率事件，而采用一主一备这种方式，备份数据中心只在灾难发生时才能起到作用，这对于某些企业来说是IT资源和资金的浪费。还因为备份数据中心的应用程序是处于未启动状态，需要手动切换数据源并启动应用程序，这会进一步加剧业务的不可持续风险。

通常来说，如果是采用这种主和备方式的部署，往往需要定期做演练，通常每半年做一回。演练时为了确保备用设备真的可以作为投产，而且也可以通过演练预估一旦真的需要主备之间切换时所需要的时间和技术手段和可能发生的风险。但是，演练不可以每天做，6个月前演练成功也不代表6个月后会成功。距离上回成功演练约久也代表备用真的有灾难发生时备用设备切换不成功的风险会越高。

双运营双活数据中心

企业所有的业务系统均可在两个数据中心运行，根据地理位置需要，企业一部分应用在第一个数据中心运行，另一部分应用在第二个数据中心运行，同时两个数据中心实现应用的互备，当某个应用系统出现问题时，由另一个数据中心的应用来持续的提供服务。

2.双运营/双活数据中心解决方案的优势

双运营/双活数据中心是指两个数据中心同时承载业务，不分主备，而是互为备份，在一个数据中心站点出现故障时，另一个站点可以无缝即时接管业务，保证业务不中断。相较于传统的建设一主一备数据中心的方式，双活数据中心减少了IT资源和资金的浪费，可以更好地保证数据和应用的实时性以及业务连续性，实现了最高级别的可用性，也搭减低一旦发生灾难时备用设备没法切换工作的风险。

其最大特点如下：

一、显著提高主备站点资源利用率，降低TCO总体拥有成本。

充分利用资源，避免了一个数据中心常年处于闲置状态而造成浪费。通过资源整合，双活数据中心的服务能力是双倍的。

二、应用程序连续可用性，实现业务零中断

双活数据中心的最大优势在于可以提高业务的连续性。以服务器虚拟化及存储虚拟化为技术核心，实现了双活数据中心异地容灾，当一个数据中心出现宕机时，另一个数据中心可以即时接管业务，避免应用宕机。双活数据中心架构下，如果其中一个数据中心停机，另外一个数据中心还在运行，对用户来说是不可感知的。

三、在数据中心内和数据中心之间迁移和部署应用程序及数据。

基于VMware vSphere的集群环境。应用系统可以在数据中心本地以及数据中心之间，根据业务的需求在不同地理位置的数据中心进行迁移，从而增强了业务部署的灵活性。

3. X-IO 双运营/双活数据中心解决方案

3.1. 拓扑结构图

本次某某集团的网络拓扑结构图如下： 虚拟化服务器虚拟化管理平台OA 办公系统ERP 系统MIS 系统邮件系统虚拟机在线迁移Access Anywhere 3.2. 数据中心配置

3.2.1. 方案配置

●

VMware 虚拟化平台 ●

虚拟化服务器 ●

光纤通道交换机 ●

X-IOISE 高性能存储阵列 ● AAM 双活软件

3.2.2. VMware 虚拟化平台：数据中心虚拟化互联

企业可以构建一个大规模的虚拟化数据中心网络。由于供电制冷的限制，容灾备份等要求，我们可以设计构建物理上分离但逻辑上一体的跨数据中心的网络，基于这个网络来建立分布式虚拟化的数据中心。通过这个网络，计算能力可以在不同的数据中心之间自由流动。我们只有把一个数据中心的网络通过技术延伸到远端的数据中心，才能实现这样的业务需求。

通过光纤网络实现多个数据中心的网络的整合和虚拟化，实现计算资源在不同数据中心间的自由流动，也为双活数据中心的实现提供了网络保证。

3.2.3.虚拟化服务器

方案中使用2台新购IBM 3850 X5物理服务器，（每台服务器2颗10核Intel Xeon E7-4850(2.0GHz, 24MB)处理器，256GB内存，2块8Gb双口HBA卡，）及升级一台现有IBM 3850，安装ESXi虚拟化软件，并承载主数据中心的全部虚拟机。

灾备数据中心则使用两台现有IBM服务器及两台光纤交换机与灾备中心的X-IO组成虚拟化平台，承载灾备数据中心的全部虚拟机。

3.2.

4.光纤通道交换机：SAN扩展存储

建立同城灾备中心的最大的优势是可以利用在同城范围，即50公里以内可以使用裸光纤来实现两个数据中心之间的互连。为了充分利用带宽，还可以采用CWDM或DWDM波分复用方案来提高站点之间的带宽和可用性。有了高带宽在两个数据中心之间的SAN相连接，使数据的同步复制成为了可能，可以实施高速数据复制和恢复的业务连续性策略。

3.2.5.X-IOISE高性能存储阵列

后端数据存储设备采用企业级高性能的磁盘阵列X-IOISE-228两台，主存储设备使用X-IOISE-228为虚拟化平台提供存储支撑，另一台X-IOISE-228放置于灾备

数据中心与主存储通过光纤连接组成统一LUN，实现数据同步读写。

为了提高虚拟化平台的运行效率，两台X-IOISE-228存储均配置使用RAGS功能，以最大限度的提高存储IOPS同时保证在磁盘空间98%时保持IOPS不变。

详见第4章节

3.2.6.AAM双活软件

见第4章，第4.4.5小节

3.3.相关技术参考

3.3.1.智能DNS多站点选择器：跨数据中心基于域名的多活

对于基于域名进行访问的应用，例如典型的B/S架构的服务。可以通过智能DNS多站点选择器实现设立在多个地点或独立拓扑中的数据中心之间的负载均衡。其目标是将客户端引导至最适合或最好的数据中心。

传统的基于BIND的DNS系统存在一些缺点：

●BIND 无法决定其提供地址的设备的“可用性”

●BIND 只有一种简单的均衡方法循环（Round Robin）

为了帮助确保数据中心可用性，需要配置专业的智能DNS多站点选择设备，实现数据中心间的全局负载均衡和智能故障切换，以帮助确保业务连续性、全面的域名系统（DNS）和动态主机配置协议（DHCP）支持，并抵御基于DNS 的分布式拒绝服务攻击。

智能DNS多站点选择器主要功能和机制：

●智能DNS多站点选择器具有丰富和智能的就近性探测策略：

智能DNS多站点选择器使用就近策略Source-list方式，可以实现全局负载均衡，为客户端提供就近性访问能力。

智能DNS多站点选择器使用DRP协议与相应路由器探针交互实现为客户提供就近的DNS解析

●智能DNS多站点选择器keepalive机制kal-ap检测VIP的负载和在线信息（Load and VIP online status）

●智能DNS多站点选择器实现多中心的自动切换和负载均衡策略，多台智能DNS多站点选择器实现统一的管理集群：

智能DNS多站点选择器利用其功能来根据网络中特定设备的运行状况来做出智能的DNS决策。由于能够实现网络设备运行状况监控，并根据从网络中这些设备中收集的信息来决定提供哪些资源记录，智能DNS多站点选择器为现有的DNS基础设施增加了很多智能特性。智能DNS多站点选择器并不是现有DNS域名服务器的一种替代产品，相反，智能DNS 多站点选择器与DNS控制方法一同提供高可用性，可提高现有域名服务器的价值。

基于域名的应用容灾技术与基于IP地址的应用容灾技术相结合，可以实现完整的跨数据中心应用容灾解决方案,本部分为可选方案。

3.3.2.双活数据中心路径优化（Internet）

路径优化技术（Internet）：如何引导用户去最适合的数据中心访问应用。

DNS重定向（GSLB），通过智能DNS技术，在多个数据中心之间实现负载分担，要求应用采用域名方式进行访问，可以实现数据中心双活

健康路由注入（RHI），这是一种路由机制，它允许两个数据中心使用同一个IP地址。这意味着同一个IP地址（主机路径）被发布为不同的metric。上游路由器可以同时看到两条路径，并将metric更好的路径插入到其路由表中。适用于通过IP访问的应用，实现应用的灾备。

3.3.3.双活数据中心应用网络

应用网络技术：将同一个网络扩展到多个数据中心，并且实现服务器和应用的虚拟化服务器负载均衡技术：对访问数据中心内服务器的负载进行均衡或者说分担。在多数据中心的建设中，需具备与广域负载分配系统的联动能力，以及支持与服务器虚拟化的整合：即如何感知应用服务器的位置、CPU、内存利用率，可以与虚拟化技术结合，实现应用在多个数据中心之间的漂移。

虚拟化技术：有利于整合数据中心服务器（虚拟机），以提高计算资源利用率以及改善负载流动性，对业务连续性有重要意义。

3.3.

4.双活数据中心数据同步

存储同步：提供应用对于本地存储的有效访问，并解决数据中心之间进行远程数据同步写入的问题。

同步数据写入技术：

●在两个数据中心，提供同时对两个镜像副本的读写访问

●距离受到严格限制

●基于阵列镜像

●Active-ActiveMirroring提供主动-主动复制

4.X-IO存储介绍

4.1.背景

传统存储系统已经采用了三十多年，通过把很多块的硬盘安装在一起，并通过中央的处理器管理使用，结构上这么多年来都没有很大的改变。我们一般称这种存储系统结构为帧结构。传统存储系统不是为了现今一代的你们而设计的，所以没有很好的考虑存储的IOPS要求。同样，传统存储系统不是为了实时的应用而设计，所以没有很好的办法提供很高的IO。实时应用的时代，需要新一代的技术去支撑。

过去几年，新一代的存储体SSD固态盘也为存储行业带来了很大的希望。SSD可以提供非常高的读IOPS，可以满足实时应用快速读数据的需求。但是，SSD有几个很不好的缺点，第一，SSD的成本非常高；第二，SSD写数据的寿命很有限，一般企业级SSD大概只可以写3万次到5万次左右就报废，而且SSD死掉的时候，所有在该片SSD上的数据都会完全消失；

第三，为了数据安全的考虑，一般会考虑SSD的HA，来避免单点故障的风险。

X-IO高速实时云存储，就是为了新的实时应用年代而设计的，同时可以提供像SSD的IOPS速度，却像硬盘存储方案的低成本，并提供比传统存储高一百倍的可用可靠性。

4.2.目标

X-IO实时云存储解决方案，能够帮助用户实现下列目标：

●从IOPS提升来看

X-IO通过独有的RAGS专利技术，可以把一块一万转的SAS硬盘的IOPS从120提升到400左右，所以，在一个3U的模块里，利用40块10000转SAS盘就可以提供大概16000左右的IOPS性能。

如果再加上SSD和X-IO独有的CADP实时数据优化逻辑（或称第二代分层技术，或称智慧分层技术），把在硬盘上的读频繁的热点数据每5秒迁移到SSD来提供给应用读取，而且重点是懂得把读和写热点数据分开处理，可以大大提高IOPS性能。在一个3U的模块里，利用这方法，可以利用30块10000转SAS盘就可以提供大概60000左右的IOPS性能。

●从高可用性角度来看

在每一台X-IO的ISE存储模块里，所有的重要元件都是采用双活HA设计，包括控制器，电源组件，后备超级电容组件等。通过这样的设计，可以提供非常高的系统可用性。

●从高可靠性角度来看

X-IO通过独有的的硬盘防过热和防震处理专利技术，可以把硬盘的故障率从传统存储系统的行业平均5%下降到不到0.1%。并通过Seagate授权的硬盘检测，自我维修功能和数据自动迁移技术，达到安装使用7年里完全不需要像传统存储系统需要换硬盘，而造成额外的运维成本，影响服务的成本和更换硬盘窃密的风险成本。

同时，X-IO采用了最新的网格RAID技术（Matrix RAID）,可以容许同时做多块硬盘的数据重建，排除了传统RAID 5或RAID 6技术只能够同时处理1块或2块硬盘的数据重建的单点故障情况，和系统性能在数据重建时出现下降的情况。

●从存储容量和扩展性角度来看

X-IO是采用新一代的网格存储模块化结构，每一台3U ISE存储模块都可以单独作为一台存储系统，也可以把多台ISE横向堆叠扩容，并合并成一台包含有多个3U ISE存储模块的一台大容量存储系统。X-IO并没有限制多小块模块作为一台单一存储系统的数量，所以你可以利用很多个X-IO ISE模块构建一台PB级以上的大容量存储系统。

X-IO支持在线扩容，并由于是云结构，所以你在扩容时候完全不需要像传统存储需要考虑中央控制器的处理能力的问题。

●从节能角度来看

X-IO从第一天产品开发开始，就把节能作为一个重要的目标。每一个满插40块盘的3U ISE模块的功耗平均只需要600W左右，而空调要求大概是每小时2050BTU左右，比传统存储可以节省30%到80%的电力成本。

●从节省空间角度来看

每一个3U 的ISE模块，可以满插40块硬盘或30块硬盘和10块SSD盘，并提供最高

38.4TB的可用容量，比传统存储可以节省30%到80%的空间成本。

●从带宽角度来看

每一个3U 的ISE模块，提供8个8G光口，并支持DAS或是通过SAN交换机来连接。X-IO支持多个ISE模块的带宽汇聚，在2012年6月份美国微软的Tech Ed大会上就曾经演示

过利用10台ISE，连接到40G 交换机来汇聚，并提供超过15Gbps的连续带宽。

从TCO角度来看

X-IO在5个方面可以为客户降低TCO，包括：

1，节省30%-80%的电力成本

2，节省30%-80%的空间成本

3，所有X-IO的设备都提供5年硬件免费保修，可以节省传统存储第4,5年的保修成本4，节省更换硬盘的人力成本，服务中断成本和数据窃密风险成本

5，行业最低的每IOPS成本

4.3.架构

4.3.1.X-IO 网格云存储体系架构

X-IO把传统存储的SAN控制器省掉，并直接和服务器Hypervisor层直接沟通，如下图所示：

4.3.2.系统部署架构

X-IO支持直连DAS结构，和SAN交换机连接结构。

4.4.功能

4.4.1.ISE Manager

ISE Manager是一个Windows 或Linux上运行的管理客户端，可以利用单一个ISE

Manager管理界面同时管理多台ISE存储模块。

4.4.2.网格Matrix RAID

X-IO采用了最新的网格RAID技术（Matrix RAID）,可以容许同时做多块硬盘的数据重建，排除了传统RAID 5或RAID 6技术只能够同时处理1块或2块硬盘的数据重建的单点故障情况。

4.4.3.RAGS

RAGS是X-IO独有的技术，通过把全新的数据读写逻辑固件，灌进10000转的Seagate 硬盘里，可以把IOPS从120提升到400左右，并保证从刚开始用的时候，到98%使用率时候的IOPS一直维持在最高的400左右。RAGS是内含功能，不需要额外付费。

4.4.4.CADP（第二代分层技术，或称智慧分层技术）

X-IO独有的CADP实时数据优化逻辑，把在硬盘上的读频繁的热点数据每5秒迁移到SSD 来提供给应用读取，并可以大大提高IOPS性能。同时，如果在硬盘上的热点时写频繁的数据，却会保留在硬盘上，这样可以避免过度消耗SSD写数据寿命。在一个3U的模块里，利用这方法，可以利用30块10000转SAS盘和10块SSD盘，就可以提供大概60000左右的IOPS性能。CADP是内含功能，不需要额外付费。

4.4.

5.AAM

AAM (Active Active Mirroring)双活零停机灾备功能，是存储行业最成功的双活灾备方案之一，突破了传统存储的主备方案需要手工切换和备机不能上线的问题。AAM只需使用系统的多重路径驱动程序即可管理负载均衡和故障转移-故障恢复，即可以把2台ISE里的指定LUN设定为同一个LUN，并表达给服务器。两台ISE之间会自动做数据校验同步，而服务器也可以从比较响应快的一台ISE读数据。如果其中一台ISE出现故障，服务器在不需要停机和手工切换的情况下，继续工作，应用不会停顿，如果重新建立了ISE访问，则AAM会重新同步镜像并使路径恢复联机。(此为付费功能)

Active-Active Mirroring：使用Active-Active Mirroring 和VMware vSphere 5 群集来创建无单点故障共享存储配置。

4.5.特点

?高IOPS存储

X-IO的一台3U高的ISE存储模块，可以提供从8000到60000 IOPS，是存储行业里利用硬盘可以达到最高IOPS密度的方案。XIO的独有RAGS技术可以保证所有硬盘可以使用到从0%到100%满时的速度不变。EMC和HP的硬盘速度会从50%满时开始下降，到70%满时速度会下降超过50%。

?高可用，高可靠，5年硬件免费保修

每一台ISE存储模块里，标配双电源，双控制器，双后备超级电容，提供非常高的可用性。

每一台ISE存储模块里的硬盘，都可以维持低于0.1%的AFR (年故障率)。并且，并通过Seagate授权的硬盘检测，自我维修功能和数据自动迁移技术，达到安装使用7年里完全不需要像传统存储系统需要换硬盘，而造成额外的运维成本，影响服务的成本和更换硬盘窃密的风险成本。

X-IO提供全球5年免费硬件保修。其他厂家则提供三年质保，第四年及第五年续保费用为所购产品列表价的20%。

?低耗电，高密度，超低TCO

节省30%-80%的电力成本

节省30%-80%的空间成本

所有X-IO的设备都提供5年硬件免费保修，可以节省传统存储第4,5年的保修成本节省更换硬盘的人力成本，服务中断成本和数据窃密风险成本

行业最低的每IOPS成本

?100% 和VMWare, Citrix, Hyper V等兼容

?扩容性

XIO采用的是完全横向扩容架构，扩容将带来成倍的性能峰值提升。EMC只有最高端的Isilon产品系列和HP最高端的3PAR产品系列是采用此种架构。

5.配置列表