应用级双活建设方案

1.逻辑架构

2.方案简述

某客户为了保证业务的连续性，需要部署双活数据中心，传统的数据中心解

决方案，正常情况下只有主数据中心投入运行，备数据中心处于待命状态。发生灾难时，灾备数据中心可以短时间内恢复业务并投入运行，减轻灾难带来的损失。这种模式只能解决业务连续性的需求，但用户无法就近快速接入。灾备中心建设的投资巨大且运维成本高昂，正常情况下灾备中心不对外服务，资源利用率偏低，造成了巨大的浪费。

两个数据中心（同城/异地）的应用都处于活动状态，都有业务对外提供服务且互为备份。但出于技术成熟度、成本等因素考虑，数据库采用主备方式部署，数据库读写操作都在主中心进行，灾备中心进行数据同步。发生灾难时，数据中心间的数据库可以快速切换，避免业务中断。双活数据中心可充分盘活闲置资源，保证业务的连续性，帮助用户接入最优节点，提高用户访问体验。

3.实施方案详述

真正的双活，要在数据中心的从上到下各个层面，都要实现双活。网络、应用、数据库、存储，各层面都要有双活的设计，这样才能真正意义上实现数据中心层面的双活。

从某种程度上说，双活数据中心可以看做是一个云数据中心，因为它具有云计算所需的高可靠性、灵活性、高可用性和极高的业务连续性水平。不仅能够满足应用对性能、可用性的需求，而且还可以灵活动态扩展。

3.1网络子系统

3.1.1简述

从网络上来看，双活数据中心需要将同一个网络扩展到多个数据中心，在数据中心间需要大二层网络连接并且实现服务器和应用的虚拟化数据中心互联技术。

大二层的网络技术有IRF、TRILL、SPB、EVI等。IRF是将多台网络设备（成员设备）虚拟化为一台网络设备（虚拟设备），并将这些设备作为单一设备管理和使用。

IRF把多台设备合并，简化了管理提高了性能，但IRF构建二层网络时，汇聚交换机最多是可达4台，在二层无阻塞的前提下可接入13824台双网卡的千兆服务器，如果客户期望其服务器资源池可以有效扩充到2万台甚至更大，就需要其他技术提供更大的网络容量。

TRILL的全称就是Transparent Interconnection of Lots of Links，顾名思义，其本质就是将很多条链路透明地组织在一起，以致于上层IP应用感觉这只是一条链路。它本质上是一个2.5层的技术，使用最短路径、多路径等三层路由技术来讲多条链路组织成为一个大二层网络，并支持VLAN、自配置、多播等二层功能。TRILL目前最大可以支持10核心组网，其最大能力可以无阻塞的接入27648台双网卡千兆服务器，但TRILL技术目前在芯片实现上存在客观缺陷，核心层不能支持三层终结，也就是说TRILL的核心层不能做网关设备。必须要在核心层上再增加一层设备来做网关，这导致网络结构变得复杂，管理难度增加，网络建设、运维成本都会增加。

SPB的组网方案和TRILL基本相同(同样可支持接入27648台)，其优势在于能够方便的支持VLAN扩展功能，但同样存在网关与SPB核心必须分离的芯片缺陷，导致网络层次增加，管理、运维成本增加。

EVI可以通过汇聚层和核心层之间的IP网络实现二层互通，所以通过EVI扩展多个二层域的时候不需要更改布线或是设备，仅仅需要在汇聚设备上启用EVI 特性即可，这样可以平滑的扩展二层网络的规模。其技术成熟、架构稳定，能够支持大规模二层网络，运维也简单方便。

在数据中心之间建设一张虚拟的大二层网络是实现网络双活的基础。通过大二层网络，可以实现跨数据中心的集群、资源共享和故障探测，它是保证故障发生后到故障切换中间过程不丢包的重要手段。

另外通过负载均衡技术，可以实现流量在不同数据中心间的调度以及在单数据中心内多服务器的负载分担；同时，负载均衡设备也是探测业务故障实现自动切换的关键实现点。

3.1.2设计实现

3.1.2.1外网接入

该部分内容只是根据其他用户的经验提供一些建议，具体设计与实施需要专业的网络系统厂商或集成商提供。

建议两个生产分别租用两条互联网出口线路，一条联通线路，一条电信线路（每数据中心一条链路也可）。在每条线路出口处，分别透明部署一台负载均衡设备，用来实现多广域网线路选路和冗余备份，使用户可以通过最快线路访问某客户的业务系统，加快了数据中心访问速度。同时，当任何一条线路故障，用户依然可以通过另一条广域网线路访问数据中心服务器，提高了数据中心的可靠性。

负载均衡设备会通过多种方式检测两条链路的健康状况，一旦发现其中一条链路故障，会立即将所有用户流量定向至其它可用链路，从而实现网络连接的高可用性。主要的方法有：

为了确保ISP链路的畅通，链路负载均衡设备将采用Ping的方法，不仅仅检查和其相连的路由器的端口是否可达，还可以检查该链路后续路由节点的连通性（10跳），已确保整个路径的畅通。

针对所有的网络环境，链路负载均衡设备提供了丰富的4～7层检查方式，并可以通过多种检查结果的“与”和“或”运算结果，最终准确判断链路的健康状况。

通过负载均衡设备的智能DNS功能，实现两数据中心的灾备功能。当数据中心A的服务器故障或受到攻击而不能提供服务时，负载均衡设备会引导用户（自动或人工）去数据中心B访问业务。

在用户的权威DNS服务器上添加NS记录，使服务器域名的解析权交给主备两个站点的全局负载均衡设备。

当负载均衡设备（无论A或B中心）收到用户DNS请求后，首先会检测服务器状态，确认应用是否健康，能否正常提供服务，广域网线路是否正常等等。如果主站点服务器能提供正常服务，再根据DNS请求包源地址，将域名解析为主站点的联通或电信地址（根据动态探测结果），使用户访问主站点服务器。如果主站点服务器不能提供正常服务，则将域名解析为备站点的地址，使用户访问

备站点服务器。

当两个数据中心的任何一个互联网线路故障或负载均衡设备同时故障，备份中心的负载均衡设备探测到对端数据中心故障，并接管全部DNS解析功能，引导用户访问第二个数据中心互联网入口。

3.1.2.2核心区网络

该部分内容具体设计与实施需要专业的网络系统厂商或集成商提供。

3.1.2.3SAN网络

数据中心A和数据中心B各部署台光纤交换机，光纤交换机之间互为冗余，应用服务器和数据库服务器通过HBA卡与两台冗余的交换机进行连接，交换机再与本地的存储的控制器连接，以数据中心A为例，SAN区域网络具体连接如下图：

3.2应用子系统

3.2.1简述

数据中心双活在应用处理层面上实现了完全冗余，通过负载均衡自动路由到

不同数据中心的应用服务器，所有的业务系统同时在同城的两个数据中心运行，同时为办公人员提供服务。当某个数据中心的应用系统出现问题时，有另一个数据中心的应用来持续的提供服务。好处是服务能力是双倍的，业务连续性和稳定性得到了大大的提高且对用户来说服务体验更好，故障无需感知。

3.2.2设计实现

在数据中心内部：为了满足高性能和高可靠性的服务需求，将多台服务器通过网络设备相连组成一个服务器集群，每台服务器都提供相同或相似的网络服务。服务器集群前端部署一台radware设备，负责根据已配置的均衡策略将用户请求在服务器集群中分发，为用户提供服务，并对服务器可用性进行维护。

负载均衡设备对数据流量优化时，采用旁挂方式部署，在此模式下只有客户端的请求报文通过负载均衡设备，服务器的响应报文不经过负载均衡设备，从而减轻负载，有效的避免了其成为网络瓶颈。客户端请求报文的目的地址为虚服务地址(VSIP)，此地址由负载均衡设备对外呈现。负载均衡设备分发服务请求时，不改变目的IP地址，而将报文的目的MAC替换为实服务的MAC后直接把报文转发给实服务。

数据中心间：原数据中心应用服务器可按照上文所述的方式做集群实现负载均衡又或者保持原样，在新建的数据中心B采用传统的X86机架式服务器搭建与数据中心A完全一致的应用服务器系统，建设时要考虑原有性能与新建应用系统差距不能太大。

3.3数据库子系统

3.3.1简述

数据库双活则是指两个数据库系统可以在相隔比较远的情况下同时运行、支持相同的应用负载，并且在一方出现故障时能够迅速切换到另一方（分钟级），保证业务高可用性。比如ORACLE扩展的RAC和DB2的purescale技术。但数据库的双活前提必须是网络和存储双活。以ORACLE扩展的11G RAC为例，其ASM 卷则需要在两边存储做镜像绑定，以保证读写一致。

在双活数据中心模式下，Oracle RAC数据库可以实现跨站点部署。两个Oracle RAC节点分别部署在两个数据中心（Oracle RAC 1部署在数据中心A，Oracle RAC 2部署在数据中心B），即使数据中心A发生故障，也不会影响到运行在数据中心B里的Oracle RAC 2应用。同时建议oracleRAC结合VMware HA技术，结合VMware HA可以保证数据中心B自动重启原来运行在数据中心A的Oracle RAC 1应用。相比运行在物理架构上RAC，则运行在VMware虚拟化平台之上的Oracle RAC不仅可以实现更高级别的业务连续性，而且可以在线进行维护和扩容。借助VMware vMotion技术，还可以在线迁移Oracle RAC节点，从而避免了硬件维护时的应用部分中断。此外，通过VMware Hot-Add技术，我们还可以在线增加RAC 节点虚拟机的CPU数量以及内存容量，从而避免了硬件扩容时的应用中断。

3.3.2设计实现

原理图

各数据中心，数据库服务器单独建设一个局域网，并通过高带宽光纤将数据中心A与数据中心B连接，并部署成OracleRAC，同时在数据中心A中或者其它区域位置部署一台仲裁服务器。