银行双活数据中心建设方案

银行双活数据中心建设方案
目录
1数据中心现状 (1)
2项目规划 (1)
数据中心改造方案 (1)
2.1业务互联网接入区域高可用设计 (1)
2.2业务互联网接入区域双活设计 (2)
2.3业务区高可用设计 (4)
2.4业务区综合前置区域基于IP的双活设计 (5)
2.5业务区OA区域基于IP的双活设计 (6)
2.6测试区域应用高可用设计 (8)
2.7项目利旧设备调换说明 (8)
3实施计划 (9)
3.1互联网接入区F5LC替换说明 (9)
3.2互联网接入区F5LC替换业务影响 (9)
3.3应用区F5LTM替换说明 (10)
3.4应用区F5LTM替换业务影响 (10)
1数据中心现状
目前有番禺生产机房和柯子岭灾备机房，两个数据中心采用裸纤DWDM互联。

数据中心按其所部署业务属性不同，划分为外网网银区、内网综合前置区、内网OA区以及负责办公用户上网的互联网接入区。

2项目规划
为提升数据中心IT资源利用效率，同时保障业务灾难时的平滑切换，计划将两中心建设为双活数据中心，并对原机房中部署的F5设备进行升级。

数据中心改造方案
2.1业务互联网接入区域高可用设计
•网银区域高可用包括了接入互联网链路的高可用和Web/App应用的高可用。

•在链路高可用上采用F5互联网融合解决方案，通过部署F5 BR-4000S，实现链路负载均衡、多数据中心负载均衡、DNS server、DDOS防护、数据中心防火墙等诸多L4-L7 Services，解决了传统架构中的“糖葫芦串”的复杂部署，简化了网络架构，降低了后期的运维管理成本。

在番禺生产机房部署2台BR-4000s，通过Scale N+M集群保证网银出口的高可靠性；
•互联网出口处F5实现的DDOS防护功能有效保护了外网DNS系统的安全；
•将外网DNS迁移部署到F5设备上，为广州农商银行实现了高性能的智能DNS系统；
•在应用高可用方面，Web层使用LTM4000s，App层使用LTM2000s，实现对应用的负载均衡、SSL Offload、健康检查和会话保持等功能。

业务互联网接入区域改造后拓扑示意图如下所示：
业务互联网接入区域改造后拓扑示意图
2.2业务互联网接入区域双活设计
•互联网区域应用双活主要通过基于域名的解决方案实现。

在番禺生产机房部署2台BR-4000s，在柯子岭灾备机房部署2台BR-4000s。

主中心“主备备”的部署模式在多数银行架构中被采用，能够进一步提高可用性；
•用户解析网银域名时，由GTM决定将用户流量导向最合适的数据中心；
•一旦出现一个数据中心崩溃的情况，GTM将平滑将用户流量牵引到可用的数据中心。

•番禺机房Web层原部署设备为LTM3600，将其替换为LTM 4000s，并在柯子岭灾备机房新增2台LTM 4000s；App层原有2台LTM2000s，在柯子岭灾备机房新增2台LTM2000s。

业务互联网接入区域双活改造后的拓扑示意图如下所示：
业务互联网接入区域双活改造后的拓扑示意图
改造后F5 LTM 3900采用主备双机串联接入模式链路中，两台F5 GTM 3600采用单臂旁挂模式分别接入原有电信和联通ISP链路上。

2.3业务区高可用设计
内网业务区综合前置区域原部署了3台LTM3900负责前置业务的高可用，此项目中将使用更高性能的LTM5050s替换，在番禺生产机房部署3台，采用Scale N+M集群提供更高的可靠性；
替换下的3台LTM3900部署在OA区，其中番禺部署2台，柯子岭部署1台，使用Scale N+M技术将3台组成一个集群。

2.4业务区综合前置区域基于IP的双活设计
F5基于IP的应用双活解决方案有两种：一种是RHI健康路由注入，一种是Scale N+M应用集群方式。

由于广州农商银行的同城双中心为L2连接，因此我们推荐使用Scale N+M集群方案，综合前置区域新增5台LTM5050s，采用主3+备2模式部署，不同的应用在不同的设备上均为Active；
在此方案中，我们将两个数据中心的5台设备做成一个集群，不同的应用在不同的设备上均为Active，下方应用服务器处于同一VLAN，两个数据中心的BIGIP设备均可调用；
当一台设备或一个数据中心出现问题时，系统会无缝的切换到之前设定的下一个健康的设备或数据中心，保证了应用的连续性。

2.5业务区OA区域基于IP的双活设计
F5基于IP的应用双活解决方案有两种：一种是RHI健康路由注入，一种是Scale N+M应用集群方式。

由于广州农商银行的同城双中心为L2连接，因此我们推荐使用Scale N+M方案；
在此方案中，我们将综合前置区域替下的3台LTM3900部署在OA区域，采用主2+备1模式，做成一个集群，不同的应用在不同的设备上均为Active，下方应用服务器处于同一VLAN，两个数据中心的BIGIP设备均可调用；
当一台设备或一个数据中心出现问题时，系统会无缝的切换到之前设定的下一个健康的设备或数据中心，保证了应用的连续性。

2.6测试区域应用高可用设计
测试区域的应用高可用主要用于生产系统上线前的测试，主要使用项目升级中替下的旧设备搭建；
为实现原有资产的利旧使用，建议测试系统采用广州农商银行之前采购的两台
LC1600（网银区互联网接入替下设备）和两台LC1600(办公区互联网接入替下设备)模拟测试环境，搭建与实际生产环境一样的拓扑，所灌装软件版本和生产区域保持一致，以保证测试环境所取得结果与生产环境下一样；
测试区域设备数量：
F5-BIG-LC-1600 * 4 （已有设备利旧）
2.7项目利旧设备调换说明
•原番禺数据中心业务互联网接入Web层使用LTM 4000s替换原有的2台LTM 3600。

替换下的设备调换至管理互联网接入区的App层部署。

•原番禺数据中心业务区使用5台LTM 5050S（主3备2）替换下原有的3台LTM 3900（主2备1）。

替换下的LTM 3900放置在OA区域，其中主2备1；
•原番禺数据中心OA区两台LTM 1600，调换至柯子岭灾备中心的管理互联网接入区的App层部署；
•将原番禺数据中心业务互联网接入和管理互联网接入的4台LC-1600调换至测试区域：
3实施计划
3.1互联网接入区F5 LC替换说明
互联网接入区因原F5 LC设备部署模式为串接，使用BIGIP-4000S-BR替换时，需要把旧设备配置导出，并且离线转换配置格式为上线版本的格式，再导
入BIGIP-4000S-BR上；
配置导入BIGIP-4000S-RB后，离线与现网使用设备进行配置比对。

上线时，需要把原F5 LC上网线拔除，连接BIGIP-4000S-BR网线。

验证业务是否正常，即验证F5上业务发布是否正常；F5 Outbound方向选路和负载是否正常；验证应用服务业务访问和选路是否正常，即验证F5
Inbound方向选路和负载是否正常；
经过验证各项指标满足改造要求则割接成功。

否则回退到割接前的网络结构并进行全业务测试，确保回退成功。

3.2互联网接入区F5 LC替换业务影响
割接过程中需要停止互联网接入区原F5 LC的工作，这会导致所有F5 LC相关的所有业务中断，包括服务器上网及其他相关应用服务业务。

3.3应用区F5 LTM替换说明
应用区因原F5 LTM设备部署模式为旁挂，使用BIGIP-4000S-LTM替换时，可以通过为新设备分配一组新的接口ip与业务ip，让新旧两套设备并存工作；
把现网在用设备配置导入BIGIP-4000S-LTM后，修改网络层接口ip为新分配ip，并且把所有virtualserver设置为disable和关闭arp响应。

把待测试应用virtualserver地址更改为新分配的业务地址。

验证业务是否正常，在此期间生产流量还是发送到原设备上，对生产业务不会造成影响；
经过验证各项指标满足改造要求后，可以删除旧设备上对应virtualserver地址，并且在新设备上把该virtualserver地址更改为生产地址，并且设置为
enable，生产流量切换到新设备上。

3.4应用区F5 LTM替换业务影响
可以通过新增业务ip的方式，让新旧设备并存，逐批业务进行切换，如果在切换期间发生问题，可以快速回滚业务到旧设备上，对业务造成影响较小。