数据中心网络系统设计方案

数据中心高可用网络系统设计

数据中心作为承载企业业务的重要IT基础设施，承担着稳定运行和业务创新的重任。伴随着数据的集中，企业数据中心的建设及运维给信息部门带来了巨大的压力，“数据集中就意味着风险集中、响应集中、复杂度集中……”，数据中心出现故障的情况几乎不可避免。因此，数据中心解决方案需要着重关注如何尽量减小数据中心出现故障后对企业关键业务造成的影响。为了实现这一目标，首先应该要了解企业数据中心出现故障的类型以及该类型故障产生的影响。影响数据中心的故障主要分为如下几类：

硬件故障

软件故障

链路故障

电源/环境故障

资源利用问题

网络设计问题

本文针对网络的高可用设计做详细的阐述。

高可用数据中心网络设计思路

数据中心的故障类型众多，但故障所导致的结果却大同小异。即数据中心中的设备、链路或server 发生故障，无法对外提供正常服务。缓解这些问题最简单的方式就是冗余设计，可以通过对设备、链路、Server提供备份，从而将故障对用户业务的影响降低到最小。

页脚内容1

但是，一味的增加冗余设计是否就可以达到缓解故障影响的目的？有人可能会将网络可用性与冗余性等同起来。事实上，冗余性只是整个可用性架构中的一个方面。一味的强调冗余性有可能会降低可用性，减小冗余所带来的优点，因为冗余性在带来好处的同时也会带来一些如下缺点：

网络复杂度增加

网络支撑负担加重

配置和管理难度增加

因此，数据中心的高可用设计是一个综合的概念。在选用高可靠设备组件、提高网络的冗余性的同时，还需要加强网络构架及协议部署的优化，从而实现真正的高可用。设计一个高可用的数据中心网络，可参考类似OSI七层模型，在各个层面保证高可用，最终实现数据中心基础网络系统的高可用，如图1所示。

图1 数据中心高可用系统设计层次模型

数据中心网络架构高可用设计

页脚内容2

企业在进行数据中心架构规划设计时，一般需要按照模块化、层次化原则进行，避免在后续规模越来越大的情况再进行大规模的整改，造成时间与投资浪费。

模块化设计

模块化设计是指在对一定范围内的不同功能或相同功能不同性能、不同规格的应用进行功能分析的基础上，划分并设计出一系列功能模块，模块之间松耦合，力求在满足业务应用要求的基础上使网络稳定可靠、易于扩展、结构简单、易于维护。

不同企业的应用系统可能有一定的差异。在网络层面，根据应用系统的重要性、流量特征和用户特征的不同，可大致分为以下几个区域，如图2所示。

图2 企业数据中心典型模块划分

页脚内容3

需注意几下几点：

1) 企业园区网核心与数据中心核心分离，各司其职

园区网核心主要承接纵向流量和用户的接入控制（DHCP、认证等）；数据中心核心主要承接服务器间的流量(横向流量居多)。数据中心核心交换机上尽可能少的部署策略和配置，保证其互连互通的高可靠、高性能，同时在扩展新的模块时力求达到核心设备配置的零更改，各模块之间互通的松耦合，避免某功能模块的故障影响其它功能模块，实现风险分散、灵活扩展；

2) 分布式安全部署

与传统的防火墙集中在核心旁挂的方式不一样，在模块化数据中心网络架构中，安全设备应下移到各功能模块的出口（汇聚层）位置，如图2的红色网格线所示。而不是旁挂部署在核心交换区，这样做的目的也是分散风险，实现各模块间的松耦合。数据中心核心交换区就像是连接各城市的高速公路，建设时应充分保证其高可靠和高性能，而不部署红绿灯调度；

3) 内部服务器区细分子区

4) Intranet服务器区是企业应用系统的关键分区，此分区可根据应用业务的关键性、实时性等特征的不同，可考虑再进行子分区的划分，一般而言可分为“关键业务区”、“通用业务区”、“财务应用区”几类，子分区可以是物理的，也可以是逻辑的。如果是逻辑的，可为每个子分区分配一个虚拟防火墙来部署安全策略。在业务系统复杂，服务器数据较多的情况下（＞=200台），建议采用物理子分区，每个子分区采用独立的汇聚交换机和安全设备。

层次化设计

页脚内容4

数据中心层次化设计包括网络架构分层和应用系统分层两个方面。在当前网络及安全设备虚拟化不断完善的情况下，应用系统分层可完全通过设备配置来实现逻辑分层，不影响网络的物理拓扑。对于网络架构层次化设计，选择三层架构还是二层架构是不少企业进行数据中心网络建设时面临的难题。

传统网络中，网络各层的职责大致定义如下：

核心层：主要负责的是数据的交换与路由，不负责处理；

汇聚层：主要负责的是数据的处理，选择和过滤等操作；

接入层：主要负责的是数据的接受与发送，负责端到端的链路建立和释放。

从可靠性的角度来看，三层架构和二层架构均可以实现数据中心网络的高可用。近年来随着云计算的逐渐兴起，二层扁平化网络架构更适合云计算网络模型，可以满足大规模服务器虚拟化集群、虚拟机灵活迁移的部署。如表1所示为二层和三层架构对比，可见，两者之间没有绝对的优劣之分，企业用户可根据自身的业务特点进行选择，也可以先二层，后续针对某些特定的功能分区采用三层组网。

三层架构二层架构

可靠性增加了一层网络设备，

意味着故障点增加

网络故障点相对较少，但同时故障点也相对集中

安全性网关和安全策略皆部

署在汇聚层，方便部署安全策略部署在接入层，相对比较分散，部署工作量大

服务器接入

数量

较多较少

扩展性同一功能分区内服务

器数量扩展多，可灵活实现

同一功能分区内服务器数量扩展受限

页脚内容5

表1 三层组网与二层组网对比

模块化、层次化的架构设计将数据中心网络风险进行了分散，将出现问题后的影响降低到最小，同时模块之间的松耦合可增强数据中心的扩展，简化网络运维，降低在扩展的过程中管理员的人为故障，保证数据中心的可用性。

设备层高可用设计

设备可靠是系统可靠的最基本保证，数据中心核心交换区设备的可靠稳定尤为重要。尽管可以通过架构、策略、配置等的调整和优化等多种手段降低核心设备的故障几率以及影响范围，但若要解决最根本的设备本身的软硬件故障，则必须选用数据中心级的网络设备。

关于数据中心级设备，业界还没有标准的定义，但从目前主流网络设备供应商提供的数据中心解决方案产品可以看出，数据中心级交换机应具备以下特征：

1) 控制平面与转发平面物理分离

页脚内容6

传统的园区网交换机一般采用“Crossbar+共享缓存”的交换架构，引擎板继承担控制平面的工作，同时也承担数据转发平面的工作，跨槽位的流量转发报文需要经背板到引擎板的Crossbar芯片进行转发。这种架构限制了设备的可靠性和性能：

可靠性限制：引擎需要承接数据转发平面的工作，因此在引擎出现主备倒换时必然会出现丢包。此外引擎1＋1冗余，也使得Crossbar交换网只能是1＋1的冗余，冗余能力无法做的更高。

性能限制：受制于业界当前Crossbar芯片的工艺以及引擎PCB板卡布线等制造工艺，将Crossbar交换网与CPU主控单元集中在一块引擎板上的结构，一般单块引擎的交换容量不可能做的太高（一般约1TB左右）。

数据中心级交换机产品将控制平面与转发平面物理分离，一般有独立的引擎板和交换网板，同时采用CLOS多级交换架构，大大提高设备的可靠性及性能。如表2所示为CLOS架构与传统的Crossbar+共享缓存交换架构对比。

图3 Crossbar架构也CLOS架构逻辑实现

Crossbar+共享缓存CLOS多级交换

页脚内容7