互联网数据中心交换网络技术白皮书

互联网数据中心交换网络的设计1 引言互联网数据中心(internet data center，IDC)是指拥有包括高速宽带互联网接入、高性能局域网络、提供安全可靠的机房环境的设备系统、专业化管理和完善的应用级服务的服务平台。

在这个平台上，IDC服务商为企业、ISP、ICP和ASP等客户提供互联网基础平台服务以及各种增值服务。

作为业务承载与分发的基础网络系统，就成为IDC平台的动脉。

随着中国IDC产业不断发展和业务需求多样化，基础网络逐步发展出一套相对比较通用和开放的方案架构。

2 当前主要的IDC基础网络架构虽然各IDC机房各有度身定制的业务需求，网络设计也有各自的关于带宽、规模、安全和投资的考虑因素，但最基本的关注点仍然集中在高可靠、高性能、高安全和可扩展性上。

2.1 通用的IDC架构在整体设计上，层次化和模块化是IDC架构的特征，如图1，这种架构设计带来了整体网络安全和服务部署的灵活性，给上层应用系统的部署也提供了良好的支撑。

图1IDC层次化&模块化设计架构分区结构采用模块化的设计方法，它将数据中心划分为不同的功能区域，用于部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性和高可用性。

数据中心的服务器根据用户的访问特性和核心应用功能，分成不同组，并部署在不同的区域中。

由于整个数据中心的很多服务是统一提供的，例如数据备份和系统管理，因此为保持架构的统一性，避免不必要的资源浪费，功能相似的服务将统一部署在特定的功能区域内，例如与管理相关的服务器将被部署在管理区。

分区结构另一个特点是以IDC的客户群为单位进行划分，将具体客户应用集中在一个物理或逻辑范围内，便于以区域模块为单位，提供管理和其它增值服务。

层次化是将IDC具体功能分布到相应网络层、计算层和存储层，分为数据中心前端网络和后端管理等。

网络本身根据不同的IDC规模，可以有接入层、汇聚层和核心层。

一般情况下，数据中心网络分成标准的核心层、汇聚层和接入层三层结构。

1）核心层：提供多个数据中心汇聚模块互联，并连接园区网核心；要求其具有高交换能力和突发流量适应能力；大型数据中心核心要求多汇聚模块扩展能力，中小型数据中心共用园区核心；当前以10G 接口为主，高性能的将要求4到8个10GE端口捆绑。

2）汇聚层：为服务器群（server farm）提供高带宽出口；要求提供大密度GE/10GE 端口，实现接入层互联；具有较多槽位数提供增值业务模块部署。

3）接入层：支持高密度千兆接入和万兆接入；接入总带宽和上行带宽存在收敛比和线速两种模式；基于机架考虑，1RU 更具灵活部署能力；支持堆叠，更具扩展能力；上行双链路冗余能力。

图2IDC整体架构图2注解：FW---fire wall 防火墙ASE---Application Speed-up Engine 应用加速引擎IPS---Intrusion Prevention System 入侵防御系统AFC---Anomaly Flow Cleaner 异常流量清洗层次化和模块化的方式较好地解决了IDC的灵活扩展要求，在整体设计上的关键节点采用双机冗余和链路冗余的方案，如图2，也可以极大提高系统可靠性。

冗余链路：在骨干网设备连接中,单一链路的连接很容易实现,但一个简单的故障就会造成网络的中断，因此在实际网络组建的过程中,为了保持网络的稳定性,在多台交换机组成的网络环境中,通常都使用一些备份连接,以提高网络的健壮性和稳定性。

备份连接也称为备份链路或者冗余链路.备份链路之间的交换机经常互相连接,形成一个环路,通过环路在一定程度上实现冗余。

此种设计对于IDC的增值服务带来了可操作性。

当前IDC增值业务发展迅速，包括安全防护、流量清洗、内容监控和应用计费等，具体实施部署则可依据主机单元和分区模块单元进行业务提供。

2.2 IDC内部的基础网络设计基本的网络模型是三层组网，通常情况下，以汇聚层为单位，划分IDC的区域和模块，安全防护地部署在每个分区模块内，按需部署。

图3 IDC单分区模块内部网络图3注解 LB---Load Balancer 负载均衡器常用的设计是以网络核心为全路由层，而各分区服务器的二层终结在汇聚层交换机上，汇聚层交换机与核心通过路由三层互联，因此在IDC各个模块内，以多生成树协议MSTP（Multiple Spanning Tree Protocol）+虚拟路由器冗余协议（virtual router redundancy protocol, VRRP）的方案，形成了服务器群的高可靠接入。

除了产品高可用设计外，H3C 作为领先的网络解决方案提供商，对数据中心高可用方案设计上进行了全面的验证，具体可分为服务器接入高可用设计，接入层到汇聚的高可用设计，汇聚层的高可用设计。

2.2.1 服务器接入高可用设计就是所谓的服务器多网卡接入。

为了实现接入高可用，服务器通常采用多链路上行，即服务器采用两块或两块以上的多网卡接入，服务器中的网络驱动程序将两块或者多块网卡捆绑成一个虚拟的网卡，如果一个网卡失效，另一个网卡会接管它的MAC 地址，两块网卡使用同一个IP 地址，而且必须位于同一广播域，即同一子网下。

服务器和接入交换机之间的连接方式有4种方式：网络可用性从右至左依次升高。

因此H3C 推荐采用第一种接入方式，这种连接方式的服务器采用交换机容错模式分别接入到两台机柜式交换机上，并且将VLAN Trunk 到两台设备上，实现服务器的高可靠接入。

2.2.2 接入到汇聚层高可用设计接入到汇聚层共有4种连接方式，分别为倒U 型接法、U 型接法、三角型接法和矩形接法，这里所谓不同类型的接法是以二层链路作为评判依据，比如说矩形接法，从接入到接入，接入到汇聚、汇聚到汇聚均为二层链路连接，因此形成了矩形的二层链路接法。

H3C 推荐三角型接法：因为1）链路冗余，路径冗余，故障收敛时间最短。

2）VLAN 可以跨汇聚层交换机，服务器部署灵活。

在实际部署中，还可以根据实际情况选择如下方案：1）H3C IRF（intelligent resilient framework），H3C IRF 能够实现分布式设备管理、分布式路由和跨设备链路聚合。

部署H3C IRF，除了提高网络的可用性，减少单点故障影响，还可以：①分布式处理二三层协议，极大提高网络高性能。

②多台交换机组成一个逻辑Fabric，配置管理更高效。

③堆叠组内设备软件版本同步升级容易。

④整个堆叠组的设备支持热插拔，灵活管理。

2）接入与汇聚采用MSTP+VRRP：提高可用性，还可以做到链路的负载均衡。

2.2.3 汇聚高可用性设计1）汇聚交换设备之间的VRRP；2）安全、应用优化设备之间的VRRP：可以内置或者旁挂到汇聚交换机上(推荐旁挂，而不是串连到网络中，消除性能瓶颈)。

利用HRP 协议实现在Master 和Backup 防火墙设备之间备份关键配置命令和会话表状态信息的备份。

HRP 协议承载在VGMP 报文上。

通过指定的负载均衡算法，对指向服务器的流量做负载均衡，保证服务器群能够尽最大努力向外提供服务，提升服务器的可用性，提升服务器群的处理性能。

2.3 当前网络架构的不足为了提高IDC基础网络适应性，各方案提供商针对STP/VRRP的快速收敛与可靠计算，不断进行技术优化，对于故障恢复速度不断加快。

但是本方案架构的不足也是明显的：2.3.1 设计复杂性对于大型IDC来说，每个汇聚模块下都将作MSTP的环路设计。

当实例数增多时，链路故障及切换计算分析的复杂性增加，网络设备为解决潜在的安全隐患需要增强的手段也要加强，除了服务器NIC(Network interface card) Teaming的兼容性设计，BFD(Bidirectional Forwarding Detection 双向转发检测) For VRRP、Root Guard、Loop Guard、BPDU(Bridge Protocol Data Unit 桥协议数据单元) Guard、Port fast、Uplink-fast、Backbone-fast、Dispute Mechanism、Bridge Assurance等诸多复杂特性将在网络配置。

额外的功能目标是为增强网络健壮性，但是它们相互耦合，使组网环境复杂化，并消耗各个网络设备自身的计算与通信资源；过多的状态机制、通信量与计算量，又引入了系统的不稳定因素。

由于局部设计已经带来IDC的架构复杂化，在当前IDC虚拟化趋势下，难以将服务器虚拟化后再将整个IDC资源的调配扩展到数据中心。

图4 复杂的接入与汇聚架构2.3.2 带宽利用不足在当前网络架构下，MSTP环路防止能力将使得接入交换机的上行链路只有一半处于工作状态，即双归属的其中一条链路被阻塞了，使链路利用率低下了；当活动链路的流量接近设计门限时，带宽升级成本是两倍关系，即对于双归属的两边需要同质地进行升级。

当前网络技术也部分支持在VRRP的两个网关上进行流量负载分担的架构设计，但是这同样使得设计复杂性，使 IDC故障定位引入了更复杂的网络环境，由于这与服务器群的流量有关系，负载分担的效果基本无法描述。

图5VRRP&MSTP负载分担的架构2.3.3 虚拟化支持有限为提升大量闲置服务器的资源利用率，计算虚拟化技术已经逐步在IDC进行应用。

形成计算池，并能在IDC范围内进行计算调配。

计算虚拟化能够极大提高IDC服务器利用率，大幅降低IDC能耗及TCO(Total cost of ownership 总体拥有成本)。

但MSTP&VRRP的架构对虚拟机的迁移，使之只能限制在一定的模块内，即模块级的虚拟化能力，在IDC虚拟化应用初期，具有一定空间。

但伴随模块内部计算密度的不断增强，业务流量不断增大，现有的架构仍将带来带宽利用率不充分的问题。

图6 服务器虚拟化要求虚拟机在二层连通网络迁移3 下一代IDC的架构设计3.1 关键的驱动力―――虚拟化当前IDC普遍存在的问题是：规模越来越大，服务器数量不断增加，但是单台服务器利用率低下，总体IDC的计算资源利用不充分。

虚拟化技术面向IDC，将计算资源池化，按照IDC应用需要进行资源分配，使得服务器上闲置的计算资源得以充分利用。

图7 计算虚拟化3.1.1 计算虚拟化的直接效果单位计算密度极大提升。

据统计，服务器利用率从虚拟化前平均15％可提升到50％－60％，甚至可以更高。

某些拥有主流虚拟化技术的厂家可达到的物理服务器整合比为8:1~20:1。

物理服务器吞吐量增加。

一台物理服务器被虚拟化成多台虚拟机(Virtual Machine VM)后，各VM对外吞吐量总和将比虚拟化前成数倍提升。

3.1.2 对基础网络的影响虚拟化后，相同网络单元接入的逻辑服务器密度增加，业务流量增加，相当于将一个原来大规模的网络业务，合并到一个较小的网络单元进行承载，网络本身的承载业务被扩展了，网络服务器密度大量增加，吞吐量极大增加，局部网络故障带来的业务影响也扩大了范围和增加了严重性。