大学数据中心建设项目技术建议书

1 数据中心总体架构 (3)

2 优势技术简介 (5)

2.1 IRF2虚拟化技术 (5)

2.2 EVB技术 (8)

2.3 FCoE技术 (13)

3 业务系统部署 (17)

3.1 一般性业务系统部署建议 (17)

3.2 核心业务系统部署建议 (17)

3.3 数据库系统部署建议 (18)

3.4 及业务系统部署建议 (18)

3.5 高并发业务系统部署建议 (19)

4 项目管理计划 (20)

4.1 项目组结构图 (20)

4.2 项目组职责 (20)

4.3 项目团队成员 (22)

4.3.1 领导小组 (22)

4.3.2 项目管理团队 (22)

4.3.3 项目实施人员 (23)

4.4 项目进度计划 (23)

4.4.1 项目里程碑 (23)

4.4.2 项目进度管理 (23)

4.5 项目实施流程 (24)

4.5.1 流程图 (24)

4.5.2 项目启动 (24)

4.5.3 工程准备 (25)

4.5.4 生产备货 (25)

4.5.5 环境准备 (25)

4.5.6 工程实施 (26)

4.5.7 到货验收 (26)

4.5.8 安装调试 (27)

4.5.9 初验 (27)

4.5.10 试运行 (28)

4.5.11 终验 (28)

1 数据中心总体架构

如上图所示，为项目全景图。本次某大学数据中心项目。数据中心一期将建成学校新的云计算数据中心。包括存储资源，计算资源及网络资源。

网络资源，数据中心采用两台H3C S12500-X核心交换机，通过IRF2虚拟化技术将两台核心交换机虚拟为一台，每台配置一块48端口万兆/千兆以太网光接口单板，其中12个端口通过光模块切换为千兆以太网光接口，配置冗余主控模块，6块交换网板，实现5+1冗余的同时，提供所有槽位万兆端口线速转发，其中一台核心交换机配置一块48端口千兆以太网电接口单板。配置两台H3C S5800V2数据中心接入交换机，通过IRF2虚拟化技术将两台核心交换机虚拟为一台，包括48端口千兆/万兆以太网光接口，4个40G QSFP以太网光接口，用于连接刀片服务器及存储。数据中心接入交换机的端口具备有多重协议属性，端口可以支持IP协议，FC协议，FCoE协议。

计算资源包括4台UIS8000刀片服务器，共配置48台两路刀片服务器和8

台4路刀片服务器。每个UIS8000刀片服务器机箱配置有两块冗余的网络模块，可以为每一个刀片服务器提供10G的上行链路带宽。每台UIS8000刀片服务器通过万兆以太网光接口上联到接入交换机。通过FCoE技术进行存储业务的交换，通过以太网技术进行数据业务的交换。通过融合数据中心的组网方案，网络接入模块连接接入交换机承担数据业务的转发和存储业务的转发。

网络连接方式方面，接入交换机通过跨设备的链路聚合上联到核心交换机，在任何一个核心交换机出现问题或者是接口单板出现问题时，业务不会受到任何的影响。同样，刀片服务器也通过跨设备的链路聚合方式连接到接入交换机，当任何一台接入交换机出现问题的时候，业务也不会受到影响。

H3C S5800V2数据中心接入交换机支持EVB协议，可以将虚拟机的流量引导至物理交换机，每一个虚拟机通过EVB协议都会在物理交换机上拥有一个虚拟通道，基于该虚拟通道可以为每一个虚拟机部署各自的网络策略，同时能够观察到虚拟机的独立流量。通过EVB技术，可以大大提高对虚拟机的精细化管理程度。

2 优势技术简介

2.1 IRF2虚拟化技术

传统数据中心实践通用的是环路接入拓扑模式，以多生成树协议MSTP配合VRRP提供服务器接入的可靠性，同时，服务器又以多网卡连接网络进一步提供冗余能力。但从网络拓扑的设计、环路规避、冗余备份等角度考虑，其设计过程还是极其复杂的，如VLAN的规划、生成树实例的拓扑阻塞、网关冗余选择，包括相应技术参数的选择、配置，故障切换的预期判断等，都需要一套十分详细的流程。而后期在网络运行维护过程中面临的压力和复杂度也是显而易见的。

引入虚拟化设计方式之后，在不改变传统设计的网络物理拓扑、保证现有布线方式的前提下，以IRF技术实现网络各层的横向整合，即将交换网络每一层的多台物理设备使用IRF技术形成一个统一的交换架构，减少了逻辑上的设备数量。

虚拟化整合后的IRF系统，对外表现为单台物理设备，因此，在保持网络基本互联条件下(上图左边组网图所示)，可将一对IRF系统之间的多条线缆进行链路捆绑聚合动作(上图中间组网图所示)，从而将不同网络层之间的网状互联简化成单条逻辑链路(上图右边组网图所示)。

在虚拟化整合过程中，被整合设备的互联电缆成为IRF的部互联电缆，对IRF 系统外部来说不可见。两台设备之间原有的捆绑互联端口，其归属的VLAN三层接口网段均能由其它设备可达(如ping通)。而归属到IRF系统部后，不对互联电缆接口进行IP配置，因此将与IRF外部网络隔离。

IRF组网条件下，对整个网络的配置管理发生了很大变化：原来的多台物理设备现在成为一台逻辑设备，也只有一个管理IP，其中所有的IRF成员可以统一配置管理，不需要登录到不同设备各自管理运维。

使用IRF进行网络简化时，对网络汇聚层或服务器网关层的虚拟化整合是必要的，因为这是消除生成树和VRRP的关键网络层。对于接入层设备（以Top of Rack接入为例）来说，一般使用两台交换机对同类业务系统服务器进行接入，以满足服务器的双网卡上行要求。上行到IRF系统的服务器所有网卡如同接入一台交换机，适用于各种工作模式，特别是服务器的双网卡捆绑方式（上图右图所示）。除了支持网卡主备模式（上图左图和中图），IRF本身可支持跨设备的链路聚合，因此服务器多网卡上行到一个IRF系统的不同交换机均可实现LACP捆绑，实现网卡吞吐带宽增强和可靠性提升。

在数据中心IRF架构实施中，VLAN和IP的设计变得十分简单。在网络各层互联上，使用链路捆绑方式在多条物理链路上虚拟出了一个聚合层，也就是捆绑后的逻辑链路。因为聚合/捆绑后的交换机端口群（可能分布在IRF的不同成员上)被视为单个逻辑端口使用，聚合组替代了原来的物理端口成为VLAN设计的考虑因素。采用IRF设计后消除了网络环路，在不考虑生成树协议条件下，VLAN 的设计在满足业务连通性上已经十分简单。核心层与汇聚层之间的连接简化为只通过一个VLAN进行三层互联了，将本来Full Mesh全连接的网状网变成了简单的单逻辑链路连接。这时，原来互联所需的IP地址也大大减少了。

上图左边的网络结构中，三层互联链路成网状，所需网段很多，一般一条物理链路对应一个互联网段。在运行动态路由、使能生成树条件下，任意物理链路的Up/Down故障都会引起网络路由的振荡、VRRP状态变化或生成树的重新计算，甚至可能引起应用系统业务流的中断（在协议计算收敛条件下的业务恢复时间可达到数秒甚至分钟级)。

而上图右边的网络采用IRF，网络节点之间以多链路捆绑组模式互联（普通方式下为1～4条物理链路)。即使捆绑组中任意一条物理链路发生故障，由于整个捆绑组在逻辑上仍然有效，接口状态正常，整个网络拓扑没有发生变化，因此不会引发上层路由协议重计算，极大保持了网络运行的稳定性。同时所需的互联IP大量减少，也减少了网络可管理的IP对象，消除了潜在的安全隐患。在此结构中，动态路由设计面对的网络区域，也因架构横向整合而变成了简单的链状，参与路由计算的节点大量减少，设计上更简单和稳定。

综上所述，对于数据中心应用的多层架构，采用端到端的IRF设计技术进行改良，可以将大规模数据中心网状网变成线性或树状辐射网，在网络每一层具有灵活的扩展能力和简单的配置管理方式，大大提升网络的运行管理效率。