CloudFabric云数据中心网解决方案-Multi-PoD设计指南

CloudFabric云数据中心网解决方案设计指南（Multi-PoD）目录1 多数据中心业务诉求和场景 (1)1.1 多数据中心业务场景分析 (1)1.1.1 集群跨DC部署 (1)1.1.2 虚机跨DC迁移 (2)1.1.3 网络级主备容灾 (3)1.2 华为Multi-PoD方案整体架构 (4)1.2.1 方案整体架构 (4)1.2.2 部署场景 (7)1.2.3 方案特点 (9)1.2.4 与Multi-Site方案的对比和选择 (10)2 Multi-PoD方案设计 (14)2.1 Multi-PoD方案部署设计 (14)2.2 PoD内组网设计 (16)2.2.1 物理网络架构 (16)2.2.2 物理网络设计基本原则 (18)2.2.3 路由协议设计 (19)2.2.4 故障场景分析 (21)2.3 Multi-PoD对于IP Network的要求 (22)2.4 Multi-PoD –管理面方案 (25)2.5 云平台与VMM对接 (27)2.6 Multi-PoD - Underlay网络方案 (29)2.7 Multi-PoD –Overlay网络方案 (30)2.7.1 Multi-PoD –Overlay控制面方案 (30)2.7.2 Multi-PoD –Overlay数据面方案 (32)2.7.3 网络级容灾-主备出口设计 (32)1 多数据中心业务诉求和场景1.1 多数据中心业务场景分析1.2 华为Multi-PoD方案整体架构1.1 多数据中心业务场景分析随着业务的发展，越来越多的应用部署在数据中心，单个数据中心的规模有限，不可能无限扩容，业务规模的不断增长使得单个数据中心的资源很难满足业务增长的需求，需要多个数据中心来部署业务；同时，数据安全、业务的可靠性和连续性也越来越被重视，备份和容灾逐渐成为了普遍需求，需要通过建设多个数据中心来解决容灾备份问题。

1.1.1 集群跨DC部署对于DB层服务器，以及少量App层服务器，往往采用物理IP直接提供业务，这种模式仅用于数据类应用（CS模式）。

通常以集群方式部署，为了提高业务连续性，集群也可以跨DC部署，此时，集群服务器分布在不同数据中心，对外提供统一访问接口，业务IP由VIP取代，服务器集群中间通过DC间互联网络实现协商和状态同步。

由于集群心跳及集群公网通常需要接入同一个二层域，需要跨DC的大二层网络，因此可采用裸光纤、波分传输、VPLS、EVPN-VXLAN等技术进行二层互联，如图1-1所示。

图1-1集群跨DC部署示意图服务器集群方案对数据中心网络要求：●低时延：RTT时延要求，对部署距离有限制●二层互联：要求二层互联、对互连时延有限制●网络高可靠：互联网络高可靠，避免脑裂发生1.1.2 虚机跨DC迁移对于虚拟机承载的数据类应用系统，业务是由虚拟机直接提供访问的，因此虚拟机的IP地址就是业务的访问IP地址。

当服务器虚拟化后，其最大的特征是动态性与资源复用特性。

由于应用直接由虚拟机提供服务，因此无法借助于SLB进行资源调配，只能将虚拟机迁移到更空闲的物理机上运行。

应用管理员可以根据应用的资源需求（如CPU性能需求、内存需求），灵活调度、调整虚拟机运行位置、上下线状态。

当虚拟机资源池扩展到两个中心后，则可以更加灵活的充分利用备中心的物理服务器资源，实现跨中心的虚拟资源灵活调度，大幅提升资源利用率。

特别是故障场景，利用虚拟机高可用机制，当主用数据中心A虚拟机发生故障时，虚拟机可以动态热迁移到主用数据中心B，业务不中断，如图1-2所示。

图1-2VM迁移前后流量示意图虚拟机跨数据中心热迁移对网络的要求：●二层互联：IP/MAC地址配置，TCP会话状态等不发生改变●低时延：虚拟机状态同步，要求低时延●大带宽：虚拟机迁移要求较高的带宽，保证状态数据和存储数据快速迁移1.1.3 网络级主备容灾当前有很多应用是通过集群软件提供服务的，集群软件将网络上的多台服务器关联在一起，对外表现为一台逻辑服务器，提供一致的服务。

通过集群，利用多台服务器负载分担提升集群整体业务处理能力，并且多台服务器间互为备份，提升系统的可靠性。

如果将集群中的服务器部署于不同数据中心，当某个数据中心发生故障时，集群内其他数据中心的服务器仍可提供服务，可实现跨数据中心的应用系统容灾。

多数厂商的集群软件需要各服务器间采用二层网络互连，因此，服务器集群跨数据中心部署需要网络提供跨DC的大二层能力。

同时，集群对外提供服务的地址是一个虚IP，该地址将通过数据中心前端网络向外发布，因此，集群跨数据中心部署需要网络给集群的虚IP提供跨DC的网关，跨DC的网关可以是主备或者双活。

●主备网关是对外发布主备路由，正常情况下南北向流量根据主路由走主数据中心的主网关。

当主用数据中心故障，切换到备份路由，流量走备数据中心的备网关。

●双活网关是对外发布等价路由，正常情况下南北向流量根据等价路由分担到两个数据中心。

当一个数据中心故障，流量切换到其他数据中心的网关。

对于集群的南北向流量通常需要防火墙提供安全防护，防火墙部署也可以是主备或者双活，如图1-3所示。

图1-3网络级容灾1.2 华为Multi-PoD方案整体架构1.2.1 方案整体架构华为CloudFabric解决方案的Multi-PoD方案主要聚焦于跨数据中心网络部分，通过虚拟化和SDN技术，解决跨数据中心互通的自动化部署和跨数据中心的业务容灾多活的问题。

华为CloudFabric Multi-PoD解决方案的整体架构如下图所示。

图1-4Multi-PoD整体架构图华为Multi-PoD方案的整体架构主要分为：业务控制层、基础设施层和转发实现层。

●业务控制层，主要是SDN控制器，负责控制某个数据中心的网络，以及打通跨数据中心的网络，SDN控制器还对接业务编排器和VMM（Virtual Machine Manager虚拟机管理器），完成计算与网络联动以及跨数据中心的互通。

业务编排器负责跨数据中心的业务编排，VMM负责虚拟机的生命周期管理。

●基础设施层，主要是物理网络和逻辑网络，数据中心内的物理网络是Spine-Leaf架构的组网，多个数据中心通过DCI骨干网连接；逻辑网络是通过网络虚拟化和VXLAN技术、基于业务按需构建的连接虚拟机的虚拟网络。

●转发实现层，主要是通过VXLAN网络连接数据中心内的虚拟机，以及连接数据中心间的虚拟机，BGP-EVPN作为VXLAN的控制面。

对于使用者来说，主要看到业务控制层，根据业务的需要，将业务网络划分成多个VPC，通过编排器编排VPC，通过控制器在不同数据中心发放VPC的逻辑网络。

这个过程里，编排器主要是针对跨Fabric的网络进行编排。

编排完成后，会根据编排的结果，将任务下发给对应的控制器，由控制器将配置下发到物理设备上。

图1-5Multi-DC Fabric编排示意图Multi-PoD主要的场景就是在同城近距离部署的数据中心中，网络层面提供网络容灾的功能。

多个DC的计算、网络都是统一的资源池，统一由一套控制器集中管理，VPC可跨DC部署，子网可跨DC部署，可二层互通，可三层互通。

为提高管理面的可靠性，两个DC都可以部署控制器，两套控制器集群建立主备集群关系，由主用控制器集群管理网络，当主用控制器集群发生故障时，两套集群发生主备切换，由原来备控制器集群升主，接管网络，在管理面上实现容灾备份。

图1-6Multi-PoD方案架构在此场景中，每个DC的物理网络在架构上相互间独立，需要在单DC的基础上增加DC间互联的设备和通路，多个DC是统一的端到端VXLAN域，网络和计算都是统一的资源池。

对于出口网关，推荐部署主备出口网关，即所有南北向流量都从主出口网关进行绕行（如上图中DC1的出口），出口主备的情况下，防火墙也是主备部署，实现业务高可用。

1.2.2 部署场景Multi-Pod主要有两种部署场景，一是多个PoD在同一个DC内多个PoD形成一个大资源池，二是同城近距两个DC形成一个大资源池，满足主备容灾容灾的诉求，它们的主要区别是部署物理位置的不同。

图1-7同一个物理资源池中的多个PoDMulti-PoD方案可以将一个物理DC内多个PoD统一管理，这种应用场景的好处是，将多个PoD作为一个大二层资源池，以便业务可以随意迁移，此外，将大组网结构划分在较小的Pod中，可以以通过多个小Pod提供物理故障域的隔离。

图1-8多PoD跨DC互连Multi-PoD方案可以将两个物理DC统一管理，构建跨DC的大二层，提供两个DC间的主备容灾能力。

1.2.3 方案特点Multi-PoD场景方案特性如图1-9所示。

图1-9Multi-PoD主要特性示意图Multi-PoD场景主要有以下一些特性：●单Domain管理面容灾：多个DC是一个资源池，在一个VXLAN域内，对于业务来说，相当于只看到一个资源池，所以VPC可以跨DC进行部署，同时控制器主备集群部署，提供管理面容灾功能。

●VPC跨DC：如上面所说，由于是一个资源池，VPC可以跨Fabric部署。

●VPC出口（外部网络）跨DC（主备容灾）：多DC可以有多个出口，VPC可以选择其中一个出口作为外部网关，其余出口作为备份。

主备出口通过路由优先级实现。

也可以只选择一个出口，集中出口，所有南北向流量均从这一个出口访问北向。

●VPC内FW跨DC主备：Fabric内FW主备镜像，Fabric间部署两组FW，控制器向两组FW双下配置，双下策略，两组FW之间的主备由主备路由确定。

1.2.4 与Multi-Site方案的对比和选择除了Multi-PoD方案之外，CloudFabric多DC场景中还有Multi-Site方案。

●PoD强调的是一组相对独立的物理资源；Multi-PoD是指一套控制器管理的多个PoD，是一个端到端VXLAN隧道构成的VXLAN域，PoD之间距离不会太远，通常是同城近距。

●一个Site是指一个控制器管理的资源池，是一个或多个PoD，是一个端到端VXLAN隧道构成的VXLAN域；Multi-Site是指多个控制器管理域之间的互通，即多个Multi-PoD之间的互通，是多个VXLAN域，对距离不敏感，可异地部署。

Multi-Site场景Multi-Site子方案适用于异地多DC方案，即两个或者多个位于不同地域，或者物理距离太远而无法被同一套控制器纳管的多个DC之间互联互通方案。

Multi-Site场景对应比较大的网络，需要一个编排器拉通多个控制器，将多个控制器管理的网络统一纳管。

所有业务由编排器进行统一编排，再下发到各控制器上由控制器将具体配置下发给对应的物理网络。

Multi-Site场景方案如图1-10所示。

图1-10Multi-Site场景示意图Multi-PoD场景Multi-POD方案适用于地域上距离较近，可以被同一套控制器纳管的DC或者资源Module。