数据中心解决方案 高可用技术白皮书

数据中心解决方案 高可用技术白皮书
Huawei-3Com Technologies Co., Ltd. 华为3Com技术有限公司
https://www.360docs.net/doc/d416121805.html,
All rights reserved 版权所有 侵权必究

Catalog 目 录
1
总体介绍 --------------------------------------------------------------------------------------------- 2
1.1 技术应用背景 --------------------------------------------------------------------------------------------2
数据中心现状 ------------------------------------------------------------------------------------------------2 高可用对数据中心的重要性 ------------------------------------------------------------------------------2 1.1.1 1.1.2
1.2
可靠性基本概念-----------------------------------------------------------------------------------------3
2
设计思路 --------------------------------------------------------------------------------------------- 4
2.1 2.2 数据中心可靠性设计所面临的挑战-----------------------------------------------------------------4 数据中心可靠性设计思路-----------------------------------------------------------------------------4
数据中心可靠性设计的策略 ------------------------------------------------------------------------------4 华为-3com 数据中心解决方案可靠性设计策略 -------------------------------------------------------5
2.2.1 2.2.2
3
关键技术说明 --------------------------------------------------------------------------------------- 5
3.1.1 基础网络 ------------------------------------------------------------------------------------------------------6 1. 设备级的可靠性设计 ------------------------------------------------------------------------------------------6 1） IRF构架-----------------------------------------------------------------------------------------------------6 2） 双主控板主备机制 ---------------------------------------------------------------------------------------8 3） 灵活完备的配置恢复 ------------------------------------------------------------------------------------8 4） 设备关键部件冗余 ---------------------------------------------------------------------------------------8 5） 完善的启动文件保护 ------------------------------------------------------------------------------------9 6） 高可用的网络机箱 ---------------------------------------------------------------------------------------9 7） 负载均衡设备双机备份 ---------------------------------------------------------------------------------9 8） IPS设备的双机冗余设计 --------------------------------------------------------------------------------9 9） HRP（Huawei Redundancy Protocol）----------------------------------------------------------------9 10） AUX口拨号支持，实现双网(PSTN网+IP网)管理 -------------------------------------------- 11 11） 热补丁 ------------------------------------------------------------------------------------------------- 11 2. 网络级的可靠性设计 ---------------------------------------------------------------------------------------- 11 1） 链路层 ---------------------------------------------------------------------------------------------------- 11 2） 网络层 ---------------------------------------------------------------------------------------------------- 21 3） 4-7层 ------------------------------------------------------------------------------------------------------ 24 3.1.2 网络构架 ---------------------------------------------------------------------------------------------------- 25 1. 先进的“分区”理念 ---------------------------------------------------------------------------------------- 25 2. 高可用的设备管理 ------------------------------------------------------------------------------------------- 26
4
典型应用组网 ------------------------------------------------------------------------------------- 26

Figure List 图目录
图表 1 各行业数据中心故障损失统计表---------------------------------------------------------------------------------3 图表 2 数据中心解决方案高可用技术总图------------------------------------------------------------------------------6 图表 3 XRN的分布式弹性路由 ---------------------------------------------------------------------------------------------7 图表 4 分布式链路聚合（DLA） -----------------------------------------------------------------------------------------8 图表 5 HRP协议应用示意图 ---------------------------------------------------------------------------------------------- 10 图表 6 聚合技术层次结构------------------------------------------------------------------------------------------------- 13 图表 7 聚合子层模块 ------------------------------------------------------------------------------------------------------- 14 图表 8 DLDP协议各状态的转换及触发状态转换的事件图--------------------------------------------------------- 15 图表 9 SMART LINK备份端口典型组网 ------------------------------------------------------------------------------- 17 图表 10 SMART LINK监控端口典型组网------------------------------------------------------------------------------ 18 图表 11 数据中心解决方案的典型组网 --------------------------------------------------------------------------------- 27 图表 12 数据中心解决方案中HA特性部署总图----------------------------------------------------------------------- 27

数据中心解决方案
高可用技术白皮书
关键词：HA，数据中心 摘 要：本文对数据中心解决方案中的高可用关键技术进行介绍。分别从设备本身和网络两个方 面阐述了数据中心解决方案中的高可用技术实现方案。 缩略语清单：
缩略语 MTBF MTTR RTO RPO ROI VLAN LACP STP RSTP MSTP VRRP BPDU 英文全名 Mean Time Between Failure Mean Time to Repair Recovery Time Objective recovery point objective return on investment Virtual Local Area Network Link Aggregation Control Protocol Spanning Tree Protocol Rapid Spanning Tree Protocol Multiple Spanning Tree Protocol Virtual Router Redundancy Protocol Bridge Protocol Data Unit 中文解释 系统平均正常运行时间 系统平均恢复时间 系统恢复实际目标 系统恢复点目标 投资回报率 虚拟局域网 链路聚合控制协议 生成树协议 快速生成树协议 多生成树协议 虚拟路由冗余协议 桥协议数据单元 华为冗余协议 智能弹性架构
HRP IRF DLDP GR
Huawei Redundancy Protocol Inteligent relisent fibric Device Link Detection Protocol Graceful restart
设备链路检测协议 设备重启保护
1

1 总体介绍
1.1 技术应用背景
1.1.1 数据中心现状
随着社会生产力的不断发展，用户需求不断发展提高，市场也不断发展变化，谁能真正掌握 市场迎合用户，谁就能够占领先机提高自己的核心竞争力。企业运营中关键资讯传递的畅通可以 帮助企业充分利用关键资源，供应链、渠道管理，了解市场抓住商机，从而帮助企业维持甚至提 高其竞争地位。作为网络上数据存储和流通中心的企业数据中心很显然拥有企业资讯流通最核心 的地位，其越来越受到企业的重视。当前各个企业/行业的基础网络已经基本完成，随着“大集 中”思路越来越深入人心，各企业/行业越来越迫切的需要在原来的基础网络上新建自己的数据中 心。数据中心设施的整合已经成为行业内的一个主要发展趋势，利用数据中心，企业不但能集中资源
和信息加强资讯的流通以及新技术的采用，还可以改善对外服务水平提高企业的市场竞争力。一个好的 数据中心在具有上述好处之外甚至还可以降低拥有成本。
1.1.2 高可用对数据中心的重要性
随着企业对信息访问依赖性的增加，数据中心对企业日常业务影响也越来越大。一旦企业数 据中心出现故障，将对企业日常业务的正常运作造成极大的冲击，给企业带来巨大的损失。总的 来看，数据中心出现故障时，企业的损失分为以下几个方面：对企业日常工作的冲击（员工无法 正常工作）、直接财产损失（比如：订单丢失、企业合作伙伴损失赔偿等等）、企业声誉的损失 （如：网络服务提供商可能失去部分用户）。 根据META Group的统计，各行业平均每小时因为数据中心故障造成$1,010,536.00的损失。 其中能源、通信、制造业的损失分列前三甲。具体情况，详见下表：
Industry Sector Energy Telecommunications Manufacturing Financial Institutions Information Technology Insurance Retail Pharmaceuticals Banking Food/Beverage Processing Consumer Products
Revenue/Hour $2,817,846.00 $2,066,245.00 $1,610,645.00 $1,495,134.00 $1,344,461.00 $1,202,444.00 $1,107,274.00 $1,082,252.00 $996,802.00 $804,192.00 $785,719.00
Revenue/Employee Hour $569.20 $168.98 $134.20 $1,079.89 $184.03 $370.92 $244.37 $167.53 $130.52 $153.10 $127.98
2

Chemicals Transportation Utilities Healthcare Metals/Natural Resources Professional Services Electronics Construction and Engineering Media Hospitality Average
$704,101.00 $668,586.00 $643,250.00 $636,030.00 $580,588.00 $532,510.00 $477,366.00 $389,601.00 $340,432.00 $330,654.00 $1,010,536.00
$194.53 $107.78 $380.94 $142.58 $153.11 $99.59 $74.48 $216.18 $119.74 $38.62 $205.55
图表 1 各行业数据中心故障损失统计表
由上可数据中心的可靠性直接关系企业利益，处于非常重要的地位。一个高可靠的数据中心 可以帮助企业在集中资源，提高业务服务水平的同时降低运行成本。可靠性已经成为衡量一个数 据中心优劣的重要方面。
1.2
可靠性基本概念
传统意义上来说可靠性（AVAILABILITY ）的涵义为系统正常运行时间占总运行时间的比例1 （当前的总运行时间包括出问题以后修复所耗费的时间）。由以下两个基本概念组成： MTBF（Mean Time Between Failure） 系统平均正常运行时间 MTTR（Mean Time to Repair） 系统平均恢复时间 AVAILABILITY ＝ MTBF / ( MTBF + MTTR )
对现代企业数据中心来说，用户除了关心数据中心正常运转的平均时间（MTBF）以外，更为 在意的是数据中心出现故障以后能否以很短的时间恢复正常运行，是否能对核心业务的影响减轻 到最小。因此，针对MTTR业界又扩展出了另外几个指标： RTO ：(Recovery Time Objective) RTO 表示完成应用（及其相关业务流程）并保证技术组件恢复到能够正常执行事务处理或业 务职能的最长时间。但是，RTO 并不意味着“100%恢复”，它通常指的是降级处理模式（例如减 少容量，降低性能）。
3

RPO ：（recovery point objective）: RPO 指某个时刻，应用数据必须恢复到这个时刻才能继续执行事务处理。它规定了需要将信 息恢复到哪个数据流点，或者说，企业能够忍受丢失多少数据。
ROI （return on investment ）
ROI 是指用户的投资回报。由于数据中心中各个部分的重要性有一定的差别。因此，各个分区
出现故障后的影响各有不同。对高可用的要求也不尽相同。由于保证网络高可用意味着不菲价 格，因此分区的构架可以满足区分用户业务，在保证用户数据中心整网高可用的目标的前提下， 尽可能的为用户降低成本。
2 设计思路
2.1 数据中心可靠性设计所面临的挑战
对于数据中心，现代企业面临着两难的局面。一方面处于企业数据流通最核心地位的企业数 据中心对于企业来说有着至关重要的作用，企业对数据中心的依赖性越来越强。另一方面由于影 响数据中心网络环境的因素很多，数据中心出现故障的情况几乎不可避免。因此，数据中心解决 方案需要着重关注如何尽量减小数据中心出现故障后对企业关键业务造成的影响。为了实现这一 目标，首先应该要了解企业数据中心出现故障的类型以及该类型故障产生的影响。影响数据中心 的故障主要分为如下几类： 硬件故障 软件故障 链路故障 电源/环境故障 资源利用问题 网络设计问题
2.2
数据中心可靠性设计思路
2.2.1 数据中心可靠性设计的策略
由上（2.1）可以知道数据中心出现的故障类型较多，风险也无法避免。那怎样才能做到当故 障发生时对企业关键业务造成的影响最小呢？其实，我们可以看出虽然数据中心的故障类型众 多，但故障发生产生的后果却大同小异。即，导致数据中心中的设备、链路或server发生故障，无 法对外提供正常服务。对于这些故障的缓解最简单的方式就是冗余设计，可以通过对设备、链
4

路、server提供备份，从而将故障对用户业务的影响降低到最小。 但是否是一味的增加冗余设计就可以达到我们缓解故障影响的目的呢？有人可能会将网络可 用性与冗余性等同起来。但事实上，冗余性只是整个可用性架构中的一个方面。一味的强调冗余 性冗余性反而可能会降低可用性减小冗余所带来的优点，因为冗余性在带来好处的同时也会引入 一些缺点： 提高网络复杂度 加重网络支持负担 增加配置和管理的复杂度 因此，数据中心的高可靠设计是一个综合的概念。我们在提高网络的冗余性的同时，还需要 加强网络构架的优化，从而实现真正的高可用。一般来说设计一个高可用的系统，主要关心以下 四个方面： 设计高可用的网络构架 关键链路提供设备级、链路级冗余备份 减少非计划性的宕机 可用可靠的网络管理 及时的故障检测定位
2.2.2 华为-3com 数据中心解决方案可靠性设计策略
华为3COM的数据中心解决方案从以下五个方面覆盖了上述的所有方面，保证了数据中 心解决方案的高可用性： 先进的“分区”理念从网络构架上保证了数据中心的高可用性。 独立的带内带外管理网，保证数据和管理分离，保障设备的可管理性 关键链路，设备冗余备份 负载均衡产品的引入保证4-7层的负载均衡 高可用的网络设备支撑整个数据中心的高可用性
3 关键技术说明
华为－3com的数据中心解决方案全方位的涵盖了高可用性的设计思路，从基础网络到数据中 心整网构架无不体现出设计高可用的数据中心的理念。详见下图：
5

网络构架 4-7层 网络层 数据链路层 设备级
“分区分层”的网络构架、高可用的设备 管理 负载均衡
自 动 侦 测 功 能 ， VRRP, 接 口 备 份 、 GR、路由快速收敛 服 务 器 网 卡 组 双 归 属 ， DLDP ， Loopback-detection,Flex-link,MSTP， 端口聚合 双主控, N+1电源备份,风扇备份，IRF 构架，完备的配置恢复，防雷设计， 负载均衡设备、防火墙、IPS的备份 机制，aux口实现PSTN带外管理，支 持热补丁，完善的启动文件保护
图表 2 数据中心解决方案高可用技术总图
下面我们分别介绍数据中心解决方案在基础网络和网络构架中所用到的具体技术。
3.1.1 基础网络
1. 设备级的可靠性设计 数据中心组网时一般会用到较多的设备。在实际运行过程中，各设备均面临着软件异常、硬 件故障甚至外界影响（如：供电电路故障、自然灾祸）等各种意外的威胁。设备级的可靠性设计 可以通过关键部件冗余，灵活快速的故障侦测和恢复来尽量减小意外发生的影响局限于故障发生 的设备之内，尽量减小对数据中心整体的冲击减小数据中心MTTR。 1） IRF构架
和传统的堆叠技术相比，IRF是一种更为增强的堆叠技术，在多方面进行了创新或增强。与照 传统堆叠相比IRF在高可靠性、冗余备份方面有了很大的提高。IRF技术可以容许全局范围内的跨 设备链路聚合，提供了全面的链路级保护。同时IRF技术实现了跨设备的三层路由冗余，可以支持 多种单播路由协议、组播路由协议的分布式处理，真正实现了多种路由协议的热备份技术，这些 方面都是传统堆叠技术难以做到的。尤其是单播路由协议和组播路由协议的热备份技术，在业界 一直都是一个难题，IRF技术的出现对高可靠性提出了全新的解决方案。此外，IRF技术实现了二 层协议在fabric内的分布式运行，提高了堆叠内unit的利用率和可靠性，减少了设备间的协议的依 赖关系。
6

路由的热备份 相对于传统的设备组网，IRF提供了真正的单播路由协议和组播路由协议的热备份。并且用户
并不需要花一半的投资专门用在备份上面，IRF中所有的设备都实际参与业务运行。IRF是在提供 业务的同时进行备份。 DRR实现了路由协议热备份的技术，做到了同一个fabric中各个unit上路由信息的严格同步， 并且在其中一个或多个unit出现故障的时候，其它unit可以照常运行并迅速接管故障unit的功能，此 时，域内路由协议不会随之出现中断，二三层转发流量和业务也不会出现中断，从而实现了真正 意义上的不中断路由协议、不中断业务的故障保护和设备切换功能
RIP
OSPF Unit 1
Unit 2
备份 信息
Unit 3
Unit 4
RIP
OSPF Unit 1
Unit 2
备份 信息
Unit 3
Unit 4
图表 3 XRN的分布式弹性路由 链路的备份 分布式的聚合技术进一步消除了聚合设备单点失效的问题，提高了聚合链路的可用性。由于
聚合成员可以位于系统的不同设备上，这样即使某些成员所在的设备整个出现故障，也不会导致 聚合链路完全失效，其它正常工作的unit会继续管理和维护剩下的聚合端口的状态。这对于核心交 换系统和要求高质量服务的网络环境意义重大。
7

数据 报文
XRN FABRIC
数据 报文
XRN FABRIC
链路 故障
图表 4 分布式链路聚合（DLA）
DLA技术允许XRN网络核心外的其他交换机等设备以多宿主的方式接入XRN网络核心，极大 提高全网的可用性。通过多条聚合链路流向XRN网络核心的流量将均匀分布在聚合链路上，当某 一条聚合链路失效时，DLA能够将流量自动重新分布到其余聚合链路以实现链路的弹性备份和提 高网络可靠性。
2）
双主控板主备机制
华为3com中高端交换机支持双主控板。两块主控板分为主用板和备用板两个角色。主用板承 担正常业务，备用板处于热备状态。一旦主用板出现故障无法正常工作，备用板能够在很短时间 内完成状态切换。同时尽可能的保证业务不发生中断。
3）
灵活完备的配置恢复
华为3com系列交换机可以支持业务板以及子卡的插拔。在实现灵活的扩展的同时还充分考虑 到了业务板/子卡插拔后业务快速恢复。华为3com各类业务板、子卡还支持热插拔。在业务板出现 故障更换备份板或者重启业务板时，原业务板上的用户配置能自动恢复，从而恢复正常业务，极 大的缩短了业务板/子卡在出现故障后的恢复时间，提高了设备的可靠性。
4）
设备关键部件冗余
华为3com系列交换机上，主控板、交换网板、电源系统等关键部件冗余热备份。 交流/直流电源采用N+1冗余热备份，保证系统正常运行。 而风扇系统1:1热备份，并且提供根据温度自动调速。
8

5）
完善的启动文件保护
华为3com系列交换机提供了三个手段全方位的防护启动文件的升级。防止因错误升级导致设 备无法正常启动的情况发生。 对设备启动文件的检测功能。 设备可以检测用户指定的启动文件是否正常，其版本是否和本设备匹配。检测不合格的 文件无法设置为启动文件。 支持主备属性启动文件 设备支持同时设置主备两个启动文件。设备启动时可以根据优先级（主优于备）选择启 动文件。 启动文件缺失保护 用户执行reboot操作时，设备会检测当前的启动文件状况。如果当前无可用的启动文件， 设备不允许重启。 启动文件搜索 设备在启动阶段如果发现当前用户没有设置启动文件，bootrom会在当前设备所保存的文 件中搜索一个可用的启动文件来完成启动。
6）
高可用的网络机箱
不同地理环境量身定做的网络机箱，具有自动调节温度湿度以及防雷的功能，满足不同用户 的需要。
7）
负载均衡设备双机备份
两台负载均衡设备互为备份。设备正常运行过程中可以手动同步配置信息和自动同步会话信 息。当一台设备发生故障时，另一台设备可以快速感知设备故障，接管故障设备的业务，保证故 障设备的当前业务不中断。
8）
IPS设备的双机冗余设计
华为-3com 数据中心解决方案采用IPS设备的双机冗余设计。利用IPS设备之间的备份功能， 完成当链路发生故障时可以切换到备份链路而不丢失现有IPS的过滤规则。
9）
HRP（Huawei Redundancy Protocol）
HRP协议承载在VGMP报文上，实现在Master和Backup防火墙设备之间备份关键配置命令和 会话表状态信息。我们先来看一下HRP的应用场合：
9

PC
(1)
(2)
EudemonA Master
会话表项 (3)
Trust区域
(7)
(6)
(4) (5)
PC
(8)
Server DMZ区域
Untrust区域
Backup EudemonB
图表 5 HRP协议应用示意图
上图为防火墙双机热备的基本组网图。其中，Eudemon防火墙是状态防火墙，对于每一个动 态生成的会话连接，都会生成一个会话表项与之对应。当EudemonA防火墙（Master）出现故障 或相关链路出现问题时，EudemonB防火墙（Backup）将会切换状态而变成新的Master，并开始 承担转发任务。然而，如果在状态切换前会话表项和配置命令没有备份到EudemonB，切换前所有 经过EudemonA的会话都会因为无法命中EudemonB的会话表而丢弃，从而导致业务中断。为了实 现Master防火墙出现故障时能由Backup防火墙平滑切换，则需要在Master和Backup防火墙设备之 间备份关键配置命令和会话表状态信息 ，这就是产生HRP协议的根因。 HRP有主备两种角色：配置主设备和配置从设备。指定HRP配置主从设备的原因主要是为了 指定HRP备份的方向（主 -> 从）。 HRP的备份方式主要有以下三种： 自动实时备份： 当配置主设备有新的命令配置或有新的状态信息产生时，系统自动将该命令和状态信息备份 到配置从设备。 自动批量备份： 当接入新的配置从设备或旧有配置从设备重启时，由配置主设备将所有配置信息和状态信息 批量备份到配置从设备。需要注意的是，批量备份时不允许实时备份。 手动批量同步： 用户可以在配置主设备上执行配置同步命令，手动将配置主设备上的配置信息和状态信息备 份到配置从设备。
HRP备份防火墙的状态信息和配置信息，具体内容如下： 防火墙状态信息： 防火墙生成的会话表表项 动态黑名单表项 ServerMap表项
10

No-PAT表项 防火墙配置信息： ACL包过滤命令的配置 攻击防范命令的配置 地址绑定命令的配置 黑名单命令的启用以及手工添加黑名单用户和对黑名单命令的删除操作 日志命令 NAT命令的配置 统计命令的配置 域的命令的配置，包括新域的设定，域内添加的接口和优先级的设置 ASPF（应用层包过滤防火墙）的命令配置 清除会话表项命令（reset firewall session table)和清除配置的命令（undo XXX）
10）
AUX口拨号支持，实现双网(PSTN网+IP网)管理
11）
热补丁
HOT Patch支持实现BUG Fixing的功能。通过用新的函数替换旧有的存在问题的函数，实现 设备bug的修正。由于当前补丁的实现还处于函数替换的层面，因此该特性不能支持新增特性的动 态加载。由于该功能只需要在设备运行工程中替换内存中的代码，因此功能的实现无需重启设 备，甚至支持在线打补丁，极大的保证了设备的可靠性。
2. 网络级的可靠性设计 当故障无法局限于故障发生的设备之内时，一方面数据中心解决方案利用网络级的关键设备 冗余备份技术极大的减小了宕机对整个系统的影响，从而保证了整网的可用性。核心网络骨干 层，汇聚层，接入层设备全采用双归属连接，多ISP接入，多服务器接入负载分担，实现全网的冗 余备份负载均衡，保障数据中心业务的高效性和高可靠性。另一方面解决方案采用迅速准确的故 障检测手段及时感知故障发生并自动采取动作缓解故障发生导致的不良影响。从而实现数据中心 整体高可用性。 1） a） 链路层 服务器网卡组双归属上行
网卡驱动将服务器中的多块网卡（业界比较流行的为支持2-8块网卡）组合起来形成一个网卡 组。网卡组提供多种运行模式完成用户的不同需求。业界比较流行的运行模式有以下三种：
冗余备份 这种模式提供服务器冗余备份的功能。网卡组中的所有网卡使用相同的IP和MAC地址，整个
11

网卡组在外界看来作为一块虚拟网卡存在。备份组中的网卡有运行和备份两种状态。处于运行态 的网卡（只有一块）负责报文的收发。当运行态的网卡出现故障后，处于备份状态的一块网卡会 自动切换到运行态接管所有业务。一般来说，一个网卡组可以通过如下方式来检测运行态的网卡 的当前状况，用以决策是否需要切换： 处于运行态的网卡的链路状况 处于运行态的网卡是否发生硬件故障 软件检测机制
这种模式其功能完全不依赖交换机提供支持，其稳定性是相对最高的。这种模式比较适合在 对可靠性要求很高的场合中使用。但我们要看到的是由于这种模式不提供负载分担，因此在对单 网卡不能满足性能要求的场合不推荐使用。 由于数据中心解决方案中用户对可靠性的要求更为关注。同时，单网卡已经能够满足数据中 心解决方案的性能要求。因此，数据中心解决方案推荐该模式作为最佳模式。
负载分担 这种模式提供了网卡组内的负载分担功能。网卡组中的所有网卡均可以进行报文的收发，提
高了网卡组的整体性能。网卡组发送报文时所用的IP相同，但MAC使用负责发送报文的网卡自己 的MAC。其负载分担分为出入两个方面： 入方向的负载分担 由网卡组驱动利用免费ARP来实现。网卡驱动组会向服务器上连接的各个用户发送单播的免 费ARP。ARP中所带有的IP地址为服务器的IP，MAC地址为网卡组中的某一个网卡的MAC地 址。各用户收到该免费ARP后，会更新它自己的ARP缓存。等到该用户再向服务器发送报文 时，其使用的目的MAC即为更新后的MAC。由此，来达到入方向的负载分担。但我们也可以 看出，入方向的负载分担取决于用户端的实现。另外，入方向的负载分担的粒度为IP，也可以 说是一个用户。
出方向的负载分担 出方向的负载分担由网卡组驱动实现。网卡驱动收到发送的报文时，根据报文所携带的源目 的ip和TCP/UDP端口信息进行hash，计算出该报文由网卡组中的哪一个网卡发送。因此，出 方向的负载分担只能支持IP层以上的流量。由于参与hash的选项有IP和TCP/UDP信息，因 此，可以保证一条流的出网卡接口相同。
链路捆绑 网卡组还支持链路捆绑，符合IEEE 802.3ad。实现链路的冗余备份和负载分担。但需要交换
机很好的支持。具体聚合的内容在下面详细阐述。
12

b）
链路聚合
链路聚合Link aggregation也称主干（Trunking）或捆绑技术（Bonding），其实质是将两台设 备间的数条物理链路“组合”成逻辑上的一条数据通路，提高链路的可用性，提高链路带宽，只要还 存在能正常工作的成员，整个传输链路就不会失效，最大带宽等于各成员带宽之和链路级负载分 担，按需增长的带宽。
图表 6 聚合技术层次结构
聚合类型分为三种： 手工聚合：用户配置 静态聚合：用户配置，自动启用LACP 动态聚合：系统创建，启用LACP 状态选择原则： 动态聚合端口状态，根据端口优先级确定 端口优先级：端口配置的优先级＋端口号 系统优先级：系统配置的优先级＋系统MAC 手工聚合端口状态，根据端口速率来确定 选择参考端口：速率最大的全双工端口-->半双工端口 与参考端口具有相同的操作KEY 与参考端口具有的individual属性 静态聚合端口状态，根据端口速率来确定
13

选择参考端口：速率最大的非default的全双工端口-->非default的半双工端口-->default 的全双工端口-->default的半双工端口
图表 7 聚合子层模块
聚合器：收发数据 聚合控制 创建/删除聚合组，决定组成员工作状态 监测和维护链路聚合组及聚合成员状态 通知聚合器连接或分离聚合成员端口 通知聚合器开始/停止收发用户数据
数据中心解决方案提供了三种链路聚合场景，可以有效的实现链路聚合的高可用方面的特 性： 普通设备提供跨线卡链路聚合 高端设备提供跨板链路聚合 IRF构架中提供跨设备链路聚合
c）
DLDP DLDP（Device Link Detection Protocol）是一个单向链路检测协议，可以有效的防止网络
中单通故障的发生。在实际组网中有时会出现一种特殊的现象——单向链路。所谓单向链路 是指：本端设备可以通过链路层收到对端设备发送的报文，但对端设备不能收到本端设备的 报文。单向链路会引起一系列问题，比如生成树拓扑环路等。 DLDP协议工作在链路层，能够检测两端端口的链路是否正常收发数据，保证两端链路状 态的一致性，避免出现环路。DLDP协议可以监控光纤或铜质双绞线（例如，超五类双绞线） 的链路状态。如果发现单向链路存在，DLDP协议会根据用户配置，自动关闭或通知用户手工 关闭相关端口，以防止网络问题的发生。 DLDP协议有如下状态机：
14

状态 Initial Inactive Active Advertisement
说明 DLDP协议未使能时的初始化状态 DLDP协议已使能，但是链路Down时所处的状态 DLDP协议已使能且链路Up，或者清空邻居表项后所处的状态 所有邻居双向连通或者处于Active状态超过5秒后进入的状态，这是一种没有发现单 向链路时的比较稳定的状态 发送探测报文检测链路是否为单向链路。该状态启动Probe发送定时器，为每个需要
Probe
探测的邻居启动一个Echo等待定时器 DLDP协议检测到单向链路，或在加强模式下邻居消失情况下的状态。此时DLDP协
Disable
议不再接收和发送DLDP报文
具体状态机的情况请参看下图：
链路状态？
Down D
Inactive
K E
Up
Active Initial
A B C G H F I L F
Disable
J
Advertisement
Probe
A: enable DLDP协议 E: 链路Down
B: disable DLDP协议
C: 处于Active状态超过5秒
D: 链路Up
F:发现新邻居（收到不在邻居表内的设备发送的 Advertisement 报文、Probe报文和Echo报文）/ 收到RSY报文 H: 收到XRN的桥MAC改变事件 IRF
G: 所有邻居老化 / 收到XRN的桥MAC改变事件 IRF
I: 在Echo定时器超时前收到对端发来的 Echo报文，刷新此邻居为双通状态，如果本端的所有 Probe状态切换为Advertisement状态。 邻居都是双通的，则状态机由 J: 在Echo定时器超时前没有收到对端发来的 K: 执行dldp reset命令 Echo报文，表明 发现单通链路 L: 加强定时器超时发送 个Probe报文后，DLDP状态机进入Disable状态 8
图表 8 DLDP协议各状态的转换及触发状态转换的事件图
值得注意的是：DLDP协议处于聚合链路的层次之下，以端口为单位发送目的mac为0180C200-008a的BPDU报文来实现两台交换机之间的互通。另外，DLDP协议为了防止单通状态的误
15

判，要求在使能DLDP的时候设备两端必须保证不是单通，以便于顺利建立邻居关系。
d）
Loopback－detection
Loopback-detection工作在链路层。端口使能loopback-detection以后设备会从该端口发送源mac 为设备桥MAC的广播报文。如果设备发现从该端口发送出去的广播报文又能够在该端口接收到， 则认为该端口下接入环路，设备将向用户告警，同时做相应的动作将该端口置于受控工作状态， 尽量减小接入环路对整网的影响。设备提供给用户根据具体情况选择配置发现环路后设备所做的 动作的能力。现在的动作模式有三种： Block 这种模式禁止该端口的业务报文的转发（BPDU报文外）。 优点： 不对网络拓扑产生影响的同时可以过滤掉因环路而产生的额外广播报文，有效防止广播 风暴的产生。 可以提供自动检测链路状态，自动恢复block动作的功能。 缺点： 设备所接子网或者用户业务不能正常使用。 一定程度上占用设备系统资源。 在本设备和对接的设备均不使能STP协议的情况下，可能会造成bpdu报文的广播风暴。 No-learning 这种模式不关闭端口正常的报文转发功能，但禁止该端口学习MAC地址。 优点： 不对网络拓扑产生影响。 设备可以实现报文的正常转发，不影响对接设备的正常业务。 防止MAC地址学习混乱，防止转发混乱。 可以做到设备自动检测，自动恢复。 缺点： 由于端口下不学习mac地址，造成更多的广播流量，加重系统负担。 端口下的环路依然存在，也没有做任何限制。必然产生广播风暴。 Shutdown 这种模式在端口下发现环路后，直接Shutdown该端口，需要用户手动恢复端口shutdown 状态。 优点： 很好的防止了整网广播风暴的产生。 缺点：
16

影响网络拓扑。 用户的正常业务中断。 必须要用户手工干预。
Loopback-detection 一般在接入层设备使用配置在下行的用户侧的端口上。用来检测端口下因 用户组网或者配置出错导致的环路。也可以防止黒客在端口下接入环路进行DOS攻击。需要注意 的是，该特性由于需要向外发送较多的广播报文，因此会影响效率。三种动作模式各有自己的优 缺点，需要用户根据具体情况进行配置。
e）
Smart LINK
Smart LINK实现两条链路冗余备份功能。两条链路分别以主备身份以 “活动/非活动”方式实 现链路的备份。正常情况下，主链路承载业务流量，备份链路处于阻塞状态只负责链路故障备份 工作。当主链路发生故障时，备份链路切换为活动状态承担业务流量转发工作。从而可以实现设 备的双归属连接，在链路层有效防止单点故障，提高整网的可靠性。和实现相似功能的STP技术相 比，Smart LINK在链路发生故障时的切换速度有明显优势，可以达到50ms～200ms。在简单组网模 型下，其作为STP的替代方案提供了业务快速恢复的能力。Smart link 还提供了对上行链路的监控 功能，防止在某些特定组网时由于无法及时感知上行链路故障而引起的业务中断。 在链路发生故障时为了实现业务流量从故障链路到备份链路的快速迁移，Smart Link还提供了 一种MAC更新的机制。在链路发生切换时，部署Smart Link功能的设备会从新的链路中发送Flush 报文，更新接收到该报文的设备的MAC表项。 另外，为了保持流量稳定。当原主用链路故障恢复时，将维持在阻塞状态，不进行抢占。
i
Smart link链路备份
图表 9 Smart LINK备份端口典型组网
17