Linux双网卡链路聚合

Linux双网卡链路聚合

Linux双网卡链路聚合共有两种方式，bond模式与team模式。

1.bond

链路聚合(英语:Link Aggregation)将多个物理端口汇聚在一起,形成一个逻辑端口,以实现出/入流量吞吐量在各成员端口的负荷分担。

网卡的链路聚合就是将多块网卡连接起来，当一块网卡损坏，网络依旧可以正常运行，可以有效的防止因为网卡损坏带来的损失，同时也可以提高网络访问速度。网卡的链路聚合一般常用的有"bond"和"team"两种模式，"bond"模式最多可以添加两块网卡，"team"模式最多可以添加八块网卡。bond的七种模式介绍：

mode=0(balance-rr)(平衡抡循环策略)

mode=1(active-backup)(主-备份策略)

mode=2(balance-xor)(平衡策略)

mode=3(broadcast)(广播策略)

mode=4(802.3ad)(IEEE 802.3ad 动态链接聚合)

mode=5(balance-tlb)(适配器传输负载均衡)

mode=6(balance-alb)(适配器适应性负载均衡)

bond模式介绍（支持多块网卡聚合）

mode=0（balance-rr）交换机需要配置链路聚合

表示负载分担，并且是轮询的方式，比如第一个包走eth0，第二个包走eth1，直到数据包发送完毕。

优点：流量提高一倍

缺点：需要接入交换机做端口聚合，否则可能无法使用

mode=1（active-backup）

同时只有1块网卡在工作。

优点：冗余性高

缺点：链路利用率低，两块网卡只有1块在工作

mode=2(balance-xor)(平衡策略)交换机需要配置链路聚合

表示XOR Hash负载分担，和交换机的聚合强制不协商方式配合。（需要xmit_hash_policy，需要交换机配置port channel）

特点：基于指定的传输HASH策略传输数据包。缺省的策略是：(源MAC地址XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定，此模式提供负载平衡和容错能力

mode=3(broadcast)(广播策略)

表示所有包从所有网络接口发出，这个不均衡，只有冗余机制，但过于浪费资源。此模式适用于金融行业，因为他们需要高可靠性的网络，不允许出现任何问题。需要和交换机的聚合强制不协商方式配合。

特点：在每个slave接口上传输每个数据包，此模式提供了容错能力mode=4(802.3ad)(IEEE 802.3ad 动态链接聚合)不常用，且不同厂商的LCAP报文协商不成功

表示支持802.3ad协议，和交换机的聚合LACP方式配合（需要xmit_hash_policy）.标准要求所有设备在聚合操作时，要在同样的速率和双工模式，而且，和除了balance-rr模式外的其它bonding负载均衡模式一样，任何连接都不能使用多于一个接口的带宽。

特点：创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。

外出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是，并不是所有的传输策略都是802.3ad适应的，尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。

必要条件：

条件1：ethtool支持获取每个slave的速率和双工设定

条件2：switch(交换机)支持IEEE 802.3ad Dynamic link aggregation 条件3：大多数switch(交换机)需要经过特定配置才能支持802.3ad模式mode=5(balance-tlb)(适配器传输负载均衡)

是根据每个slave的负载情况选择slave进行发送，接收时使用当前轮到的slave。该模式要求slave接口的网络设备驱动有某种ethtool支持；而且ARP监控不可用。

特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave 上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。

应用拓扑同mode 0,和mode 2一样，不过这种模式除了配置port channel 之外还要在port channel聚合口下开启LACP功能，成功协商后，两端可以正常通信。否则不能使用

mode=6(balance-alb)(适配器适应性负载均衡)

在5的tlb基础上增加了rlb(接收负载均衡receive load balance).不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的.

特点：该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb)，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个slave的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。来自服务器端的接收流量也会被均衡。当本机发送ARP请求时，bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达时，bonding驱动把它的硬件地址提取出来，并发起一个ARP应答给bond中的某个slave。

使用ARP协商进行负载均衡的一个问题是：每次广播ARP请求时都会使用bond的硬件地址，因此对端学习到这个硬件地址后，接收流量将会全部流向当前的slave。这个问题可以通过给所有的对端发送更新（ARP应答）来解决，应答中包含他们独一无二的硬件地址，从而导致流量重新分布。

当新的slave加入到bond中时，或者某个未激活的slave重新激活时，接收流量也要重新分布。接收的负载被顺序地分布（round robin）在bond 中最高速的slave上

当某个链路被重新接上，或者一个新的slave加入到bond中，接收流量在所有当前激活的slave中全部重新分配，通过使用指定的MAC地址给每个

client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值，从而保证发往对端的ARP应答不会被switch(交换机)阻截。

必要条件：

条件1：ethtool支持获取每个slave的速率；

条件2：底层驱动支持设置某个设备的硬件地址，从而使得总是有个slave(curr_active_slave)使用bond的硬件地址，同时保证每个bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障，它的硬件地址将会被新选出来的curr_active_slave接管其实mod=6与mod=0的区别：mod=6，先把eth0流量占满，再占eth1，….ethX；而mod=0的话，会发现2个口的流量都很稳定，基本一样的带宽。而mod=6，会发现第一个口流量很高，第2个口只占了小部分流量。

总结：

mode 1、5、6不需要交换机设置

mode 0、2、3、4需要交换机设置

常用的模式 mode 0 1 6

2.team

team模式介绍（最大支持2-8块网卡聚合）

team模式的工作模式与bond模式不同，有5种，分别是"broadcast"广播容错、"roundrobin"平衡轮询、"activebackup"主备和"loadbalance"负载均衡，以及lacp。

在添加team模式时命令中的工作模式命令也不同，team模式的命令格式是’{“runner”:{“name”:“工作模式”}}’，这点需要注意。

runner 方式：

【mode 0】roundrobin负载均衡 (balance-rr)

特点：

1）从头到尾顺序的在每一个slave接口上面发送数据包，轮询方式往每条链路发送报文，基于per packet方式发送。服务上ping 一个相同地址：

1.1.1.1 双网卡的两个网卡都有流量发出。负载到两条链路上，说明是基于per packet方式，进行轮询发送。

2）提供负载均衡和容错的能力，当有链路出问题，会把流量切换到正常的链路上。交换机端需要配置聚合口。

【mode 1】activebackup活动-备份（主备）策略

特点：一个端口处于主状态，一个处于从状态，所有流量都在主链路上处理，从链路不会有任何流量。当主端口down掉时，从端口接手主状态。不需要交换机端支持。

【mode 2】loadbalance限定流量

特点：该模式将限定流量，以保证到达特定对端的流量总是从同一个接口上发出。既然目的地是通过MAC地址来决定的，因此该模式在“本地”网络配置下可以工作得很好。

如果所有流量是通过单个路由器（比如“网关”型网络配置，只有一个网关时，源和目标mac都固定了，那么这个算法算出的线路就一直是同一条，那么这种模式就没有多少意义了。），那该模式就不是最好的选择。

和balance-rr一样，交换机端口需要能配置为“port channel”。这模式是通过源和目标mac做hash因子来做xor算法来选路的。交换机端需要配置聚合口。

【mode 3】broadcast广播策略

特点:这种模式一个报文会复制两份往bond下的两个接口分别发送出去,当有对端交换机失效，我们感觉不到任何downtime,但此法过于浪费资源;不过这种模式有很好的容错机制。

此模式适用于金融行业，因为他们需要高可靠性的网络，不允许出现任何问题

适用于拓扑，两个接口分别接入两台交换机，并且属于不同的vlan，当一边的网络出现故障不会影响服务器另一边接入的网络正常工作。而且故障过程是0丢包

【mode 4】lacp (implements the 802.3ad Link Aggregation ControlProtocol)

特点：802.3ad模式是IEEE标准，因此所有实现了802.3ad的对端都可以很好的互操作。802.3ad 协议包括聚合的自动配置，因此只需要很少的对交换机的手动配置（要指出的是，只有某些设备才能使用802.3ad）。802.3ad 标准也要求帧按顺序（一定程度上）传递，因此通常单个连接不会看到包的乱序。

总结

mode 0 3 4 需要交换机配置

mode 1 不需要交换机配置

常用模式 mode 0 1

1、网卡链路聚合配置

网卡配置参数解读：

MASTER=bond0 指定虚拟网口的名字（主人）

SLAVE=yes 备用（从设备）

con-name 指定连接名字，没有特殊要求，

ipv4.methmod 指定获取IP地址的方式

ifname 指定网卡设备名，既就是次配置所生效的网卡

autoconnect 指定是否自动启动

ipv4.addresses 指定IPv4地址

gw4指定网关

前提：

a.检查linux环境是否支持bonding

modinfo bonding

b.加载bonding模块(重启系统后就不用手动加载了)

modprobe bonding

c.确认模块是否加载成功

lsmod | grep bonding

链路聚合配置：

1.查询网卡连接状态,两种状态，连接或者未连接

nmcli device status

2.查询网口带宽

ethtool ens33 | grep -i speed

3. 创建一块虚拟网卡bond0,并配置模式

设置bond模式mode=1,设置链路检测时间miimon=100ms.

a.不设置链路检测时间，执行如下命令，默认为0ms

nmcli connection add con-name bond0 ifname bond0 type bond mode 1

b.如果要设置链路检测时间，执行如下命令

nmcli connection add con-name bond0 ifname bond0 type bond mode 1 miimon 100

4. 将接口ens38、ens39加到bond0里去

网卡配置文件目录：cd /etc/sysconfig/network-scripts

a:网卡已有配置文件,执行下面命令, 将接口ens33、ens37加到bond0里去

nmcli connection add type bond-slave ifname ens38 master bond0 nmcli connection add type bond-slave ifname ens39 master bond0

b:网卡无配置文件，执行下面命令, 为ens224和ens256两块网卡创建配置文件并将两块网卡作为bond0网卡的slave

nmcli connection add con-name bond0-port1 ifname ens224 type bond-slave master bond0

nmcli connection add con-name bond0-port2 ifname ens256 type bond-slave master bond0

5.配置bond0口静态ip地址、网关

nmcli connection modify bond0 ipv4.addresses 192.168.3.201/24 ipv4.gateway 192.168.3.1

6.将IP地址获取方式改为手动（manual）获取

nmcli connection modify bond0 ipv4.method manual

7.重载并激活bond0网卡

nmcli connection reload bond0

nmcli connection up bond0

8.验证是否成功

a.查看bond0网卡的带宽

ethtool bond0 | grep -i speed

b.查看bond0网卡的ip地址和两块物理网卡的状态

ip add

c.nmcli connection show

d.查看bond0的详细信息

cat /proc/net/bonding/bond0

2、删除网卡链路聚合

1.直接删除bond0网卡配置文件，以及产生的虚拟网卡配置文件。也可nmtui 图形化直接删除。

rm -f ifcfg-bond0

rm -f ifcfg-bond-slave-ens38

rm -f ifcfg-bond-slave-ens39

2.之后重启网络服务。

修改链路检测时间

直接nmtui图形化修改或者配置bond0网卡时添加参数。