详解Suse双网卡绑定步骤

suse-9-Suse Linux下双网卡bonding

Suse Linux下双网卡bonding

Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡,这个聚合起来的设备

看起来是一个单独的以太网接口设备,通俗点讲就是两块网卡具有相同的IP地址

而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在,

被称为Trunking和Etherchannel技术,在Linux的2.4.x的内核中也采用这这种技

术,被称为bonding.

bonding驱动最早来自于Donald Becker的beowulf对kernel2.0的补丁.但是已经

有了很大的改进和变化,最早来自于extreme-linux和beowulf的工具已经不适用

于现在版本的驱动了。

随着bonding技术的发展,bonding现在已经发展到6种模式,不再是简单的链路

聚合模式了.

以下是bonding的六种模式介绍,目前主要应用的是前四种模式,尤其是第一种和

第二种bonding模式

mode=0 (balance-rr)

Round-robin policy: Transmit packets in sequential order from the first available slave through the last. This mode provides load balancing and fault tolerance.

mode=1 (active-backup)

Active-backup policy: Only one slave in the bond is active. A different slave becomes active if, and only if, the active slave fails. The bond's MAC address is externally visible on only one port (network adapter) to avoid confusing the switch. This mode provides fault tolerance. The primary option affects the behavior of this mode.

mode=2 (balance-xor)

XOR policy: Transmit based on [(source MAC address XOR'd with destination MAC address) modulo slave count]. This selects the same slave for each destination MAC address. This mode provides load balancing and fault tolerance.

mode=3 (broadcast)

Broadcast policy: transmits everything on all slave interfaces. This mode provides fault tolerance.

mode=4 (802.3ad)

IEEE 802.3ad Dynamic link aggregation. Creates aggregation groups that share the same speed and duplex settings. Utilizes all slaves in the active aggregator according to the 802.3ad specification.

Pre-requisites:

1. Ethtool support in the base drivers for retrieving the speed and duplex of each slave.

2. A switch that supports IEEE 802.3ad Dynamic link aggregation. Most switches will require some type of configuration to enable 802.3ad mode.

mode=5 (balance-tlb)

Adaptive transmit load balancing: channel bonding that does not require any special switch support. The outgoing traffic is distributed according to the current load (computed relative to the speed) on each slave. Incoming traffic is received by the current slave. If the receiving slave fails, another slave takes over the MAC address of the failed receiving slave.

Prerequisite:

Ethtool support in the base drivers for retrieving the speed of each slave.

mode=6 (balance-alb)

Adaptive load balancing: includes balance-tlb plus receive load balancing (rlb) for IPV4 traffic, and does not require any special switch support. The receive load balancing is achieved by ARP negotiation. The bonding driver intercepts the ARP Replies sent by the local system on their way out and overwrites the source hardware address with the unique hardware address of one of the slaves in the bond such that different peers use different hardware addresses for the server.

1) 检查bonding网卡配置文件,配置bonding的两块网卡首先需要激活,也就是查看

/etc/sysconfig/network/目录下是否存在物理网卡,物理网卡对应的

ifcfg-eth-id-xx:xx:xx:xx:xx:xx文件(其中xx将被设备的MAC地址所代替),

每个文件对应一块网卡,如果不存在,通过运行yast生成网卡配置文件

ifcfg-eth-id-xx:xx:xx:xx:xx:xx,不需要做任何配置,只需要生成配置文件.

例如

linux3:/etc/sysconfig/network # ls -al ifcfg-eth-id-00\:19\:c6\:9a\:7b\:9*

-rw-r--r-- 1 root root 215 Nov 29 18:15 ifcfg-eth-id-00:19:c6:9a:7b:9a

-rw-r--r-- 1 root root 216 Nov 29 18:15 ifcfg-eth-id-00:19:c6:9a:7b:9b

linux3:/etc/sysconfig/network #

2) 修改第一块bonding网卡(例如eth0)的配置文件,无需配置ip地址和网络掩码,只

要确保STARTMODE='off',BOOTPROTO='none',其它可不修改.例如:

_nm_name='bus-pci-0000:01:00.0'

# 保持原值,注意bus-pci-0000:01:00.0表明eth0,bus-pci-0000:01:00.1表明eth1, # bus-pci-0000:02:00.0表明eth2,bus-pci-0000:01:00.1表明eth3

同样的方法修改第二块bonding网卡(例如eth1)的配置文件。

linux3:/etc/sysconfig/network # cat ifcfg-eth-id-00\:19\:c6\:9a\:7b\:9a BOOTPROTO='none' # 需要注意,配置bonding的网卡这里必须是none BROADCAST='192.200.100.255' # 保持原值,无需和本例相同

IPADDR='192.200.100.55' # 保持原值,无需和本例相同

MTU='' # 保持原值,无需和本例相同

NETMASK='255.255.255.0' # 保持原值,无需和本例相同

NETWORK='192.200.100.0' # 保持原值,无需和本例相同

REMOTE_IPADDR='' # 保持原值,无需和本例相同

STARTMODE='off' # 需要注意,配置bonding的网卡这里必须是off

UNIQUE='VCu0.6WcPctQ2xE0' # 保持原值,无需和本例相同

_nm_name='bus-pci-0000:01:00.0' # 保持原值,无需和本例相同.注意

# bus-pci-0000:01:00.0是eth0,连Ges7的Base

# bus-pci-0000:01:00.1是eth1,连Ges8的Base

# bus-pci-0000:02:00.0是eth2,连Ges7的Fabric

# bus-pci-0000:01:00.1是eth3,连Ges8的Fabric

linux3:/etc/sysconfig/network #

3) 创建bond配置文件

创建文件名为/etc/sysconfig/network/ifcfg-bond0,可以通过

#cp ifcfg.template ifcfg-bond0的方式创建ifcfg-bond0,

也可以直接手工touch一个ifcfg-bond0

ifcfg-bond0文件内容如下：

linux3:/etc/sysconfig/network # cat ifcfg-bond0

BOOTPROTO='static' # 需要注意,这里需要设置为static

BROADCAST='255.255.255.0' # bond0对应的广播地址

IPADDR='192.200.123.180' # bond0对应工作ip

MTU='' # 可以不填

NETMASK='255.255.255.0' # bond0对应的子网掩码

NETWORK='192.200.123.0' # bond0对应的网络地址

REMOTE_IPADDR='' # 可以不填

STARTMODE='onboot' # 需要注意,这里需要设置为onboot

BONDING_MASTER='yes' # 设置为yes

BONDING_MODULE_OPTS='mode=active-backup miimon=100'

# 说明：miimon是用来进行链路监测的。比如:miimon=100,那么系统每100ms # 监测一次链路连接状态,如果有一条线路不通就转入另一条线路；mode的值表示

# 工作模式,主要应用有0,1,2,3四种模式,常用的为0,1两种.

# mode=0表示load balancing (round-robin)为负载均衡方式,两块网卡都工作。# mode=1表示fault-tolerance (active-backup)提供冗余功能,工作方式是主备的# 工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份.

# bonding只能提供链路监测,即从主机到交换机的链路是否接通。如果只是交换

# 机对外的链路down掉了,而交换机本身并没有故障,那么bonding会认为链路没有# 问题而继续使用

BONDING_SLAVE0='bus-pci-0000:01:00.0'

BONDING_SLAVE1='bus-pci-0000:01:00.1'

# 说明: 也可以使用如下方式

# BONDING_SLAVE0='eth0'

# BONDING_SLAVE1='eth1'

# 说明: 为每个从设备准备一个BONDING_SLAVEn='slave_device' 变量赋值。# 'slave_device' 既可为接口名,如:'eth0',也可为网络设备描述符.设备名

# 很容易使用,但是这个名字由于是逻辑名因此并非持久命名。它会因网络驱

# 动的加载顺序而改变.设备描述符'bus-pci-0000:06:08.1'指向特定的物理

# 网络设备,除非设备在总线上的位置发生变化(在机器里更换插槽)否则是不

# 会因驱动加载顺序而改变的。

linux3:/etc/sysconfig/network #

4) 重启网络模块或者重启机器

# /etc/init.d/network restart

可以通过如下方式查看bonding情况,例如

linux3:/etc/sysconfig/network # cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v2.6.5 (November 4, 2005)

Bonding Mode: fault-tolerance (active-backup)

Primary Slave: None

Currently Active Slave: eth0

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

Slave Interface: eth0

MII Status: up

Link Failure Count: 0

Permanent HW addr: 00:19:c6:9a:7b:9a

Slave Interface: eth1

MII Status: up

Link Failure Count: 0

Permanent HW addr: 00:19:c6:9a:7b:9b

linux3:/etc/sysconfig/network #

在学习Suse的时候，我们会遇到很多的情况，我研究了一些Suse的问题，今天所要讲的就是怎样进行Suse双网卡绑定，通过本文希望你能过学习记住Suse双网卡绑定的过程。

1，比较简单的方法

将两块Fabric网卡绑定为bond1

# vi /etc/sysconfig/network/ifcfg-bond1

BOOTPROTO='static'

IPADDR='10.69.16.102'

NETMASK='255.255.255.0'

STARTMODE='onboot'

BONDING_MASTER='yes'

BONDING_MODULE_OPTS='mode=1 miimon=200'

BONDING_SLAVE0='eth1'

BONDING_SLAVE1='eth2'

删掉原来的网卡配置文件，重启网络服务

cd /etc/sysconfig/network/

rm ifcfg-eth1

rm ifcfg-eth2

rcnetwork restart

使用ifconfig命令检查网卡绑定是否成功。如果已经启用bond0的IP地址，而且原来的两个网卡没有附着IP，而且mac地址一致，则说明绑定成功。

2，比较正规的方法

步骤 1 进入到网络配置目录下：

# cd /etc/sysconfig/network

步骤 2 创建ifcfg-bond0配置文件。

# vi ifcfg-bond0

在ifcfg-bond0配置文件中添加如下内容。

#suse 9 kernel 2.6 ifcfg-bond0

BOOTPROTO='static'

device='bond0'

IPADDR='10.71.122.13'

NETMASK='255.255.255.0'

NETWORK='10.71.122.0'

BROADCAST='10.71.122.255'

STARTMODE='onboot'

BONDING_MASTER='yes'

BONDING_MODULE_OPTS='mode=1 miimon=200'

BONDING_SLAVE0='eth0'

BONDING_SLAVE2='eth1'

步骤 3 配置完成，保存该文件并退出。

步骤 4 创建ifcfg-eth0配置文件。（装完SUSE9操作系统后/etc/sysconfig/network会有两块网卡MAC地址命名的文件，直接把下面的ifcfg-eth0文件内容覆盖那两个配置文件，不用新建ifcfg-eth0，ifcfg-eth1，SUSE10下则按下面操作）

# vi ifcfg-eth0

在ifcfg-eth0配置文件中添加如下内容。

DEVICE='eth0'

BOOTPROTO='static'

STARTMODE='onboot'

步骤 5 保存该文件并退出。

步骤6 创建ifcfg-eth1配置文件。

# vi ifcfg-eth1

在ifcfg-eth1配置文件中添加如下内容。

DEVICE='eth1'

BOOTPROTO='static'

STARTMODE='onboot'

步骤7 保存该文件并退出。

步骤8 重启系统网络配置，使配置生效。

# rcnetwork restart

3，SUSE厂家主流推荐的方法，个人也比较推崇！

一、配置加在网卡驱动

在/etc/sysconfig/kernel中的

MODULES_LOADED_ON_BOOT参数加上网卡的驱动，例如

MODULES_LOADED_ON_BOOT=”tg3 e1000”

注意：大多数情况下不需要配置这一步骤，只有某些网卡不能在启动过程中驱动初始较慢没有识别导致绑定不成功，也就是有的slave设备没有加入绑定，才需要配置。

二、创建要绑定的网卡配置文件

/etc/sysconfig/network/ifcfg-eth*，其中*为数字,例如ifcfg-eth0 , ifcfg-eth1等等。

每个文件的内容如下：

BOOTPROTO='none'

STARTMODE='off'

三、创建bond0的配置文件

/etc/sysconfig/network/ifcfg-bond0

内容如下：

BOOTPROTO='static'

BROADCAST='192.168.1.255'

IPADDR='192.168.1.1'

NETMASK='255.255.255.0'

NETWORK='192.168.1.0'

STARTMODE='onboot'

BONDING_MASTER='yes'

BONDING_MODULE_OPTS='mode=1 miimon=100 use_carrier=1 '

#其中mode=1为active-backup模式,mode=0为balance_rr模式

BONDING_SLAVE0='eth0'

BONDING_SLAVE1='eth1'

四、对于active-backup模式，需要在BONDING_MODULE_OPTS参数中加上制定主设备的参数，例如：

BONDING_MODULE_OPTS='mode=1 miimon=100 use_carrier=1 primary=eth0'

五、重新启动networkf服务

rcnetwork restart

六、注意事项

(1)在某些情况下网卡驱动的初始化的时间可能会比较长，从而导致bonding不成功，那么可以修改

/etc/sysconfig/network/config配置文件的WAIT_FOR_INTERFACES参数，将其值改成30。

(2)配置完bonding之后，可以通过在客户端ping,然后在服务器端拔插网线来验证是否已经正常工作。

(3)cat /proc/net/bonding/bond0可以查看bonding的状态。这样你就完成了Suse双网卡绑定。

MII监控通过监控本地网络接口的载波状态来实现监控链路状态。可以通过三种方法之一实现：通过依赖设备驱动来维护载波状态；通过查询设备的MII寄存器；或者通过给设备发送ethtool查询。

注意：红色字体是重点

#cat /etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.1.55

NETMASK=255.255.255.0

#cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static

#cat /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

ONBOOT=yes

BOOTPROTO=static

# cat /etc/modprobe.conf

在最后面添加

alias bond0 bonding

options bond0 miimon=100 mode=1

#cat /etc/rc.d/rc.local

在最后面添加

ifenslave bond0 eth0 eth1

补充：

ifenslave是一个在linux下做负载均衡的工具，需要安装这个包之后上面的方案才能使用。

工作原理很简单，我举个例子，不一定成功，但能说明原理：

建一个组，把eth0和eth1加进去

#ifenslave bond0 eth0

#ifenslave bond0 eth1

#ifconfig bond0 [ip] [submark]

这个时候会新建一个bond0虚拟设备，使用我设置的IP地址，这个时候eth0和eth1工作模式变成了混杂模式，什么数据都收。

但数据过来之后由ifenslave的底层驱动来作负载均衡，决定哪些数据规组里面的哪个成员（eth0,eth1）处理。

注意这个解决方案的配置文件，其中有一句：

options bond0 miimon=100 mode=1

如果达到负载均衡的目的，应该是0，1是热备状态。

miimon是毫秒数，每100毫秒触发检测线路稳定性的事件。

mode= 是ifenslave的工作状态。

一共有7种方式：

=0：(balance-rr) Round-robin policy: （平衡抡循环策略）：传输数据包顺序是依次传输，直到最后一个传输完毕，

此模式提供负载平衡和容错能力,这需要设置交换机的配合才能完成。

=1：(active-backup) Active-backup policy:（主-备份策略）：只有一个设备处于活动状态。

一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得。此模式提供了容错能力。

=2：(balance-xor) XOR policy:（广播策略）：将所有数据包传输给所有接口。此模式提供了容错能力。

=3：(balance-xor) XOR policy: （平衡策略）：传输根据原地址布尔值选择传输设备。

此模式提供负载平衡和容错能力。

=4：(802.3ad) IEEE 802.3ad Dynamic link aggregation.

IEEE 802.3ad 动态链接聚合：创建共享相同的速度和双工设置的聚合组。

=5：(balance-tlb) Adaptive transmit load balancing（适配器传输负载均衡）:没有特殊策略，第一个设备传不通就用另一个设备接管第一个设备正在处理的mac地址，帮助上一个传。

=6：(balance-alb) Adaptive load balancing: （适配器传输负载均衡）：大致意思是包括mode5，

bonding驱动程序截获ARP 在本地系统发送出的请求，用其中之一的硬件地址覆盖从属设备的原地址。就像是在服务器上不同的人使用不同的硬件地址一样。（我没太看明白）

确认网卡状态：

cat /proc/net/bonding/bond0

、4. 查询Bonding配置

=================================

4.1 Bonding配置

---------------------------------

每个bonding设备对应于一个只读文件，存在于/proc/net/bonding目录，文件内容包括bonding配置的信息，选项以及每个slave的状态。

例如，在使用参数mode=0，miimon=1000时，加载驱动后，

/proc/net/bonding/bond0的内容为：

Ethernet Channel Bonding Driver: 2.6.1 (October 29, 2004)

Bonding Mode: load balancing (round-robin)

Currently Active Slave: eth0

MII Status: up

MII Polling Interval (ms): 1000

Up Delay (ms): 0

Down Delay (ms): 0

Slave Interface: eth1

MII Status: up

Link Failure Count: 1

Slave Interface: eth0

MII Status: up

Link Failure Count: 1

根据你配置、状态、以及bonding驱动版本的差异，上述内容的精确格式和内容有可能不同。

4.2 网路配置

---------------------------------

网络配置可以通过ifconfig命令查看，Bonding设备会设上MASTER标记，slave设备会设上SLAVE标记。ifconfig的输出不包含哪个slave关联于哪个master的关系。

在上例中，bond0接口是master（MASTER），而eth0和eth0是slave（SLAVE）。注意除了TLB和ALB模式外，所有 bond0的slave和bond0有着同样的MAC地址（HWaddr），TLB和ALB需要每个slave有独立的MAC地址。

# /sbin/ifconfig

bond0 Link encap:Ethernet HWaddr 00:C0:F0:1F:37:B4

inet

addr:XXX.XXX.XXX.YYY Bcast:XXX.XXX.XXX.255 Mask:255.255.252.0

UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1 RX packets:7224794 errors:0 dropped:0 overruns:0 frame:0

TX packets:3286647 errors:1 dropped:0 overruns:1 carrier:0 collisions:0 txqueuelen:0

eth0 Link encap:Ethernet HWaddr 00:C0:F0:1F:37:B4

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

RX packets:3573025 errors:0 dropped:0 overruns:0 frame:0

TX packets:1643167 errors:1 dropped:0 overruns:1 carrier:0 collisions:0 txqueuelen:100

Interrupt:10 Base address:0x1080

eth1 Link encap:Ethernet HWaddr 00:C0:F0:1F:37:B4

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

RX packets:3651769 errors:0 dropped:0 overruns:0 frame:0

TX packets:1643480 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:100

Interrupt:9 Base address:0x1400

5. 交换机配置

=================================

在本节中，"交换机(switch)"指被bond设备直接连接的系统（也就是说，另一端电缆连接着的），这可能是一个专职的交换机设备，也可能是其它的系统（比如，另一个运行Linux的系统）。

active-backup、balance-tlb和balance-alb模式不需要对交换机做任何的配置。

802.3ad模式需要交换机有对应的配置为802.3ad聚合的端口，具体的配置方法因交换机类型而异，比如，Cisco 3550系列交换机要求对应的端口首先必须被分组在一个单独的etherchannel实例，然后这个etherchannel设置为"lacp"模式已启用802.3ad（取代标准EtherChannel）。

balance-rr、balance-xor和broadcast模式通常需要交换机对应的端口被分

组在一起，不同的交换机对分组有着不同的命名，可能会被叫做“etherchannel”（比如上文的Cisco示例），或者叫做“trunk group”，或者其他类似的命令。对于这些模式，每个交换机也会有它自己的针对到bond的传输策略的配置选项。典型的选择包括对每个MAC地址或者 IP地址进行XOR操作，两端的传输策略不一定完全一致。对这三种模式，bonding模式会针对一个EtherChannel组选择一种传输策略；所有这三种模式都会和另一个EtherChannel组进行互操作。

----------------------------------------------------------------------------------------

The balance-rr, balance-xor and broadcast modes generally

require that the switch have the appropriate ports grouped together. The nomenclature for such a group differs between switches, it may be called an "etherchannel" (as in the Cisco example, above), a "trunk group" or some other similar variation. For these modes, each switch will also have its own configuration options for the switch's transmit policy to the bond. Typical choices include XOR of either the MAC or IP addresses. The transmit policy of the two peers does not need to match. For these three modes, the bonding mode really selects a transmit policy for an EtherChannel group; all three will interoperate with another EtherChannel group.

----------------------------------------------------------------------------------------

6. 支持802.1q VLAN

=================================

我们可以使用8021q驱动在一个bond接口上配置VLAN设备，然而，只有来自8021q设备和经过(pass through)bonding的数据包缺省会被打上VLAN标记。自生成的数据包，比如，bonding的学习包、在ALB模式生成ARP包或者ARP 监测机制的ARP包，这些包都会被bonding自身在内部打上标记。因此，bonding必须要“学习”在它上面的VLAN ID的配置，然后使用这些ID来标记自生成的数据包。

简单起见，为了支持那些可以使用VLAN hardware acceleration offloading 的适配器，bonding接口把它自身声明为一个完全hardware offloading能力的设备，它通过获取add_vid/kill_vid通知来获取必备的信息，然后它把这些动作传播给slave。在混合的适配器类型下，那些打上硬件加速标记的数据包，如果经过一个不支持offloading的适配器，bonding驱动将“un-accelerated”，因此 VLAN标记依然存在正确的位置。

----------------------------------------------------------------------------------------

For reasons of simplicity, and to support the use of adapters

that can do VLAN hardware acceleration offloading, the bonding interface declares itself as fully hardware offloading capable, it gets the add_vid/kill_vid notifications to gather the necessary information, and it propagates those actions to the slaves. In case of mixed adapter types, hardware accelerated tagged packets that should go through an adapter that is not offloading capable are

"un-accelerated" by the bonding driver so the VLAN tag sits in the regular location.

----------------------------------------------------------------------------------------

在从属slave至少有一个的情况下，VLAN接口"必须"被增加在bonding接口的最上面。直到第一个slave加入前，bonding接口的硬件地址将是

00:00:00:00:00:00。如果VLAN接口在第一个slave加入前被创建，它会选择一个全0的硬件地址，一旦第一个slave加入到bond，bond设备自己就会选择slave 的硬件地址，VLAN设备也将会使用这个地址。

同时，要注意到如果所有的slave都被从bond移除，而bond上还有一个或多个VLAN接口时，类似的问题也会发生，当新的slave加入，bonding接口将获取第一个slave的硬件地址，而这可能和当前VLAN接口的硬件地址不一样（当前VLAN接口的硬件地址是从之前的 slave上获取的）。

有两种方法来保证VLAN设备一直使用正确的硬件地址，即使所有slave被从bond接口上移除：

1. 移除所有VLAN接口，然后重新创建它们

2. 手动设置bonding接口的硬件地址，使它和VLAN接口的硬件地址一致。

要注意改变一个VLAN接口的硬件地址将会改变它下面的设备（比如bonding 接口）到混杂模式，这有可能不是你期望的结果。

7. 链路监控

=================================

当前的bonding驱动支持两种模式，来监控slave设备的链路状态：ARP监控和MII监控。

由于bonding驱动自身的实现限制，现在我们不可能同时启用ARP和MII监控。

7.1 ARP监控操作

---------------------------------

ARP监控正如其名字所暗示的：它想网络上的对端系统发送ARP请求，并且通

过ARP相应作为链路是否可用的标志，这可以保证网络两端的流量确实是通的。

ARP监控依赖于设备驱动来验证流量是否是通的，进一步，驱动必须保留上次接收时间，dev->last_rx，以及传输起始时间，dev->trans_start。如果这些值不会被驱动更新，则ARP监控立刻会认为对应于该驱动的slave出现了故障，这些slave将会进入断开状态。如果网络监控工具（比如tcpdump）显示ARP请求和相应都正常，那有可能是你的设备驱动没有更新last_rx和 trans_start。

7.2 配置多ARP目的地址

---------------------------------

尽管ARP监控可以只用一个目的地址来实现，但在高可靠性（High Availability）环境下，如果能够对多个目的地址进行监控也是很有用的。在只有一个目的地址的情况下，如果目标本身被关闭或者遇到问题以致无法响应ARP 请求，这时额外的一个目标（或更多）可以增加ARP监控的可靠性。

多ARP目的地址之间必须以逗号分割，如下：

# 3个目的地址的ARP监控选项示例

alias bond0 bonding

options bond0 arp_interval=60

arp_ip_target=192.168.0.1,192.168.0.3,192.168.0.9

如果只有一个目的地址，配置也很类似：

# 只有1个目的地址的ARP监控选项示例

alias bond0 bonding

options bond0 arp_interval=60 arp_ip_target=192.168.0.100

7.3 MII监控操作

---------------------------------

MII监控通过监控本地网络接口的载波状态来实现监控链路状态。可以通过3种方法之一来实现：通过依赖设备驱动来维护载波状态；通过查询设备的MII

寄存器；或者通过给设备发送ethtool查询。

如果模块参数use_carrier被设为1（缺省值），MII监控将会依赖于设备来获取载波状态信息（通过netif_carrier子系统）。正如前文介绍的use_carrier 参数信息，如果MII监控不能发现设备的载波消失（比如当电缆被物理拔断时），那有可能时设备不支持 netif_carrier。

如果use_carrier为0，MII监控首先会查询设备（通过ioctl）的MII寄存器并检查链路状态，如果查询失败（返回载波断开不属于失败），则MII监控会发送一个ethtool ETHOOL_GLINK查询以尝试获取类似的信息，如果两种方法都

失败了（设备不支持或者在处理MII寄存器和ethtool查询时发生了错误），那么 MII监控将会假定链路是正常的。

8. 潜在问题缘由

=================================

8.1 路由历险记

---------------------------------

如果配置了bonding，很重要的一点是slave设备不能拥有传递到master的路由（或者，通常根本没有路由），比如，假定bonding设备bond0有两个slave：eth0和eth1，路由表如下：

Kernel IP routing table

Destination Gateway Genmask Flags MSS

Window irtt Iface

10.0.0.0 0.0.0.0 255.255.0.0 U 40

0 0 eth0

10.0.0.0 0.0.0.0 255.255.0.0 U 40

0 0 eth1

10.0.0.0 0.0.0.0 255.255.0.0 U 40

0 0 bond0

127.0.0.0 0.0.0.0 255.0.0.0 U 40

0 0 lo

路由配置有可能持续更新设备的接收/发送次数（ARP监控需要），但可能旁路了bonding设备（在这个示例里，外出到网络网络10的流量将会在bond0之前使用eth0或者eth1）。

ARP监控（以及ARP本身）可能会被这个配置所混淆，因为ARP请求（ARP监控生成）会在某个接口（bond0）上发出，但对应的响应在另一个接口上到达（eth0），这个响应将会被视为一个未关联ARP响应（因为ARP通过接口进行匹配）。MII监控不会被路由表状态所影响。

这里的解决方法是：保证slave没有它们自己的路由，如果由于某些原因它们必须要有，这些路由不要传递到它们的master，通常情况下都是这样的，但某些特别的配置或者错误的操作或者静态添加路由可能会导致问题。

8.2 Ethernet设备重命名

---------------------------------

有些系统，它的网络配置脚本没有直接把网络接口名和物理设备关联（如果关联的话，同样的物理设备总是有同样的"ethX"名），对于这些系统，可能需要增加一些特别的逻辑到/etc/modules.conf或者/etc/modprobe.conf（由系统中安

装的部件决定）。

比如，某个modules.conf包含如下内容：

alias bond0 bonding

options bond0 mode=some-mode miimon=50

alias eth0 tg3

alias eth1 tg3

alias eth2 e1000

alias eth3 e1000

如果eth0和eth1都是bond0的slave，则当bond0接口启用时，这两个设备可能被重新排序，这是因为bonding会被首先加载，然后它的slave设备驱动才会加载，既然没有其他驱动被加载，当e1000驱动加载时，它将会把eth0和eth1认为是它的设备，但是bonding配置尝试把eth2和eth3从属过来（而eth2和eth3可能被赋予tg3设备）。

增加如下内容：

add above bonding e1000 tg3

这样，当bonding加载时，将会导致modprobe在tg3前加载e1000。该命令在modules.conf手册里有完整的描述。

对于使用modprobe.conf（或者modprobe.conf.local）的系统，同样的问题也会发生。这时，可以在modprobe.conf（或modprobe.conf.local）加入如下内容（所有内容在同一行，这里清晰起见分行了）：

install bonding /sbin/modprobe tg3; /sbin/modprobe e1000;

/sbin/modprobe --ignore-install bonding

这将会导致，当加载bonding模块时，除了执行正常的操作，同时还执行指定的命令，该命令以正确的顺序加载设备驱动，然后以--ignore- install来调用modprobe，这将导致随后调用通常的操作。完整的描述在modprobe.conf和modprobe的手册里。

8.3 速度变慢或Miimon无法监测到链路异常

---------------------------------

缺省地，bonding会启用use_carrier选项，这将使得bonding信任设备来维护载波状态。

正如在上文选项一节所述，某些驱动不支持netif_carrier_on/_off链路状态跟踪系统，当启用use_carrier，bonding将会永远认为链路是正常的，而不管

它们的实际状态。

而且，某些驱动虽然支持netif_carrier，但并不实时维护它，比如只是以某个固定的间隔轮训。在这种情况下，miimon会检测到链路异常，但是可能在某个很长的时间间隔后，如果发现miimon很慢才能检测到链路异常，尝试着设置use_carrier=0，看看能不能改善。如果可以改善，则很可能是驱动需要一个很长的固定间隔才会检查载波状态，而且没有缓存MII寄存器的值（因此当

use_carrier=0时查询寄存器可以正常工作）；如果use_carrier=0不能解决问题，则可能是驱动缓存了MII寄存器的值，或者是其它的问题。

同时，请记住miimon只会检查设备的载波状态，它无法判定设备是否处于打开状态，或对端交换机的状态，或交换机拒绝传输流量，即使载波状态依然正常。

9. SNMP代理

=================================

如果运行SNMP代理，bonding驱动应该在任何网络驱动参与到bond前被加载，这个要求是由于接口索引（ipAdEntIfIndex）被关联到第一个有着指定IP地址的被发现的接口，也就是说，对每个IP地址只有一个ipAdEntIfIndex，比如，如果eth0和eth1是bond0的 slave，eth0的驱动在bonding驱动前被加载，IP地址的接口将会被关联到eth0接口，配置如下，IP地址192.168.1.1将会使用接口索引2，这将指向ifDescr表（ifDescr.2）中的eth0：

interfaces.ifTable.ifEntry.ifDescr.1 = lo

interfaces.ifTable.ifEntry.ifDescr.2 = eth0

interfaces.ifTable.ifEntry.ifDescr.3 = eth1

interfaces.ifTable.ifEntry.ifDescr.4 = eth2

interfaces.ifTable.ifEntry.ifDescr.5 = eth3

interfaces.ifTable.ifEntry.ifDescr.6 = bond0

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.10.10.10.10 = 5

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.192.168.1.1 = 2

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.10.74.20.94 = 4

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.127.0.0.1 = 1

如果在所有参与到bond的网络驱动加载前加载bonding驱动，我们可以避免这个问题。如下是一个示例，它会首先加载bonding驱动，IP地址192.168.1.1被正确地关联到ifDescr.2：

interfaces.ifTable.ifEntry.ifDescr.1 = lo

interfaces.ifTable.ifEntry.ifDescr.2 = bond0

interfaces.ifTable.ifEntry.ifDescr.3 = eth0

interfaces.ifTable.ifEntry.ifDescr.4 = eth1

interfaces.ifTable.ifEntry.ifDescr.5 = eth2

interfaces.ifTable.ifEntry.ifDescr.6 = eth3

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.10.10.10.10 = 6

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.192.168.1.1 = 2

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.10.74.20.94 = 5

ip.ipAddrTable.ipAddrEntry.ipAdEntIfIndex.127.0.0.1 = 1

当某些发行包没有在ifDescr中报告接口名，IP地址和IfIndex的关联依然保留，而且SNMP功能，比如Interface_Scan_Next将会报告这些关联。

10. 混杂模式

=================================

当运行网络监控工具，比如tcpdump，经常会要打开设备德混杂模式，这样所有流量都会被发现（不仅仅看到目标为本机的流量）。bonding驱动处理针对bonding主设备的混杂模式（比如bond0），并把设定传播给其他slave设备。

对于balance-rr，balance-xor，broadcast和802.3ad模式，混杂模式设置会被传播给所有slave。

对于active-backup，balance-tlb和balance-alb模式，混杂模式设置仅会被传播给激活的slave。

对于balance-tlb模式，激活的slave是指当前正在接收inbound流量的slave。

对于balance-alb模式，激活的slave是指用做"primary"的slave，这个slave 用于模式相关的控制流量，对于发送到未指定对端或如果流量未做均衡。

----------------------------------------------------------------------------------------

For balance-alb mode, the active slave is the slave used as a "primary." This slave is used for mode-specific control traffic, for sending to peers that are unassigned or if the load is unbalanced.

----------------------------------------------------------------------------------------

对于active-backup，balance-tlb和balance-alb模式，当激活的slave改变时（比如由于链路异常），混杂设定会被传播给新的激活slave。

11. 配置Bonding用于高可靠性（High Availability，缩写为HA）

==========================================================

High Availability指提供最大网络可靠性的配置，通过在主机和其他设备间的冗余或备份设备、链路或交换机，目标是提供最大的网络链接可靠性（要求网络一直可用），尽管其它的配置可能提供更高的吞吐量（性能）。

11.1 单交换机拓扑下的HA

---------------------------------

如果两个主机（或一个主机和一个交换机）通过多个物理链路直连，想要优化最大带宽就不具有可行性。在这种情况下，只有一个交换机（或对端），如果它坏了，那没有替代的链接来接替。此外，bonding负载均衡模式支持成员的链路监控，因此如果单个链路坏了，负载将会被均衡到剩余的设备。

参看第12节“配置Bonding用于最大吞吐量”，如果你想配置只有一个对端设备的bonding。

11.2 多交换机拓扑下的HA

---------------------------------

如果有多个交换机，bonding和网络的配置戏剧性的发生了变化。在多交换机拓扑下，在网络可靠性和可用贷款间存在着平衡。

如下是一个简单的网络，配置用于最大化网络可靠性：

| |

|port3 port3|

+-----+----+ +-----+----+

| |port2 ISL port2| |

| switch A +--------------------------+ switch B |

| | | |

+-----+----+ +-----++---+

|port1 port1|

| +-------+ |

+-------------+ host1 +---------------+

eth0 +-------+ eth1

在该配置中，两个交换机间存在着一个链路（交换机间链路，ISL，Inter Switch Link），并存在多个连到外部的端口（每个交换机上的"port3"），从技术角度看，把它扩充到3个或更多交换机没有任何问题。

11.2.1 多交换机拓扑下的HA模式选择

---------------------------------

在如上例所示的拓扑中，可用于优化可靠性的bonding模式只有

active-backup和broadcast模式，其他的模式要求在同一个对端断开的所有链路能够有特定的行为。

active-backup: 通常是推荐的模式，尤其是如果交换机间存在ISL并能一起很好的工作。如果一个交换机被配置为备份交换机（比如，有更低的处理能力，更

高的费用等等），则可以使用primary选项来保证期望的链路在它可用时总是用它。

broadcast：该模式是一种特定目的的模式，只在特定的需求下才需要。比如，如果两个交换机没有互联（没有ISL），而且它们连接的网络是完全独立的，在这种情况下，如果需要某些特定的单向流量能够都到达这两个独立的网络，那可能需要broadcast模式。

11.2.2 多交换机拓扑下的HA链路监控选择

---------------------------------

链路监控的选择根本上是依赖于你的交换机，如果交换机可以在发生异常时可靠地断开端口，则MII或ARP监控都是可以的。比如，在上例中，如果"port3"在远端的链路异常，由于MII监控没有直连所以无法监测到，而ARP监控如果想监测到必须要配置为port3的远端的目标地址，这样如果没有路由器的支持，要想监测这一类错误时不可能的。

一般来说，在多交换机拓扑下，ARP监控可以在监测端到端连接错误（可能由任何独立部件在传输流量方面的异常导致）方面提供更高层的可靠性。此外，ARP 监控应该被配置为多个目标（至少网络里的每个交换机都有一个），这可以保证不管哪个交换机可用，ARP监控总是有个合适的目标来查询。

12. 配置Bonding用于最大吞吐量（Maximizing Throughput，缩写为MT）

===============================================================

12.1 单交换机拓扑下的最大吞吐量

---------------------------------

在单交换机配置情况下，最好的最大化吞吐量的方法依赖于应用程序和网络环境，不同的环境下，不同的负载均衡模式由不同的优点和缺点，如下文所述。

对这些讨论，我们将把拓扑分为两类，根据大部分流量的目的地，我们把拓扑分为“网关”（gatewayed）和“本地”（local）配置。

在网关型配置下，“交换机”主要时担当一个路由的功能，主要的网络流浪通过这个路由器到达其他网络，如下图所示：

+----------+ +----------+

| |eth0 port1| | to other networks | Host A +---------------------+ router +-------------------> | +---------------------+ | Hosts B and C are out | |eth1 port2| | here somewhere

+----------+ +----------+