LVS+Keepalived部署全解

安装与配置

两台负载均衡器：

Lvs1:192.168.1.10

Lvs2:192.168.1.11

漂移地址(虚拟IP，VIP)：

Vip：192.168.1.169

Real Server：

RS1：192.168.1.102

RS2：192.168.1.103

LVS配置及ipvsadm和keepalived的安装

在lvs master和lvs backup主机上安装。

1．首先安装一些辅助package如下：

e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm

kernel-devel-2.6.32-642.el6.x86_64.rpm

keyutils-libs-devel-1.4-4.el6.x86_64.rpm

krb5-devel-1.10.3-10.el6_4.6.x86_64.rpm

libcom_err-devel-1.41.12-18.el6.x86_64.rpm

libnl-1.1.4-2.el6.x86_64.rpm

libnl-devel-1.1.4-2.el6.x86_64.rpm

libselinux-devel-2.0.94-5.3.el6_4.1.x86_64.rpm

libsepol-devel-2.0.41-4.el6.x86_64.rpm

zlib-devel-1.2.3-29.el6.x86_64.rpm

openssl-devel-1.0.1e-15.el6.x86_64.rpm

pkgconfig-0.23-9.1.el6.x86_64.rpm

popt-devel-1.13-7.el6.x86_64.rpm

popt-static-1.13-7.el6.i686.rpm

安装时可能出现缺少什么package，去iso中找或者网上下载然后安装就可以了

rpm –ivh XXXXXXXX.rpm

2．然后安装ipvsadm

将ipvsadm-1.26.tar.gz压缩文件复制到/usr/local/src/lvs/文件夹下，然后运行tar zxvf ipvsadm-1.26.tar.gz 命令。创建软连接ln –s /usr/src/kernels/2.6.32-431.el6.x86_64/ /usr/src/linux，然后进去ipvsadm-1.26文件夹cd ipvsadm-1.26，make && make install。

#find / -name ipvsdam 查找的安装位置

检查ipvsadm是否安装成功，可直接输入#ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

检查模块是否加入内核#lsmod| grep ip_vs

ip_vs 78081 0

3．安装keepalived

将keepalived-1.2.2.tar.gz复制到/usr/local/src/lvs/文件夹下，然后解压，运行tar keepalived-1.2.2.tar.gz 命令，然后进去keepalived-1.2.2文件夹下，然后运行配置文件./configure –prefix=/usr/local/keepalived。运行完后会产生以下效果：

Keepalived configuration

------------------------

Keepalived version : 1.2.2

Compiler : gcc

Compiler flags : -g -O2 -DETHERTYPE_IPV6=0x86dd

Extra Lib : -lpopt -lssl -lcrypto

Use IPVS Framework : Yes

IPVS sync daemon support : Yes

IPVS use libnl : No

Use VRRP Framework : Yes

Use Debug flags : No

注意：

Use IPVS Framework : Yes

IPVS sync daemon support : Yes这两项一定是yes

然后执行make && make install，安装keepalived。

查找keepalived的安装位置：

# find / -name keepalived

/usr/local/keepalived/etc/sysconfig/keepalived

/usr/local /keepalived/etc/rc.d/init.d/keepalived

/usr/local /keepalived/etc/keepalived

/usr/local /keepalived/sbin/keepalived

拷贝keepalived的配置文件到/etc目录下

# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

# cp /usr/local/ keepalived/ etc/sysconfig/keepalived /etc/sysconfig

# mkdir /etc/keepalived

# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived

# cp /usr/local/keepalived/sbin/keepalived /usr/sbin

将keepalived作为服务添加到chkconfig中，并设置开机启动

# chkconfig --add keepalived

# chkconfig --level 35 keepalived on

# chkconfig --list keepalived

keepalived 0:off 1:off 2:off 3:on 4:off 5:on 6:off

配置LVS

在LVS Master主机上，编写如下的配置信息：

vi/etc/keepalived/keepalived.conf

在编写配置文件时一定要注意“{”与前面一定要有一个空格，不然会出问题，如realserver连接不上lvs master等问题。

内容配置如下：

global_defs { #全局定义用来设置keepalived的通知机制和标识

router_id LVS_STUN #运行keepalived的机器的一个标识

}

vrrp_sync_group VGM { #VRRP同步组

group {

VI_1 #实例名

}

}

vrrp_instance VI_1 { #VRRP实例配置

state MASTER#负载均衡器的角色指定instance的初始状态，在两台router都启动后会竞选interface eth0 #承载VIP地址的物理接口，inside_network实例绑定的网卡

lvs_sync_daemon_inteface eth0 #lvs syncd绑定的网卡

virtual_router_id 51 #虚拟路由器的ID号，VRID标记(0-255)，主从设备必须相同

priority 100#竞选优先级，数字越大优先级越高，master要比backup高至少50

advert_int 5 #检查间隔秒数（心跳频率）

authentication { #本VRRP组的认证信息

auth_type PASS #认证方式，支持PASS和AH

auth_pass 1111 #认证的密码

}

virtual_ipaddress {#指定漂移地址(VIP)，切换至master时这些IP被添加，切换至backup时，这些192.168.1.169 #IP会被删除

#热备所针对的虚拟地址（VIP），可以有多个

}

}

virtual_server 192.168.1.169 80 { #虚拟主机，包括虚拟服务器的IP地址、端口VIP port delay_loop 2 #健康检查的间隔时间

lb_algo wrr #负载调度算法（wrr为根据权重轮询，其他参见ipvsadm手册）

lb_kind DR #负载均衡类型，常用的为DR、NAT方式

#persistence_timeout 1 #连接保持时间，适用于动态Web站点、FTP站点等情况

protocol TCP #协议类型

real_server 192.168.1.102 80 { #真实服务器的IP地址、端口

weight 1 #节点权重

#inhibit_on_failure #在服务器健康检查失败时，将其weight设置为0，而不是直接从IPVS里删除TCP_CHECK { #TCP健康检查

connect_timeout 10 #连接超时

nb_get_retry 3 #重试次数

delay_before_retry 3 #重试间隔

}

}

real_server 192.168.1.103 80 {

weight 1

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

}

}

}

virtual_server 192.168.1.169 3478 {

delay_loop 2

lb_algo wrr

lb_kind DR

persistence_timeout 10

protocol UDP

real_server 192.168.1.102 3478 {

weight 1

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

}

}

real_server 192.168.1.103 3478 {

weight 1

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

}

}

}

Backup服务器上也是同样的配置，先安装lvs，再安装keepalived，然后配置/etc/keepalived/keepalived.conf，只需将state 改为BACKUP，priority改为比上面的数字小50即可。然后通过service keepalived start启动keepalived服务，服务启动后，通过ipvsadm –ln来查看虚拟服

务器列表，

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.1.169:80 wrr persistent 60

-> 192.168.1.102:80 Route 1 0 0

-> 192.168.1.103:80 Route 1 0 0

同时，通过一个终端查看keepalived的日志，tail –f /var/log/messages

通过日志可以看到一台lvs的keepalived处于master状态，一台处于backup状态。

通过ip a可以发现master上绑定了虚拟ip：192.168.1.169

1: lo: mtu 16436 qdisc noqueue

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: mtu 1500 qdisc pfifo_fast qlen 1000 link/ether d0:0d:34:8d:06:80 brd ff:ff:ff:ff:ff:ff

inet 192.168.1.10/27 brd 192.168.1.31 scope global eth0

inet 192.168.1.169/32 scope global eth0

inet6 fe80::d20d:34ff:fe8d:680/64 scope link

valid_lft forever preferred_lft forever

而backup上并没有绑定虚拟ip

1: lo: mtu 16436 qdisc noqueue

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: mtu 1500 qdisc pfifo_fast qlen 1000 link/ether d0:0d:34:8d:06:80 brd ff:ff:ff:ff:ff:ff

inet 192.168.1.11/27 brd 172.19.1.31 scope global eth0

inet6 fe80::d20d:34ff:fe8d:680/64 scope link

valid_lft forever preferred_lft forever

当把master上的keepalived上的服务停掉时，service keepalived stop时，在backup上输入命令ip a会发现backup上绑定了vip，说明master服务停掉后会切换到backup上。

RealServer上的配置及apache2和turnserver的安装

分别在两台realserver上编写配置文件

vi/etc/init.d/lvsreal

#!/bin/bash

# chkconfig: 35 99 10

# description: tune lo:0 interface and arp response for lvs-real servers.

VIP="192.168.1.169"

VIP_MASK="255.255.255.255"

VIF="lo:0"

case "$1" in

start)

echo "Start lvsreal server for $VIP"

/sbin/ifconfig $VIF $VIP netmask $VIP_MASK up

/sbin/route add -host $VIP dev $VIF

/sbin/sysctl -w net.ipv4.conf.lo.arp_ignore=1 &> /dev/null

/sbin/sysctl -w net.ipv4.conf.lo.arp_announce=2 &> /dev/null /sbin/sysctl -w net.ipv4.conf.all.arp_ignore=1 &> /dev/null

/sbin/sysctl -w net.ipv4.conf.all.arp_announce=2 &> /dev/null ;;

stop)

echo "Stop lvsreal server for $VIP"

/sbin/ifconfig $VIF down

/sbin/route del -host $VIP

/sbin/sysctl -w net.ipv4.conf.lo.arp_ignore=0 &> /dev/null

/sbin/sysctl -w net.ipv4.conf.lo.arp_announce=0 &> /dev/null /sbin/sysctl -w net.ipv4.conf.all.arp_ignore=0 &> /dev/null

/sbin/sysctl -w net.ipv4.conf.all.arp_announce=0 &> /dev/null ;;

*)

echo "Usage: $0 {start|stop}"

exit 1

esac

(还有另一种写法)

修改权限

chmod +x /etc/init.d/lvsreal

chkconfig –add lvsreal

service lvsreal start

在realserver上安装apache2

首先安装依赖包apr

tar zxvf apr-1.4.6.tar.gz

cd apr-1.4.6

./configure --prefix=/usr/local/apr

make && make install

安装apr-util

tar zxvf apr-util-1.4.1.tar.gz

cd apr-util-1.4.1

./configure --prefix=/usr/local/apr-util –with-apr= / usr/local/apr

make && make install

安装pcre

tar zxvf pcre-8.30.tar.gz

cd pcre-8.30

./configure --prefix=/etc/local/pcre

make && make install

安装apache2

tar zxvf httpd-2.4.2.tar.gz

cd httpd-2.4.2

./configure --prefix=/usr/local/apache2 --enable-so --enable-rewrite=shared --with-mpm=prefork --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --with-pcre=/usr/local/pcre

make && make install

修改httpd配置

vi /etc/httpd/conf/httpd.conf

将注释掉的ServiceName 取消注释，并写为ServiceName localhost:80

然后在/var/www/httpd/index.html或者/usr/local/apache2/htdocs/index.html中写入自定义显示内容，如

I am 192.168.1.102!

< /body>，然后启动apache，

service apache start

然后在浏览器上输入http://localhost，会显示刚才自定义的内容，说明apache已成功启动。或者在终端上输入curl http://localhost，也会显示自定义内容。

在realserver上安装turnserver

安装依赖项confuse

tar zxvf confuse-2.7.tar.gz

cd confuse-2.7

./configure --prefix=/usr/local/confuse

安装turnserver

bzip2 –b turnserver-0.7.3.tar.bz2

cd turnserver-0.7.3

autoreconf –install

./configure –enable-debug-build --prefix=/usr/local/turnserver

make && make install

cp extra/turnserver.conf.template /etc/turnserver.conf

cp extra/turnusers.txt.tempalte /etc/turnserver.txt

编辑配置文件

vi /etc/turnserver.conf

listen_address={“1.2.3.4”} 公网IP

daemon=true 修改为后台服务方式

account_file=”/etc/turnserver.txt”指定账户文件位置，与上文的拷贝位置相同

vi /etc/turnusers.txt

添加一行或者多行认证信息，信息格式为：用户名：密码：https://www.360docs.net/doc/3d288050.html,：authorized

配置完成，启动turnserver

./turnserver -c /etc/turnserver.conf

在realserver上执行ip a，会显示如下信息

1: lo: mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet 192.168.1.169/32 brd 192.168.1.19 scope global lo:0

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether d0:0d:31:a6:07:17 brd ff:ff:ff:ff:ff:ff

inet 192.168.1.102/27 brd 172.19.1.31 scope global eth0

inet6 fe80::d20d:31ff:fea6:717/64 scope link

到此，完全配置及安装完成。

验证：

将lvs1和lvs2上的keepalived服务开启，将两台realserver中的httpd服务、lvsreal以及turnserver开启，然后在处了这四台host以外的另一台主机上执行curl http://192.168.1.169，可以看到循环出现

I am 192.168.1.102!

< /body>和

I am 192.168.1.103!

< /body>，在lvs1上执行ip a 可以看到

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.1.169:80 wrr persistent 60

-> 192.168.1.102:80 Route 1 0 4

-> 192.168.1.103:80 Route 1 0 3

附：

Ipvsadm命令

#ipvsadm --help

ipvsadm v1.26 2008/5/15 (compiled with popt and IPVS v1.2.1)

Usage:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] ipvsadm -D -t|u|f service-address

ipvsadm -C

ipvsadm -R

ipvsadm -S [-n]

ipvsadm -a|e -t|u|f service-address -r server-address [options]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

ipvsadm --set tcp tcpfin udp

ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid] ipvsadm --stop-daemon state

ipvsadm -h

Commands:

Either long or short options are allowed.

--add-service -A add virtual service with options

--edit-service -E edit virtual service with options

--delete-service -D delete virtual service

--clear -C clear the whole table

--restore -R restore rules from stdin

--save -S save rules to stdout

--add-server -a add real server with options

--edit-server -e edit real server with options

--delete-server -d delete real server

--list -L|-l list the table

--zero -Z zero counters in a service or all services

--set tcp tcpfin udp set connection timeout values

--start-daemon start connection sync daemon

--stop-daemon stop connection sync daemon

--help -h display this help message

Options:

--tcp-service -t service-address service-address is host[:port]

--udp-service -u service-address service-address is host[:port]

--fwmark-service -f fwmark fwmark is an integer greater than zero

--ipv6 -6 fwmark entry uses IPv6

--scheduler -s scheduler one of rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,

the default scheduler is wlc.

--pe engine alternate persistence engine may be sip,

not set by default.

--persistent -p [timeout] persistent service

--netmask -M netmask persistent granularity mask

--real-server -r server-address server-address is host (and port)

--gatewaying -g gatewaying (direct routing) (default)

--ipip -i ipip encapsulation (tunneling)

--masquerading -m masquerading (NAT)

--weight -w weight capacity of real server

--u-threshold -x uthreshold upper threshold of connections

--l-threshold -y lthreshold lower threshold of connections

--mcast-interface interface multicast interface for connection sync

--syncid sid syncid for connection sync (default=255)

--connection -c output of current IPVS connections

--timeout output of timeout (tcp tcpfin udp)

--daemon output of daemon information

--stats output of statistics information

--rate output of rate information

--exact expand numbers (display exact values)

--thresholds output of thresholds information

--persistent-conn output of persistent connection info

--nosort disable sorting output of service/server entries

--sort does nothing, for backwards compatibility

--ops -o one-packet scheduling

--numeric -n numeric output of addresses and ports

含义

-A (--add-service) 在内核的虚拟服务器列表中添加一条新的虚拟IP记录。也就是增加一台新的虚拟服务器。虚拟IP也就是虚拟服务器的IP地址。

-E (--edit-service) 编辑内核虚拟服务器列表中的一条虚拟服务器记录

-D (--delete-service) 删除内核虚拟服务器列表中的一条虚拟服务器记录

-C (--clear) 清除内核虚拟服务器列表中的所有记录

-R (--restore) 恢复虚拟服务器规则

-S (--save) 保存虚拟服务器规则，输出为-R 选项可读的格式

-a (--add-server) 在内核虚拟服务器列表的一条记录里添加一条新的Real Server记录。也就是在一个虚拟服务器中增加一台新的Real Server

-e (--edit-server) 编辑一条虚拟服务器记录中的某条Real Server记录

-d (--delete-server) 删除一条虚拟服务器记录中的某条Real Server记录

-L|-l –list 显示内核中虚拟服务器列表

-Z (--zero) 虚拟服务器列表计数器清零（清空当前的连接数量等）

--set tcp tcpfin udp 设置连接超时值

-t 说明虚拟服务器提供的是tcp服务，此选项后面跟如下格式：

[virtual-service-address:port] or [real-server-ip:port]

-u 说明虚拟服务器提供的是udp服务，此选项后面跟如下格式：

[virtual-service-address:port] or [real-server-ip:port]

-f fwmark 说明是经过iptables标记过的服务类型

-s 此选项后面跟LVS使用的调度算法

有这样几个选项：rr|wrr|lc|wlc|lblc|lblcr|dh|sh

默认的调度算法是：wlc

-p [timeout] 在某个Real Server上持续的服务时间。也就是说来自同一个用户的多次请求，将被同一个Real Server处理。此参数一般用于有动态请求的操作中，timeout 的默认值为300 秒。例如：-p 600，表示持续服务时间为600秒。

-r 指定Real Server的IP地址，此选项后面跟如下格式：

[real-server-ip:port]

-g (--gatewaying) 指定LVS 的工作模式为直接路由模式（此模式是LVS 默认工作模式）

-i (-ipip) 指定LVS 的工作模式为隧道模式

-m (--masquerading) 指定LVS 的工作模式为NAT模式

-w (--weight) weight 指定Real Server的权值

-c (--connection) 显示LVS目前的连接信息如：ipvsadm -L -c

-L --timeout 显示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout

-L --daemon 显示同步守护进程状态，例如：ipvsadm -L –daemon

-L --stats 显示统计信息，例如：ipvsadm -L –stats

-L --rate 显示速率信息，例如：ipvsadm -L --rate

-L --sort 对虚拟服务器和真实服务器排序输出，例如：ipvsadm -L --sort