Linux开源集群架构之keepalived应用详解

第03章

集群利器Keepalived

本章主要了解开源高可用负载均衡集群利器Keepalived，掌握Keepalived的安装，运用Keepalived配置高可用集群，并能够实现Keepalived与负均衡集群LVS的完美组合。

一、Keepalived概述

1、什么是Keepalived?

keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器

2、keepalived理论工作原理

Layer3,4&5工作在IP/TCP协议栈的IP层，TCP层，及应用层,原理分别如下：

Layer3：Keepalived使用Layer3的方式工作式时，Keepalived会定期向服务器群中的服务器发

送一个ICMP的数据包（既我们平时用的Ping程序）,如果发现某台服务的IP地址没有激活，Keepalived便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。

Layer4:主要以TCP端口的状态来决定服务器工作正常与否。如web server的服务端口一般是80，如果Keepalived检测到80端口没有启动，则Keepalived将把这台服务器从服务器群中删除。

Layer5：Layer5就是工作在具体的应用层了，比Layer3,Layer4要复杂一点，在网络上占用的带宽也要大一些。Keepalived将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则Keepalived将把服务器从服务器群中剔除。

3、keepalived作用

随着网站业务量的增长网站的服务器压力越来越大———需要负载均衡方案

同时要提供一个可持续的服务质量————高可用性HA

通过对服务器池对象的健康检查，实现对失效机器/服务的故障隔离。

负载均衡器间的失败切换failover，是通过VRRPv2（Virtual Router Redundancy Protocol）stack实现。

4、keepalived 体系结构

Keepalived 大致分两层结构：用户空间 user space和内核空间 kernel space图是来自官方站点https://www.360docs.net/doc/7215399794.html,/software_design.html关于其结构的展示如下。

在这个结构图里，处于下端的是内核空间，它包括ipvs和NETLINK两个部分。Ipvs的作用不再重复叙

述；netlink提供高级路由及其他相关的网络功能，如果我们在负载均衡器上启用netfilter/iptable,将会

直接影响它的性能。出于图形上方的组件为用户空间，由它来实现具体的功能，下面选取几个重要的来做说

明：

1）WatchDog负责监控checkers和VRRP进程的状况。

2）Checkers负责真实服务器的健康检查healthchecking，是keepalived最主要的功能。换句话说—可以没有VRRP Stack,但健康检查healthchecking是一定要有的。

3）VRRP Stack负责负载均衡器之间的失败切换Failover。如果只用一个负载均衡器，则VRRP不是必须的。

4) IPVS wrapper用来发送设定的规则到内核ipvs代码。

5) Netlink Reflector用来设定 vrrp 的vip地址等。

Keepalived功能十分强大，但配置工作十分的简单，Keepalived各种功能的实现是通过设置其配置文件keepalived.conf来完成的。

二、Keepalived的安装

1、安装Keepalived

Linux操作系统上安装软件一般都使用是二进制包(RPM是二进制包)或源码包tar包进行安装，tar包的安装方式基本上相同，三步骤：

[root@localhost ~]# wget https://www.360docs.net/doc/7215399794.html,/software/keepalived-1.2.1.tar.gz

[root@localhost ~]# tar zxvf keepalived-1.2.1.tar.gz

[root@localhost ~]# cd keepalived-1.2.1

[root@localhost keepalived-1.2.1]# ./configure

[root@localhost keepalived-1.2.1]# make && make install

新手在安装的过程中可能会遇到一些问题，根据错误提示可以轻松解决问。最常见的问题总结如下：Configure中错误问题汇总

1）无GCC等编译工具

[root@localhost keepalived-1.2.1]# ./configure

checking for gcc... no

checking for cc... no

checking for cl.exe... no

configure: error: in `/root/keepalived-1.2.1':

configure: error: no acceptable C compiler found in $PATH

See `config.log' for more details.

由提示可以看到，没有发现gcc cc编译工具，只需要安装即可。解决方法

[root@localhost ~]#yum install gcc gcc-C++

2）无openssl-devel支持

configure: error:

!!! OpenSSL is not properly installed on your system. !!!

!!! Can not include OpenSSL headers files. !!!

解决方法

[root@localhost ~]# yum install openssl-devel

3）无Use IPVS Framework 框架

Keepalived configuration

------------------------

Keepalived version : 1.2.1

Compiler : gcc

Compiler flags : -g -O2 -DETHERTYPE_IPV6=0x86dd Extra Lib : -lpopt -lssl -lcrypto

Use IPVS Framework : No

IPVS sync daemon support : No

Use VRRP Framework : Yes

Use Debug flags : No

解决方法：内核源码做软链接，查看是否有内核源码

[root@localhost ~]# ls /usr/src/kernels/

[root@localhost ~]# yum install kernel-devel ipvsadm

[root@localhost ~]# ln -s /usr/src/kernels/2.6.18-194.el5-i686/ /usr/src/linux

注：上面ln软链接时源地址根据系统版本的不同，目录名也不同

4）无MAKE工具

[root@localhost keepalived-1.2.1]# make && make install

-bash: make: command not found

解决方法

[root@localhost keepalived-1.2.1]# yum install make

Configure最后输出说明：

输出说明

Use IPVS Framework IPVS框架，即LVS的核心代码，如果不用LVS，可以在configure时指定参数

disable-lvs 这样，这里看到的就是NO

IPVS sync daemon support IPVS同步进程。可以用参数disables-lvs-syncd关

Use VRRP Framework VRRP框架，这基本上是必须的Keepalived的核心进程VRRPD

Use LinkWatch 内核发出的关于网卡状态信息来判断网卡工作状态

2、keepalived 安装验证

如果在安装Keepalived时指定了其安装路径，那么会在其安装目录(如/usr/local/keepalived）生成bin,etc,man,sbin这4个目录。其中etc为配置文件所在的目录。如果没有指定安装路径，自动会在/usr/local目录下创建相应的目录和文件。

[root@localhost ~]# cd /usr/local/etc/

[root@localhost etc]# ls

keepalived rc.d sysconfig

keepalived它的下面包含一些完整的例子配置文件：如下列出一部分

[root@localhost etc]# ls keepalived/samples/

client.pem keepalived.conf.track_interface

dh1024.pem keepalived.conf.virtualhost

keepalived.conf.fwmark keepalived.conf.virtual_server_group

keepalived.conf.HTTP_GET.port keepalived.conf.vrrp

注意：keepalived的启动过程并不会对配置文件进行语法检查，就算没有配置文件，keepalived的守护进程照样能够被运行起来。在默认状态下即不指定配置文件的位置keepalived先查找文件/etc/keepalived/keepalived.conf ，如果为了省事，可以手动创建这个文件，然后在这个文件里书写规

则，来达到控制keepalived运行的目的。

3、启动设置

A：[root@localhost ~]# /usr/local/sbin/keepalived -D

B：service启动方式

[root@localhost ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

[root@localhost ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

[root@localhost ~]# mkdir /etc/keepalived

[root@localhost ~]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

[root@localhost ~]# cp /usr/local/sbin/keepalived /usr/sbin/

[root@localhost ~]# service keepalived start

[root@localhost etc]# ps -ef | grep keepalived

root 2271 1 0 May30 ? 00:00:00 keepalived -D

root 2273 2271 0 May30 ? 00:00:00 keepalived -D

root 2274 2271 0 May30 ? 00:00:00 keepalived -D

Keepalived正常运行时，共启动3个进程，其中一个进程是父进程，负责监控其子进程；一个是vrrp 子进程；另外一个是checkers子进程。

三、Keepalived配置详解

Keepalived的所有配置都在一个配置文件里设置，支持的配置项也经较多。可分为三类：

第一类、全局配置(Global configuration)，第二类、VRRPD配置，第三类、LVS配置

全局配置：就是对整个Keepalived起作用的配置，不管是否使用LVS。

VRRPD：是Keepalived的核心。

LVS配置：只在使用Keepalived来配置和管理LVS时需要使用。如果仅使用Keepalived来做HA，LVS 的配置完全是不需要的。

1、全局配置

全局配置包括两个子配置：全局定义(global definition)、静态地址路由(static ipaddress/routes)

A：全局定义主要设置Keepalived的通知机制和标识：

global_defs

{

notification_email {

admin@https://www.360docs.net/doc/7215399794.html,

}

notification_email_from admin@https://www.360docs.net/doc/7215399794.html,

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id my_hostname

}

配置选项说明：

notification_email：指定Keepalived在发生事件时，需要发送Email到的对象，可以有多个，每行一个

smtp_*：指定发送email的smtp服务器

route_id：运行Keepalived的机器的一个标识。

B：静态地址和路由

所谓静态（static）就是说不会随vrrpd instance的开/关的变化的，VIP就不是static的，会随着vrrpd而添加/删除。这个配置可以用来给服务器配置静态的IP地址/路由。

静态地址和路由的配置结构：

static_ipaddress

{

192.168.1.1/24 brd + dev eth0 scope global

}

static_routes

{

src $SRC_IP to $DST_IP dev $SRC_DEVICE

......

src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE

}

2、VRRPD配置

VRRPD的配置也包括两个部份：VRRP同步组(synchroization group)、VRRP实例(VRRP Instance)

A：VRRP同步组

为什么要使用VRRP同步组？

假设不使用同步组。如果机器或路由有两个网段，一个内网一个外网，每个网段开启一个VRRP实例，假设VRRP配置为检查内网，那么外网出现问题时，VRRPD认为自己仍然健康，那么不会发送Master和Backup的切换。sync group就是为了解决这个问题，可以把两个实例都放进一个sync group。这样gropu里任何一个实例出现问题都会发生切换。

VRRP同步组配置结构

vrrp_sync_gropu VG_1 {

group {

inside_network

outside_network

......

}

notify_master /path/to/to_master.sh

notify_backup /path/to/to_backup.sh

notify_fault "/path/fault.sh VG_1"

notify /path/to/notify.sh

smtp_alert

}

notify_master：指定当切换到master时，执行的脚本，这个脚本可以传入参数

smtp_alert：使用global_defs里面定义的邮件地址和smtp服务器在切换后发送邮件通知

B：VRRP实例(VRRP Instance)

VRRP实例表示在上面开启了VRRP协议，这个实例说明了VRRP的一些特性。

vrrp_instance inside_network {

state MASTER/BACKUP 实例的初始状态

interface eth0 实例绑定的网卡

dont_track_primary 忽略VRRP的interface错误

lvs_sync_daemon_interface eth0 绑定eth0作为lvs同步的

track_interface { 设置额外的监控，里面的任意一个出现问题，都会进入fault状态eth0

eth1

}

mcast_src_ip 发送多播包的址址，默认使用绑定的网卡

garp_master_delay 10 在切换到master状态后，延迟进行 gratuitous ARP请求

virtual_router_id 51 VRID标记

priority 100 高优行级竞选为master,至少高backup 50

advert_int 1 检查间隔

authentication { 设置论证

auth_type PASS 认证方式，支持PASS和AH

autp_pass 1234 认证的密码

}

virtual_ipaddress { 漂移地址(VIP)

#/ brd dev scope label 192.168.200.17/24 dev eth1

192.168.200.18/24 dev eth2 label eth2:1

}

virtual_routes { 发生漂移时添加路由

# src [to] / via|gw dev scope src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1

192.168.110.0/24 via 192.168.200.254 dev eth1

192.168.111.0/24 dev eth2

192.168.112.0/24 via 192.168.100.254

}

nopreempt 设置为不抢占。这个配置只能在state为backup的主机上，而且这个主机的

priority必须比另台高

preemtp_delay 300 抢占延迟。5分钟

debug

}

3、LVS配置

LVS的配置有两个部份：虚拟主机组(virtual server group)、虚拟主机(virtual server)

A：虚拟主机组

可选的，目的是为了让一台RealServer上的某个service可以属于多个virtual server并且只做一次健康检查

virtual_server_group {

# VIP port

...

fwmark

}

B：虚拟主机配置详解

#虚拟服务器定义部分

virtual_server 10.0.0.10 80 { #设置虚拟服务器，需要指定虚拟ip地址和服务端口，ip与端口之间用空格隔开。

delay_loop 6 #设置健康检查时间，单位是秒。

lb_algo rr #设置负载调度算法

lb_kind DR #设置LVS实现负载均衡的机制，可以有NAT、TUN和DR三个模式。

persistence_timeout 50 #会话保持时间，单位是秒

protocol TCP #指定转发协议类型，有tcp和udp两种。

sorry_server #备机IP端口，所有的real server失效后启用

#节点服务器配置部份

real_server 10.0.0.11 80 { #配置服务节点，需要指定real server的真实IP地址和端口，ip与端口之间用空格隔开。

weight 3 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值的大小可以为不同性能的服务器分配不同的负载，可以对性能高的服务器设置较高的权值，而对性能较低的服务器设置相对较低的权值，这样就合理的利用和分配了系统资源。

inhibit_on_failure #健康检查失败诟，将weight设为0，不从IPVS里面删除

TCP_CHECK { #realserve的状态检测设置部分，单位是秒

connect_timeout 10 #10秒无响应超时

nb_get_retry 3 #重试次数