LINUX集群部署LVS
百万用户同时在线游戏服务器架构实现
百万用户在线网络游戏服务器架构实现一、前言事实上100万游戏服务器，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高效率的编程语言、高性能的数据库、还有高性能的架构模型。
但是除了这几个方面，还没法根本解决面临的高负载和高并发问题。
当然用户不断地追求更高的机器性能，而升级单一的服务器系统，往往造成过高的投入和维护成本，性价比大大低于预期。
同时全天候的可用性的要求也不能满足要求，如果服务器出现故障则该项服务肯定会终止。
所以单独追求高性能的服务器不能满足要求，目前基本的解决方案是使用集群技术做负载均衡，可以把整体性能不高的服务器做成高可扩展性，高可用性，高性能的，满足目前的要求。
目前解决客户端和服务器进行底层通讯的交互的双向I/O模型的服务器的成熟方案。
1.windows下，比较成熟的技术是采用IOCP,完成端口的服务器模型。
2.Linux下，比较成熟的技术是采用Epoll服务器模型, Linux 2.6内核中提供的System Epoll为我们提供了一套完美的解决方案。
目前如上服务器模型是完全可以达到5K到20K的同时在线量的。
但5K这样的数值离百万这样的数值实在相差太大了，所以，百万人的同时在线是单台服务器肯定无法实现的。
而且目前几个比较成熟的开发框架，比如ICE,ACE等。
这样，当采用一种新的通信技术来实现通信底层时，框架本身就不用做任何修改了（或修改很少）,而功能很容易实现，性能达到最优。
目前采用的ace框架个不错的选择方案,可以不受操作系统的影响，移植比较方便。
对于数据库选择可有许多成熟的方案，目前大多数选择的mysql Master/slave模式，以及oracle RAC方案。
基本可以满足目前的要求，但具体的瓶颈不是在数据库本身，应该还是硬件磁盘I/O的影响更大些。
建议使用盘阵。
这有其他成熟的方案，比如采用NAS解决分布数据存储。
其实最为关键的是服务器的架构和实现，数据流量的负载均衡，体系的安全性，关键影响度，共享数据的处理等等多个方面对100万用户的数据处理有影响，所以都要全面的考虑。
LVS keepalived负载均衡高可用 配置安装大全
LVS+Keepalived实现高可用集群一、基础介绍 (2)二、搭建配置LVS-NA T模式 (2)三、搭建配置LVS-DR模式 (4)四、另外一种脚本方式实现上面LVS-DR模式 (6)五、keepalived + LVS(DR模式) 高可用 (8)六、Keepalived 配置文件详细介绍 (11)一、基础介绍(一)根据业务目标分成三类：High Availability 高可用Load Balancing 负载均衡High Performance 高性能(二)实现集群产品：HA类：rhcs、heartbeat、keepalivedLB类：haproxy、lvs、nginx、f5、piranhaHPC类：/index/downfile/infor_id/42(三)LVS 负载均衡有三种模式：LVS-DR模式（direct router）直接路由模式进必须经过分发器，出就直接出LVS-NAT模式（network address translation）进出必须都经过分发器LVS-TUN模式（ip tunneling）IP隧道模式服务器可以放到全国各地二、搭建配置LVS-NAT模式1 、服务器IP规划：DR服务器添加一张网卡eth1，一个网卡做DIP，一个网口做VIP。
设置DIP、VIP IP地址:DIP的eth1和所有RIP相连同一个网段CIP和DIP的eth0(Vip)相连同一个网段Vip eth0 192.168.50.200Dip eth1 192.168.58.4客户机IP：Cip 192.168.50.32台真实服务器IP：Rip1 192.168.58.2Rip2 192.168.58.32 、R ealServer1配置：mount /dev/xvdd /media/vi /var/www/html/index.html写入：this is realserver1启动httpdvi /etc/sysconfig/network-scripts/ifcfg-eth0设置RIP,子网掩码必须设置成DIPIPADDR=192.168.58.2NETMASK=255.255.255.0GA TEWAY=192.168.58.43 、R ealServer2 配置：vi /var/www/html/index.html写入：this is realserver2启动httpdvi /etc/sysconfig/network-scripts/ifcfg-eth0设置RIP，子网掩码必须设置成DIPIPADDR=192.168.58.3NETMASK=255.255.255.0GA TEWAY=192.168.58.44 、在DR服务器上做以下设置：开启IP数据包转发vi /etc/sysctl.confnet.ipv4.ip_forward = 0 ##0改成1 ,此步很重要查看是否开启：sysctl -p5 、安装LVS服务：ipvsadmyum -y install ipvsadmlsmod |grep ip_vsTurbolinux系统没有带rpm包，必须下载源码安装：#ln -s /usr/src/kernels/2.6.18-164.el5-x86_64/ /usr/src/linux##如果不做连接，编译时会包错#tar zxvf ipvsadm-1.24.tar.gz#cd ipvsadm-1.24#make && make install运行下ipvsadm ，就加到ip_vs模块到内核了lsmod | grep ip 可以看到有ip_vs模块了6 、配置DR服务器,添加虚拟服务ipvsadm -L -n 查询信息ipvsadm -A -t 192.168.50.200:80 -s rr #添加集群服务、调度算法，rr为调度算法ipvsadm -a -t 192.168.50.200:80 -r 192.168.58.2 -m -w 1 # -m代表net模式，-w代表权重ipvsadm -a -t 192.168.50.200:80 -r 192.168.58.3 -m -w 2ipvsadm -L -n 再次查看是就有了realserverservice ipvsadm save 保存配置iptables -L 关闭或者清空防火墙watch -n 1 'ipvsadm -L -n' 查看访问记录的数显示如下：-> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.50.200:80 rr-> 192.168.58.2:80 Masq 1 0 13-> 192.168.58.3:80 Masq 2 0 12ActiveConn是活动连接数,也就是tcp连接状态的ESTABLISHED;InActConn是指除了ESTABLISHED以外的,所有的其它状态的tcp连接.7 、测试：http://192.168.58.200配完后若想修改算法：ipvsadm -E -t 192.168.58.200:80 -s wlc修改Rip的权重：ipvsadm -e -t 192.168.58.200:80 -r 192.168.58.2 -m -w 1ipvsadm -e -t 192.168.58.200:80 -r 192.168.58.3 -m -w 5三、搭建配置LVS-DR模式lo:1 回应客户端，lo:1上的IP跟机器有关，跟网卡没有关系arp_announce 对网络接口上本地IP地址发出的ARP回应作出相应级别的限制arp_ignore 定义对目标地址为本地IP的ARP询问不同的请求一、3台服务器IP配置规划：DIP：eth0:1 192.168.58.200/32 (VIP)eth0 192.168.58.3/24 (DIP)RIP1 lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.4/24RIP2 lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.5/24 .................................................................RIP n lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.N/24二、每台realserver都加上下面四个步骤配置：1 、配置每台rip的IP、http,web页面2 、关闭每台rip服务器的ARP广播：echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/lo/arp_announceecho 1 > /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/all/arp_announce3 、配置VIPifconfig lo:1 192.168.58.200 netmask 255.255.255.255 broadcast 192.168.58.200 up4 、配置网关route add -host 192.168.58.200 dev lo:1三、DR上的配置（DR模式下Dip不用开启转发）：1 、配置DIP，在eth0上添加一个子VIP接口：添加VIP：ifconfig eth0:1 192.168.58.200 broadcast 192.168.58.200 netmask 255.255.255.255 up2 、配置网关：route add -host 192.168.58.200 dev eth0:1route -n3 、安装ipvsadm(方法见文档上面）yum -y install ipvsadmlsmod |grep ip_vs4 、配置LVS集群：ipvsadm -A -t 192.168.58.200:80 -s rr #添加集群服务、调度算法，rr为调度算法ipvsadm -a -t 192.168.58.200:80 -r 192.168.58.3 -g -w 1 # -g代表DR模式，-w代表权重ipvsadm -a -t 192.168.58.200:80 -r 192.168.58.2 -g -w 2service ipvsadm saveipvsadm -L -n 查看信息四、测试：http://192.168.58.200四、另外一种脚本方式实现上面LVS-DR模式IP规划：Dip eth0 192.168.58.139VIP：192.168.58.200RIP1：192.168.58.2RIP2：192.168.58.31 、D R服务器上安装ipvsadm#yum -y install ipvsadm#lsmod | grep ip_vs 查看没有输出#modprobe ip_vs 安装即可2 、配置DIP服务器、LVS这里也是个写脚本为了方便vim /etc/init.d/lvsdr#!/bin/bash#lvs of DRVIP=192.168.58.200RIP1=192.168.58.2RIP2=192.168.58.3case "$1" instart)echo "start lvs of DR"/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.0 up echo "1" > /proc/sys/net/ipv4/ip_forward/sbin/iptables -C/sbin/ipvsadm -A -t $VIP:80 -s rr/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g/sbin/ipvsadm;;stop)echo "stop lvs of DR"echo "0" > /proc/sys/net/ipv4/ip_forward/sbin/ipvsadm -C/sbin/ifconfig eth0:0 down;;*)echo "Usage :$0 {start|stop}"exit1esacexit 0#chmod o+x /etc/init.d/lvsdr启动脚本：#service lvsdr start3 、2台RIP服务器都配置这里我们也都可以写成脚本开启2台RIP的httpd服务。
Linux 实战工程师系列 - Linux集群DR模式实
LINUX集群-DR直接路由VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器上。
而真实服务器将响应直接返回给客户。
VS/DR技术可极大地提高集群系统的伸缩性。
这种方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持的IP隧道协议的要求，但是要去调度器与真实服务器都有一块网卡连在同一物理网段上。
VS/DR，直接路由模式如上图，客户向VIP发送请求，LVS通过改写mac地址，将请求提交到web server（真实的），然后web server将用户的请求直接返回给客户（中间不在经过LVS，这样减少LVS的负担，而VS/NAT模式web server返回给客户的请求也要经过LVS）设置VIP脚本（LVS服务器）Directorserver 222.90.88.30VIP=222.90.88.88Realserver 222.90.88.10Realserver 222.90.88.20gw 222.90.88.1### Directorserver Configure VIP######ifconfig eth0:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 uproute add -host 222.90.88.88 dev eth0:0######setup ipvs######ipvsadm -A -t 222.90.88.88:80 -s rr （rr：轮叫模式）ipvsadm -a -t 222.90.88.88:80 -r 222.90.88.10 -g （-g：dr模式）ipvsadm -a -t 222.90.88.88:80 -r 222.90.88.20 -gipvsadmWeb Server1和2配置脚本######realserver######ifconfig lo:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 uproute add -host 222.90.88.88 dev lo:0 （这边是通过改写MAC地址）echo “1” > /proc/sys/net/ipv4/conf/lo/arp_ignore （关闭arp的发包和广播）echo “2” > /proc/sys/net/ipv4/conf/lo/arp_announceecho “1” > /proc/sys/net/ipv4/conf/all/arp_ignoreecho “2” > /proc/sys/net/ipv4/conf/all/arp_announcesysctl -p操作：设置VIP脚本（LVS服务器）#vim /etc/init.d/vip.shifconfig eth0:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 up（设置虚拟IP）route add -host 222.90.88.88 dev eth0:0 （给IP加上路由）ipvsadm -Cipvsadm -A -t 222.90.88.88:80 -s rripvsadm -a -t 222.90.88.88:80 -r 222.90.88.10 -gipvsadm -a -t 222.90.88.88:80 -r 222.90.88.20 -gipvsadm#chmod 777 /etc/init.d/vip.shWeb Server1和2配置脚本#vim /etc/init.d/lvs.shifconfig lo:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 uproute add -host 222.90.88.88 dev lo:0echo “1” > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho “2” > /proc/sys/net/ipv4/conf/lo/arp_announceecho “1” > /proc/sys/net/ipv4/conf/all/arp_ignoreecho “2” > /proc/sys/net/ipv4/conf/all/arp_announcesysctl -p（注：eth0，eth1，eth2……代表网卡一，网卡二，网卡三……lo代表127.0.0.1，即localhost）#chmod 777 lvs.sh#vim /var/www/html/index.html（Web Server 1）this is sev1#service httpd start#vim /var/www/html/index.html（Web Server 2）this is sev2#service httpd start客户端用http://222.90.88.88访问web服务，间隔产生this is sev1和this is sev2LVS--ipvsadm命令参数ipvsadm的用法和格式如下：ipvsadm -A|E -t|u|f virtual-service-address:port[-s scheduler] [-p timeout] [-M netmask]ipvsadm -D -t|u|f virtual-service-addressipvsadm -Cipvsadm -Ripvsadm -S [-n]ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]ipvsadm -d -t|u|f service-address -r server-addressipvsadm -L|I [options]ipvsadm -Z [-t|u|f service-address]ipvsadm --set tcp tcpfin udpipvsadm --start -deamon state [--mcast -interface interface] ipvsadm --stop-deamonipvsadm -h。
LVS+NGINX+TOMCAT 集群实施操作记录
IP：Eth0:192.168.100.115Eth1:192.168.100.215Vi /etc/init.d./lvs#!/bin/sh## lvs Start lvs## chkconfig: 2345 08 92# description: Starts, stops and saves lvs#SNS_VIP=192.168.100.215SNS_RIP1=192.168.100.114SNS_RIP2=192.168.100.113. /etc/rc.d/init.d/functions#logger $0 called with $1retval=0start(){#set squid vip/sbin/ipvsadm --set 30 5 60#/sbin/ifconfig eth0:0 $SNS_VIP broadcast $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP up#/sbin/route add -host $SNS_VIP dev eth0:0/sbin/ipvsadm -A -t $SNS_VIP:80 -s rr/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1 -g/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2 -gtouch /var/lock/subsys/ipvsadm > /dev/null 2 >&1echo "ipvsadm started"}stop(){/sbin/ipvsadm -C/sbin/ipvsadm -Z#ifconfig eth0:0 down#route del $SNS_VIPrm -rf /var/lock/subsys/ipvsadm > /dev/null 2 >&1echo "ipvsadm stoped"}status(){if [ ! -e /var/lock/subsys/ipvsadm ];thenecho "ipvsadm stoped"exit 1elseecho "ipvsadm OK"fi}case "$1" instart)start;;stop)stop;;status)status;;restart)stopstart;;*)echo $"Usage: $0 {start|stop|status}"retval=1esacexit $retvalkeepalvivedtar xf keepalived-1.2.7.tar.gzcd keepalived-1.2.7./configure --prefix=/ --mandir=/usr/local/share/man/ --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64Makemake installcd /etc/keepalived/mv keepalived.conf keepalived.conf.default chkconfig --add keepalivedchkconfig keepalived onvim /etc/keepalived/keepalived.conf! Configuration File for keepalivedglobal_defs {notification_email {root@localhost}notification_email_from root@localhost smtp_server 127.0.0.1smtp_connect_timeout 30router_id Director1}#VRRP（虚拟路由冗余协议）实例配置vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 51priority 150advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.122.254/24 eth1}}#LVS配置virtual_server 192.168.100.215 80 {delay_loop 3lb_algo rrlb_kind DRnat_mask 255.255.255.0# persistence_timeout 50protocol TCPreal_server 192.168.100.113 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 10nb_get_retry 3delay_before_retry 3}}real_server 192.168.100.114 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 10nb_get_retry 3delay_before_retry 3}}}}LVS-realserverIp 192.168.100.113Ip 192.168.100.114Vi /etc/init.d/rsup#!/bin/bashVIP=192.168.100.215ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up #route add –host $VIP dev lo:0echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announce#sysctl –pIp 192.168.100.122（nfs）Ip 192.168.100.113Ip 192.168.100.114#安装zlibtar xzvf zlib-1.2.3.tar.gzcd zlib-1.2.3./configuremake && make install#安装pcretar zxvf pcre-7.9.tar.gzcd pcre-7.9./configure --prefix=/usr/local/pcremake && make installwget /download/nginx_mod_h264_streaming-2.2.7.tar.gztar -zxvf nginx_mod_h264_streaming-2.2.7.tar.gzunzip nginx_upstream_check_module-master.zipmv ./nginx_upstream_check_module-master /root/healthtar -xvf nginx-1.4.1.tar.gz -C /usr/src/useradd nginxcd /usr/src/nginx-1.4.1patch -p1 < /root/health/check_1.2.6+.patch./configure --user=nginx --group=nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-http_flv_module --add-module=../nginx_mod_h264_streaming-2.2.7 --with-pcre=/softw are/pcre-7.9 --with-zlib=/software/zlib-1.2.3 --prefix=/usr/local/nginx --add-module=/root/healthmake && make install/usr/local/nginx/sbin/nginx开机自动启动vi /etc/init.d/nginx#!/bin/bash## nginx - this script starts and stops the nginx daemin# chkconfig: - 85 15# description: Nginx is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server# processname: nginx# config: /usr/local/nginx/conf/nginx.conf# pidfile: /usr/local/nginx/logs/nginx.pid# Source function library.. /etc/rc.d/init.d/functions# Source networking configuration.. /etc/sysconfig/network# Check that networking is up.[ "$NETWORKING" = "no" ] && exit 0nginx="/usr/local/nginx/sbin/nginx"prog=$(basename $nginx)NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"lockfile=/var/lock/subsys/nginxstart() {[ -x $nginx ] || exit 5[ -f $NGINX_CONF_FILE ] || exit 6echo -n $"Starting $prog: "daemon $nginx -c $NGINX_CONF_FILEretval=$?echo[ $retval -eq 0 ] && touch $lockfilereturn $retval}stop() {echo -n $"Stopping $prog: "killproc $prog -QUITretval=$?echo[ $retval -eq 0 ] && rm -f $lockfilereturn $retval}restart() {configtest || return $?stopstart}reload() {configtest || return $?echo -n $"Reloading $prog: "killproc $nginx -HUPRETVAL=$?echo}force_reload() {restart}configtest() {$nginx -t -c $NGINX_CONF_FILE }rh_status() {status $prog}rh_status_q() {rh_status >/dev/null 2>&1 }case "$1" instart)rh_status_q && exit 0$1;;stop)rh_status_q || exit 0$1;;restart|configtest)$1;;reload)rh_status_q || exit 7$1;;force-reload)force_reload;;status)rh_status;;condrestart|try-restart)rh_status_q || exit 0;;*)echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"exit 2esac############################################################################## 改权限chmod 755 /etc/init.d/nginxchkconfig nginx onchkconfig --list nginxnginx 0:off 1:off 2:on 3:on 4:on 5:on 6:offservice nginx startservice nginx stopservice nginx restartservice nginx reload/etc/init.d/nginx start/etc/init.d/nginx stop/etc/init.d/nginx restart/etc/init.d/nginx reloadNginx 配置文件vi /usr/local/nginx/conf/nginx.conf#user nginx nginx;worker_processes 12;error_log /usr/local/nginx/logs/error.log crit;pid /usr/local/nginx/logs/nginx.pid;worker_rlimit_nofile 65535;events{use epoll;worker_connections 204800;}http{include mime.types;default_type application/octet-stream;charset utf-8;server_names_hash_bucket_size 128;client_header_buffer_size 2k;large_client_header_buffers 4 4k;client_max_body_size 8m;sendfile on;tcp_nopush on;keepalive_timeout 60;fastcgi_cache_path /usr/local/nginx/fastcgi_temp levels=1:2keys_zone=TEST:10minactive=5m;fastcgi_connect_timeout 300;fastcgi_send_timeout 300;fastcgi_read_timeout 300;fastcgi_buffer_size 1638;fastcgi_buffers 16 16k;fastcgi_busy_buffers_size 16k;fastcgi_temp_file_write_size 16k;fastcgi_cache TEST;fastcgi_cache_valid 200 302 1h;fastcgi_cache_valid 301 1d;fastcgi_cache_valid any 1m;fastcgi_cache_min_uses 1;fastcgi_cache_use_stale error timeout invalid_header http_500;open_file_cache max=204800 inactive=20s;open_file_cache_min_uses 1;open_file_cache_valid 30s;tcp_nodelay on;gzip on;gzip_min_length 1k;gzip_buffers 4 16k;gzip_http_version 1.0;gzip_comp_level 2;gzip_types text/plain application/x-javascript text/css application/xml; gzip_vary on;upstream nginx_server {ip_hash;server 192.168.100.122:80;}upstream web_server {ip_hash;server 192.168.100.131:9001;server 192.168.100.132:9001;server 192.168.100.133:9001;server 192.168.100.134:9001;check interval=3000 rise=2 fall=5 timeout=1000;}upstream napi_server {ip_hash;server 192.168.100.131:9002;server 192.168.100.132:9002;server 192.168.100.133:9002;server 192.168.100.134:9002;server 192.168.100.131:9003;server 192.168.100.132:9003;server 192.168.100.133:9003;server 192.168.100.134:9003;server 192.168.100.131:9004;server 192.168.100.132:9004;server 192.168.100.133:9004;server 192.168.100.134:9004;check interval=3000 rise=2 fall=5 timeout=1000;}upstream oapi_server {ip_hash;server 192.168.100.131:9005;server 192.168.100.132:9005;server 192.168.100.133:9005;server 192.168.100.134:9005;server 192.168.100.131:9006;server 192.168.100.132:9006;server 192.168.100.133:9006;server 192.168.100.134:9006;check interval=3000 rise=2 fall=5 timeout=1000;}server {listen 80;server_name localhost;location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|html|mp3|wma|wmv)${root /usr/wodm/;proxy_pass http://nginx_server;}location ~ .*\.(js|css)?${expires 1h;}location /NginxStatus{stub_status on;access_log on;auth_basic "NginxStatus";#auth_basic_user_file conf/htpasswd;}location /nstatus {check_status;access_log off;}error_page 500 502 503 504 /50x.html;location = /50x.html {root html;}}log_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" $http_x_forwarded_for';access_log /usr/local/nginx/logs/access.log access;include /usr/local/nginx/conf/vhost/*.conf;}Nginx(nfs)Nginx.conf#user nginx nginx;worker_processes 16;#worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;error_log /usr/local/nginx/logs/error.log crit;pid /usr/local/nginx/logs/nginx.pid;worker_rlimit_nofile 204800;events{use epoll;worker_connections 204800;}http{include mime.types;default_type application/octet-stream;charset utf-8;server_names_hash_bucket_size 128;client_header_buffer_size 2k;large_client_header_buffers 4 4k;client_max_body_size 8m;sendfile on;tcp_nopush on;keepalive_timeout 60;fastcgi_cache_path /usr/local/nginx/fastcgi_cache levels=1:2keys_zone=TEST:10minactive=5m;fastcgi_connect_timeout 300;fastcgi_send_timeout 300;fastcgi_read_timeout 300;fastcgi_buffer_size 1638;fastcgi_buffers 16 16k;fastcgi_busy_buffers_size 16k;fastcgi_temp_file_write_size 16k;fastcgi_cache TEST;fastcgi_cache_valid 200 302 1h;fastcgi_cache_valid 301 1d;fastcgi_cache_valid any 1m;fastcgi_cache_min_uses 1;fastcgi_cache_use_stale error timeout invalid_header http_500;open_file_cache max=204800 inactive=20s;open_file_cache_min_uses 1;open_file_cache_valid 30s;tcp_nodelay on;gzip on;gzip_min_length 1k;gzip_buffers 4 16k;gzip_http_version 1.0;gzip_comp_level 2;gzip_types text/plain application/x-javascript text/css application/xml; gzip_vary on;server{listen 80;server_name localhost;index index.php index.htm;root /usr/wodm/;location /status{stub_status on;}location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|html|mp3|wma|wmv)${expires 30d;}}log_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" $http_x_forwarded_for';access_log /usr/local/nginx/logs/access.log access;标准字符集vi /etc/sysconfig/i18nLANG="zh_CN.UTF-8" SYSFONT="latarcyrheb-sun16" SUPPORTED="zh_CN.UTF-8:zh_CN:zh"LANG="zh_CN.GB18030"SUPPORTED="zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"打开文件数vi /etc/security/limits.conf* soft nofile 65535* hard nofile 65535vi /etc/pam.d/loginsession required /lib/security/pam_limits.songinx 日志按天分割vi nginx_log.sh#!/bin/bashlogs_path="/usr/local/nginx/logs/"pid_path="/usr/local/nginx/nginx.pid"mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").logkill -USR1 `cat ${pid_path}`chmod 755 nginx_log.shcrontab –e0 0 * * * bash /usr/local/nginx/nginx_log.shTomcat memcachetar xf libevent-1.4.11-stable.tar.gzcd libevent-1.4.11-stable./configuremakemake installcd ../tar xf memcached-1.4.5.tar.gzcd memcached-1.4.5./configuremakemake install/usr/local/bin/memcached -d -m 10 -u root -l 192.168.1.113 -p 11211 -c 1024 -P /tmp/memcached.pidMemcache+tomcat 共享session后续计划尚未配置。
linux lvs 配置
Linux负载均衡一、LVS概述及原理LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，可以实现LINUX平台下的简单负载均衡。
LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。
LVS集群采用IP负载均衡技术和基于内容请求分发技术。
调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。
整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。
为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。
一般来说，LVS集群采用三层结构，其主要组成部分为：1) 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。
2) 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
3) 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。
调度器是服务器集群系统的唯一入口点（Single Entry Point），它可以采用IP 负载均衡技术、基于内容请求分发技术或者两者相结合。
在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。
当客户请求到达时，调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器，将该请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。
在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可根据请求的内容选择服务器执行请求。
因为所有的操作都是在Linux操作系统核心空间中将完成的，它的调度开销很小，所以它具有很高的吞吐率。
RHEL5.4下IPVS安装配置
RHEL 5.4下IPVS安装配置一．安装环境：RHEL 5.4 ipvsadm-1.24.tar.gz二．拓扑图：三．安装过程：1．从官方网站下载ipvsadm：下载地址：/software/kernel-2.6/下载ipvsadm-1.24.tar.gz，因为最新版ipvsadm-1.25这个版本只支持2.6.28以上的内核，RHEL 5.4内核版本达不到要求，所以选择安装前一个版本。
2．创建一个连接文件，其命令为：ln -sv /usr/src/kernels/2.6.18-92.el5PAE-i686 /usr/src/linux注意一定要与当前的运行的内核相一致，因为/usr/src/kernels目录下可能有多个目录。
如果不创建这个连接文件，在编译时会出错，从而不能继续进行安装。
3．解包。
#tar zxvf ipvsadm-1.244．编译并安装。
#cd ipvsadm-1.24#make#make install可执行文件被安装到/sbin/ipvsadm5．检验ipvsadm是否被正确安装(1) 执行ipvsadm，看是否有如下输出。
IP Virtual Server version 1.2.1 (size=4096)Port LocalAddress:Port Scheduler Flags->RomoteAddress:PortForward Weight ActiveConn InActConn(2) 检查当前加载的内核模块，看是否存在ip_vs模块。
[root@hd-4 ipvsadm-1.24]# lsmod | grep ip_vsip_vs 77569 0注1：只有执行ipvsadm以后，才会在内核加载ip_vs模块。
注2：不能以查进程的方式判断ipvs是否运行。
注3：如果下载最新的ipvsadm-1.25.tar.gz这个版本，在创建连接文件/usr/src/linux后，执行编译时，可能需要修改/boot/grub/grub.conf启动内核名称。
lvs 和 f5 实现原理
lvs 和f5 实现原理全文共四篇示例，供读者参考第一篇示例：随着互联网应用的不断发展和普及，网络负载均衡技术已经成为保障网站可用性和性能的重要手段。
在负载均衡技术中，LVS（Linux Virtual Server）和F5分别代表着开源和商业两种不同的实现方式，它们在原理和使用中有着不同的特点和优势。
本文将就LVS和F5的实现原理进行探讨与比较。
LVS（Linux Virtual Server）是一种基于Linux操作系统的负载均衡技术，它充分利用了Linux内核的功能和特性来实现高效的负载均衡。
LVS通常采用四层负载均衡的方式，即在传输层上进行负载均衡，它通过IP地址和端口号进行请求的转发，实现对后端服务器的负载均衡。
LVS的实现原理主要包括三个组件：调度器、数据包转发和后端服务器。
调度器是LVS的核心组件，它负责根据负载均衡策略来选择合适的后端服务器进行请求的转发。
LVS采用了多种不同的负载均衡算法，如轮询、加权轮询、源地址散列等，根据具体的业务需求和场景选择合适的负载均衡算法。
调度器会根据请求的特性和当前后端服务器的负载情况来选择合适的后端服务器，从而实现负载均衡。
数据包转发是LVS的另一个关键组件，它负责接收客户端的请求并将请求转发给选定的后端服务器。
数据包转发通常采用Linux内核的IPVS模块来实现，通过在内核空间进行数据包的处理和转发，从而提高负载均衡的效率和性能。
数据包转发还可以支持连接的持久化和会话的保持，以确保客户端的请求在整个会话过程中都能顺利访问到同一台后端服务器。
后端服务器是LVS的最终目的地，它负责接收转发过来的请求并响应客户端的请求。
LVS通常将后端服务器配置成一个服务器集群，通过多台服务器共同处理客户端的请求来提高网站的可用性和性能。
后端服务器可以根据具体的业务需求来配置，如多个应用服务器、数据库服务器、文件服务器等，以满足不同的业务需求。
与LVS相比，F5是一家领先的应用交付控制公司，其产品包括硬件负载均衡器、应用交付控制器等。
Linux服务器集群系统――LVS(Linux Virtual Server)项目
背景当今计算机技术已进入以网络为中心的计算时期。
由于客户/服务器模型的简单性、易管理性和易维护性，客户/服务器计算模式在网上被大量采用。
在九十年代中期，万维网（World Wide Web）的出现以其简单操作方式将图文并茂的网上信息带给普通大众，Web也正在从一种内容发送机制成为一种服务平台，大量的服务和应用（如新闻服务、网上银行、电子商务等）都是围绕着Web进行。
这促进Internet用户剧烈增长和Internet流量爆炸式地增长，图1显示了1995至2000年与Internet连接主机数的变化情况，可见增长趋势较以往更迅猛。
Internet的飞速发展给网络带宽和服务器带来巨大的挑战。
从网络技术的发展来看，网络带宽的增长远高于处理器速度和内存访问速度的增长，如100M Ethernet、A TM、Gigabit Ethernet等不断地涌现，10Gigabit Ethernet即将就绪，在主干网上密集波分复用（DWDM）将成为宽带IP的主流技术[2,3]，Lucent已经推出在一根光纤跑800Gigabit的WaveStar?OLS800G 产品[4]。
所以，我们深信越来越多的瓶颈会出现在服务器端。
很多研究显示Gigabit Ethernet 在服务器上很难使得其吞吐率达到1Gb/s的原因是协议栈（TCP/IP）和操作系统的低效，以及处理器的低效，这需要对协议的处理方法、操作系统的调度和IO的处理作更深入的研究。
在高速网络上，重新设计单台服务器上的网络服务程序也是个重要课题。
比较热门的站点会吸引前所未有的访问流量，例如根据Yahoo的新闻发布，Yahoo已经每天发送6.25亿页面。
一些网络服务也收到巨额的流量，如American Online的Web Cache 系统每天处理50.2亿个用户访问Web的请求，每个请求的平均响应长度为5.5Kbytes。
与此同时，很多网络服务因为访问次数爆炸式地增长而不堪重负，不能及时处理用户的请求，导致用户进行长时间的等待，大大降低了服务质量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
浮动 IP 地址绑定的网络设备 Re-entry Time 失效重新加载真正服务器的时间 Service Timeout 失效剔除真正服务器的时间 Quiesce server 防止了新服务器在进入群集的大量连接 Load monitoring tool 监视各个真正服务器的载量 Scheduling 调度算式 Persistence 连接超时前所允许经过的不活跃期间的秒数 Persistence Network Mask 限制某个特定子网的持续性的子网掩码。 5 REAL SERVER Name 真正服务器 Address 真正服务器的 IP Weight 主机权值 6 同步配置文件 scp /etc/sysconfig/ha/lvs.cf n.n.n.n:/etc/sysconfig/ha/lvs.cf scp /etc/sysconfig/iptables n.n.n.n:/etc/sysconfig/ 四 LVS 部署 1 路由转发 vi /etc/sysctl.conf net.ipv4.ip_forward = 1 sysctl –p 2 iptables 标记
第二部分 LVS Linux Virtual Server 负载均衡集群 一 LVS Linux Virtual Server 概述服务的外界用户（如网站或数据库程序）来说，Linux 虚拟服 务器（LVS）群集似乎是一个服务器。事实上，该用户使用的是一对冗余 LVS 路由器之 后的两个或多个服务器的群集。 LVS 群 集 至 少 包 括 两 层 。 第 一 层 由 一 对 配 置 相 似 的 Linux 机 器 或 群 集 成 员 （cluster members）组成。这些机器之一充当 LVS 路由器（LVS router），它用来把 来自互联网的请求转到群集。第二层包含一个叫做真实服务器（real servers）的机器 群集。 3 技术特征 高可用性群集（High-availability clustering）使用多个机器来为某个服务或某 组服务提交额外的可靠性。 负载均衡群集（Load-balance clustering）使用特殊的选路技术来给一组服务器 分配任务。 4 LVS 调度算式 循环调度 把每项请求按顺序在真正服务器中循环分派。 加权循环调度 每项请求按顺序在真正服务器中循环分派，但是给能力较大的服务器分派较多的作业。 加权最少连接法（默认） 能力相比带有较少活跃连接的服务器分派较多的请求。 基于地区的最少连接调度
heartbeat_port = 539 keepalive = 6 deadtime = 18 network = nat nat_router = 192.168.70.254 eth1 debug_level = NONE virtual [server_coolh] { active = 1 address = 211.144.137.131 eth0:1 vip_nmask = 255.255.255.224 fwmark = 81 port = 80 send = "GET / HTTP/1.0\r\n\r\n" expect = "HTTP" use_regex = 0 load_monitor = none scheduler = wlc protocol = tcp timeout = 12 reentry = 30 quiesce_server = 0 server [node01] { address = 192.168.70.11 active = 1 weight = 1 } server [node02] { address = 192.168.70.21 active = 1 weight = 1 } server [node03] { address = 192.168.70.31 active = 1 weight = 1 } server [node04] { address = 192.168.70.41 active = 1 weight = 1 } server [node05] { address = 192.168.70.51 active = 1
iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.131/32 --dport 80 -j MARK --set-mark 81 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.232/32 --dport 80 -j MARK --set-mark 82 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.233/32 --dport 80 -j MARK --set-mark 83 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.234/32 --dport 80 -j MARK --set-mark 84 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.235/32 --dport 80 -j MARK --set-mark 85 3 配置 lvs.cf serial_no = 40 primary = 211.144.137.130 primary_private = 211.144.137.130 service = lvs backup_active = 0 backup = 0.0.0.0 heartbeat = 1
LINUX 集群部署
邱波
2005-6-24
第一部部分 公共部分 一 系统环境 1 Linux OS 系统版本 RHEL AS3 UPDATES 4 安装方式 最小安装 系统内核 2.4.21-27.0.4 二 服务组件 1 LVS 套件 主机名 master slaver 服务包 piranha-0.7.10-2 ipvsadm-1.21-9 依赖包 httpd-2.0.46-46 php-4.3.2-23 curl-7.10.6-6 2 GFS 套件 主机名 node01 node02 node03 node04 node05 node06 data01 data02 服务包 GFS GFS-modules-smp 依赖包 perl-Net-Telnet-3.03-1.1 3 MySQL CLUSTER 套件 主机名 master slaver node01 node02 node03 node04 node05 node06 data01 data02 服务包 MySQL-bench-4.1.12-0 MySQL-ndb-management-4.1.12-0 MySQL-server-4.1.12-0 MySQL-client-4.1.12-0 MySQL-embedded-4.1.12-0 MySQL-ndb-extra-4.1.12-0 MySQL-ndb-storage-4.1.12-0 MySQL-shared-4.1.12-0 MySQL-devel-4.1.12-0 MySQL-Max-4.1.12-0 MySQL-ndb-tools-4.1.12-0 依赖包 perl-DBI-1.32-9 4 WWW 套件 主机名 node01 node02 node03 node04 node05 node06 服务包 httpd-2.0.46-46 php-4.3.2-23 php-mysql-4.3.2-23 依赖包 curl-7.10.6-6 三 基本配置 1 主机名 master slaver node01 node02 node03 node04 node05 node06 data01 data02 2 配置文件 /etc/hosts
三 Piranha 配置工具 1 登陆 打开 http://localhost:3636 2 GLOBAL SETTINGS Primary server public IP 主 LVS 节点的可公开选路的真正 IP 地址 Primary server private IP 主 LVS 节点上的另一个网络接口的真正 IP 地址 NAT Router IP 浮动 IP 地址 NAT Router netmask 子网掩码 NAT Router device 浮动 IP 地址的网络接口的设备名称 3 REDUNDANCY 备份 LVS 路由器节点 Redundant server public IP 备份 LVS 路由器节点的公共真正 IP 地址。 Redundant server private IP 备份节点的专用真正 IP 地址。 Heartbeat Interval (seconds) 设置为心跳之间的时间 Assume dead after (seconds) 备份 LVS 路由器节点失效转移的时间。 Heartbeat runs on port 主 LVS 节点的心跳通信端口 4 VIRTUAL SERVERS Name 虚拟服务器名称。 Application port 监听端口号 Protocol UDP 或 TCP Virtual IP Address 虚拟服务器的浮动 IP 地址。 Virtual IP Network Mask 虚拟服务器子网掩码。 Firewall Mark 防火墙标记 Device
3 脚本内容 # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1 localhost.localdomain localhost 192.168.70.1 node01 192.168.70.2 node02 192.168.70.3 node03 192.168.70.4 node04 192.168.70.5 node05 192.168.70.6 node06 192.168.70.100 data01 192.168.70.200 data02 192.168.70.254 master 192.168.70.253 slaver