MYSQL集群搭建指引文档

在PCSERVER上安装MARIADB。

一、先检查主机的环境

如果主机已经安装了MYSQL的早期版本，并且有MYSQL实例正在主机上运行，要先行清理早期的版本，具体步骤如下：

1、优雅地停掉当前正在运行的MYSQL服务。

2、卸载MYSQL早期版本及其组件

rpm -qa|grep -i mysql #查看已经安装的mysql相关包

rpm -ev package_name #package_name包名比如：mysql-server-5.0.51b-1.el5 二、用YUM安装MARIADB

具体步骤如下：

1、cd /etc/yum.repos.d

2、vi MariaDB.repo然后粘上官网上的内容（用CENTOS操作系统举例）

Here is your custom MariaDB YUM repository entry for CentOS. Copy and paste it into a file under /etc/yum.repos.d/ (we suggest naming the file MariaDB.repo or something similar). See "Installing MariaDB with yum" for detailed information.

3、执行yum -y install MariaDB-client MariaDB-server MariaDB-devel

4、如果发现用YUM装时，代理服务器的网速下载太慢了导致超时然后报错退出，解决方案如下：

A自己用个人电脑到官网下载列表中的RPM文件，

B把自己下载好的五个RPM文件，全部上传到PCSERVER的

/var/cache/yum/x86_64/6/mariadb/packages/目录下，

C再次运行步骤3的语句。

三、在主机上启动多个MYSQL实例

1、MYSQL多实例，需要单独的数据目录和绑定相应的唯一端口。

端口号的约定：因为默认绑定的端口为3306，所以多实例的情况下约定从3306开始，如启动两个实例则为3306，3307。

数据目录的约定：统一集群上所有PCSEVER的MYSQL实例的数据目录为

/data1/mysql/data/$port,

比如两个实例的情况下，则为：

/data1/mysql/data/3306，/data1/mysql/data/3307

注：这个数据目录需要自己手工创建

2、初始化新的MYSQL数据库实例

在创建好数据目录的前提下，运行如下命令：（举例：创建两个新的数据库实例）

/usr/bin/mysql_install_db --basedir=/usr--datadir=/data1/mysql/data/3306 --user=mysql

/usr/bin/mysql_install_db --basedir=/usr--datadir=/data1/mysql/data/3307 --user=mysql

3、将数据目录及底下的所有子文件和子目录的所有权赋给mysql用户

运行如下命令：chown -R mysql:mysql /data1/mysql

(以上三步可以用一个角本来跑，ROOT用户跑脚本

cd /data1

mkdir mysql

cd mysql

mkdir data

cd data

mkdir 3306 3307

/usr/bin/mysql_install_db --basedir=/usr --datadir=/data1/mysql/data/3306 --user=mysql

/usr/bin/mysql_install_db --basedir=/usr --datadir=/data1/mysql/data/3307 --user=mysql chown -R mysql:mysql /data1/mysql

)

4、在MYSQL的HOME目录下添加多实例的启动配置文件：vi my_https://www.360docs.net/doc/2f8267941.html,f,然后粘贴上如下内容：

[mysqld_multi]

mysqld = /usr/bin/mysqld_safe

mysqladmin = /usr/bin/mysqladmin

user=root

[mysqld1]

server_id=你定的SERVERID，必须集群唯一，现在我用IP最后两位再加1位，如841 socket = /data1/mysql/data/3306/mysql.sock

port = 3306

datadir = /data1/mysql/data/3306

plugin-dir=/usr/lib64/mysql/plugin

log-bin=mysql-bin

general-log=1

character-set-server = utf8

collation_server=utf8_general_ci

[mysqld2]

server_id=你定的SERVERID，必须集群唯一，现在我用IP最后两位再加1位

socket = /data1/mysql/data/3307/mysql.sock

port = 3307

datadir =/data1/mysql/data/3307

plugin-dir=/usr/lib64/mysql/plugin

log-bin=mysql-bin

general-log=1

[mysqldump]

quick

max_allowed_packet = 16M

character-set-server = utf8

collation_server=utf8_general_ci

5用命令启动多实例（指定启动配置文件）：

/usr/bin/mysqld_multi --defaults-file=/home/mysql/my_https://www.360docs.net/doc/2f8267941.html,f start 1,2

1，2为mysqld后面的数字

6为两个MYSQL数据库实例的root用户更改密码，统一改为mysql（默认密码为空）mysqladmin -u root -h 127.0.0.1 -P 3306 password

mysqladmin -u root -h 127.0.0.1 -P 3307 password

(第一次执行没问题，但是第二次执行的时候可能会报错，还是建议启动服务后到数据库里面去修改初始密码，还有去掉一些不安全的用户)

7改完密码后，再次修改多实例的记动配置文件my_https://www.360docs.net/doc/2f8267941.html,f，将新改的密码配置进去，否则改密码后无法正常地用上述/usr/bin/mysqld_multi命令来启停MYSQL服务。

[mysqld_multi]

mysqld = /usr/bin/mysqld_safe

mysqladmin = /usr/bin/mysqladmin

user=root

password=mysql（加入这一行）

还有一个问题就是登陆的时候，如果仅仅是用-P 3306 或者–P 3307可能不可以，所以最好还是用

mysql ‐uroot ‐ppassword ‐S /data/dbdata_3308/mysql.sock

指定sock文件

在建立新的数据库前记得先把旧的服务停掉，还有把旧的数据文件目录删除掉。

四、配置MYSQL之间的双主、主从复制

双主的结构如下：

两个MYSQL实例之间是互为主从（MASTER-SLAVE）的关系，双向复制。整个配置的过程中，最复杂的一步是事先要同步两个MYSQL实例之间的数据，使之一致，但由于测试集群一开始是一个空的数据库，所以这一步可以省略了。只需如下步骤，

1、创建复制数据专用的用户并且同时授权

A 在MASTER1机84上运行，创建一个允许Master-2来访问的用户master2,密码为：123456

GRANT REPLICATION SLAVE ON *.*

TO 'master2'@'132.121.88.85' IDENTIFIED BY '123456';

B 在MASTER285机上运行

创建一个允许Master-2来访问的用户master1,密码为：123456

GRANT REPLICATION SLAVE ON *.*TO 'master1'@'132.121.88.84' IDENTIFIED BY '123456';

2、修改MySQL主配置文件

Master-1上：

[mysqld]

auto-increment-increment = 2

auto-increment-offset = 1

Master-2上：

[mysqld]

auto-increment-increment = 2

auto-increment-offset = 2

修改完配置文件后记得要重启MYSQL实例

3、互相通告二进制日志位置，具体位置参数有两个，就是下文中标红的两处地方。请分别用show master status\G;去获得两者的值。

在Master-1上：

CHANGE MASTER TOMASTER_HOST='132.121.88.85', MASTER_PORT=3307,MASTER_USER='master1',MASTER_PASSWORD='123456', MASTER_LOG_FILE='mysql-bin.000002',MASTER_LOG_POS=456;

在Master-2上：

CHANGE MASTER TOMASTER_HOST='132.121.88.84', MASTER_USER='master2', MASTER_PASSWORD='123456', MASTER_LOG_FILE='mysql-bin.000007', MASTER_LOG_POS=456;

4、启动复制（Replication）功能

在两台主机上分别执行

ERROR 1200 (HY000): Misconfigured slave: MASTER_HOST was not set; Fix in config file or with CHANGE MASTER TO

mysql>change master to master_host='localhost', MASTER_PORT=3306, master_user='repl', master_password='repl', master_log_file='mysql-bin.000001', master_log_pos=0;

mysql>

>START SLAVE;

配置到此完成！

5 用show slave status 查看主从复制的状态，如果发现：error connecting to master 'master1@132.121.88.85:3307' - retry-time: 60 retries: 86400 message: Can't connect to MySQL server on '132.121.88.85' (113 "No route to host")

基本上是因为要连接的主机开启了防火墙，登录到目录主机上用iptables –F命令关掉防火墙就可以了。

现在centos7都用firewall作为默认的防火墙，那么关闭的命令是：

Systemctl stop firewalld.service

如果要开放某个端口可以：

firewall-cmd --zome=public --add-port=5060-5059/udp –permanent

firewall-cmd --reload

安装MYCAT

下载

从Svn 上下载MYCAT的稳定版本。https://www.360docs.net/doc/2f8267941.html,/svn/openclouddb/

目前使用的linux版本是downloads\MyCat-Sever-1.2.1\Mycat-server-1.2.1-linux.tar.gz 创建用户和解压

useradd Mycat

passwd Mycat

chown -R Mycat.Mycat /home/Mycat

上次下载的安装文件，解压

tar -zvxf Mycat-server-1.2.1-linux.tar.gz

启动和停止

注意，要用Mycat用户登录

/home/Mycat/Mycat/bin

mycat start/restart

mycat stop

配置文件

Server.xml

用户账号和授权信息

Schema.xml

用户名密码信息

编辑MYCAT_HOME/conf/schema.xml文件，修改dataHost对应的连接信息：

注意writeHost/readHost中的location,user,password的值符合你所采用的Mysql的连接信息。

rule.xml

所有的分片规则都在rule.xml中定义，不同的表根据需求，定义不同的分片规则。

连接示例

mysql -h127.0.0.1 -Dtest -P8066 -umysql –pmysql mysql -utest -ptest -h127.0.0.1 -P8066 –DTESTDB

haproxy

去VIP

sudo vi /etc/sysctl.conf

#for haproxy

net.ipv4.ip_nonlocal_bind=1

创建用户

useradd haproxy

passwd haproxy

chown -R haproxy.haproxy /home/haproxy 解压安装

tar zcvf haproxy-1.3.20.tar.gz

cd haproxy-1.3.20

make TARGET=linux26 PREFIX=/usr/local/haprpxy ARCH=x86_64

make install PREFIX=/usr/local/haproxy

配置

安装完毕后，进入安装目录创建配置文件

# cd /usr/local/haproxy

#chown –R haproxy.haproxy /usr/local/haproxy

#sudo vi haproxy.cfg

global

log 127.0.0.1 local0 ##记日志的功能

maxconn 4096

chroot /usr/local/haproxy

user haproxy

group haproxy

daemon

defaults

log global

option dontlognull

retries 3

option redispatch

maxconn 2000

contimeout 5000

clitimeout 50000

srvtimeout 50000

listen admin_stats 10.0.30.139:48800 ##由于没有启用VIP，暂时用其中一台的IP和新端口stats uri /admin-status ##统计页面

stats auth admin:admin

mode http

option httplog

listen allmycat 10.0.30.139:8098

mode tcp

option tcplog

option httpchk OPTIONS * HTTP/1.1\r\nHost:\ www #健康检查

balance roundrobin

server mycat_134 10.0.30.134:8066 check port 48700 inter 5s rise 2 fall 3

server mycat_139 10.0.30.139:8066 check port 48700 inter 5s rise 2 fall 3

srvtimeout 20000

默认haproxy是不记录日志的，为了记录日志还需要配置syslog模块，在oracle linux下是rsyslogd服务，yum –y install rsyslog 先安装rsyslog，然后

#vi /etc/rsyslog.d/haproxy.conf

加入以下内容

$ModLoad imudp

$UDPServerRun 514

local0.* /var/log/haproxy.log ##对应haproxy.cfg 的日志记录选项

延伸：

#vi /etc/rsyslog.conf

1、在#### RULES ####上面一行的地方加入以下内容：

# Include all config files in /etc/rsyslog.d/

$IncludeConfig /etc/rsyslog.d/*.conf

#### RULES ####

2、在local7.* /var/log/boot.log的下面加入以下内容（增加后的效果如下）：

# Save boot messages also to boot.log

local7.* /var/log/boot.log

local0.* /var/log/haproxy.log

保存，重启

service rsyslog restart

现在你就可以看到日志（/var/log/haproxy.log）了

配置监听mycat是否存活

在Mycat server1 Mycat server2上都需要添加检测端口48700的脚本，为此需要用到xinetd，xinetd为linux 系统的基础服务，

首先在xinetd目录下面增加脚本与端口的映射配置文件

1、如果xinetd没有安装，使用如下命令安装：

yum install xinetd -y

2、检查/etc/xinetd.conf的末尾是否有这一句：includedir /etc/xinetd.d

没有就加上，

3、检查/etc/xinetd.d文件夹是否存在，不存在也加上

#cd /etc

#mkdir xinetd.d

4、增加 /etc/xinetd.d/mycat_status

监听mycat是否存活的配置

#cd /etc

#mkdir xinetd.d

#cd /etc/xinetd.d/

#touch mycat_status

#vim /etc/xinetd.d/mycat_status

service mycat_status

{

flags = REUSE

socket_type = stream

port = 48700

wait = no

user = root

server =/usr/local/bin/mycat_status

log_on_failure += USERID

disable = no

}

5、/usr/local/bin/mycat_status脚本

mycat_status脚本

#!/bin/bash

#/usr/local/bin/mycat_status.sh

# This script checks if a mycat server is healthy running on localhost. It will

# return:

#

# "HTTP/1.x 200 OK\r" (if mycat is running smoothly)

#

# "HTTP/1.x 503 Internal Server Error\r" (else)

mycat=`/usr/local/mycat/bin/mycatstatus | grep'not running' | wc -l`

if [ "$mycat" = "0" ];

then

/bin/echo-e "HTTP/1.1 200 OK\r\n"

else

/bin/echo-e "HTTP/1.1 503 Service Unavailable\r\n"

fi

4、/etc/services中加入mycat_status服务

加入mycat_status服务

#cd /etc

#vi services

在末尾加入

mycat_status 48700/tcp # mycat_status

保存

重启xinetd服务

service xinetd restart

5、验证mycat_status服务是否启动成功

验证mycat_status服务是否启动成功

#netstat -antup|grep 48700

如果成功会现实如下内容：

[root@localhost log]# netstat -antup|grep 48700

tcp 0 0 :::48700 :::* LISTEN 12609/xinetd

启动haproxy

启动haproxy前必须先启动keepalived，否则启动不了。

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg

启动haproxy异常情况

如果报以下错误：

[root@localhost bin]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg [ALERT] 183/115915 (12890) : Starting proxy admin_status: cannot bind socket [ALERT] 183/115915 (12890) : Starting proxy allmycat_service: cannot bind socket [ALERT] 183/115915 (12890) : Starting proxy allmycat_admin: cannot bind socket

原因为：该机器没有抢占到vip

为了使用方便可以增加一个启动，停止haproxy的脚本

启动脚本starthap内容如下

#!/bin/sh

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg &

停止脚本stophap内容如下

#!/bin/sh

ps -ef | grep sbin/haproxy | grep -v grep |awk '{print $2}'|xargs kill -s 9

分别赋予启动权限

chmod +x starthap

chmod +x stophap

openssl安装

openssl必须安装，否则安装keepalived时无法编译，keepalived依赖openssl。openssl安装

tar zxvf openssl-1.0.1g.tar.gz

./config--prefix=/usr/local/openssl

./config-t

make depend

make

make test

make install

ln -s /usr/local/openssl /usr/local/ssl

openssl配置

vi /etc/ld.so.conf

#在/etc/ld.so.conf文件的最后面，添加如下内容：

/usr/local/openssl/lib

vi /etc/profile

export OPENSSL=/usr/local/openssl/bin

export PATH=$PATH:$OPENSSL

source /etc/profile

yum installopenssl-devel -y #如无法yum下载安装，请修改yum配置文件

测试:

ldd /usr/local/openssl/bin/openssl

linux-vdso.so.1 => (0x00007fff996b9000)

libdl.so.2 =>/lib64/libdl.so.2 (0x00000030efc00000)

libc.so.6 =>/lib64/libc.so.6 (0x00000030f0000000)

/lib64/ld-linux-x86-64.so.2 (0x00000030ef800000)

which openssl

/usr/bin/openssl

openssl version

OpenSSL 1.0.0-fips 29 Mar 2010

keepalived安装

本文在172.17.30.64、172.17.30.83两台机器进行keepalived安装

安装

tar zxvf keepalived-1.2.13.tar.gz

cd keepalived-1.2.13

./configure--prefix=/usr/local/keepalived

make

make install

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived/etc/init.d/

mkdir /etc/keepalived

cd /etc/keepalived/

cp /usr/local/keepalived/etc/keepalived/keepalived.conf/etc/keepalived mkdir-p /usr/local/keepalived/var/log

keepalived配置

建检查haproxy是否存活的脚本

#新建redis检查

mkdir /etc/keepalived/scripts

cd /etc/keepalived/scripts

keepalived.conf:

vi /etc/keepalived/keepalived.conf

Master:

Master

! Configuration Filefor keepalived

vrrp_script chk_http_port {

script"/etc/keepalived/scripts/check_haproxy.sh"

interval 2

weight 2

}

vrrp_instance VI_1 {

state MASTER #172.17.210.83上改为Master

interface eth0 #对外提供服务的网络接口

virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组

priority 150 #数值愈大，优先级越高,172.17.210.84上改为120

advert_int 1 #同步通知间隔

authentication { #包含验证类型和验证密码。类型主要有PASS、AH两种，通常使用的类型为PASS，据说AH使用时有问题

auth_type PASS

auth_pass 1111

}

track_script {

chk_http_port #调用脚本check_haproxy.sh检查haproxy是否存活

}

virtual_ipaddress { #vip地址，这个ip必须与我们在lvs客户端设定的vip相一致

172.17.210.103 dev eth0 scope globa

}

notify_master/etc/keepalived/scripts/haproxy_master.sh

notify_backup/etc/keepalived/scripts/haproxy_backup.sh

notify_fault /etc/keepalived/scripts/haproxy_fault.sh

notify_stop /etc/keepalived/scripts/haproxy_stop.sh

}

slave：

slave

! Configuration Filefor keepalived

vrrp_script chk_http_port {

script"/etc/keepalived/scripts/check_haproxy.sh"

interval 2

weight 2

}

vrrp_instance VI_1 {

state MASTER #172.17.210.64上改为Backup

interface eth1 #对外提供服务的网络接口

virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组

priority 120 #数值愈大，优先级越高,172.17.210.64上改为120

advert_int 1 #同步通知间隔

authentication { #包含验证类型和验证密码。类型主要有PASS、AH两种，通常使用的类型为PASS，据说AH使用时有问题

auth_type PASS

auth_pass 1111

}

track_script {

chk_http_port #调用脚本check_haproxy.sh检查haproxy是否存活

}

virtual_ipaddress { #vip地址，这个ip必须与我们在lvs客户端设定的vip相一致

172.17.210.103 dev eth1 scope globa

}

notify_master/etc/keepalived/scripts/haproxy_master.sh

notify_backup/etc/keepalived/scripts/haproxy_backup.sh

notify_fault /etc/keepalived/scripts/haproxy_fault.sh

notify_stop /etc/keepalived/scripts/haproxy_stop.sh

}

check_haproxy.sh

vi /etc/keepalived/scripts/check_haproxy.sh

脚本含义：如果没有haproxy进程存在，就启动haproxy，停止keepalived

check_haproxy.sh

#!/bin/bash

STARTHAPROXY="/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg"

STOPKEEPALIVED="/etc/init.d/keepalived stop"

LOGFILE="/usr/local/keepalived/var/log/keepalived-haproxy-state.log"

echo "[check_haproxy status]" >> $LOGFILE

A=`ps-C haproxy --no-header |wc-l`

echo "[check_haproxy status]" >> $LOGFILE

date >> $LOGFILE

if [ $A -eq 0 ];then

echo $STARTHAPROXY >> $LOGFILE

$STARTHAPROXY >> $LOGFILE 2>&1

sleep5

fi

if [ `ps -C haproxy --no-header |wc-l` -eq 0 ];then

exit 0

else

exit 1

fi

haproxy_master.sh(master和slave一样)

haproxy_master.sh

#!/bin/bash

STARTHAPROXY=`/usr/local/haproxy/sbin/haproxy-f /usr/local/haproxy/haproxy.cfg` STOPHAPROXY=`ps-ef | grep sbin/haproxy | grep -vgrep |awk'{print $2}'|xargskill -s 9` LOGFILE="/usr/local/keepalived/var/log/keepalived-haproxy-state.log"

echo "[master]" >> $LOGFILE

date >> $LOGFILE

echo "Being master...." >> $LOGFILE 2>&1

echo "stop haproxy...." >> $LOGFILE 2>&1

$STOPHAPROXY >> $LOGFILE 2>&1

echo "start haproxy...." >> $LOGFILE 2>&1

$STARTHAPROXY >> $LOGFILE 2>&1

echo "haproxy stared ..." >> $LOGFILE

haproxy_backup.sh(master和slave一样)

haproxy_backup.sh

#!/bin/bash

STARTHAPROXY=`/usr/local/haproxy/sbin/haproxy-f /usr/local/haproxy/haproxy.cfg` STOPHAPROXY=`ps-ef | grep sbin/haproxy | grep -vgrep |awk'{print $2}'|xargskill -s 9` LOGFILE="/usr/local/keepalived/var/log/keepalived-haproxy-state.log"

echo "[backup]" >> $LOGFILE

date >> $LOGFILE

echo "Being backup...." >> $LOGFILE 2>&1

echo "stop haproxy...." >> $LOGFILE 2>&1

$STOPHAPROXY >> $LOGFILE 2>&1

echo "start haproxy...." >> $LOGFILE 2>&1

$STARTHAPROXY >> $LOGFILE 2>&1

echo "haproxy stared ..." >> $LOGFILE

haproxy_fault.sh(master和slave一样)

haproxy_fault.sh

#!/bin/bash

LOGFILE=/usr/local/keepalived/var/log/keepalived-haproxy-state.log

echo "[fault]" >> $LOGFILE

date >> $LOGFILE

haproxy_stop.sh(master和slave一样)

haproxy_stop.sh

#!/bin/bash

LOGFILE=/usr/local/keepalived/var/log/keepalived-haproxy-state.log

echo "[stop]" >> $LOGFILE

date >> $LOGFILE

启用服务

启用服务

#启用服务

service keepalived start