RedHatlinux7-虚拟化+集群安装精简手册簿

RedHat linux 7虚拟化环境集群安装精简手册

1、前期准备

挂载磁盘

/* 通过制作iso，方便后续安装动作，在知识库中应形成iso镜像体系 */

dd if=/dev/sr0 of=/app/rh71.iso

mount -o loop /app/rh71.iso /mnt

挂载制作的iso

mount -loop /dev/sr0 /mnt

查看少什么包

/* 如果想要是用vgscan指令，系统至少需要安装lvm2包，这个从安装好的系统上查 */ [root@jttldb1 host5]# rpm -qf /sbin/vgscan

lvm2-2.02.83-3.el6.x86_64

常用包安装

net-tools (ifconfig等用)

yum -y install nautilus-open-terminal（右键添加terminal）

配置yum

/* 根据具体挂载的路径和版本调整 */

建立文件/etc/yum.repos.d/mycdrom.repo

[Base]

name=RHEL

baseurl=file:///mnt

enabled=1

gpgcheck=0

[Cluster]

name=RHEL

baseurl=file:///mnt/addons/HighAvailability

enabled=1

gpgcheck=0

配置ip

IPADDR=10.88.89.100

GATEWAY=10.88.89.1

NETMASK=255.255.255.0

ONBOOT=yes

单网卡配置多ip

ifconfig team0:0 10.88.89.101 netmask 255.255.255.0 （临时添加一个ip，重启后消失，如果想永久拥有，需要配置ifcfg-ens32:0 文件）

临时文件取消：ifconfig ens32:0 down

网卡绑定

1）创建组接口（会生产一个ifcfg-team0）

nmcli con add type team con-name team0 ifname team0 config '{"runner":{"name":"activebackup"}}'

nmcli con del team0 （删除绑定team）

2）查看组接口配置

nmcli con show

3）给组接口添加设备

nmcli con add type team-slave con-name team0-port1 ifname enp11s0f0 master team0 nmcli con add type team-slave con-name team0-port2 ifname enp16s0f0 master team0 nmcli con mod type team-slave con-name team0-port2 ifname enp16s0f0 master team0

4）配置ip

[root@jttldb2 network-scripts]# more ifcfg-team0

DEVICE=team0

DEVICETYPE=Team

TEAM_CONFIG="{\"runner\":{\"name\":\"activebackup\"}}"

BOOTPROTO=none

IPADDR=10.88.89.100

PREFIX=25

GATEWAY=10.88.89.1

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=team0

UUID=afa9d1a3-05d8-4cad-af44-fd187c5be16f ONBOOT=yes

查看网卡状态

teamdctl team0 state

验证

nmcli dev dis eno 断开

nmcli dev con eno 连接

OS版本查询

lsb_release -a

需要安装包（yum install redhat-lsb）

起停服务

systemctl stop firewalld

systemctl start firewalld

systemctl status firewalld

systemctl|grep

是否开机启动

systemctl enable XXX 开机启动

systemctl disable xxx 开机不启动

systemctl status XXX 查看状态

关闭防火墙

[root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld

关闭selinux

[root@localhost ~]# vi /etc/sysconfig/selinux

把SELINUX=enforcing改为SELINUX=disabled

[root@localhost ~]# reboot

查看#getenforce

临时关闭# setenforce 0

LVM配置

虚机上共享磁盘配置要求

磁盘置备：厚置备置零

磁盘模式：独立持久

在ha1上，

创建pv、vg、lv挂载文件系统，

在ha2上重启系统即可识别vg信息

修改主机名称：

linu7通过hostname临时修改主机名，加hostnamectl static修改静态主机名的方式实现永久生效主机名（修改主机名后注意修改hosts）

hostname

hostnamectl --static set-hostname linux7-ha2

而在linux7之前是没有hostnamectl命令的，永久修改主机名的方式是通过

hostname加修改/etc/sysconfig/network文件的方式

配置vnc连接

rehhat7

1）安装包

yum install tigervnc-server

创建一个登录密码：#vncserver

2）配置vnc

cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service

替换文件

#Type=forking改成 Type=simple

3）重启systemd

systemctl daemon-reload

4）启动vcn

systemctl start vncserver@:1.service

systemctl status vncserver@:1.service

永久启动

systemctl enable vncserver@:1.service

5）关闭vnc

systemctl stop vncserver@:1.service

开机不启动

systemctl disable vncserver@:1.service

客户端

服务器段需要关闭防火墙，或修改过滤

2、oracle静默安装

安装必要的包

yum -y install binutils compat-db compat-gcc-34 compat-gcc-34-c++ compat-libstdc++-33 elfutils-libelf-devel gcc gcc-c++ glibc-* libXp.so.6 libXt.so.6 libXtst.so.6 libgcc* ksh libXp libaio-devel numactl numactl-devel sysstat unixODBC unixODBC-devel pdksh

yum install

静默安装oracle

修改./database/response/db_install.rspdb_install.rsp如下内容

oracle.install.option=INSTALL_DB_SWONLY

UNIX_GROUP_NAME=oinstall

INVENTORY_LOCATION=/u01/app/oraInventory

ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1

ORACLE_BASE=/u01/app/oracle

oracle.install.db.InstallEdition=EE

oracle.install.db.EEOptionsSelection=true

oracle.install.db.optionalComponents=oracle.rdbms.partitioning:11.2.0.3.0,oracl e.oraolap:11.2.0.3.0,oracle.rdbms.dm:11.2.0.3.0,oracle.rdbms.lbac:11.2.0.3.0,or acle.rdbms.rat:11.2.0.3.0

oracle.install.db.DBA_GROUP=dba

oracle.install.db.OPER_GROUP=oper

oracle.install.db.isRACOneInstall=false

DECLINE_SECURITY_UPDATES=true

执行静默安装软件

./runInstaller -silent -ignoreSysPrereqs -ignorePrereq -showProgress -responseFile /oracle/database/response/db_install.rsp

执行静默安装数据库（在dbca.rsp中添加实例名称）

dbca -silent -responseFile /oracle/database/response/dbca.rsp

对数据库做必要的调整

3、linux7 vmware下ha安装调试

----pacemaker取代rgmanager ssh 双机信任配置

1）在两个节点上生产证书

# ssh-keygen -t rsa

注意：在程序提示输入passphrase时直接输入回车，表示无证书密码。

上述命令将生成私钥证书id_rsa和公钥证书id_rsa.pub，存放在用户家目录的.ssh 子目录中。

2）查看~/.ssh生成密钥的文件

# cd ~/.ssh

3）建立两个节点的信任关系（两个节点互相传一下证书文件，并改名称）

# scp -r id_rsa.pub 主机1:/root/.ssh/authorized_keys

#scp -r id_rsa.pub 主机2:/root/.ssh/authorized_keys

安装HA必要安装包

yum install pacemaker*

yum install pcs*

corosync*

/* 系统常用的一些编译环境等包，系统安装时可能都已经安装了 */

yum -y install gcc gcc-c++ libstdc++-devel flex kernel-devel

启动PCSD服务

systemctl start pcsd.service

systemctl status pcsd.service

systemctl enable pcsd.service

设置集群认证用户hacluster

for i in 1 2; do ssh ha$i 'echo admin | passwd --stdin hacluster'; done 或在两个节点运行：

passwd hacluster

admin

添加授权

#pcs cluster auth ha1 ha2 （在一个节点上执行就可以了）

创建集群

#pcs cluster setup --name lion ha1 ha2

开启集群并随机启动

[root@linux7-ha1 /]# pcs cluster start --all

[root@linux7-ha1 /]# pcs cluster enable --all

查看集群状态

[root@linux7-ha1 /]# pcs status

仲裁设置

linux7模式下，双节点仲裁自动添加，不需要设置，需要改默认配置

[root@ha1 ~]# pcs property set no-quorum-policy=ignore （说明）

fence设置

/* 不设置fence设备可以完成集群的配置，但是会导致异常场景下双节点同时使用资源，对于如数据库资源来说，会造成数据库损坏，无法打开 */

模式一：不使用fence

[root@ha1 ~]# pcs property set stonith-enabled=false

模式二：使用fence

pcs property set stonith-enabled=true /* 开启stonith */

pcs stonith list /* 查看系统支持的fence类型*/

1）对于虚拟机fence（使用fence_vmware_soap 类型）

检测fence设备状态

/* 10.88.88.88是esxi1 10.88.88.89是exsi2主机用户名和密码也是esxi主机的status 改成reboot 测试是否重启 */

fence_vmware_soap -a esxi1 -z -n ha1 -o status --ssl-insecure -l root -p 1234qwerasd

fence_vmware_soap -a esxi2 -z -n ha2 -o status --ssl-insecure -l root -p 1234qwerasd

添加fence资源

pcs stonith create fence_vmware_ha1 fence_vmware_soap \

ipaddr=10.88.88.88 ssl_insecure=1 inet4_only=1 \

login="root" passwd="1qaz2wsx" action=reboot \

pcmk_host_map="ha1:423cbe32-5e0d-fded-fde5-6c4d2cac47c2;ha2:423c98c4-23c5-dd 46-67e2-9ce2f03c243f" \

pcmk_host_list=ha1 pcmk_host_check=static-list power_wait=3 op monitor

pcs stonith create fence_vmware_ha2 fence_vmware_soap \

ipaddr=10.88.88.89 ssl_insecure=1 inet4_only=1 \

login="root" passwd="1qaz2wsx" action=reboot \

pcmk_host_map="ha1:423cbe32-5e0d-fded-fde5-6c4d2cac47c2;ha2:423c98c4-23c5-dd 46-67e2-9ce2f03c243f" \

pcmk_host_list=ha2 pcmk_host_check=static-list power_wait=3 op monitor interval=60s

虚拟机ha1和ha2的uuid的查找方法：

fence_vmware_soap -a 10.88.88.88 --ssl-insecure --action list -l root -p 1234qwerasd

添加资源

添加浮动ip，并加入资源组

pcs resource create VIP ocf:heartbeat:IPaddr2 ip=10.88.89.100 cidr_netmask=24 op monitor interval=30s --group orasrv

添加lvm信息并加入组：

修改/etc/lvm/lvm.conf

use_lvmetad = 0

volume_list = [ "rhel" ] （把非集群的vg添加进去）

#dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r) （必须重启操作系统，使其生效）

添加vg

#pcs resource create my_lvm LVM volgrpname=datavg exclusive=true --group orasrv 添加文件系统：（排他锁模式）

[root@z1 ~]# pcs resource create my_fs Filesystem \

device=/dev/datavg/datalv directory=/oracle \

fstype=ext3 --group orasrv

oracle添加

下载脚本，并拷贝至路径/usr/lib/ocf/resource.d/heartbeat/

添加实例

pcs resource create oracledb ocf:heartbeat:oracle sid=lion

home=/oracle/oracle11g/product/11.2.0/db_1 clear_backupmode=1

shutdown_method=immediate --group orasrv

添加监听资源

pcs resource create oralsn ocf:heartbeat:oralsnr sid=lion

home=/oracle/oracle11g/product/11.2.0/db_1 --group orasrv

集群粘性

/*防止节点恢复后自动回迁，经验证，如不设置，当主节点恢复后集群会自动回迁, 资源粘

性表示资源是否倾向于留在当前节点，如果为正整数，表示倾向，负数则会离开，-inf表

示负无穷，inf表示正无穷。*/

pcs resource defaults resource-stickiness=100 */

集群资源异常时的切换策略

集群故障迁移策略迁移

/* 关于切换策略，默认是无限大，即集群应用出故障后不切换，我们调整为1，表示当应用出现一次故障，比如手工kill 监听，节点应用会整体迁移至节点2 */

pcs resource defaults migration-threshold=1

高可用测试

1）通过standby做节点切换

[root@ha1 ~]# pcs cluster standby ha2

2）查看集群状态

[root@ha1 ~]# pcs status

3）重新使ha2上线(默认配置并不回切)

[root@ha1 ~]# pcs cluster unstandby ha2

4）只停止包，不切换

[root@ha1 ~]#pcs resource disable 资源组

5）另外一个切换命令（会产生constraint，不建议用，需要用clear清constraint）pcs resource move 资源组名

pcs resource clear 资源组名

集群常用命令

pcs property

pcs resource defaults /*资源默认设置*/

pcs status

pcs status cluster

pcs status corosync

pcs property list --all

pcs cluster verify -V /*检查集群配置是否正常*/

pcs resource list ocf

pcs resource describe ocf:heartbeat:IPaddr2 /* 添加资源的时候很有用*/

pcs stonith describe fence_vmware_soap /* 添加fence的时候很有用*/

pcs resource standards

pcs resource delete my_fs

pcs resource cleanup my_fs /*清理资源失败历史信息*/

pcs resource defaults target-role=Started

pcs resource defaults is-managed=true

pcs resource manage orasrv

pcs cluster cib /*查看xml配置文件*/

pcs resource defaults resource-stickiness=100 /*防止节点恢复后自动回迁*/

pcs stonith list /*查看系统支持的fence设备*/

pcs cluster destroy /*删除集群*/

HA知识描述

配置集群后，

集群的关闭顺序（如果没有通过指令调整），从下至上，（即先停数据库监听、再停数据库、再卸载文件系统、再关闭vg、再停掉浮动ip）

集群的启动顺序则正好相反

资源添加过程要做对顺序。

所有ha参考自文档主要来自

Red_Hat_Enterprise_Linux-7-High_Availability_Add-On_Administration-en-US.pdf Red_Hat_Enterprise_Linux-7-High_Availability_Add-On_Reference-en-US.pdf

以及网络linux7、centos7 集群安装文档。

单机挂载

单机挂载

1、pcs cluster stop –all 停集群

2、集群环境出问题以后，为了单机挂载磁盘，需要调整/etc/lvm/lvm.cof

如想挂载/dev/datavg，可以把这个vg加入配置如下

volume_list = [ "rhel" ,"datavg" ]

3、vgchange -a y /dev/datavg

4、mount

恢复集群：

1、umount

2、vgchange –a n datavg

3、pcs cluster start –all