CentOS 5+ASM来实现ORACLE 10.2 RAC

CentOS 5.5+ASM来实现ORACLE 10.2 RAC

目录

第一章实验环境介绍 (2)

第二章IPSAN的配置 (3)

2.1在集群节点1上安装RHEL ISCSI-TARGET (3)

2.2在集群节点1上配置RHEL ISCSI-TARGET (3)

2.3在两个集群节点上安装并配置ISCSI-INITIATOR-UTILS (5)

2.3.1集群节点1的iscsi-initiator配置 (5)

2.3.2集群节点2的iscsi-initiator配置 (5)

2.3.3 对ISCSI磁盘进行分区 (6)

2.3.4 裸设备的配置 (7)

第三章ASM的安装与配置 (8)

3.1在LINUX下安装ASM驱动软件 (8)

3.2配置O RACLE 自动存储管理(ASM) (9)

3.2.1 配置ASMLib。 (9)

3.2.2 创建ASM 磁盘。 (9)

第四章操作系统补丁包安装和参数调整 (10)

第五章集群件和数据库软件的安装 (13)

5.1配置两个集群节点间的时间同步。 (13)

5.1.1 NTP服务器的配置 (13)

5.1.2 NTP客户端的配置 (14)

5.2配置两个集群节点间的ORACLE用户的信任关系 (15)

5.3安装CRS软件 (16)

5.4安装数据库软件 (29)

第六章在ASM上创建数据库 (30)

6.1数据库的创建与配置 (30)

6.2ASM下ORACLE RAC的配置管理 (43)

第一章实验环境介绍

集群节点介绍

1、由于我是在笔记本上安装，笔记本的性能太差。为了节省资源我们把IP存储装在集群节点中的第一台服务器上，实际环境中不要把IP存储装在集群节点中。

2、由于CRS的OCR和voteing_disk不支持在ASM文件系统上安装，所心我们把这两个文件安装在RAW裸设备磁盘中

第二章IPSAN的配置

2.1在集群节点1上安装RHEL iscsi-target

[root@wishdb1 ~]# yum install scsi-target-utils

2.2在集群节点1上配置RHEL iscsi-target

首次安装需要先开启iscsi-target服务，命令如下：

[root@wishdb1 ~]# service tgtd start

将iscsi-target服务添加到开机自动启动，命令如下：

[root@wishdb1 ~]# chkconfig --level 2345 tgtd on

将如下命令添加到集群节点1的/etc/rc.local文件中，并执行该文件

tgtadm --lld iscsi --op new --mode target --tid 1 -T https://www.360docs.net/doc/2e6473626.html,.wish:ipsan-data tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sdb1 tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 2 -b /dev/sdb2 tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 3 -b /dev/sdb3 tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 3 -b /dev/sdb4 tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.30.101

tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.30.102

查看iscsi-target映射的磁盘

[root@wishdb1 ~]# tgtadm --lld iscsi --op show --mode target

Target 1: https://www.360docs.net/doc/2e6473626.html,.wish:ipsan-data

System information:

Driver: iscsi

State: ready

I_T nexus information:

I_T nexus: 1

Initiator: https://www.360docs.net/doc/2e6473626.html,.redhat:2d2be11ee910

Connection: 0

IP Address: 192.168.30.101

I_T nexus: 2

Initiator: https://www.360docs.net/doc/2e6473626.html,.redhat:2d2be11ee910

Connection: 0

IP Address: 192.168.30.102

LUN information:

LUN: 0

Type: controller

SCSI ID: IET 00010000

SCSI SN: beaf10

Size: 0 MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: None

LUN: 1

Type: disk

SCSI ID: IET 00010001

SCSI SN: beaf11

Size: 304 MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: /dev/sdb1 LUN: 2

Type: disk

SCSI ID: IET 00010002

SCSI SN: beaf12

Size: 411 MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: /dev/sdb2 LUN: 3

Type: disk

SCSI ID: IET 00010003

SCSI SN: beaf13

Size: 3307 MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: /dev/sdb3 LUN: 4

Type: disk

SCSI ID: IET 00010004

SCSI SN: beaf14

Size: 2418 MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: /dev/sdb4

Account information:

ACL information:

192.168.30.101

192.168.30.102

2.3在两个集群节点上安装并配置iscsi-initiator-utils 2.

3.1集群节点1的iscsi-initiator配置

[root@wishdb1 ~]# yum install iscsi-initiator-utils

[root@wishdb1 ~]# chkconfig --level 2345 iscsi off

[root@wishdb1 ~]# echo "service iscsi restart" >> /etc/rc.local

注：由于我们的iscsi-target服务装在第一个集群节点中，我们必须要先启动iscsi-target 服务并生成IPSAN磁盘后再启动iscsi-initiator服务，所以我们必须让iscsi-initiator 服务后运行于iscsi-target服务。我在这里用到了如下解决办法来让iscsi-initiator服务后运行于iscsi-target服务。即先把iscsi-initiator服务设置成开启不起动，再通过/etc/rc.local先运行iscsi-target命令后再启动iscsi-initiator服务。

[root@wishdb1 ~]# service iscsi start

[root@wishdb1 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.30.101

[root@wishdb1 ~]# service iscsi restart

2.3.2集群节点2的iscsi-initiator配置

[root@wishdb2 ~]# yum install iscsi-initiator-utils

[root@wishdb2 ~]# chkconfig --level 2345 iscsi on

[root@wishdb2 ~]# service iscsi start

[root@wishdb2 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.30.101

[root@wishdb2 ~]# service iscsi restart

2.3.3对ISCSI磁盘进行分区

查看ISCSI磁盘

[root@wishdb1 ~]# fdisk -l

Disk /dev/sda: 21.4 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

/dev/sda1 * 1 10 80293+ 83 Linux

/dev/sda2 11 137 1020127+ 82 Linux swap / Solaris /dev/sda3 138 2610 19864372+ 83 Linux

Disk /dev/sdb: 6442 MB, 6442450944 bytes

255 heads, 63 sectors/track, 783 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

/dev/sdb1 1 37 297171 83 Linux

/dev/sdb2 38 87 401625 83 Linux

/dev/sdb3 88 489 3229065 83 Linux

/dev/sdb4 490 783 2361555 83 Linux

Disk /dev/sdc: 304 MB, 304303104 bytes

10 heads, 59 sectors/track, 1007 cylinders

Units = cylinders of 590 * 512 = 302080 bytes

Disk /dev/sdc doesn't contain a valid partition table

Disk /dev/sdd: 411 MB, 411264000 bytes

13 heads, 61 sectors/track, 1012 cylinders

Units = cylinders of 793 * 512 = 406016 bytes

Disk /dev/sdd doesn't contain a valid partition table

Disk /dev/sde: 3306 MB, 3306562560 bytes

102 heads, 62 sectors/track, 1021 cylinders

Units = cylinders of 6324 * 512 = 3237888 bytes

Disk /dev/sde doesn't contain a valid partition table

Disk /dev/sdf: 2418 MB, 2418232320 bytes

75 heads, 62 sectors/track, 1015 cylinders

Units = cylinders of 4650 * 512 = 2380800 bytes

Disk /dev/sdf doesn't contain a valid partition table

对ISCSI磁盘进行分区（只需要要在集群中任一节点运行即可）

对/dev/sdc分区

用同样的方法对/dev/sdd、/dev/sde和/dev/sdf进行分区

2.3.4裸设备的配置

把分区映射成裸设备

在集群中的每个节点的/etc/udev/rules.d/60-raw.rules文件中加入以下内容ACTION=="add",KERNEL=="sdc1",RUN+="/bin/raw /dev/raw/raw1 %N" ACTION=="add",KERNEL=="sdd1",RUN+="/bin/raw /dev/raw/raw2 %N" KERNEL=="raw1", OWNER="oracle", GROUP="dba", MODE="660"

KERNEL=="raw2", OWNER="oracle", GROUP="dba", MODE="660"

在集群中的每个节点启动裸设备

[root@wishdb1 ~]# start_udev

[root@wishdb2 ~]# start_udev

在集群中的每个节点查看映射的裸设备

第三章ASM的安装与配置

Oracle ASM 与 Oracle 数据库紧密集成在一起，并与 Oracle 的数据管理工具套件配合工作。它可以简化数据库存储管理，并提供原始磁盘 I/O 的性能。

3.1 在LINUX下安装ASM驱动软件

将相应版本的软件包上传至LINUX，并在终端切换至相应的目录。

[root@wishdb1 ~]# rpm -ivh oracleasm-support-2.1.3-1.el5.i386.rpm

[root@wishdb1 ~]# rpm -ivh oracleasm-2.6.194.el5-2.0.5-1.el5.i686.rpm

[root@wishdb1 ~]# rpm -ivh oracleasmlib-2.0.4-1.el5.i386.rpm

[root@wishdb2 ~]# rpm -ivh oracleasm-support-2.1.3-1.el5.i386.rpm

[root@wishdb2 ~]# rpm -ivh oracleasm-2.6.194.el5-2.0.5-1.el5.i686.rpm

[root@wishdb2 ~]# rpm -ivh oracleasmlib-2.0.4-1.el5.i386.rpm

注： oracleasm软件包的版本最好和你操作系统内核的版本完全相同，比如我的版本是2.6.128.el5。或者内核的版本比这几个软件的版本要高，因为只有内核的版本更高内核才能支持这些软件的功能。

3.2 配置Oracle 自动存储管理(ASM)

3.2.1配置ASMLib。

以 root 用户身份在两个节点上配置 ASMLib。

[root@wishdb1 ~]# /etc/init.d/oracleasm configure

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library driver. The following questions will determine whether the driver is loaded on boot and what permissions it will have. The current values will be shown in brackets ('[]'). Hitting without typing an

answer will keep that current value. Ctrl-C will abort.

Default user to own the driver interface []: oracle

Default group to own the driver interface []: dba

Start Oracle ASM library driver on boot (y/n) [n]: y

Fix permissions of Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: [ OK ]

Loading module "oracleasm": [ OK ]

Mounting ASMlib driver filesystem: [ OK ]

Scanning system for ASM disks: [ OK ]

[root@wishdb2 ~]# /etc/init.d/oracleasm configure

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library driver. The following questions will determine whether the driver is loaded on boot and what permissions it will have. The current values will be shown in brackets ('[]'). Hitting without typing an

answer will keep that current value. Ctrl-C will abort.

Default user to own the driver interface []: oracle

Default group to own the driver interface []: dba

Start Oracle ASM library driver on boot (y/n) [n]: y

Fix permissions of Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: [ OK ]

Loading module "oracleasm": [ OK ]

Mounting ASMlib driver filesystem: [ OK ]

Scanning system for ASM disks: [ OK ]

3.2.2创建ASM 磁盘。

以 root 用户身份在任何一个节点上创建 ASM 磁盘。

[root@wishdb1 ~]# /etc/init.d/oracleasm createdisk VOL1 /dev/sde1

Marking disk "/dev/sdc1" as an ASM disk: [ OK ]

[root@wishdb1 ~]# /etc/init.d/oracleasm createdisk VOL2 /dev/sdf1

Marking disk "/dev/sdd1" as an ASM disk: [ OK ]

Verify that the ASM disks are visible from every node.

[root@wishdb1 ~]# /etc/init.d/oracleasm scandisks

Scanning system for ASM disks: [ OK ]

[root@wishdb1 ~]# /etc/init.d/oracleasm listdisks

VOL1

VOL2

在另一节点上扫描刚才创建的ASM磁盘

[root@wishdb2 ~]# /etc/init.d/oracleasm scandisks

Scanning system for ASM disks: [ OK ]

[root@wishdb2 ~]# /etc/init.d/oracleasm listdisks

VOL1

VOL2

（注：经过实验发现有时集群节点重启后ASM实例启动不起来，导致集群状态不正常。经过分析原因是系统没有找到ASM磁盘，我们可以让系统启动之后再开启一下ASM服务来检测ASM磁盘，这样ASM实例就会正常了。在两节点都将“service oracleasm start”命令添加到“/etc/rc.local”文件中。）

第四章操作系统补丁包安装和参数调整

本章的所有步骤需要在集群中的两个节点都要执行，下面我以节点wishdb1为例。

1、安装系统补丁包

[root@wishdb1 ~]# yum install gcc gcc-c++ libXp libaio make binutils openmotif setarch compat-db compat-gcc compat-gcc-c++ compat-libstdc++ compat-libstdc++-devel rsh

2、在两个集群节点配置/etc/hosts文件

集群节点1的/etc/hosts文件

集群节点2的/etc/hosts文件

3、创建 oracle 用户。

以 root 用户身份执行。

[root@wishdb1 ~]# groupadd oinstall

[root@ wishdb1 ~]# groupadd dba

[root@wishdb1 ~]# cd /

[root@wishdb1 /]# mkdir -p /u01/oracle /ocfs

[root@wishdb1 /]# useradd -d /u01/oracle/ -g oinstall -G dba oracle [root@wishdb1 /]# passwd oracle

Changing password for user oracle.

New UNIX password:

BAD PASSWORD: it is based on a dictionary word

Retype new UNIX password:

passwd: all authentication tokens updated successfully.

[root@wishdb1 /]# chown -R oracle:oinstall /u01/ /ocfs/

4、创建 oracle 用户环境文件。

[root@wishdb1 /]# su - oracle

[oracle@wishdb1 ~]$ vi .bash_profile

export PS1="`/bin/hostname -s`-> "

export EDITOR=vi

export ORACLE_SID=wishdb1

export ORACLE_BASE=/u01/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs_1

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export PATH=$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:$PATH

umask 022

[oracle@wishdb1 ~]$ source .bash_profile

5、创建文件系统目录结构。

以 oracle 用户身份执行。

wishdb1-> mkdir -p $ORACLE_BASE/admin

wishdb1-> mkdir -p $ORACLE_HOME

wishdb1-> mkdir -p $ORA_CRS_HOME

6、提高 Oracle 用户的 shell 限制。

使用文本编辑器将下面列出的行添加到 /etc/security/limits.conf、/etc/pam.d/login 和 /etc/profile。其他信息可以从文档中获得。

以root身份登陆

vi /etc/security/limits.conf

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

vi /etc/pam.d/login

session required /lib/security/pam_limits.so

vi /etc/profile

if [ $USER = "oracle" ]; then

if [ $SHELL = "/bin/bash" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

7、配置内核参数。

使用文本编辑器将下面列出的行添加到 /etc/sysctl.conf。要使更改立即生效，请执行/sbin/sysctl -p。

[root@wishdb1 ~]# vi /etc/sysctl.conf

kernel.shmall = 2097152

kernel.shmmax = 2147483648

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 65536

net.ipv4.ip_local_port_range = 1024 65000

net.core.rmem_default = 1048576

net.core.rmem_max = 1048576

net.core.wmem_default = 262144

net.core.wmem_max = 262144

8、配置 hangcheck timer内核模块。

hangcheck timer 内核模块可监控系统的运行情况，并重新启动出现故障的 RAC 节点。它使用两个参数，即 hangcheck_tick（定义系统检查频率）和 hangcheck_margin（定义在重置 RAC 节点前的最大挂起延时）来确定节点是否出现故障。

在 /etc/modprobe.conf 中添加以下行，以设置 hangcheck 内核模块参数。

[root@wishdb1 ~]# vi /etc/modprobe.conf

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

要立即加载模块，执行“modprobe -v hangcheck-timer”。

第五章集群件和数据库软件的安装

5.1 配置两个集群节点间的时间同步。

在ORACLE的RAC集群中产生故障最多的原因是集群中节点的时间相差太多，一般集群中节点的时间相差超过5分钟集群就会不正常。

在本实验环境中我们采用把集群的第一个节点配置成NTP的服务器，其它的节点每两秒种来和NTP服务器同步一次时间。

5.1.1NTP服务器的配置

在节点一开启NTP服务，并把NTP服务加到开机自动起动

[root@wishdb1 ~]# chkconfig --level 2345 ntpd on

[root@wishdb1 ~]# service ntpd on

5.1.2NTP客户端的配置

启用NTP客户端

在节点二打开时间配置工具

[root@wishdb2 ~]# system-config-date

选择“网络时间协议”选项卡，勾选“启用网络时间协议”，再填上NTP服务器的IP或域名。最后点“确定”完成NTP客户端的配置

配置每2秒种和NTP服务器同步一次时钟

在/etc/rc.local文件中加入以下内容：

while [ 1 ]; do ntpdate wishdb1 1>/dev/null 2>&1; sleep 2; done &

5.2 配置两个集群节点间的ORACLE用户的信任关系

在两节点切换到ORACLE用户输入以下命令：

wishdb1-> mkdir ~/.ssh

wishdb2-> mkdir ~/.ssh

wishdb1-> chmod 700 ~/.ssh/

wishdb1-> chmod 700 ~/.ssh/

wishdb1-> ssh-keygen -t rsa

wishdb1-> ssh-keygen -t dsa

wishdb2-> ssh-keygen -t rsa

wishdb2-> ssh-keygen -t dsa

wishdb1-> cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

wishdb1-> cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

wishdb1-> ssh wishdb2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

wishdb1-> ssh wishdb2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

wishdb1-> scp ~/.ssh/authorized_keys wishdb2:~/.ssh/authorized_keys

wishdb1-> ssh wishdb1 date; ssh wishdb2 date; ssh wishdb1-priv date; ssh wishdb2-priv date

5.3 安装CRS软件

将ORACLE 10.2的集群软件光盘插入光驱并挂载到集群中的任意一节点。[root@wishdb1 /]# mount /dev/hdc /mnt/

[root@wishdb1 /]# xhost +

access control disabled, clients can connect from any host

[root@wishdb1 /]# su - oracle

wishdb1-> /mnt/runInstaller

wishdb1-> export LANG=us_EN.UFT-8

1、弹出安装欢迎界面

2、指定Inventory目录和oinstall组

3、指定CRS的安装目录

4、检验安装需求，忽略掉内存和交换分区不足

5、在CRS中添加第二个节点

6、将第一块网卡指定为公共网卡

7、指定OCR安装的位置。