Linux+iscsi+ora10RAC集群
oracle rac 安装部署文档
oracle rac 安装部署文档oracle oracle rac搭建][常见问题汇总oracle rac 安装部署文档物理硬件配置需求：oracle 虚拟机需求：oracle rac两节点脚本搭建方法操作系统安装数据库安装oracle rac 图形界面搭建方法（适用于两个节点和多个oracle节点）创建磁盘组安装oracle数据库dbca 创建数据库配置oracle性能测试相关的参数关闭iolog常见问题汇总问题一：oracle在运行过程中，异常中断存储进程（gluster,tgtd等）会导致oracle异常报错ORA-01078。
问题二：查看数据库实例状态的时候报错ORA-01034问题三：删除问题表失败问题四：通过系统镜像安装桌面。
问题五：执行完oracle_install_rac.sh 如果oracleasm 命令未别找到，要先解压rpm文件夹问题六：rac01 和rac02 sid配置成一样的了怎么修改问题七：请求spfile错误问题八：ora 12516报错监听程序找不到符合协议堆栈要求的可用处理程序问题九:问题启动数据库报错 ORA-01078物理硬件配置需求：oracle 虚拟机需求：oracle rac两节点脚本搭建方法操作系统安装1.页面选择部署oracle rac2.选择共享盘创建，单机下一步3.配置虚拟机基本信息，– cpu改成2*16核，– 内存改成96G，– 添加一个网卡，连接心跳交换机– 磁盘添加iso redhat镜像文件– 磁盘设置为80G 预先分配网络配置第一个网口作为虚拟机的公网,第二个网口作为虚拟机的私网网口(连接heartbeat交换机的网口)4.单击下一步，安装redhat操作系统 [以下简略提示4点]1.hostname可以先不改2.创建分区的时候，选择Create Custom Layout自己配置分区大小3.创建分区/boot 分区1024M,swap 分区20480M，剩余的空间分配给/分区4.安装的时候选择带桌面的5.red hat系统安装完成后，按页面提示，安装虚拟机性能优化工具（不安装性能优化工具，会导致测试性能的时候，性能大幅下降）6.安装完成后，将虚拟机关机。
Oracle-RAC以及ASM安装全过程整理
RAC以及ASM安装全过程整理RAC以及ASM安装全过程整理更改主机名第一步：#hostname oratest第二步：修改/etc/sysconfig/network中的hostname第三步：修改/etc/hosts文件设置hosts文件可参考：[root@amdocs01 mapper]# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.localhostamdocs02amdocs02-vipamdocs02-priv设置IPeth01eth1绑定裸设备先在逻辑卷组上分出逻辑卷，全部为裸设备，必须包含：逻辑盘：ocrlv ,votelv 是必须的，因为后面安装ASM要用到data01,data02,data03,data04,data05,softlv,oralv可选1、裸设备定义：一块没有分区的硬盘，称为原始设备(RAWDEVICE)或者是一个分区，但是没有用EXT3,OCFS等文件系统格式化,称为原始分区(RAWPARTITION)以上两者都是裸设备2、裸设备的绑定有文件系统的分区是采用mount的方式挂载到某一个挂载点的(目录)而裸设备不能mount，只能绑定到/dev/raw/下的某一个设备名比如/dev/raw/raw13、裸设备的绑定方法先介绍第一种方法：修改/etc/sysconfig/rawdevices，添加以下内容,这里sdd1和sdd2是原始分区名或者原始设备(硬盘)名，raw1和raw2是/dev目录下的原始设备名，编号从raw1到raw8191，也就是最多可以绑定255个裸设备/dev/raw/raw1/dev/sdd1/dev/raw/raw2/dev/sdd2然后修改裸设备的属主和访问权限chown oracle:dba /dev/raw/raw1chown oracle:dba /dev/raw/raw2chmod 660 /dev/raw/raw1chmod 660 /dev/raw/raw2最后使得裸设备生效，并且在机器启动的时候就自动加载执行/sbin/chkconfig rawdevices on保证机器启动的时候裸设备能够加载，这一步很重要裸设备的绑定方法第二种方法，修改文件的方法#!/bin/sh## This script will be executed *after* all the other init scripts. # You can put your own initialization stuff in here if you don't # want to do the full Sys V style init stuff.touch /var/lock/subsys/localraw /dev/raw/raw1 /dev/mapper/vg00-ocrlvraw /dev/raw/raw2 /dev/mapper/vg00-votelvraw /dev/raw/raw3 /dev/mapper/vg00-data01raw /dev/raw/raw4 /dev/mapper/vg00-data02raw /dev/raw/raw5 /dev/mapper/vg00-data03raw /dev/raw/raw6 /dev/mapper/vg00-data04chmod 775 /dev/raw/raw1chmod 775 /dev/raw/raw2chmod 775 /dev/raw/raw3chmod 775 /dev/raw/raw4chmod 775 /dev/raw/raw5chmod 775 /dev/raw/raw6chown oracle:dba /dev/raw/raw1chown oracle:dba /dev/raw/raw2chown oracle:dba /dev/raw/raw3chown oracle:dba /dev/raw/raw4chown oracle:dba /dev/raw/raw5chown oracle:dba /dev/raw/raw6chown oracle:dba /dev/raw/raw7modprobe hangcheck-timer hangcheck-tick=30 hangcheck_margin=1804、裸设备的读写不能用cp等命令操作，写入内容用dd命令，可以参阅相关资料5、清空裸设备相当于格式化啦bs是快的大小，blocksizecount是快的数量，这两者相乘大于裸设备的容量即可ddif=/dev/zeroof=/dev/raw/raw1bs=8192count=12800ddif=/dev/zeroof=/dev/raw/raw2bs=8192count=12800-------另外，注意：rhel4使用udev来管理设备手动修改/dev/raw/raw1不能永久生效要想使得权限持久生效raw/*:root:disk:0660改成raw/*:oracle:dba:0660重启机器如果/dev/下没有/raw/目录，可以自己手工建立。
Symantec Backup Exec 12.5备份Linux下的Oracle 10G
Symantec Backup Exec 12.5备份Linux下的Oracle 10G测试环境：VMware Workstation V6.5.1，Oracle Database 10g Release 2 (10.2.0.1.0) Enterprise/Standard Edition for Linux x86Linux CentOS V5.5 32位版本。
Windows 2003 R2+SP2 安装BE V12.5，IP为172.18.12.211。
Intel Core2 P8700 2.53G CPU ，1G内存，硬盘40G。
采用虚拟机的安装方式。
一、Linux RALUS 安装与配置Linux系统中，首先需要安装的就是RALUS(Symantec Remote Agent for Linux or Unix Server)。
装好它后，Symantec BE备份软件才可以发现Linux系统，从而进行备份。
注意：1、安装前，如果您的Linux系统使用了webmin程序，请将它的管理端口改掉，由默认的10000 port改为88好了。
2、在Linux里面，使用命令 rpm -qa |grep compat查询一下，看compat-libstdc++-33-3.2.3-61 包是否有安装。
3、确认Windows Symantec BE V12.5里面有“Remote Media Agent for Linux Servers”和“Agent for Oracle on Window or Linux Servers”的许可证安装在里面了。
建议使用Backup Exec 2010R2 DVD光盘里面的RALUS_RMALS_RAMS-4164.5.tar.gz 文件来进行安装。
将安装包使用SSH工具传到Linux系统的/symantec目录中。
解压缩后，使用下面命令及过程安装即可。
其实过程很简单，没有什么要配置的。
RHEL5.5 RHCS+Oracle 10g安装配置
RHEL5.5 RHCS+Oracle 10g一、环境说明：三台服务器，rhcs01、rhcs02是集群的两节点，admin是管理集群的。
配置如下:rhcs01:内存：1GBip:192.168.1.139主机名：rhcs02:内存：1GBip:192.168.1.140主机名：admin:内存：1GBip:192.168.1.138主机名：存储用的是ISCSI，分配了一个10G的硬盘做共享存储。
这三台都安装了”Cluster Storage”和”Clustering”软件组。
hosts文件如下所示：这里的是oralce的监听地址，这个会在配置cluster的时候作为一个资源添加进去的。
二、配置篇：首先在admin主机上运行luci程序，初始化管理界面：这里会创建登录集群管理界面的帐号以及设置密码信息，完了后提示重启luci程序：重启完了后，会提示如何进入管理界面，按照上面的提示登入luci管理界面：1、创建一个cluster框架：点击cluster->create a new cluster,输入下面信息： Cluster Name:ora-clusterNode Hostname:然后点击submit，本的框架就建立好了，如下图所示：接着/etc/cluster/fence_xvm.key文件：然后点击Cluster->Cluster list->查看ora-cluster 的状态，如下图所示：cman，rgmanager 在运行中并且是在系统启动的时候自动启动。
如图所示：如果cman和rgmanager没有运行，则可以在系统中使用service命令启动。
然后点击Update node daemon properties，系统会更新进程的状态。
2、设置共享存储：点击Storage->system list->或者,如图：这里之前认到的是sdb，创建完成后重启了下机器就变成sdd了，不去理会它。
ISCSI服务器
ISCSI服务器-描述iSCSI储备的工作原理和机制；-如何定义iSCSI的服务器端和客户端；-说明说明iSCSI的配置和相关工具；3.0.1 红帽的iSCSI驱动器：在第一章中我们就了解到了什么是iSCSI。
iSCSI〔ip Over SCSI〕业内也常叫作ipSAN，即是通过TCP/IP的网络协议来传输磁盘的SCSI数据，随着以太网技术的进展，千兆万兆都将应用在企业中，而以iSCSI储备的性价比，专门多中小型企业会更加倾向于使用。
也确实是说，iSCSI是基于TCP/IP下的网络储备解决方案，那么iSCSI和SCSI/FC储备机制有什么不同呢：左边的模型是iSCSI储备的整个数据流淌模型，右边的是FC SAN 的模型，通过那个图能够清晰地看出iSCSI储备和FC光纤储备的对应关系。
iSCSI驱动器提供了一个能够通过IP网络访问储备的主机，那个驱动器使用了iSCSI的协议〔由IETF定义的〕通过IP网络在主机和iSCSI服务器端来传输SCSI的要求和回应。
假如你想了解更多关于iSCSI协议的信息，能够参考RFC 3720〔 :// /rfc/rfc3720.txt〕标准。
从模型架构的角度来看，iSCSI驱动器结合了主机的TCP/IP协议栈、网络驱动器和网卡，提供了与SCSI/FC驱动器一样的功能。
尽量用单独的网络来使用iSCSI储备。
3.02 iSCSI数据访问：iSCSI储备分为服务器端〔targets〕和客户端〔initiators〕，客户端发送SCSI命令到远程的储备设备端〔服务器端〕，iSCSI使用的是TCP/IP 协议，默认使用TCP的3260端口。
客户端：-通过discovery程序来要求远程的块设备；-客户端必须安装了iscsi设备驱动器；-要安装iscsi-initiator-utils-*.rpm软件包；服务器端：-公布一个或多个块设备给initiator访问；-从RHEL5.3以后开始支持iSCSI；-需要安装scsi-target-utils-*.rpm软件包；关于每个target来说，主机ID是唯独的，储备块设备的LUN ID 是由iSCSI target来分配的。
VMware搭建Oracle-11g-RAC测试环境-For-Linux
2015-01-11 17:16 15359人阅读评论(0) 收藏举报分类：Oracle RAC（1）声明：本文为博主原创文章，未经博主允许不得。
环境如下：Linux操作系统：Centos 6.5 64bit （这个版本的redhat 6核等OS在安装grid最后执行root.sh时会出现crs-4124，是oracle11.2.0.1的bug）VMware version：Workstation 8.0.3 build-703057Oracle版本：11G R2 grid/oracle 64位11.2.0.1.0 for linux步骤规划：1，配置虚拟机、安装Linux操作系统2，配置OS3，配置ASM4，安装Oracle grid5，安装Oracle database6，创建ASM磁盘组7，建立数据库实例1，配置虚拟机、安装Linux操作系统1.1 新建虚拟机：RAC1和RAC2，并安装OS下载Centos的iso后新建虚拟机后安装即可，这里略。
注意存分配，每个虚拟机至少1.5G存比较好，我的机器8G存，给每个虚拟机分了2G，给每个虚拟机分配50GB硬盘容量，配置2个桥接网卡。
1.2 配置Share Disks新建共享硬盘，在DOS VM安装目录下执行：cd \D F:/Software/vm8/vmware-vdiskmanager.exe -c -s 1000Mb -a lsilogic -t 2 K:\VMDisk\Sharedisk\ocr.vmdk vmware-vdiskmanager.exe -c -s 1000Mb -a lsilogic -t 2 K:\VMDisk\Sharedisk\ocr2.vmdk vmware-vdiskmanager.exe -c -s 1000Mb -a lsilogic -t 2K:\VMDisk\Sharedisk\votingdisk.vmdkvmware-vdiskmanager.exe -c -s 20000Mb -a lsilogic -t 2 K:\VMDisk\Sharedisk\data.vmdkvmware-vdiskmanager.exe -c -s 10000Mb -a lsilogic -t 2K:\VMDisk\Sharedisk\backup.vmdk配置虚拟机RAC1 RAC2目录下的vmx虚拟机配置文件，在行最后添加如下：scsi1.present = "TRUE"scsi1.virtualDev = "lsilogic"scsi1.sharedBus = "virtual"scsi1:1.present = "TRUE"scsi1:1.mode = "independent-persistent"scsi1:1.filename = "K:\VMDisk\Sharedisk\ocr.vmdk"scsi1:1.deviceType = "plainDisk"scsi1:2.present = "TRUE"scsi1:2.mode = "independent-persistent"scsi1:2.filename = "K:\VMDisk\Sharedisk\votingdisk.vmdk"scsi1:2.deviceType = "plainDisk"scsi1:3.present = "TRUE"scsi1:3.mode = "independent-persistent"scsi1:3.filename = "K:\VMDisk\Sharedisk\data.vmdk"scsi1:3.deviceType = "plainDisk"scsi1:4.present = "TRUE"scsi1:4.mode = "independent-persistent"scsi1:4.filename = "K:\VMDisk\Sharedisk\backup.vmdk"scsi1:4.deviceType = "plainDisk"scsi1:5.present = "TRUE"scsi1:5.mode = "independent-persistent"scsi1:5.filename = "K:\VMDisk\Sharedisk\ocr2.vmdk"scsi1:5.deviceType = "plainDisk"disk.locking = "false"diskLib.dataCacheMaxSize = "0"diskLib.dataCacheMaxReadAheadSize = "0"diskLib.DataCacheMinReadAheadSize = "0"diskLib.dataCachePageSize = "4096"diskLib.maxUnsyncedWrites = "0"保存退出。
Oracle 11gR2 RAC ASM Multipath ESXi Openfile
Oracle 11gR2 RAC ASM Multipath ESXiOpenfiler 1.介绍硬件配置：FUJITSU PRIMERGY RX300 S7 ，内存128G，硬盘2T虚拟机版本：VMware ESXi 5.5 update1Openfiler版本：2.99.1虚拟客户机：Oracle Linux 6 update 7Oracle数据库版本：11.2.0.4rac架构规划：安装VMware ESXi 5.5 update1 （略）安装Openfiler（略）Openfilter配置：https://10.10.10.200:446使用默认的用户名密码进行登陆User：openfilerPass：password安装Oracle Linux 6.7 （略）安装时选择“Desktop”模式，安装完成后关闭防火墙和selinux 安装必要的软件包：配置本地yum安装源：mount -o loop OracleLinux-R6-U7-Server-x86_64-dvd.iso /mediacd /etc/you.repos.dvilocal.repo[oel6]name=Enterprise Linux 6.7 DVDbaseurl=file:///media/Servergpgcheck=0enabled=1yum install oracle-rdbms-server-11gR2-preinstall安装Oracle：（以下操作在所有节点）cat /etc/sysctl.conf# oracle-rdbms-server-11gR2-preinstall setting for fs.file-max is 6815744fs.file-max = 6815744# oracle-rdbms-server-11gR2-preinstall setting for kernel.sem is '250 32000 100 128'kernel.sem = 250 32000 100 128# oracle-rdbms-server-11gR2-preinstall setting for kernel.shmmni is 4096kernel.shmmni = 4096# oracle-rdbms-server-11gR2-preinstall setting for kernel.shmall is 1073741824 on x86_64# oracle-rdbms-server-11gR2-preinstall setting for kernel.shmall is 2097152 on i386# oracle-rdbms-server-11gR2-preinstall setting for kernel.shmmax is 4398046511104 on x86_64 # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmmax is 4294967295 on i386 kernel.shmmax = 4398046511104# oracle-rdbms-server-11gR2-preinstall setting for kernel.panic_on_oops is 1 per Orabug 19212317kernel.panic_on_oops = 1# oracle-rdbms-server-11gR2-preinstall setting for net.core.rmem_default is 262144net.core.rmem_default = 262144# oracle-rdbms-server-11gR2-preinstall setting for net.core.rmem_max is 4194304net.core.rmem_max = 4194304# oracle-rdbms-server-11gR2-preinstall setting for net.core.wmem_default is 262144net.core.wmem_default = 262144# oracle-rdbms-server-11gR2-preinstall setting for net.core.wmem_max is 1048576net.core.wmem_max = 1048576# oracle-rdbms-server-11gR2-preinstall setting for fs.aio-max-nr is 1048576fs.aio-max-nr = 1048576# oracle-rdbms-server-11gR2-preinstall setting for net.ipv4.ip_local_port_range is 9000 65500 net.ipv4.ip_local_port_range = 9000 65500cat /etc/security/limits.conf# oracle-rdbms-server-11gR2-preinstall setting for nofile soft limit is 1024oracle soft nofile 1024# oracle-rdbms-server-11gR2-preinstall setting for nofile hard limit is 65536oracle hard nofile 65536# oracle-rdbms-server-11gR2-preinstall setting for nproc soft limit is 16384# refer orabug15971421 for more info.oracle soft nproc 16384# oracle-rdbms-server-11gR2-preinstall setting for nproc hard limit is 16384oracle hard nproc 16384# oracle-rdbms-server-11gR2-preinstall setting for stack soft limit is 10240KBoracle soft stack 10240# oracle-rdbms-server-11gR2-preinstall setting for stack hard limit is 32768KBoracle hard stack 32768# oracle-rdbms-server-11gR2-preinstall setting for memlock hard limit is maximum of {128GB (x86_64) / 3GB (x86) or 90 % of RAM}oracle hard memlock 134217728# oracle-rdbms-server-11gR2-preinstall setting for memlock soft limit is maximum of {128GB (x86_64) / 3GB (x86) or 90% of RAM}oracle soft memlock 134217728grid soft nofile 1024grid hard nofile 65536grid soft nproc 16384grid hard nproc 16384grid soft stack 10240grid hard stack 32768grid hard memlock 134217728grid soft memlock 134217728配置iSCSI（启动器）服务:serviceiscsi startserviceiscsid startchkconfigiscsi onchkconfigiscsid on[root@host1 rules.d]# iscsiadm -m discovery -t sendtargets -p 10.10.10.20010.10.10.200:3260,1 .openfiler:tsn.a5e4c27b1e4d10.10.10.201:3260,1 .openfiler:tsn.a5e4c27b1e4d10.10.10.200:3260,1 .openfiler:tsn.a55e30d0c0e910.10.10.201:3260,1 .openfiler:tsn.a55e30d0c0e9手工登录：iscsiadm -m node -T 10.10.10.200:3260,1 .openfiler:tsn.a5e4c27b1e4d –l -p 10.10.10.200iscsiadm -m node -T 10.10.10.201:3260,1 .openfiler:tsn.a5e4c27b1e4d –l -p 10.10.10.200iscsiadm -m node -T 10.10.10.200:3260,1 10.10.10.200:3260,1 .openfiler:tsn.a55e30d0c0e9 –l -p 10.10.10.200iscsiadm -m node -T 10.10.10.201:3260,1 10.10.10.200:3260,1 .openfiler:tsn.a55e30d0c0e9 –l -p 10.10.10.200Display current sessions# iscsiadm -m sessiontcp: [1] 10.10.10.200:3260,1 .openfiler:tsn.a5e4c27b1e4d (non-flash)tcp: [2] 10.10.10.201:3260,1 .openfiler:tsn.a5e4c27b1e4d (non-flash)tcp: [3] 10.10.10.200:3260,1 .openfiler:tsn.a55e30d0c0e9 (non-flash)tcp: [4] 10.10.10.201:3260,1 .openfiler:tsn.a55e30d0c0e9 (non-flash)安装multipath：yum install device-mapper-multipath配置multipath：cat /etc/multipath.confblacklist {devnode "^sda[1-2]"}defaults {user_friendly_names yespath_grouping_policymultibusfailback immediateno_path_retry fail}启动服务：servicemultipathd startcat/etc/udev/rules.d/12-dm-permissions.rulesENV{DM_NAME}=="mpathb", OWNER:="grid", GROUP:="asmadmin", MODE:="0660", SYMLINK+="oracleasm/disk-$env{DM_NAME}"Reload UDEV ( OEL 6 style )udevadm control --reload-rulesstart_udevcat /etc/hosts:10.10.10.11 host1 10.10.10.12 host2 10.10.10.21 host1-vip10.10.10.22 host2-vip10.10.10.31 host-cluster host-cluster-scan192.168.1.11 host1-priv192.168.1.12 host2-priv建用户：groupadd -g 5000 asmadmingroupadd -g 5001 asmdbagroupadd -g 5002 asmopergroupadd -g 6000 oinstallgroupadd -g 6001 dbagroupadd -g 6002 operuseradd -u 2000 -g oinstall -G asmadmin,asmdba,asmoper griduseradd -u 2001 -g oinstall -G dba,asmdba oracleoracle用户可能之前已经创建，这里命令会报错可使用usermod命令修改oracle用户所属组，否则后台使用DBCA创建库的时候会出错passwd gridpasswd oracle建目录：mkdir –p /oracle/grid_basemkdir –p /oracle/grid_homemkdir –p /oracle/app/product/11.2/db_1chown –R grid:asmadmin /oraclechown –R oracle:oinstall /oracle/app设置环境变量：grid 用户环境变量：export ORACLE_BASE=/oracle/grid_baseexport ORACLE_HOME=/oracle/grid_homeexport GRID_HOME=/oracle/grid_homeexport PATH=$GRID_HOME/bin:$GRID_HOME/OPatch:/sbin:/bin:/usr/sbin:/usr/binexport ORACLE_SID=+ASM1export LD_LIBRARY_PATH=$GRID_HOME/lib:$GRID_HOME/lib32export NLS_LANG=AMERICAN_AMERICA.ZHS16GBKoracle用户环境变量：export ORACLE_BASE=/oracle/appexport ORACLE_HOME=/oracle/app/product/11.2/db_1export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:/sbin:/bin:/usr/sbin:/usr/bin export ORACLE_SID=rac1export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/lib32export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK安装Grid Infrastructure（使用grid用户）：检查状态：[root@host1 ~]# crsctl stat res -t--------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources--------------------------------------------------------------------------------ora.DATA1.dgONLINE ONLINE host1ONLINE ONLINE host2ora.LISTENER.lsnrONLINE ONLINE host1ONLINE ONLINE host2ora.asmONLINE ONLINE host1 StartedONLINE ONLINE host2 Startedora.gsdOFFLINE OFFLINE host1OFFLINE OFFLINE host2workONLINE ONLINE host1ONLINE ONLINE host2ora.onsONLINE ONLINE host1ONLINE ONLINE host2--------------------------------------------------------------------------------Cluster Resources--------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr1 ONLINE ONLINE host1ora.cvu1 ONLINE ONLINE host1ora.host1.vip1 ONLINE ONLINE host1ora.host2.vip1 ONLINE ONLINE host2ora.oc4j1 ONLINE ONLINE host1ora.scan1.vip1 ONLINE ONLINE host1打补丁(GI):两节点都执行，使用grid用户cd/oracle/grid_home/crs/install[root@host1 install]# ./rootcrs.pl -unlockUsing configuration parameter file: ./crsconfig_paramsCRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'host1' CRS-2673: Attempting to stop 'ora.crsd' on 'host1'CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on 'host1'CRS-2673: Attempting to stop 'ora.LISTENER_SCAN1.lsnr' on 'host1'CRS-2673: Attempting to stop 'ora.LISTENER.lsnr' on 'host1'CRS-2673: Attempting to stop 'ora.oc4j' on 'host1'CRS-2673: Attempting to stop 'ora.DATA1.dg' on 'host1'CRS-2677: Stop of 'ora.cvu' on 'host1' succeededCRS-2672: Attempting to start 'ora.cvu' on 'host2'CRS-2677: Stop of 'ora.LISTENER_SCAN1.lsnr' on 'host1' succeededCRS-2673: Attempting to stop 'ora.scan1.vip' on 'host1'CRS-2677: Stop of 'ora.LISTENER.lsnr' on 'host1' succeededCRS-2673: Attempting to stop 'ora.host1.vip' on 'host1'CRS-2676: Start of 'ora.cvu' on 'host2' succeededCRS-2677: Stop of 'ora.scan1.vip' on 'host1' succeededCRS-2672: Attempting to start 'ora.scan1.vip' on 'host2'CRS-2677: Stop of 'ora.host1.vip' on 'host1' succeededCRS-2672: Attempting to start 'ora.host1.vip' on 'host2'CRS-2676: Start of 'ora.scan1.vip' on 'host2' succeededCRS-2672: Attempting to start 'ora.LISTENER_SCAN1.lsnr' on 'host2'CRS-2676: Start of 'ora.LISTENER_SCAN1.lsnr' on 'host2' succeededCRS-2677: Stop of 'ora.oc4j' on 'host1' succeededCRS-2672: Attempting to start 'ora.oc4j' on 'host2'CRS-2676: Start of 'ora.host1.vip' on 'host2' succeededCRS-2677: Stop of 'ora.DATA1.dg' on 'host1' succeededCRS-2673: Attempting to stop 'ora.asm' on 'host1'CRS-2677: Stop of 'ora.asm' on 'host1' succeededCRS-2676: Start of 'ora.oc4j' on 'host2' succeededCRS-2673: Attempting to stop 'ora.ons' on 'host1'CRS-2677: Stop of 'ora.ons' on 'host1' succeededCRS-2673: Attempting to stop 'work' on 'host1'CRS-2677: Stop of 'work' on 'host1' succeededCRS-2792: Shutdown of Cluster Ready Services-managed resources on 'host1' has completed CRS-2677: Stop of 'ora.crsd' on 'host1' succeededCRS-2673: Attempting to stop 'ora.ctssd' on 'host1'CRS-2673: Attempting to stop 'ora.evmd' on 'host1'CRS-2673: Attempting to stop 'ora.asm' on 'host1'CRS-2673: Attempting to stop 'ora.mdnsd' on 'host1'CRS-2677: Stop of 'ora.evmd' on 'host1' succeededCRS-2677: Stop of 'ora.mdnsd' on 'host1' succeededCRS-2677: Stop of 'ora.asm' on 'host1' succeededCRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'host1'CRS-2677: Stop of 'ora.ctssd' on 'host1' succeededCRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'host1' succeededCRS-2673: Attempting to stop 'ora.cssd' on 'host1'CRS-2677: Stop of 'ora.cssd' on 'host1' succeededCRS-2673: Attempting to stop 'ora.crf' on 'host1'CRS-2677: Stop of 'ora.crf' on 'host1' succeededCRS-2677: Stop of 'ora.gipcd' on 'host1' succeededCRS-2673: Attempting to stop 'ora.gpnpd' on 'host1'CRS-2677: Stop of 'ora.gpnpd' on 'host1' succeededCRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'host1' has completedCRS-4133: Oracle High Availability Services has been stopped.Successfully unlock /oracle/grid_home更新OPatch软件：cd /oracle/grid_homerm -rfOPatch/unzip p6880880_112000_Linux-x86-64.zipcd /oracle/soft/gridunzip p2*******_112040_Linux-x86-64.zipcd/oracle/grid_home/OPatch/./opatchnapply -oh /oracle/grid_home -local /oracle/soft/grid/20996923./opatchlspatches./opatchlsinventory打补丁（DB）：两个节点都执行，使用oracle用户cd /oracle/app/product/11.2/db_1/rm -rfOPatch/unzip p6880880_112000_Linux-x86-64.zipcd/oracle/soft/db/unzip p2*******_112040_Linux-x86-64.zipcd /oracle/app/product/11.2/db_1/OPatch./opatchnapply -oh /oracle/app/product/11.2/db_1 -local /oracle/soft/db/20760982./opatchlspatches./opatchlsinventory在root用户下开启crs服务：/oracle/grid_home/rdbms/install/rootadd_rdbms.sh/oracle/grid_home /crs/install/rootcrs.pl -patch系统检查：crsctl check hascrsctl check crscrsctl stat res -t ifconfig–a创建数据库DBCA：调整VKTM优先级：参考文档：百度文库：Oracle 11gR2 RAC ESXiOpenfiler/link?url=zhS05_Rf3zH0CQF-RFpIwOr8S2-q2qw8IHFLDlz9e6UusN-WFN0L vHW9Tm0tRR-MCFuiajwOQaZimYyZpXUJ5zX2Hf45K_V2uTC2qh4wlXSOracle RAC安装中使用multipath实现存储设备持久化/s/blog_48567d850101jxmj.htmlLinux平台的多路径软件multipath的使用案例/23135684/viewspace-745789/Oracle 11g R2+RAC+ASM+OracleLinux6.4安装详解（图）/xmlrpc.php?r=blog/article&id=4681351&uid=29655480在Oracle Enterprise Linux 和iSCSI 上构建您自己的Oracle RAC 11g 集群/technetwork/cn/articles/hunter-rac11gr2-iscsi-083834-zhs.htmlRAC 11.2.0.4 setup using OPENFILER with Multipath ISCSI diskshttp://www.hhutzler.de/blog/rac-11-2-0-4-setup-using-openfiler-with-multipathed-iscsi-disks/#s etup-iscsi-clients-rac-nodesUDEV setup in a Multipath env for RAC/ASMhttp://www.hhutzler.de/blog/udev-setup-for-a-multipath-env/。
rac1
-2-
OCR：Oracle Cluster Registry 用于保存集群和数据库的配置信息，做为 CRS 的关键组件，， 因此，OCR 必须保存于共享磁盘(但不能是 ASM，asm 毕竟只是一个软件实现的文件冗余保护 系统)，大概需要 100M-2G 左右的空间。
Voting Disk:用于保存集群中各节点信息并确保各节点的一至性状态，同样也必须保存于共 享磁盘(也不能是 asm)，大概需要 20M-1G 左右的空间。
体系图：
Oracle 的 VIP，可以实现 IP 的自动跳转来实现节点的失败转换。对于失败的节点，oracle 必须恢复节点中的事务，保证数据库处于一致状态。一般这个过程要 1-5 分钟。
RAC 提供主机保护与负载均衡，不能容灾 如共享硬盘损坏等不可预料的损失。所以 RAC 需 要与其他容灾组件配合使用如 SAN 网络容灾复制，ASM 数据冗余，OS 层卷复制，RAC+DG 等 保护方式
raca 61.192.0.254
raca-priv 192.168.0.253
raca-vip 61.192.0.200 4． 在 FS01 上配置时间同步服务器 NTP,并让 RACA/RACB 分别与其同步。必须保证 RAC
节点间时间是按照 timestamp 同步的。 5． 在 RACA/RACB 上设置 oracle 的相关组，用户，环境变量，内核参数。注意每个 RAC
VMwarevSphere虚拟化平台OracleRAC群集配置手册
VMwarevSphere虚拟化平台OracleRAC群集配置⼿册⽬录1.准备Oracle RAC虚拟机第⼀个节点 (2)1.1.创建虚拟机 (2)1.2.添加仲裁磁盘 (3)1.3.添加磁盘多写标记参数⾄虚拟机 (5)2.准备Oracle RAC虚拟机第⼆个节点 (6)2.1.创建虚拟机 (7)2.2.添加仲裁磁盘 (7)2.3.添加磁盘多写标记参数⾄虚拟机 (8)1.准备Oracle RAC虚拟机第⼀个节点本章节主要介绍以下内容:●使⽤vSphere Client创建Oracle RAC群集的第⼀个节点；●使⽤VMFS存储⽂件系统作为Oracle RAC虚拟机存储；●配置Oracle RAC虚拟机磁盘的⽅法和参数；1.1.创建虚拟机⽤于搭建Oracle RAC虚拟机群集的第⼀个节点，vCenter Server必须拥有2台ESXi主机数量以上。
ESXi主机的数量，取决于Oracle RAC虚拟机群集的节点数和⾼可⽤性要求；创建虚拟机步骤:1、使⽤vSphere Client登录到vCenter Server；2、通过虚拟机模版或者新建虚拟机⽅式，创建⼀台虚拟机名为”RAC 01”；根据需要配置虚拟机操作系统类型、虚拟机硬件和操作系统所需的磁盘空间；3、完成操作系统的安装，以及⽹络的基本配置；1.2.添加仲裁磁盘Oracle RAC需要⾄少⼀个共享的仲裁盘存放clusterware信息和节点投票信息。
存储管理员需要事先为仲裁盘分配好⽤于存储Oracle RAC和仲裁磁盘相关对象的LUN，然后我们需要创建单独的SCSI控制器并设为Paravirtual驱动. SCSI 总线sharing policy 设为none.下⾯描述创建共享存储的步骤，例如为虚拟机创建10GB 磁盘：1、使⽤vSphere Client登录vCenter Server；2、关闭上述完成操作系统安装的虚拟机”RAC 01”；3、在客户端右键”编辑设置”，并且添加新的磁盘。
Oracle11g RAC 实施手册
一系统网络资源1.1网络分配：主机名公网(public) 专网(private) 虚拟网(vip)Rac1 IP IP IPRac2 IP IP IP1.2 硬件资源Cpu ：Intel(R) Xeon(TM) MP CPU 3.16GHz*2内存：1G硬盘：20G共享磁盘：6G1.3 操作系统安装1.3.1 操作系统版本：Red Hat Enterprise Linux AS release 4 (Nahant Update 4) 1.3.2 系统分区分区信息分区类型分区大小/boot ext3 100M/ ext3 10240MSwap swap 2048/oracle ext3 10240M/opt ext3 5120M/tmp ext3 1024M1.3.3 系统语言简体中文，ENGLISH（USA）1.3.4 安装模式完全安装二数据安装资源2.1 数据库安装包2.1.1 ORACLE 11G软件包：下载地址：Oracle Database 11g Release 1 (11.1.0.6.0) for Linux x86Oracle Database 11g Release 1 Client (11.1.0.6.0) for Linux x86Oracle Database 11g Examples (formerly Companion)Oracle Clusterware Release 1 (11.1.0.6.0) for Linux x86Oracle Database Gateways 11g Release 1 (11.1.0.6.0) for Linux x862.1.2 ORACLE 11G-ASMlib工具包：下载地址：/technology/software/tech/linux/asmlib/rhel4.htmloracleasm-2.6.9-42.ELsmp-2.0.3-1.i686.rpmoracleasm-support-2.0.3-1.i386.rpmoracleasmlib-2.0.2-1.i386.rpm2.1.3 系统补丁的下载下载地址：/projects/compat-oracle/files/RedHat/compat-libcwait-2.1-1.i386.rpmcompat-oracle-rhel4-1.0-5.i386.rpm三系统安装配置3.1 系统参数配置3.1.1 关闭没必要的服务chkconfig --level 35 autofs offchkconfig --level 35 acpid offchkconfig –level 35 sendmail offchkconfig –level 35 cups-config-daemon offchkconfig –level 35 cpus offchkconfig –level 35 xfs offchkconfig –level 35 lm_sensors offchkconfig –level gpm offchkconfig –level openibd offchkconfig –level iiim offchkconfig –level pcmcia offchkconfig –level cpuspeed offchkconfig –level nfslock offchkconfig –level ip6tables offchkconfig –level rpcidmapd offchkconfig –level apmd offchkconfig –level sendmail offchkconfig –level arptables_jf offchkconifg –level microcode_ctl offchkconfig –level rpcgssd off3.1.2设置主机表vi /etc/hosts127.0.0.1 localhost.localdomain localhost IP rac1IP racp1IP racv1IP rac2IP racp2IP racv23.1.3 修改内核参数vi /etc/sysctl.confk ernel.shmmax = 536870912kernel.shmmni = 4096kernel.shmall = 2097152kernel.sem = 250 32000 100 128fs.file-max = 65536net.ipv4.ip_local_port_range = 1024 65000net.core.rmem_default = 4194304net.core.rmem_max = 4194304net.core.wmem_default = 4194304net.core.wmem_max = 4194304kernel.panic = 603.1.4设置oracle登录使用资源数vi /etc/security/limits.conforacle soft nofile 65536oracle hard nofile 65536oracle soft nproc 16384oracle hard nproc 16384vi /etc/pam.d/login –末行加入以下session required pam_limits.so multiple open3.1.5建立hangcheck模块加载检测是否安装了hangcheck模块[root@rac1]# find /lib/modules -name "hangcheck-timer.ko"/lib/modules/2.6.9-42.ELsmp/kernel/drivers/char/hangcheck-timer.ko设置模块为自动加载su –echo "options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180" >> /etc/modprobe.conf 或者echo " /sbin/modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180" >> /etc/rc.local 检测模块是否运行su -modprobe hangcheck-timergrep Hangcheck /var/log/messages | tail -23.1.6 禁用selinuxgetseboolgetsebool: SELinux is disabledvi /etc/selinux/configSELINUX=disabled3.1.7 添加oracle用户和用户组mkdir –p /oracle/oraclegroupadd –g 502 dbagroupadd –g 501 oinstalluseradd –g 501 –G 502 –d /oracle/oracle oraclepasswd oraclechown -R oracle.oinstall /oracle/oracle3.1.8 修改主机名vi /etc/sysconfig/networkHOSTNAME=rac1# hostname rac1Rac 2 上同样执行3.2 设置oracle用户vi .bash_profileumask 022export ORACLE_BASE=/oracle/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/dbexport ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crsexport ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin #export ORACLE_SID=rac2export ORACLE_SID=rac1export NLS_LANG=AMERICAN_AMERICA.zhs16gbkexport NLS_DATE_FORMAT="YYYY-MM-DD HH24:MI:SS"export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/binexport PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/binexport PATH=${PATH}:$ORACLE_BASE/common/oracle/binexport ORACLE_TERM=xtermexport TNS_ADMIN=$ORACLE_HOME/network/adminexport ORA_NLS10=$ORACLE_HOME/nls/dataexport LD_LIBRARY_PATH=$ORACLE_HOME/libexport LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/libexport LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/libexport LD_ASSUME_KERNEL=2.4.19 # for RHEL AS 4export CLASSPATH=$ORACLE_HOME/JREexport CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexport CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlibexport CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlibexport THREADS_FLAG=nativeexport TEMP=/tmpexport TMPDIR=/tmpif [ $USER = "oracle" ]; thenif [ $SHELL = "/bin/ksh" ]; thenulimit -p 16384ulimit -n 65536elseulimit -u 16384 -n 65536fifi3.3 配置ASM服务3.3.1安装asm包rpm -Uvh oracleasm-2.6.9-42.ELsmp-2.0.3-1.i686.rpm oracleasmlib-2.0.2-1.i386.rpm oracleasm-support-2.0.3-1.i386.rpm安装asm包一定要和系统的内核相对应3.3.2配置asm服务cd /etc/init.d/[root@localhost init.d]# ./oracleasm configureConfiguring the Oracle ASM library driver.This will configure the on-boot properties of the Oracle ASM librarydriver. The following questions will determine whether the driver isloaded on boot and what permissions it will have. The current valueswill be shown in brackets ('[]'). Hitting <ENTER> without typing ananswer will keep that current value. Ctrl-C will abort.Default user to own the driver interface []: oracleDefault group to own the driver interface []: dbaStart Oracle ASM library driver on boot (y/n) [n]: yFix permissions of Oracle ASM disks on boot (y/n) [y]: yWriting Oracle ASM library driver configuration: [ OK ]Creating /dev/oracleasm mount point: [ OK ]Loading module "oracleasm": [ OK ]Mounting ASMlib driver filesystem: [ OK ]Scanning system for ASM disks: [ OK ]3.4 建立ssh等效性（在oracle用户操作）3.4.1 建立相关目录生成密钥和公钥su - oraclemkdir -p ~/.sshchmod 755 ~/.ssh[oracle@rac1 ~]$ /usr/bin/ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/oracle/oracle//.ssh/id_rsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /oracle/oracle//.ssh/id_rsa.Your public key has been saved in /oracle/oracle//.ssh/id_rsa.pub.The key fingerprint is:16:2b:45:27:24:ee:97:46:5e:72:43:f1:9f:df:4b:dd oracle@rac1[oracle@rac1 ~]$ /usr/bin/ssh-keygen -t dsaGenerating public/private dsa key pair.Enter file in which to save the key (/oracle/oracle//.ssh/id_dsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /oracle/oracle//.ssh/id_dsa.Your public key has been saved in /oracle/oracle//.ssh/id_dsa.pub.The key fingerprint is:0a:d5:e7:6a:a1:11:de:e4:72:74:fc:5f:b2:63:5b:6b oracle@rac1同等在RAC2上建立公钥和私钥3.4.2 建立等效密钥在第一个主机上，以oracle 用户身份登录cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keyscp ~/.ssh/authorized_keys ~/.ssh/rac1.authorized_keys第二台主机上，以oracle用户登录cat ~/.ssh/id_ >> ~/.ssh/authorized_keyscat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keyscp ~/.ssh/authorized_keys ~/.ssh/rac2.authorized_keys相互交换公钥scp ~/.ssh/rac1.authorized_keys oracle@IP:scp ~/.ssh/rac2.authorized_keys oracle@IP:RAC2 上执行：cat rac1.authorized_keys >> ~/.ssh/authorized_keysRAC1上执行：cat rac2.authorized_keys >> ~/.ssh/authorized_keys建立等效性（每台机器都执行）ssh rac1ssh rac2ssh racp1ssh racp2exec /usr/bin/ssh-agent $SHELL/usr/bin/ssh-add四配置共享磁盘4.1 建立ISCSI的共享磁盘4.1.1 编译iscsi-target的源包mkdir –p /usr/src/iscsi-targetwget /iscsi/RPMS/iscsitarget-0.4.12-6.src.rpmrpmbuild --rebuild iscsitarget-0.4.12-6.src.rpmrpm -Uvh iscsitarget-kernel-smp-0.4.12-6_2.6.9_42.EL.i386.rpm iscsitarget-0.4.12-6.i386.rpm 4.1.2 建立分区fdisk /dev/sda生成：/dev/sda8fdisk /dev/sdb生成：/dev/sdb14.1.3 配置共享盘I SCSI服务端配置：vi /etc/ietd.conf注释掉所有的其他Target .digicola:storage.lun1IncomingUser gfs secretsecretOutgoingUserLun 0 Path=/dev/sdb1,Type=fileioAlias iDISK0#MaxConnections 6Target .digicola:storage.lun2IncomingUser gfs secretsecretOutgoingUserLun 0 Path=/dev/sda8,Type=fileioAlias iDISK1#MaxConnections 6启动服务：service iscsi-target restart加入开机启动：chkconfig –level 2345 iscsi-target onIscsi客户端配置：vi /etc/iscsi.confDiscoveryAddress=192.168.1.156OutgoingUserName=gfsOutgoingPassword=secretsecretLoginTimeout=15DiscoveryAddress=192.168.1.15启动服务：service iscis restart加入开机启动：chkconfig –level 2345 iscsi on检查：iscsi共享磁盘：[root@rac1 ~]# iscsi-ls*******************************************************************************SFNet iSCSI Driver Version ...4:0.1.11-3(02-May-2006)******************************************************************************* TARGET NAME : .digicola:storage.lun2TARGET ALIAS :HOST ID : 1BUS ID : 0TARGET ID : 0TARGET ADDRESS : 192.168.1.156:3260,1SESSION STATUS : ESTABLISHED AT Thu Oct 25 23:14:52 CST 2007SESSION ID : ISID 00023d000001 TSIH 400注：在从启系统时要注意iscsi-target服务和iscsi服务的启动顺序。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Linux+iscsi+ora10RAC实时应用集群 三台机子RAC项目指导说明书
1、引言 1、1 RAC 预期的读者 主要为锻炼项目组的团队精神，指导新手做该实验。
1、2 RAC目的和作用 RAC能够让多个节点同时对外提供服务，能够更好的利用系统资源的同 时，任何一个节点出现故障，都能够实时的切换，保证服务不受任何影响。
2、RAC的硬件环境及配置 2、1 软件环境 Redhat enterprise linux 5.4.32操作系统、 ora011_Oracle10201_clusterware_linux32.zip集群软件、oracle database 10.2.0 数据库软件
2、2 硬件环境 pc机四台，其中一台pc机做共享磁盘存储，其他三台做RAC实验机 3、RAC实施及步骤 3、1在第一台磁盘共享机上配置iscsi，实现磁盘共享
第一步：三个节点机子安装linux系统，并安装scsi-target-utils.i386包 scsi-target-utils.i386该包在（/dvd/ClusterStorage） 第二步：vim /etc/tgt/targets.conf backing-store /dev/dba2 backing-store /dev/sdb1 backing-store /dev/sdc1 backing-store /dev/sdd1 backing-store /dev/sde1 backing-store /dev/sdf1 # /etc/init.d/tgtd stop # /etc/init.d/tgtd start # tgt-admin --show ALL -------标示运行所以客户端来连接
3、2、三个节点机子安装linux系统，并配置。 第一步：三个节点在、/etc/hosts编辑内容如下 1、public: node1 172.24.80.90 node2 172.24.80.91 Node3 172.24.80.92 2、vip : node1-vip 172.24.90.80 node2-vip 172.24.90.81 Node3-vip 172.24.90.82 3、priv : node1-priv 19.168.100.201 node2-priv 19.168.100.202 Node3-priv 19.168.100.203 /etc/sysconfig/network 修改主机名 分别为node1,node2,node3 系统安装完毕。
第二步：在node1、node2、node3上安装iscsi-initiator-utils软件包。其步骤如下：
1、首先配置共享存储(配置必要的yum环境)
[rhel-debuginfo] name=Red Hat Enterprise Linux $releasever - $basearch - Debug baseurl=ftp://172.24.254.254/pub/rhel5.4.32/dvd/ClusterStorage enabled=1 gpgcheck=0
[rhel5] name=Red Hat Enterprise Linux $releasever - $basearch - Debug baseurl=ftp://172.24.254.254/pub/rhel5.4.32/dvd/Server enabled=1 gpgcheck=0 在三个节点上安装iscsi-initiator-utils软件包 # yum install scsi-target-utils.i386 两个raw设备(OCR,VOTING),其他的都可以用作ASM数据文件共享存储，那为什么OCR,VOTING不用 ASM呢，因为10g不支持，就这么简单。
3、配置其他三个节点的iscsi服务开机启动 # chkconfig tgtd on #/etc/init.d/iscsi start 4、查看三个节点iscsi服务与第一台磁盘共享机的共享资源同步 # iscsiadm -m discovery -t sendtargets -p 19.168.100.204（此ip为共享磁盘机的privip）
1 9.168.100.204:3260,1 iqn.2012-11.com.node1:sharedisk # iscsiadm -m node -T iqn.2012-11.com.node1:sharedisk -p 19.168.100.204 -l 挂载共享 盘(-u 参数是卸载) Logging in to [iface: default, target: iqn.2012-11.com.example:sharedisk, portal: 10.29.72.3,3260] Login to [iface: default, target: iqn.2012-11.com.example:sharedisk, portal: 10.29.72.3,3260]: successful
# fdisk -l | grep /dev 第四步：RAC的三个节点环境配置，三台机子都要进行此项配置。 防火墙 selinux 关闭 1、hostname主机名等配置 #cat /etc/sysconfig/network NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=node2 #/etc/hosts 配置 127.0.0.1 localhost.localdomain localhost # Public 172.24.80.90 node1 172.24.80.91 node2 172.24.80.92 node3 #Private 19.168.100.201 node1-priv 19.168.100.202 node2-priv 19.168.100.203 node2-priv #Virtual 172.24.90.80 node1-vip 172.24.90.81 node2-vip 172.24.90.82 node3-vip 修改内核参数 #/etc/sysctl.conf 配置 kernel.shmall = 2097152 kernel.shmmax = 2147483648 kernel.shmmni = 4096 # semaphores: semmsl, semmns, semopm, semmni kernel.sem = 250 32000 100 128 fs.file-max = 65536 net.ipv4.ip_local_port_range = 1024 65000 net.core.rmem_default = 262144 net.core.rmem_max = 262144 net.core.wmem_defaul = 262144 net.core.wmem_max = 262144 参数生效 #/sbin/sysctl -p #vim /etc/security/limits.conf oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536 #vim /etc/rc.local Modprobe hangcheck-timer hangcheck-tick=30 hangcheck_margin=20 # >/etc/resolv.conf 5、添加用户、组 #groupadd oinstall #groupadd dba #useradd -g oinstall -G dba oracle #passwd oracle 创建安装目录以及授于权限 #mkdir -p /u01/crs/oracle/ #chown -R oracle.oinstall /u01 #chmod -R 775 /u01 6、配置oracle用户环境变量 oracle用户 .bash_profile ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE ORACLE_HOME=$ORACLE_BASE/product/10.2.0/crs_1; export ORACLE_HOME ORACLE_SID=RACDB（1-3）(即每个节点都配置); export ORACLE_SID PATH=$ORACLE_HOME/bin:$PATH; export PATH LD_LIBRARY_PATH=$ORACLE_HOME/bin:$PATH; export LD_LIBRARY_PATH CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATH 7、把每一个共享盘都分一个分区（此步骤只要一台机子做即可，其他两台进行同步共享） # fdisk /dev/sd[b-f] 每个磁盘分一个区，sdb1、sdc1、sdd1做裸设备，sde1、sdf1做ASM共享存储磁盘。
划分磁盘 #vim /etc/sysconfig/rawdevices /dev/raw/raw1 /dev/sdb1 /dev/raw/raw2 /dev/sdc1 /dev/raw/raw3 /dev/sdc1