vmware_esxi 虚拟机集群共享磁盘
跨ESXi主机的裸磁盘映射(RDM)搭建MSCS群集
2011-11-30 23:26:11
标签：ESXiRDM裸磁盘映射MSCS跨主机
原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。
否则将追究法律责任。
/1028350/730262
跨物理主机的虚拟机的群集（也称为跨机箱的群集）通过在单独 ESXi 主机上放置群集节点来防止在物理机上发生软件和硬件故障。
此配置需要使用光纤通道 SAN 上的共享存储器作为仲裁磁盘。
下图显示了跨机箱的群集的设置。
两个不同物理机（ESXi 主机）上的两个虚拟机运行群集软件。
虚拟机共享专用网络连接（用于专用检测信号）和公用网络连接。
每个虚拟机均连接到共享存储器，此存储器必须位于 SAN 上。
此设置可以显著降低硬件成本
可以扩展跨机箱的群集模型，并在多个物理机上放置多个虚拟机。
例如，可以将四个各包含两个物理机的群集与两个各具有四个虚拟机的物理机相整合。
下图显示如何将四个双节点群集从八个物理机移动到两个物理机。
言归正传，下面开始我们的测试
两个节点分别在两台不同的ESXi上，使用iSCSI存储，两台ESXi都能访问到。
Node01所在ESXi的网络配置如图：
Node02所在ESXi的网络配置如图：
Node01两块网卡配置和IP如图：
Node02的两块网卡的配置和IP，如图：
在Node01上添加硬盘，选择“裸机映射”
选择存放指针文件的存储位置（一定要共享的）
选择“物理”兼容性
节点不能使用SCSI0 ，必须使用SCSI 1 ，这里选择SCSI (1:0)
两块盘添加后，注意选择SCSI 1适配器，更改SCSI总线共享类型为“物理”
随后在Node02上添加硬盘，选择“使用现有虚拟磁盘”( 关闭虚拟机上面物理才可选 )))))))
找到Node01做RDM时生成的指针文件的路径
节点同样要使用SCSI 1
同样的方式添加两块硬盘后，记住要该SCSI 1控制器的总线共享为“物理”
随后在Node01上初始化两块盘并分配盘符，然后将硬盘“脱机”
启动Node02，发现自动挂上了那两块盘。
随后在Node01，Node02上安装故障转移群集功能。
然后验证群集测试：
测试成功！。
VMware_虚拟机与主机间共享文件的七种方法
VMware 虚拟机与主机间共享文件的七种方法好多人都不清楚如何在本机和虚拟机间共享文件和数据，那么今天我就给大家分享下我所知道的方法。
测试环境：物理机：win Xp SP2 打全所有系统补丁；虚拟机版本：VMware workstation 6.5.1 Build-126130；虚拟机操作系统：windows 2003方法一：直接在物理机和虚拟机间拖拽文件这个不用多说，不过要注意的是，有些情况下拖拽会出错，用VMware workstation 6时，往虚拟机里面拖动拷贝文件/ 文件夹时，物理机上的源文件的全路径/源文件夹(及其子文件夹)的全路径名称中不能包含非标准ASCII码字符。
也就是说，源文件的全路径/源文件夹 (及其子文件夹)的全路径名称只能是英文字符，有中文的就会报错。
多拖动几次之后有时还会导致虚拟机的explorer进程挂掉或者报下面第三个提示，此时不能再往虚拟机里面拖动拷贝任何东西。
重启guest，依然不能拖动拷贝。
必须先关闭虚拟机再开启，才能复位。
如果源文件夹(及其子文件夹)的全路径名称中包含非标准ASCII码字符，会提示：“Cannot scan local directory. You may not have permission to perform the operation. Aborting the file copy operation.”（意思是：无法打开本地目录，你可能没有权限执行这个操作，在拷贝时异常退出）如果是源文件的全路径名称中包含非标准ASCII码字符，会提示：Cannot determine local file size. You may not have permission to perform the operation. Aborting the file copy operation.（意思是：无法检测目标文件的大小，你可能没有权限执行这个操作，在拷贝文件时异常退出）多拖动几次有时就会报这个提示：Cannot creat diretctory on virtual machine. Aborting the drag and drop operation.（意思是：无法在虚拟机上创建目录。
vmware ESXI5.1中配置虚拟共享磁盘
ESXI 5.1中创建windows clust共享磁盘MSCS故障转移群集是一组独立的计算机，这些计算机相互协作以提高应用程序和服务的可用性。
多台群集服务器（称为节点）通过物理电缆和软件连接。
如果其中一个群集节点出现故障，另外一个节点就会开始提供服务（该过程称为故障转移）。
从而使用户遭遇服务中断的次数降至最低。
微软MSCS架构下图中，如图1所示，微软MSCS CLUSTER可以实现对应用程序的高可用性，它可以保证应用在短暂的停滞后又快速恢复并且对外提供服务我们在原先物理环境中共享磁盘往往是我们的存储，比如ISCSI存储、FC光纤存储、直连盘柜等等，那么当我们将业务切换至虚拟化环境中后，我们如何在Vsphere的基础架构中创建共享磁盘呢？Vsphere作为业界领先的虚拟化产品，支持在虚拟化环境中是使用MSCS，我们只需要简单配置就能实现。
1、首先我们创建MSCS需要两块磁盘，一块数据盘一块仲裁盘，我们的虚拟机文件以后缀为VMDK的形式全部存放在VMFS的分区中，当然这就需要我们手动的创建两块磁盘，并且分别挂载给两台需要做MSCS的主机上2、打开ESXI主机的远程技术支持模式（配置-安全配置文件-属性-远程技术支持-属性-启动），当主机启动远程技术支持后会有黄色惊叹号提示，可以忽略警报。
3、使用Putty工具以Root身份登录到打开远程技术支持的主机上。
4、进入共享磁盘所在的路径。
（例:cd /vmfs/volumes/datastore1）请将datastore1替换成对应的共享VMFS卷名称5、创建共享磁盘。
（例：vmkfstools -c 10000m -d eagerzeroedthick -a lsilogic /vmfs/volumes/datastore1/data.vmdk）（例：vmkfstools -c 1024m -d eagerzeroedthick -a lsilogic /vmfs/volumes/datastore1/quorum.vmdk）（例：vmkfstools -c 1024m -d eagerzeroedthick -a lsilogic /vmfs/volumes/datastore1/msdtc.vmdk）创建好后如下图所示一般仲裁盘和MSDTC盘为1G即1024MB，数据盘根据业务大小自由分配。
1.5.配置ESXi使用iSCSI共享存储
项目实施 1、创建 iSCSI Software Target
（1）将安装了 Microsoft iSCSI Software Target 3.3 的 Windows Server 2008 R2 虚拟机的网络连接方式更改为 vmnet2。 将 Windows Server 2008 R2 的 IP 地址更改为 192.168.2.70/24。
（8）可以看到 iSCSI 存储中新创建的硬盘文件。
（9）以后在创建新的虚拟机时，也可以在选择虚拟机文件的目标存储时，选中 iSCSI-Win2008R2 存储，从而将新虚 拟机放置在 iSCSI 共享存储中。
（10）以下为 iSCSI 存储中新创建的虚拟机文件。
（18）输入数据存储名称为 iSCSI-Win2008R2。
（19）使用最大可用空间。
（20）点击完成开始创建 VMFS 数据存储，以下是新添加的 iSCSI 共享存储。
3、使用 iSCSI 共享存储
（1）为 CentOS 6.6 x86_64 客户机添加第二块硬盘，该硬盘文件放置在 iSCSI 共享存储中。编辑 CentOS 6.6 x86_64 客户机的虚拟机设置，点击“添加” 。
（8）输入虚拟磁盘描述。
（9）设置可以访问此虚拟磁盘的 iSCSI 目标：点击添加，选择之前创建的 iSCSI 目标。
（10）以下为创建好的虚拟磁盘。
2、配置 ESXi 连接到 iSCSI 网络存储
（1）关闭 ESXi 主机，在 VMware Workstation 中为 ESXi 主机添加一块 vmnet2 模式的网卡。
使用 VMware ESXi 5.1 搭建 VMware 虚拟化平台 五、配置 ESXi 使用 iSCSI 共享存储
VMware虚拟化软件安装与配置教程
VMware虚拟化软件安装与配置教程第一章：VMware虚拟化软件概述VMware是一家知名的虚拟化软件公司，其产品提供了一种在物理硬件上运行多个虚拟操作系统的方法。
虚拟化技术在现代计算机系统中扮演着重要的角色，它可以帮助用户提高硬件资源的利用率，降低成本，并增强系统的可靠性和灵活性。
第二章：VMware虚拟化软件的安装准备要安装VMware虚拟化软件，首先需要准备一台合适的物理服务器或个人计算机。
服务器的配置应满足VMware的最低要求，包括适当的处理器、内存和硬盘空间。
另外，还需要准备虚拟化软件的安装介质，可以从VMware官方网站下载最新的安装包。
第三章：VMware虚拟化软件的安装步骤- 下载安装包并解压缩，运行安装程序。
- 在安装向导中选择合适的安装类型，如典型安装或自定义安装。
- 同意许可协议并选择安装路径。
- 配置网络设置，并选择网络适配器类型。
- 创建虚拟机所需的数据存储，并指定存储路径。
- 配置虚拟机的默认文件夹和相关选项。
- 设置VMware Update Manager（可选）以及其他组件。
- 完成安装并启动VMware虚拟化软件。
第四章：VMware虚拟机的创建与配置- 打开VMware虚拟化软件，点击"新建虚拟机"。
- 在向导中选择虚拟机的类型，如自定义虚拟机或虚拟机模板。
- 选择要安装的操作系统类型和版本。
- 配置虚拟机的硬件设置，包括处理器、内存、硬盘和网络适配器等。
- 根据需要添加其他设备、设置共享文件夹或配置虚拟机的高级选项。
- 根据提示完成虚拟机的配置。
第五章：VMware虚拟机的操作与管理- 启动虚拟机，选择所需的操作系统。
- 使用虚拟机控制台进行操作系统的安装和配置。
- 在虚拟机中安装所需的应用程序和驱动程序。
- 在需要时对虚拟机进行快照和恢复操作。
- 配置虚拟机的网络连接，包括NAT、桥接和主机模式等。
- 设置虚拟机的参数，如CPU和内存分配、磁盘容量和虚拟机版本等。
Esxi下虚拟机共享磁盘
技术文档
Vmware ESXi4.1 共享磁盘
一． 二． 三．
3.3 编辑虚拟机的 VMX 文件.............................................................................................................. 4
3.4 给虚拟机添加硬盘......................................................................................................................... 5
3.1 开户主机的 SSH 服务 ................................................................................................................... 2
3.2 配置共享磁盘................................................................................................................................. 4
使用 Vsphere Client 登录到主机，选中主机，选择右侧配置标签中的“配置”标签，再选择“安全配置文 件”，然后点击右上角的“属性”按钮，如图一。
使用一台测试2台ESXi5部署vSAN集群
测试2台ESXi部署vSAN实验一、实验环境和介质i.i：实验环境这里我是使用一台Dell R730物理机来做这次的测试，R730 安装ESXi 6.5，然后在这上面虚拟2台ESXi6.5服务器，和一台vCenter 6.5管理服务器，来模拟2台ESXi配置vSAN。
因为 6.0 U1 U2版本可能vSAN功能还有些问题，我这里就直接用6.5 的版本了。
Dell R730配置如下:1.2： vSAN原理和用途因为vSAN必须使用3台ESXi主机，那么我们2台ESXi主机怎么配置vSAN呢？这个你就必须了解vSAN的原理和通途。
vSAN 全名叫 vSphere Virtual Storage AreaNetwork,vSphere 虚拟化局域网存储。
是vSphere 5.5后才开始出来的新功能，而且只能通过Web Client来部署。
是基于服务器端存储的共享分布式对象存储系统，可以用来取代vSphere后端的外置磁盘阵列。
vSAN就是一种分布式存储，其数据保护技术不是采用传统的RAID方式，而是叫分布式RAID。
VSAN在主机之间使用RAID来满足对系统中存储对象的可用性和可靠性的要求，虚拟机存储对象的镜像拷贝数量取决于虚拟机存储策略。
数据的副本都是存储在主机上的，当某台主机失效或宕机，就会出现类似脑裂问题，vSphere为了解决这个问题，引入了一个重要的组件一见证 (winess)，类似于我们常说的仲裁盘。
由于见证只是一个逻辑组件，不保存数据，占用空间非常小，我们也就可以实现2台ESXi 主机的vSAN集群。
这个见证是一个模板，可以从官网直接下，免费的，安装这个模板，最好从vCenter web client添加，就可以省去2个CPU的许可，用client部署这个模板是看不到见证自带的许可的。
1.4：虚拟机规划vCenter6.5：ESXi6.5：Winess6.5：二、配置主机，安装虚拟机，安装vCenter2.1：配置主机因为要开启vSAN功能，虚拟机必须配置2块网卡，1块单独来处理vSAN流量，所以在安装ESXi的主机上最好配置2个交换机，1个交换机放正常的虚拟机的管理，另一个当2台ESXi虚拟机的vSAN 网卡的交换机。
vmware 分配磁盘空间方式
vmware 分配磁盘空间方式
VMware提供了几种分配磁盘空间的方式，具体取决于您使用
的是VMware Workstation还是VMware vSphere。
对于VMware Workstation：
1. 指定磁盘大小：您可以在创建新的虚拟机时指定虚拟磁盘的大小。
创建虚拟机向导会询问您要分配多少磁盘空间。
2. 分配动态增长磁盘：您可以选择分配一个动态增长的虚拟磁盘。
这种磁盘只会占用实际虚拟机磁盘所需的空间，并在需要时自动增长。
3. 分配固定磁盘：您也可以选择分配一个固定大小的虚拟磁盘。
这种磁盘会立即占用指定大小的物理磁盘空间。
对于VMware vSphere：
1. 分配粗粒度存储（Thick Provision）：这种方式会一次性为
虚拟机分配足够的物理磁盘空间。
这样虚拟机可以立即使用分配的全部空间，但可能会浪费一些空间。
2. 分配粗粒度存储且懒惰增长（Thick Provision Lazy Zeroed）：这种方式会一次性为虚拟机分配足够的物理磁盘空间，但是只有在实际使用时才会写入零值数据。
3. 分配精细粒度存储（Thin Provision）：这种方式只为虚拟机
分配实际需要的物理磁盘空间。
这样虚拟机可以共享物理存储空间，但可能会出现存储不足的情况。
总体而言，选择哪种磁盘分配方式取决于您对存储空间的需求以及对资源的优化需求。
例如，如果您对存储空间有严格要求，可以考虑选择固定磁盘或粗粒度存储。
如果您更关注资源的最大化利用，可以选择动态增长磁盘或精细粒度存储。
VMware故障切换群集和 Microsoft 群集
故障切换群集和 Microsoft 群集服务的设置ESXi 5.5vCenter Server 5.5在本文档被更新的版本替代之前，本文档支持列出的每个产品的版本和所有后续版本。
要查看本文档的更新版本，请访问/cn/support/pubs。
ZH_CN-001251-01故障切换群集和 Microsoft 群集服务的设置2 VMware, Inc.最新的技术文档可以从VMware 网站下载：/cn/support/VMware 网站还提供最近的产品更新信息。
您如果对本文档有任何意见或建议，请把反馈信息提交至：docfeedback@版权所有 © 2006–2013 VMware, Inc. 保留所有权利。
本产品受美国和国际版权及知识产权法的保护。
VMware 产品受一项或多项专利保护，有关专利详情，请访问 /go/patents-cn 。
VMware 是 VMware, Inc. 在美国和/或其他法律辖区的注册商标或商标。
此处提到的所有其他商标和名称分别是其各自公司的商标。
VMware, Inc.3401 Hillview Ave.Palo Alto, CA 北京办公室北京市海淀区科学院南路2号融科资讯中心C 座南8层/cn 上海办公室上海市浦东新区浦东南路 999 号新梅联合广场 23 楼/cn 广州办公室广州市天河北路 233 号中信广场 7401 室/cn目录MSCS 的更新信息5故障切换群集和 Microsoft 群集服务的设置7MSCS 入门7对单个物理主机上的虚拟机进行群集13对不同物理主机上的虚拟机进行群集16对物理机和虚拟机进行群集19在 vSphere HA 和 vSphere DRS 环境中使用 MSCS22vSphere MSCS 设置对照表25索引29VMware, Inc. 3故障切换群集和 Microsoft 群集服务的设置4 VMware, Inc.MSCS 的更新信息本《故障切换群集和 Microsoft 群集服务的设置》随产品的版本更新或必要时进行更新。
VM虚拟机与宿主机文件共享的处理方法
VM虚拟机与宿主机文件共享的处理方法★前言VM是常用的虚拟机软件，也是我们封装系统的利器。
但经常碰到有朋友在坛子里问关于VM 和实机之间交互文件的方法，区区不才，使用VM时间也不长，但稍微有一点经验，抛砖引玉，供大家讨论一下。
有写错或者不完整的地方还请不吝指正。
★准备已安裝VMware-workstation的电脑一台★实现方法❶映射虚拟磁盘映射虚拟磁盘是VM提供的一种功能，可以将虚拟机中的分区映射为实机中的分区。
映射虚拟磁盘只能在虚拟机关闭的状态下应用，所以文件交互也只能在实机上进行。
1）选择“文件--映射虚拟磁盘或与虚拟磁盘断开连接”。
2）弹出的窗口中选择“映射”：3）依次选择需要载入的虚拟机相关文件（.vmdk）、是否只读模式打开、和映射到实机的盘符：4）确定以后，即可在实机上操作虚拟机中的分区：※映射虚拟磁盘只能在虚拟机关闭的时候才能使用※如果需要更改虚拟机内的文件，别忘了去掉只读的勾勾。
※这个功能有时候好像不太稳定❷USB设备（U盘、移动硬盘）共享虚拟机可以接管实机上的USB设备，这样我们就可以用USB设备（U盘、移动硬盘）当中转来交换文件。
1）在虚拟机开机的状态下，插入新USB设备，VM会弹出安装VM专用的USB驱动安装界面：2）将驱动安装路径指向VM安装文件夹下的vmusb.sys驱动文件。
3）安装好驱动后在VM软件右下角的设备状态栏中就会出现USB设备相对应的图标，在图标上点击右键，选择连接。
虚拟机就会接管实机上的USB设备，同时实机上USB设备卸除：4）虚拟机使用完USB设备后，仍然右键点击右下角的USB设备图标，选择断开。
虚拟机就会卸除USB设备，同时实机接管USB设备。
※需要虚拟机有USB控制器的存在（默认有，没有的话可在编辑虚拟机设置中添加）。
※摄像头等USB设备也可以用此方法互动。
※彻底不需要USB设备时，只要在实机上点击卸除即可。
❸第三方软件：DISKGENDISKGEN（原名DISKMAN）是一款功能强大的国产磁盘分区及数据恢复软件。
ESXi5+VM+RHCS环境构筑时遇到的问题及解决方法
系统环境VMware ESXi 5.0，两台虚拟机，Redhat 5.8，集群2013-11-31关键词：Expansion ROM not initialized、ping time out1、先插入SDR Update Tool的光盘，加电，进行SDR update。
结束时会提示 remove the media，按任意键重启2、按 CTRL+H，进入raid配置界面 WebBIOS□ mklabel gpt需要使用dvd引导到rescue模式下，用parted进行分区通过parted查看其它分区是hidden,legacy_bootset 4 hidden off一、1、配置RAID服务器上架，加电，启动，按Ctrl+H进入WebBIOS界面，提示ERRORB000：Expansion ROM not initialized解决办法：通过开机按F2进入setup界面，advanced→PCI setting→将PCI2、PCI3 disabled，保存退出2、重启，按Ctrl+H进入WebBIOS，配置RAID，成功，保存退出3、插入VMware vPhere 5.0安装光盘，按照提示继续二、ESXi 主机双网卡负载均衡然后在IP configuration里面配置一个ip即可，但是测试时，拔掉一根网线会出现一个ping time out，过了几天我又进行测试，发现拔掉任意一根网线都不会出现ping time out2013-12-03关键词：Network boot from Intel E1000、PXE-MOF、PXE-E53:No boot filename received、客户端设备一、创建虚拟机后，准备安装操作系统时，通过读客户端的ISO文件启动时一直报下面的错误Network boot from Intel E1000PXE-MOFPXE-E53:No boot filename received解决方法如下：you need to click the "connected" and "connect at power on" in the right top corner in order to make the iso to mount properly.After you click "connect at power on", reboot the VM and it should boot from the iso.如果还出现上面提示时，点击回车，就会进入安装界面第二种解决方法，启动虚拟机后按F2进入BIOS设置，删除掉network boot选项，通过按+/-号将选项移到如下图位置如果还不行就把网卡全删了，等安装完之后再添加二、安装系统选择安装包后，会有一个Transferring的过程这种方式安装需要更久的时间，200分钟左右2013-12-04关键词：ESXi Shell、linux resuce模式分区、put: failed to upload ***.iso. Operation unsupported、Operating System not found一、开启ESXi Shell访问，将ISO文件先上传至ESXi 服务器，参考文档《[精]打开VMware ESXi 5.0 上的SSH 支持.org.htm》二、使用VMware Client端的ISO文件安装OS好慢啊啊啊啊三、先通过iso文件引导到linux resuce模式下进行硬盘分区，但是分完后exit，重新启动虚拟机，一直黑屏，没动静，如下图，试了两遍都是这样用这种读取ISO的方式也不行，最后把分区删了，重新安装，在安装过程中再进行分区四、通过sftp向ESXi服务器上传iso文件报错，其实已经上传成功sftp> cd /vmfs/volumes/datastore1sftp> lcd D:\03_software\01worksoft\linux_isosftp> put RRedhat.Enterprise.Linux.v5.UPDATE.8.X86_64.DVD-HOTiSO.isorhel-server-5.7-i386-dvd.iso rhel-server-5.7-x86_64-dvd.isorhel-server-6.2-x86_64-dvd.isosftp> put Redhat.Enterprise.Linux.v5.UPDATE.8.X86_64.DVD-HOTiSO.isoUploading Redhat.Enterprise.Linux.v5.UPDATE.8.X86_64.DVD-HOTiSO.iso to /vmfs/volumes/529ca399-d0838ebe-bd5c-94de80e79249/Redhat.Enterprise.Linux.v5.UPDATE.8.X86_64.DVD-HOTiSO.iso 100% 4028944KB 8777KB/s 00:07:39 put: failed to upload D:/03_software/01worksoft/linux_iso/Redhat.Enterprise.Linux.v5.UPDATE.8.X86_64.DVD-HOTiSO.iso. Operation unsupported.sftp>sftp>五、通过编辑虚拟机设置，指定ISO路径，好像没有，在启动时仍然提示Operating System not found，需要在控制台重新指定，然后回车2013-12-05关键词：文件被锁定，无法访问、Unable to establish an SSL connection to TESTDB1:11111:ClientSocket(homename,port,timeout):connect()failed、Proposed updated config file does not have greate version number.、Error locking on node TESTDB2: Volume group for uuid not found、/boot: UNEXPECTED INCONSISTENCY一、TESTDB2新增了一块硬盘，使用已有的，指向TESTDB1的100GB硬盘，保存设置，启动TESTDB2时，提示如下正确的设置方法如下1、新增共享硬盘，命令如下cd /vmfs/volumes/datastore1/TESTDB-SHAREvmkfstools -c 102400m -a lsilogic -d eagerzeroedthick TESTDB_SHARE.vmdk2、将共享硬盘添加到2台虚拟机，按照文件《Esxi下虚拟机共享磁盘.pdf》添加3、修改TESTDB1.vmx和TESTDB2.vmx文件，追加以下内容sched.scsi1:0.shares="normal"disk.EnanbleUUID="true"disk.locking="false"diskLib.datacacheMaxSize="0"diskLib.datacacheMaxReadAheadSize="0"diskLib.datacacheMinReadAheadSize="0"diskLib.datacachePageSize="4096"diskLib.MaxUnsynceWrites="0"4、启动2台虚拟机，均可以正常启动二、节点与luci通信异常通过https://192.168.144.201:8084访问节点1，添加cluster时报错Unable to establish an SSL connection to TESTDB1:11111:ClientSocket(homename,port,timeout):connect()failed 原因分析This error occurs when the luci server cannot communicate with the ricci agent. Verify that ricci is installed and started on each node. Ensure that the firewall has been configured correctly, and that Security-Enhanced Linux (SELinux) is not the issue. Check /var/log/audit/audit.log for details on SELinux issues.安装了ricci后问题解决，前提是需要安装其他依赖包[root@TESTDB2 Server]# rpm -ivh oddjob*Preparing... ########################################### [100%]1:oddjob ########################################### [ 20%]2:oddjob-libs ########################################### [ 40%]3:oddjob-libs ########################################### [ 60%]4:oddjob-devel ########################################### [ 80%]5:oddjob-devel ########################################### [100%][root@TESTDB2 Server]#[root@TESTDB2 Server]#[root@TESTDB2 Server]# cd -/var/ftp/pub/Cluster[root@TESTDB2 Cluster]# rpm -ivh modcluster-0.12.1-7.el5.x86_64.rpmPreparing... ########################################### [100%]1:modcluster ########################################### [100%][root@TESTDB2 Cluster]#[root@TESTDB2 Cluster]#[root@TESTDB2 Cluster]# rpm -ivh ricci-0.12.2-51.el5.x86_64.rpmPreparing... ########################################### [100%]1:ricci ########################################### [100%][root@TESTDB2 Cluster]#[root@TESTDB2 Cluster]#[root@TESTDB2 Cluster]# service ricci statusricci is stopped[root@TESTDB2 Cluster]# service ricci startStarting oddjobd: [ OK ]generating SSL certificates... doneStarting ricci: [ OK ][root@TESTDB2 Cluster]#三、创建failover域时报错Proposed updated config file does not have greate version number.报错原因：之前通过system-config-cluster工具配置了cluster，并做了变更，导致cluster.conf文件中的version变成2，后来是把conf文件手工删除，通过luci的web界面进行配置的，导致报错，解决方法：手工将conf文件中的version由1改为2，在submi，正常结束四、在节点1，pvcreate，vgcreate正常，在lvcreate时报错[root@TESTDB1 23:20:29 by-id]# lvcreate -l +100%FREE -n lvdbdata vgdbdataError locking on node TESTDB2: Volume group for uuid not found: nbSOLD3XdROA1d08hvwvFOpNCFTywRyOnqSZpwxAQQ1N41PtxsjOLJ35Lye5NEGgFailed to activate new LV.原因待查五、重启服务器，在启动时TESTDB1报错：/boot: UNEXPECTED INCONSISTENCY用fsck /dev/sdb修复时报错后来改用fsck直接修复，按照提示输入y，一路回车，修复完毕，重启正常，但是shutdown后在startup时仍然报同样的错误，fsck修复后又能重启，再shutdown后在startup时还报错，删了/dev/sdb的其他分区，shutdown后在startup时正常，估计和分区有关系六、TESTDB2启动时有如下报错Scsi_reserve failed原因待查，未解决2013-12-06关键词：0x80070570、createrepo cannot access parent directories: No such file or directory安装windows报错，错误代码0x80070570、原因未知，换了一个iso文件，问题解决0x80070570使用windows2008自带的工具进行硬盘分区，均没有解决该报错问题，重新新建了一个虚拟机，换了一个英文版的iso文件，正常安装又换了一个中文版的介质，也能正常安装，有问题的介质是重新构筑DB服务器，从testap拷贝2个虚拟机一、建立分组文件[root@TEST-DB1 15:52:28 repodata]# createrepo -g /var/ftp/pub/Cluster/repodata/comps-rhel5-cluster.xml /var/ftp/pub/Clustershell-init: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory Traceback (most recent call last):File "/usr/share/createrepo/genpkgmetadata.py", line 722, in ?main(sys.argv[1:])File "/usr/share/createrepo/genpkgmetadata.py", line 592, in maincmds, directories = parseArgs(args)File "/usr/share/createrepo/genpkgmetadata.py", line 431, in parseArgscmds['basedir'] = os.getcwd()OSError: [Errno 2] No such file or directory[root@TEST-DB1 15:53:47 repodata]#重新再执行一遍就没问题了二、rhcs组件安装完毕后，启动报错可以先无视，等创建完cluster后，报错消失，据说是少了cluster.conf文件三、需要先停止luci服务，执行luci_admin init，创建用户后，才能登陆https://192.168.144.201:8084/，luci只用在主节点配就可以了在luci界面create a cluster后，/etc/cluster下面会产生一个cluster.conf文件2013-12-09关键词：starting killall、在节点1上可以看到qdisk信息，在节点2上就看不到、WARNING: Falling back to local file-based lockingclurgmgrd: [6279]: <err> startFilesystem: Could not match /dev/mapper/vg_db-lv_db with a real device一、是系统关机时 hang在starting killall这里不动，只能强制关机原因：系统有一些服务器需要停止，解决办法，在脚本/etc/init.d/killall中添加红色字体三行，重新关机定位需要停止的服务[root@TEST-DB1 ~]# cat /etc/init.d/killall#! /bin/bash# Bring down all unneeded services that are still running (there shouldn't# be any, so this is just a sanity check)echo "Starting /etc/init.d/killall" > /var/log/killall.logcase "$1" in*start);;*)echo $"Usage: $0 {start}"exit 1;;esacfor i in /var/lock/subsys/* ; doecho "Found $i" >> /var/log/killall.log# Check if the script is there.[ -f "$i" ] || continue# Get the subsystem name.subsys=${i#/var/lock/subsys/}# Networking could be needed for NFS root.[ $subsys = network ] && continue# Bring the subsystem down.if [ -f /etc/init.d/$subsys.init ]; then/etc/init.d/$subsys.init stopelif [ -f /etc/init.d/$subsys ]; then/etc/init.d/$subsys stopelserm -f "$i"fidoneecho "Finished /etc/init.d/killall script" >> /var/log/killall.log在killall.log中记录了如下信息[root@TEST-DB1 log]# more killall.logStarting /etc/init.d/killallFound /var/lock/subsys/clvmd继续检查发现clvmd服务是开机启动，并且已经启动，由于此时还没有配置lvm，所以猜测是该原因导致，于是手工停止clvmd 服务，重新关机，可以正常关闭，问题解决[root@TEST-DB1 subsys]# /etc/init.d/clvmd statusclvmd (pid 2836) is running...Clustered Volume Groups: (none)Active clustered Logical Volumes: (none)二、之前添加qdisk，是从一块共享硬盘上分区出来的一块，在节点1上执行mkqdisk -c /dev/sdb1 -l myqdisk后，在节点1上可以看到qdisk信息，在节点2上就看不到解决办法：单独创建一块共享磁盘给2个节点作为qdisk使用节点1执行：mkqdisk -c /dev/sdc -l myqdisk节点1和2执行： mkqdisk -L三、创建共享文件系统Pvcreate时告警[root@TEST-DB1 16:30:29 ~]# pvcreate /dev/sdbconnect() failed on local socket: No such file or directoryInternal cluster locking initialisation failed.WARNING: Falling back to local file-based locking.Volume Groups with the clustered attribute will be inaccessible.Writing physical volume data to disk "/dev/sdb"Physical volume "/dev/sdb" successfully created[root@TEST-DB1 16:30:37 ~]#执行service clvmd start后，在重新创建，告警消失四、第一次创建gfs的资源，把device写成/dev/mapper/vg_db-lv_db，然后启动service时报错，Dec 9 17:51:17 TEST-DB1 kernel: dlm: connecting to 2Dec 9 17:51:17 TEST-DB1 kernel: dlm: got connection from 2Dec 9 17:51:23 TEST-DB1 clurgmgrd[6279]: <notice> Starting stopped service service:DB-ServiceDec 9 17:51:23 TEST-DB1 clurgmgrd: [6279]: <err> startFilesystem: Could not match /dev/mapper/vg_db-lv_db with a real deviceDec 9 17:51:23 TEST-DB1 clurgmgrd[6279]: <notice> start on fs "FS-DATA" returned 2 (invalid argument(s)) Dec 9 17:51:23 TEST-DB1 clurgmgrd[6279]: <warning> #68: Failed to start service:DB-Service; return value: 1 Dec 9 17:51:23 TEST-DB1 clurgmgrd[6279]: <notice> Stopping service service:DB-ServiceDec 9 17:51:23 TEST-DB1 clurgmgrd[6279]: <notice> Service service:DB-Service is recoveringDec 9 17:51:23 TEST-DB1 clurgmgrd[6279]: <warning> #71: Relocating failed service service:DB-ServiceDec 9 17:51:24 TEST-DB1 clurgmgrd[6279]: <notice> Service service:DB-Service is stopped解决办法：改成/dev/vg_db/lv_db，问题解决2013-12-10关键词：cluster资源组切换时共享文件系统不能自动umount、db2数据库状态Operable、一、clusvcadm -r DB-Service切换测试，资源组中的ip和nfs服务都能从一个节点切换到另一个节点，共享文件系统/dbdata从一个节点切到另一个节点后，原节点上不会自动umount，导致文档系统在2个节点上都mount原因分析：创建共享文件系统时只在节点1上执行了gfs_mkfs -p lock_dlm -t DB_Cluster:dbdata -j 2 /dev/vg_db/lv_db，在节点2上也执行了一些，但是问题没有解决补充一下，文件系统是GFS，在网上找的的资料《/uid-26931379-id-3558604.html》GFS是RHCS为集群系统提供的一个存储解决方案，它允许集群多个节点在块级别上共享存储，每个节点通过共享一个存储空间，保证了访问数据的一致性，更切实的说，GFS是RHCS提供的一个集群文件系统，多个节点同时挂载一个文件系统分区，而文件系统数据不受破坏，这是单一的文件系统，例如EXT3、EXT2所不能做到的。