双机热备搭建系统解决方案

UPS电源安装实施方案

1.双机集群介绍

1.1. 双机集群的原理说明

双机容错是计算机应用系统稳定、可靠、有效、持续运行的重要保证。它通过系统冗余的方法解决计算机应用系统的可靠性问题，并具有安装维护简单、稳定可靠、监测直观等优点。当一台主机出现故障的时候，可及时启动另一台主机接替原主机任务，保证了用户数据的可靠性和系统的持续运行。在高可用性方案中，操作系统和应用程序是安装在两台服务器的本地系统盘上的，而整个网络系统的数据是通过磁盘阵列集中管理和数据备份的。数据的集中管理是通过双机热备份系统，将所有站点的数据直接从中央存储设备来读取和存储，并由专业人员进行管理，极大地保护了数据的安全性和保密性。用户的数据存放在外接共享磁盘阵列中，在一台服务器出现故障时，备机主动替代主机工作，保证网络服务不间断。双机热备份系统采用“心跳”方法保证主系统与备用系统的联系。所谓“心跳”，指的是主从系统之间相互按照一定的时间间隔发送通讯信号，表明各自系统当前的运行状态。一旦“心跳”信号表明主机系统发生故障，或者是备用系统无法收到主机系统的“心跳”信号，则系统的高可用性管理软件（双机软件）认为主机系统发生故障，立即令主机停止工作，并将系统资源转移到备用系统上，备用系统将替代主机发挥作用，以保证网络服务运行不间断。

双机热备模式即目前通常所说的active/standby 方式，active服务器处于工作状态；而standby服务器处于监控准备状态。当active服务器出现故障的时候，通过软件诊测或手工方式将standby机器激活，保证应用在短时间内完全恢复正常使用。这是目前采用较多的一种模式。

1.2. 双机系统逻辑图

1.3. 双机热备实现模式

双机热备有两种实现模式，一种是基于共享的存储设备的方式，另一种是没有共享的存储设备的方式，一般称为纯软件方式。基于存储共享的双机热备是双机热备的最标准方案。这种方式采用两台（或多台）服务器，使用共享的存储设备（磁盘阵列柜或存储区域网SAN）。两台服务器可以采用热备（主从）、互备、双工（并行）等不同的方式。在工作过程中，两台服务器将以一个虚拟的IP地址对外提供服务，依工作方式的不同，将服务请求发送给其中一台服务器承担。同时，服务器通过心跳线（目前往往采用建立私有网络的方式）侦测另一台服务器的工作状况。当一台服务器出现故障时，另一台服务器根据心跳侦测的情况做出判断，并进行切换，接管服务。对于用户而言，这一过程是全自动的，在很短时间内完成，从而对业务不会造成影响。由于使用共享的存储设备，因此两台服务器使用的实际上是一样的数据，由双机或集群软件对其进行管理。

1.4. 双机系统连接示意图

2.SAP和MII双机集群解决方案

目前SAP和MII的生产系统已经稳定运行，要实现SAP和MII双机集群的解决方案，必须要满足几个条件，并制定周密的实施计划，并进行风险评估后方可实行。

2.1. 存储备份要求

2.1.1.存储备份磁盘空间要求

目前的SAP生产系统已经使用了几个月了，产生了大量的生产数据，所以在做SAP双机集群的时候需要对现有的生产数据进行备份，包括SAP的文件系统备份以及oracle数据库的全库备份。

SAP的备份数据包括：

SAP应用、可执行文件和一些日志，占用6GB，增加率可以忽略不计

SAP安装文件备份，占用92.5GB不会增长

存放数据库备份数据的目录，占用187GB，存放了最近一个月的备份数据，根据需要可以适应删除。

SAP数据库，占用160多GB，每月增加10GB。

完全备份这些数据需要的磁盘空间，6+92.5+187+160= 446GB，小于500GB。

目前的MII生产系统已经使用了几个月了，在做MII双机集群的时候需要对现有的生产数据进行备份，包括MII的文件系统以及oracle数据库的全库备份。

MII的备份数据包括：

MII的数据库，占用35GB，增长量很小。

其它文件，可以忽略不计。

完全备份这些数据需要的磁盘空间，小于100GB。

2.1.2.当前系统存储空间分配图

从图中我们可以清楚的看到，存储磁盘共有9TB的空间可以使用，各系统目前已经分配了8TB的磁盘空间，还有1TB的空间可以分配使用。

2.1.

3.存储磁盘使用情况分析

目前各生产系统的文件系统的增长是基本不变的，主要的磁盘增长量集中在数据库上。各生产系统数据库在不同时期占用磁盘空间和数据增长的情况如下表，

2.2. 硬件要求

2.2.1.SAP系统

由于目前SAP的生产系统已经采用了一台HP DL580 G5的服务器作为主机，SAP的生产数据保存在HP的MSA2000的存储盘柜上，服务器与存储之间采用光纤链路与光纤交换机进行通信，所以实现SAP的双机集群解决方案还需要的硬件主要是添加一台HP DL580 G5的服务器作为备机。

2.2.2.MII系统

而MII生产系统采用的是HP DL380 G6的服务器作为主机，MII的生产数据保存在HP 的MSA2000的存储盘柜上，服务器与存储之间采用光纤链路与光纤交换机进行通信，所以实施MII双机集群解决方案还需要的硬件主要是添加一台HP DL380 G6服务器作为备机。

2.2.

3.光纤交换机端口许可

目前的HP光纤交换机采用的是HP 8/24 SAN Switch，即购买了8个光纤交换机端口的许可，而现在已经由7台服务器使用了7个端口，如果同时安装SAP和MII双机系统，再增加两台生产服务器就需要对端口使用许可进行升级。

2.2.4.KVM切换器升级

目前的KVM切换设备只有8个端口，而如果增加两台服务器，就需要9个端口，因此要对KVM切换器设备进行升级，需要再购买一台8端口的KVM切换器与原切换设备进行级连，合并之后，在输出显示器上可同时对16台服务器进行切换显示。

2.2.5.存储设备

在存储设备方面，除了备份当前的SAP和MII生产数据之外，如果需要充分考虑冗余，则在现有的存储磁盘基础上需要增加存储扩展笼以及存储硬盘等设备。因此，对SAP和MII 系统做双机集群功能，就需要考虑两种方案（增加存储设备、不增加存储设备）。

2.2.6.备件

存储硬盘在长期的不断电使用过程中，比较容易产生问题甚至是故障报警，为了能在第一时间对产生故障的硬盘进行更换，就需要准备几块硬盘备用，在此建议使用3块1TB的硬盘作为备件。

目前每台生产服务器都配置了三块硬盘做RAID5，可以保证一块硬盘发生故障时，服务器的数据不会丢失。如果要确保数据的绝对安全，并能在第一时间对故障硬盘进行更换，则还需要考虑准备几块服务器硬盘作为备件，在此建议准备4块146GB（与原型号一样）的服务器硬盘为备件。

2.2.7.防雷设备

由于机房目前已经安装了一、二级防雷设备，考虑到机柜中的设备较多，负载较大，需要做好防雷措施。因此可考虑采用在机房配电柜和机柜PDU之间增加两路三级防雷设备。

2.2.8.硬件设备清单

2.2.8.1. 方案一不增加存储设备方案

本方案主要是利用现有的存储设备中的未分配的磁盘空间来备份生产数据，因此，除了

安装双机增加的服务器以及光纤交换机端口许可和所需配件之外，无需再增加存储设备。

设备配置清单如下：

DL580 G5 1台

项目配置说明数量备注

处理器Intel 四核Xeon E7420 2 4核处理器，共8核

内存16 X 2GB =32GB16最大支持256GB

内置硬盘146GB X 3310k rpm，RAID5，最多可扩至16块光驱DVD 1 可选DVD/RW

RAID卡P400I/256MB 1

网卡10/100/1000M2内置100M/1000M网卡

控制终端ILO（选配） 1 系统管理(可选)

DL380 G6 1台

项目配置说明数量备注

处理器Intel 双核Xeon E5540 1 四核处理器

内存8 X 2GB = 16GB8最大支持256GB

内置硬盘146GB X 3310k rpm，RAID5，最多可扩至16块光驱DVD 1 可选DVD/RW

RAID卡P400I/256MB 1

网卡10/100/1000M2内置100M/1000M网卡

控制终端ILO（选配） 1 系统管理(可选)

光纤交换机端口许可2套

项目配置说明数量备注

光纤交换机端口许可HP 8/8 and 8/24 SAN

Switch 8-pt Upgr LTU

2

为了做SAP和MII生产系统的双机，两台

光纤交换机增加2套8个端口的许可

KVM切换器升级设备1套

项目配置说明数量备注

KVM切换器HP 0x2x8 KVM SVR

CNSL SW

1

通过级连方式与原KVM切换器连接，合并

后，可同时对16台服务器进行切换显示。

连接线

KVM USB Cnsl Itfc Adptr

1PK ALL

2 增加两台服务器设备，增加2条连接线

光纤卡（单模HBA卡）4块

项目配置说明数量备注

光纤卡

HP 41B PCIe 4Gb FC

Single Port HBA

4

给SAP和MII系统做双机，增加两台服务

器，就需要增加4块单模的HBA卡光纤收发模块8个

项目配置说明数量备注

光纤收发模块

HP 8Gb Shortwave

B-series FC SFP+ 1 Pack

8

4块单模的HBA卡，需要8个光纤收发模

块

光纤跳线8根

项目配置说明数量备注

光纤跳线

15米LC-LC 多模光纤通

道电缆

8

8个光纤收发模块需要8条15米长的

LC-LC多模光纤通道电缆备件硬盘存储硬盘3块、服务器硬盘5块

项目配置说明数量备注

服务器硬盘备件HP 146GB 10K SAS 2.5

DP HDD

4 作为服务器硬盘的备件。

存储硬盘备件

HP MSA2 1TB 7.2K rpm

3.5 inch SATA HDD

3 作为存储设备的备件。防雷设备

项目配置说明数量备注

三级防雷器型号OBO VF230 2 原机柜需要安装2个OBO三级防雷器，确保设备安全

设备清单表

编号类型设备名称数量

1 服务器DL580 G5 1

2 服务器DL380 G6 1

3 配件光纤交换机端口许可(2 X 8) 2

4 配件光纤卡 4

5 配件光纤收发模块8

6 配件光纤跳线8

7 硬盘备件存储硬盘备件（1TB规格） 3

8 配件KVM切换器一套 1

9 硬盘备件服务器硬盘备件（146GB）9

10 防雷设备OBO防雷设备 2

注：如果厂方能提供光纤交换机端口许可，则红色部分可从本方案设备清单中去除2.2.8.2. 方案二增加存储设备方案

由于目前存储设备MSA2000中已经插满了12块1T的硬盘，而目前已经分配了11块硬盘给系统使用，1块作为热备盘，其中只有1TB的空间没有分配，因此，除了备份现有的生产数据外，考虑到几年后的数据量增加存储磁盘空间可能不够，需要增加存储设备，在本次安装配置SAP和MII双机集群时一起增加存储设备。可通过增加存储盘柜扩展笼和存储硬盘的方式来实现。

另外，如果增加了两台服务器，再增加存储扩展设备，现有机柜的承重、容量、负载可能会压力较大，可考虑新增一个机柜的解决方案。在实施时，将新旧两个机柜并排放在一起，中间可相隔1-2米的距离，从新增机柜的PDU中通过两路电源线接入机房配电柜中，新增

机柜中安放新增的两台服务器，存储扩展设备还是存放在原机柜中。新旧机柜中的双机系统相关服务器可采用从地板下穿网线进行连接。新增机柜服务器与原机柜的存储设备通过地板下穿光纤线连接。新增机柜中的服务器接入机房网络交换机可采用从地板下穿网线进行连接新旧机柜的连接线如下图所示

设备配置清单如下：

DL580 G5 1台

项目配置说明数量备注

处理器Intel 四核Xeon E7420 2 4核处理器，共8核

内存16 X 2GB =32GB16最大支持256GB

内置硬盘146GB X 3310k rpm，RAID5，最多可扩至16块光驱DVD 1 可选DVD/RW

RAID卡P400I/256MB 1

网卡10/100/1000M2内置100M/1000M网卡

控制终端ILO（选配） 1 系统管理(可选)

DL380 G6 1台

项目配置说明数量备注

处理器Intel 双核Xeon E5540 1 四核处理器

内存8 X 2GB = 16GB8最大支持256GB

内置硬盘146GB X 3310k rpm，RAID5，最多可扩至16块光驱DVD 1 可选DVD/RW

RAID卡P400I/256MB 1

网卡10/100/1000M2内置100M/1000M网卡

控制终端ILO（选配） 1 系统管理(可选)

光纤交换机端口许可2个

项目配置说明数量备注

光纤交换机端口许可HP 8/8 and 8/24 SAN

Switch 8-pt Upgr LTU

2

为了做SAP和MII生产系统的双机，两台

光纤交换机增加2套8个端口的许可

KVM切换器升级设备1套

项目配置说明数量备注

KVM切换器HP 0x2x8 KVM SVR

CNSL SW

1

通过级连方式与原KVM切换器连接，合并

后，可同时对16台服务器进行切换显示。

连接线

KVM USB Cnsl Itfc Adptr

1PK ALL

2 增加两台服务器设备，增加2条连接线

光纤卡（单模HBA卡）4块

项目配置说明数量备注

光纤卡

HP 41B PCIe 4Gb FC

Single Port HBA

4

给SAP和MII系统做双机，增加两台服务

器，就需要增加4块单模的HBA卡光纤收发模块8个

项目配置说明数量备注

光纤收发模块

HP 8Gb Shortwave

B-series FC SFP+ 1 Pack

8

4块单模的HBA卡，需要8个光纤收发模

块

光纤跳线8根

项目配置说明数量备注

光纤跳线

15米LC-LC 多模光纤通

道电缆

8

8个光纤收发模块需要8条15米长的

LC-LC多模光纤通道电缆存储扩展设备1套

项目配置说明数量备注

存储扩展笼HP MSA2012 3.5-in Drive

Bay Chassis

1

作为存储硬盘的扩展架，可与原存储控制

器相连。

存储硬盘

HP MSA2 1TB 7.2K rpm

3.5 inch SATA HDD

3 3块1TB存储硬盘可做RAID5

备件硬盘3块

项目配置说明数量备注

服务器硬盘备件HP 146GB 10K SAS 2.5

DP HDD

4 作为服务器硬盘的备件。

存储硬盘备件

HP MSA2 1TB 7.2K rpm

3.5 inch SATA HDD

3 作为存储设备的备件。防雷设备

项目配置说明数量备注

三级防雷器型号OBO VF230 4 原机柜需要安装两个防雷设备，如果新增机柜，则还需要再安装2个OBO的三级防

雷设备，确保设备安全机柜

项目配置说明数量备注

机柜HP10642型机柜 1 HP原装机柜1套，另外相关配件包括：PDU 电源2套（1套4个插线板）、地线电源线、供电电源线、防水插头、网线等

编号类型设备名称数量

1 服务器DL580 G5 1

2 服务器DL380 G6 1

3 配件光纤交换机端口许可(2 X 8) 2

4 配件光纤卡 4

5 配件光纤收发模块8

6 配件光纤跳线8

7 硬盘备件存储硬盘备件（1TB规格） 3

8 配件KVM切换器一套 1

9 硬盘备件服务器硬盘备件（146GB）9

10 防雷设备OBO防雷设备 4

11 存储扩展设备存储扩展笼 1

12 存储扩展设备存储硬盘（1TB规格） 3

13 机柜机柜及配套设备一套 1

注：如果厂方能提供光纤交换机端口许可，则红色部分可从本方案设备清单中去除2.3. 软件要求

由于目前SAP和MII生产系统安装的操作系统是windows2003 企业版，数据库是oracle，所以，要实现生产系统的双机解决方案，则需要在新增的服务器上安装相应的操作系统、SAP和MII的安装文件和数据库软件。

即操作系统：windows2003 企业版

数据库：oracle10g

双机软件：由操作系统自带的双机集群功能提供。

2.4. 实施要求

在对SAP和MII系统进行双机集群实施的时候，需要满足一些实施过程中的要求。

1、安排人员做好生产数据备份的工作

2、由于在实施过程中需要有一定的宕机时间，所以需要做好生产计划安排，即当SAP

和MII生产系统出现宕机的时候，如何进行应急操作，比如：入库、出库、盘库、查询、报表等操作。以及在宕机时间内产生的数据如何处理和系统恢复后数据校验

的工作等。

3、需要安排人员做双机集群的安装配置以及调试工作，需要保证服务IP、服务主机名、

服务数据库实例名与原来单机安装时的相同

4、需要安排人员在整个双机集群的安装配置过程中进行测试

2.5. 实施计划

2.5.1.实施人员安排

本次双机解决方案实施需要各部分人员密切合作，才能共同完成实施工作。具体的人员分配情况和职责如下：

2.5.2.实施计划时间表

根据上表中实施计划安排，整个双机安装配置过程预计一周时间，建议从周一开始实施，到周末完成整个实施过程。如果需要新增机柜重新接电和布设网线，可考虑从周六开始，到下周末结束，使整个安装配置时间增加2天，更加宽裕。

2.6. 实施步骤

安装和配置SAP和MII系统的双机集群功能的实施步骤如下：

2.6.1.实施准备

需要与生产部门和系统使用部门人员协调SAP和MII系统宕机后的应急处理，比如在系统宕机后：入库、出库、盘库、查询、报表等功能如何操作。

并做好实施前的时间和人员准备，包括确定设备摆放位置、参与人员和时间安排等事宜。

2.6.2.生产数据备份

主要是对SAP和MII系统的配置文件以及ORACLE数据库的数据进行备份。对SAP 和MII文件系统采用文件拷贝的方式，而对oracle数据库采用全库备份后拷贝的方式进行备份处理。备份后的数据存放到现有的存储设备MSA2000上，预计所需磁盘空间不超过1TB。

Oracle数据库备份：

用SAP标准备份命令”brbackup”实施对数据库和archive log的备份。备份后应注意保存好备份日志、备份参数文件和oracle数据库参数文件；

SAP文件系统级备份：

用tar技术或其他压缩拷贝技术将以下SAP相关的文件系统进行备份。

/usr/sap/trans

/usr/sap/PRD

/sapmnt/PRD

Windows系统相关备份：

要备份hosts和service文件。

2.6.

3.设备上架安装

分两种方案，方案一为不增加存储设备，方案二为增加存储设备，选择两种方案的工作量是不同的。

方案一的主要的工作是将新增的两台服务器放到机柜上，打上锣丝固定，安装好新增的

KVM切换器，进行连接，并整理好从交换机到新增服务器的网线后固定到位，将原SAP和MII生产服务器与新增的两台服务器分别用星跳线连接，并用光纤将新增的服务器和光纤交换机进行连接。

方案二的工作要在方案一的基础上，还要增加在机柜中安装存储扩展笼，以及插入新增的存储硬盘，并用SAS线连接到存储控制器，然后对存储设备进行相应的配置。另外，如果选择新增一个机柜，则还要增加安装机柜及配套电源、布设和整理连接线的工作量。

2.6.4.服务器安装操作系统系统及双机集群功能

这步主要是在新增的服务器上安装windows2003企业版操作系统，并配置好机器名，IP 地址等，并在原SAP和MII生产服务器上安装域，在新增的操作系统上添加域，按照标准的双机集群安装配置步骤在SAP和MII原生产服务器以及新增的服务器上安装双机集群功能，并配置网络和相应的信息。

集群安装注意事项：

两台集群的服务器的主机名称都应重新规划，名称规则应保持原来简单精炼的原则。集群安装后的服务名称和服务IP应保证和集群前的生产系统名称和IP一致。

2.6.5.调整存储及配置SAP和MII系统

将存储中原指向SAP和MII生产服务器的虚拟磁盘分别挂接到新增的两台服务器上，并在新增服务器上对SAP和MII系统进行相应的配置修改，使得新增的服务器满足双机集群要求。

2.6.6.配置新建操作系统帐号

在新增的服务器上，对操作系统帐号进行新建和配置，以满足SAP系统要求。

建立操作系统账号会根据原来生产系统的管理员list，将所有SAP相关的用户全部移植到新的系统。使两台服务器的用户信息完全一致。

2.6.7.重装oracle数据库为集群模式

在原SAP和MII生产服务器以及新增的两台服务器上重新安装oracle数据库，安装时

选择集群模式。

2.6.8.导入备份数据

用oracle工具或命令将之前备份的SAP和MII生产数据库导入到新创建的数据库中。

在两台服务器上重新安装集群方式的oracle数据库，并对数据库进行双机配置工作。配置完成并通过测试后将原来的oracle备份通过SAP标准恢复命令”brrestore”将SAP数据恢复到数据库中。

2.6.9.双机切换测试

根据测试计划对双机进行双机切换测试。

1、判断在发生什么样的错误后进行切换，并维护双机切换脚本；

2、维护SAP和MII切换脚本并加入标准双机切换脚本。使发生宕机切换时可以将SAP

和MII应用一并启动或停止。

2.6.10.数据检查

使用数据库工具或者在SAP和MII系统中对生产数据进行检查，对双机集群功能安装后的数据进行严格的核对。

2.7. 测试计划

对SAP和MII系统的双机集群实施需要做好以下几个方面的测试工作：

1、在双机集群安装配置后需要进行双机切换测试，测试双机集群功能是否正常运行。

测试包括：1）将主服务器网络断开，测试应用是否切换到备用服务器。

2）将主服务器数据库断开，测试数据库是否切换到备用服务器。

3）将备用服务器网络断开，测试集群是否工作正常。

2、在SAP和MII系统恢复正常后，对生产数据进行校验测试，即测试生产数据是否和

安装双机前一致，SAP和MII系统全部功能是否使用正常。

2.8. 风险评估和处理

在整个SAP和MII系统双机集群实施过程中，可能存在一定的风险，需要提前进行预防和处理。比如：

在实施过程中可能存在的风险

1、在新增服务器上安装配置SAP和MII系统时出现未知的硬件或软件故障、打补丁失

败、未知错误等。

2、在安装配置双机集群时磁盘存储出错，或未知错误。

3、在备份ORACLE全数据库或SAP和MII文件系统备份时出错

4、建立操作系统帐号或双机切换测试时的一些未知错误等

5、双机全部做完以后对整个SAP生产系统和MII系统进行全部测试时出现的生产数据

不一致和一些未知错误。

做好以下几点，可以对实施过程中产生的风险和问题进行有效的规避和解决。

1、提前做好出错的预防，注意观察硬件设备的状态。

2、在安装和配置双机集群时严格按照预先计划的实施步骤去操作，做完每个步骤后进

行检查。

3、在实施过程中按照预先编制的测试计划去实行，并对测试结果进行跟踪和记录。

4、对SAP和MII系统恢复后的集成测试需要完备和细致。

5、在出现错误提示后不要慌乱，要查找错误原因，并想好解决方案。

3.硬件设备清单

3.1. 方案一

设备清单表如下：

3.2. 方案二

设备清单表如下：

说明：如果厂方能提供光纤交换机端口的许可，则红色部分不在本次采购范围内，可以去除。