V7000存储高可用解决方案

方

案

建

议

书

（XXX容灾方案建议）

目录

第1章XXXX容灾方案参考 (1)

1.1 系统现状 (1)

1.2 容灾需求分析 (1)

1.3 容灾参考方案 (2)

1.3.1 总体架构规划 (2)

1.3.2 V7000 外部存储虚拟化功能说明 (3)

1.3.3 V7000 VDM（虚拟磁盘镜像）功能说明 (3)

1.3.4 后期存储扩展建议 (4)

1.4 系统配置参考 (4)

第2章V7000存储设备介绍 (6)

2.1 IBM V7000存储系统概述 (6)

2.2 通过IBM S YSTEM S TORAGE E ASY T IER增强访问能力 (6)

2.3 通过精简调配来优化效率 (7)

2.4 动态迁移避免系统中断运行 (7)

2.5 通过复制服务来保护数据 (8)

2.6 管理工具与IBM S YSTEMS D IRECTOR相集成 (10)

2.7 高性能SSD支持 (10)

2.8 外部存储系统虚拟化 (10)

第3章存储高可用技术建议 (12)

3.1 存储高可用性的内容 (12)

3.2 存储高可用性方案的主要实现方式 (14)

3.2.1 方式一：磁盘设备间数据镜像( 如LVM Mirror ) (15)

3.2.2 方式二：磁盘设备间数据复制（如PPRC或ERM） (19)

3.2.3 方式三：采用SVC或V7000或V7000实现逻辑卷镜像 (21)

3.2.4 三种HA方式的比较 (23)

第1章XXXX容灾方案参考

1.1系统现状

XXXX现有IT系统的现状大致如下图所示。采用IBM P550服务器作为数据库服务器，采用DS3400存储设备作为主存储系统。

1.2容灾需求分析

当前，XXXX计划在同一园区内建设容灾系统，在容灾中心和主生产中心之间采用2km长的裸光纤进行直连。并且，希望对现有的存储设备进行充分利旧。

IBM将针对当前所了解的情况，做出初步的方案，供XXXX容灾建设参考。

由于DS3400设备没有自身的基于磁盘的远程复制功能，因此无法采用基于存储底层的磁盘复制技术。此外，由于DS3400的性能有限，且缓存较低，因此采用基于AIX操作系统的LVM镜像方式性能会有影响。（各种高可用技术，详见第3章的说明）

第1页

第2页

而目前IBM 最新的虚拟化存储设备V7000，即可以支持外部存储的接入，也可以支持内部存储和外部存储之间的镜像，因此可以通过V7000存储设备来实现存储的高可用，并达到同园区内容灾的目的。

1.3 容灾参考方案

1.3.1 总体架构规划

总体同园区容灾的架构如上图所示，建议新增一套IBM V7000存储设备，并配置外部存储接入功能。

通过两对SAN 交换机之间的2km 裸光纤直连，可以将现有的DS3400作为V7000存储设备的外接存储，DS3400上的卷以image 模式接入到V7000中，并和V7000上的卷组成镜像的卷（采用了V7000的VDM 功能）。即当服务器写数据到VDM 镜像后的卷的时候，V7000会自动在V7000的卷和DS3400的卷中各写一份，保障了在本地和远端同时都有一份相同的数据。

在光纤交换机上，需要在每台SAN 交换机上都配置一个单模长波模块用于2km 裸光纤的直连。

第3页

1.3.2 V7000 外部存储虚拟化功能说明

V7000具有外部存储虚拟化功能，该功能沿袭了目前业界最成熟的存储虚拟化产品IBM SVC 的几乎所有功能，具有当前最广泛的存储兼容性能，可以连接大部分的光纤存储设备。

外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添加到IBM Storwize V7000存储容量池中，从而提高软件价值和性能优势。对于不再用作主存储系统，但可通过重新部署而用作备用存储系统的现有存储产品来说 — 例如，用作闪速拷贝目标或者用于保存归档数据的存储系统 — 这将能够延长它们的使用寿命，但不影响IBM Storwize V7000的管理及存储功能发挥高效率的优势。

1.3.3 V7000 VDM （虚拟磁盘镜像）功能说明

通过IBM SVC 或V7000（SAN Volume Controller ）来实现两台存储系统上的磁盘进行镜像后为服务器提供存储。上图是通过SVC 或V7000实现两台阵列之间存储镜像的示意图。

对于底层的磁盘阵列来说，其使用方式与现在相同，对其内部的磁盘先进行RAID ，然后在RAID 组上进行逻辑磁盘（LUN ）的划分。如上图的例子中，首先对两个阵列的磁盘做

RAID5，然后在左边阵列中再作成LUNa和LUNb两个逻辑磁盘，同样在右边阵列中可以作成LUN1和LUN2两个逻辑磁盘。

在没有SVC或V7000的时候，我们要把这些LUN map给对应的服务器，然后在服务器上就可以找到这些硬盘。但是这样并没有实现磁盘阵列之间的Mirror。

现在，我们有了SVC或V7000设备，这个时候不再把这些LUN map给服务器，而是map 给SVC或V7000。SVC或V7000把这些map过来的磁盘当做是可使用的原始磁盘，称之为Managed Disk。

SVC或V7000再对Managed Disk进行处理，可以在不同的Managed Disk之间进行镜像作成供服务器使用的Virtual Disk。如上图，SVC或V7000将从左边磁盘阵列获得的Ma和从右边阵列获得的M1进行Mirror后，形成了Virtual Disk为Vdisk1。然后再将Vdisk1 map给服务器。服务器就像使用本地磁盘一样的使用Vdisk1。

这个时候我们回头看一下Vdisk1的组成，它是由两个阵列中的LUN通过Mirror方式组成的。

使用SVC或V7000进行跨阵列Mirror后，对于服务器获得的Vdisk来说，不会因为任何一个磁盘存储系统的故障而出现问题。这样大大提高了存储系统的可用性，为前端应用系统的开展提供了更好的保障。

1.3.4后期存储扩展建议

由于V7000具有外部存储扩展功能，同时也支持自身的扩展柜，因此在后期的扩展中，可以同时增加自身的扩展柜和外部存储，来实现本地存储的高可用性，即本期所建设的同园区容灾功能。

同样，V7000存储设备还具有远程复制功能，通过V7000的远程复制功能，今后还可以帮助XXXX建设异地的容灾系统。

1.4系统配置参考

●IBM V7000存储系统

?双控制器节点，16GB缓存

第4页

?8个8Gb FC接口，4个1Gb iSCSI接口

?24块300GB 10K转 SAS磁盘

?外部存储虚拟化功能许可（1个扩展设备）

●SAN交换机四台：

?每台配置15个8Gb FC接口和1个单模长波接口。

●项目实施服务

●服务器设备需根据实际需求来配置。

第5页

第2章V7000存储设备介绍

2.1IBM V7000存储系统概述

IBM Storwize V7000是功能强大的存储系统，结合了适当的软硬件组件，提供单一控制点来帮助提高存储效率。IBM Storwize V7000支持中型企业的存储资源虚拟化、整合与层级，旨在提高应用可用性和资源利用率。在您的IT基础架构中，无论是全新还是现有存储资源，该系统都提供易用的、经济高效的、卓有成效的管理功能。

2.2通过IBM System Storage Easy Tier增强访问能力

Easy Tier能够将常被访问的数据自动迁移到高性能的固态驱动器中，从而提高利用效率。Easy Tier功能运行在细粒度的“子LUN”环境中，能够基于IO模式和驱动器特征将数据片段自动转移到适当级别的驱动器上，无需管理员的进一步互动。Easy Tier还允许您在不中断系统运行的情况下手动调整整个逻辑卷的位置，从而进一步提高灵活性和控制力，允许企业根据应用需求来更加有效地调节系统性能。

Easy Tier允许您轻松省钱地部署SSD。Easy Tier允许您创建混合型存储资源池并且在托管磁盘组群中将存储资源分割成两层，通常是SSD和HDD。此外，Easy Tier也支持其他的分割方法和定义。

找出最繁忙的子LUN数据单元并且将它们自动转移到高性能SSD中。

剩下的数据单元可利用容量更大的低价位驱动器来创造最佳客户价值。

系统可自动监控和管理SSD或HDD托管磁盘组群中的卷，您也可以通过将热点数据块转移到SSD并且将冷点数据块转移到HDD来自动处理它们。

第6页

第7页

2.3 通过精简调配来优化效率

使用精简调配功能，应用可以动态增长，但只会占用它们实际使用的空间。精简调配功能旨在将业务成本控制在较低的水平，能够基于每名用户在任何指定时间点的最低空间需求通过灵活的方式在多名用户之间分配磁盘存储空间，从而优化效率。这不仅能够减少对存储硬件的使用，而且还能减少用电量、产热量和硬件的场地需求。

例如，在某个环境中，没有任何用户请求超过10 GB 的数据，每名用户有效使用的数据平均不到 6 GB 。在这个环境中，存储管理员可以决定通过精简调配卷的方式给每名用户分配10 GB 的虚拟容量，每名用户分配到的实容量仅为6 GB 。如果有100名用户，则虚拟容量总计1 TB ，而存储子系统中的实容量仅为600 GB 。如果管理员根据以往经验知道并非所有的用户都在同一时间使用全部物理容量的话，则这种做法是有效的。有些用户只请求4 GB 或更少的数据，有些用户则可能请求全部的10 GB 数据。但前提仍然是用户平均请求的实容量不能超过6 GB 。存储管理员仍有责任监控实容量的分配情况，以免出现存储容量不够用的问题，当容量到达门限值时，存储系统将会发出警报并且进行跟踪监控。

2.4 动态迁移避免系统中断运行

IBM Storwize V7000使用虚拟化技术来防止主机应用受到物理存储变化的影响，因此，您在更改存储基础架构时，您的应用仍可继续正常运行，进而您可以正常开展业务。

第8页

数据迁移是计划内停机的最常见原因之一。Storwize V7000提供动态数据迁移功能，当您在现有存储器与全新系统之间迁移数据或者在Storwize V7000系统的阵列之间迁移数据时，可保持用户继续访问数据。例如，当您为了实现负载均衡而更换老式存储器时，或者当您在层级式存储基础架构中迁移数据时，都可使用这项数据迁移功能。

IBM Storwize V7000动态迁移功能可以创造商业价值并且提高效率。动态迁移可将创收速度从几周甚至几个月缩短为几天、最大限度地缩短迁移造成的故障停机时间、消除添加迁移工具的成本、并且帮助您避免与延期租借相关的罚款和其他维护开销，从而真正实现成本节约。

2.5 通过复制服务来保护数据

IBM Storwize V7000提供极为丰富的闪速拷贝(FlashCopy)功能，旨在创建近即时的活动数据拷贝，以便顺利开展备份工作或者并行处理活动。您最多可为每个卷创建256个拷贝。

IBM Storwize V7000支持增量闪速拷贝操作，只拷贝自闪速拷贝功能上次运行以来发生变化的部分源或目标卷，并且支持“拷贝的拷贝”功能 — 对副本进行拷贝 — 从而提高效率。这些功能可用于帮助您基于生产数据来维护和更新测试环境。

若与IBM Storwize V7000的精简调配功能配合使用，您可以只使用完整物理拷贝所需的部分存储资源来创建拷贝。这项功能名为“空间高效型闪速拷贝”(Space Efficient FlashCopy)，旨在帮助您提高存储资源的总体利用率。

逆向闪速拷贝(Reverse FlashCopy)功能可令闪速拷贝目标变成源卷的恢复点，但不会破坏闪速拷贝的关系，也无需您等待最初的拷贝操作完成后才能采取行动。这项新功能将帮助您立刻使用磁盘备份拷贝来恢复受损数据，从而加快应用恢复速度。

IBM Tivoli Storage FlashCopy Manager 专为当今的商业环境而设计，旨在支持应用服务器24小时全天候运行 — 并且全面保护数据。如果您拥有一个24x7全天候运行的环境，将无法容

第9页

忍丢失任何数据，也不能接受为了充分保护数据而数小时中断关键系统的正常运行。但是，随着需要保护的数据量继续呈现指数增长，企业也日益需要将备份数据导致的故障中断控制在绝对最低水平，但IT 流程已经接近断点。Tivoli Storage FlashCopy Manager 可以帮助您基于IBM Storwize V7000 FlashCopy 的备份和恢复功能对备份工作进行调整，从而最大限度地降低备份影响。该产品可将备份与恢复时间从几小时缩短为几分钟 — 通过简化管理工作以及自动执行存储管理任务来提高生产力。 运行在IBM

Storwize V7000系统之间不

同位置的城域镜像和全局镜像功能能够帮助

您创建数据拷贝，以便在数据中心发生灾难

性事件时使用。城域镜像设计用于在“城

市”距离(最长300千米)维护完全同步拷

贝，而全局镜像则设计用于异步运行，以便

帮助维持更长距离的拷贝(最长8000千米)。

这两项功能均支持VMware vCenter Site

Recovery Manager ，以便快速实现灾难恢

复。

第10页

2.6 管理工具与IBM Systems Director 相集成

这个解决方案通过集成方法来管理IBM 服务器和存储器，旨在帮助IT 机构解决与同时管理物理和虚拟服务器基础

架构相关的重大忧虑 — 包括监控和修复功能，以便提高可用性、运营效率和基础架构规划效力。一名系统管理员即可使用单一管理界面来同时管理并且操作IBM 服务器(System x?、System p?和BladeCenter?)、网络基础架构及IBM 存储器(包括IBM Storwize V7000)。

2.7 高性能SSD 支持 对于需要高速磁盘及快速数据存取的应用来说，IBM 通过300 GB 2.5" E-MLC (企业级多级单元) SSD 提供固态驱动器，在一个支持向外扩展高性能SSD 的系统中最多提供72 TB

的物理容量。

2.8 外部存储系统虚拟化

外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添

加到IBM Storwize V7000存储容量池中，从而提高软件价值和性能优

势。对于不再用作主存储系统，但可通过重新部署而用作备用存储系统的现有存储产品来说—例如，用作闪速拷贝目标或者用于保存归档数据的存储系统—这将能够延长它们的使用寿命，但不影响IBM Storwize V7000的管理及存储功能发挥高效率的优势。

第11页

第3章存储高可用技术建议

云计算服务管理平台是为了加强和简化云计算平台的统一管理所提供的一整套管理系统。在银鹭集团的云计算项目中，建议在一期完成云基础平台后，于二期系统建设的时候部署。以下是云计算服务管理平台的相关介绍。

3.1存储高可用性的内容

我们先来分析一下，高可用性所覆盖的内容。

首先，业务连续性由三级支撑构成。高可用性，扮演着其中最为基本的一级：

●高可用性（High Availability）

要求容错的硬件、自动诊断以及故障隔离、预分析、冗余等。其中，冗余是其最核心的特征。

●数据复制（Data Replication）

在同城、异地，或者同城及异地进行数据的有效复制

●数据恢复（Data Recovery）

非计划停机时，进行保护和恢复，满足恢复点目标和恢复时间目标

高可用性，是体现在系统的各个细节中。从一个典型的IT系统拓扑来看，它的主要实现层次如下图所示：

第12页

本地存储设备层次的高可用性，如图中蓝色虚线方框所示，主要从以下三方面考虑：

●冗余SAN网络

SAN交换机冗余配置，主机光纤通道卡、存储光纤接口双配置，冗余连接等。这部分设计用于防范通道、接口和网络的单点故障。

●存储设备个体高可靠

除普遍支持RAID保护技术外，目前的部分高端企业级存储，还采用全冗余设计、镜像缓存等技术来进行自身保护。这部分设计和使用，侧重在于保证存储设备单个个体内的数据安全。当存储设备出现全面故障，不能运转时，最多只能保证“数据不丢失”，不能支持“数据持续访问”。

●双存储设备

第13页

如上图中红色虚线部分所示，配置双磁盘设备，存放双数据拷贝。保证在单个存储服务器出现故障时，首先实现数据不丢失，其次实现业务的连续运行。

在这三方面中，冗余SAN网络、存储设备个体高可靠相对为人所熟悉，不再赘述。下面所谈的存储高可用性方案重点，将集中在“双存储设备”的环节上。

3.2存储高可用性方案的主要实现方式

存储高可用性，有三种主要的实现方式：

方式三：采用SVC或V7000虚拟存储实现逻辑卷镜像

第14页

3.2.1方式一：磁盘设备间数据镜像( 如LVM Mirror )

通过pSeries的LVM（逻辑卷镜像）等技术，在两套磁盘设备间，建立数据镜像关系。两套存储设备同时处于活动状态。生产主机在写数据时，会同时写入两套磁盘设备中。

该方式能够提供最佳的持续可用性。当一台存储设备出现整机故障时，由另一台存储设备独立工作，应用不会受到中断。

配置双磁盘系统，通过操作系统的卷管理功能，在磁盘间进行数据镜像，保证两套磁盘设备保存有实时相同的数据拷贝。可以有效避免由于单一磁盘系统发生故障而导致的系统意外宕机。充分提高系统的连续可用性。

这种双磁盘系统间数据镜像方式，是基于IBM p系列主机系统的LVM（逻辑卷管理）功能实现的。LVM功能，是IBM在UNIX系统创先使用的磁盘空间管理功能，它嵌入在AIX核心功能中，具有速度快、功能强大、管理方便等优点。LVM功能和IBM存储系统配合，是目前技术成熟度高、投资相对较低、实施快速简便、应

用行之有效的本地高可用解决方案和容灾方案。

第15页

在实施IBM LVM的数据镜像方案时，分别将磁盘系统A和磁盘系统B，通过光纤HBA卡连接到SAN交换机上，接入SAN网络。这时，主机会有效识别两套存储系统。之后，通过主机的LVM管理器，将需要高可用保护的数据，在两套磁盘系统上建立镜像关系。一份数据拷贝放置在磁盘系统A上，另一份数据拷贝放置在磁盘系统B上，两份数据拷贝保持着实时同步关系。读数据时，可以从任意一份数据拷贝中读出，提高性能；写数据时，两份数据拷贝被同时修改。当任意一个磁盘系统发生故障，即其中一份数据拷贝失效时，另一份数据拷贝照常发挥作用，业务不会停顿。非常好地保证了数据的高可用性。

LVM 可以为一个每一个数据卷提供多份拷贝，它可以支持2～3份数据拷贝。该功能包含在p系列主机AIX操作系统中。

采用这种方式，业务和应用系统的运行可以通过集群软件HACMP进行主机之间的故障接管，实现应用系统运行功能的高可用性；数据存储系统可以采用LVM进行磁盘存储系统之间的故障接管，实现应用系统数据访问的高可用性。这样，即使有一半的主机系统和一半的存储系统发生故障，不能正常工作，整个系统也不会发生瘫痪，仍旧可以继续运行，充分满足了业务连续运行的要求。

应用LVM的方案对用户的现有环境没有改变，不存在数据集中迁移的问题，而且业务系统保持同时在线，不存在系统接管、应用重新启动的问题，可以实现系统的平滑过度。

实施LVM方案，既可以在相同型号的IBM存储产品之间进行，也可以在不同型号的IBM存储产品之间进行。

下面简要说明LVM的实施过程。

LVM为操作系统的卷管理器，对于IBM的存储设备，在相同或者不同型号的磁盘系统上，二个磁盘系统的磁盘空间可组成同一VG（volume group）, 对操作系统来说磁盘A的盘和磁盘B的盘都是相应/dev/dsk 下的设备号，同一VG又可以分成逻辑卷（ logical volumes），每个逻辑卷之间又可以在线的做镜像，所以可以把

第16页

磁盘B的盘加到磁盘A的VG里，形成逻辑卷，用LVM使磁盘B的相应的卷成为磁盘A的镜像。

作为一个完善的高可靠性和高连续可用性系统应该能够同时满足数据备份与应用切换的需求，其中应用切换已经由HACMP高可用性集群实现，下面针对该方案中的数据同步部分加以分析。

为了实现数据的同步，我们利用数据镜像功能LVM，为已有的磁盘A（下图所示之“数据拷贝一”）上的生产数据添加一个拷贝，并将其镜像设备指定为磁盘B（下图所示之“数据拷贝二”）。

正常工作模式下，数据的写入操作可以用下图说明：

数据更新流向图

生产系统对磁盘A的“数据拷贝一”的任何更新都实时在

第17页

磁盘B的“数据拷贝二”得到更新，“数据拷贝一”和“数据拷贝二”的更新方式有顺序方式、并行方式等多种机制可供选择。一般使用并行方式以增加整体性能。

当存储系统A发生故障时，生产无需停顿，生产主机利用存储系统B上的数据拷贝继续运行。如下图所示：

本地存储故障

当对存储设备A进行维修时，断开镜像关系；存储设备A 修复后，恢复数据镜像关系，数据自动在A和B的两份拷贝间同步，之后恢复到两份拷贝同步运行模式。

第18页