XX数据迁移服务技术建议书

XX数据迁移服务技术建议书
XX数据迁移服务技术建议书

XX数据迁移服务技术

建议书

目录

目录 (ii)

1 项目概述 (6)

1.1 项目背景-服务现状 (6)

1.2 项目宏观服务范围 (6)

2 XX数据迁移方法论 (7)

2.1 XX数据迁移方案概述 (7)

2.2 迁移风险&计划阶段 (7)

2.3 迁移实施阶段 (8)

2.4 数据迁移完成阶段 (9)

3 数据迁移方法简介 (10)

3.1 基于主机卷管理软件的数据迁移方案 (10)

3.1.1 数据迁移方案架构图 (10)

3.1.2 数据迁移工作原理 (10)

3.1.3 迁移步骤 (11)

3.1.4 方案特点 (12)

3.1.5 停机时间和数据复制时间估算 (12)

3.1.6 使用建议 (13)

3.1.7 技术限制 (13)

3.1.8 选择此方案的优选场景 (14)

3.1.9 责任界面 (14)

3.2 基于文件拷贝工具的数据迁移方案 (15)

3.2.1 数据迁移方案架构图 (15)

3.2.2 数据迁移工作原理 (15)

3.2.3 迁移步骤 (16)

3.2.4 方案特点 (17)

3.2.5 停机时间和数据复制时间估算 (17)

3.2.6 使用建议 (17)

3.2.7 技术限制 (18)

3.2.8 选择此方案的优选场景 (18)

3.2.9 责任界面 (18)

3.3 基于虚拟化平台的数据迁移方案 (20)

3.3.1 数据迁移方案架构图 (20)

3.3.2 数据迁移工作原理 (20)

3.3.3 迁移步骤 (21)

3.3.4 方案特点 (21)

3.3.5 数据迁移时间估算 (22)

3.3.6 使用建议 (22)

3.3.7 技术限制 (22)

3.3.8 选择此方案的优选场景 (23)

3.3.9 责任界面 (23)

3.4 基于网络功能(VIS)的数据迁移方案 (25)

3.4.1 数据迁移方案架构图 (25)

3.4.2 数据迁移工作原理 (25)

3.4.3 迁移步骤 (26)

3.4.4 方案特点 (27)

3.4.5 停机时间和数据复制时间估算 (28)

3.4.6 使用建议 (28)

3.4.7 技术限制 (29)

VIS的限制 (29)

3.4.8 选择此方案的优选场景 (30)

3.4.9 责任界面 (30)

3.5 基于异构虚拟化的数据迁移方案 (31)

3.5.1 数据迁移方案架构图 (31)

3.5.2 数据迁移工作原理 (31)

3.5.3 迁移步骤 (32)

3.5.4 方案特点 (33)

3.5.5 停机时间和数据复制时间估算 (33)

3.5.6 使用建议 (34)

3.5.7 技术限制 (34)

3.5.8 选择此方案的优选场景 (35)

3.5.9 责任界面 (35)

3.6 基于存储功能(LUN拷贝)的数据迁移方案 (36)

3.6.1 数据迁移方案架构图 (36)

3.6.2 数据迁移工作原理 (36)

3.6.3 迁移步骤 (37)

3.6.4 方案特点 (38)

3.6.5 迁移时间和停机时间估算 (38)

LUN拷贝实施(离线): (39)

3.6.6 使用建议 (39)

3.6.7 技术限制 (39)

3.6.8 选择此方案的优选场景 (40)

3.6.9 责任界面 (40)

3.7 基于Toolkit SAN迁移工具的数据迁移方案 (40)

3.7.1 数据迁移方案架构图 (40)

3.7.2 数据迁移工作原理 (41)

3.7.3 迁移步骤 (41)

3.7.4 方案特点 (42)

3.7.5 迁移时间和停机时间估算 (42)

3.7.6 使用建议 (43)

3.7.7 技术限制 (43)

3.7.8 选择此方案的优选场景 (43)

3.7.9 责任界面 (43)

3.8 基于Toolkit NAS迁移工具的数据迁移方案 (44)

3.8.1 数据迁移方案架构图 (44)

3.8.2 数据迁移工作原理 (44)

3.8.3 迁移步骤 (45)

3.8.4 方案特点 (46)

3.8.5 迁移时间和停机时间估算 (46)

3.8.6 使用建议 (46)

3.8.7 技术限制 (47)

3.8.8 选择此方案的优选场景 (47)

3.8.9 责任界面 (47)

4 迁移服务规划 (48)

4.1 项目组织架构 (48)

4.2 项目管理计划 (49)

4.3 责任矩阵 (49)

4.4 预计应用停机时间 (49)

4.5 迁移风险管理 (50)

5 迁移服务实施 (51)

5.1 迁移总体流程 (51)

5.2 迁移准备 (51)

5.3 迁移实施 (53)

5.4 迁移监控 (54)

5.5 性能优化 (54)

5.6 项目转维 (55)

1 项目概述

1.1 项目背景-服务现状

随着XXX客户业务的增长,为了满足XXX日益增长的数据量的需求。

现XXX需要一套完整的高性能存储平台,并将该用户目前存储环境平滑

过渡至该平台,并提供无缝的在线容量升级。

目前潜在的痛点在于:

?原有存储设备有数据丢失的风险

?现有存储容量已经几乎用完

?部分系统的资源使用率超出其预估值

?存储性能需要提高

通过使用新的高端存储和存储架构,XX存储解决方案解决了以上问题。

该解决方案主要通过以下方面体现:

?对应XXX客户提出的数据存储建设要求,XX将部署支持高性能服

务、节点服务、集成cache等特性的OceanStor XXXX存储

?通过数据迁移专业服务将原存储数据迁移至OceanStor XXXX。

XX将提供一个终端到终端的专业服务项目,涵盖规划,部署,测试,

数据迁移和培训,其生命周期将贯穿整个项目运作。作为XXX客户的存

储战略性规划的一部分,分阶段执行。该项目交付将由专业服务团队执

行数据的备份、迁移、和培训,最后将平滑的过渡至IT运维部门。

1.2 项目宏观服务范围

本项目项下有关数据迁移服务的宏观目标:

?XXOceanStor XXXX存储阵列的的安装和配置

?将XXOceanStor XXXX存储集成至现有存储环境中去。并对原有环境

的功能和高可用性进行配置。

?将原有存储的数据阶段的迁移至OceanStor XXXX新存储中

?重定向新的数据增长到OceanStor XXXX存储

2 XX数据迁移方法论

2.1 XX数据迁移方案概述

为了更好的服务全球存储用户,XX全球服务部专门设置数据迁移专业服务团队,通过多个已成功交付项目的最佳实践,进行迁移活动生命

周期的管理,并提供一个以客户体验为标准的端到端的数据迁移项目交

付模型。在数据迁移建模过程中,有效的风险管理是控制迁移项目的重

要支柱。

数据迁移生命周期流程

2.2 迁移风险&计划阶段

在数据迁移分析阶段,数据迁移专家和存储架构师主要进行数据收集和分析推演的工作,以便制定详细的迁移计划。下图显示了一些常用

的数据采集和分析技术。分析阶段将在硬件出货前完成,因此不消耗项

目进度。

数据迁移分析与规划流程.

2.3 迁移实施阶段

在迁移过程中执行阶段,主要执行沟通计划和获取、安装和配置硬件、软件,自动化脚本。在实际的数据迁移执行的过程中需要相应的工

具。除了迁移后进行验证测试外,迁移前也将进行预迁移数据验证测试。

这些试验将证实数据是在在迁移后与迁移之前具有相同的状态和一致

性。通常情况下,测试演练将在测试或开发(非生产)环境中进行。

在该阶段,实际数据迁移本身将是最重要的一部分。正如下列表所述,

正确的方法可以简化这个过程:

●增强数据迁移的传输速率

●最小化或跳过应用停机时间

●运行数据迁移在业务运行时间段进行

在任何应用环境下的数据迁移实施前,都需要实现制定好迁移前检查列表和迁移交付指导书。相应材料的准备确保了迁移的平滑过渡、数

据的完整性,以及相应的迁移回退策略的制定。

在计划于设计阶段完成之后,将制定完整版本的数据迁移指导书及数据迁移回顾文档。指导书将包含如下部分:

?验证在活动中所需的特定工作人员(含XXX)

?应用备份/关闭流程

?数据库备份/关闭流程

?网络/安全动作(如.DNS)

?服务器关闭流程

?应用系统关联性

?数据复制/快照/备份等对迁移的影响

?法律与法规的评估

?如需分批迁移,提供迁移决策点

?服务器启动/测试/完成

?数据库启动/迁移/完成

?应用启动/迁移/完成

?投产测试/完成

?业务连续性/回滚计划

?构建和验证HA&GEO 等容灾软件

?最终QA和迁移决策

2.4 数据迁移完成阶段

迁移数据后,需要确保目标系统包含源的完整和准确的副本。并确保迁移的数据仍然是由应用程序使用。完成迁移后,将提供编制迁移报

告,报告强调做了什么工作,哪些工作尚未完成,对现有迁移工作的内

容总结。需要确保迁移场景结束后,应用场景依然适用。如在迁移后发

现任何硬件或基础架构相关的问题或者不可控因素,则尝试解决该问题

或者进行迁移回退,至原有状态。此外迁移过程中需要始终保持原数据

的可用性。对原数据的保存将确保原有生产环境可随时回退。在问题解

决后,可以继续计划再次数据迁移,原有应用将不会受影响。

3 数据迁移方法简介

3.1 基于主机卷管理软件的数据迁移方案

3.1.1 数据迁移方案架构图

3.1.2 数据迁移工作原理

基于主机卷管理软件的迁移方案可以在不同厂商的存储阵列产品之间进行数据迁移。在迁移的初始阶段将目标存储的LUN映射给主机并加

入包含源存储LUN数据的卷组中,利用卷管理软件提供的镜像功能,使

得数据在源存储和目标存储之间进行快速的复制,镜像完成后,将源存

储LUN从主机卷组中删除,完成数据迁移。数据复制过程中保持业务在

线运行。

3.1.3 迁移步骤

步骤 1迁移前,I/O路径为“服务器主机—源存储”;

步骤 2将目标存储加入客户的应用系统中,新增链路为“服务器主机—目标存储”。在目标存储阵列上将新建的LUN分配给服务器主机。此操作不需

要中断客户业务系统。具体包括:

1物理链路连接(如果需要替换主机的多路径软件,目标存储迁移完

成前单路径接入);

2光纤交换机划zone;

3目标存储上建立主机组和主机,添加服务器WWN;

4目标存储上添加LUN到服务器主机的映射;

5服务器上发现目标存储映射的LUN;

步骤 3在主机上将目标存储LUN对应的物理卷加入到包含源存储LUN的卷组;

步骤 4在卷组内对源数据阵列和数据迁移目标阵列之间进行镜像操作;

步骤 5确认卷组内数据镜像完成后,将源存储LUN对应的物理卷从卷组中删除;

步骤 6完成数据迁移;

步骤 7(可选)如需替换主机多路径软件,需要停止客户业务。在服务器上卸载源存储对应的多路径软件,安装目标存储对应的多路径软件并按需重启

主机系统生效。多路径软件安装完成后,启动客户业务系统。

3.1.4 方案特点

基于主机卷管理软件的数据迁移方案可以针对主流的操作系统卷管

理软件(Windows LDM 、AIX LVM、HP-UX LVM、Solaris SVM、

Unix/Linux VxVM)及Oracle数据库软件(Oracle文件存放在ASM

管理的磁盘组)在不同厂商的SAN存储阵列产品之间进行数据迁移;

●对存储兼容性要求低;

●对业务系统拓扑改变小,某些场景下可以无中断或中断时间较短;

●数据迁移过程中数据复制通过主机卷管理软件进行,会占用服务器

主机的CPU、内存等计算机资源;

●数据迁移过程中,业务不会中断,可以持续进行,但性能会有一定

影响;

●无须在现有环境中安装任何软件或代理,方便快捷的进行数据迁移。

3.1.5 停机时间和数据复制时间估算

卷镜像为在线数据迁移方案,此方案数据迁移时间分为数据复制及停机更换多路径时间两部分。数据迁移时间为在线数据复制时间,此时

间段内业务继续运行,为在线数据迁移。

数据复制、停机时间估算方法:

●数据复制(在线):此步骤时间可以由总容量/迁移速率来评估,卷

管理迁移方案一般可以按60MB/s来估算,例如1TB数据,同步时

间为1TB*1024*1024/60MB/s/3600秒每小时=4.854小时。

说明

*此速率按常用速率60MB/s估算,某些特殊情况,受客户主机硬件性能及业务

繁忙程度影响,则迁移速率可能低于此数值。

●停机:此步骤的中断时间可以按照每个标准系统(双机集群单阵列)

2小时。此时间为售前阶段需申明的时间,实际操作可能短于此估算

时间。具体包括:

1停止系统业务;

2卸载源存储多路径软件,安装目标存储多路径软件;

3主机更改存储相关配置进行适配;

4启动系统业务。

因此,以一个双机,单存储使用卷镜像方案迁移的例子对迁移和停机时

间进行说明:

例1:客户一套系统需搬迁的LUN原始裸容量(LUN的总容量)为20TB,

则阶段时间如下:

数据复制(在线):20TB*1024*1024/60MB/s/3600秒每小时=97.1小时

停机更换多路径:2小时

总共客户需停业务:2小时

总共迁移时间:97.1+2=99.1小时

3.1.6 使用建议

●建议在主机业务非高峰期进行迁移。

●主机集群为并发集群并使用LVM的场景下,需要在单节点下进行迁

移,迁移完成恢复集群正常运行状态。

3.1.7 技术限制

源存储的限制

●N/A

目标存储的限制

●目标存储必须满足主机的兼容性要求;

●替代阵列的容量≥原阵列的容量。

光纤交换机的限制

●光纤交换机有足够的空余端口供新阵列使用,具体需要端口数与组

网方式强相关,每台光纤交换机至少需要2个空余口。

服务器的限制

●操作系统与替代阵列多路径软件兼容

卷管理的限制

●添加目标存储的LUN到AIX,HP-UX,Solaris主机上的卷组前,需

要评估添加后是否会超出卷组的规格。以AIX和HP-UX下LVM为

例:

●Windows上使用LDM逻辑磁盘管理进行迁移,待迁移的源存储LUN

如果是基本磁盘,需要转换为动态磁盘(此过程不会丢失数据);如

果已经是动态磁盘,那么只支持简单卷的镜像迁移。

3.1.8 选择此方案的优选场景

●客户对业务连续性要求较高的Unix LVM或Unix/Linux VxVM迁移

场景优选此方案。

3.1.9 责任界面

在整个数据迁移过程中,XX工程师负责以下内容:

●数据迁移过程中的数据复制工作;

●协助用户完成数据迁移后数据的验证工作。

在整个数据迁移过程中,XX工程师不负责以下内容,以下工作内容需要

由用户协调解决:

●存储阵列在服务器主机上的配置工作;

●业务系统数据的备份工作;

●业务系统的启动、停止工作;

●数据迁移过程中对用户业务系统光纤交换机、以太网交换机的配置

工作。

3.2 基于文件拷贝工具的数据迁移方案

3.2.1 数据迁移方案架构图

3.2.2 数据迁移工作原理

基于文件拷贝的数据迁移是一种文件系统层级的迁移,可以在不同厂商的存储系统之间进行数据迁移。其迁移过程分为两个阶段:数据初

始同步阶段和差异数据同步阶段。数据初始同步阶段可在线进行,其将

源数据空间的已有数据通过文件拷贝工具同步到目标数据空间中;差异

数据同步阶段,为了保证源数据空间与目标数据空间的数据一致性,此

阶段需要短暂的业务离线,同时通过相关参数设置,将源数据空间中的

差异数据同步到目标数据空间中。

3.2.3 迁移步骤

步骤 1 迁移前,I/O 路径为“服务器主机—源存储”。

步骤 2 依据源数据空间大小,完成目标数据空间的创建,然后将目标存储接入

客户网络中,并添加对主机的映射,完成目标文件系统的挂载:

1

物理链路连接 2

目标存储上创建目标数据空间 3 服务器上挂载目标文件系统

步骤 3 在服务器主机上进行初始同步,将源文件系统上的文件迁移到目标文件

系统中。

步骤 4 初始同步完成后,服务器主机上中断业务。进行增量同步,将源文件系

统中增量数据同步到目标文件系统中。

步骤 5 确认增量迁移完成后,断开源数据阵列与服务器主机的逻辑连接,解除

源存储到服务器主机数据空间映射,连接方式由 “源存储—服务器主机

—目标存储”还原至“服务器主机—目标存储”方式。

说明

此步骤的中断时间长度与文件数量与待增量的数据量有关。具体估算方式可参照1小

时+文件数量/1千万*3小时。此事件为售前阶段需申明的时间,实际操作可能短于此

估算时间。 步骤 6 启动客户业务系统,完成数据迁移。

3.2.4 方案特点

●基于文件拷贝的数据迁移方案可以针对主流的操作系统(Windows、

AIX、HP-UX、SuSE Linux、Redhat Linux和其它Linux平台)在不

同厂商的存储阵列产品之间进行数据迁移;

●方案支持网络文件系统(NFS/CIFS);

●数据迁移过程中数据复制通过位于服务器上的数据迁移工具软件来

完成,对位于迁移服务器上的业务系统会造成较大压力。会占用大

量服务器CPU、内存等主机资源;

●数据迁移过程需要短暂的业务离线;

●需要现有环境中存在文件迁移软件,若没有,则需要进行安装;

●方案需要考虑目标存储与服务器主机的兼容性,不需要考虑源存储

与目标存储之间的兼容性。

3.2.5 停机时间和数据复制时间估算

文件拷贝迁移方案为在线数据迁移方案,此方案数据迁移时间分为新存储接入、目标文件系统创建、初始同步时间、停机增量迁移与主机

存储配置。在初始同步阶段为在线数据迁移,在增量迁移时必须通过短

暂的业务离线来保证数据一致性。

初始同步、增量迁移与主机存储配置时间估算方法:

●初始同步(在线):文件拷贝的速率受到服务器主机性能,待迁移数

据类型(主要是海量小文件还是大文件)等的影响。此步骤时间可

以由总容量/迁移速率来评估,文件拷贝迁移方案一般可以按60MB/s

来估算,例如文件数量为1千万,数据大小为1TB,同步时间为

1TB*1024*1024/60MB/s/3600秒每小时+1千万/1千万*3=7.85小时。

此时间为售前需申明的时间,实际操作可能短于此估算时间。

●增量迁移与存储配置(离线):此步骤的中断时间分为增量迁移和存

储配置。中断时间可以参照1小时存储配置时间+文件增量迁移时间

(文件数量/1千万每小时)。例如文件数量为1千万,离线时间为1

小时+1千万/1千万每小时*3=4小时。

因此,以一个服务器主机,单存储使用文件拷贝迁移方案的例子对迁移

和停机时间进行说明:

例1:客户一套系统需搬迁的文件系统容量为1TB,一共2千万个文件,

则阶段时间如下:

初始同步时间(在线):1TB*1024*1024/60MB/s/3600秒每小时+2千万/1

千万每小时*3=10.85小时

增量迁移与存储配置(离线):1小时+2千万/1千万每小时*3=7小时

3.2.6 使用建议

●NAS存储的迁移场景

●客户对业务连续性要求较高的迁移场景

●有较大网络延时的场景

●源存储不在我司存储兼容性列表和VIS兼容性列表中的场景

3.2.7 技术限制

权限限制

●必须在调研阶段调研清楚源文件系统支持的文件权限和已有的文件

权限信息

目标存储的限制

●替代阵列的容量≥原阵列的容量

●服务器与目标存储兼容

服务器的限制

●操作系统与替代阵列多路径软件兼容

●操作系统类型有对应迁移软件工具

●操作系统上能成功安装对应的迁移工具软件

●该方案对服务器性能要求较高

3.2.8 选择此方案的优选场景

●客户大容量NAS存储搬迁场景,设备类型,业务OS类型和使用方

式较多样化的存储替换场景

●客户可以允许短暂的业务中断的场景

●客户大容量网络文件系统数据搬迁场景

3.2.9 责任界面

在整个数据迁移过程中,XX工程师负责以下内容:

●数据迁移过程中目标存储对服务器主机的存储映射工作。

●数据迁移过程中在服务器上创建对应的文件系统的工作。

●数据初始同步工作。

●数据增量迁移与磁盘配置工作。

●协助用户完成数据迁移后数据的验证工作。

在整个数据迁移过程中,XX工程师不负责以下内容,以下工作内容需要

由用户协调解决:

●业务系统数据的备份工作。

●业务系统的启动、停止工作。

●数据迁移过程中对用户业务系统光纤交换机、以太网交换机的配置

工作。

3.3 基于虚拟化平台的数据迁移方案

3.3.1 数据迁移方案架构图

3.3.2 数据迁移工作原理

虚拟化平台下的虚拟机迁移与存储数据迁移,一般都可以采用虚拟

化平台自带的功能进行实现,如VMware 下的VMotion 与Storage VMotion ;Citrix XenServer 的XenMotion 和Storage XenMotion ;Hyper-V V3版本下的Live Migrate 和存储迁移功能都实现了虚拟机与异构存储数据的迁移处理。

说明

不同的虚拟化平台或同一虚拟化平台的不同版本对存储数据迁移的功能实现不

同,导致部分虚拟化平台版本支持在线的数据迁移,而另一部分虚拟化平台版本支持

离线迁移或者没有存储迁移功能。

虚拟化平台自带的迁移功能受平台版本与License 限制,其它限制条件请参阅本

节的技术限制。

3.3.3 迁移步骤

步骤 1 迁移前准备,完成目标存储的组装与配置,并根据待迁移的数据量与客

户需求完成目标LUN 的创建,此时的I/O 路径为“服务器主机—源存储”。

步骤 2 接入目标存储,建立目标存储对服务器的映射,实现虚拟化平台对源存

储与目标存储的同时访问,具体操作包括:

1

目标存储接入业务网络 2

目标存储上添加LUN 到服务器的映射 3 虚拟化平台进行相关配置,实现对目标存储的访问

步骤 3 采用虚拟化平台自带的存储迁移功能进行存储数据的迁移。

说明

迁移时长可按60MB/s 进行评估,现网实际操作中,由于客户网络环境不同,该

速率可能会有变动。 步骤 4 迁移完成后测试业务或者集群运行是否正常。

3.3.4 方案特点

● 虚拟化平台提供的存储迁移功能可以实现满足平台兼容性的不同存

储间的数据迁移处理。

● 部分虚拟化平台支持存储的在线迁移功能。

● 目标存储接入简单,对原有组网拓扑结构影响较小。

同时虚拟化平台大多提供了图形化的管理界面,操作简单,图形直

观,大大提升了数据迁移效率。

3.3.5 数据迁移时间估算

虚拟化平台的存储迁移操作主要分为两个部分进行,第一个部分是满足兼容性的目标存储接入与相关配置操作;第二个部分是存储数据的

迁移操作,即将源存储数据通过虚拟机平台提供的相关迁移功能迁移到

目标存储上去。

迁移时间估算方法:

●迁移前准备:此步骤包括目标存储的组装与配置,并依据迁移的数据

量与客户需求,完成目标存储系统上LUN的创建等操作,待以上操

作完成后,将目标存储系统接入业务网络。

●存储数据迁移:此步骤按5分钟/LUN的操作时间+迁移时间(容量

/60MB/s)进行估算,例如5个LUN,数量共1TB,则此步骤耗时为

5*5分钟/60+1TB/60MB/s/3600=5.05小时。

说明

此处的存储数据迁移特指采用虚拟化平台自带存储迁移功能进行的操作。

因此,以某一个虚拟化平台下存储迁移为例,计算其迁移耗时如下:

例1:客户一套系统需搬迁的LUN原始裸容量(LUN的总容量)为20TB,

一共有5个LUN,则阶段时间如下:

目标存储接入(在线):1小时+5*5分钟/60=1.42小时

存储数据迁移(在线/离线):20TB/60MB/s/3600+5*5分钟/60=93.02小

总共迁移时间:1.42+93.02=94.44小时

3.3.6 使用建议

●虚拟化平台下存储数据迁移首选方案。

●是否在线迁移或者离线迁移,依据不同的虚拟化平台及版本对于存

储迁移功能而定。

3.3.7 技术限制

源存储的限制

●N/A

目标存储的限制

●目标存储必须满足与虚拟化平台的兼容性要求。

●替代阵列的容量≥原阵列的容量

光纤交换机的限制

●光纤交换机有足够的空余端口目标存储的接入使用,具体需要端口

数与组网方式强相关。

相关主题
相关文档
最新文档