大数据环境下的数据迁移技术研究_王刚

合集下载

大数据迁移方案

大数据迁移方案

大数据迁移方案摘要本文介绍了大数据迁移的概念和重要性,然后讨论了大数据迁移的几种常用方案,并对每种方案进行了详细分析和比较。

最后,给出了选择合适的大数据迁移方案的建议。

引言随着互联网的快速发展和技术的不断创新,大数据正逐渐成为企业竞争力的重要组成部分。

然而,随着大数据量的不断增长,企业面临着大数据存储和处理的挑战。

在某些情况下,企业可能需要将其大数据从一个存储系统迁移到另一个存储系统,这就需要考虑大数据迁移方案。

大数据迁移的重要性大数据迁移是将大规模数据从一个存储设施迁移到另一个存储设施的过程。

在大数据迁移过程中,数据的完整性、可用性和安全性是非常重要的。

此外,迁移过程中还需要考虑到迁移的效率和成本。

大数据迁移的重要性主要体现在以下几个方面:1.数据整合和一体化:企业可能需要将来自不同来源的数据整合到一个统一的存储系统中,以便于更好地进行数据分析和决策支持。

2.存储设施升级:随着存储技术的不断进步,企业可能需要将数据从旧的存储设施迁移到新的存储设施,以获得更好的存储性能和可扩展性。

3.数据备份和灾难恢复:为了确保数据的安全性和可恢复性,企业可能需要定期将数据备份到另一个存储设施,并在发生灾难时进行快速恢复。

4.数据合规性:根据法规和政策的要求,企业可能需要将数据从一个地理区域迁移到另一个地理区域,以确保数据的合规性。

常用的大数据迁移方案方案一:离线数据迁移离线数据迁移是指将数据从源存储设施导出到中间介质,然后再将数据从中间介质导入到目标存储设施的过程。

离线数据迁移的主要优点是灵活性高,能够处理大规模的数据迁移任务。

然而,离线数据迁移的缺点是需要消耗大量的时间和人力成本。

离线数据迁移的步骤如下:1.数据导出:将源存储设施中的数据导出到一个或多个中间介质,如硬盘、磁带等。

2.数据传输:将中间介质上的数据传输到目标存储设施。

3.数据导入:将中间介质上的数据导入到目标存储设施中。

在线数据迁移是指在数据迁移过程中源存储设施和目标存储设施保持在线状态,数据实时从源存储设施传输到目标存储设施的过程。

大数据迁移方案

大数据迁移方案

大数据迁移方案在当今信息技术快速发展的时代,大数据作为一种新兴技术和应用领域,已经在各行各业起到了举足轻重的作用。

然而,由于大数据的规模庞大、复杂性高,在数据迁移过程中常常遇到诸多挑战和问题。

为了解决这些挑战,提高数据迁移的效率和可靠性,本文将探讨一种大数据迁移的方案。

一、需求分析与评估在进行大数据迁移之前,首先需要进行需求分析与评估,明确迁移的目标和任务。

这包括对原始数据的评估,确定需要迁移的数据类型和规模,以及迁移后的数据存储和访问需求等。

通过充分了解迁移需求,可以为后续的方案设计提供重要的参考依据。

二、数据清洗和预处理在进行大数据迁移之前,需要对原始数据进行清洗和预处理。

清洗和预处理的目的是去除数据中的异常值、重复值和缺失值,以及进行格式转换和数据集成等操作,从而提高数据的质量和可用性。

同时,还可以根据迁移需求进行数据的筛选和过滤,以减少迁移的数据量,提高迁移效率。

三、数据切片和分区针对大规模的数据集,为了提高迁移的并行性和效率,可以将数据进行切片和分区。

切片和分区的目的是将数据分割成多个小块,使每个切片或分区可以独立迁移,从而提高迁移的并发性和速度。

同时,在切片和分区过程中,还可以将相似的数据放置在一起,以便于后续的数据处理和分析。

四、迁移工具和技术选择在进行大数据迁移时,选择适合的迁移工具和技术是关键。

根据具体的迁移需求和场景,可以选择传统的离线批量迁移工具,如Hadoop、Sqoop和Flume等,也可以选择流式实时迁移工具,如Kafka和Storm 等。

此外,还需要考虑数据压缩和加密等技术,以确保迁移的效率和数据的安全。

五、迁移过程监控和优化在进行大数据迁移的过程中,及时监控和优化迁移的性能和效果是必要的。

通过监控迁移过程中的各项指标和性能参数,可以及时发现和解决问题,提高迁移的效率和可靠性。

同时,还可以通过优化算法和参数配置等手段,进一步提升迁移的性能和效果。

六、数据验证和测试在完成大数据迁移后,还需要进行数据的验证和测试,确保迁移后的数据与原始数据一致性和完整性。

数据迁移的八大步骤

数据迁移的八大步骤

数据迁移的八大步骤引言:随着信息技术的迅猛发展,数据的迁移已成为企业顺利发展的重要环节。

数据迁移不仅仅是简单地把数据从一个地方转移到另一个地方,更涉及到数据的完整性、安全性以及系统的稳定性。

本文将详细阐述数据迁移的八大步骤,帮助读者全面了解这一过程。

一、评估现有环境确定数据类型和规模:识别组织中的各类数据,如结构化数据、非结构化数据等,并估算数据量大小。

分析数据质量:检查数据的准确性、完整性、一致性及有效性,为迁移做好准备。

二、制定迁移计划确定迁移目标:明确迁移的目标平台、系统或数据库,确保迁移后数据的可用性和可维护性。

选择迁移方法:根据数据量和系统特性,选择适合的迁移策略,如直接复制、增量迁移等。

三、数据备份与验证数据备份:在开始迁移前,对现有数据进行完整备份,以防数据丢失。

数据验证:检查备份数据的完整性,确保备份过程中无数据损坏或遗漏。

四、数据转换与迁移数据格式转换:将数据从源格式转换为目标格式,满足新系统的要求。

数据清洗:对数据进行预处理,去除无效、错误或不完整的数据。

五、系统测试与验证功能测试:对新系统进行全面测试,确保各项功能正常运行。

性能测试:测试新系统的负载能力,确保在高并发或大数据量情况下系统稳定。

六、数据整合与集成数据整合:将迁移后的数据与现有系统进行整合,实现数据的统一管理和访问。

数据集成:打通各系统间的数据通道,实现数据的共享和交换。

七、上线运行与监控上线准备:完成新系统的部署和配置,确保满足生产环境的运行要求。

监控与优化:对上线后的系统进行持续监控,及时发现并解决潜在问题,优化系统性能。

结语:通过以上八大步骤,组织可以顺利完成数据迁移工作。

在迁移过程中,还需注意防范潜在风险,确保数据的完整性和安全性。

此外,持续的数据管理也是不可或缺的一环,有助于维护数据的长期价值。

在数字化时代,数据迁移已成为企业发展的关键环节,组织需给予足够的重视和支持。

计算机云存储中数据迁移问题的分析

计算机云存储中数据迁移问题的分析

文|董彦斌我国现代化网络信息技术全面发展,在很大程度上推动了计算机云存储技术的进步。

但是,在实际操作中,数据迁移问题成为了一项核心问题。

本文首先对数据迁移进行了分类,提出了数据库迁移与虚拟机迁移等两项内容;其次,分析了计算机云存储技术应用中出现的数据迁移问题;最后,在总结前文的基础上,重点探究了计算机云存储中数据迁移问题的解决方案,希望能为该领域关注者提供有益参考。

随着国内计算机科学技术水平不断提升,云存储技术已经成为了网络环境中的关键技术之一。

该项技术不仅仅具有网络操作技术优势,同时还能够对现实生活中各个领域的发展与具体业务起到推动作用。

将大数据技术和云存储技术有机地融合在一起,已经成为了现代社会当中系统优化升级和行业信息管理的重要手段。

如何将计算机云存储中存在的数据问题进行妥善处理,已经成为了相关工作人员的工作重点之一。

一、数据迁移分类(一)数据库迁移数据库技术已经成为了国内各大企业和信息系统的核心技术,早在上个世纪八十年代,信息技术的全面发展,就推动了我国信息数据库的优化升级。

在这一过程中,数据库管理系统也随时得到了充分发展,取得了巨大进步。

原本的系统已经不能有效地适应当前信息化社会的信息生产速度,需要将数据迁移到新的系统当中。

新的系统在应用中具有相对复杂的特点,而且数据体积也较为庞大。

无论是技术还是功能上,数据迁移系统都是数据库系统中的重要组成部分。

在进行数据管理的过程中,系统可以借助数据库的迁移,完成数据迁移工具、事后数据生成的管理需求。

(二)虚拟机迁移虚拟机迁移同样也是计算机云存储中的重要组成部分。

虚拟化技术能够提供多租户,并虚拟化地给出了操作系统的虚拟实例方式与单一主机操作系统的硬件抽象视图。

在实际的规划和管理中,用户可以通过虚拟机设备,完成硬件访问模拟操作。

因为许多虚拟机都是在单个物理机器上创建的,所以借助虚拟机进行管理,能够有效地提高资源的利用效率,创造更多的价值。

二、计算机云存储中数据迁移的问题(一)网络连接云储存是借助网络才能够实现的,数据的迁移与网络的数据稳定性相互联系。

大数据管理工程师人物介绍

大数据管理工程师人物介绍

大数据管理工程师人物介绍
大数据管理工程师是一个非常重要的角色,他们负责管理和维护大数据系统,确保数据的准确性和完整性。

以下是一些大数据管理工程师的人物介绍:
1. 张伟:作为一名资深的大数据管理工程师,张伟拥有多年的大数据管理和数据分析经验。

他熟悉各种大数据技术和工具,如Hadoop、Spark等,并能够根据业务需求进行数据分析和挖掘。

同时,他还具备较强的团队管理和项目管理能力,能够带领团队完成大型大数据项目的开发和实施。

2. 李娜:李娜是一名女性大数据管理工程师,她具备丰富的数据处理和数据分析经验,尤其擅长数据可视化方面的工作。

她能够通过数据可视化工具将复杂的数据转化为易于理解的图表和报告,帮助企业更好地理解数据和分析市场趋势。

同时,她还具备较强的沟通能力和团队合作能力,能够与其他团队成员有效协作完成项目。

3. 王刚:王刚是一名年轻有为的大数据管理工程师,他具备较强的技术实力和创新能力。

他熟悉各种新兴的大数据技术和工具,并能够根据业务需求进行技术选型和方案设计。

同时,他还具备较强的项目管理和团队协作能力,能够带领团队完成复杂的大数据项目开发和实施。

他的工作得到了领导和同事们的高度认可和赞扬。

总之,大数据管理工程师是一个非常重要的职业,他们的工作涉及到数据的各个方面,从数据的收集、处理、分析到数据的安全和隐私保护等。

如果你对大数据感兴趣并且具备相关的技能和经验,可以考虑成为一名大数据管理工程师。

大数据时代下的数据库迁移

大数据时代下的数据库迁移

大数据时代下的数据库迁移作者:许继楠来源:《中国计算机报》2012年第06期历时半年的2011 IBM DB2迁移之星大赛即将进入尾声。

这项由中国计算机用户协会、中国计算机行业协会、中国软件行业协会数据库与应用软件分会、中国计算机报社四家单位主办,IBM独家赞助的比赛从2011年9月20日开赛以来,对国内数据库工程师、DBA、程序员、架构师等人群产生广泛的影响。

借助大赛这个平台,很多优秀的数据库迁移方案诞生,诸多优秀的数据库开发者脱颖而出。

大数据给DBA和数据库开发者带来了很多的挑战。

各种关系型数据库、非关系型数据库及商业数据库、开源数据库给用户带来了更多选择,也带来了更多挑战,DBA和开发者们只有玩通数据库,才能为企业提供最佳解决方案,应对在大数据时代众多企业面临的挑战。

2011 IBM DB2迁移之星大赛从数据库迁移这一深层次出发,给了选手了解DB2数据库的机会,也帮助他们锻炼技能以应对大数据时代的到来。

迁移大赛促数据库迁移IBM软件集团大中华区信息管理软件总经理卢伟权介绍,本次大赛预赛网上报名选手达2163人,其中百名进入复赛的选手组成36支团队参与复赛十强的争夺。

目前,进入决赛的十强队伍已经产生。

决赛时间定于3月14日,选手们将现场演示其解决方案,评委现场评分。

3月15日,大赛颁奖典礼将于北京盘古七星酒店举行。

进入决赛前三名的队伍,除奖金、证书外,还将获邀参观IBM美国实验室。

决赛选手来自于不同的行业,包括金融、政府、IT企业、物流等。

大赛的十多名专业评委将对这些选手从Oracle到DB2的迁移方案进行打分,并评选出大赛的获奖队伍。

IBM在培养数据库相关的人才方面做了很多工作。

其对中国人才的巨大需求是IBM赞助这次大赛的初衷之一。

此外,数据库迁移是IBM 信息管理产品线近年来非常重要的市场策略,IBM推出一系列措施帮助客户进行数据库迁移,如成立迁移支持中心等,本次大赛也是IBM帮助客户进行数据库迁移的一个支持方案。

2019年度高等学校科学研究优秀成果奖(科学技术)

2019年度高等学校科学研究优秀成果奖(科学技术)

司,中节能环保装备股份有限公司,西 安西矿环保科技有限公司,中钢集团 天澄环保科技股份有限公司,中材科 技股份有限公司,江苏科行环保股份
有限公司,中建材环保研究院(江 苏)有限公司,山西新华化工有限责
进步奖
任公司
3
0003-408
基于车联网的汽车智能 导航关键技术与应用
杨殿阁,连小珉,张照生,王钊,柳宗 伟,江昆,张德兆,王学军,李晓飞,李 宏利,王肖,李兵,杨扬,严瑞东,宗树
进步奖
五铃光电科技有限公司
一等奖 一等奖 一等奖
序号 推荐号
项目名称
主要完成人
主要完成单位
奖种
建议授奖 等级
罐头生产节水及柑橘新 叶兴乾,陈士国,刘东红,丁甜,邓致 浙江大学,象山华宇食品有限公司,杭
30 0893-406 型果胶回收关键技术与 荣,洪基光,李言郡,高海峰,舒志成, 州娃哈哈集团有限公司,杭州络通生 进步奖
产品开发
邓福铭,贾晓鹏,马红安,田永平,刘瑞 中国矿业大学(北京),吉林大学,焦
平,刘永奇,邓雯丽,张相法,张建华, 作天宝桓祥机械科技有限公司,郑州
张燕青,许晨阳,方啸虎,刘嘉霖,杨雪 华晶金刚石股份有限公司,郑州中南
峰,郭振海
杰特超硬材料有限公司
进步奖
11
城市复杂工程环境下沿 0663-412 海软土地质灾害防治关
术及工程应用
毅,徐帆,张波,涂孟夫,庞传军
科东电力控制系统有限责任公司
清华大学,中冶长天国际工程有限公
2
烟气多污染物深度治理 0003-407 关键技术及其在非电行
业应用
李俊华,郝吉明,叶恒棣,朱彤,彭悦, 姚群,赵谦,李海波,宋蔷,尹海滨,张 志刚,李怀珠,马永亮,魏进超,陈贵 福,刘怀平,费传军,王彬,刘立,王驰

数据迁移实施方案

数据迁移实施方案

数据迁移实施方案第一步,需要对数据进行全面的分析和评估。

这包括对数据的类型、大小、格式、存储位置等进行详细的了解,以便为后续的数据迁移方案制定提供基础数据支持。

在分析的过程中,需要特别关注数据的重要性和敏感性,以便确定数据迁移的优先级和安全策略。

第二步,制定数据迁移的详细计划和方案。

在制定数据迁移方案时,需要考虑到数据迁移的时间、成本、风险和影响等因素。

需要明确数据迁移的具体步骤、责任人、时间节点和监控措施,以确保数据迁移过程的可控性和可预测性。

第三步,进行数据迁移的准备工作。

这包括对数据迁移所需的硬件、软件、网络环境等进行检查和准备,以确保数据迁移过程所需的资源和条件得到满足。

同时,需要对数据进行备份和归档,以防止数据迁移过程中出现意外情况导致数据丢失。

第四步,实施数据迁移方案。

在实施数据迁移方案时,需要严格按照预定的步骤和计划进行操作,同时需要对数据迁移过程进行实时监控和记录,以便及时发现和处理可能出现的问题和风险。

第五步,进行数据迁移的验证和确认。

在数据迁移完成后,需要对数据进行验证和确认,以确保数据迁移的完整性和准确性。

同时,需要进行数据迁移后的系统测试和用户培训,以确保数据迁移后的系统和业务能够正常运行。

最后,需要对数据迁移的过程和结果进行总结和评估,以便为今后的数据迁移工作提供经验和借鉴。

同时,需要对数据迁移的方案和流程进行不断的优化和改进,以适应日益复杂和多样化的数据迁移需求。

综上所述,数据迁移是一个复杂而又重要的工作,需要充分的准备和规划,以确保数据迁移过程的安全、高效和顺利进行。

希望通过本文的介绍,能够为数据迁移工作提供一些参考和帮助。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Microcomputer Applications Vol. 30, No.5, 2013 研究与设计 微型电脑应用 2013年第30卷第5期・1・文章编号:1007-757X(2013)05-0001-03大数据环境下的数据迁移技术研究王 刚,王 冬,李 文,李光亚摘 要:数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。

随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。

如何在业务约束条件下,快速、正确、完整地实现海量数据迁移,保障数据的完整性、一致性和继承性,是一个关键研究课题。

从海量数据管理的角度,阐述了海量数据迁移方法,比较了不同数据迁移的方案特点。

关键词:大数据;数据迁移;存储中图分类号:TP391 文献标志码:AData Migration Technology Research Based on Big Data EnvironmentWang Gang 1, Wang Dong 2, Li Wen 3, Li Guangya 2(rmation Center of Shanghai Municipal Human Resources and Social Security, Shanghai200051, China;2. Wonders Information Co., Ltd., Shanghai201112, China;3. Shanghai Institute of Foreign Trade, Shanghai201600, China)Abstract: The data is the core resource of the information system, it is the basis of the enterprise, With the continuous of business, a geometric increase in the amount of data generated by the information system, especially in the case of current data environment and information technology. The massive data migration is a real problem. With the business constraints, the massive data migration is a key research topic, in this paper, from the point of view of the massive data management, elaborated a massive data migration me-thod, and compare the characteristics of different data migration program. Key words: Big Data; Data Migration; Storage0 引言数据一直是信息系统的基础和核心。

一方面,随着企业业务的发展,信息系统覆盖面的扩大,管理和服务精细化层度的深入,集中式的管理信息系统正在不断应运而生,各行各业都先后出现了规模庞大的数据中心。

这些数据中心经过一段时间的运行,其数据量正成几何级增长,有的甚至可以达到TB 级或PB 级。

另一方面,新的技术架构和业务操作对性能指标提出了更高的要求,而这些要求往往需要通过软件升级或者硬件更新的方式来实现,因而在新老系统的切换或升级改造过程中,势必会面临一个现实问题――数据迁移。

吕帅[1]等人从分级存储管理的角度提出了混合存储环境下的数据价值评估模型和迁移过程控制理论,提出了数据价值的精确判定。

徐燕[2]等人利用编程基础实现了异构数据库系统间的数据迁移,提出了数据迁移的抽取、转换和载入3个过程。

李喆[3]等从项目管理和方法论角度描述了企业级数据迁移的过程。

张玺[4]针对数据从磁盘到磁带的数据迁移问题,提出了并行文件处理方式。

丛慧刚[5]等人,从元数据角度,提出了数据迁移中元数据对映射模式体系,对采用源数据驱动ETL 引擎进行功能实现。

这些研究都是根据具体工程中数据迁移这个关键问题进行了研究,但是随着信息技术的发展,针对数据迁移整体管理缺少研究。

本文结合某特大型城市社会保险信息系统管理过程中大数据环境下,海量数据迁移问题进行整体分析,对可能需要大数据迁移的驱动因素和在数据迁移过程中需要关注的各类风险点进行了汇总分析,根据这些风险对数据迁移的各类方案进行分析、研究和论述,最后针对实际工作给出了实际应用。

1 数据迁移驱动分析1) 新老系统切换需要:数据作为企业的核心资源,是企业业务连续和发展的基础,因此当信息系统更新或者新老系统切换时,需要对老系统的数据进行整理,抽取,并按照新系统的业务逻辑和数据规则进行迁移,以保障业务的连续性。

2) 搬迁或数据中心合并需求:很多政府政策上的指导引发了组织结构的变化以及数据分布的改变。

一个非常有名的例子是美国的金融监管法案(Ring-Fencing Senario),这个法案要求所有的银行把数据通过几个步骤和高危投资业务进行隔离。

而这些步骤会涉及大量的结构性数据(数据库)和非结构性数据(金融交易的图像存档)的迁移。

3) 性能提升需求:由于业务的发展,企业规模的变大,——————————————基金项目:核高基重大专项课题(2009ZX01043-003-004-05);上海市教委科研创新项目(11YS205)和上海市高校“085工程”项目资助。

作者简介:王 刚(1974-)男,上海市,上海市人力资源和社会保障信息中心,工程师,本科,研究方向:计算机信息系统集成和安全管理,上海,200051王 冬(1972-)男,上海市,万达信息股份有限公司,工程师,硕士,研究方向:信息系统软件工程和数据挖掘,上海,200051 李 文(1972-)女,上海市,上海对外贸易学院,副教授,博士,研究方向:计量经济和数据挖掘,上海,200051李光亚(1973-)男,上海市,万达信息股份有限公司,教授级高工,博士,研究方向:计算机软件、系统集成、信息安全、软件工程等,上海,200051Microcomputer Applications Vol. 30, No.5, 2013 研究与设计 微型电脑应用 2013年第30卷第5期・2・原有的存储无论是容量还是响应速度都无法满足现有的需求,因此企业不得不通过更换更高性能的存储来进行性能提升。

比如社保在今年年初进行的数据迁移,就是因为原有的存储的容量和性能已经无法满足现有业务系统的发展需求,因此必须进行数据的迁移。

4) 分级存储架构需求:为了解决存储成本问题,集中式大型系统多采用分级存储的设计方案,一些历史数据将定期从高性能存储环境中定期迁移到更加廉价和性能低的存储环境中,也常常带来大规模数据迁移的问题。

5) 存储整合需求:有时一个应用实例会在企业内部有多份同样的拷贝。

随着企业内部结构性数据和非结构性数据的不断增长,企业越来越希望将这些数据进行整合,以减少在存储空间上的投入。

这种需求大大推动了区域性的数据整合。

2 数据迁移策略和风险分析企业的数据在其IT 环境中均处于核心地位,同时,数据的使用者(各种硬件和软件)也非常纷繁复杂。

根据ESG (Enterprise Strategy Group 企业战略集团)的一个对700位大数据用户的回访发现,在大数据迁移时候会发生各类问题:64% 超过停机时间或导致意外宕机 51% 出现不同程度兼容性问题 38% 不同程度数据损坏38% 导致新老系统之间性能的问题 34% 不同程度数据丢失在一个典型的数据迁移场景中,会遇到各式各样的风险,其中最常见的一些高危风险归纳如下:1) 最小停机时间风险:数据迁移时间必须满足业务操作可以容忍的停机时间,同时事先必须做好完整的回退路线图。

2) 业务系统性能下降风险:存储本身是个复杂的系统,数据迁移至新设备后,需要在很多环节上加强后续监控和优化,发现信息系统存在的瓶颈,如:热盘分布、光纤通道配置等,这些环节都会影响新设备的性能发挥。

3) 数据丢失风险:大数据迁移存在数据丢失而且不能被及时发现的风险,需要有一些复杂的统计口径进行数据完整性的核对。

4) 数据不一致风险:数据库升级或应用系统升级过程中,可能会涉及数据结构的调整,因而在数据迁移时, -数据一致性问题就更为突出,需要制定严格的数据转储方案,描述数据之间的逻辑关系。

迁移后需要进行严格的数据校验。

5) 迁移失败风险:数据迁移受到很多客观因素的影响,因而在大数据的迁移过程中难免会遇到失败的风险。

需要在整个数据迁移方案中从技术和时间上充分考虑回退方案。

并确定回退方案启动的标准和管理人。

因此,在数据迁移技术和方案的选择策略上,应重点考虑数据的完整性、安全性和平滑性,选择成熟和稳妥的技术方案,尽可能减少对生产系统的冲击。

3 海量数据迁移方法数据迁移方法的选择是建立在对系统软硬件以及业务系统的各环节的具体分析基础之上。

目前开放平台系统中可以采用的数据迁移方法根据其发起端的不同,主要分为以下几类:3.1 基于主机的迁移方式该方式的主要特点是数据迁移操作的发起和控制发生在主服务器端,有以下两种形式: 1) 利用操作系统命令直接拷贝UNIX 系统一般可以使用cp 、dd 、tar 、savevg 等命令; windows 系统,一般使用图形界面工具或copy 命令。

此方法的优点在于:简单灵活,可以方便的决定哪些数据需要迁移;但其缺点也很明显,由于从主机端发起,对主机的负载压力和应用的冲击较大。

2) 逻辑卷数据镜像方法对于服务器操作系统已经采用逻辑卷管理器的系统,可以直接利用逻辑卷管理器的管理功能完成原有数据到新存储的迁移,如图1所示:图1 数据的迁移此方法的优点在于: 支持任意存储系统之间的迁移 ,且成功率较高,支持联机迁移。

但在镜像同步的时候,仍会对主机有一定影响,适合于主机存储的非经常性迁移。

3.2 备份恢复的方式利用备份管理软件将数据备份到磁带(或其他虚拟设备),然后恢复到新的存储设备中,对于联机要求高的环境,可以结合在线备份的方法,然后恢复到目的地。

该方法优点在于:可以有效缩短停机时间窗口,一旦备份完成,其数据的迁移过程完全不会影响生产系统。

但备份时间点至切换时间点,源数据因联机操作所造成的数据变化,需要通过手工方式进行同步。

相关文档
最新文档