系统历史数据迁移方案
系统迁移方案计划

系统迁移方案计划一、迁移背景。
咱这老系统就像住了很久的老房子,虽然还能用,但有些跟不上时代的步伐啦。
新系统就像是新盖的豪华大厦,功能更强大、更高效。
为了让咱的工作或者业务能更顺畅地发展,就像从老房子搬到新房子一样,我们得把系统迁移过去。
二、目标。
1. 顺利地把所有数据、功能从老系统转移到新系统,就像搬家时把所有东西完好无损地搬到新房子一样。
2. 在迁移过程中尽量减少对正常业务的影响,就像搬家的时候不能把生活弄得一团糟,还是得正常过日子。
三、前期准备。
1. 系统调研。
就像要了解新房子的布局一样,我们得深入了解新系统的架构、功能模块。
找新系统的供应商或者技术专家,让他们像导游一样给我们详细介绍新系统的各个角落,哪里能放啥东西(对应功能模块的用途)。
同时,也要好好审视老系统,看看哪些功能是常用的,哪些数据是最重要的,就像整理老房子里的东西,看看哪些是必须带走的宝贝。
2. 数据备份。
这可是重中之重啊!把老系统的数据备份就像给老房子里的所有东西都拍个照,留个底。
万一在搬家(迁移)过程中出了啥岔子,还能把数据恢复回来,不至于一无所有。
要确定备份的频率,是每天备份,还是每小时备份,这得根据数据变化的速度来决定。
如果数据像流水一样变化得特别快,那备份的频率就得高一些,就像流水线上的产品要频繁盘点一样。
3. 人员培训。
新系统就像新的游戏规则,大家得先学会怎么玩。
组织相关人员参加新系统的培训课程,让他们像小学生上课一样认真听讲。
可以请新系统的技术人员来当老师,也可以让先学会的同事当小老师给其他同事分享经验。
制定一些简单易懂的培训手册,就像游戏攻略一样,让大家在培训后还能随时查看复习,不至于学了就忘。
四、迁移过程。
1. 小范围测试迁移。
先挑一部分不太重要的数据和功能进行迁移测试,就像先搬一些不太常用的东西到新房子里看看会不会出问题。
这个过程中要密切关注数据的完整性、功能的可用性。
如果发现问题,就像在新房子里发现水管漏水(系统功能出错)或者东西找不到了(数据丢失)一样,赶紧记录下来,然后找技术人员像修理工一样来解决问题。
系统迁移方案

系统迁移方案1.引言本迁移方案旨在将现有系统(旧系统)迁移至新系统,以提高工作效率、降低成本、优化业务流程。
本迁移方案将详细描述迁移的策略、计划、风险管理、测试计划和实施计划,以确保项目顺利完成。
2.项目概述项目名称:系统迁移项目目标:将现有系统迁移至新系统,提高工作效率、降低成本、优化业务流程。
项目范围:包括旧系统的数据、应用、网络等全部迁移至新系统。
项目时间表:预计耗时6个月,分为准备阶段、迁移阶段和测试阶段。
项目预算:总预算为100万元人民币。
3.迁移策略3.1 迁移方法:采用逐步迁移策略,按照业务重要性、数据量大小和系统复杂度等因素,分批次迁移。
3.2 迁移步骤:a) 数据备份:对旧系统的数据、配置等进行全面备份。
b) 硬件和网络升级:升级至新系统的硬件和网络。
c) 系统安装与配置:安装新系统,并进行相关配置。
d) 数据迁移:将备份的数据导入新系统。
e) 功能测试:对新系统进行功能测试,确保各项功能正常。
f) 性能测试:对新系统进行压力测试,确保系统稳定性和性能。
g) 用户培训:对用户进行新系统的培训,确保用户能够熟练使用。
h) 正式上线:在确保一切正常后,正式上线新系统。
3.3 迁移工具:采用专业的迁移工具,以确保数据完整性和一致性。
4.迁移计划4.1 准备阶段(1个月):a) 成立项目组,明确各成员职责。
b) 制定详细的项目计划和时间表。
c) 准备所需的硬件和软件环境。
d) 收集旧系统的数据和配置信息。
e) 对旧系统进行全面备份。
4.2 迁移阶段(3个月):a) 根据业务重要性、数据量大小和系统复杂度等因素,制定详细的迁移计划。
b) 分批次进行数据迁移、硬件和网络升级、系统安装与配置等工作。
c) 在每批次迁移完成后,进行功能测试和性能测试,确保各项功能正常。
历史数据迁移解决方案

历史数据迁移解决方案历史数据迁移是指将旧系统中的历史数据转移到新系统中的过程。
这是在进行系统升级、改造或更换时常常需要考虑的一个重要问题。
数据迁移的目的是确保旧系统中的关键数据能够顺利迁移到新系统中,以保证业务的连续性和数据的完整性。
在进行历史数据迁移时,需要考虑以下几个方面的问题:1.数据清洗和整理:旧系统中的数据可能存在重复、冗余、不完整或不准确的情况。
在迁移之前,需要对数据进行清洗和整理,保证数据的准确性和一致性。
2.数据转换和映射:旧系统和新系统之间可能存在数据格式、结构和字段等方面的差异。
这就需要进行数据转换和映射,将旧系统中的数据按照新系统的要求进行转换,保证数据的可读性和可用性。
3.数据量和性能:历史数据往往数量庞大,对迁移过程中的性能和效率要求较高。
需要选择合适的工具和技术,以提高迁移的速度和可靠性。
4.数据一致性和完整性:在迁移过程中,需要保证数据的一致性和完整性。
这就需要设计合适的迁移策略,以保证迁移过程中数据的正确性和完整性。
为解决上述问题,可以采取以下几种方案:1.手动迁移:将旧系统中的数据逐一导出,并手动导入到新系统中。
这种方法适用于数据量较小的情况,但对于大规模的数据迁移来说,效率较低且容易出错。
2. ETL工具:ETL(Extract, Transform, Load)工具可以自动实现数据的抽取、转换和加载。
这种方法适用于数据量大且格式复杂的情况,可以大大提高迁移的效率和准确性。
3.数据迁移平台:数据迁移平台是一种专门用于数据迁移的工具,具有简单易用、高效可靠、功能丰富等特点。
通过配置相关参数和规则,可以实现自动化的数据迁移过程。
4.逐步迁移:将历史数据进行分批次地迁移,先迁移部分数据进行测试和验证,再逐步迁移其他数据。
这样可以降低迁移过程中的风险和错误,保证数据的完整性和可用性。
5.压缩和归档:将历史数据进行压缩和归档,然后存储到存储设备或云存储中。
这样可以减少数据迁移所需的时间和资源,同时也可以节省存储空间和成本。
历史数据迁移方案

历史数据迁移方案历史数据迁移方案引言在软件开发和系统维护过程中,经常会遇到数据迁移的问题。
历史数据迁移是指将旧系统中的数据迁移到新系统中的过程。
本文将介绍历史数据迁移的一般步骤和常见的方案,并探讨每种方案的优缺点。
一般步骤历史数据迁移一般可以分为以下步骤:1. **需求分析**:明确数据迁移的目标和要求,确定需要迁移的数据范围和粒度。
2. **数据清洗和整理**:对需要迁移的数据进行清洗和整理,包括数据格式的转换、无效数据的剔除等。
3. **数据转换和映射**:将旧系统中的数据进行转换和映射,使之适应新系统的数据结构和格式。
4. **数据验证和校验**:验证迁移后的数据是否准确无误,包括对比源数据和目标数据的差异、对数据的完整性和一致性进行校验等。
5. **数据迁移**:将经过清洗、整理、转换和映射的数据迁移到新系统中。
6. **数据验证和回滚**:验证迁移后的数据在新系统中的正确性,如果发现问题,需要及时回滚操作并进行问题排查和修复。
常见方案1. 手动迁移手动迁移是一种简单粗暴的方案,通过人工的方式逐条逐项地将旧系统中的数据复制到新系统中。
这种方案的优点是灵活性高,可以根据具体情况进行数据转换和整理;缺点是耗时耗力,易出错,并且难以处理大规模数据迁移的场景。
2. ETL工具迁移ETL(Extract, Transform, Load)工具是一种常见的数据迁移工具,通过提供可视化的界面和功能强大的数据转换和映射功能,简化了数据迁移的过程。
ETL工具可以连接多种数据源,支持各种数据格式和结构的转换,并提供数据验证和校验的功能。
优点是可定制性强,支持大规模数据迁移;缺点是学习和配置成本较高,并且不同的工具可能有一些局限性。
3. 自动脚本迁移自动脚本迁移是一种通过编写脚本实现数据迁移的方案。
开发人员可以通过编写脚本来完成数据清洗、转换和映射等操作。
优点是灵活性高,可以根据需求自定义迁移逻辑;缺点是需要具备相应的编程知识和技能,并且脚本的编写和调试可能需要一定的时间和精力。
历史数据迁移方案设计V1.3

历史数据迁移方案1.历史数据迁移总体方案1.1方案描述方案:分两批或屡次迁移假设历史数据量庞大,在上线当天的规定时间范围内无法迁移完成,那么可考虑进行分批迁移。
可设定历史数据迁移分为多批进行:迁移时以某个时间节点为基准,对数据进行划分,按照时间节点将影像案件划分成两个或多个时间段。
比方迁移影像案件的最新修改时间在2021年1月1号~2021年12月31号内的影像数据,以2021年11月30号为时间点,将时间范围划分为两段,分成两批在两个不同时间进行迁移:第一局部划分比拟多的数据:2021年1月1号~2021年11月30号第二局部划分比拟少的数据:2021年12月1号~2021年12月31号两个时间段,分两批进行迁移,第一次迁移大局部的数据,第二次在上线当天迁移少局部数据,节省上线当天数据迁移的时间,同时配合多线程进行同步迁移。
迁移步骤简述:1.迁移机器申请和环境搭建。
2.迁移机器Web环境搭建,历史影像数据磁盘挂载等。
3.核心工程组将历史影像数据信息转换填充到影像迁移表。
4.双方检验填充到迁移表的数据是否正确。
5.启动迁移程序,开始迁移。
6.迁移数据验证和抽检。
迁移流程图:1.2迁移后历史数据变更处理对历史数据迁移后存在变更的数据处理方案:比方迁移2021年1月1号~2021年12月31号,以2021年11月30号为时间点,将时间范围划分为两段:第一局部划分比拟多的数据:2021年1月1号~2021年11月30号第二局部划分比拟少的数据:2021年12月1号~2021年12月31号第一局部数据在2021-12-01开始至2021-12-30日迁移完成,2021-12-01日开始,有用户对“2021年1月1号~2021年11月30号〞时间段的数据进行了修改操作,那么核心会将数据的最新修改时间更新为“2021年12月1号~2021年12月31号〞,即在第二次迁移的时间范围内,在第二次迁移时,自动将这局部数据进行标记,再重新进行迁移。
系统迁移方案

1. 1 系统数据迁移方案1.1.1 存储设备之间的复制利用存储设备上的复制软件,在源存储设备和目标存储设备之间进行直接的数据复制。
示例:在两台XP磁盘阵列之间用Continuous Access软件进行数据复制。
适用范围:源存储设备与目标存储设备必须是同种存储设备;源主机与目标主机必须是同种操作系统优势:复制效率最高;无须主机参与分;停机时间短劣势:适用范围最小基本步骤:配置目标存储设备建立源设备与目标设备的复制关系数据复制源主机停止应用运行断开复制关系目标主机接管目标存储设备目标主机启动应用运行1.1.2 基于主机的数据复制利用主机上的数据复制软件(包含的操作系统之内的如HPUX上的MirrorDisk,或者第三方的中间件如TDMF),在源存储设备和目标存储设备之间进行直接的数据复制。
示例:用一台主机上的MirrorDisk软件实现一台EVA5000到一台XP12000的数据迁移。
适用范围:源存储设备与目标存储设备可以是同种或者异种存储设备;源主机与目标主机必须是同种操作系统。
优势:停机时间短复制效率较高劣势:需要主机参与限制条件较多基本步骤:配置目标存储设备在主机上安装复制软件建立源设备与目标设备的复制关系数据复制源主机停止应用运行断开复制关系目标主机接管目标存储设备目标主机启动应用运行1.1.3 基于应用层的数据迁移从源数据中抽取逻辑数据到中间文件,然后在目标主机上利用应用软件读取数据中间文件,并在目标存储设备上重建目标数据。
示例:在一台AIX主机上从一台FastT500上的DB2数据库中抽取数据到文本文件,并通过FTP传送到一台HPUX主机上,HPUX主机读取该文本文件,并把数据插入到Oracle数据库中。
适用范围:源存储设备与目标存储设备可以是同种或者异种存储设备;源主机与目标主机可以是同种或者异种操作系统。
优势:适用范围最宽劣势:需要设计专用的数据迁移软件;需要较长的停机时间。
基本步骤:配置目标存储设备源主机停止应用运行在源主机上抽取应用数据到文本文件中把文本文件复制到目标主机在目标主机上读取文本文件,并插入到目的系统中目标主机启动应用进行测试目标主机启动应用运行1.1.4 基于主机的数据复制迁移方案Tapestry数据迁移管理器(DMM)是一个简单而强大的数据迁移工具,可提供高效的异构数据迁移,为用户提供了更多的存储灵活性,降低了成本。
历史数据迁移方案

1.1历史数据迁移设计由于本项目目前存在大量的数据,需要迁移到新系统中,为确保数据迁移工作保质保量,如期进行,为确保数据迁移后能够正常访问,我们从如下几方面进行设计:1.1.1数据迁移策略数据迁移的策略是指采用什么方式进行数据的迁移。
结合不同的迁移方法,主要有一次迁移、分次迁移、先录后迁、先迁后补等几种方式可供选择:1.一次迁移一次迁移是通过数据迁移工具或迁移程序,将需要的历史数据一次性全部迁移到新系统中。
一次迁移的优点是迁移实施的过程短,相对分次迁移,迁移时涉及的问题少,风险相对比较低。
其缺点工作强度比较大,由于实施迁移的人员需要一直监控迁移的过程,如果迁移所需的时间比较长,工作人员会很疲劳。
一次迁移的前提是新旧系统数据库差异不大,允许的宕机时间内可以完成所有数据量的迁移;2.分次迁移分次迁移是通过数据迁移工具或迁移程序,将需要的历史数据分几次迁移到新系统中。
分次迁移可以将任务分开,有效地解决了数据量大和宕机时间短之间的矛盾。
但是分次切换导致数据多次合并,增加了出错的概率,同时为了保持整体数据的一致性,分次迁移时需要对先切换的数据进行同步,增加了迁移的复杂度。
分次迁移一般在系统切换前先迁移将静态数据和变化不频繁的数据,例如代码、用户信息等,然后在系统切换时迁移动态数据,对于静态数据迁移之后发生的数据变更,可以每天同步到新系统中,也可以在系统切换时通过增量的方式一次同步到新系统中;3.先录后迁先录后迁是在系统切换前,先通过手工把一些数据录入到新系统中,系统切换时再迁移其它的历史数据。
先录后迁主要针对新旧系统数据结构存在特定差异的情况,即对于新系统启用时必需的期初数据,无法从现有的历史数据中得到。
对于这部分期初数据,就可以在系统切换前通过手工录入;4.先迁后补先迁后补是指在系统切换前通过数据迁移工具或迁移程序,将原始数据迁移到新系统中,然后通过新系统的相关功能,或为此专门编写的配套程序,根据已经迁移到新系统中的原始数据,生成所需要的结果数据。
系统历史数据迁移方案

新老系统迁移及整合方案本次总局综合业务系统是在原有系统的基础上开发完成,因此,新旧系统间就存在着切换的问题。
另外,新开发的系统还存在与其他一些应用系统,例如,企业信用联网应用系统、企业登记子网站、外资登记子网站等系统进行整合使之成为一个相互连通的系统。
本章将针对新老系统迁移和整合提出解决方案。
新老系统迁移及整合需求分析系统迁移又称为系统切换,即新系统开发完成后将老系统切换到新系统上来。
系统切换得主要任务包括:数据资源整合、新旧系统迁移、新系统运行监控过程。
数据资源整合包含两个步骤:数据整理与数据转换。
数据整理就是将原系统数据整理为系统转换程序能够识别的数据;数据转换就是将整理完成后的数据按照一定的转换规则转换成新系统要求的数据格式,数据的整合是整合系统切换的关键;新旧系统迁移就是在数据正确转换的基础上,制定一个切实可行的计划,保证业务办理顺利、平稳过渡到新系统中进行;新系统运行监控就是在新系统正常运转后,还需要监控整个新系统运行的有效性和正确性,以便及时对数据转换过程中出现的问题进行纠正。
系统整合是针对新开发的系统与保留的老系统之间的整合,以保证新开发的系统能与保留的老系统互动,保证业务的顺利开展。
主要的任务是接口的开发。
需要进行迁移的系统需要进行整合的系统需要与保留系统整合的系统包括:1、企业登记管理(含信用分类),全国企业信用联网统计分析,不冠行政区划企业名称核准,大屏幕触摸屏系统与企业信用联网应用,企业登记子网站,属地监管传输,网上业务受理之间的整合;2、外资企业登记管理(含信用分类),全国外资企业监测分析与属地监管传输,外资登记子网站,网上业务受理,大屏幕触摸屏系统之间的整合;3、广告监管系统与广告监管子网站之间的整合;4、12315数据统计分析与12315子网站之间的整合;5、通用信息查询、统计系统与数据采集转换之间的整合;数据迁移和转换分析根据招标文件工商总局新建系统的数据库基于IBM DB2,而原有系统的数据库包括ORACLE,SQL Server,DB2。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
新老系统迁移及整合方案本次总局综合业务系统是在原有系统的基础上开发完成,因此,新旧系统间就存在着切换的问题。
另外,新开发的系统还存在与其他一些应用系统,例如,企业信用联网应用系统、企业登记子网站、外资登记子网站等系统进行整合使之成为一个相互连通的系统。
本章将针对新老系统迁移和整合提出解决方案。
新老系统迁移及整合需求分析系统迁移又称为系统切换,即新系统开发完成后将老系统切换到新系统上来。
系统切换得主要任务包括:数据资源整合、新旧系统迁移、新系统运行监控过程。
数据资源整合包含两个步骤:数据整理与数据转换。
数据整理就是将原系统数据整理为系统转换程序能够识别的数据;数据转换就是将整理完成后的数据按照一定的转换规则转换成新系统要求的数据格式,数据的整合是整合系统切换的关键;新旧系统迁移就是在数据正确转换的基础上,制定一个切实可行的计划,保证业务办理顺利、平稳过渡到新系统中进行;新系统运行监控就是在新系统正常运转后,还需要监控整个新系统运行的有效性和正确性,以便及时对数据转换过程中出现的问题进行纠正。
系统整合是针对新开发的系统与保留的老系统之间的整合,以保证新开发的系统能与保留的老系统互动,保证业务的顺利开展。
主要的任务是接口的开发。
需要进行迁移的系统需要进行整合的系统需要与保留系统整合的系统包括:1、企业登记管理(含信用分类),全国企业信用联网统计分析,不冠行政区划企业名称核准,大屏幕触摸屏系统与企业信用联网应用,企业登记子网站,属地监管传输,网上业务受理之间的整合;2、外资企业登记管理(含信用分类),全国外资企业监测分析与属地监管传输,外资登记子网站,网上业务受理,大屏幕触摸屏系统之间的整合;3、广告监管系统与广告监管子网站之间的整合;4、12315数据统计分析与12315子网站之间的整合;5、通用信息查询、统计系统与数据采集转换之间的整合;数据迁移和转换分析根据招标文件工商总局新建系统的数据库基于IBM DB2,而原有系统的数据库包括ORACLE,SQL Server,DB2。
这种异构数据在总局主要存在于两个方面,即部门内部的异构数据和上下级部门之间的异构数据。
同时,系统的技术构件有.NET和J2EE两大类。
对于部门内部的异构数据的集成采用数据移植的方法,如:如果数据有基于DB2管理的,有ORACLE管理的,有SQL Server管理的,就根据新系统DB2的要求,把ORACLE的数据迁移到DB2数据库中,把SQL Server的数据迁移到DB2数据库中。
上下级国工商局之间的异构数据的集成利用数据交换系统来完成,重点在于数据库存储标准、交换标准的制定和遵守,保证数据的共享,这部分工作由数据中心完成。
系统迁移和整合目标一、系统切换的主要目标:●保证系统正常运行在数据转换过程中,由于原有的系统数据的复杂性,给数据转换工作带来了很大的难度,为了在新系统启动后不影响原系统正常的业务,因此数据转换完成后,必须保证新系统的正常运行。
●保证原有系统在新系统中的独立性原有系统是独立运行的系统,数据在新系统中虽然是集中存放的,但是各个系统由于存在业务上的差别,数据在逻辑上应当保持一定的独立性。
二、系统整合的目标:保证直接关联的系统互动,保证业务的正常办理。
例如公众服务系统与基本业务系统之间互动,基本业务与协同业务之间互动等等。
系统切换方案系统切换工作流程系统切换包括前期调研、数据整理、数据转换、系统切换、运行监控五个阶段。
系统切换的整个工作流程如下所示:图错误!文档中没有指定样式的文字。
-1 系统切换流程示意图系统切换工作步骤前期调研阶段前期调研是数据转换中很重要的一个步骤,也是至关重要的一部分。
在进行数据转换工作前,我们需要先认真阅读系统的相关文档,如《数据字典》、《系统概要设计报告》等,来熟悉原有的系统。
当然在阅读文档的过程中肯定还会有理解不清晰的地方,这时还需要熟悉原有系统的工程师的帮助。
数据转换的前期工作就是对原系统做一次彻底的全面了解,主要需要的考虑的有下面一些情况:1、原系统的网络结构;2、原系统的业务范围、存在几套业务系统以及他们之间的关系;3、原系统的开发商、开发工具、开发平台以及采用的数据库;4、原系统的数据分布状况:包括数据范围、数据量大小等;5、原系统的业务流程;6、原系统的数据流程;7、原系统的数据结构;在了解这些要素的基础上,需要编写《前期调研分析报告》。
调研报告主要包含如下一些方面:1、将所有数据表进行分类,如系统参数类、代码类、综合业务类、相关业务类等等。
2、对所有数据表的数据组成、数据来源、用途等进行描述。
3、并非所有的数据都是需要进行转换的,在《数据字典分析报告》中要指出那些数据表是需要进行转换的,那些是不需要进行转换的,对于不需要转换的表要说明不需要转换的原因。
4、描述数据在各表中的流向,对于关键的或复杂的业务点要做详细说明。
转换设计阶段转换设计阶段主要是完成新旧数据字典的对照,同时明确各个表中具体数据字段的转换方式。
在转换设计阶段主要是编写《数据字典对照报告》《数据字典对照报告》主要描述新旧系统数据表间的对照关系以及代码对照关系。
以新系统为准,原系统作参照,将原系统的数据字典对应到相应的系统数据字典中。
在对照过程中,需要遵循数据照搬原则,数据尽量不要作处理。
在数据字典对照表中需要进行转换的数据字段应该一一对应,对新旧数据表中字段的名称、类型、精度等都要有详细的描述,同时还要明确数据的转换方式。
数据转换方式主要有以下几种:1. 直接转换。
直接转换方式是最常用的方式,就是将原表中对应字段的数据原封不动的搬到新表中来。
按照“数据照搬”原则,我们应该应该尽量采用这种方法。
2. 程序转换。
对那些需要进行计算才能进行转换的数据将采用程序转换方式进行。
3. 代码对照。
某些代码字段,往往新旧系统的编码不相同,这时就需要参照代码对照表进行代码对照转换。
4. 类型转换。
少数数据可能需要对类型进行转换,如就表以字符串‘YYYY-MM-DD’来存放日期,而新表中以DATE型来存放日期,这时就需要进行类型转换。
5. 常量转换。
新表中某些字段可能存在缺省值,这时将采用常量转换方式,当旧表没有对应字段或旧表对应字段数据为空时,将直接在新表中写入缺省数据。
6. 不转换。
对于旧表有但新表中没有的字段将不作任何转换。
新旧系统代码对照列出了全部需要进行转换的新旧系统数据表中存在的二级代码间的对照关系,主要以二级代码对照表的形式来反映。
数据迁移一、数据整理策略数据整理就是将原系统数据整理为系统转换程序能够识别的数据。
数据整理大致分为两个阶段:第一阶段就是将不同类型来源数据采集备份到统一的数据库中;第二阶段就是将原始数据进行整理,按照不同的要求分类进入不同的中间数据库,为数据转换提供中间数据。
数据整理过程采用了以下方法:●确保原始数据的完整性在进行数据整理之间,我们先需要对原始采集数据进行备份。
备份的目的有两个:一个是统一数据库,便于数据转换,另一个就是为以后数据追根溯源提供参考依据。
在本系统中,我们将采用DB2作为备份统一数据库。
●数据分级过滤策略数据分级过滤就是把数据按照不同的数据级别进行分类整理进入不同的中间数据库中。
本系统中我们把数据分为三个级别:废弃数据、待调整数据、可转换数据。
废弃数据就是该部分数据的存在对系统资源造成浪费的数据,并且会影响以后系统的运行。
待调整数据就是该部分数据严重影响新系统的运行,必须进行人工调整后,方可进行数据转换。
可转换数据就是该部分数据不需做任何处理,基本满足数据转换的要求或者是该部分数据新系统建议调整,但是不影响系统的运行,可以等新系统运行后再调整,这样可以为数据转换工作节省很多时间。
●借助数据整理相关工具数据整理非常艰巨,涉及的数据量很大,通过人工检查是不可能完成的,因此必须编写相关的数据整理工具完成数据整理。
包括数据整理工具和数据纠错工具。
数据整理工具负责将原始备份数据库中的数据进行分类进入不同的中间数据库;数据纠错工具负责提供友好、方便的工具界面供用户方相关人员完善和纠正错误数据。
●利用中间库作为桥梁由于原系统和新系统的数据库结构可能不一样,所以采用中间库作为衔接新旧系统数据的重要桥梁,对于建立新旧系统的对照关系很重要。
一旦业务人员对新系统中某项转换数据存在疑问的情况下,就可以通过中间库的关联,顺利找出原数据。
二、数据转换数据转换就是将整理后的数据,依照对照表的要求进行转换,并写入到新系统。
这个过程可以通过交换系统实现。
三、数据整理与转换步骤●设计数据移植方案设计数据移植方案主要包括以下几个方面工作:研究历史数据的结构、来源、数据项定义、取值等现状,研究新旧数据库结构的差异,评估和选择数据移植的软硬件平台、选择数据移植方法、选择数据备份和恢复策略、设计数据移植和测试方案等。
●源数据库数据清理对于一个运行已久的数据库,主要存在三种数据库垃圾:数据库对象垃圾、数据库权限垃圾、数据垃圾。
数据库对象的清理不是一件容易的工作,需有认真负责的态度,要有耐力,任何错误的清理不仅会造成前端不能运行,而且将会造成数据的丢失。
所以清理数据库对象也许需要一个安全、准确,可很快恢复的方法。
首先要认识数据库资源,包括数据库对象,如表、数据库事件、过程、函数,数据库结构关系,在此基础上结合运行系统,确认数据库垃圾,制定合理的垃圾清理方案,达到清理垃圾的目的。
主要方法是对数据库数据进行整合和分解,整合相关数据减少数据的重复,分解数据则可是数据团体更趋向合理,当然整合和分解要以适合新设计的数据库结构为基础,以便简化转化程序。
●进行数据模拟移植根据设计的数据移植方案,建立一个模拟的数据移植环境,它既能仿真实际环境又不影响实际数据,然后在数据模拟移植环境中测试数据移植的效果。