测试数据管理系统(TDMS)

DPC测试数据管理系统方案

北京德派克信息技术有限公司

2010年7月

方案概述

业务的日益复杂多变，银行业以其无法比拟的繁杂业务、复杂的系统架构与异构的系统环境、巨大的应用质量风险，以及不断增长的业务和竞争需求，使得其对于缩短应用发布时间，提高应用质量的要求日益强烈。

在不断的实践过程中发现。在测试过程中，测试数据对于测试工作来说是举足轻重的，往往是每次在做一个项目的时候，数据的准备都需要漫长的时间，并且在测试过程中不易于维护；原本用于开发测试案例和测试脚本的宝贵时间在测试数据管理的繁重流程中白白损失；在从实际的主机数据库中提取数据不仅不安全，还会因文件大小问题而需要更多的运行测试时间，并占用稀缺的CPU；频繁的数据备份，占用了大量的昂贵的存储空间。

本系统是根据测试数据管理系统项目的要求而制作，结合我们在数据管理以及测试方面的实施服务经验、对需求的理解，其要点如下：

1)提供完整的测试数据管理平台解，包括测试数据获取、测试数据需求统一收集和发布、测试数据的使用、测试数据变更管理、测试数据使用的统计分析、以及相关工具集成等功能。

2)提供涵盖环境、工具、技术支持、咨询培训等服务的全方位解决方案。

本系统不但汇集了业界的最佳实践，同时充分体现了国内银行业的实际需求，因而能够很好的适用测试项目群的测试数据管理并得到快速有效的实施。

?领先的最佳实践经验：我们的核心成员多年来就在国内外有名的专业机构进行了主机和开放平台的数据的漂白、抽取、挖掘和管理过程等方面的深入研究，在实践

上曾组织、领导和完成了几十个数据项目的实施。

?能够更好的适应用户的实际需求：由于我们的软件测试服务团队长期为银行进行测试服务，并参与测试数据的准备工作，因此我们对于测试管理过程、技术方法和

工具应用水平、组织之间的沟通协作、测试数据的管理过程等各个方面有着深刻

的理解。我们能够根据用户不同发展阶段的要求，建立适用的、可操作的体系。

?能够快速有效实施：在多年的服务过程中，我们积累了丰富的经验和资料，方案中采用业界成熟领先的工具集成，结合用户的实际情况，我们可以快速的进行剪裁，

提供完整、规范、可操作的客户化定制方法，极大的提高实施的速度，顺利的达

到较高的水平。

技术方案特点介绍

根据测试数据管理系统的需求，结合我们在银行业的主机系统服务及数据管理服务领域多年经验积累的基础上提出的，因此本系统将提供：

?能够更好的适应测试项目群的实际需求：数据管理的流程在开放平台上选用流程管理工具实现，数据备份和恢复直接在主机平台上完成的集成的解决方案，保证了

数据的一致性和完整性，更重要的是保证了数据的安全性和有效性。

?能够快速有效实施：在多年的服务过程中，我们积累了丰富的经验和资料，并已经证明可以有效的运用于银行业主机系统数据管理当中。结合测试的实际情况，我

们可以快速的进行剪裁，提供完整、规范、可操作的客户化管理方案，这将极大

的提高实施的速度，顺利的达到较高的水平。

?采用成熟工具集成，保证实施的可靠性：本系统将采用业界成熟的工具产品进行集成，其中测试数据管理流程方面，集成成熟的流程管理工具；数据抽取、备份恢

复等方面，运用IBM公司出品的Optim；这两款工具分别有众多的成功经验，特别

是在金融行业。本系统通过对这两款工具的无缝集成，并分别借鉴其以往的成功

经验，能够保证在实施过程中的安全、可靠。

本系统引用的先进的技术，因此具备如下特点

充分考虑银行的主机环境

由于银行测试的数据环境部分是主机环境，为了解决开放平台的局限性，本系统充分考虑了主机环境中的实现方法

?数据抽取和备份

?支持VSAM文件的抽取

?数据结构变更后的数据恢复

?可进行并发处理

?数据自动装载

自动追加数据

测试人员是数据的使用者，为测试人员提供的数据有一定的灵活可扩展性，当测试人员需要更多的数据的时候，不需要数据管理人员的介入，系统能够自动根据目前不足的数据从原始数据库追加补充数据。

充分考虑数据架构的备份

有些时候在测试过程中，会修改数据结构，而一旦发现数据错误，又希望能够既保持现有结构又将出问题以前的数据装载到数据库中，而我们的方案恰恰支持这一特性。

灵活的查询、在线分析能力

测试数据管理系统（TDMS）可以封装商务智能工具，无须编程，又能够及时、灵活地组织这些信息，展现给领导、业务人员进行分析，及时发现问题，是本系统的另一特点。

数据压缩查询

本系统系统对主机和开放平台都能够实现数据压缩备份（包括结构备份），并且压缩的数据支持标准的SQL语言查询。

流程定制便捷

本系统提供图形化的流程定制界面，流程定制过程直观、简便，所见即所得；能够实现对流程环节严格、细致的控制，包括权限、操作等；更加简便地定制复杂流程，流程支持自

动分支判断、并行执行及会签，以及子流程调用和嵌套；每一个流程环节的表单均可自行定义，包括表单的样式和信息域，信息域可设定详细的操作、访问权限；表单信息域属性可调，包括必填、只读以及隐藏等，让每一个流程环节都能够根据用户的需求真正做到相应的控制。

易用性

本系统系统在设计上采用高度集成的界面设计，把很多功能集成在统一的单一界面中，用户操作简便易用，不需要在很多界面之间不停的切换，造成不必要的繁琐。

可扩展性

本系统的架构中包含流程引擎及表单定制功能，具备良好的扩展性，除实现目前的测试数据管理之外，可随着日后测试管理需要，基于测试数据管理系统（TDMS）建设测试环境管理等各类管理系统。具体特点：

?u基于Java、TCP/IP，方便地运行在各种网络环境中；

?u以图形化的方式进行数据、流程、报表的定制，方便易用；

?u支持多种对象定义：状态对象、无状态对象；

?u支持多种数据关系定义：1-1、1-N、N-M；

?u支持复杂流程定制和执行：流程的自动分支、并行执行、子流程；

?u支持以Java语言的方式编写脚本进行功能扩展；

?u支持系统插件进行功能扩展（Bean Shell、JSP）；

?u完善的跟踪和升级机制；

?u发送Email和短消息通知；

?u快速部署能力；

支持测试数据的部分抽取，保证逻辑关联性

利用Optim的数据联邦进行数据抽取时，允许用户定义每个抽取任务中每张表的抽取条件、行数等限制条件，并允许用户定义表与表之间的关联关系。在抽取时能够根据用户自定义或从数据库中获取到的表关联关系进行逻辑关联性抽取，如：仅抽取账户表中某几个指定账户中，在明细表中对应的明细流水交易数据。

数据变更管理、备份和恢复

本系统中对于主机平台和开放平台的数据的变更管理、备份和恢复，均采用IBM Optim 实现。

?自身数据库进行重建/变更/更新/备份/恢复

Optim在抽取数据时，会同时抽取数据源中对应的数据对象定义，Optim在数据装载时，会自动将抽取文件中的元数据定义与目标对象中的定义进行匹配，仅装载相匹配的列。如目标数据库中不存在对象定义，那么Optim将根据装载文件中的定义进行对象重建。

Optim在定义抽取任务时，可定义抽取单表、具有关联性的一组表、或全部数据库中的表。在恢复时，也可以选择恢复抽取文件中的单表、部分关联表或全部表。

?对测试环境的数据库变更/更新/恢复

Optim对测试环境（开放平台）数据库进行抽取时，将以数据库快照方式获取抽取时刻的数据库完整备份，因此能够实现数据库的无损备份、恢复与变更跟踪管理。

?对测试环境的备份数据的压缩

压缩后的文件，支持标准的SQL语句查询。一般情况下，启用压缩后，在源数据库的查询不成为瓶颈的情况下，数据抽取相比不启用压缩时间将增加10-20%。

在Optim一般对真实客户的测试中，压缩格式与非压缩格式的抽取文件相比，压缩率一般均在85%off甚至更高。在已经完成的测试试用中，实际压缩率达到95%off。

?备份中保留元数据定义

Optim在数据抽取时，将自动保存被抽取对象的DDL，主外键定义以及索引等元数据信息，这些元数据信息将与被抽取数据共同保存在Optim抽取文件中。

?数据环境存在差异的情况下，数据能正确导入

Optim在数据装载时，会自动将抽取文件中的元数据定义与目标对象中的定义进行匹配，仅装载目标数据库中相匹配的列上的数据。如目标数据库中不存在对象定义，那么Optim 将根据装载文件中的定义进行对象重建。

?备份和回复的并发度控制

Optim无论是备份、还是恢复，均允许启动多个进程进行并发抽取，每个并发抽取任务需定义不同的抽取对象或同一对象的不同抽取条件。并发任务可以通过Optim提供的图形界面、命令行接口，或Optim Scheduler定时任务进行激活。

近20年的发展，到目前为止，Optim已成为业界最主流的归档与测试数据管理平台，提供了业界最为完善与丰富的产品功能，也被Optim用户所广泛认可。

IBM Optim也是业界唯一能够在统一的平台引擎中同时提供测试数据管理、隐私数据保护、归档数据管理的产品。