异构数据库高效数据交换引擎设计

第３９卷　第９期西南师范大学学报（自然科学版）２０１４年９月

Ｖｏｌ．３９　Ｎｏ．９ Ｊｏｕｒｎａｌ　ｏｆ　Ｓｏｕｔｈｗｅｓｔ　Ｃｈｉｎａ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｅｄｉｔｉｏｎ）Ｓｅｐ．２０１４

ＤＯＩ：１０．１３７１８／ｊ．ｃｎｋｉ．ｘｓｘｂ．２０１４．０９．０１８

异构数据库高效数据交换引擎设计①

黄学彬１，　赵　春２，　郑　伟１

１．四川大学锦城学院教务部，成都６１１７３１；２．四川大学锦城学院计算机科学系，成都６１１７３１摘要：针对异构数据库之间数据交换软件的数据交换不规范、网状数据不通畅、数据同步无保证等问题，设计了一个通用安全高效的数据交换引擎．该设计采用影子表法获取数据，利用文本差异比较得出变化的数据量，并运用差异分析算法解析出数据变化结果集．设计中的数据交换规则与数据更新结果存储均采用了ＸＭＬ文件格式作为媒介，为了保证数据的安全性与可靠性，设计要求对需要传输的数据进行加密处理，并采用可靠的ＴＣＰ作为数据传输协议的载体．实验表明，该文设计的异构数据库交换引擎可以高效率地完成异构数据库之间可靠、安全的数据交换．

关　键　词：异构数据库；高效数据交换；ＸＭＬ；差异分析；

影子表法

中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１０００－５４７１（２０１４）９－０１００－０９

在信息化不断发展的过程中，企业用户的应用也在不断扩充，企业自己的新应用也在不断增加，进而都会面临不同软硬件平台、不同类型的数据库之间的数据交换问题［１］．不同软硬件平台、不同语义设计、不同网络环境等多种模式的并存造成了不同数据库之间的数据交换不规范、数据同步与数据安全无保证等问题，并由此产生了“信息孤岛”的现象［２］．

现有的软件已经很难解决这种异构数据库之间的数据交换难题［３］．数据库管理系统（ＤＢＭＳ，Ｄａｔａｂａｓｅ

Ｍａｎａｇｅｍｅｎｔ　Ｓｙｓｔｅｍ）为了最大程度地解决这个难题，一般都提供了相应的数据交换工具，但因与具体的

ＤＢＭＳ耦合性太强，以至于失去了通用性［４］；中间件技术虽然可以很好地解决这个难题，但是中间件技术由于本身比较复杂，不容易实现，而且还需要昂贵的软硬件资源［５－６］，对于一般的企业来说负担太重，

从而

很难实现普及；中间数据法采用一种公共的数据格式作为媒介进行数据交换，通过双方既定的协议完成最终的功能，该方法成本较低，可扩展性强［７－８］，但是实现中必须考虑网络环境、

运行效率以及数据的安全

性［９－１０］．本文将采用中间数据法设计一个灵活高效、简洁透明的异构数据交换系统，该异构数据库数据交

换引擎（ＨＤＥＤＥＥ，Ｈｅｔｅｒｏｇｅｎｅｏｕｓ　Ｄａｔａｂａｓｅ　Ｅｆｆｉｃｉｅｎｔ　Ｄａｔａ　Ｅｘｃｈａｎｇｅ　Ｅｎｇｉｎｅ）

只需要简单的配置即可准时

性地完成异构数据库之间数据安全可靠的互相访问．

为了设计出简单易用、成本低廉、并且通用的数据库交换引擎，我们有必要对其进行适当的分析，从而了解其基本特性，以找出合适的解决方案．

１　

异构数据库系统分析

异构数据库系统是对分布式数据库系统的集成和发展［１０］，

它们最根本的区别是分布式数据库系统拥

有自己单独的逻辑数据库，只有一个ＤＢＭＳ

，该ＤＢＮＳ为其整个系统提供一致的插入、查询、删除、更新等

①收稿日期：２０１４－０２－２９

基金项目：四川省应用基础项目“基于互联网应用的企业智能消息系统ＥＩＭＳ研究与实现”资助（１０ＪＣ０３３５）．

作者简介：黄学彬（１９６８－），男，四川蒲江人，博士，副研究员，主要从事计算机软件及互联网应用研究．操作；而异构数据库系统则是由多个自主的数据库系统通过适当程度的集成而构成的一个数据库系统．

异构数据库系统物理分布整体上可以概括为以下２种情况：同一个局域网内以及在不同的局域网内．

无论异构数据库系统是处于同一个局域网内还是在不同的局域网内，都具有分布性、异构性、自主性等３

个主要的特征．

１．１　

分布性

异构数据库系统的各个组成部分并不在同一个地理位置，而是分布在不同的地理位置，它们通过各式各样的网络建立连接．数据保存在各个数据库系统中，这些数据可以以各种不同的方式保存，没有严格的逻辑要求．

１．２　

异构性

１）不同的计算机体系结构：独立的数据库系统可以运行在大型机、工作站、微机等系统中．２）不同的计算机操作系统：独立的数据库系统可以被安装在不同的操作系统中，如Ｕｎｉｘ，Ｗｉｎｄｏｗｓ等．３）不同的ＤＢＭＳ：独立的数据库系统可以是ＭｙＳＱＬ，Ｏｒａｃｌｅ，ＳＱＬＳｅｒｖｅｒ等，也可以是Ｒｅｄｉｓ、Ｍｏｎｏｇｄｂ等．４）不同的语义：数据库设计人员对数据定义、描述的二义性，会造成命名、数据存储类型、关系表达

等的二义性．

１．３　

自主性

各个子系统都拥有自身系统内对应资源的使用权，包括增加、删除、修改、查询等，同时拥有与系统内其他子系统交互的权利，包括加入、退出、提供服务等．

从上面的分析可以看出，异构数据库系统中各子系统情况相当复杂，各子系统之间的数据共享会遇到各种各样的困难，针对这个难题，本文设计了一个数据交换引擎，用于同步多个同构或者异构的数据库之间相关的数据，该引擎具有通用性，并且操作简单易用．

图１　异构数据库数据交换网络２　

高效数据交换引擎设计与实现

由于系统运行在网络环境下，所以文件格式的通用性、数据的安全性以及数据传输的高效性就成为了设计必须要考虑的前提．为此，本文提出的设计方案遵循如下原则：采用通用的数据存储格式存储数据；采用差量分析法分析数据；对差量数据进行加密传输；并且对大数据采用多线程断点续传来保证数据传输的高效性．

２．１　

总体设计方案

如图１所示，有多个异构的数据库，它们之间彼此需要获取对方的数据，ＤＢＭＳ的差异和不同局域网内数

据库之间网络线路不通的问题，使得彼此之间无法正常完成交换数据的功能．因此，要完成彼此之间的这种数据交换必须依靠第三方的应用程序来完成．本文设计的数据交换引擎就可以很好地实现这个功能．

如图１所示，局域网ＬＡＮ－１中有４个数据库系统，分别为ＤＢ１

，ＤＢ２，ＤＢ３，ＤＢ４，局域网ＬＡＮ－２中也同样有

４个数据库系统，分别为ＤＢ５，ＤＢ６，ＤＢ７，ＤＢ８．ＤＢ１要与ＤＢ２，ＤＢ４交换数据；ＤＢ３也要与ＤＢ２，ＤＢ４交换数据；ＤＢ５要与ＤＢ６，ＤＢ８交换数据；ＤＢ７也要与ＤＢ７，ＤＢ８交换数据；另外，有些交换关系图上并未画出，如ＤＢ１要与ＤＢ５

，ＤＢ６等交换数据．由图１可以看出，它们之

间数据交换的关系错综复杂，需要一个良好的中间媒介来辅助完成这种交换功能．

本文设计的ＨＤＥＤＥＥ就是要充当这个良好的中间媒介．ＨＤＥＤＥＥ的部署及其使用相当简单，数据库

１０１第９期 黄学彬，等：异构数据库高效数据交换引擎设计图２　数据控制流程设计维护人员只需要简单地配置彼此之间需要交换的数据规则，然后将ＨＤＥＤＥＥ部署在与交换数据双方数据库相关的服务器上即可，ＨＤＥＤＥＥ会根据配置文件以及数据

规则，运行对应的客户端程序或者服务器程序，完成彼此之间数据的推送与更新功能．如图２所示，数据控制流程设计，概括来说有以下几个步骤：１）数据的获取：客户端读取本地配置文件，根据配

置文件从响应的数据库中获取当前时刻既定规则的数据；２）数据差异分析：分析当前时刻的数据与前一个时

刻获取的数据，获得这２个时间段内的数据差量，对差量进行进一步的分析，进而得出新增数据集、删除数据集以及更新数据集，差异分析法的使用，使得只有变化的数据才会被传输，从而可以很好地保证数据传输的高效性与数据的一致性；３）数据加密：为了增强网络数据传输的安全性，对新增数据集、删除数据集以及更新数据集进行加密

处理；４）数据传输：包括数据发送与数据传输，即将新增数据集、删除数据集以及更新数据集分别传输至指

定的目的服务器上；５）数据解密：对加密的数据，必须解密后才能由目的服务器上的ＨＤＥＤＥＥ服务器程序对其进行操作，将数据更新至对应的数据库中；６）数据更新：ＨＤＥＤＥＥ服务器程序解密后的数据集，根据配置文件的既定规则，将数据集更新至指定的目的数据库．

已经实现的加密解密算法有很多，在本设计的实验中，采用了ＤＥＳ算法；数据发送与接收采用ＴＣＰ／ＩＰ协议，使用ｓｏｃｋｅｔ套接字进行网络编程，实现了数据的传输功能．加解密算法与网络传输已经十分普遍，不再作为本文的重点．本文重点集中在数据获取方案的设计、差异比较算法的设计以及数据更新算法的设计上，并详细介绍了获取当前数据设计方案、变化结果集设计方案以及数据更新方案的方法．

２．２　

数据获取方案设计

需要获取什么数据都是预先设定的，本小节的目的就是设计如何设定待获取数据的方案．

程序需要的所有限制都记录在ＸＭＬ文件中，程序从ＸＭＬ配置文件读取信息，根据信息指示完成预定的功能．由于程序需要支持各种各样的异构数据库，而不同的ＤＢＭＳ有着不同的驱动接口，所以程序需要知道数据库类型，当然连接数据库所需的基本信息也必不可少．程序根据数据库类型调用不同的驱动接口，然后再依次读取ＸＭＬ配置文件中需要执行的查询命令，并将执行结果存储在ＸＭＬ配置中指定的文件内．另外，为了获得数据需要发送的目的地，还需要配置服务器所在的主机ＩＰ与端口．

ＨＤＥＤＥＥ客户端基本配置格式如图３所示．从这个配置文件设计可以得出，该客户端会将从数据库中获取的变化数据，发送至２个不同的服务器上，供２个服务器上的服务程序使用，从而将这些数据更新至服务程序所指定的数据库中．

２．３　

变化结果集获取方案设计

如图４所示，首先对比当前时刻获取的影子表数据与前一个时刻获取的影子表数据，获取差异数据，并将差异数据写入２个差异文件；然后利用差异分析算法对差异文件进行分析，从而获取３种不同类型的变化结果集，并将这３类变化结果集分别存储在对应的文件中．

２０１西南师范大学学报（自然科学版） ｈｔｔｐ：／／ｘｂｂｊｂ．ｓｗｕ．ｃｎ 第３９卷