虚拟数据库的实现方法

计算机工程与设计ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ　ａｎｄＤｅｓｉｇｎ　２０１０，３１（１４）　３２０１　・软件与算法・　虚拟数据库的实现方法　

杜威　，　邹先霞　，　潘久辉　（１．广东警官学院计算机系，广东广州５１０２３２；２．暨南大学计算机系，广东广州５１０６３２）　摘要：虚拟数据库是目前信息集成的主要方法之一，但目前的虚拟数据库产品很难做到对数据源结构的屏蔽，使得系统　配置和使用不是十分方便，查询定义过程要求用户了解各个数据源及其组织结构。基于超图理论提出了一种简单可行的模　式集成方法，解决了同名异义及异名同义等问题。通过元数据库管理系统，数据库管理员可定义各种视图来屏蔽信息源的　结构，大大简化了用户的查询定义过程。同时，给出了虚拟数据库系统的主要实现技术。　关键词：虚拟数据库；协调器；超图；查询代理；无损连接　中图法分类号：ＴＰ３１１．１３１　文献标识码：Ａ　文章编号：１０００．７０２４（２０１０）１４．３２０１．０６　

Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｍｅｔｈｏｄｓ　ｏｆ　ｖｉｒｔｕａｌ　ｄａｔａｂａｓｅ　ＤＵ　Ｗｌｅｉ　，　ＺＯＵ　Ｘｉａｎ．ｘｉａ２，ＰＡＮ　Ｊｉｕ．ｈｕｉ２　（１．Ｄｅｐａｒｔｍｅｎｔ　ｏｆＣｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｇｕａｎｄｏｎｇ　Ｐｏｌｉｃｅ　Ｃｏｌｌｅｇｅ，Ｇｕａｎｇｚｈｏｕ　５１０２３２，Ｃｈｉｎａ；　２．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｊｉｎａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ　５　１　０６３２，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｖｉｒｔｕａｌ　ｄａｔａｂａｓｅ　ｓｙｓｔｅｍ　ｉｓ　ａ　ｍａｉｎ　ｍｅ￣ｏｄ　ｏｆｉｎｆｏｒｍａｔｉｏｎ　ｉｎｔｅｇｒａｔｉｏｎ，ｂｕｔ　ｔｈｅ　ｓｃｈｅｍａ　ｏｆｄａｔａ　ｓｏｕｒｃｅ　ｉｓ　ｎｏｔ　ｔｒａｎｓｐａｒｅｎｔ　ｆｏｒ　ｅｎｄ　ｕｓｅｒ，ｔｈｅｒｅｆｏｒｅ　ｉｔ　ｉｓ　ｎｏｔ　ｃｏｎｖｅｎｉｅｎｔ　ｔｏ　ｃｏｎｆｉｇｕｒｅ　ａｎｄ　ｕｓｅ，ａｎｄ　ｉｓ　ａ　ｃｈａｌｌｅｎｇｉｎｇ　ｔａｓｋ　ｔｏ　ｃｒｅａｔｅ　ａ　ｑｕｅｒｙ　ｉｎ　ｖｉｒｔｕａｌ　ｄａｔａｂａｓｅ　ｓｙｓｔｅｍｓ．Ｔｈｅ　ｓｉｍｐｌｅ　ａｐｐｌｉｅｄ　ｓｃｈｅｍａ　ｉｎｔｅｇｒａｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ａ　ｔｈｅｏｒｙ　ｏｆｈｙｐｅｒｇｒａｐｈ　ｉｓ　ｐｒｏｐｏｓｅｄ，ａｎｄ　ｈｏｍｏｎｙｍｙ　ａｎｄ　ｓｙｎｏｎｙｍ　ａｒｅ　ｒｅｓｏｌｖｅｄ．ＤＢＡ　ｃｏｕｌｄ　ｄｅｆｉｎｅ　ａｌｌ　ｋｉｎｄｓ　ｏｆｖｉｅｗ　ｂａｓｅｄ　ｏｎ　ｍｅｔａｄａｔａ　ｗｈｉｃｈ　ｍａｄｅ　ｔｈｅ　ｕｓｅｒｓ　ｏｎｌｙ　ｈａｖｅ　ａ　ｃｕｒｓｏｒｙ　ｋｎｏｗｌｅｄｇｅ　ｏｆｔｈｅ　ｓｔｒｕｃｔｕｒｅ　ｏｆｔｈｅ　ｄａｔａ　ｓｏｕｒｃｅｓ．Ｔｈｅ　ｍａｉｎ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ　ｏｆｔｈｅ　ｓｙｓｔｅｍ　ｉｓ　ｐｒｅｓｅｎｔｅｄ．　Ｋｅｙ　ｗｏｒｄｓ：ｖｉｒｔｕａｌ　ｄａｔａｂａｓｅ；ｍｅｄｉａｔｏｒ；ｈｙｐｅｒ　ｇｒａｐｈ；ｑｕｅｒｙ　ａｇｅｎｔ；ｌｏｓｓｌｅｓｓ　ｊｏｉｎ　

Ｏ引　言　为了对数据进行有效的集成管理成为增强企业商业竞争　力的有力手段，提出了虚拟集成和实化集成等集成技术［１－２］。　数据仓库技术实际存储各个数据源的数据，因此对用户的查　询响应快，但由于数据源的并发性和异构性，集成数据的更新　和一致性维护变得复杂　。虚拟集成通过对各个数据源的无　缝访问实现数据的集成，不存在复杂的维护过程，在企业信息　集成中受到广泛的关注。但现有虚拟集成技术如联邦数据库　主要通过维护一个全局的数据字典来保存数据源的配置信　息、数据源表的结构、字段数据类型等Ⅲ，用户基于数据字典的　内容提出各种查询，对普通用户来说，这是一个相当复杂的过　程，解决模式集成可以大大简化用户的工作　，已有的文献侧　重于集成系统框架和理论研究　，未能给出虚拟集成系统的整　体实现。本文基于泛关系假设和超图理论实现了一种简单有　效的模式集成方法　，给出了虚拟集成系统的整体实现。本　系统的主要特点：　（１）系统对查询用户屏蔽了底层信息源及其数据结构；　（２）解决了数据库结构异构性和数据访问控制的差异；　（３）实现了跨操作平台和数据库管理平台的虚拟集成。　本文介绍泛关系假设和超图的相关概念，然后叙述了虚　拟数据库的整体结构，介绍了虚拟数据库用户接口的实现，最　后给出了虚拟数据库执行引擎的实现。　

１基本概念　定义１超图的数学定义如下”　：　令Ｎ＝ｌｎ１￣１２，…　Ｉ是一个有限集，关于Ｎ上的一个超图Ｈ＝　（Ｅ　，Ｅ２，＇－－，Ｅｍ）是Ｎ上一个有限子集簇，使得：　（１）层≠　（　１，２，…，　）　ｍ　（２）ＵＥ＝Ｎ　

Ｊ＝１　为了能更清楚地描述关系模式，将超图的定义修改为：一　

个超图Ｈ是一个有序对Ｈ＝（Ｎ，Ｅ），其中Ｎ是顶点的集合，Ｅ是　边的集合，每条边是Ｎ的非空子集。　定义２超图的Ｙ环定义。　超图Ｈ中的一个．ｒ循环是一个交替序列（Ｅ　ｎ，Ｅ：，ｎ　，…，Ｅ　，　

收稿日期：２００９．０７．１３；修订日期：２００９．１０．０９。　基金项目：２００８公安部应用创新计划基金项目（２００８ＹＹｃｘＧＤＳＴ０８１）。　作者简介：杜威（１９７４一），男，硕士，副教授，研究方向为数据集成与数据挖掘；　邹先霞（１９７５一），女，博士研究生，研究方向为数据库、数　据流处理等；　潘久辉（１９５６－－），男，博士生导师，教授，研究方向为数据库、信息集成与网格计算等。Ｅ—ｍａｉｌ：ｗｅｉｄｕｚｘｘ＠１６３．ＣＯｒｎ　３２０２　２０１０，３１（１４）　计算机工程与设计Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｄｅｓｉｇｎ　ｎ　，Ｅ叶Ｈ），其中：　（１）“ｂ￣－＇￣ｎｍ是Ｈ中不同的点；　（２）Ｅ　“，Ｅｍ是Ｈ中不同的边，但Ｅ。＝Ｅｍ＋。；　（３）ｍ≥３（即至少有３条边）：　（４）Ｎ　∈Ｅ。ｎＥ¨（１≤ｉ≤ｍ）；　（５）对于Ｖｉ，ｖｊ，ｌ≤ｉ≤ｍ，１＜ｊ≤ｍ＋１，ｊ￣ｉ，ｊ￣ｉ＋ｌ，有ｎ，￣Ｅｊ。　不含Ｙ环的数据库有一个很重要的性质：１ｂｙ循环的数据　库的泛关系模式中任意的关联子模式定义了一个内嵌的连接　依赖。设Ｒ是一个关系模式（包括泛关系模式），Ｐ＝｛ｘ　”，　）（Ⅱ），其中：Ｘｉ　Ｒ（ｉ＝１，…，ｎ），则一个内嵌的连接依赖　［ｐ】蕴涵　了“Ｐ的每个连通子集都是无损连接的”，证明见文献［８－９］。也　就是说如果一个泛关系模式的超图是非＿ｒ循环的，那么该泛关　系模式的“分解”是无损的，对这个泛关系模式的关系实例进　行查询时，所有的查询路径（连接序列）是无损的。超图＾ｒ环定　义及判断方法为虚拟数据库的查询分解提供了理论基础。　定义３假设Ｈ＝（Ｎ，Ｅ）是一个超图，其中Ｕ＝｛ａ　，ａ２，…，ａｐ）　是一个属性集合或泛关系模式，Ｒ＝｛Ｒ　，　，…，　｝是基于Ｕ的　关系模式集。完全交集图（ｃｏｍｐｌｅｔｅ　ｉｎｔｅｒｓｅｃｔｉｏｎ　ｇｒａｐｈ，ＣＩＧ）　是　一个无向图（Ｒ，Ｓ），其中Ｓ＝｛Ｉ　＝（　，　）：　ｎ　≠　，Ｒ∈Ｒ，　∈　Ｒ，ｉＣｊ｝。其中点　和　存在边（民，　）当且仅当Ｒ和　至少有　一个公共属性。完全交集图是查询分解的一种数据结构。　２虚拟数据库的结构　各大数据库厂商正在发展或已经提供了数据仓库或联邦　数据库等产品，但这些产品都是从数据源表到集成系统表之　问的映射，用户在集成系统上定义查询必须了解存在哪些信　息源及信息源的数据结构，人工判断属性间的同名异义和异　名同义等问题，使用户的一次查询过程变得非常复杂。根据　泛关系假设，我们可以将所有信息源表的属性看作一个虚拟　表，利用超图理论消除其二义性并进行无损分解，建立各种虚　拟视图。用户基于这些虚拟视图提出的各种查询，完全类似　于本地数据库的查询。虚拟数据库的结构图如图１所示。　ｒ　数据源　、　虚拟数据库　、　Ｉ查询结果ｌ　，［ｖ　√一Ｊ　ｌ　＿——　。＿１　８　８　图１虚拟数据库的结构　虚拟数据库的数据源可以是位于不同操作系统的不同数　据库系统，如Ｏｒａｃｌｅ　ｆｏｒ　Ｌｉｎｕｘ、Ｏｒａｃｌｅ　ｆｏｒ　Ｓｏｌａｒｉｓ、ＩＢＭ　ＤＢ２　ｆｏｒ　Ｗｉｎｄｏｗｓ、ＳＱＬ　Ｓｅｒｖｅｒ等。虚拟数据库也可以放在不同的操作　系统上。　数据源通过包装器将元数据以ＸＭＬ文件格式集成到虚　拟数据库的元数据库。包装器用来消除各个数据库管理系统　的结构差异，如数据类型。　元数据库管理系统对接受的所有元数据信息通过泛关系　理论和超图丫环检测来消除查询二义性等问题。　查询代理实质上是一个中介器，查询代理客户端负责将　用户的查询分解到各个数据源上的子查询，由查询代理服务　器执行查询和转换，查询结果经ＦＴＰ传送到虚拟数据库，查询　代理客户端对返回的结果进行合成，最后以文件或其它形式　提交给用户。　

３接口设计与实现　虚拟数据库系统主要由元数据库管理系统、查询代理和　用户查询３个模块组成。　元数据库管理子系统主要对各个信息源的元数据进行管　理，检查异名同义和同名异义等二义性，并提供管理界面给系　统管理员定义各种虚拟视图。查询用户则直接在虚拟视图上　定义查询，对查询用户来说这个过程与在本地数据库定义查　询一样，而无需关心从哪个底层信息源定制信息，也无需了解　底层信息源的数据结构，因为这些结构对查询用户都是透明　的，从而大大减轻一般用户的查询复杂性。系统管理员承担　了信息集成的需求分析任务，并通过对底层数据源的分析，对　异名同义和同名异义等查询二义性进行人工干预。元数据库　管理界面和虚拟视图定义界面如图２和图３所示。　

图２元数据库管理界面　图３　Ｃ／Ｓ结构的虚拟视图定义界面　查询代理完成一般用户的查询请求，由于是虚拟数据库，　一次用户查询执行要经过语法和语义检查，查询转换、查询分　解，查询执行及结果的合成等过程。词法和语法检查与数据　库系统实现过程一样，查询转换则要将用户在虚拟视图上定　义的查询转换成底层数据源上的查询，再通过查询分解模块