基于机群架构的并行数据库实现技术研究
万方数据
万方数据
万方数据
万方数据
图5工作量比较
5结束语
本文针对电子政务信息资源目录体系中,对多种的具有不同元数据标准的目录系统,重复建设问题,提出了支持电子政务信息资源动态元数据标准的元数据管理的实现策略。通过以树形结构来表示政务信息资源元数据标准,将政务信息资源元数据拆分成值对进行存储。并注册政务信息资源元数据标准,对元数据进行解释与限定,以建立索引库的方式提高系统性能。解决了北京市电子政务目录体系中的重复建设问题。
本方案已成功应用于北京市政务信息资源共享交换平台,北京市档案信息资源目录系统、北京市西城区共享交换平台、北京市应急目录系统,取得良好的实践效果。通过简单配置即可得到所需的元数据结构,支持动态的政务信息资源元数据标准。极大地减少了重复建设工作,从根本上提升了目录系统的广泛适用性,加快了政府信息化建设的速度。
本文提出了动态元数据标准下的元数据管理策略,解决目录体系的重复建设问题。我们将继续研究动态元数据标准下的元数据管理如何对不同的目录系统配置工作流的工作,以支持具有不同元数据标准以及工作流程的目录系统,扩大适用性。参考文献:
【1】何志兰.网络信息资源组织一DubIinCore【J】.现代情报,2005(1):83-84.
赵志荣,张小林.GILS:结构、元数据、应用【J】.情报科学,2000,18:816.819.
何小箐.论电子政务档案元数据标准【J】.现代图书情报技术,2003,6:80?81.
政务信息资源目录体系工作组.政务信息资源目录体系第3部分:核心元数据编制说明和征求意见稿Is].2005.
XMLSchemaPartl:StructuresSecondEdition【S/OL】.http://WWW.W3.org/TR/xmlsehema-2/#datatype,2007-01?03.
XMLSchemaPatti:StructuresSecondEdition【S/OLI.http://WWW.W3.org/TR/xmlschema-1/,2007-01-03.
高云君,张学杰,章方铭.XML技术在电子政务信息交换中的应用研究[J】.计算机工程,2003(23):170.179.
周红波,孙宇达,王继霞,等.基于XML的数据交换及其参照完整性研究(J】.计算机工程与设计,2007,28(11):2611.2613.
(上接第529页)
展性好,但是它的缺点也很明显,由于这种模型不要求改动底层DBMS,所以它的改进措施都位于DBMS核心之外,并行性的获取主要是通过数据分块来榨取FO并行实现的。也就是说,在执行实际查询操作之前,所有的数据必须通过数据划分或重划分放到正确的“位置”后,才能开始并行的执行相关操作。在这种模型下,计算和通信是分离的,对于通信量小的操作,计算开销占据主导地位(如并行选择),于是并行化的好处得以凸现出来;但是对于通信量很大的操作(如并行排序、并行连接),无论怎么改进并行算法也无法弥补高昂的通信开销。
基于以上分析,我们提出了一种新的实现模型。它是综合了“半重写变换”模型和“扩充”模型各自的优势的混合模型。我们不妨将基于机群的数据库查询操作分为两大类:通信密集型操作和通信稀疏型操作。对于通信稀疏型操作,我们依然采用“半重写变换”来实现:而对于通信密集型操作,我们则改用“扩充”模型来实现。“扩充”模型是一种需要改动底层串行DBMS的模型,它通过在DBMS核心内部实现并行操作算法,来达到计算和通信的重叠,从而削弱通信开销对总查询时间的影响。从理论上说,这种模型比单一的“半重写变换”和“扩充”模型更适合于在机群系统上实现并行数据库。
4结束语
虽然基于机群架构的并行数据库系统具有可扩展性好、易于开发等优势,但是同机群上的其它应用一样,机群数据库也会遇到通信瓶颈的问题,在选择~种实现模型时,必须充分
?——646??—考虑通信问题带来的影响。
参考文献:
【1】杨利,昌月楼.并行数据库技术【M】.长沙:国防科技大学出版社.2000.
【2】SchikutaE,KirkovitsRClusterbasedhybridhashjoin:Analysisandevahation[C】.ProcIEEEInternationalC∞是咖ceonClusterCom.puting,Chicago:IEEEComputerSocietyPress,2002:461-466.【3】RajkumarB.Highperformanceclustercompmingarchitecturesandsystems[M].Prentice-Halllne,1999.
【4】GoetzGraefe.Implementingsortingindamb勰esystems【J】.ACMComputingSurveys,38(3):10一es,2006.
脚JohnCieslewicz,JonathanBerry,BruceHendrickson.eta1.Rea-lizingparallelismin(Iatabaseoperations:Insightsfromamassiv-elymultithreadedarchitecture[C].Chicago,Illinois:Proceed-ingsofthe2ndInternationalWorkshoponDataManagementonNewHardware,2006.
【6】TheOpenClusterGroup.Oscarclusteruser'sguidesoftwareversion4.2documentationversion4.2.【EB/DK].httrl://oscar.somcefoge.net,2005-10-28.
[7】MichaeUQ.ParallelprogramminginCwithMPIandOpenMP[M】.TheMcGraw.HillCompaniesInc,2004.
[8】VikrumVMySQL:ThecompletereferencefM].McGraw—HillOsborneMeSa,2004.
圆
跚
Ⅲ
阿
阁
m
吲万方数据