008018数据库和信息检索技术的融合

封面报道

引言

在过去的几十年间，数据库（Database，DB）和信息检索（Information Retrieval，IR）作为两个独立的计算机科学研究领域向前发展，都取得了巨大的成功。数据库的成功来自于上世纪70年代和80年代对商业数据处理的迫切需求，关系数据库成为存储和检索结构化数据的主要技术。而信息检索在过去的几十年间主要被应用于图书馆、资料库等的文档检索中，其影响力由于受到应用领域的限制也很有限。但是，随着上世纪90年代互联网的兴起，基于信息检索技术的互联网搜索引擎成为人们获取信息的主要方式，因此，信息检索技术引起了学术界和工业界的广泛兴趣。

信息检索和数据库有一定的关联。信息王 珊 文继荣中国人民大学

数据库和信息检索技术的融合

检索是指将信息按一定的方式组织和存储起

来，并根据用户的需要找出相关信息的过程。信息检索的对象是非结构化的数据（通常是文本）。信息检索技术通过构建检索模型，可以度量用户需求和数据之间相关性，并根据相关性将数据排序，其主要目标是提高检索的查准率（precision）和查全率（recall）。数据库处理的对象主要是结构化数据，其检索的目标是得到所有满足清晰定义的查询条件的数据（常常用关系代数表示查询条件）。除此之外，数据库需要保证数据的可靠性、操作的正确性、系统的高效性和稳定性等。表1是冯·里斯伯尔根（C. J. van Rijsbergen）对数据库和信息检索的比较。

近年来，数据库和信息检索都出现了向对方领域渗透和融合的趋势。例如，在数据库的主要国际会议SIGMOD 1和VLDB 2，以及信息

关键词：数据库 信息检索

信息检索非结构化概率的归纳

非人工语言（关键词等）不完全

部分匹配，最佳匹配相关不敏感面向用户

表1 数据库和信息检索

数据模型推断查询语言查询表述匹配查询的目标错误敏感度使用

数据库

结构化确定性的演绎

人工语言（SQL等）完全完全匹配匹配敏感面向应用

1 Association For Computing Machinery Special Interest Group On Management Of Data 2

Very Large Data Base

检索和互联网的主要国际会议SIGIR3和WWW4上，都连续召开了关于数据库和信息检索结合（DB+IR）的研讨会。与计算机领域其他新技术的出现一样，这种趋势背后的推动力主要来自于以下新近涌现出来的应用的需求。

1．从面向应用到面向用户

随着互联网成为用户获取信息的主要渠道，越来越多的数据库被置于互联网上直接供用户查询，例如亚马逊（Amazon）网站就是一个典型的互联网数据库。传统的数据库系统是面向程序员和高级用户的，使用的是类似于SQL5这样的语言，由于语法复杂和需要预先知道数据库模式（schema），因而一般用户使用起来很困难。同时，由于数据库查询缺少对相关性排序的支持，用户难以有效地从成千上万的查询结果中发现所需要的信息。因此，对这些直接面向用户的数据库提供类似于网页搜索引擎一样易于使用的检索功能，成为一个普遍的需求。

2．从单一类型数据到多种类型数据

目前，越来越多的应用需要同时检索结构化数据和非结构化数据。例如，在一个论文数据库中，每一个记录既包含论文的结构化属性，例如标题、作者、日期、会议和引用等，也包含非结构化属性，例如摘要和论文主体等。在一个公司内部，存在着丰富多彩的数据，不仅有无结构的文档、半结构化数据（XML6等）和结构化数据（数据库等），还有图片、视频和音频等多媒体数据等等，类型很多。传统上，结构化数据和非结构化数据分别由独立的数据库系统和信息检索系统进行处理。因此，如何构建一个统一的系统来无缝地检索结构化数据和非结构化数据成为一个挑战。

3．从可靠数据到不确定数据

在传统的数据库应用中，总是认为数据是正确可靠的。但是在很多实际应用中，尤其是当数据从多个不同的数据源提取和集成而来时，数据内容的不确定性和歧义性是非常普遍的。因此，用户需要类似于信息检索系统的模糊查询功能来容忍这种不确定性。

4．从纯文本检索到半结构化、结构化文本检索

传统的信息检索在很大程度上等价于纯文本检索，检索的对象被看作完全无结构的字符串。然而，很多文档都是具有一定的内部结构的。例如，一篇论文具有标题、作者、摘要、章节和参考文献等。信息检索中的结构化文档检索技术利用了这些文档结构来改进检索。又如，HTML7网页本质上是一种半结构化的文档，一个网页具有标题、URL8、链接描述文字（Anchor Text）、内部表格、段落以及页面链接等。现有的搜索引擎都充分利用了这些结构信息来对查询结果进行更好的排序。例如，由于标题和链接描述文字对网页的语义描述更加精确，搜索引擎往往在排序函数中给予它们更高的权重。由此可见，在信息检索领域，研究人员也充分认识到数据中结构的重要性，并对其加以利用。

5．从通用搜索到特定领域搜索

现在的通用网页搜索引擎返回给用户的并不是最终的答案，而是一个含有相关信息的页面集合。这些页面中的信息繁杂无序，用户需要自己从中提炼出所需信息。例如，如果用

3 Special Interest Group on Information Retrieval

4 World Wide Web

5 Structured Query Language，结构化查询语言

6 eXtensible Mark-up Language，扩展的标记语言

7 HyperText Mark-up Language，超文本标记语言

8 Uniform Resource Locator，统一资源定位器

封面报道

户输入“数据挖掘”来查找与数据挖掘相关的论文，那么搜索引擎返回的页面中，除了有少量的论文信息，还包含数据挖掘公司的产品信息，以及数据挖掘的研究小组、论坛上有关这一技术的讨论，也有数据挖掘方面的培训信息和会议通知等等。为了解决这一问题，人们希望能够在自己感兴趣的领域内进行搜索，从而出现了特定领域搜索（Vertical Search）技术，例如论文搜索、购物搜索、房产信息搜索和求职搜索等。在一个特定的领域中，数据往往具有相似的数据结构，用户希望利用这些结构信息来进行更深入的搜索。例如，在购物搜索中，除了查找相关的商品，还可以将检索限制在一定的品牌和价格范围内。实现特定领域搜索需要同时利用到信息检索和数据库技术。

6．从Surface Web到Deep Web

实际上，通过搜索引擎只能找到互联网上的一小部分数据。大量的数据则是被存储在数据库当中，只能通过特定的查询界面来查找。这些互联网上搜索引擎搜索不到的数据构成了所谓的Deep Web9。劳伦斯（Lawrence）和贾尔斯（Giles）在1998年估计，互联网上有80%的内容存储在Deep Web中。伯格曼（Bergman）则在2001年的一项研究中发现，存储在Deep W e b中信息是通过搜索引擎可以找到的信息400~550倍，并且还在不断增长。造成数据库中的数据被隐藏的主要原因就是搜索引擎不能直接访问数据库系统。如果数据库系统能支持基于关键词的信息搜索，那么在互联网上发现存储在数据库中大量信息的过程就会变得简单容易。

非严格地说，需求1、2、3主要来自于数据库应用，而需求4、5、6主要来自于信息检索和互联网搜索应用。为了满足上述应用的需求，数据库检索（Database Retrieval或Data Retrieval）技术在近年来成为了一个研究热点。其目标是将信息检索中基于概率的相关性检索技术与数据库中基于代数的结构化数据查询技术结合起来，构建一个像信息检索系统一样易于使用，同时又像数据库系统一样能充分管理和利用结构化信息的系统。但是，作为一个新兴的交叉领域，数据库检索的具体需求和设计目标还存在许多不明晰的地方。下面，我们用一个具体的例子来探讨构建一个数据库检索系统所面临的主要问题和挑战。

实例：论文检索系统

设想我们从互联网和其他数据源中获取了大量的论文和作者信息，并将其存储在一个关系数据库（或者XML数据库）中，称之为文献数据库。它包括4个表。一个是Paper（论文）表，存储所有的论文信息，其主要属性为PaperID（论文标识）、Title（标题）、Year （年）、Conference（会议）、Abstract（摘要）和Body（主体）等；一个是Author（作者）表，存储所有的作者信息，其主要属性为AuthorID（作者标识）、Name（姓名）、Affiliation（关系）、Email（电子邮件）和Homepage（主页）等；一个是Write（写作）表，存储作者写论文的信息，包括AuthorID （作者标识）和PaperID（论文标识）等属性。显然，Author表的AuthorID与Write表的AuthorID 属性形成主外码关系，Paper表的PaperID与Write表的PaperID属性形成主外码关系；最后一个是Cites（引用）表，存储论文之间的引用关系，包括Citing（引用）、Cited（被引用）等属性。Paper表的PaperID与Cites表的Citing和Cited分别构成了主外码关系。文献数据库的关系模式如下图所示。

现在，我们准备在文献数据库上构建一个搜索引擎，并将其发布到互联网上供用户使用。作为一个检索系统，我们希望该系统能提供易于使用的查询语言、丰富的查询功能、准

9 深层网页、动态网页、网上隐形资源

是最终用户喜欢的方式。而在示例3中，用户需要明确地指出检索对象的逻辑结构，这是传统的关系数据库管理系统支持的功能，只需要适当扩展相关性排序功能。甚至有一些研究人员进一步提出，用户最好也能控制相关性排序函数Relevance的具体实现。

检索的基本单元和数据模型

在信息检索中，检索的基本单元通常是明确的，即文档。然而，在数据库检索中，对于什么是基本的检索单元则不是那么清晰。在最简单的情况下，如果所需的信息被完整地包含在一条记录中，则该记录可以被当作检索的基本单元。例如，在前面的论文检索系统示例中，要查找中国人民大学的某位作者，可以在Author表中找到。但是，在很多情况下，数据库中数据的逻辑结构并不总是与用户希望检索的内容严格对应，满足查询要求的信息经常分布在多个表或记录中。例如，在Author表中，作者的论文信息并不存在于该表中，而是在另外两个表（Paper表和Write表）中。因此，当一个查询需要同时使用作者和论文信息时（如示例3），我们需要对Author表、Paper表和Write表进行连接操作，并将连接生成的表作为检索的单元。换句话说，数据库检索的基本单元通常是不确定的，需要根据查询的语义覆盖范围而动态决定，这实际上是其区别于传统信息检索的一个非常重要的特性，也是数据库检索研究中的一个主要课题之一。

确的检索结果和快速的响应时间。检索语言

现有的数据库检索系统所支持的查询语言种类繁多，从最简单的关键词查询，到较复杂的扩展布尔查询、谓词查询，再到复杂的SQL 以及扩展的SQL查询。例如，在前面的论文检索系统里，如果我们希望找到数据库检索领域的重要研究人员，可以使用如下的查询：

示例1 （关键词查询）database retrieval researchers

示例2 （扩展布尔查询）(database retrieval

OR 10

data retrieval) AND researchers

示例3 （扩展的SQL查询）Select https://www.360docs.net/doc/a66674055.html,

From Author, Paper, Write

Where Author.AuthorID=Write.AuthorID and Write.PaperID=Paper.PaperID Group By Author.AuthorID

Ranked By Relevance(Paper.*, "database retrieval")

/* 扩展了相关性排序部分 */

总体来说，检索语言模型的选择需要在语法的简洁性、表达能力的丰富性和查询处理的复杂性这几个方面之间做出选择和平衡。面向最终用户的语言需要简单易用，而高级用户则需要丰富的查询功能和更多的灵活性。例如，在示例1中，关键词查询只是非常概要地指定

了所需要的信息，而不关心如何完成检索，这

文献数据库的关系模式

10

OR 或关系；AND 与关系

封面报道

解决这一问题的一个基本思路是不再将表或记录看作独立的实体，而是将整个数据库看作一个（有向或无向）图。其中图的节点是表或记录，边是表或记录之间的主码-外码关系，检索的目标是从图中找出满足查询条件的子图作为查询结果并进行相关性排序。例如，给定关键词查询（Hristidis, Papakonstantinou），系统从文献数据库的数据图中检索满足条件的Top-k个子图。图1是结果子图的一个例子，该图表示H r i s t i d i s和Papakonstantinou合作撰写了一篇文章。

XML检索系统也采用了类似的思路。一个XML数据库被自然地视作一个有向标记图或树，查询结果是满足查询条件的XML片断。显然，如何从图中高效地找到与查询匹配的子图是一个主要挑战，许多研究工作致力于开发出高效准确的算法来解决这一问题，如后面所述。

高效的检索算法

当前的数据库检索系统都是建立在模式非常简单、数据量比较少的数据库的基础之上，而那些处理模式比较复杂、数据量非常大的数据库的能力也不能令人乐观。

目前对检索算法的研究大体可分为基于数据图和基于模式图两类。

基于数据图的算法是把数据库中元组和元组之间的主外码关系构成的数据图放入内存中，通过DBMS11提供的IR引擎（全文索引机制）生成包含查询关键词的节点集合，在此基础上，在数据图上搜索满足条件的子图作为结果。比较典型的算法包括BANKS系统的后向扩展算法和双向扩展算法。

基于模式图的算法是把数据库的表和表之间的主外码关系构成的模式图放入内存中，基于模式图和包含查询关键词的节点集合来生成候选网络，通过执行候选网络对应的SQL语句来产生结果。比较典型的算法包括IR-Style系统的Top-k算法等。

显然，数据图方法比模式图方法执行效率高，但是占用内存多。图2(a)和图2(b)分别描述了基于数据图的算法和基于模式图的算法的查询处理过程。从图中可以看出，DBMS提供的全文索引机制是数据库检索的基础。

为了提高系统的检索效率，我们已经做了很多工作。在数据图算法方面，我们自主研发了数据库检索系统Detector，提出一种基于数据图的动态规划的检索算法。在通常情况下，其检索效率高于一般的数据图算法，检索的效果也很理想。

在模式图算法方面，影响系统性能的主要因素是生成候选网络的过程和执行候选网络对应的执行SQL语句的过程，据此我们对现有的模式图系统作了改造，大大提高了系统的执行效率。为减少查询过程中生成候选网络的时间，我们提出了一种预处理技术，能够预先生成部分候选网络。实验证明，使用预处理技术后，系统的检索效率提高了约2个数量级。为减少执行候选网络的时间，我们采用机器学习的方法对候选网络进行裁减，只执行有可能产生Top-k12结果的候选网络。实验证明，使用

图1 文献数据库的数据子图

11 Database Management System，数据库管理系统

12 一种查询技术

裁减的算法比原算法的检索效率提高了数倍。而且，使用这种裁减方法后，系统的检索效果（查全率和查准率）仍然比较理想。

相关性排序

相关性排序是信息检索领域的一个核心问题，其基本思想是计算查询与检索单元之间的语义相似性，然后根据相似性来对查询结果进行从大到小的排列。随着互联网搜索引擎的发展，人们发现检索单元（网页）的权威性和重要性对于排序也很重要，好的检索结果应该是既相关又重要的信息。因此，一些有效的算法，例如乔恩_克莱因伯格（Jon Kleinberg）的HITS算法13和谷歌（Google）的PageRank算法14，被用于计算网页的权威性。一般来说，查询与

检索单元之间的语义相似性被称为动态相关性，而检索单元自身的权威性被称为静态相关性。在数据库检索中，人们也致力于研究相似的算法来计算动态相关性和静态相关性。

数据库检索的动态相关性可以采用现有的信息检索模型，例如向量模型、概率模型和语言模型等，这些模型很好地刻画了文档和查询之间的语义相关性。但是，如前所述，数据库检索中的检索单元往往是由多个表的连接操作生成，查询词可能分布在多个表的不同记录中。换个角度看，如果数据库被表示成一个图，则所有查询词可能出现在一个节点（记录）中，也可能出现在一个子图中。因此，与信息检索中计算词的近邻性（proximity）相似，一个合理的假设是：一个包含所有查询词

的“小”子图，其动态相关性可能比一个包含

(a) (b)

图2 数据图算法和模式图算法比较

13

Hypertext Induced Topic Selection，超文本感应主题选择14

1998年谢尔盖·布林与拉里·佩奇提出的算法

封面报道

所有查询词的“大”子图高。因此，一些数据库检索系统将这个特性加入了排序函数中，例如，DBXplorer和Discover系统15根据生成子图所需要的连接次数来计算相关性。但是，我们注意到，现有的数据库检索对传统检索模型的利用还不充分，有待进一步研究。

同时，受到网页链接分析的启发，近年来一些工作开始探讨是否可以使用相似的算法来计算数据库记录（或对象）的静态相关性。这种想法是非常自然的，因为数据库中的对象和它们之间的关系也形成了一个图。一个对象的权威性受到它所关联的其他对象的影响。例如，在前面的论文检索例子中，一篇论文的权威性可以根据引用数目、论文的作者、所发表的会议等因素推导出来。在网页图中，只存在一种对象（网页）和一种关系（超链接）。而在数据库图中，往往存在多种对象和多种关系。所以，我们需要对PageRank这样的链接分析算法进行扩展来计算对象的权威性，这方面的典型算法有ObjectRank和PopRank等。一旦我们能够计算对象的权威性，并与动态相关性结合起来，就能产生更好的排序结果。例如，对于查询“database retrieval researchers（数据库检索研究人员）”，我们不仅能找到相关的研究人员，还可以根据他们在该领域的声望进行排序。

另外，由于应用需求的多样性，一些用户可能希望能够自行定制排序算法。例如，在示例3中的Relevance函数中调节各个排序因子的权重，这就要求排序函数具有一定的灵活性，在这方面也有一些工作在进行。

结果展现

结果检索出来以后，就要展现给用户阅读。但是，检索结果的展现并不是一个简单的问题。一方面，检索的基本单元是单个元组或多个元组的连接子图，由于关系数据库的规范化，单个元组表达的信息往往不完整，而多个元组的连接子图的逻辑含义又不容易被用户理解；另一方面，由于多值依赖的缘故，经常会产生大量类似的结果，使用户感到厌烦，而且不容易找到真正所需要的信息。目前的数据库检索系统对结果展现都做了一些工作，但是展现效果都不够理想，离实际应用还存在很大距离。

最近，我们提出一种聚类展现检索结果的方法，在一定程度上提高了用户浏览结果的效率。与传统的基于内容的聚类不同，我们针对检索结果的特点，提出了一种基于结构和内容的两级聚类方法，包括模式（Pattern）聚类和内容聚类两步。

首先，我们在不同数据集上做观察，发现许多检索结果（元组的连接子图，在本节称之为“结果树”）具有同样的模式。例如，在DBLP16数据集，关键词的查询(Jim Gray（吉姆·格雷）, Transaction)生成很多结果，一些结果属于“Jim Gray写作关于Transaction的论文”这种模式，而另一些结果属于模式“Jim Gray的论文被关于Transaction的论文引用”，再一些结果属于模式“Jim Gray的论文引用了关于Transaction的论文”。而用户所真正需要的答案，可能属于上述的某一种模式。因此，我们按照模式的不同将结果聚成多个类别，使用模式信息作为每一类别的类别描述，用户只需浏览类别描述就可以确定这类结果是否是自己所需要的，这样形成了第一级类别。

进而，我们发现某些模式下的结果数目仍然很多，考虑到用户最敏感的是输入的关键词，我们根据含关键词的节点的内容对第一级类别做进一步划分。例如，对于关键词查询（Gray, Transaction），我们根据含“Gray”的节点内容聚类，这样就把不同的“Gray”，如Jim Gray、W.A.Gray的结果分离开来，用户只需要检查每一个子类别的类别描述（Jim Gray）或（W.A.Gray），就能确定这类结果

15 数据库检索工具，适用于所有的主流数据库

16 Data base System Logic Programming，一个计算机专业论文库网站，网址为http://dblp.uni-trier.de/

是否是自己感兴趣的。

另外，对于每个结果，以及每个类别描述，我们都用图形化的方式展现出来，便于用户理解结果的含义。图3所示的就是MDB数据集17上检索结果聚类展现的一个示例，图4则是图3中结果树所属的一级类别的类别描述。实验证明，

我们这种聚类展现方法有助于提高用户的浏览效率，而且系统的执行效率基本不受影响。

体系结构

最后，我们来探讨数据库检索中的一个基本问题：数据库检索系统应该基于什么样的体系结构？这是一个充满争议的问题，没有一个公认的结论，因为采用什么样的体系结构与多个因素有关，包括所支持的查询语言、检索的单元、排序算法的选择、数据量的大小、响应时间的要求和系统的可扩展性等等。下面我们简要分析一下几种可能的体系结构。

1．基于数据库引擎并对某些数据类型提供全文检索功能的系统。事实上，现在的主流关系数据库系统基本上都采用了这种方式。SQL Server 2000、Oracle 9i Text和IBM DB2 Text Information Extender等都支持对文本属性的全文索引和检索。显然，这种方式本质上是以属性为索引单位，无法有效支持对多个属性、多个表、多个记录的统一检索，从而在检索功能上受到了很大限制。

2．基于结构化文档检索系统。很多检索系统支持一定程度的结构化数据存储、索引和检索。例如，由于H T M L网页具有内在的结构，搜索引擎需要分别处理网页的标题、U R L、链接描述文字、内部文本和页面链接等。但是，现有的检索系统对结构化数据的支持是很有限的。原因有如下三点：首先，数据的结构往往是预先定义的，难以处理具有不同结构的数据和对结构进行扩充；其次，它们往往不支持结构化数据的索引（如B+树）和查询（如选择、连接等）；再次，这些系统无法提供数据库中一些很有效的技术，如查询优化和缓冲区管理等。

3．采用中间件技术集成分离的数据库系统和信息检索系统。在这种方式中，数据库系统管理结构化数据，而信息检索系统管理非结构化数据。但是，这种方法本质上是把所有的问题留给了中间件来解决，数据库系统和信息检索系统无法充分利用对方的功能。

4．基于对象存储系统的检索引擎。既然直接利用现有的数据库系统和信息检索系统都会有不同的缺点，我们可以考虑设计一个存储系统来存储数据库对象。然后基于该存储系统构建一个数据库检索引擎。这种方式具有最大的灵活性，但显然需要很大的工程量。

在现有的实际系统中，前面三种体系结构

图4 一级类别描述

图3 检索结果的聚类展现

17 ACCESS数据库格式

封面报道

都得到了采用，而第四种体系结构仍处于研究和开发阶段。

结语

数据库检索作为一个新兴的交叉学科，在学术上和实践上都具有重要意义。目前在这一领

王 珊

中国人民大学教授, 博士生导师。中国计算机学会副理事长、数据库专委会主任。目前主要研究领域是高性能数据库系统新技术、数据库检索新技术、数据工程与知识工程等。

文继荣

博士，微软亚洲研究院的研究员和项目负责人，主要研究方向是互联网数据管理、信息检索（特别是互联网搜索）、数据挖掘和机器学习。

域的研究已经取得了一定的进展，也开发出了一些实际系统。同时，我们也看到，这一领域的研究远未成熟，很多重要的问题还未得到解决。然而，正因为如此，它也成为了一个令人兴奋的研究领域。数据库和信息检索两个方面的研究人员正在共同努力推动这一领域的发展，我们期待更多的成果能很快源源不断地产生出来。