基于本体的文本信息检索研究

●杨建林(南京大学信息管理系江苏210093)

基于本体的文本信息检索研究

摘　要:本文对如何构建基于本体的文本信息检索系统进行了探讨,并认为,利用反映概念之间关系的领域本体指导主题标引,利用反映实体之间关系的领域本体指导实体关系标引,并以本体的形式表示文档替代物和查询表达式,可以进一步提高文本信息检索系统的性能。

关键词:本体;信息检索;文本检索;标引

Abstract:The paper discusses how t o construct an ont ol ogy2based text infor mati on retrieval syste m,and thinks that if the subject indexing is based on the domain ont ol ogies describing the relati ons bet w een concep ts,the entity relati on indexing is based on the domain ont ol ogies describing the relati ons bet w een entities,and the docu ment sur2 r ogates and query exp ressi ons are described in the f or mat of ont ol ogy,the perf or mance of the text inf or mati on retriev2 al syste m will be i m p r oved.

Keywords:ont ol ogy;inf or mati on retrieval;text retrieval;indexing

1　引言

基于关键词匹配的传统文本信息检索技术对语义匹配的支持能力较差,其性能取决于用户对方法的理解,具有很大的局限性。尽管基于关键词匹配的检索技术已经经过了多次改进,但是由于没有添加语义处理方面的功能,致使检索性能没有得到根本的改善,那些没有被文字直接表述出来但隐含在文本内容中的一些重要的信息也无法被检索。

近几年,本体理论的发展和逐步成熟为信息检索技术的发展带来了新的动力,同时也为提高检索系统的查准率和查全率提供了更好的保证。作为一种有效表现概念层次结构和语义的理论和方法,本体已经被广泛应用于计算机科学和信息管理领域,并且被成功应用于构建新的智能检索系统。

基于本体的智能检索系统是基于知识的、语义上的匹配,在查全率和查准率上有更好的保证。具体表现为:利用本体,在用户提问检索式构造过程中增加语义指导,消除自然语言理解中的歧义,明确概念含义,使得构造出的提问检索式能够更加准确地反映用户的真实信息需求;使得用户能够更加准确、方便地实现扩展检索和缩小检索;加强检索系统的推理功能,在完成对信息源搜索的基础上,根据相关概念以及相关背景知识进行推理,挖掘出文本中的隐含信息,从而实现基于概念的智能检索[1]。因此,基于本体的信息检索成为一个新的发展方向。

现有的大部分关于基于本体的信息检索研究,讨论的检索对象都是W eb资源,很少涉及无结构的文本。但是,现有的信息检索系统,除搜索引擎外,大部分系统的信息源都是无结构的文本。因此,研究基于本体的文本信息检索依然具有重要的现实意义。

2　本体概念

本体是一个源于哲学的概念,原意指关于存在及其本质和规律的学说,后来被计算机科学领域引入,特指对共享概念模型所作的明确化、形式化、规范化说明,它强调领域中的本质概念,也强调这些本质概念之间的关联。某个领域的本体能够将该领域中的各种概念及概念之间的关系显性地、形式化地表达出来,从而将概念中包含的语义表达出来。

在计算机科学领域,术语“本体”是英文“Ont ol o2 gy”的中文译法。Ont ol ogy在人工智能或信息系统中的中文翻译,国内有不同的名称,如“概念集”、“应用知识体系”,“概念分类体系”,“实体论”,“本体论”、“本体模型”,“本体”、“本体簇”等。由于Ont ol ogy在英语中的新的含义也是引申来的,是一个新概念,所以出现了翻译成不同名称的现象[2]。

在具体的应用环境中如何规范化地描述本体?到目前为止,还没有统一的标准。目前有两种本体表示方法应用相对广泛,第一种是传统的四元素表示方法,第二种是较新的六元组表示法。前者源于Gruber博士的观点,后者则是2002年由新加坡南洋理工大学的Myo M yo Naing博士提出。前者在世界范围内得到了比较高的认同,但是形式

过于灵活,不易掌握。后者因为定义规范,可操作性强,受到了国内广大研究者的欢迎[3]。

四元素表示方法的基本思想是:一个本体主要由概念(Concep ts)、关系(Relati ons)、实例(I nstances)和公理(Axi om s)这4个元素组成。概念表示某个领域中一类实体或事物的集合,关系描述概念之间或某个概念的属性之间的关联,实例是概念表示的具体的事物,公理用来限制概念和实例的取值范围,包括许多具体的规则和约束。六元组本体表示方法将本体定义为{C,A C,R,A R,H, X},其中C表示概念的集合;A C表示多个属性集合组成的集合,其中每个属性集合对应于一个概念;R是一个关系集合;A R是由多个属性集合组成的集合,其中每个属性集合对应于R中的一个关系;H表示概念之间的层次结构关系;X表示公理集合,X中的元素实际上是概念、关系属性之间的一些约束条件。

3　本体在信息检索领域的应用现状

本体是一种技术,它可以在许多涉及知识表示与共享的环境下应用。由于本体具有良好的概念层次结构,并且支持逻辑推理,这使得本体在信息检索,特别是知识检索中得到了广泛的应用。

基于本体的信息检索的基本思想是:在领域专家的帮助下,建立相关领域的本体;收集信息源中的数据,并参照已建立的本体把收集来的数据按规定格式存储在元数据库中;对从用户检索界面获取的查询请求,查询转换器按照本体把查询请求转换成规定的格式,在本体的帮助下从元数据库中匹配出符合条件的数据集合;检索的结果经过处理后返回给用户[4]。

目前,国外关于基于本体的信息检索的研究比较多,相关的研究项目包括:

1)(Ont o)2Agent(基于网络代理搜索本体的本体)。它的研究目的是为了帮助用户检索到所需的、互联网上已有的本体,其中采用了一类叫做参照本体的本体。参照本体是以互联网上已有的本体为对象建立起来的本体,它保存有各类本体的元数据[5]。

2)Ont obr oker(基于本体的分布式半结构化信息获取)。它是用来处理HT ML、X ML和RDF格式的信息源和信息源语义描述的系统,提供信息检索、查询和维护支持服务,其核心是用形式化本体描述背景知识,并明确W eb 文档的语义,以便综合利用本体论的表达能力和推理机制[6]。

3)TextToOnt o。“The Se mantic W eb in One Day”[7]中介绍了一个基于本体的信息检索系统,该系统以文本的元数据和摘要为信息源,采用TextToOnt o自动构建本体,再利用得到的本体对查询表达式进行优化,以提高信息检索的效果。该系统中使用的TextToOnt o是一个采用自然语言处理技术和文本挖掘技术的工具软件,它支持本体的半自动化构建。面向不同的本体学习任务,TextToOnt o提供了一个本体工程师(Ont ol ogy Engineer),该本体工程师拥有各种算法以适应不同的本体学习任务。

4)SHOE(Si m p le HT ML Ont ol ogy Extensi ons)[8]。它是一种基于HT ML的知识表示语言,由美国马里兰大学于1996年开发成功。SHOE对HT ML进行扩展,使其能够用HT ML格式对知识进行表示。SHOE试图提供一种对信息进行标注的方法来表示知识。SHOE提供两类标签(Tag),一类用于构建各种知识本体,另一类用于标注W eb文件。SHOE利用这些特殊的标签将专用的语义数据加到W eb资源当中,以对知识进行表示。SHOE允许表示概念、概念分类以及推理规则,其推理引擎可以通过它们推理出新知识。

5)Ont oSeek[9]。Ont oSeek是基于内容从在线黄页和产品目录中进行检索的系统,把本体用作有语义信息的领域词汇表,将本体驱动的内容匹配机制与一个表示形式化系统相结合,试图将本体论和大词典库相互集成,以便提供一个可以用领域内任意词汇进行交互式语义查询的系统。

国内也有一些学者正在研究如何将本体应用于信息检索领域,但是,基于本体的信息检索还处于实验原型阶段,还没有真正进入商业化实施阶段。国内主要的相关研究包括:

1)万捷等人提出基于内容的信息检索系统,利用本体对检索需求进行语义扩充,并用文档分析器对检索文档进行过滤。

2)徐振宁等人则把本体作为信息检索系统的核心,通过构造形式化的领域本体,提出了一种将知识表示和知识处理引入互联网信息处理的方法,为互联网上半结构化数据和关系数据库提供了统一的语义模型。

3)武成岗等人也提出了基于本体和多智能主体的信息检索服务器,该系统可以利用本体协助智能主体对网络上的各类信息进行领域分类,并规范用户信息检索的模式。

4)郭祥文等人讨论了如何采用本体技术对搜索引擎进行改进[10]。改进的搜索引擎采用全文检索技术,保留了从字(或者词)到文档的倒排索引,通过增加由关键词到领域的索引,消除了关键词在语义上的歧义,支持领域分类。在检索过程中,本体用于对查询表达式进行优化,如果查询表达式中的某个词是某个本体中的一个术语,那么,系统返回这个术语在该本体中的信息,例如,

属于某个领域及该领域的定义、用法示例、相关的主题、同义词,甚至其他语种的同义词,等等。然后,用户可以根据他所关心的领域缩小检索范围,也可以重新构造查询表达式。

5)曹锐等人针对目前在网络化制造环境下制造资源检索过程中存在语义信息表达不足的问题,提出了一个基于本体的制造资源获取和智能检索系统结构。在此基础上,建立了一个多层次信息智能检索模型,并论述了语义检索相关算法,最后给出一个运行实例[11]。

总的看来,在目前的信息检索系统中,本体的主要作用包括:借助于本体,判断文档所属的领域,对文档按领域进行分类;对于用户给出的检索词,利用本体的逻辑推理功能可以判断其所属的可能领域,然后分别将该领域及其属下的相关概念与定义以本体化的形式提供给用户,能够帮助用户把未意识到的、未清晰表达的客观信息需求进一步显性化,等等。

4　基于本体的文本信息检索系统的一般模型信息检索过程涉及3个方面:用户任务(用户需求)、文献的逻辑表示(文档替代物)、相关性判断。为了提高系统的响应速度,信息检索系统一般不直接进行用户需求和文档的相关性分析,而是使用表现形式既简单又相似的需求替代物和文档替代物进行相关性匹配,其一般模型如图1所示。

图1文本信息检索系统的一般模型

文档替代物,如关键词向量,可以通过人工标引或者自动标引获得,生成之后一般不再更新;需求替代物,如查询表达式,一般由用户或者检索系统辅助构造而成。文档替代物是文档的元数据,文档类的替代物是文档类的元数据。从检索效率的角度来看,标引能显著提高全文数据库的查全率和查准率,并能缩短检索时间。检索结果可以是题名、知识、概念含义水平上的信息或全文等多种形式。

文本标引工作至少应该包含主题标引和实体关系标引两个方面,因为文本内部既包含主题信息,又包含实体关系信息,这是两类不同类型的信息,文本信息检索系统应该提供这两类信息的检索入口。

到目前为止,主题标引技术已经比较成熟,被广泛用于信息检索系统之中,实体关系标引技术还需进一步完善,笔者还没有发现以实体关系为检索入口的中文文本信息检索系统。

信息检索系统引入本体技术的一个重要目的是变关键词(或者主题词)匹配为基于语义的匹配,使系统在查全率和查准率上有更好的保证。然而,现有的基于本体的信息检索系统在标引过程中对本体的利用过于简单,只是借助于领域本体,判断文档所属的领域,对文档按领域进行分类。领域本体能否在标引过程中发挥更多的作用,有没有必要对标引功能进行相应的改造,例如,使用本体描述文档,用本体作为文档的替代物,这些都有待继续进行研究。

在标引过程中,本体技术可以发挥更多的作用。但是,应该将领域本体分为两类:一类是反映特定领域内概念之间关系的本体,简称概念关系本体;一类是反映特定领域内实体之间关系的本体,简称实体关系本体。这两类领域本体的作用不同,前者相对比较简单,用于表达概念体系,只包含纯粹的抽象概念之间的关系,例如同义关系、包含关系和实例关系等,后者相对比较复杂,用于表达一些实在的关系,例如,企业之间的兼并关系,合作关系,等等。前者用于主题标引,后者则用于实体关系的标引。

实体关系标引属于信息抽取技术,可视为信息检索技术的一个深化。在标引过程中,实体关系本体可以充当信息抽取框架。实体关系标引的过程可以按以下几个步骤进行:

1)标引系统对文本进行主题标引,识别文本中所包含的主题,并根据文本主题将文本按照领域进行归类。

2)利用文本的领域归属信息从文本中识别出命名实体。

3)利用信息抽取模板将特定的描述信息与实体联系起来,例如将与组织、人物或其他实体相关的基本信息抽取出来,并将这些信息作为实体的属性进行聚集,形成实体对象。例如对人物实体的模板元素抽取,需要信息抽取系统能够抽取出预先定义的人物的名称、职务、国籍等属性。

4)在实体识别的基础之上标注出实体之间的关系。例如职员和组织之间的关系,产品和生产企业之间的关系,以及公司和地区之间的关系,等等。

对文本信息检索系统而言,没有必要使用本体形式的文档替代物,因为文档的多个主题词之间的概念关系比较简单。文档主题词只是某些概念关系本体上的几个概念节点,用标引词向量作为文档替代物就可以了,但是,需要

标注出每个标引词所对应的一个或多个概念关系本体

(有些问题是多个领域的研究对象)。同样,相应的查询

表达式也没有必要采用本体形式。对于W eb 信息检索而言,由于信息源以HT ML 或者X ML 语言表达,是半结构化的文本,识别其中包含的各种元数据相对比较容易,元数据之间的关系也比较复杂。

因此,使用本体形式的文档替代物比使用关键词向量形式的文档替代物更加准确,描述元数据之间的各种语义关系也更加容易。同样,相应的查询表达式也应该采用本体形式。也就是说,基于本体的W eb 信息检索系统应该以本体的方式表示文档和查询,应该实现基于本体的查询和文档匹配,才能更好地实现基于语义和知识的W eb 信息检索。

因此,笔者认为,基于本体的文本信息检索系统,其一般模型应该如图2所示,基于本体的W eb 信息检索系统,其一般模型应该如图3所示。多媒体信息检索系统可以进行类似的改造

。

图2

基于本体的文本信息检索系统的一般模型

图3基于本体的W eb 信息检索系统的一般模型

5　结论

利用反映概念之间关系的领域本体指导主题标引,利

用反映实体之间关系的领域本体指导实体关系标引,并以本体的形式表示文档替代物和查询表达式,可以进一步提高文本信息检索系统的性能。本文提出的这些思想将在成都数图公司的D I PS 系统中实现和验证。

然而,如果采取上述方式构建信息检索系统,那么系统的复杂性、系统实现的难度都将会增加很多,有许多方面的问题需要解决,例如:如何利用领域本体集合对文档进行标引,生成文档的本体形式的替代物(即文档本体);如何利用领域本体集合生成本体形式的用户查询

(即查询本体);如何科学地度量查询本体与文档本体的

相关度;如何对本体进行索引,尽可能地保持信息检索系统的响应速度,等等。我们将在以后的工作中进行进一步的研究。□

参考文献

1　刘肖静,耿骞.Ont ol ogy 与面向概念的网络信息检索.情报

理论与实践,2004(6):638～641,568

2　常春.Ont ol ogy 在信息管理领域的研究背景.现代图书情报

技术,2003(6):4～7

3　余一娇.语义网和语义网格中的本体研究综述.htt p://

97705.x2.myrice .com /cgi 2bin /t op ic .cgi ?f orum =12&t op ic =89,2005207224

4　张红.语义网中的本体推理及其应用研究.htt p://s oftlab .

jlu .edu .cn /te mp /thesis/2004zhang hong .doc,20052062145　A r p irez J,et al .

(Ont o )2Agent :An Ont ol ogy 2based WWW

B r oker t o Select Ont ol ogies .I n :Gomez Perez A ,Benja m ins V R ,eds .Pr oceedings of the Workshop on App licati on of Ont ol ogies and Pr oble m Solving Methods .[s .

l .]:[s .

n .],1998.16～24

6　曹树金,马利霞.论本体与本体语言及其在信息检索领域的

应用.情报理论与实践,2004(6):632～637

7　Sure Y,et al .The Se mantic W eb in One Day .htt p://encarta .

bl ogchina .com /133378.ht m l,2005206214

8　Heflin J,Hendler J,Luke S .SHOE:A B luep rint for the Semantic W eb .

htt p://www .

cse .

lehigh .

edu /～heflin /pubs/s w 2

book03.pdf,2005207221

9　Guarino N,Mas ol o C,Vetere G .Ont oSeek:Content 2based Ac 2

cess t o the W eb .I EEE I ntelligentSyste m s,1999(3):70～8010　郭祥文等.基于本体论的信息检索.云南大学学报(自然科

学版),2003(4):324～327

11　曹锐,陈刚,蔡铭.基于本体的网络化制造资源检索.计算

机工程,2004(3):143～146

作者简介:杨建林,男,博士,副教授。发表论文19篇。

主要研究方向:数据挖掘、信息检索等。

收稿日期:2006-02-23