机器学习与概念语义空间生成

机器学习与概念语义空间生成

何清 史忠植

摘 要 本文综述了机器学习在文本信息处理中的应用，特别对概念语义空间生成中的机器学习技术进行了详细分析和阐述。概念语义空间是针对关键词检索过程中，由于检索词的差异造成的检索结果差异的问题而建立的支持相关概念的索引机制。文中分析了这一技术产生的背景，阐述了与概念语义空间密切相关的文本检索技术、搜索引擎技术的发展，以及在知识管理中的应用情况。最后指出了概念语义空间进一步发展的基础和发展的方向。

1 引言

随着计算机的发展和互联网的普及，对海量文本信息处理的需求越来越迫切。这使得机器学习技术在基于语料的文本信息处理中获得了快速发展。基于统计和经验的方法已经超出了传统机器学习的范畴，发展了一些独特的方法和技术。在过去十来年，统计学习方法改变了依靠手工建立语法和知识库以及文本目录索引的状况，通过对大量已标注的和未标注的自然语料的训练可以部分或全部自动地完成上述过程。但是自然语言处理中仍然存在许多尚未解决的问题，甚至是影响到自然语言处理的基础性的核心问题。在文本检索过程中如果只使用关键词匹配技术往往会遇到词汇不匹配。这是因为存在表达差异。关键词匹配检索模式往往基于这样一种基本假设：仅在一个文档含有与查询完全相同的词汇时，它们才相关。这种相关性匹配实际上是基于表层的匹配(Surface-Based Matching)。然而，人类的自然语言中，随着时间、地域、领域等因素的改变，同一概念可以用不同的语言表现形式来表达。因此即使对于同一概念的检索，不同的用户可能使用不同的关键词来查询。例如当用户查询“计算机”和“电脑”两个词的时候其实是在查询同一件事情。而基于表层的匹配不可能检索到同一概念的多种语言表达形式。因此，词汇不匹配将导致系统的查全率降低。姚天顺教授曾经举了一个用“红苹果”、“红的苹果”、“红色苹果”、“红色的苹果”在网上检索，结果存在巨大的数量差异的例子，说明自然语言处理和信息检索在技术上没能很好地融合[1]。这一问题的产生有很多方面的因素。从根本上说是目前机器对自然语言不能完全理解。具体到这个例子来说，就是缺乏对红苹果这一概念的语义表达。从目前技术状况来看，尽管我们付出了大量努力，但是要达到使计算机对自然语言完全理解这一目标差得还很远。对于解决上述问题在目前可能达到的目标也许只能是通过机器学习对原始语料中概念之间的语义关联进行挖掘，对这些语义关联给出合理的表示，从而产生一些常识性的概念语义。

2 概念语义空间产生的背景

所谓概念语义空间，就是对文本集建立的能反映文本集中概念之间语义关系的一个索引。这是为克服关键词检索过程中，由于检索词的差异造成的检索结果差异而建立的支持相关概念的索引机制。概念语义空间与文本检索、搜索引擎、知识管理密切相关，它是基于目前自然语言处理技术的进展状况而产生的。

2.1 机器学习与自然语言处理

统计方法在语音识别方面的成功[2]，促进了类似方法在自然语言处理其他方面的应用。现在各种机器学习方法几乎都应用到了自然语言处理的不同方面，包括词法、句法分析[3]、歧义消除和理解[4]、会话过程和信息抽取[5]以及机器翻译[6]。然而，传统的人工智能中的机器学习对计算语言学的研究贡献有限。这是因为基于机器学习和基于经验的自然语言处理需要通过相互交流、相互促进才能发展。

现在自然语言处理中大多数机器学习的研究都借助了语音识别中特定的统计技术如：隐马尔科夫模型（Hidden Markov Models, HMMs）、概率上下文无关语法（Probabilistic Context Free Grammars, PCFGs）。其它各种学习算法包括决策树、规则归纳、神经网络、基于示例的方法、贝叶斯（Bayesian）网络方法、归

纳逻辑程序、基于理解的学习。遗传算法也能用于自然语言处理，并且在特定的应用中有其优势。另外，一些特别的机器学习算法如主动学习、推进（Boosting）算法、修正学习、有知识背景的构造归纳学习、理论修正、经验评价法、PAC （Probably Approximately Correct）学习等对处理自然语言问题是非常有用的。事实上已经有一些文献提出了利用机器学习技术进行自然语言处理的特定方法。这表明目前的研究已经不局限于研究UCI（University of California at Irvine）数据库中由标准数据集提供的特征向量的分类问题。计算语言研究组织和机构已经收集了很多有趣的涉及许多自然语言问题的文本数据集。其中有些问题通过选取合适的特征可以退化为标准的分类问题，但是其他一些问题需要采用或建立复杂的数据结构，如完备的句子或解析树来解决。

以上表明，机器学习能为自然语言处理提供一系列非传统的学习方法的同时，还能提供一般的方法论的指导。反过来，自然语言处理为机器学习提出了各种有趣的和富有挑战性的问题。这些问题常常具有一些特定的特征，如：非常大的特征空间和极度稀疏的数据。另外，统计语言学对机器学习的一个不太明显的潜在贡献是引入了一些新的机器学习算法,如最大熵方法、指数模型方法。这些方法在传统机器学习的文献中没有很好地论述。它们可能会像HMMs和PCFGs在分子生物学中的成功应用一样有效地被用于其它机器学习问题。

机器学习技术与自然语言处理任务有着密切的联系，下表中列出了他们之间的关联关系。

机器学习技术自然语言处理任务

指数语言模型 文本分割

隐马尔科夫模型 名称实体识别

概率学习 切词

基于示例的学习

文字与发音转换，语音标注， 介词词组的捕获，划分名词词组

概率与基于相似性的学习 处理稀疏数据，伪歧义词分析

筛法 感知上下文的拼写修正

决策树，Boosting 句法分析

最大实体模型 句法分析

规则学习 概念抽取

表1 机器学习技术与自然语言处理任务对照表

1999年Claire Cardie和Raymond J. Mooney编辑出版了机器学习杂志的一本专缉[7]，该专辑收集了当时在自然语言处理领域机器学习技术的典型应用。其中还介绍了一些端到端的自然语言应用，如Golding & Roth 的感知上下文的拼读修正系统，以及完整的信息抽取系统。该专辑特别提到Soderland的概念抽取模式和Bikel的能够准确识别姓名、日期、时间、数字的系统。

以上主要涉及到文本微观信息处理与相应的机器学习技术，一般是处理一篇文档所涉及到的问题。从宏观上如何处理海量文本信息，特别是随着网络的飞速发展，如何快速为海量文本信息建立分类目录有效地组织网上海量信息，以及如何建立具有某种程度语义的索引机制就是当前乃至今后相当一段时间的研究热点。

2.2 文本检索技术的发展

实际上概念语义空间的最重要最直接的应用是文本检索。下面我们看一看文本检索发展的历程。

Gerald Salton从70年代就开始从事文本检索的研究。他所提出的向量空间模型（Vector Space Model）已经成为现在的文本检索系统以及网络搜索引擎的基础。

在70年代，文本检索引入了倒排索引（Inverted index）以及向量空间（Vector space）模型。另外，创立了基于贝叶斯统计（Bayesian statistics）的布尔方法（Boolean retrieval method）和简单概率获取模型（Simple probabilistic retrieval models）。虽然已经经过了近30年的历史，这些技术至今仍然构成当今文本检索技术

的基础。

在80年代，与新的人工智能技术的发展同时，产生了一些模拟专业文献搜集者和领域专家的专家系统。使用了对用户建模以及自然语言处理等技术来辅助对于用户和文档的表示。并且产生了一些研究用的原型系统。

在90年代初期，当研究者们认识到了创建领域知识库的困难之后，试图采用新的机器学习技术用于信息分析。这些技术包括神经网络、遗传算法、符号学习等。概念语义空间技术就是在这个年代提出的，但当时处于初步研究探索阶段。

90年代中期之后，随着搜索引擎的普及以及网络Spider （蜘蛛程序），超链分析等技术的发展，文本检索系统已经成为更新的并且更强大的用于网络内容的搜索工具。概念语义空间技术的研究取得突破，并在美国的数字图书馆领域得到应用。

文本检索技术一直是信息科学工作者和图书馆管理员关注的焦点。文本检索的目的是要对于用户的请求给出相关的资料。在计算机得到普及之前，我们经常依靠人工来完成这个任务。图书馆的管理员需要知道自己所管理的资料并且知道它们的内容，然后借助人工的索引、摘要或者图书馆目录等工具来找到相关的信息。然而，随着计算机的普及以及互联网的发展，使得这些方法变得越来越不可行。这主要是由当前互联网上信息的特性所决定的。

首先，互联网上的信息是没有组织的。在图书馆里存放的是按照特定领域分类的文档，而互联网上的信息并非如此。与图书馆不同，在互联网上的信息更为混乱，并且所包含的信息的质量经常并不是很高。互联网是分散的、动态的、多样的，要在网上找到所需要的信息是一个挑战。

其次，互联网上信息的形式是多种多样的。虽然文本信息占了主要部分，然而图形、音频、视频信息也占了相当大的部分，而且比重在增大。

第三，互联网上的信息容量是十分巨大的并且增长十分迅猛。这给信息检索带来了更大的挑战。根据Cyveillance 公司到2000年7月10日的统计表明当时互联网共有21亿个网页，平均每天增加730万个。 总之，我们必须找到一些方法使我们能够在海量的信息里面搜索到所需要的有用的信息而不至于被大量的信息所淹没。

2.3 文本检索系统的性能评价

评价文本检索系统性能的一个关键概念是“相关性”（relevance ）。它是用来判断获取的文档集合对于用户需求满足的程度。相关性是一个主观的概念。相关性的度量不仅仅依赖于用户的查询和所搜索的文档的集合，还与用户的个人需求、偏好、知识、语言等有关系。

通常将“查准率”和“查全率”这两个指标共同用来衡量检索系统的性能。查准率表明系统的精确性。查全率反映了系统的覆盖性。这两个量不是独立的，其中一个指标的提高往往以另一个指标的降低为代价。

查准率(Precision )：是信息检索的性能指标，定义为被检索到的相关文档数除以所有要检索的文档数。

|

}{||

}{}{|Retrieved Retrieved Relevant precision ∩=

(2.1)

查全率(Recall)：是信息检索的另一个性能指标。定义为查找到的相关文档数除以集合中全部相关文档数的值。即

|

}{||

}{}{|Relevant Retrieved Relevant recall ∩=

(2.2)

在实际应用中，有些用户更加注重查准率，而另外一些用户更加注重查全率。文献[8]引入了一个综合了查全率与查准率的指标E 来衡量系统的性能。

()

R P E 1111

1αα?+??

?

????

≈ (2.3)

其中P 是查准率，R 为查全率，α是一个0到1的参数。α为0的时候，只考虑查全率，α为1的

时候只考虑查准率。

查准率比较易于度量。对于所获取的文档集合，只要判断每一篇文档是否和给定查询相关就可以了，其计算是比较直接的。而对于查全率的计算就相对困难一些，因为这意味着对于给定查询，必须计算整个文档集合中相关文档的数目。当文档集合过大时，这是不可行的。

2.4 文本检索模型

文本检索当中经常使用的模型主要有三个：布尔模型、概率模型和向量空间模型。

布尔模型是基于特征项的严格匹配模型。首先建立一个二值变量的集合。如果文本中出现了对应的特征项，则变量取“True ”, 否则取“False ”。查询由特征项和逻辑运算符（“AND”、“OR ”、“NOT ”）组成。文本查询的匹配规则遵循布尔运算的法则。在六、七十年代的许多商用检索系统DIALOG 、STAIRS 、MEDLARS 就是基于布尔模型。布尔检索模型主要的优点为：一是速度快，二是易于表示同义关系（如：电脑OR 计算机）和词组（数据 AND 挖掘 AND 系统）。缺点是不能表示特征项对文本的重要性，缺乏定量分析和灵活性以及不能表述模糊匹配。

概率模型主要针对信息检索中相关性判断的不确定性以及查询信息表示的模糊性。它主要是基于概率排序原则：对于给定的用户查询Q ，对所有的文本D 计算概率P(R|D,Q)并从大到小进行排序。其中R 表示文本D 与查询Q 的相关性。文本D 可以表示为D=(d 1,d 2,…,d N )，N 为特征个数，d i =1表示特征项i 在文本中出现；d i =0表示特征项i 在文本中不出现（文本的布尔表示）。

(2.4)

∑=??=N i i i i i i p q q p d Q R 1

)

1()

1(log

*),(D P | 这里参数p i ,q i 主要通过相关反馈进行估计。一种简单的方法是：

(2.5)

其中，n 为反馈文本集所含的文本总数，r 为与用户查询相关的文本数，n i 为特征i 出现的文本数，r i 为特

征i 出现且与用户查询相关的文本个数。概率模型的缺点是对文本集的依赖性过强，而且处理问题过于简单。 向量空间模型把文本表示成向量空间中的点（向量），用它们之间夹角的余弦作为相似性度量。在向量空间模型中，首先要建立文本和用户查询的向量，然后进行查询向量和文本向量的相似性计算。并可以在匹配结果的基础上进行相关反馈，优化用户的查询。

向量空间模型的优点在于将文本和查询简化为特征项及权值集合的向量表示，从而把检索操作变成向量空间上的向量运算。向量的权重可以通过简单的统计来完成，即通过定量的分析对查询和文本进行匹配。它的缺点在于在这一模型的基本假设是特征项之间无关，但很明显在自然语言中，词或短语之间存在着十分密切的联系，所以这一假设对计算结果的可靠性造成一定的影响。

2.5 商用文本检索技术现状

现在已经有许多成熟的商用的文本检索系统。可以将它们分为三种类型。第一种是通用的文本检索系统，这种系统维护自己的知识库来对用户提供服务；第二种是基于网络的文本检索系统，也就是搜索引擎；第三种是知识管理系统，这些系统收集、处理、组织企业的知识，以便为企业的决策提供支持。实际上这

,r i r p i =

.

r n i ?r n q i i ?=

种划分并不是绝对的，经常可以通过对于一种产品的改造来实现别的类型产品所能提供的服务。

通用文本检索系统利用自己维护的信息库通过网络或者其他的形式向用户提供服务。现在比较成熟的有如下这些通用文本检索系统。

LEXIS/NEXIS

LEXIS/NEXIS是一个用来获取法律（LEXIS）或者新闻（NEXIS）文档的商用系统。LEXIS/NEXIS 支持传统的“严格”布尔查询，即严格匹配的布尔查询。它还特别支持以布尔算子形式提交的查询。

这些算子在LEXIS/NEXIS中被称作联接子（connector）,包括OR、AND和W/n。最后一个算子是用来表示接近查询的。并且它还支持通配符（wild card）查询。最近，LEXIS/NEXIS还提供了自然语言查询的功能，被称作FREESTYLETM搜索。这种查询方式不需要布尔联接子。LEXIS/NEXIS提供了一些对于自然语言特有的结果显示选项。例如，用户可以显示“文本中权重最大的块——也即与查询最相符的部分”。“WHY”这个选项用来表示“解释你的搜索结果”。

DIALOG

DIALOG是一个用来搜索下列主题领域数据库文档的商用系统。这些主题包括：商业、知识产权/法律/政府、医药、新闻、人文、科学、社会科学以及技术等。用户选择一个主题。然后选择该主题下的一个（或者一组）数据库。对于不同的数据库有不同的搜索选项。例如对于新闻数据库包括：主题（关键字），标题，作者，期刊等等

Dow Jones News/Retrieval

Dow Jones News Retrieval是一个可以搜索多达1900个新闻来源的商用系统。例如，报纸、杂志等等。和上面介绍的系统相类似，它也支持严格布尔查询以及一组算子，例如AND、OR、NOT、SAME、NEAR等。并且可以根据日期、领域、在文档中的位置、主题、特定新闻源等进一步限制搜索。

Topic

与上面三个商业文本检索系统不同，Topic并不是利用自己拥有的文本集合提供信息服务而是一个单独的文本检索工具。用户购买Topic，然后装载自己的信息，利用Topic提供自己的信息服务。 SMART

SMART是由Cornell University的Gerard Salton开发的，是最早的文本检索系统之一。它具有以下特点：（1）自动建立索引；（2）自动生成聚类层次计算聚类中心；（3）进行查询/文档相似度计算并且根据文档与查询的相似程度对文档排序；（4）将文档以基于词汇的向量空间表示；（5）根据用户反馈自动提高对查询的处理。

INQUERY

这个系统是University of Massachusetts智能信息检索中心的产品。它是一个基于贝叶斯网络结构的概率模型，包括两个部分：文本网络与查询网络。给定一定的集合，文本网络是静态的，节点表示文本，它与表示单词的节点相连。所以给定一个文本，INQUERY能计算一个特定单词的概率。而查询式中的单词与那些应该与之有联系的节点有一连线。（如，某个AND节点满足一组单词的要求，那么它的概率是每个单词的概率的乘积。）这些连接的单词就是用户的信息需求。运行检索时，系统将两个网络连在一起，然后计算信息需求满足每一个给定文本的状态概率。系统就以该概率排序文本。

为了解决检索词汇不匹配的问题，大的文档集中的文本检索通常需要进行词汇扩展。这样就产生了基于概念语义空间的检索。

3 基于概念语义空间的检索

概念语义空间实际上是基于概念空间的语义索引。这是为克服关键词检索过程中由于检索词的差异导致检索结果差异而建立的支持相关概念的索引机制。这里所说的概念在形式上的表现是词，但并不是所有的词都是概念。概念是从语料中抽取出来的用于表明一类文档特征的标识词，一类文档可能有不同的概念

来标识。上面所说的语义词典包括同义词、近义词。采用语义词典是建立语义索引的一种机制。语义词典往往是手工建立的，但这样建立的词典不能针对要处理的语料提取语义关系，会降低检索性能。例如，当我们提到“米卢”时就会自然联想到“中国队”，提到“非典”自然就想起了“SARS”，如果语义词典没有建立这种语义关系（事先手工编辑的语义词典很难提取这类“联想”的语义）,当我们用“非典”检索时，就不能返回仅包含“SARS”的文本；同样仅用“米卢”检索，未必能检到米卢任教期间所有中国足球队的信息。解决这一问题的一个重要途径是共现分析。通过统计同一类文本中两个词在同一篇文本中的共现率，可以发现类似的语义关联。这种语义联想的激活可以通过Hopfield网络实现，网络的权值则由共现率确定。随着技术的进展，还有许多其它自动形成语义词典的方法不断提出，其中很多都和机器学习有关。

美国Arizona大学的陈炘钧（Hsinchun Chen）教授首先提出基于概念的文本自动分类与语义检索[9-15] 。该项技术成功地采用机器学习的方法实现了大量文本自动分类、标注与检索。他采用此项技术成功地承接完成了美国涉及多个领域的文本信息处理项目。概念语义空间技术能很好移植到中文自然语言处理方面。台湾的Openfind就采用了这一技术https://www.360docs.net/doc/1c6339750.html,/ 。王永成教授领导的课题组也开发出了一个中文概念检索系统。该系统支持具有一定模式的自然语言查询和基于概念的检索，并具有概念表达扩充功能；用户可以添加系统原来不熟悉的概念，而且可以在用户的帮助下排除差错；可以提供200字的精确摘要；能进行新闻去重，并且改进了国际著名网站Google的排序算法；系统的 Crawler(自动搜索软件)对各大新闻网站自行跟踪、更新，并且根据查询动态调整。我们在国家自然科学基金资助下，采用概念语义空间的思想，实现了一个概念语义检索系统GHunt。该系统采用Spider采集网页，以概念语义空间组织网页，对网页建立语义索引，实现基于概念的智能互动语义查询，以不同粒度摘要或全文方式展现；对专题事件展现其来龙去脉；对多媒体信息实现基于内容的图文联合检索。建立概念语义空间涉及多方面的文本信息处理技术，包括海量文本自动分类聚类技术，自动标注技术，语义索引，语义联想检索技术。在这一系统中我们集成了网页采集多模式定向采集技术、基于粗糙集的文本分类技术、基于群体智能的蚂蚁聚类法、基于直接模糊聚类的概念聚类、专题自组织等自有研究成果[16-25]。

4 概念语义空间与搜索引擎

下面我们通过一些有代表性的搜索引擎的分析，来说明概念语义索引技术适合基于Spider的搜索引擎。

4.1 搜索引擎种类

现在共有两种类型的搜索引擎（Search Engine）。一种是基于Spider的搜索引擎，另外一种是人工目录。

基于Spider的搜索引擎（Spider-based Search Engines）：这种搜索引擎利用Spider技术搜集当前网络上面的网页信息，自动创建索引。所以如果对某个网页进行了更新，那么这种搜索引擎能够自动发现这些改变，并且进行自动更新。

另外一种搜索引擎的代表是Yahoo！，这类引擎基于人工目录（Human-powered Directory），需要人力来维护它们的索引。对于一个网站，必须由网站的管理者提交关于该网站的简短说明或者由列表的编辑者写一个关于他们网站的简短综述。系统寻找那些与查询相符合的描述作为返回。如果网页内容发生更改系统不能自动发现。

在早期，一个搜索引擎要末是基于spider要末是基于人工维护的目录。在今天更多的是两种形式混合的搜索引擎(Hybrid Search Engine)。然而，通常一个搜索引擎可能更加倾向于其中的一种形式，例如Yahoo!虽然能够提供基于spider的结果（由Google提供的），然而它更加倾向于目录的方式提供结果。

基于Spider的搜索引擎通常是由三部分组成的。第一部分是Spider。Spider访问一个网页，读取它，然后根据该网页的联接访问网站内部其他网页。Spider能够定期（例如每一两个月）重新访问这个网站来跟踪网站的变化。之后，Spider所获得的内容进入了搜索引擎的第二部分－索引。索引像一本大辞典一样包含Spider所找到的所有网页的一个备份。如果某个网页发生变化，那么整个索引的内容也将发生变化。搜索引擎软件是搜索引擎的第三部分。对于给定搜索，搜索引擎软件能够找到与搜索相关的网页并且把它

们按照一定顺序提交给用户。下面我们对这些主要的搜索引擎做一个简单的介绍。

4.2基于Spider的搜索引擎

下面是一些常用的基于Spider的搜索引擎：

Google https://www.360docs.net/doc/1c6339750.html,

作为当前最为优秀的网上搜索引擎，Google于1999年9月21日正式发布。它拥有自己的网页数据库。2001年12月Google宣称它已经对15亿个网页进行索引，是目前最大的搜索引擎。它不仅对普通网页进行索引，也对PDF、PS、DOC、XLS、TXT、PPT、RTF、ASP、WPD等类型文件进行索引。并且还包含了图形数据库。

Google使用PageRank的方法对网页进行联结分析，对网页的重要性进行排序。并且对于同一网站的网页进行归并，最多显示每一个网站的两个网页。Google对大小写不敏感。并且可以根据用户需求，限定语言（共27种语言）、日期（三月内、六月内、十二个月内）、关键词位置（标题，正文等）等来对网页进行搜索。

ALTAVISTA https://www.360docs.net/doc/1c6339750.html,

多年来，ALTA VISTA一直是三个最大的搜索引擎之一。它有简单查询（Simple Search）与高级查询（Advanced Search）两种方式。ALTA VISTA维护自己的网页数据库。简单查询和高级查询两种方式分别有各自的特色。简单查询：通过输入一个或几个关键词后提交查询任务即可，与传统的检索方法相似。高级查询：过滤文章、设置时间段、关于字串的说明、大小写说明、通配符说明等。

Lycos https://www.360docs.net/doc/1c6339750.html,

Lycos提供了web搜索引擎、主题目录以及一些其它的服务。对于普通的搜索，Lycos1997年夏天做出了重大的改变，抛弃了原来的系统，引入了新的系统。1999年4月，它使用Open Directory提供目录服务。2000年1月，它的高级搜索开始转向使用Fast数据库。

在查询时，只提供+作为AND运算，?作为NOT运算，不提供其它的布尔算子。并且它能够限制位置、限制语言进行搜索。

HotBot https://www.360docs.net/doc/1c6339750.html,

HotBot是Terra/Lycos的产品。它是最大的网络搜索引擎之一，使用Inktomi的数据库并且也使用Direct Hit和Open Directory的数据库,也提供基本和高级两种查询方式。

MSN https://www.360docs.net/doc/1c6339750.html,/

MSN使用LookSmart作为它的目录，使用Inktomi作为它的搜索引擎数据库，并且利用了Direct Hit的结果。

Teoma https://www.360docs.net/doc/1c6339750.html,/

Teoma在2001年春天首次出现。它拥有自己的数据库，并且能够提供一些有自己特色的服务。例如，在其中存在一个联结指向“Related Topic & Expert Links”，这些联结所指向的网站里面收集了一些指向其他相关资源的网站。它们被称作元网站——metasite。

4.3 网络目录

下面我们给出Yahoo!与Open Directory两种网络目录的简介。

Yahoo! https://www.360docs.net/doc/1c6339750.html,

Yahoo! 是最著名的网络目录。可以直接通过对目录的搜索与浏览进行搜索。在搜索的时候，如果在Yahoo!中没有找到满足条件的项，那么Yahoo!将自动转向Google的数据库进行搜索。到2000年10月，Yahoo!目录中有一百七十万条目录的纪录。这些目录是通过用户的提交或者Yahoo!的网站编辑获得的。

Open Directory https://www.360docs.net/doc/1c6339750.html,/

Open Directory 是归Netscape 所有的，但是它的运行需要靠数万个自愿的网站编辑来完成。Open

Directory 是一个比较大的目录数据库，有许多其它搜索引擎使用了Open Directory 例如：AltaVista, Netscape, Lycos, HotBot 。

以上分析看出，基于Spider 的搜索引擎与概念语义索引相结合，才能快速响应网页的变化，建立有效的索引机制。根据Hsinchun Chen 教授对三种顶级搜索Spider 进行的比较分析，基于概念语义空间的语义检索具有较高的查全率和查准率[26][H. Chen,2003]。

5 概念语义空间在知识管理中的应用

知识管理是为了企业的运行与决策的目的来收集、处理以及组织企业知识的系统与管理方法。知识的获取是当前知识管理系统所要面临的一个核心问题和新的挑战。一些生产传统的文本检索系统的厂商例如Verity 、Excalibur 和Dataware 等公司就将它们的文本获取的技术加以改造用于知识管理。

现在生产知识管理系统的厂商主要有KCC 、Autonomy 、Hummingbird 、Open Text 、Verity 、Excalibur 、Documentum 、Semio 、InXight 、e-Gain 等等。其中的KCC 是Hsinchun Chen 教授所创办的知识管理公司。对于他们的比较可以参看表2。

K C C

A u t o n o m y

H u m m i n g b i r d

O p e n T e x t

V e r i t y

E x c a l i b u r

D o c u m e n t u m

S e m i o

I n X i g h t

e -G a i n (I n

f e r e n

c e )

Natural/Statistical Language Processing √ 贝叶斯统计

概率模型

√ √ 使用算法

√ Indexer/Phrase Creator

√ √ √ √ Entity Extractor

√ Conceptual Associations/

Thesaurus

√ √ √

√ √ √ √ √ Domain-Specific Filter

using Manually

Developed

Vocabularies/Ontologies √

过滤

√

Automatic Taxonomy/

Clustering

√ √ √ √ √ √ √ Multi-document Format

Support

√ √ √ √ √ √ √ Multi-language Support √ √ √ √ √ √ Spider(HTTP Document

Collection) √ √ √ √ Data Warehousing √ √ √ √ Content Categorization

√ √ √ √ √ √ √ Hyperlink Creation √ √ Community Content Development/ Sharing √ Automatic Document

√

√

√

√

√

√

Summarization

Search Engines √√√√√√√√√

Visualizer √√√

Security/ Authentication √√

Wireless Access √√√

Metadata XML Tagger √√√√√

Personalized Delivery √√√√

表2 知识管理系统比较

我们从下面三个方面对它们进行比较：文本处理与分析技术、文档收集与处理技术、显示以及提交技术等。其中文本分析主要包括自然语言处理、实体名称抽取、概念关联、自动同义词典生成、领域相关知识的过滤、自动分类生成、多种文档格式支持、多种语言支持。文档收集与处理技术主要包括以下几个方面：Spider技术（用于HTTP文档的收集）、数据仓库技术、内容归类、超链生成、自动文章摘要。获取、显示以及提交技术主要包括以下几个方面：搜索引擎、可视化、安全与认证、无线访问、数据XML标注、个性化提交等。

6 结束语

概念语义空间是在网络信息急剧增长的条件下产生的，它为快速、有效地组织海量、动态变化、半结构化的网络文本信息提供了机器学习手段。在自然语言理解没有取得突破性进展之前，基于概念语义空间的文本信息组织与检索，将在本世纪前十年起主要的作用[27][Bruce R.Schatz,1997]。概念语义空间的可视化是近来发展的一个方向[28]。采用概念语义空间技术将文本组织起来以后，如何向用户个性化地展现检索结果就成为一个关键问题。现有的逐个浏览网页的方式显然不能满足用户个性化的需求，因此最近在主题探测与专题组织方面的研究在美国成为研究热点。这项研究将涉及自然语言处理的几乎所有方面。自然语言处理的研究成果将促进该项研究的深入开展。

参考文献

[1].姚天顺（2001）. 自然语言理解与机器翻译，世纪之交的知识工程与知识科学，陆汝钤主编，北京：清华大学出版社，2001.

[2].Stolcke,A.(1997). Linguistic knowledge and empirical methods in speech recognition. AI Magazine, 18(4),25-31.

[3].Brill,E.,& Mooney, R. J.. An overview of empirical natural language processing. AI Magazine, 18(4),65-79. (1997).

[4].Ng, H. T., & Zelle, J.(1997). Corpus based approaches to semantic interpretation in natural language processing，AI Magazine,18(4),25-31.

[5].Cardie, C.,(1997). Empirical methods in information extraction. AI Magazine,18(4),65-79.

[6].Knight, K. (1997). Automating knowledge acquisition for machine translation. AI Magazine, 18(4), 81-96.

[7].Claiare Cardie, RayMond J.Mooney(1999). Machine learning and Natural Language, Machine Learning, 1-5.

[8].Rijsbergen, C.J. Information Retrieval (2nd ed.), Butterworths Publishers, London, 1979.

[9]. B. Schatz and H. Chen. Building Large-scale Digital Libraries. IEEE Computer, Special Issue on "Building Large-scale Digital Libraries," 29(5):22-27, May 1996.

[10].B ruce R. Schatz, Hsinchun Chen: Digital Libraries: Technological Advances and Social Impacts (Guest Editors' Introduction). IEEE Computer 32(2): 45-50 (1999).

[11].H. Chen, A. L. Houston, R. R. Sewell, and B. R. Schatz. Internet Browsing and Searching: User Evaluation of category Map and Concept Space Techniques. Journal of the American Society for Information Science, Special Issue on AI Techniques for the Emerging Information Systems Application, 1997.

[12].H. Chen, B. R. Schatz, T. Yim, and D. Fye. Automatic thesuarus generation for an electronic community system. Journal of the American Society for Information Science, 46(3):175-193, April 1995.

[13].H. Chen, C. Schuffels, and R. Orwig, Internet Categorization and Search: A Machine Learning Approach. Journal of Visual Communication and Image Representation, Special Issue on Digital Libraries, 7(1):88-102, 1996.

[14].H. Chen, K. J. Lynch, K. Basu, and T. Ng. Generating, integrating, and activating thesauri for concept-based document retrieval. IEEE Expert, Special Series on Artificial Intelligence in Text-based Infomation Systems, 8(2):25-34, April 1993.

[15].H. Chen, P. Hsu, R. Orwig, L. Hoopes, and J. F. Nunamaker. Automatic concept classification of text from electronic meeting. Communication of the ACM, 37(10):56-73, October 1994.

[16].F u Weipeng, Wu Bin, He Qing, Shi Zhongzhi. Text Document Clustering and the Space of Concept on Text Document Automatically Generated. International Conferences on Info-tech and Info-net PROCEEDINGS, Beijing: IEEE Press & PPTPH, pp. 107-112, Sep. 2001.

[17].刘少辉,董明楷,张海俊,李蓉,史忠植.一种基于向量空间模型的多层次文本分类方.中文信息学报,2002,16(3): 814-819.

[18].吴斌，傅伟鹏，郑毅，刘少辉，史忠植，一种基于群体智能的Web文档聚类算法，计算机研究与发展，39（11）：1429-1435，2002.

[19].李辉, 史忠植, 何清, 许卓群. 基于支撑向量置换核函数的一种领域知识与模型融合的技术. 计算机学报, 2002,8(25):860-868.

[20].李源,郑毅,何清,史忠植. 基于概念空间的文本语义索引.计算机科学，2002,29(1):20-22.

[21].姜宁，史忠植.文本聚类中的贝叶斯后验模型选择方法.计算机研究与发展.39(5): 581-587,2002.

[22].宫秀军，史忠植. 基于贝叶斯潜在语义分析的半监督web挖掘. 软件学报，13(8):1508-1514, 2002.

[23].宫秀军，刘少辉，史忠植.一种增量贝叶斯分类方法.计算机学报，25(6):645-650, 2002.

[24].宫秀军，孙建平，史忠植，主动贝叶斯网络分类器.计算机研究与发展.39(5): 574-579,2002

[25].Z iyan Jia, Qing He, Haijun Zhang, Zhongzhi Shi. Special Topic Organization and Retrieval System.International Conference on Intelligent Information Technology, Beijing, Sept. 22-25, 2002.

[26].H. Chen. Comparison of three vertical search spiders, IEEE Computer, 36(5): 56-62, May, 2003.

[27].B ruce R.Schatz, Information Retrieval in Digital Libraries: Bringing Search to the Net, SCIENCE. vol275.17 January 1997

[28].Z an Huang, Wingyan Chung, Thian-Huat Ong, Hsinchun Chen: A graph-based recommender system for digital library. JCDL 2002: 65-73

作者: 何 清中科院计算所智能信息处理重点实验室 副研究员、硕导

史忠植 中科院计算所智能信息处理重点实验室 研究员、博导