第5章-搜索引擎4

智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立 (1)词典的建立 词典的建立比较简单，比如，同名词典就是把几个同 名词放在一行，各个词之间用空格隔开。实际上，每一 行只有第一个词是主题词，该词所在行的其它词就是它 的同名词。毫无疑问，这样会增加词典的冗余，但是， 这种组织方式会大大地提高查找词的速度(这是因为这 些是按第一个字的汉语拼音字母的顺序来排序的)，并 且词典一般是以文本文件的格式存在的，它所占的空间 很小。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立 (1)词典的建立 一般地，同义词典、上位词典、下位词典、派生词典 都是按这种方式来组织的。对定义词的词典来说，将词 罗列出来就可以了。在建立词典的时候，为了提高查找 词的速度，一般对词典按汉语拼音顺序和首字索引结构 进行组织。
智 能 化 搜 索 引 擎原 理
4.智能化搜索引擎的技术
(2)短语识别 用短语描述查询请求的情况很常见。譬如查询条件 “北京的气温”，“北京”和“气温”存在一定的关系， 但如果不将“北京”和“气温”联合起来作为一个短语 查询那么除了选出关于“北京的气温”的文档之外，还 将查出有关“北京”和“气温”的文档。因此，短语识 别也是智能化引擎所关注的一个技术。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立
(4)关键字分析器 第二步：分析修饰词，这一步确定修饰词是否应该抛 弃。此例中，名词修饰名词。故这个修饰词是需要的。 第三步：对主关键词作进一步处理。到同名词典、同 义词典、派生词典中分别查“科学家”的同名词、同义 词、派生词。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立
(4)关键字分析器 第四步：对修饰词作进一步处理(若没有修饰词，或 修饰词已经被抛弃，则这一步可以省略)。到同名词词 典中去查找“中国”的同名词，得到“中华人民共和国” 这一词。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立 (4)关键字分析器 第五步：得到语意分析后的词。分析后的词应该包括 这几个部分：主关键字、修饰词(修饰词的同名词)＋主 关键字、修饰词(修饰词的同名词)＋主关键字的同名词、 修饰词(修饰词的同名词)＋主关键字的同义词、修饰词 (修饰词的同名词)＋主关键字的派生词。在这里，我们 得到的语意分析后的词语是：“科学家”、“中国科学 家”、“中华人民共和国科学家”这三个词。
智 能 化 搜 索 引 擎原 理
3.智能化搜索引擎的特征 (1)网络蜘蛛的智能化 网络蜘蛛通过启发式学习采取最有效的搜索策略，选 择最佳时机获取从Internet上自动收集、整理的信息。 此外，智能搜索引擎还应具有跨平台工作和处理多种 混合文档结构的能力。 同时，智能搜索引擎还应具有高的召回率和准确率。 最后，智能搜索引擎应该可以支持多语言搜索，允许 用户可以用中文输入查询英文或其他语言的信息。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立 (3)语意分析器的建立 是由一个个词及对这些词按一定的规则所建立的索引 二部分组成。一般的，搜索引擎是用非完全二叉树结构 来组织这些索引，但这样常常会导致大量的I/O开销。 从形式上来说，它又是由系统部分、用户部分组成。 同理，系统部分用于定义稳定的、适合于各个领域的语 意分析。而用户部分用于定义适合一段时间的或适合于 某一个领域的语意分析，这二个部分分别与系统词典、 用户词典相对应。
智 能 化 搜 索 引 擎原 理
3.智能化搜索引擎的特征
(3)搜索引擎人机接口的智能化 智能搜索引擎可以通过自然语言和用户交互。它采取 诸如语义网络等智能技术，通过汉语分词、句法分析以 及统计理论有效地理解用户的请求，甚至能体会出用户 的弦外之音，最大程度地了解用户的需求。
智 能 化 搜 索 引 擎原 理
智 能 化 搜 索 引 擎原 理
2.智能化搜索引擎的原理 信息丢失的核心是搜索引擎没有正确地理解用户的检 索要求。文海捞针实际上是一个搜索结果的排序问题。 另外，智能检索还包括歧义信息和检索处理。 智能化搜索引擎采用“以网对网”的二级映射模式 (关键字一innernet—internet)代替传统的一级映射模式 (关键字一internet)，innernet，即知识库。在实现上 采用多级智能化搜索代理体系代替现在的单一搜索。根 本原理在于拥有比全文检索更为丰富的知识库和能较好 地进行文档相关度排序的多级搜索代理。
智 能 化 搜 索 引 擎原 理
4.智能化搜索引擎的技术
在搜索过程中经常还会碰到这样的情况，用户本身有 时候也不清楚自己究竟需要获取什么信息。因此，让用 户对返回的结果进行选择，挑出真正所需，然后根据用 户挑出的文档，对查询条件进行修正，进行二次查询是 一种非常有效的手段。此外，还有一些其他的人工智能 方法，譬如可以将知识库和推理机应用到搜索引擎中等， 所有这些都是实现信息时代对搜索引擎智能化挑战的有 效手段。
智 能 化 搜 索 引 擎原 理
3.智能化搜索引擎的特征 (2)为特定用户提供相关信息 智能搜索引擎能通过观察用户的行为，了解用户的兴 趣爱好，另外能通过不断的训练学习增长智能。通过每 次用户对引擎返回的信息进行评价，智能搜索引擎可以 根据用户的评价调整自己的行为。智能搜索引擎还能对 搜索结果进行合理的解释。智能搜索引擎还应具有主动 性，即信息推送能力，可以在任何特定的时候用各种方 法与用户取得联系。搜索引擎还可根据用户特定时刻的 位臵信息，选择恰当的方法与用户通信。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立
innernet网，通俗地说，它就是由一个或多个相关的 词典组成的反映人的知识网络及相关工具的系统；通过 它，搜索引擎就不仅可以对汉语语言进行正确的切分， 还可以对用户输入的关键字进行合理的词意分析和扩展， 从一定意义上讲，它是人类知识在一定范围(或领域)内 的一个缩影。
4.智能化搜索引擎的技术
(1)汉语分词技术 关键词查询的前提是将查询条件分解成若干关键词， 同时一些关键词表示文档。英文比较简单，中文需要人 为切分。此外汉语中存在大量的歧义现象。简单的分词 往往会歪曲查询的真正含义。因此，可以根据语料库进 行总结，获得每个词的出现概率以及词与词的关联信息， 就可能有效地排除各种歧义，大幅度提高分词的准确性， 从而准确地表述查询请求和文档信息。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立 (4)关键字分析器 第一步：找出输入关键词中的主关键词，根据定义词 的词典，知道这个关键字是名词，并且这个关键字可被 切分成 “中国/科学家”这两个词，根据汉语语法规则， 名词的主关键字一般是最后一个词，前面的词是修饰这 个主关键词的。所以，这个关键词中“科学家”是主关 键词。当用户输入的关键词只是一个词，那它本身就是 主关键字。
信息检索技术
LOGO
Information security management

上节回顾
垂直搜索
本节内容
1 2 3 4
智能化搜索引擎原理
智能化搜索引擎实现
Agent
开源搜索引擎资源
智能化搜索引擎
传统的文本信息检索一般使用召回率、准确率 来对检索效果进行量化评价，但是在海量的互联 网信息检索上用召回率与准确率来衡量检索效果 是否合适？比如,在一些场合，高的召回率返回 的成千上万网页对用户实在是一个沉重的负担， 在网页爆炸性增长的今天，没有那一个用户有时 间和精力来一一浏览搜索引擎查到的每一个网页。
4.智能化搜索引擎的技术
(4)文档信息压缩 存储文档信息的Word矩阵如果不经过压缩处理，将 需要巨大的存储容量。采取诸如SVD（Singular Value Decomposition，奇异值分解）等矩阵分解技术，构 造出新的基向量组，从该向量组中挑出若干主要基向量 构成新的向量空间，将原来的向量向新的向量空间投影， 这样便可以大大减少存储量，有效地提高处理速度。
智能化搜索引擎的实现
1.innernet网(又称为知识库、词典系统)的建立 (3)语意分析器的建立 最下层的叶子结点存放的是搜索引擎到索引库里进行 搜索的关键字，汉语中，不同字开头的词的数目变化很 大，同音异形的现象也很普遍。在设计词表的数据结构 时，要考虑访问效率和存储利用率。故排序规则是：对 关键字的首字使用汉语拼音字母排序，然后再使用 Hash算法，这样，当关键字的首字是同音异形时，它 们的地址是不相同的。在此基础上，再结合词的重要性、 使用频率及后继字的汉语拼音字母顺序等方式进行排序。
智能化搜索引擎的实现
对于一个智能化的搜索引擎而言，想同时提高召回率 与准确率是比较困难的。具体说来，它需要解决好以下 几个问题： ①innernet网(又称为知识库、词典系统)的建立； ②对汉语词语进行正确的切分；是建立索引数据库的 基础，也是建造一个优秀的搜索引擎的基础，而要对汉 语进行正确的切分，就需要词典系统的支持。 ③自动文摘的生成； ④检索结果的排序； ⑤智能化多级智能检索代理的实现。
智 能 化 搜 索 引 擎原 理
1.传统搜索引擎技术的局限性 传统的搜索引擎，存在 “文海捞针”和“信息丢失” 问题。 “信息丢失”由以下四个深层次的问题引起的。这四 个问题都与词汇紧密相关。 第一个是“忠实表达”问题。第二个是“表达差异” 问题。第三个是“词汇孤岛”问题。第四个是“机械式 匹配”问题。 由此可以看出，传统的搜索引擎缺乏对知识进行处理 的能力和理解知识的能力，对要检索的信息仅仅采用某 类检索模型到预先建好的索引文件中去检索。它采用的 是一级映射模式。
智 能 化 搜 索 引 擎原 理
4.智能化搜索引擎的技术 (3)处理同义词 处理同义词的一种方法是人工构造同义词表。对专用 领域的搜索引擎，这种方法是非常有效的。另外一种方 法是从语料库中自动取得同义词关系。给出一个查询的 关键词，引擎能主动“联想”到与其同义或意思相近的 词。