第6章信息检索与服务

n 基于相关反馈的原理，需要进行一个逐步求精的过 程
第6章信息检索与服务
6.1.4 概率模型
检索问题转化为求条件概率问题
If Prob(R|di, q) > Prob(NR|di, q) then di是检索
结果，否则不是检索结果
第6章信息检索与服务
6.1.5 全文检索
n 直接在全文中进行匹配检索 n 获得的也是全文信息而非文献线索 n 全文检索技术以其较高的查准率和查全
n （2）文献频率
n 假设存在一个文献集合，其中大部分的文献都包 含了某一项，则说明该项对某一主题的专指度较 差，可能就不太重要
n 在设计项权重时，要考虑逆文献频率 （用idf表 示）
第6章信息检索与服务
向量空间模型介绍
n 2. 项权重
n （3）权重的规范化处理
n 为了抵消由篇幅带来的不同影响，经常要对项权 重进行规范化处理
n 查询表示
n 在布尔检索系统中，根据用户提出的检索需求，选 取适当的检索标识，与布尔运算符“与”、“或”、 “非”共同构成与查询相符的检索提问式，也即相 应的布尔表达式
n 例如 :
n 1) “飞碟” n 2) “飞碟”AND “美国” n 3) “飞碟”AND (“中国” OR (NOT “科幻小
第6章信息检索与服务
信息检索过程
n 信息检索过程实际上涉及到三个重要的 处理：
n 文档集的逻辑表示 n 查询的表示 n 相似匹配及其排序
n 对上述因素和检索过程建模（抽象描 述），产生各种不同的信息检索模型
第6章信息检索与服务
图6-1 信息检索系统的一般模 型
•信息资源
•标引
•信息资源替 代物
•相关性判断
n 超文本技术的优点
n 1）非线性的组织结构 n 2）以信息单元为检索对象 n 3）体现了信息层次关系 n 4）交互更加友好 n 5）信息内容丰富多样 n 6）避免了检索语言的复杂性
第6章信息检索与服务
6.1.7 超文本模型
n 超文本技术的缺陷
n 1）偶然发现 n 2）失控 n 3）迷航
第6章信息检索与服务
n 在各种规范化方法中，余弦规范是一种常用、有 效的方法：tf×idf权重/文献向量的欧氏长度
第6章信息检索与服务
向量空间模型介绍
n 3.文献向量与查询向量的匹配
n 匹配函数
n 利用向量的内积运算，得到文献向量Di与查询向 量q之间的相似度
n Sim(Di,q)=Di•q n 简单 n 存在的一个主要的不足是它忽略了项之间存在一
6.1.6 语义检索
n 基于关键词匹配的传统文本信息检索技术对语义匹配 的支持能力较差，其性能取决于用户对方法的理解， 具有很大的局限性
n 尽管基于关键词匹配的检索技术已经经过多次改进， 但是由于没有添加语义处理方面的功能，检索性能没 有得到本质的改善，那些没有被文字直接表述出来但 隐含在文本内容中的一些重要的信息无法被检索
6.1.4 概率模型
n 概率论模型主要基于概率论原理来理解 和解决信息检索问题
n 主要有早期的经典概率模型（又称为二值独 立检索模型，英文简称BIR）
n 基于贝叶斯网络的推理网络模型和信念网络 模型等
n INQUERY检索系统是基于概率模型的代表
第6章信息检索与服务
6.1.4 概率模型
n 基本思路:
n Lucene
第6章信息检索与服务
6.1.5 全文检索
n 全文检索技术指标
n 基本指标有：查全率、查准率、检索速度、 索引膨胀率等
n 索引的膨胀系数是指针对全文所建的索引文 件大小与全文文件大小之比，其中索引文件 的大小取决于索引的结构
n 没有为全文创建索引的全文检索系统，其膨 胀系数为0
第6章信息检索与服务
6.1.5 全文检索
n 基于单汉字的全文索引 n 索引倒排结构
第6章信息检索与服务
6.1.5 全文检索
n 以倒排表模型为基础的全文检索有检索 速度快，与原文无关的特点
n 其缺点主要包括两个方面：
n 首先，空间和时间效率低； n 其次，当文本集合不断变化时，需要不断重
建全文索引
n 第一个问题通常采用压缩技术和更加高 效的编码策略加以解决
n 给定一个文献集合D，包含m篇文献，分别用 d1,d2,d3……dm表示。再给出一个标引词集合T，包 含n个标引词t1,t2,……,tn。假定对文献集D的描述 完全是基于该标引词集合的,则文献集D中任意一篇 文献di就可以表示为（di1,di2,……,din）
第6章信息检索与服务
传统布尔检索模型
n （2）布尔逻辑表达用户需求的能力问题。把用户的一 个信息需求转换成一个恰当的布尔表达式，在很多情 况下并不容易实现。
第6章信息检索与服务
传统布尔查询的评价
n 为了弥补这些缺陷，发展了一些别的检 索模型，如向量空间、扩展布尔、概率 检索和聚类模型。
第6章信息检索与服务
6.1.3 向量空间模型
n 向量空间模型(Vector space model)介绍 n 向量空间模型(VSM)的评价
些相互联系的事实。通常，需要引入一些特别的 方法来改进这个相似度计算公式，使得其能够考 虑到项的相互联系这一重要因素
第6章信息检索与服务
相似度的计算
n 内积相似度运算 n 余弦相似度 n “距离”相似度运算 n 等等
第6章信息检索与服务
向量空间模型的评价
优点
简单，功能却非常强大
能将非结构ห้องสมุดไป่ตู้的文献表示成向量的形式，使得各种数学处理成为 可能
率被广泛应用于网络信息的检索中 n 全文检索还提供位置检索功能
第6章信息检索与服务
6.1.5 全文检索
n 全文检索模型中信息资源的逻辑表示
n 全文索引
n 目前常见的全文检索模型主要有
n 倒排表、署名文件、位图、Pat树和Pat数组 等模型
n 从中文语言特点出发提出的互关联后继树模 型等
第6章信息检索与服务
第6章信息检索与服务
布尔检索示例
第6章信息检索与服务
传统布尔查询的评价
n 该模型结构简单、容易实现和快速检索。
第6章信息检索与服务
传统布尔查询的评价
n 布尔模型在检索系统的开发与应用中表现出的主 要问题有：
n （1）准确匹配（exact matching）策略问题。布尔模 型采用准确匹配策略，对检索过程中客观存在的一些 不确定性情形绝对排斥，认为一篇文献对于某一提问 要么是“相关的”，要么是“不相关的”。这种“非 此即彼”的二值判断标准严重影响到检索系统的性能 改善，并带来其他一些相关问题。
第6章信息检索与服务
向量空间模型介绍
n 1. 文献空间
n （1）文献空间的概念
n 文献集合中的任一文献都可以表示为这个多维空 间中的一个向量,这个空间就称为“文献空间”
n 在一个文献空间内，用向量D1来代表某一文献， 则该向量在这个文献空间各个轴上的分量就是相 应的表述该文献的各个项的权重
n 文献与空间点
n 语义检索是对检索条件、信息组织以及检索结果显式 赋予了一定语义成分的一种新的检索方式
n 与传统关键词检索相比，它更加强调语义，其性能明 显改善
第6章信息检索与服务
图6-3 基于本体的文本信息检 索系统的一般模型
•领域概念关系本体集
•指导主题标引
•指导查询表达式的构造本体
•文档
•主题标引 •带所属领域标 识的标引词序 列
•表达式构造
•需求替代物
•用户需求
•检索结果
第6章信息检索与服务
6.1.2 布尔模型
n 布尔检索模型的理论基础是布尔逻辑和 集合理论
第6章信息检索与服务
6.1.2 布尔模型
n 布尔逻辑主要内容:命题逻辑与谓 词逻辑
n 布尔逻辑是数理逻辑的基础部分
n 利用符号来表示逻辑中的各种概念 n 建立了一系列的运算法则，利用代数
的方法研究逻辑问题
第6章信息检索与服务
布尔运算
n 布尔逻辑运算符:
n “与（AND）”、“或(OR)”、“非(NOT)” 运算的定义
第6章信息检索与服务
传统布尔检索模型
n 文献表示
n 将文档表示成一个集合，集合中的每个元素都为一 个二元变量，取值非“0”即“1”，表示该元素所 代表的主题词是否包含在该篇文档之内。若包括在 文档中，则元素取值为1，反之则取0。
模型的检索效果和布尔检索模型比起来，要好得多
不足
忽略项之间存在的相互联系，必然使得检索效果产生极大的 偏差
传统向量处理模型不能处理布尔表达等结构化查询
改进
广义向量空间模型（GVSM）、潜在语义标引（LSI）、概率向 量处理模型以及基于语义分析的向量空间模型（SVSM）
第6章信息检索与服务
n 超文本不是单纯以线性方式存储文本，而是附 加了一种非线性结构来组织信息，即在文本中 设置若干超级链接（简称超链）指向相关位置， 以确保在顺序阅读文献的同时，还可以顺着超 级链接的指引“跳跃”阅读信息
n 超文本组织强调了信息与对象之间的联系关系， 符合人们联想式阅读和思维习惯
第6章信息检索与服务
6.1.7 超文本模型
n 基于内容的多媒体信息检索方法是一种新型的 检索技术，它融合了图像理解、模式识别、计 算机视觉等技术，直接根据描述媒体对象内容 的各种特征进行检索，从数据库中查找到具有 指定特征或含有特定内容的声音、图像、视频 等对象
or （1，0，0）,其中，（1，1，1）、（1，1，0）
和符（号1q，cc表0，示0））是qdnf的3个合取子项（合取子项可用
第6章信息检索与服务
传统布尔检索模型
n 匹配函数
n 菊池敏典算法
第6章信息检索与服务