信息检索的三个经典模型
信息检索中的文本相似度计算方法总结
信息检索中的文本相似度计算方法总结随着互联网的发展和信息爆炸的时代，我们面临着大量的文本数据。
如何高效地从这些海量文本数据中找到我们需要的信息，成为了信息检索领域的重要问题。
而文本相似度计算作为信息检索的核心算法之一，更是备受关注。
本文将对常用的文本相似度计算方法进行总结和介绍。
1.余弦相似度（Cosine Similarity）余弦相似度是最常用的文本相似度计算方法之一。
其原理是通过计算两个文本向量的夹角余弦值来度量它们的相似程度。
向量的每个分量表示一个单词在文本中的出现频率。
余弦相似度的取值范围在0到1之间，值越接近1表示两个文本越相似。
2.编辑距离（Edit Distance）编辑距离常用于度量两个文本之间的差异程度。
其计算方法是通过计算将一个文本转换成另一个文本需要的最少编辑操作次数，如插入、删除、替换字符等。
编辑距离越小，表示两个文本越相似。
3.汉明距离（Hamming Distance）汉明距离是用于计算两个等长字符串之间的差异度量。
它计算的是两个字符串对应位置上不相同的字符个数。
汉明距离适用于只需要判断两个字符串是否相等，而不需要得出具体差异的场景。
4.块距离（Block Distance）块距离是一种按照块为单位进行文本相似度计算的方法。
将文本分成多个块，然后计算这些块之间的相似度，并取最大相似度作为最终结果。
块距离能够捕捉到文本的局部结构特征，适用于一些具有明显结构的文本。
5.词袋模型（Bag-of-Words Model）词袋模型是一种常用的文本表示方法，用于将文本转换成向量形式。
该方法忽略了单词的位置和语法结构，仅仅关注单词在文本中的频率。
通过计算词袋模型之间的相似度，可以度量文本之间的相似程度。
6.词向量模型（Word Embedding Model）词向量模型是近年来兴起的一种文本表示方法。
它将单词映射到一个低维度的向量空间，使得具有相似语义的单词在向量空间中距离较近。
文本信息检索模型
文本信息检索模型齐向华(山西大学信息管理系 太原 030006) 【摘要】 介绍了目前流行的三种文本信息检索模型(布尔检索模型、概率推理模型、空间向量模型)的基本原理和各自较重要的实用系统,最后对三种模型的优缺点进行了比较。
【关键词】 文本信息 检索模型 文本信息检索是一个文本与用户提问比较的过程。
在各种媒体的信息检索中,文本信息检索是信息用户最主要的需求,也是各类信息检索的基础。
目前,主要有三种模型来描述这一过程,即布尔检索模型、概率推理模型、空间向量模型。
在具体论述这三种检索模型之前,我们先说明在文本信息检索中所主要处理的问题,既下文所说的检索模型三要素。
1 文本信息检索模型三要素1.1 文本集所谓文本集是指作为检索对象的检索单元的集合。
早期文本信息检索基本局限于对二次文献的检索。
众所周知,二次文献的建立是由标引人员手工对文献信息进行加工处理,给出检索标识的,其中最具代表性的是现今应用广泛的M A RC磁带。
在这种处理过程中,标引的工作量很大,标引质量也因人而异,带有很大的局限性。
随着大量且不断变化的各类信息的出现以及相关技术和硬件设备的发展,人们对全文检索系统的需求越来越大,对检索的要求也越来越高。
全文检索系统是将全文信息作为检索对象,建立文本集,利用计算机抽取标识符,建立索引,再用全文检索技术实现检索。
1.2 用户提问用户提交问题给检索系统,系统将其作为处理目标,搜寻文本集,得出相匹配的检索结果。
用户的问题包括用户感兴感的关键词、自然语言、逻辑关系式等。
1.3 文本与用户提问相匹配文本信息检索过程可以分为三步:首先,根据文本集,生成每一对象内容的表示;其次,根据用户提问,生成用户意见提问表示;最后,比较这两种表示,从文本集中选择最大匹配用户提问的对象。
2 布尔检索模型2.1 基本原理布尔检索模型是最早也是最简单的一种检索模型,其理论已基本成熟,过去以及现在的许多检索系统,特别是在我国,很多都是采用这种检索模型为工作原理的。
经典信息检索模型的分类比较
经典信息检索模型的分类比较
于莉
【期刊名称】《软件》
【年(卷),期】2011(32)3
【摘要】信息检索的模型,主要是用于检索和排序的计算用户查询请求和信息的匹配程度的问题.目前已有的检索模型有布尔模型、向量模型、概率模型以及以上三个经典模型的变形模型.通过对经典模型进行分析比较,以便在设计具体的检索系统时,根据检索对象的特点,采取合适的检索模型,提高检索效率.
【总页数】3页(P32-34)
【作者】于莉
【作者单位】天津市财贸管理干部学院,天津
【正文语种】中文
【中图分类】TP31
【相关文献】
1.信息检索系统数学模型的理论及其评价——谨以此文献给信息检索的先驱杰拉尔德·索顿先生 [J], 邓珞华
2.信息检索模型及其在跨语言信息检索中的应用进展 [J], 吴丹;齐和庆
3.动物癫痫模型的分类比较 [J], 肖素希;陈恒玲
4.一个半经典模型是如何成为经典的——纪念玻尔原子模型诞生100年 [J], 方在庆
5.音乐流派的多种机器学习模型分类比较 [J], 李欣;米红娟;吴雪君
因版权原因，仅展示原文概要，查看原文内容请购买。
信息检索模型PPT
相似度S（Similarity）：指两个文档内容相关程度的 大小
17
模型的特点
基于关键词(一个文本由一个关键词列表组成) 根据关键词的出现频率计算相似度
例如：文档的统计特性
11
示例
文档集包含两个文档：
文档1：a b c f g h 文档2：a f b x y z 用户查询：文档中出现a或者b，但一定要出现z。
将查询表示为布尔表达式q(ab)z,并转换成 析取范式 q D N F ( 1 ,0 ,1 ) (0 ,1 ,1 ) ( 1 ,1 ,1 )
文档1和文档2的三元组对应值分别为(1,1,0)和 (1,1,1)
13
问题
布尔模型被认为是功能最弱的方式，其主要问题在于 不支持部分匹配，而完全匹配会导致太多或者太少的 结果文档被返回 非常刚性: “与”意味着全部; “或”意味着任何一个
很难控制被检索的文档数量 原则上讲，所有被匹配的文档都将被返回
很难对输出进行排序 不考虑索引词的权重，所有文档都以相同的方式和 查询相匹配
查询式Q表示 查询式(Queries)被表示为关键词的布尔组合，用 “与、或、非”连接起来，并用括弧指示优先次序
匹配F 一个文档当且仅当它能够满足布尔查询式时，才将 其检索出来 检索策略基于二值判定标准
算法R 根据匹配框架F判定相关
9
举例
Q=病毒AND（计算机OR电脑）ANDNOT医 文档：
代数 扩展的向量空间 隐性语义索引
神经网络
人工智能
概率
基于本体论的模型
语言模型
推理网络
信念网络
第二章 信息检索模型
根据相似度对输出结果进行排序 支持自动的相关反馈
• 有用的词项被添加到原始的查询式中 • 例如：Q database; text; information; document
模型中的问题
怎样确定文档中哪些词是重要的词？（索引 项）
怎样确定一个词在某个文档中或在整个文档 集中的重要程度？（权重） 怎样确定一个文档和一个查询式之间的相似 度？
文档的词项权重(TFIDF举例)
文本：“俄罗斯频繁发生恐怖事件，俄罗斯 的安全部门加大打击恐怖主义的力度。”
TF IDF TFIDF TF IDF TFIDF
俄罗斯 恐怖 的 频繁 发生 事件
2 2 2 1 1 1
较高 较高 非常低 较低 较低 较低
高 高 很低 低 低 低
安全 部门 加大 打击 主义 力度
基于代数论的IR模型(Algebraic models)
向量空间模型 潜性语义索引模型
基于概率统计的IR模型(Probabilistic models)
回归模型 二元独立概率模型 语言模型建模IR模型
1 布尔模型(Boolean Model)
布尔模型是建立经典集合论和布尔逻辑代数的 基础上。 优势：
匹配计算函数R
匹配函数R（dj，q）用于计算任一信息dj（dj∈D） 与任一提问q（q∈Q）形成的信息——提问对 （dj，q）之间的相似度大小。一般地，R（dj，q） 的函数值为一实数，其取值区间为[0，1] 匹配函数的特点： • 计算方法简单，计算量小； • 函数值在取值区间均匀分布； • 针对某一提问所获取的相关文档集合，能够实 现合理的排序输出。
文档向量的构造
对于任一文档dj∈D，都可将它表示为t维向量形式：
信息检索模型
哈工大信息检索研究室 2007
这一部分将讲述
布尔模型，向量空间模型，扩展的布尔 模型
概率模型和基于语言模型的信息检索模 型的区别和联系
基于本体的信息检索模型和基于隐性语 义索引的信息检索模型
信息检索模型的概述
什么是模型？
模型是采用数学工具，对现实世界某种 事物或某种运动的抽象描述
的频率(frequency)计算词项的权重
tfij = 词项j在文档i中的频率 df j = 词项j的文档频率= 包含词项j的文档数
量
idfj = 词项j的反文档频率= log2 (N/ df j)
N: 文档集中文档总数
反文档频率用词项区别文档
文档的词项权重(TFIDF举例)
文本：“俄罗斯频繁发生恐怖事件，俄罗斯 的安全部门加大打击恐怖主义的力度。”
这一系统理论框架到现在仍然是信息检 索技术研究的基础
模型的描述
文档D(Document)：泛指文档或文档中的一个片段（ 如文档中的标题、摘要、正文等）。
索引项t（Term）：指出现在文档中能够代表文档性质 的基本语言单位（如字、词等），也就是通常所指的 检索词，这样一个文档D就可以表示为D(t1,t2,…,tn)， 其中n就代表了检索字的数量。
例如：Q database; text; information; document
模型中的问题
怎样确定文档中哪些词是重要的词？ （索引项）
怎样确定一个词在某个文档中或在整个 文档集中的重要程度？（权重）
怎样确定一个文档和一个查询式之间的 相似度？
索引项的选择
若干独立的词项被选作索引项(index terms) or 词表 vocabulary
该文档集中的全部重要词项
《信息检索模型》PPT课件
精选ppt
18
索引项的选择
这些索引项是不相关的 (或者说是正交的) ，形成一个 向量空间vector space
“计算机” “科学” “商务”
计算机科学文档集
该文档集中的全部重要词项
实际上，这些词项是相互关联的
当你在一个文档中看到 “计算机”, 非常有可能同时看到“科 学”
当你在一个文档中看到 “计算机”, 有中等的可能性同时看到 “商务”
索引项t（Term）：指出现在文档中能够代表文档性质
的基本语言单位（如字、词等），也就是通常所指的
检索词，这样一个文档D就可以表示为D(t1,t2,…,tn)， 其中n就代表了检索字的数量。
特征项权重Wk（Term Weight）：指特征项tn能够代 表文档D能力的大小，体现了特征项在文档中的重要程
精选ppt
23
由索引项构成向量空间
2个索引项构成一个二维空间，一个文档可能 包含0, 1 或2个索引项
di = 0, 0 (一个索引项也不包含) dj = 0, 0.7 (包含其中一个索引项) dk = 1, 2 (包含两个索引项)
类似的，3个索引项构成一个三维空间，n个索 引项构成n维空间
信息检索模型
哈工大信息检索研究室 2007
精选ppt
1
这一部分将讲述
布尔模型，向量空间模型，扩展的布尔 模型
概率模型和基于语言模型的信息检索模 型的区别和联系
基于本体的信息检索模型和基于隐性语 义索引的信息检索模型
精选ppt
2
信息检索模型的概述
精选ppt
3
什么是模型？
模型是采用数学工具，对现实世界某种 事物或某种运动的抽象描述
文档表示 一个文档被表示为关键词的集合
第二章 信息检索模型
模型构建的主要步骤பைடு நூலகம்
（1）文档向量的构造； （2）查询向量的构造； （3）查询与文档的匹配函数的选择； （4）相似度阈值的确定。
模型中的问题
怎样确定文档中哪些词是重要的词？ （标引词）
怎样确定一个词在某个文档中或在整个 文档集中的重要程度？（权重）
怎样确定一个文档和一个查询式之间的 相似度？
第二章 信息检索模型举例为您找到相关 结果493，000个
?
如何找到与查询相关的文档？ 如何将与查询相关的文档进行排序？
信息检索的原理 逻辑视图
匹配规则
文档 集合
特征化 表示
特征化 表示
用户 需求
匹配与相似度排序
系统对文档集合与用户需求的匹配与相似度排序
数学工具---数学模型
信息检索模型的定义
太少的结果文档被返回； 很难对输出进行排序；（本质） 很难进行自动的相关反馈。
经典模型
——向量空间模型（Vector Space Model）
模型概述
Gerard Salton在上世纪60年代提出； 成功应用于SMART（ System for the
Manipulation and Retrieval of Text） 文本检索系统； 目前仍是信息检索技术研究的基础。
∨ （t1 ∧ t2 ∧ t3）
qDNF=(1,1,0) ∨ (1,0,0) ∨ (1,1,1) qF表示qDNF的任意合取分量；
文档与查询的相似度定义
pi（dj）表示标引词ti是否在文档dj中出 现的值 ；
pi（qF）查询合取分量qF中标引词ti是否 出现的值 ；
sim（dj，q）表示文档和查询的相似度
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息检索的三个经典模型
1. 布尔模型
布尔模型是最简单和最早的信息检索模型之一。
它基于布尔逻辑，并
使用逻辑运算符（如AND、OR和NOT）组合查询词来匹配文档集合。
在这种模型中，文档要么与查询匹配（1），要么不匹配（0），没有其
他评分标准。
布尔模型适用于处理简单的查询和需求明确的场景，特
别是在较小的文档集合中。
2. 向量空间模型
向量空间模型是一种常用的信息检索模型，根据向量表示文档和查询，并计算它们之间的相似度进行排序。
在这种模型中，将文档和查询表
示为权重向量，每个维度表示一个词项，并使用词频、逆文档频率等
权重策略进行建模。
通过计算文档与查询之间的余弦相似度，可以衡
量它们的相关性并进行排序。
向量空间模型适用于大规模的文档集合
和较复杂的查询需求。
3. 概率检索模型
概率检索模型基于概率统计理论，对文档与查询之间的概率关系进行
建模和计算。
最典型的概率检索模型是基于贝叶斯理论的朴素贝叶斯
模型。
该模型假设文档生成过程是随机的，并使用贝叶斯公式计算查
询的后验概率。
通过比较不同文档的概率得分，可以将其排序。
概率
检索模型适用于处理较复杂的查询和在语义理解方面有一定要求的场景。