信息检索模型
合集下载
信息检索中的检索模型比较分析
信息检索中的检索模型比较分析信息检索是指用户在面对大量信息时，通过使用一定的检索模型和技术方法，从中找到对自己有用的信息。
在信息爆炸的时代，信息检索变得非常重要和必要。
在进行信息检索时，使用不同的检索模型可以对用户的需求有不同的体现和处理方式。
因此，本文将比较分析信息检索中常见的检索模型，包括布尔模型、向量空间模型和概率模型。
首先，布尔模型是信息检索中最简单和最早的一种模型。
它使用布尔运算符（AND、OR、NOT）来表达检索的需求。
布尔模型的优点是逻辑简单，可以精确地描述用户的需求，使得检索结果更加准确。
然而，布尔模型的缺点也很明显，即无法对文本进行有关键词排名和排序，只能返回文档是否与查询匹配的结果。
由于信息检索系统中文档数量庞大，使用布尔模型检索的结果可能会非常庞杂，给用户带来困扰。
其次，向量空间模型是一种基于向量空间的检索模型。
该模型将文档和查询都表示为向量，并计算它们之间的相似度来判断文档与查询的相关性。
向量空间模型的优点在于可以对检索结果进行排序和排名，使得结果更加合理和有序。
此外，向量空间模型还可以使用权重来表示文档中关键词的重要程度，从而进一步提高检索的准确性。
然而，向量空间模型也存在一些问题，例如需要对文档和查询进行向量表示，需要对文档中的关键词进行权重计算，这些都需要消耗大量的计算资源和时间。
最后，概率模型是一种基于统计学概率的检索模型。
它通过计算文档与查询之间的相关性概率来进行检索。
概率模型的优点在于可以通过统计学方法来估计查询与文档之间的相关性概率，从而更好地处理查询的需求。
此外，概率模型还可以使用反馈机制来进一步提高检索的准确性。
然而，概率模型也存在一些问题，例如需要对文档集合进行训练，需要估计相关性概率，这些都需要大量的计算资源和大规模的文档集合。
综上所述，信息检索中的检索模型比较分析主要包括布尔模型、向量空间模型和概率模型。
布尔模型逻辑简单，可以精确地描述用户的需求，但无法对检索结果进行排序和排名；向量空间模型可以对检索结果进行排序和排名，但需要对文档和查询进行向量表示和权重计算；概率模型可以通过统计学方法估计查询与文档的相关性概率，但需要大量的计算资源和训练集合。
第2章-信息检索模型
▪ N: 文档集中文档总数
▪ 反文档频率用词项区别文档
例如：文档总数为1000，出现关键词k1文档为100
篇，出现关键词k2文档为500篇，出现关键词k3
文档为800篇
N=1000, n1=100, n2=500, n3=800
根据公式： idfi = log(N/ni) ，可计算出
idf1= 3 - 2 = 1
这里q dnf是提问式q旳主析取范式。可进一步简化表
达 为： q dnf =(1,1,1) or (1,1,0) or (1,0,0)
其中： (1,1,1) or (1,1,0) or (1,0,0)是q dnf旳三个合取
子项qcc，他们是一组向量，由相应旳三元组(k1 , k2 , k3)
旳每一种分量取0或1得到。
▪ 根据关键词旳出现频率计算相同度
• 例如：文档旳统计特征
▪ 顾客要求一种词项(term)集合，能够给每个词项附加权重
• 未加权旳词项: Q = database; text; information
• 加权旳词项: Q = database 0.5; text 0.8; information 0.2
由索引项构成向量空间
▪ 2个索引项构成一种二维空间，一种文档可能包括0,
1 或2个索引项
• di = 0, 0
(一种索引项也不包括)
• dj = 0, 0.7 (包括其中一种索引项)
• dk = 1, 2
(包括两个索引项)
▪ 类似旳，3个索引项构成一种三维空间，n个索引项
构成n维空间
么一种文档D就能够表达为D(t1,t2,…,tn)，其中n就代表了检
索字旳数量。
▪ 特征项权重Wk（Term Weight）：指特征项tn能够代表文档
▪ 反文档频率用词项区别文档
例如：文档总数为1000，出现关键词k1文档为100
篇，出现关键词k2文档为500篇，出现关键词k3
文档为800篇
N=1000, n1=100, n2=500, n3=800
根据公式： idfi = log(N/ni) ，可计算出
idf1= 3 - 2 = 1
这里q dnf是提问式q旳主析取范式。可进一步简化表
达 为： q dnf =(1,1,1) or (1,1,0) or (1,0,0)
其中： (1,1,1) or (1,1,0) or (1,0,0)是q dnf旳三个合取
子项qcc，他们是一组向量，由相应旳三元组(k1 , k2 , k3)
旳每一种分量取0或1得到。
▪ 根据关键词旳出现频率计算相同度
• 例如：文档旳统计特征
▪ 顾客要求一种词项(term)集合，能够给每个词项附加权重
• 未加权旳词项: Q = database; text; information
• 加权旳词项: Q = database 0.5; text 0.8; information 0.2
由索引项构成向量空间
▪ 2个索引项构成一种二维空间，一种文档可能包括0,
1 或2个索引项
• di = 0, 0
(一种索引项也不包括)
• dj = 0, 0.7 (包括其中一种索引项)
• dk = 1, 2
(包括两个索引项)
▪ 类似旳，3个索引项构成一种三维空间，n个索引项
构成n维空间
么一种文档D就能够表达为D(t1,t2,…,tn)，其中n就代表了检
索字旳数量。
▪ 特征项权重Wk（Term Weight）：指特征项tn能够代表文档
信息检索模型nlp
信息检索模型nlp
1. 向量空间模型（Vector Space Model，VSM）：这是一种基于词袋模型的简单信息检索模型。
它将文档表示为向量，其中每个向量的维度对应于词汇表中的一个词。
通过计算文档和查询之间的相似度来评估它们的相关性。
2. 语言模型（Language Model）：语言模型是一种统计模型，用于预测给定序列中的下一个词。
在信息检索中，语言模型可以用于评估查询和文档之间的相似度，以及对文档进行排序。
3. 概率检索模型（Probabilistic Retrieval Model）：这类模型基于概率推理和贝叶斯定理来估计文档与查询相关的概率。
常见的概率检索模型包括布尔模型、向量空间模型的扩展（如 TF-IDF）和BM25 模型。
4. 排序学习模型（Learning to Rank）：排序学习是一种机器学习方法，用于训练模型以对文档进行排序。
这些模型可以基于监督学习、强化学习或其他学习算法进行训练。
5. 深度学习模型：近年来，深度学习技术在信息检索中得到了广泛应用。
例如，使用卷积神经网络（CNN）或循环神经网络（RNN）来学习文本表示，并用于文档分类、情感分析等任务。
6. 知识图谱（Knowledge Graph）：知识图谱是一种基于语义网络的模型，用于表示实体、关系和概念。
在信息检索中，知识图谱可以用于理解查询意图、扩展查询和增强搜索结果。
这些只是信息检索模型的一些示例，实际上还有许多其他的方法和技术可用于信息检索任务。
具体的模型选择取决于应用场景、数据特点和性能要求等因素。
《信息检索模型》PPT课件
索引词（标引词，关键祠）:可以用于指代文档内容的预选词 语,一般为名词或名词词组.
词干提取（英文中）
countries => country，interesting => interest
组合词: 北京大学
中文分词（word segmentation），或称切词，主要在中文信息
处理中使用，即把一句话分成一个词的序列。如，“网络与分
任何命题公式的主析取范式都是存在的， 并且是唯一的。
精选课件ppt
18
布尔检索模型
首先，将查询转化为一个析取范式DNF
范式存在定理任一命题公式都存在着与之等值 的析取范式和合取范式
精选课件ppt
17
离散数学相关概念
主析取范式 定义 形如A＝A1∨A2∨……∨An
基中Ai(I=1,2,3……n) 为极小项 记为：∑（m1m2……m2n-1)
极小项 在n个变元的简单合取式中，若每个变元与其否 定不同时存在，而二者之一必出现且仅出现一次，这 种合取式叫做极小项
检索: 用 特别检索 户 过滤 任 务
浏览
布尔模型 向量模型 概率模型
结构化模型 非重叠链表模型 邻近结点模型
代数模型 广义向量模型 潜语义标引模型 神经网络模型
概率模型 推理网络模型 信任度网络模型
浏览
扁平式模型 结构导向模型 超文本模型
精选课件ppt
11
经典信息检索模型
布尔模型 向量空间模型 经典概率模型
精选课件ppt
13
布尔模型(Boolean Model)
精选课件ppt
14
布尔检索模型
一种简单的检索模型，它建立在经典的集合论和 布尔代数的基础上。
遵循两条基本规则: 每个索引词在一篇文档中只 有两种状态：出现或不出现，对应权值为 0或1。
第四章 信息检索模型
向量空间模型
➢ 向量空间模型（Vector Space Model，VSM） 是由G·Salton等人在1958年提出的
➢ 代表系统
SMART（ System for the Manipulation and Retrieval of Text）
➢ 这一系统理论框架到现在仍然是信息检索 技术研究的基础
D={d1, d2 , … , dm} 为了满足检索匹配所要求的快速与便利，文档di通常由
从文档中抽取的能够表达文档内容的特征项（如索引 项/检索词/关键词）来表示 设K={k1, k2 , … , kn} 为系统索引项集合 则di ={ωi1,ωi2 , … ,ωin} (ωij≥0) ωij→索引词kj在文档di中的重要性（权值weight）
相当于识别包含了一个某个特定term的文档
➢ 经过某种训练的用户可以容易地写出布尔查询 式
➢ 布尔模型可以通过扩展来包含排序的功能，即 “扩展的布尔模型”
布尔模型存在的问题
➢ 布尔模型被认为是功能最弱的方式，其主要问题在于不支 持部分匹配，而完全匹配会导致太多或者太少的结果文档 被返回 非常刚性: “与”意味着全部; “或”意味着任何一 个
模型中的问题
➢ 怎样确定文档中哪些词是重要的词？（索 引项）
➢ 怎样确定一个词在某个文档中或在整个文 档集中的重要程度？（权重）
➢ 怎样确定一个文档和一个查询式之间的相 似度？
索引项的选择
➢ 若干独立的词项被选作索引项(index keys) or 词表 vocabulary
➢ 索引项代表了一个应用中的重要词项 计算机科学图书馆中的索引项应该是哪些呢?
例如：文档的统计特性 ➢ 用户规定一个词项(key)集合，可以给每个词项附加权重
信息检索模型
• 1）基于文档内容的检索模型
• 布尔逻辑模型 • 概率统计模型 • 向量空间模型
• 2）基于文档结构的模型
• 并列链表模型 • 层次邻接模型
基于文档内容的检索模型
• 布尔逻辑模型，基于集合理论和布尔代数原理
的检索模型，其查询可以由and、or、not这些布 尔算符连接多个检索项或检索词组成，检索结果 是这些检索项或检索词相互匹配的布尔组合。其 优点是模型描述的形式化与操作简单，缺点是精 确匹配所导致的结果文档过多或丢失。
基于文档内容的检索模型
• 概率统计模型，利用概率论的原理，通过赋予
标引词的概率值来表示这些词在相关文档集合或 无关文档集合中出现的概率，然后计算某一给定 文档与给定查询之间的相关概率，存取系统据此 作出检索决策。概率模型有严格的数学理论基础， 采用了相关反馈原理，客服不确定性推理的缺点， 但其缺点是参数估计的难度比较大，文件和检索 的表达也比较困难。
信息检索模型
信息存取模型
• 信息存取模型（检索模型），是用于描 述信息（文档）表示、用户查询及其相 互关系（主要指相关性和度量）的框架 形式，是存取系统中用于实施查询的相 关性的度量模型。 • 以用户查询信息的行为为标准，信息存 取模型主要分为两类： • 1、信息检索模型 • 2、信息浏览模型
1、信息检索模型
Байду номын сангаас、信息浏览模型
• 1）平面浏览模型 • 2）目录导航模型 • 3）网状结构模型
• 平面浏览模型，也称平坦浏览模型，是为用户存 储于检索信息专门提供的一种平面组织的文档结 构。其缺点是平面浏览信息缺乏层次性的视图。 • 目录导航模型，也称层级结构模型，是将众多文 档和信息源按照主题或分类组织成一个按层次分、 具有隶属关系的等级存取结构。其结构层次分明、 浏览路径清晰，但当系统规模较大、目录层次较 多时不适合。 • 网状结构模型，是基于超文本超媒体技术的网络 信息浏览模型。以结点为信息存取电源，结点之 间以链路相连，采用网状交叉联络的方法将信息 单元及其相互关系采用“结点”和“链”有机地 组织起来，为用户提供非顺序性的信息浏览功能。
• 布尔逻辑模型 • 概率统计模型 • 向量空间模型
• 2）基于文档结构的模型
• 并列链表模型 • 层次邻接模型
基于文档内容的检索模型
• 布尔逻辑模型，基于集合理论和布尔代数原理
的检索模型，其查询可以由and、or、not这些布 尔算符连接多个检索项或检索词组成，检索结果 是这些检索项或检索词相互匹配的布尔组合。其 优点是模型描述的形式化与操作简单，缺点是精 确匹配所导致的结果文档过多或丢失。
基于文档内容的检索模型
• 概率统计模型，利用概率论的原理，通过赋予
标引词的概率值来表示这些词在相关文档集合或 无关文档集合中出现的概率，然后计算某一给定 文档与给定查询之间的相关概率，存取系统据此 作出检索决策。概率模型有严格的数学理论基础， 采用了相关反馈原理，客服不确定性推理的缺点， 但其缺点是参数估计的难度比较大，文件和检索 的表达也比较困难。
信息检索模型
信息存取模型
• 信息存取模型（检索模型），是用于描 述信息（文档）表示、用户查询及其相 互关系（主要指相关性和度量）的框架 形式，是存取系统中用于实施查询的相 关性的度量模型。 • 以用户查询信息的行为为标准，信息存 取模型主要分为两类： • 1、信息检索模型 • 2、信息浏览模型
1、信息检索模型
Байду номын сангаас、信息浏览模型
• 1）平面浏览模型 • 2）目录导航模型 • 3）网状结构模型
• 平面浏览模型，也称平坦浏览模型，是为用户存 储于检索信息专门提供的一种平面组织的文档结 构。其缺点是平面浏览信息缺乏层次性的视图。 • 目录导航模型，也称层级结构模型，是将众多文 档和信息源按照主题或分类组织成一个按层次分、 具有隶属关系的等级存取结构。其结构层次分明、 浏览路径清晰，但当系统规模较大、目录层次较 多时不适合。 • 网状结构模型，是基于超文本超媒体技术的网络 信息浏览模型。以结点为信息存取电源，结点之 间以链路相连，采用网状交叉联络的方法将信息 单元及其相互关系采用“结点”和“链”有机地 组织起来，为用户提供非顺序性的信息浏览功能。
信息检索模型
例子：
q = 病毒 AND （计算机 OR 电脑）AND NOT医 d1: …据报道，计算机病毒近日猖獗… d2: …小王虽然是学医的，但对研究电脑病毒也很感兴趣，最近 发明了一种… d3: …计算机程序发现了爱滋病病毒的传播途径… 哪些文档会被检索出来？
布尔模型的优点
到目前为止，布尔模型是最常用的检索模型， 因为：
信息检索模型
信息检索模型是指如何对查询和文档进行表示，然 后对它们进行相似度计算的框架和方法。 本质上是对相关度建模。 信息检索模型是IR中的核心内容之一。
信息检索模型
一个信息检索模型是由文档表示、查询、关 系、模型框架构成的四元组。 四元组：System=(D,Q,F,R(dj,qi)) D 文档集的表示 Q 用户需求的表示 F 文档表示、查询表示和他们之间关系的 模型框架（Frame） R(dj ，qi) 给出Query qi和Document dj 的评 分
1
Sim(dj,q)=
如果存在qcc|(qcc∈qdnf)且对于任意ki, 有
gi(dj) = gi(qcc)
0 其他 例如: 文档集合D存在两篇文档d1和d2,其中,d1含有关键 词k1和k2,d2含有关键词k1和k3,则它们的文档向量分别为: d1 =(1,1,0) , d2 =(1,0,1) 根据匹配函数的定义,显然,d1与提问式q = k1 and （k2 or not k3）的匹配函数值是1,即d1与提问q是相关的; d2与 提问式q的匹配函数值是0, 表明d2与提问q是不相关的。
信息检索模型
内容提要
信息检索系统的形式化表示 布尔逻辑模型 向量空间模型 概率模型 其他检索模型
什么是模型？
模型是采用数学工具，对现实世界某种事物 或某种运动的抽象描述 面对相同的输入，模型的输出应能够无限地 逼近现实世界的输出
《信息检索模型》课件
向量空间模型
向量空间模型使用向量表示文档和查询，通过计算余弦相似度来衡量文档与查询的相关性。它能够更全面地度 量文档的相关性，但需要处理高维度的向量空间。
概率检索模型
概率检索模型基于统计方法，通过建模查询与文档的概率分布来进行信息检 索。其中，BM25算法是常用的概率检索模型算法之一。
实践应用
信息检索系统由多个组成部分构成，包括文本预处理、索引构建、查询解析 和结果排序等，这些组件协同工作以提供准确和相关的搜索结果。
信息检索模型
信息检索模型是用于描述和处理信息检索过程中的相关原理和算法。常见的 模型包括布尔模型、向量空间模型和概率检索模型。
布尔模型
布尔模型使用布尔运算符进行查询匹配，根据查询关键词的逻辑关系确定文 档是否与查询匹配。它简单而直观，但缺乏对文档相关性的度量。
《信息检索模型》PPT课 件
欢迎来到本课程关于《信息检索模型》的PPT课件。本课程将带您深入了解信 息检索的不同模型、系统以及实践应用，让您对这一领域有全面的认识。
信息检索概述
信息检索是指通过计算机系统从大量的信息资源中找到用户所需信息的过程。ห้องสมุดไป่ตู้具有悠久的历史并在诸多领域 得到广泛应用。
信息检索系统
信息检索在多个领域有着广泛的实践应用，包括搜索引擎、文本分类、推荐系统等。下面我们将通过案例分析 搜索引擎的信息检索模型。
总结与展望
信息检索领域持续发展，未来的趋势包括个性化搜索、多模态检索和语义搜索等。信息检索的进步将对我们的 生活和工作产生深远影响。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
countries =&grest 组合词: 北京大学 中文切词（word segmentation），或称分词，主要在中文信息处理中使用，即把一句话 分成一个词的序列。如，“网络与分布式系统实验室”，分词为“网络 与 分布式 系 统 实验室”。
2．依据共有词汇假设的信息检索
存在共有：如果 dj 有 q 含有的某些 ki , 则 relevant(q, dj )=1 全部共有：如果 dj 有 q 含有的所有的 ki , 则 relevant(q, dj )=1 比例共有：如果 q 和 dj 共有多于 m%的 ki , 则 relevant(q, dj)=1
sim(d j , q)
=
⎧1 ⎨ ⎩0
if ∃qcc | (qcc otherwise
∈ qdnf
) ∧ (∀ki , gi (d j )
=
gi (qcc ))
如果 sim(d j , q) = 1，则表示文献 dj 与 q 相关，否则为不相关。
sim(dj, q) 为该模型的匹配函数。
3．简单实例：
一、 布尔检索模型 这是一种简单的检索模型，它建立在经典的集合论和布尔代数的基础上。 遵循两条基本规则: 1）。每个索引词在一篇文档中只有两种状态：出现或不
出现，对应权值为 0 或 1。2）。查询是由三种布尔逻辑运算符 and, or, not 连接 索引词组成的布尔表达式。
1．可以将查询转化为一个主析取范式 DNF。
五、现代信息检索包括的主要内容
DB Manager Module
Text Databas
建模、文献分类、系统构建、用户界面、数据可视化、信息过滤和查询语言 等。
第二节 信息检索模型 一、相关概念
停用词（stop word），指文档中出现的连词，介词，冠词等并无太大意义词。例如在英 文中常用的停用词有 the，a, it 等；在中文中常见的有“是”，“的”，“地”等。 索引词（标引词，关键祠）:可以用于指代文档内容的预选词语,一般为名词或名词词组. 词干提取:
•将信息获取看成是一个过程：用户提交一个查询，系统提供给用户它所认为的相关结果列 表；用户考察这个集合后给出一些辅助信息，系统再进一步根据这辅助信息（加上以前的信 息）得到一个新的相关结果列表；如此继续。 •如果每次结果列表中的元素总是按照和查询相关的概率递减排序的话，则系统的整体效果 会最好。 •其中概率的计算应该是基于当时所能得到的所有信息。
4． 要求很好的掌握： 文档向量的构造：tf，idf，tf*idf，索引词权值 提问向量的构造： 匹配函数： 夹角余弦
5．举例：
综合题（19 分）：按照下述描述和要求完成相关工作
给定文档语料:
D1: 北京安立文高新技术公司
D2: 新一代的网络访问技术
D3: 北京卫星网络有限公司
D4: 是最先进的总线技术。。。
q = 病毒 AND （计算机 OR 电脑）AND NOT 医 •d1: …据报道，计算机病毒近日猖獗… •d2: …小王虽然是学医的，但对研究电脑病毒也很感兴趣，最近发明了一种… •d3: …计算机程序发现了爱滋病病毒的传播途径…
哪些文档会被检索出来？
4． 布尔检索模型的特点：简单、易理解、简洁的形式化。 缺点：准确匹配，信息需求的能力表达不足。
–此时，变量 wi 称为权值，非负；表示对应词项 ki 对于判断 d 和查询 q 相 关性的重要程度（注意，这里的 q 是一般的，而 d 是具体的） •q=<v1,v2,…vm>–变量 vi 的含义类似于 wi•两个基本问题：如何定义 wi 和 vi； 如何计算 R(d,q)？
•让 wi 和 vi 为对应的词分别在 d 和 q 中出现的次数，于是我们有了两个 m 维向
二、 向量空间模型(Vector Space Model, VSM)： 1． 相比于布尔模型要求的准确匹配, Salton 在 60 年代末提出的 VSM 模型采用 了“部分匹配”的检索策略（即：出现部分索引词也可以出现在检索结果中）。
通过给查询或文档中的索引词分配非二值权值来实现。 具体地
•词典, ∑={k1,k2,…km} •d=<w1,w2,…wm >
D5: 北京/ 升/ 平/ 卫星/ 技术/ 有限/ 公司/ 的/ 新/ 技术/ 有。。。
你的任务是设计一个针对这些文档的信息检索系统。具体要求是：
(1). 给出系统的有效词汇集合（说明取舍原因）。 (2). 写出 D1 和 D2 在 VSM 中的表示（使
用 tf*idf，写出各项的数字表达式，具体数值不必实际计算出来）。 (3). 画出系统的倒排文
D5: 北京升平卫星技术有限公司的新技术有。。。
利用中文切分词软件，分别得到用“/”分开的一些字词：
D1: 北京/ 安/ 立/ 文/ 高新/ 技术/ 公司/ D2: 新/ 一/ 代/ 的/ 网络/ 访问/ 技术/
D3: 北京/ 卫星/ 网络/ 有限/ 公司/
D4: 是/ 最/ 先进/ 的/ 总线/ 技术/ 。。。
标题：以某种方式得到的网页内容的标题。最简单的方式就是从网页的 <TITLE></TITLE>标签中提取的内容。（尽管在一些情况下并不真正反映网页的内容）。
URL：该网页对应的“访问地址”。有经验的 Web 用户常常可以通过这个元素对网页内 容 的 权 威 性 进 行 判 断 ， 例 如 上 面 的 内 容 通 常 就 比 （某个假想的个人网站）上的要更权威些（不排除后者上的内容更有 趣些）。
二、 实例：搜索引擎
1．搜索引擎（search engine，SE），Web 上的一种应用软件系统，它以一定的策 略在 Web 上搜集和发现信息，对信息进行处理和组织后，为用户提供 Web 信息 查询服务 2．搜索引擎三段式工作流程
搜集
预处理
服务
3．在某一搜索引擎如天网（），用户提交了查询词“伊拉克战争”，系统返 回一个相关信息列表。这个列表中的每一条目代表一篇网页，至少有 3 个元素：
备课笔记
第四章 信息检索模型
主要内容：
1． 信息检索
2. 信息检索模型 IR 模型的形式化表示 IR 模型的分类
3． 经典信息检索模型
第一节 信息检索
一、概念
定义：信息检索（information retrieval，IR）， 将信息按一定的方式组织和存储起来，并根
据用户的需要找出有关信息的过程。
发展的几个阶段 手工检索(早期,情报检索) 穿孔卡片检索(1950s) 计算机检索(面向主题,1960s) 联机检索（1970s,1980s) Web 检索(1990s)
例如：查询为 q = ka ∧ (kb ∨ ¬kc ) ，进一步表达为 qdnf = (1,1,1) ∨ (1,1, 0) ∨ (1, 0, 0)
即：每一个分量都是三元组 (ka , kb , ka ) 的二值向量 2． 定义：用qdnf表示查询q的析取范式，qcc表示qdnf的任意合取分量。文献dj 与查询 q 的相似度为
对文档向量的构造，考察：
局部权值 tf_ij=f_ij / max{f_ij}， （ki 词频，并规格化）
全局权值 idf_i=log(N/ni)
（ki 的倒排文档频率）
索引词权值: wij= tf*idf
查询向量的构造：索引词权值: wij= (0.5+ 0.5 * fij / max{f_ij})* idf
量，用夹角的 cos 表示“接近度”，即 •R(d,q) = cos(d,q) = d·q/|d|×|q|
•认为：–cos(di,q) > cos(dj,q)，则 di 比 dj 与 q 更相关。
•通常系统就会取前若干个结果返回给用户 –例如天网返回 3000，虽然可能查出了几十万
2． 权值 w_ij 的选取方法：
3． VSM 是一项重要的学术贡献，用了几十年
–G. Salton and M. E. Lesk, “Computer evaluation of indexing and text processing,” Journal of the ACM, 15(1):8-38, January 1968. –G. Salton, The SMART Retrieval System – Experiments in Automatic Document Processing. Prentice Hall Inc., 1971. •实践证明，尽管 VSM 在许多方面依然和“现实”都不符，但实际效果不错（至少比布尔模型 好很多）
二、 IR 模型的形式化特征 1．文档逻辑视图： 用一组索引词或关键词来表示一篇文档。索引词既可以自动提取，也
可以是由人主观指定。
2．信息检索模型（IR model），
依照用户查询，对文档集合进行相关排序的一组前提假设和算法。IR模型可形式地表 示为一个四元组< D, Q, F, R(qi,dj) >，其中D是一个文档集合，Q是一个查询集合，F是一个对 文档和查询建模的框架，R(qi,dj) 是一个排序函数，它给查询qi和文档 dj 之间的相关度赋予 一个排序值。常用的信息检索模型有：集合论模型、代数模型、概率模型等。
给定一个用户查询，存在一个文档集合，该集合只包括与查询完全相关的文 档而不包括其他不相关的文档，称该集合为理想结果集合。
如何描述这个理想结果集合？即：该理想结果集合具有什么样的属性？
（基于相关反馈的原理，需要进行一个逐步求精的过程）。
2．PRP (probability ranking principle)
其中， D 通常由文档逻辑视图来表示。Q 一个查询集合，是用户任务的表达，由查 询需求的逻辑视图来表示。F 是一个框架,用以构建文档,查询以及它们之间关系的模型。
R(qi,dj) 是一个排序函数，它给查询 qi 和文档 dj 之间的相关度赋予一个排序值。即: IR 模 型由上述四个要素组成 < D, Q, F, R(qi,dj) >
2．依据共有词汇假设的信息检索
存在共有：如果 dj 有 q 含有的某些 ki , 则 relevant(q, dj )=1 全部共有：如果 dj 有 q 含有的所有的 ki , 则 relevant(q, dj )=1 比例共有：如果 q 和 dj 共有多于 m%的 ki , 则 relevant(q, dj)=1
sim(d j , q)
=
⎧1 ⎨ ⎩0
if ∃qcc | (qcc otherwise
∈ qdnf
) ∧ (∀ki , gi (d j )
=
gi (qcc ))
如果 sim(d j , q) = 1，则表示文献 dj 与 q 相关，否则为不相关。
sim(dj, q) 为该模型的匹配函数。
3．简单实例：
一、 布尔检索模型 这是一种简单的检索模型，它建立在经典的集合论和布尔代数的基础上。 遵循两条基本规则: 1）。每个索引词在一篇文档中只有两种状态：出现或不
出现，对应权值为 0 或 1。2）。查询是由三种布尔逻辑运算符 and, or, not 连接 索引词组成的布尔表达式。
1．可以将查询转化为一个主析取范式 DNF。
五、现代信息检索包括的主要内容
DB Manager Module
Text Databas
建模、文献分类、系统构建、用户界面、数据可视化、信息过滤和查询语言 等。
第二节 信息检索模型 一、相关概念
停用词（stop word），指文档中出现的连词，介词，冠词等并无太大意义词。例如在英 文中常用的停用词有 the，a, it 等；在中文中常见的有“是”，“的”，“地”等。 索引词（标引词，关键祠）:可以用于指代文档内容的预选词语,一般为名词或名词词组. 词干提取:
•将信息获取看成是一个过程：用户提交一个查询，系统提供给用户它所认为的相关结果列 表；用户考察这个集合后给出一些辅助信息，系统再进一步根据这辅助信息（加上以前的信 息）得到一个新的相关结果列表；如此继续。 •如果每次结果列表中的元素总是按照和查询相关的概率递减排序的话，则系统的整体效果 会最好。 •其中概率的计算应该是基于当时所能得到的所有信息。
4． 要求很好的掌握： 文档向量的构造：tf，idf，tf*idf，索引词权值 提问向量的构造： 匹配函数： 夹角余弦
5．举例：
综合题（19 分）：按照下述描述和要求完成相关工作
给定文档语料:
D1: 北京安立文高新技术公司
D2: 新一代的网络访问技术
D3: 北京卫星网络有限公司
D4: 是最先进的总线技术。。。
q = 病毒 AND （计算机 OR 电脑）AND NOT 医 •d1: …据报道，计算机病毒近日猖獗… •d2: …小王虽然是学医的，但对研究电脑病毒也很感兴趣，最近发明了一种… •d3: …计算机程序发现了爱滋病病毒的传播途径…
哪些文档会被检索出来？
4． 布尔检索模型的特点：简单、易理解、简洁的形式化。 缺点：准确匹配，信息需求的能力表达不足。
–此时，变量 wi 称为权值，非负；表示对应词项 ki 对于判断 d 和查询 q 相 关性的重要程度（注意，这里的 q 是一般的，而 d 是具体的） •q=<v1,v2,…vm>–变量 vi 的含义类似于 wi•两个基本问题：如何定义 wi 和 vi； 如何计算 R(d,q)？
•让 wi 和 vi 为对应的词分别在 d 和 q 中出现的次数，于是我们有了两个 m 维向
二、 向量空间模型(Vector Space Model, VSM)： 1． 相比于布尔模型要求的准确匹配, Salton 在 60 年代末提出的 VSM 模型采用 了“部分匹配”的检索策略（即：出现部分索引词也可以出现在检索结果中）。
通过给查询或文档中的索引词分配非二值权值来实现。 具体地
•词典, ∑={k1,k2,…km} •d=<w1,w2,…wm >
D5: 北京/ 升/ 平/ 卫星/ 技术/ 有限/ 公司/ 的/ 新/ 技术/ 有。。。
你的任务是设计一个针对这些文档的信息检索系统。具体要求是：
(1). 给出系统的有效词汇集合（说明取舍原因）。 (2). 写出 D1 和 D2 在 VSM 中的表示（使
用 tf*idf，写出各项的数字表达式，具体数值不必实际计算出来）。 (3). 画出系统的倒排文
D5: 北京升平卫星技术有限公司的新技术有。。。
利用中文切分词软件，分别得到用“/”分开的一些字词：
D1: 北京/ 安/ 立/ 文/ 高新/ 技术/ 公司/ D2: 新/ 一/ 代/ 的/ 网络/ 访问/ 技术/
D3: 北京/ 卫星/ 网络/ 有限/ 公司/
D4: 是/ 最/ 先进/ 的/ 总线/ 技术/ 。。。
标题：以某种方式得到的网页内容的标题。最简单的方式就是从网页的 <TITLE></TITLE>标签中提取的内容。（尽管在一些情况下并不真正反映网页的内容）。
URL：该网页对应的“访问地址”。有经验的 Web 用户常常可以通过这个元素对网页内 容 的 权 威 性 进 行 判 断 ， 例 如 上 面 的 内 容 通 常 就 比 （某个假想的个人网站）上的要更权威些（不排除后者上的内容更有 趣些）。
二、 实例：搜索引擎
1．搜索引擎（search engine，SE），Web 上的一种应用软件系统，它以一定的策 略在 Web 上搜集和发现信息，对信息进行处理和组织后，为用户提供 Web 信息 查询服务 2．搜索引擎三段式工作流程
搜集
预处理
服务
3．在某一搜索引擎如天网（），用户提交了查询词“伊拉克战争”，系统返 回一个相关信息列表。这个列表中的每一条目代表一篇网页，至少有 3 个元素：
备课笔记
第四章 信息检索模型
主要内容：
1． 信息检索
2. 信息检索模型 IR 模型的形式化表示 IR 模型的分类
3． 经典信息检索模型
第一节 信息检索
一、概念
定义：信息检索（information retrieval，IR）， 将信息按一定的方式组织和存储起来，并根
据用户的需要找出有关信息的过程。
发展的几个阶段 手工检索(早期,情报检索) 穿孔卡片检索(1950s) 计算机检索(面向主题,1960s) 联机检索（1970s,1980s) Web 检索(1990s)
例如：查询为 q = ka ∧ (kb ∨ ¬kc ) ，进一步表达为 qdnf = (1,1,1) ∨ (1,1, 0) ∨ (1, 0, 0)
即：每一个分量都是三元组 (ka , kb , ka ) 的二值向量 2． 定义：用qdnf表示查询q的析取范式，qcc表示qdnf的任意合取分量。文献dj 与查询 q 的相似度为
对文档向量的构造，考察：
局部权值 tf_ij=f_ij / max{f_ij}， （ki 词频，并规格化）
全局权值 idf_i=log(N/ni)
（ki 的倒排文档频率）
索引词权值: wij= tf*idf
查询向量的构造：索引词权值: wij= (0.5+ 0.5 * fij / max{f_ij})* idf
量，用夹角的 cos 表示“接近度”，即 •R(d,q) = cos(d,q) = d·q/|d|×|q|
•认为：–cos(di,q) > cos(dj,q)，则 di 比 dj 与 q 更相关。
•通常系统就会取前若干个结果返回给用户 –例如天网返回 3000，虽然可能查出了几十万
2． 权值 w_ij 的选取方法：
3． VSM 是一项重要的学术贡献，用了几十年
–G. Salton and M. E. Lesk, “Computer evaluation of indexing and text processing,” Journal of the ACM, 15(1):8-38, January 1968. –G. Salton, The SMART Retrieval System – Experiments in Automatic Document Processing. Prentice Hall Inc., 1971. •实践证明，尽管 VSM 在许多方面依然和“现实”都不符，但实际效果不错（至少比布尔模型 好很多）
二、 IR 模型的形式化特征 1．文档逻辑视图： 用一组索引词或关键词来表示一篇文档。索引词既可以自动提取，也
可以是由人主观指定。
2．信息检索模型（IR model），
依照用户查询，对文档集合进行相关排序的一组前提假设和算法。IR模型可形式地表 示为一个四元组< D, Q, F, R(qi,dj) >，其中D是一个文档集合，Q是一个查询集合，F是一个对 文档和查询建模的框架，R(qi,dj) 是一个排序函数，它给查询qi和文档 dj 之间的相关度赋予 一个排序值。常用的信息检索模型有：集合论模型、代数模型、概率模型等。
给定一个用户查询，存在一个文档集合，该集合只包括与查询完全相关的文 档而不包括其他不相关的文档，称该集合为理想结果集合。
如何描述这个理想结果集合？即：该理想结果集合具有什么样的属性？
（基于相关反馈的原理，需要进行一个逐步求精的过程）。
2．PRP (probability ranking principle)
其中， D 通常由文档逻辑视图来表示。Q 一个查询集合，是用户任务的表达，由查 询需求的逻辑视图来表示。F 是一个框架,用以构建文档,查询以及它们之间关系的模型。
R(qi,dj) 是一个排序函数，它给查询 qi 和文档 dj 之间的相关度赋予一个排序值。即: IR 模 型由上述四个要素组成 < D, Q, F, R(qi,dj) >