最新7.信息检索模型PPT课件
合集下载
第2章--信息检索PPT课件
经济
文化、科学、教育、体育 语言、文字 文学 艺术 历史、地理
S
T U V X Z
农业科学
工业技术 交通运输 航空、航天 环境科学、安全科学 综合性图书
《中国图书馆分类法》
中国图书馆分类法分类表共分22个大类，再分17个 二级目录，医药卫生属于R大类。 《中图法》采用汉语拼音字母和阿拉伯数字组成的 混合制号码作类目标识，用一个字母标记一个基本
的问题；
另一方面是特定原始文献的查找，即在查找特定
的文献线索后，找出原始文献的过程。
第一节 信息检索基础
一、信息检索概念
（二）信息检索的意义和作用 信息检索 有助于知识更新 ，有助于同学们扩大视野 ，了解和把握有关学科中出现的新思想、新观点与 新知识。掌握信息检索技术是快速、准确地获取和 利用最新信息的有效途径。 信息检索有助于科学研究，了解和把握有关学科的 起源和发展过程。 有助于独立自主地解决自己在学习、生活和工作中 所遇到的疑难问题。 是接受终身教育的必要手段。 节省时间，提高效率。
第二节 信息检索语言
二、检索语言的种类
（一）分类检索语言 分类检索语言又称分类法，是用分类号（字母、数 字或它们的组合）来表达各种概念的，并将各种概 念按学科性质进行分类和系统排列的信息检索语言。 它以树状结构的形式，按知识门类的逻辑次序反映事物 的从属、派生关系，构成具有上位类和下位类隶属、同 位类并列的概念等级体系。 能较好体现概念的族性关系，从学科专业的角度检索资 料，比较方便，扩大、缩小检索范围方便。
（一）按信息检索的对象划分
数据信息检索 利用数据库、工具书等以数值或数据为对象的检 索，也称为数值检索。检索包含分子式、分子量 、公式 、图表等特定数据的信息。
最新文献信息检索与利用教学讲义PPT课件
（四）现代文献的整体特点
1、数量激增 2、类型复杂 3、文种多样 4、内容交叉重复 5、文献聚散有序 6、新陈代谢频繁
第三节 文献信息检索系统
（一）概念 文献信息检索：广义：将文献信息按一定方式组
织和存储起来，并针对信息用户的特点需求查找出
所需信息内容的过程。狭义（P9）。
职能：存储、检索
2、二次文献
*对一次文献进行加工整理而成的具有报道和检索
作用的文献；
*对知识的第二次加工；有序化；提供一次文献线索； *目录、题录、文摘等检索工具。
3、三次文献
* 利用二次文献系统地检索出一批有关的文献，对
其内容进行比较分析，综合述评而编撰的文献。
* 对知识的再加工；提供文献检索； * 综述、专著;字词典、百科全书
文献信息检索与利用
第一章 绪 论
第一节 第二节 第三节
信息检索的意义和作用 文献、信息基本知识 文献检索系统
第一节 信息检索的意义和作用
1、信息检索是现代人才的基本生存技能 2、信息检索是现代人才信息素质的重要方面 3、信息检索是科学交流的重要途径 4、信息检索是开发信息资源的工具 5、信息检索是管理决策的基础 6、信息检索是避免重复研究的必由之路 7、信息检索是治学之道
研究报告
科技报告的特点
研究报告是单位和 个人向上级或委托单位 撰写的关于某个课题研 究成果的正式报告。
（1）内容新颖，选题尖端实用；
（2）不公开发行或少量发行； （3）质量参差不齐； （4）保密性强； （5）每份报告独立成册，有连续编号。
会议文献
会议文献是指在各 种会议上宣读、交流的 论文、报告、会议录等 文献。定期召开的会议 录或论文集其实相当于 连续出版物。
信息检索技术PPT课件
2021/4/4
.
19
信息检索的统计模型
一个信息检索模型IRM 是一个三元组
D是文档的集合；
Q是用户需求的集合；
R：D×Q→ R R是集合D与Q的笛卡尔乘积到实数集R的一个 映射，对每个用户查询 q∈Q，每个文档d∈D ，映射R将 (q d）映射为一个实数，称为用户查询q与文档d的相关度。
2021/4/4
1996年正式提出“超链分析”概念并发表了相关文章 ，1997年2月申请了专利——“超链分析技术”（Hypertext document retrieval system and method，专利号5，920，859 ）。超链分析技术的发明，一改互联网搜索杂乱无章、信 息冗余的局面，使搜索效果大幅提升。
PXY1,… … ,Yn
该条件概率表示该节点与其父节点 Y1,……,依Yn赖关系
的强度，在贝叶斯网络中，一个节点仅条件依赖于它的父 节点。
2021/4/4
.
28
概率模型
索引词节点 k i
文档节点 d j
用户查询 q
边有2种类型： 贝叶斯网络的3个层次
2021/4/4
.
29
概率模型
可见：
2021/4/4
2021/4/4
.
13
信息检索中的系统的评价
精确度-召回率曲线分析
2021/4/4
.
14
信息检索系统中的评价
许多用户对信息检索系统精确度要求较高，他们希望尽快 查到相关的文档，而不把时间浪费在无关的文档上。另外 一些用户则认为召回率更加重要，他们认为相关文档占检 索返回的文档比例越高，系统效果则越好。
.
38
搜索引擎
2021/4/4
第2章-信息检索模型
▪ N: 文档集中文档总数
▪ 反文档频率用词项区别文档
例如：文档总数为1000，出现关键词k1文档为100
篇，出现关键词k2文档为500篇，出现关键词k3
文档为800篇
N=1000, n1=100, n2=500, n3=800
根据公式： idfi = log(N/ni) ，可计算出
idf1= 3 - 2 = 1
这里q dnf是提问式q旳主析取范式。可进一步简化表
达 为： q dnf =(1,1,1) or (1,1,0) or (1,0,0)
其中： (1,1,1) or (1,1,0) or (1,0,0)是q dnf旳三个合取
子项qcc，他们是一组向量，由相应旳三元组(k1 , k2 , k3)
旳每一种分量取0或1得到。
▪ 根据关键词旳出现频率计算相同度
• 例如：文档旳统计特征
▪ 顾客要求一种词项(term)集合，能够给每个词项附加权重
• 未加权旳词项: Q = database; text; information
• 加权旳词项: Q = database 0.5; text 0.8; information 0.2
由索引项构成向量空间
▪ 2个索引项构成一种二维空间，一种文档可能包括0,
1 或2个索引项
• di = 0, 0
(一种索引项也不包括)
• dj = 0, 0.7 (包括其中一种索引项)
• dk = 1, 2
(包括两个索引项)
▪ 类似旳，3个索引项构成一种三维空间，n个索引项
构成n维空间
么一种文档D就能够表达为D(t1,t2,…,tn)，其中n就代表了检
索字旳数量。
▪ 特征项权重Wk（Term Weight）：指特征项tn能够代表文档
▪ 反文档频率用词项区别文档
例如：文档总数为1000，出现关键词k1文档为100
篇，出现关键词k2文档为500篇，出现关键词k3
文档为800篇
N=1000, n1=100, n2=500, n3=800
根据公式： idfi = log(N/ni) ，可计算出
idf1= 3 - 2 = 1
这里q dnf是提问式q旳主析取范式。可进一步简化表
达 为： q dnf =(1,1,1) or (1,1,0) or (1,0,0)
其中： (1,1,1) or (1,1,0) or (1,0,0)是q dnf旳三个合取
子项qcc，他们是一组向量，由相应旳三元组(k1 , k2 , k3)
旳每一种分量取0或1得到。
▪ 根据关键词旳出现频率计算相同度
• 例如：文档旳统计特征
▪ 顾客要求一种词项(term)集合，能够给每个词项附加权重
• 未加权旳词项: Q = database; text; information
• 加权旳词项: Q = database 0.5; text 0.8; information 0.2
由索引项构成向量空间
▪ 2个索引项构成一种二维空间，一种文档可能包括0,
1 或2个索引项
• di = 0, 0
(一种索引项也不包括)
• dj = 0, 0.7 (包括其中一种索引项)
• dk = 1, 2
(包括两个索引项)
▪ 类似旳，3个索引项构成一种三维空间，n个索引项
构成n维空间
么一种文档D就能够表达为D(t1,t2,…,tn)，其中n就代表了检
索字旳数量。
▪ 特征项权重Wk（Term Weight）：指特征项tn能够代表文档
《信息检索》PPT课件
1985年，国家教委印发<改进和发展文献课教学的几点意 见>的通知. (85)教高一司字065号
1992年，国家教委印发《文献检索课教学基本要求》，全 面规定了“文献检索课”的课程性质、教学目的、课程组
织、教学评估.教高司[1992]44号
1993年，国家教委<关于成立《文献检索课》教学指导小
怎样提高信息处理能力？
精选课件ppt
7
内容提要
1
引言
2
基本概念
3
互联网资源
4
专业学术资源
5
商标权
6
其他知识产权
精选课件ppt
8
1. 信息、知识、情报、文献
信息：事物属性，是由事物发出的消息、指令、数据. 知识：是人类社会实践经验的总结，是人的主观世界对于
客观世界的概括和反映. 情报：是激活了的知识，是为特定目的服务的信息；是对
(20%)
精选课件ppt
15
2.3.1 图书
对已发表的成果和经验，或某知识领域的系统论述或总结. 通常以期刊论文、会议论文、研究报告等一次文献为基本
素材，经分析、归纳、重组而成.
范围：专著、文集、教科书、普及读物、百科全书、年鉴、手册、 词典等.
按载体形态分
手抄型文献 印刷型文献 微缩型文献 机读型文献(电子文献) 视听型文献
精选课件ppt
12
2.1 文献内容层次
零次文献：未经正式发表或不宜公开或交流的文献.
包括：底稿、手稿、文稿、书信、图纸、记录、经验、意见等.
一次文献：原始制作，即作者以本人的研究成果为基本素
材而创作(或撰写)的文献.
手抄型：主要指古旧文献和未经付印的手稿及技术档案之 类的资料.
信息检索ppt课件
19
信息检索技术
❖ 一、布尔逻辑检索（not>and>or) ❖ 二、截词检索 ❖ 三、位置检索(常用的关系符号是(W)、(N)、
(F)、(S))
（四）限定字段检索
20
信息检索策略
❖ 1.分析检索课题，明确目的和要求 ❖ 2.选择合适的检索工具 ❖ 3.选择检索途径，确定检索标识 ❖ 4.编制检索表达式，调整检索策略 ❖ 5.浏览检索结果，获取原始文献。
具有广泛影响的定义
信息是事物存在方式、运动状态及其特 征的反映，是事物发出的信号、消息。
1 1信息的特征载体依来自性信无限共享性
息
的
永不枯竭性
特
征
开发增值性
应用时效性
存在普遍性
2
2
二、知识（knowledge）
❖ 《汉语词典》中解释为：人们在改造世界 的实践过程中所获得的认识和经验的总和。
❖ 知识 是人类对自然界、人类社会中各种现 象、规律的信息反映进行思维分析，加工 提炼，经过系统化、理论化的结果。
二、医学信息素养的内涵主要包括：
信息意识：是个体对信息重要性的认识程度和对 信息是否具有特殊的、敏锐的感受力和持久的注 意力，即对信息的捕捉、分析、判断和吸收的敏 感性。
信息知识：是指与信息有关的理论、知识和方法。
信息能力：是对信息的搜集获取能力、分析鉴别 能力和综合利用能力。
信息道德：是指在整个信息活动中，信息创建者、 信息服务提供者和信息使用者所必须要遵守的伦 理规范。
❖ 因此，知识是系统化、理论化的信息集合。
3 3
三、情报（information, intelligence ）
❖ 《辞源》：“定敌情如何，而报于上官者”为情报。 ❖ 《辞海》：“战时关于敌情之报告，曰情报。
信息检索技术
❖ 一、布尔逻辑检索（not>and>or) ❖ 二、截词检索 ❖ 三、位置检索(常用的关系符号是(W)、(N)、
(F)、(S))
（四）限定字段检索
20
信息检索策略
❖ 1.分析检索课题，明确目的和要求 ❖ 2.选择合适的检索工具 ❖ 3.选择检索途径，确定检索标识 ❖ 4.编制检索表达式，调整检索策略 ❖ 5.浏览检索结果，获取原始文献。
具有广泛影响的定义
信息是事物存在方式、运动状态及其特 征的反映，是事物发出的信号、消息。
1 1信息的特征载体依来自性信无限共享性
息
的
永不枯竭性
特
征
开发增值性
应用时效性
存在普遍性
2
2
二、知识（knowledge）
❖ 《汉语词典》中解释为：人们在改造世界 的实践过程中所获得的认识和经验的总和。
❖ 知识 是人类对自然界、人类社会中各种现 象、规律的信息反映进行思维分析，加工 提炼，经过系统化、理论化的结果。
二、医学信息素养的内涵主要包括：
信息意识：是个体对信息重要性的认识程度和对 信息是否具有特殊的、敏锐的感受力和持久的注 意力，即对信息的捕捉、分析、判断和吸收的敏 感性。
信息知识：是指与信息有关的理论、知识和方法。
信息能力：是对信息的搜集获取能力、分析鉴别 能力和综合利用能力。
信息道德：是指在整个信息活动中，信息创建者、 信息服务提供者和信息使用者所必须要遵守的伦 理规范。
❖ 因此，知识是系统化、理论化的信息集合。
3 3
三、情报（information, intelligence ）
❖ 《辞源》：“定敌情如何，而报于上官者”为情报。 ❖ 《辞海》：“战时关于敌情之报告，曰情报。
信息检索教程(第三版)PPT7
标引过程一旦完成，信息就进入某种形式的信息库，而标引 记录则进入二次信息数 据库，在二次信息数据库中，按便于检索的方式，对标引记录加 以组织。
信息检索系统的输入端是针对信息，而信息检索系统的输出端则是针对用户的提问。 实际上，系统输出端的操作步骤和输入端非常相似。
2-1
图 信 息 检 索 系 统
第六，多媒体数据库 ：能把文字、数值、声音、图像等不同 信息存储在不同媒体上， 进行统一处理和管理的数据库。
目前，计算机检索系统是检索系统的主流。由于计算机检索系统具有速度快、效率 高，数据内容新、范围广、数量大，操作简便，在网络环境中检索不受时空限制等特 点， 已成为人们获取信息的主要手段之一。
2-1
图 信 息 检 索 原 理
2.1.2 信息检索的原理
１．文献检索 这是信息检索的主体部分，以特定的文献为检索对象，包括全文、文摘、题录等。文 献检索
是一种相关性检索，它不直接回答用户所提技术问题的本身，只提供有关的文献供 参考。 ２．数据检索 以特定的数据为检索对象，包括统计数字、工程数据、图表、计算公式、化学结构式 等。数
实质上，信息检索原理就是将特定的信息需求与存储在检索系统中的信息标识进行异 同的比较与匹配，选取两者相符或部分相符的信息予以输出。无论手工检索还是计算 机检 索，其基本原理都是一样的。
也就是说，检索系统对所要存储的信息，按照其外部特征和 内容特征进行描述并赋 予特征标识，然后存入系统。
检索时，将所需信息的特征标识与所 存信息的特征标识进行比较。凡是两边标识一 致的，就将具有这些标识的信息从检索系统 中输出。
和信息管理领域的应用。１９５４年，美国海军兵器中心首先在ＩＢＭ７０１型电子计 算机上成 功地建立了世界上第一个计算机文献检索系统，标志着人类开始步入利用计 算机进行信 息检索的新的历史时期。随着计算机技术和网络 技术的发展，计算机检索 经历了脱机检索、联机检索、光盘检索和网络检索四个阶段。
信息检索系统的输入端是针对信息，而信息检索系统的输出端则是针对用户的提问。 实际上，系统输出端的操作步骤和输入端非常相似。
2-1
图 信 息 检 索 系 统
第六，多媒体数据库 ：能把文字、数值、声音、图像等不同 信息存储在不同媒体上， 进行统一处理和管理的数据库。
目前，计算机检索系统是检索系统的主流。由于计算机检索系统具有速度快、效率 高，数据内容新、范围广、数量大，操作简便，在网络环境中检索不受时空限制等特 点， 已成为人们获取信息的主要手段之一。
2-1
图 信 息 检 索 原 理
2.1.2 信息检索的原理
１．文献检索 这是信息检索的主体部分，以特定的文献为检索对象，包括全文、文摘、题录等。文 献检索
是一种相关性检索，它不直接回答用户所提技术问题的本身，只提供有关的文献供 参考。 ２．数据检索 以特定的数据为检索对象，包括统计数字、工程数据、图表、计算公式、化学结构式 等。数
实质上，信息检索原理就是将特定的信息需求与存储在检索系统中的信息标识进行异 同的比较与匹配，选取两者相符或部分相符的信息予以输出。无论手工检索还是计算 机检 索，其基本原理都是一样的。
也就是说，检索系统对所要存储的信息，按照其外部特征和 内容特征进行描述并赋 予特征标识，然后存入系统。
检索时，将所需信息的特征标识与所 存信息的特征标识进行比较。凡是两边标识一 致的，就将具有这些标识的信息从检索系统 中输出。
和信息管理领域的应用。１９５４年，美国海军兵器中心首先在ＩＢＭ７０１型电子计 算机上成 功地建立了世界上第一个计算机文献检索系统，标志着人类开始步入利用计 算机进行信 息检索的新的历史时期。随着计算机技术和网络 技术的发展，计算机检索 经历了脱机检索、联机检索、光盘检索和网络检索四个阶段。
《信息检索模型》PPT课件
文档集中的索引项
精选ppt
18
索引项的选择
这些索引项是不相关的 (或者说是正交的) ，形成一个 向量空间vector space
“计算机” “科学” “商务”
计算机科学文档集
该文档集中的全部重要词项
实际上，这些词项是相互关联的
当你在一个文档中看到 “计算机”, 非常有可能同时看到“科 学”
当你在一个文档中看到 “计算机”, 有中等的可能性同时看到 “商务”
索引项t（Term）：指出现在文档中能够代表文档性质
的基本语言单位（如字、词等），也就是通常所指的
检索词，这样一个文档D就可以表示为D(t1,t2,…,tn)， 其中n就代表了检索字的数量。
特征项权重Wk（Term Weight）：指特征项tn能够代 表文档D能力的大小，体现了特征项在文档中的重要程
精选ppt
23
由索引项构成向量空间
2个索引项构成一个二维空间，一个文档可能 包含0, 1 或2个索引项
di = 0, 0 (一个索引项也不包含) dj = 0, 0.7 (包含其中一个索引项) dk = 1, 2 (包含两个索引项)
类似的，3个索引项构成一个三维空间，n个索 引项构成n维空间
信息检索模型
哈工大信息检索研究室 2007
精选ppt
1
这一部分将讲述
布尔模型，向量空间模型，扩展的布尔 模型
概率模型和基于语言模型的信息检索模 型的区别和联系
基于本体的信息检索模型和基于隐性语 义索引的信息检索模型
精选ppt
2
信息检索模型的概述
精选ppt
3
什么是模型？
模型是采用数学工具，对现实世界某种 事物或某种运动的抽象描述
文档表示 一个文档被表示为关键词的集合
精选ppt
18
索引项的选择
这些索引项是不相关的 (或者说是正交的) ，形成一个 向量空间vector space
“计算机” “科学” “商务”
计算机科学文档集
该文档集中的全部重要词项
实际上，这些词项是相互关联的
当你在一个文档中看到 “计算机”, 非常有可能同时看到“科 学”
当你在一个文档中看到 “计算机”, 有中等的可能性同时看到 “商务”
索引项t（Term）：指出现在文档中能够代表文档性质
的基本语言单位（如字、词等），也就是通常所指的
检索词，这样一个文档D就可以表示为D(t1,t2,…,tn)， 其中n就代表了检索字的数量。
特征项权重Wk（Term Weight）：指特征项tn能够代 表文档D能力的大小，体现了特征项在文档中的重要程
精选ppt
23
由索引项构成向量空间
2个索引项构成一个二维空间，一个文档可能 包含0, 1 或2个索引项
di = 0, 0 (一个索引项也不包含) dj = 0, 0.7 (包含其中一个索引项) dk = 1, 2 (包含两个索引项)
类似的，3个索引项构成一个三维空间，n个索 引项构成n维空间
信息检索模型
哈工大信息检索研究室 2007
精选ppt
1
这一部分将讲述
布尔模型，向量空间模型，扩展的布尔 模型
概率模型和基于语言模型的信息检索模 型的区别和联系
基于本体的信息检索模型和基于隐性语 义索引的信息检索模型
精选ppt
2
信息检索模型的概述
精选ppt
3
什么是模型？
模型是采用数学工具，对现实世界某种 事物或某种运动的抽象描述
文档表示 一个文档被表示为关键词的集合
第四章 信息检索模型
向量空间模型
➢ 向量空间模型（Vector Space Model，VSM） 是由G·Salton等人在1958年提出的
➢ 代表系统
SMART（ System for the Manipulation and Retrieval of Text）
➢ 这一系统理论框架到现在仍然是信息检索 技术研究的基础
D={d1, d2 , … , dm} 为了满足检索匹配所要求的快速与便利，文档di通常由
从文档中抽取的能够表达文档内容的特征项（如索引 项/检索词/关键词）来表示 设K={k1, k2 , … , kn} 为系统索引项集合 则di ={ωi1,ωi2 , … ,ωin} (ωij≥0) ωij→索引词kj在文档di中的重要性（权值weight）
相当于识别包含了一个某个特定term的文档
➢ 经过某种训练的用户可以容易地写出布尔查询 式
➢ 布尔模型可以通过扩展来包含排序的功能，即 “扩展的布尔模型”
布尔模型存在的问题
➢ 布尔模型被认为是功能最弱的方式，其主要问题在于不支 持部分匹配，而完全匹配会导致太多或者太少的结果文档 被返回 非常刚性: “与”意味着全部; “或”意味着任何一 个
模型中的问题
➢ 怎样确定文档中哪些词是重要的词？（索 引项）
➢ 怎样确定一个词在某个文档中或在整个文 档集中的重要程度？（权重）
➢ 怎样确定一个文档和一个查询式之间的相 似度？
索引项的选择
➢ 若干独立的词项被选作索引项(index keys) or 词表 vocabulary
➢ 索引项代表了一个应用中的重要词项 计算机科学图书馆中的索引项应该是哪些呢?
例如：文档的统计特性 ➢ 用户规定一个词项(key)集合，可以给每个词项附加权重
【精品】信息检索ppt课件ppt课件
• 一个原则 • 两类搜索引擎 • 三大系列中文网站 • 四次文献： 零次文献
二次文献
• 五大多媒体技术 • 十大文献信息资源
一次文献 三次文献
• 一个原则 • 两类搜索引擎 • 三大系列中文网站 • 四次文献 • 五大多媒体技术：素材下载技术 素材转换技术
多媒体制作技术 素材发布技术 网页制作和网站发布技术 • 十大文献信息资源
图、文、声、像等信息存储到介质上通过计算 机阅读。
（2）、按信息加工级别划分信息源
• 信息出版量的急剧增长，信息类型的多样化和 信息分布的离散状态，获取相关信息犹如大海 捞针。利用信息的可塑性，将信息处理为不同 等级。通常文献学上将其称为“三次文献”：
一次文献 primary document 二次文献 secondary document 三次文献 Tertiary document 零次文献 最原始的资料
5）专利文献（patent）
种 6）学位论文 nment publication）
献
8）标准文献（standards） 9）产品资料（product literature）
10）科技档案（scientific and technical archives）
• 1)印刷型（Printed form）（书本型）
以纸张为载体 2)缩微型（Microform） 以缩微胶片、平片等感光材料为载体 3) 声像型（Audio-Visual form）（视听材料） 以磁性和感光材料为载体 4) 电子型（Machine Readable form） 以计算机信息存储设备为载体，以数字代码将
Company
LOGO
三、网络检索的 六大方面
• 一个原则：选择合适的关键词，制定正确的检索 策略。