信息检索
信息检索基础知识
TP 自动化技术、计算技术
3 计算技术、计算机
31
计算机软件
316
操作系统
.1
分时操作系统
.2
实时操作系统
.7
Windows操作系统
39
计算机的应用
… F25 物资经济 F250 物资经济理论 F252 物资流通
… F5 交通运输经济 F50 交通运输经济理论
… F53 铁路运输经济 F54 陆路、公路运输经济
匹配有其匹配标准，这里涉及到两者一致性、 相关度等问题，按一定的标准筛选出符合要求的 信息。
精选ppt
3
信息检索一般过程
信息源
信息分析、 著录、标引
信息的表示
用户
检索语言
用户需求分析
数据库 匹配过程
输出检索结果 精选ppt
检索表达式
4
信息检索的过程往往需要一个评价反馈途径，多次比较匹配， 以获得最终的检索结果。其图示如下：
9
责任者 及其单位
中图分类号 文献标示码
关键词
正文
精选ppt
题名 摘要
10
分类语言
也属于主题语言。分类语言是按学科范畴划分而构成的一 种语言体系，它集中反映学科的系统性、反映它们的相关、 从属、派生等关系，从总体到局部分层、分面展开，形成 分类体系。由类目号码及名称作为检索语言，构成分类类 目表，如前述图书分类表、专利分类表用的都是分类语言 。
13
……
主题语言
包括：关键词语言、单元词语言、标题词语言、叙词语言等，它们有不同 的主题词表。主题词表达概念本身，在主题词表中通过参照系统来指示词 汇之间的关系。如”交通运输”、“国际物流”。主题语言分为规范主题语
信息检索
中文书本式的检索工具
《国内总书目》--《全国新书目》《科技新 书目》：查找国内出版的图书目录 《外文新书通报》：查找国外新书目录 《全国报刊索引》：查找国内期刊论文的工 具 科技 文献书目型数据库检索系统 事实型数据库检索系统 数值型数据库检索系统 全文数据库检索系统
“逻辑或”的组配种类
同义词 同一个人多个姓名 通用的英文缩写 化学物名称 Eg：CAD
逻辑非
用于排除含有不需要概念的信息，可缩小所 检索信息的范围。 逻辑运算符：“NOT”、“-” 逻辑表达式：“A NOT B ”“A-B” 语义表示：被检索文献中含有A而不含有B
4字段（限制）检索
在检索系统中，数据库设置的可供检索的字 段通常有两种： 表达文献主体内容特征的基本字段 表达文献外部特征的辅助字段 基本字段包括篇目（TI）、文摘 （AB）…… 辅助字段包括作者（AU）、语种 （LA）……
4字段（限制）检索
为了缩小检索范围，可利用字段代码来限制检索词 出现的字段，以提高检索速度和命中率。 如： economic models in ti（表示只在题 目字段中查找文献） economic models in de（只在主题词中 查找） economic models in ab（只在文摘中查 找） au = Smith，J.C (查作者为Smith，J.C 的 文章) py = 1998(只查1998年的文章) la =Chinese (只查语种为中文的文献)
位置算符检索即运用位置算符表示两个检索 词间的位置。 如果说布尔逻辑算符是表示两个概念之间的 逻辑关系的话，位置算符表示的是两个概念 在信息中实际物理位置关系。
检索时会经常遇到这样的问题？
什么是信息检索
什么是信息检索？1、信息检索是一门关于如何查找文献、知识和信息的工具性课程，被认为是开启知识宝库的金钥匙。
2、信息检索课程是一门对于本科生到博士生都具有很强实用性的课程，对于帮助我们学生提高科研能力和拓宽科研领域具有重要的作用。
开设信息检索课的作用大学生需要学习,如何提高自己获取和利用文献信息的能力;进入工作岗位后如何更新自己的知识结构,使自己不落伍.所以,获取知识和信息的能力成为了大学生必须具备的重要能力之一.信息检索这门课主要讲授检索文献的一些基本方法,培养学生检索文献的技能.学习和科技需要文献,个人全面素质的提高需文献,生活中也离不开各种信息.我们在信息检索课中，老师侧重介绍了信息检索工具与检索技巧！但对于今后我们的生活中，这种检索思想将会发挥更大的作用，所以平时我们应多积累一些有关互联网上的检索工具(包括搜索引擎和检索技巧)方面的知识，这方面的能力可能带给我们更大的实惠。
信息检索课程作为一门方法课程，它不仅使我们的信息意识更为敏锐，而且使我们了解了信息组织与检索的原理，让我们学会了操作使用各种专业文献信息数据库和网络检索工具。
通过老师认真指导在我们不断练习的基础上，我们不仅掌握了娴熟的检索操作技能，而且逐步掌握了如何选择合适得信息源，如何确切表达特定的信息需求，以与如何应对检索过程中出现的各种问题。
在信息检索课中学习到了什么？1、通过信息检索课程学习，知道了什么是信息，信息的有哪些类型，信息有什么特征，信息有什么作用。
2、通过信息检索课程的学习，知道什么是信息检索，信息检索的类型有哪些，知道了信息检索的过程，知道了信息检索的方法和途径，知道了信息检索的技巧和策略，学会了如何去评价信息。
3、通过信息检索课程的学习，知道了网络上原来还有那么多数字图书馆，有那么多知识数据库。
4、通过信息检索课程的学习，发现搜索引擎并不是仅仅用来搜索网页和MP3，还可以用来搜索重要的知识，发现了搜索引擎原来还有如此多的笑秘密。
信息检索概念及分类
信息检索概念及分类
一、概念
信息检索（Information Retrieval）是用户进行信息查询和获取的主要方式，是查找信息的方法和手段。
狭义的信息检索仅指信息查询（Information Search）。
即用户根据需要，采用一定的方法，借助检索工具，从信息集合中找出所需要信息的查找过程。
广义的信息检索是信息按一定的方式进行加工、整理、组织并存储起来，再根据信息用户特定的需要将相关信息准确的查找出来的过程。
又称信息的存储与检索。
一般情况下，信息检索指的就是广义的信息检索。
二、分类
（一）按存储与检索对象划分，信息检索可以分为：
文献检索
数据检索
事实检索
以上三种信息检索类型的主要区别在于：数据检索和事实检索是要检索出包含在文献中的信息本身，而文献检索则检索出包含所需要信息的文献即可。
（二）按存储的载体和实现查找的技术手段为标准划分：
手工检索
机械检索
计算机检索
其中发展比较迅速的计算机检索是“网络信息检索”，
也即网络信息搜索，是指互联网用户在网络终端，通过特定的网络搜索工具或是通过浏览的方式，查找并获取信息的行为。
（三）按检索途径划分：
直接检索
间接检索。
信息检索的定义
信息检索的定义信息检索的定义信息检索是指在大量的数据中寻找到用户所需要的信息。
这种寻找过程通常是通过计算机程序来实现的，其目的是帮助用户快速准确地获取所需信息。
一、信息检索的概述信息检索是一种基于计算机技术和信息科学理论的应用性研究领域。
它主要涉及到如何从海量数据中提取出用户需要的有用信息，以及如何优化检索效率和结果质量。
信息检索技术已经广泛应用于互联网搜索引擎、电子图书馆、数字化档案管理、社交网络分析等领域。
二、信息检索的基本原理1.建立索引建立索引是实现信息检索最基本的步骤之一。
它将文档中出现过的词语进行统计和分类，并为每个词语分配一个唯一标识符，以便后续查询时能够快速定位到相关文档。
2.查询处理查询处理是指将用户输入的查询语句转换成计算机可处理的形式，并根据查询条件匹配相应文档。
查询处理包括了分词、去停用词、词干提取等步骤，以保证查询语句与文档库中的内容能够准确匹配。
3.评价指标信息检索系统的评价指标通常包括召回率、准确率和F值等。
其中，召回率是指检索到的相关文档数占所有相关文档数的比例；准确率是指检索到的相关文档数占所有检索到的文档数的比例；F值是综合考虑了召回率和准确率的综合评价指标。
三、信息检索的主要技术1.分词技术分词技术是将一段连续的自然语言文本切分成一个个单独的词语，并为每个词语赋予相应的权重。
这种技术可以有效提高查询效率和结果质量。
2.向量空间模型向量空间模型是一种用于表示文本内容和查询语句之间相似度的方法。
它将每篇文档表示为一个向量，并通过计算两个向量之间的余弦相似度来判断它们之间是否存在相关性。
3.机器学习机器学习是一种通过训练数据来优化信息检索系统性能的方法。
它可以帮助系统自动调整参数，从而提高系统对用户需求的理解能力和搜索结果质量。
四、信息检索面临的挑战1.语义理解信息检索面临的最大挑战之一是如何理解用户的搜索意图和查询语句。
由于自然语言存在歧义性和多义性，因此需要开发出更加智能化的算法来实现语义理解。
信息检索
专业科训信息检索（Information Retrieval）是指信息按一定的方式组织起来，并根据信息用户的需要找出有关的信息的过程和技术。
狭义的信息检索就是信息检索过程的后半部分，即从信息集合中找出所需要的信息的过程，也就是我们常说的信息查寻（Information Search 或Information Seek）。
信息检索有广义和狭义的之分。
广义的信息检索全称为“信息存储与检索”，是指将信息按一定的方式组织和存储起来，并根据用户的需要找出有关信息的过程。
狭义的信息检索为“信息存储与检索”的后半部分，通常称为“信息查找”或“信息搜索”，是指从信息集合中找出用户所需要的有关信息的过程。
狭义的信息检索包括3个方面的含义：了解用户的信息需求、信息检索的技术或方法、满足信息用户的需求。
一·按存储与检索对象划分，信息检索可以分为：1·文献检索·2数据检索 3·事实检索以上三种信息检索类型的主要区别在于：数据检索和事实检索是要检索出包含在文献中的信息本身，而文献检索则检索出包含所需要信息的文献即可。
二·按存储的载体和实现查找的技术手段为标准划分：1·手工检索 2·机械检索 3·计算机检索其中现在发展比较迅速的计算机检索是“网络信息检索”，也即网络信息搜索，是指互联网用户在网络终端，通过特定的网络搜索工具或是通过浏览的方式，查找并获取信息的行为。
按检索途径划分：（1）直接检索，（2）间接检索三·检索方法信息检索方法包括：普通法、追溯法和分段法。
1.普通法是利用书目、文摘、索引等检索工具进行文献资料查找的方法。
运用这种方法的关键在于熟悉各种检索工具的性质、特点和查找过程，从不同角度查找。
普通法又可分为顺检法和倒检法。
顺检法是从过去到现在按时间顺序检索，费用多、效率低；倒检法是逆时间顺序从近期向远期检索，它强调近期资料，重视当前的信息，主动性效果较好。
信息检索
确定信息检索方法
掌握获取原始信息的线索
获取原始信息
一、手工检索的技术与方法
1.手工信息检索工具
（1）目录 （2）索引 （3）文摘 （4）年鉴 （5）手册 （6）百科全书
2.手工信息检索工具的排检技术
（1）字顺排检技术 （2）分类排检技术 （3）主题排检技术 （4）时序排检技术 （5）地序排检技术
全文检索、多媒体检索、超媒体检索。
（3）按检索性质分：
定题检索和回溯检索。
（4）按检索方式的不同分：
手工检索、机械检索、计算机检索。
2.信息检索的特性
（1）.信息检索的相关性
相关性表明信息集合中的一条信息与提问集合中的一个 提问的吻合程度。
（2）.信息检索的不确定性
信息检索系统不直接处理原始信息和原始的用户需求， 它提供的只是信息表示和查询表示之间的匹配关系，这就 涉及到标引与检索词选用的准确度问题；而实际上，标引 和检索词的选用本身就存在不确定性。
布尔逻辑检索模型采用布尔代数的方法，用布尔表达 式表示用户提问，通过对信息标识与提问式的逻辑比较 来检索文献。 每个提问表示为标引词的布尔组配，组配符号有逻辑 “与”、逻辑“或”、逻辑“非”。 检索系统对提问的响应式输出一个包含了该提问式的 组配元，且符合组配条件的信息集合。
某一信息Infor，可表示为
（1）传统信息检索向全文文本、多媒体、多 原理等新型信息检索的发展，从深度上提高信 息的管理和组织能力； （2）信息资源的网络化与分布化，面向互联 网中海量的信息资源在广度上提高信息的管理 和组织能力。
四.信息检索的模型
最简单的检索模型——单项检索模型。
它将信息集合中的每一信息用1个或多个主题词标引， 提问式由单个主题词构成。
第二章 信息检索的基本知识
应用举例：
利用《中图法》在《全国报刊索引》中查找 有关“建筑抗震设计”方面的相关文献。 第一步：分析课题，按学科属性属于“T工业技术” 中的“TU建筑科学”大类。 第二步：查《中图法》确定分类号为：T工业技 术—TU建筑科学—TU3建筑结构—TU352.11抗震结 构。 第三步：根据《全国报刊索引》（科技版）的分 类目录给出的TU3建筑结构的页次，得到相关文献。 第四步：根据的出处索取原始文献。
第二章 信息检索的基本知识
主要内容
1.信息检索概述 2.信息检索原理及检索语言 3.信息检索系统与检索工具 4.信息检索的一般程序
2.1 信息检索概述
2．1．1信息检索的含义
信息检索（Information Retrieval）是指 将信息按一定的方式组织和存储起来，并根据用 户的需要找出有关信息的过程，又叫信息储存与 检索（Information storage and Retrieval）， 这是广义的信息检索，如图2-1所示。狭义的信息 检索则是仅指该过程的后半部分，即从信息集合 中找出所需信息的过程。
内容特征 标题词 主题语言 关键词 叙词 描述文献外表特征的检索语言，例如篇名、著者姓名、文 献号等作为文献标识与检索依据直接明了，使用时较为简单。 而文献内容特征的语言，也就是分类语言和主题语言的原理和 使用方法是下面主要介绍的内容。
一条中文书目记录：
题名: 信息检索 作者: 徐天秀 出版项:北京：科学出版社，2006 页码: 320页 价格: CNY23.00 主题: 情报检索 索取号: G252.7/101 内容提要:本书是一本工具型书籍，提供的信息检索学科 范围广，内容尽量以最新版本为主，是一本适用性强的学 习信息检索方法和技巧的专著，尤其是本书配制的多媒体 光盘，为本课程的学习提供了便捷。 分类: G252.7
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验内容
l 网页文本的处理（6学时）
- 指定的网站上抓取网页（带有附件，第三个实验使用）
Ø 可以使用开源工具，但要对开源工具进行改造
p 可以定制抓取、多线程等 p 能够对爬虫程序的原理进行很好地分析和解释
- 对抓取下来的网页进行处理
Ø 提取网页正文 Ø 分词、词性标注、停用词去除、词项赋权等操作
实验内容
检索模型
信息过滤与个性化 分类与聚类
检索系统的评价 信息检索
信息抽取—事理图谱 Web检索、企业搜索
文本、查询处理
授课内容
l 课堂教学
第一章 绪论
Ø 信息检索概念及发展历史 Ø 信息检索技术的发展趋势 Ø 面临的困难和挑战 Ø 信息检索技术的应用
第二章 信息检索模型
Ø 布尔模型 Ø 向量空间模型 Ø 概率模型 Ø 语言模型
第九章 问答系统
Ø 问答系统的概念及发展历史 Ø 问答系统的基本组成 Ø 问答系统的基本实例
授课内容
l 课堂教学
第十章 自动文摘技术
Ø 自动文摘技术的评价方法
ü Rouge准则、Rouge-N、Rouge-L
Ø 单文档文摘技术
ü 基于启发式规则的抽取式单文档文摘 ü 基于图排序的抽取式单文档文摘 ü 基于深度学习（Encoder-Decoder框架
能够对检索技术中模型及方法在复杂应用系统中的性能进行分析与评价，具有通 过网络/文献检索综述信息检索相关任务的国内外新技术新理论的能力对检索技 术中存在的问题及发展趋势有初步的认识
能够撰写信息检索技术为基础的具体应用系统相关的报告，具备撰写系统设计、 研制报告以及其他项目文档的写作能力，并能够通过交流与沟通协调小规模团队 进行系统实际开发
Ø 自动抓取往网页并进行存储，提取网页正文，对网页正文进行 分词、停用词、赋权等操作
- 客观事实型问答系统设计与实现
Ø 给出系统的详细设计并分步骤实现，根据最终的系统性能结合 报告分析进行成绩评定
- 企业站内搜索系统的设计与实现
Ø 针对“网页文本处理”实验中获得的数据，设计并实现企业站 内搜索系统，对系统性能进行调优
课程之间的关系
指代消解技术
阅读理解技术
语言与认知原理 认知过程中的记忆机制
认知与推理
语言与认知
问答系统 自动文摘 信息抽取 企业搜索 信息过滤与个性化
检索模型 文本、查询处理 索引方法与顺序检索 Web检索
信息检索
机器翻译
对话系统
知识图谱
词法分析
句法分析
语义分析
篇章分析
自然语言处理
课程目标
l 总体目标
授课内容
l 课堂教学
第七章 Web检索
Ø Web检索的基本原理和结构 Ø 信息采集技术的基本原理 Ø 网页预处理
ü 网页去重、网页正文提取
Ø 网页相关性排序方法
ü PageRank、HITS、L2R
Ø 用户界面及可视化
第八章 文本分类和聚类
Ø 文本分类方法
ü 贝叶斯、K近邻、决策树
Ø 文本聚类
ü 层次聚类、K-Means聚类
信息抽取
斯坦福大学 √ √
√
√ √ √ √ √
麻省理工大学 √ √ √ √ √ √ √ √ √ √ √ √ √
德克萨斯大学 √ √ √ √ √
√ √ √ √ √ √
√
授课内容
深度 问答
任务型 对话
聊天 机器人
智能 客服
情感 分析
阅读 理解
社会媒 体预测
辅助 写作
信息 推荐
知识 推理
…… ……
问答系统、自动文摘 索引方法与顺序检索
l 客观事实型问答系统设计与实现（12学时）
- 问题分类
Ø 采用机器学习的方法，自定方法选取特征 Ø 提供训练语料、测试语料，对分类的效果进行评价
- 文档检索
Ø 对文档集合建立索引，根据给定的问题到文档集合中检索包含 答案的句子或者段落
- 候选答案句排序
Ø 采用相应的算法对候选答案局进行排序
实验内容
课程内容
信息检索概念、历史简介
信息检索的评价
信息检索模型
布尔模型 向量空间模型
概率模型
语言模型、数据平滑
文本处理（倒排文件、索引、压缩）
查询处理（查询扩展、相关反馈）
基于web的信息检索
链接分析技术
文本分类、文本聚类
个性化搜索、推荐系统
跨语言信息检索
信息抽取
斯坦福大学 √ √
√
√ √ √ √ √
麻省理工大学 √ √ √ √ √ √ √ √ √ √ √ √ √
德克萨斯大学 √ √ √ √ √
√ √ √ √ √ √
√
课程内容
信息检索概念、历史简介
信息检索的评价
信息检索模型
布尔模型 向量空间模型
概率模型
语言模型、数据平滑
文本处理（倒排文件、索引、压缩）
查询处理（查询扩展、相关反馈）
基于web的信息检索
链接分析技术
文本分类、文本聚类
个性化搜索、推荐系统
跨语言信息检索
信息检索
张宇
哈尔滨工业大学 计算机科学与技术学院
主要内容
l 课程基本信息 l 课程目标 l 课程内容 l 考核方式
课程基本信息
l 课程学时：72学时
- 讲课学时：48 - 实验学时：24
l 授课对象
- 计算机科学与技术专业、人工智能专业
l 开课学期：3春 l 先修课程
- 机器学习、人工智能、自然语言处理
《信息检索》是自然语言处理方向中的一门核心课程，在人工智能理论、机器学 习模型、语言处理技术的基础上对信息内容进行组织、分析和处理。
该课程的目的是让学生们通过学习了解传统文本检索技术的基本知识，以及互联 网时代信息检索技术的发展状况。掌握信息检索技术的基本概念、信息检索系统 的基本原理和常用方法，结合人工智能、机器学习、自然语言处理技术对信息进 行加工处理。为学生今后设计、开发基于检索技术的应用系统奠定技术基础，提 高学生形式化思维、建模的能力。
ü 分词、简繁转换等
Ø 齐普夫定律、Heap's定律
第五章 查询的操作
Ø 查询扩展方法 Ø 相关反馈技术
ü 显式反馈、隐式反馈
第六章 索引及检索
Ø 倒排文件的基本原理
ü 倒排文件的表示 ü 倒排文件的压缩
Ø 签名文件的基本原理 Ø 后缀树及后缀数组的基本原理 Ø 顺序检索中的模式匹配技术
ü KMP算法、BM算法……
参考书目
l B. Croft, D. Metzler, and T. Strohman, Search Engines: Information Retrieval in Practice. Addison Wesley, February 2009.
l C. Manning, P. Raghavan, and H. Schütze, Introduction to Information Retrieval. Cambridge University Press, 2008.
谢谢！
Ø 事理图谱的应用
第十三章ห้องสมุดไป่ตู้信息过滤及个性化
Ø 信息过滤技术 Ø Collaborative Filtering Ø Neighbourhood Methods Ø Model based Methods Ø Content based Methos
Ø 个性化检索
实验内容
l 信息检索（24学时）
- 网页文本处理
l 企业站内搜索系统的设计与实现（6学时）
- 针对“网页文本处理”实验中获得的数据，设计并实 现企业站内搜索系统，对系统性能进行调优
问题
l 缺乏适合本科生使用的教材 l 学生的基础不同，无法适应所有同学的需求 l 实践环节需要网络带宽的保障、高性能计算设备
的保障 l 需要建立完善的实验平台（实验效果的评价）
和Attention机制）生成式文摘
Ø 多文档文摘技术
第十一章 企业搜索
Ø 企业搜索系统的架构 Ø 企业搜索系统中的任务 Ø 企业搜索系统的评价方法
第十二章 信息抽取
Ø 信息抽取技术简介 Ø 事件抽取技术
ü 机器学习-最大熵、Bootstrapping
Ø 事理图谱的原理及构建方法 Ø 统计脚本学习 Ø 金融领域事理图谱的构建
第三章 信息检索技术的评价
Ø 信息检索相关的评测会议 Ø 基本的评价指标
ü 准确率、召回率、F值
Ø 常用的评价指标
ü P@n、R-Precision、RR、MRR、 Bpref、NDCG……
Ø Kappa系数
授课内容
l 课堂教学
第四章 文本的操作
Ø 英文文本中的问题及处理方法
ü 断词、异文合并等
Ø 中文文本中的问题及处理方法
课程目标
l 课程具体目标
能够运用向量空间模型、倒排索引等信息检索的基本模型与方法，设计并实现与 检索任务相关的应用系统（问答式检索系统、站内搜索系统）
掌握文本检索中涉及的基本模型、算法，掌握Web检索中的信息采集方法、排序 及网页内容管理等技术。能够运用文本检索与Web检索的模型与方法处理信息推 荐、事件抽取等相关任务