第05章检索模式扩展

合集下载

信息检索概论05-2CNKI

安徽工业大学图书馆信息检索教研室
•
安徽工业大学图书馆信息检索教研室
2）中国博士学位论文全文数据库
China Doctoral Dissertations Full-text Database（CDFD） • 该库是目前国内相关资源最完备、高质量、连续动态更新的中国博士学位论文全文数据库。收录全国985、211工程等重点高校，中国科学院、社会科学院等研究院所的博士学位论文。截止2012年 3月，收录来自397家博士培养单位的博士学位论文全文文献 19.4万多篇。
1
CNKI概述
2 CNKI数据库检索指南
安徽工业大学图书馆信息检索教研室
中国知识资源总库（CNKI）
安徽工业大学图书馆信息检索教研室
5.2 中国知识资源总库—CNKI
• • • • • • • • • 5.2.1 CNKI概述新平台 /kns/default.htm 老平台 /index.htm 十大专辑主要数据库 5.2.2 KDN知识发现网络平台暨KNS60简介 5.2.3 CNKI数据库检索指南 5.2.4 其它常用功能 5.2.5 个性化定制服务
安徽工业大学图书馆信息检索教研室
5.2.1 CNKI概述
• 《中国知识资源总库》是一个大型动态知识库、知识服务平台和数字化学习平台。目前，《总库》拥有国内9000多种期刊、620多家博士培养单位优秀博硕士学位论文、73万篇全国二级以上学会/协会的重要会议论文、700多种报纸、2000余种年鉴、 3000余种工具书、标准、专利、科技成果、政府文件、互联网信息汇总以及国内外上千个各类加盟数据库等知识资源。 • 《总库》中数据库的种类不断增加，数据库中的内容每日更新，每日新增数据上万条。
• 智能检索、复合排序

《计算机检索概论》课件

计算机检索系统组成
硬件
包括服务器、存储设备、网络设备等，用于支持系统的运行和数据存
储。
软件
包括检索软件、数据库管理系统等，用于实现信息检索和数据管理功
能。
数据库
存储各种信息资源的数据库，是计算机检索系
统的重要组成部分。
人员
包括系统管理员、信息检索员等，负责系统的
维护、管理和使用。
计算机检索系统分类
系统响应时间
衡量系统性能的重要指标，反映系统处理速度和网络传输速度。
用户友好性
包括界面设计、操作便捷性、个性化服务等，影响用户的使用体验和满意度。
数据质量与更新频率
反映数据资源的可靠性和时效性，对检索结果的质量有重要
影响。
03 计算机检索技术
CHAPTER
布尔逻辑检索
布尔逻辑检索是计算机检索中最基本的技术之一，它利用布尔运算符（ AND、OR、NOT）对检索词进行逻辑组配，以缩小检索范围，提高检索的准确性和查全率。
学术研究领域应用
1 2
学术论文检索
计算机检索系统能够快速、准确地检索学术论文，为学者和研究人员提供丰富的学术资源。
学科发展趋势分析
通过计算机检索和分析学术论文，可以了解学科发展趋势和热点，为研究提供方向和思路。
3
学术评价体系构建
基于计算机检索的学术评价体系能够客观地评价学术成果的质量和影响力，促进学术健康发展。
云存储
利用云计算存储技术实现海量数据的分布式存储和管理，提高数据的安全性和可靠性。
云安全
通过云计算技术提供安全可靠的数据保护和隐私保护，保障用户的信息安全和隐私权益。
谢谢
THANKS

浅谈信息检索中的查询扩展技术

浅谈信息检索中的查询扩展技术滕菁武汉大学信息管理学院【摘要】随着计算机技术、大容量的硬盘存储器以及可共享信息的网络导致人们可利用的数据越来越庞大，为了发掘信息，为人们所用，诞生了信息检索技术。

本文介绍了信息检索的理论以及工作步骤，在总结了前人研究的工作基础上，详细的阐述了关键步骤使用的查询扩展技术。

【关键词】信息检索查询扩展技术一、引言随着计算机、互联网技术的快速发展，其应用越来越广泛，因此，互联网络上的信息也日益增长，网络技术的应用大大的拓宽了人们日常生活中获取信息的通道，但是，海量的信息虽然为人们的工作、生活和学习带来极大的便利，但是也给人们带来了极大的困扰，使得人们在泛滥的海量信息利用过程中，无从下手，不知所措。

目前，如何从海量信息中检索出有用的信息，已经成为诸多科学研究者的研究热点，成为信息检索领域的一个重要的课题。

搜索引擎的诞生为人们进行信息检索提供了便利的工具，但是，由于信息检索过程中，搜索引擎面对的是用户输入的信息，由于各种用户的学识不一，因此其递交的查询信息表达不完整，与网络上的文档信息无法匹配，无法发挥信息检索的优势。

未解决这个问题，一些学者提出了查询扩展技术，该技术可以使用相应的方法和策略，初始化用户查询词，对其进行重构和扩展，从而可以大大的改善信息检索性能，提高信息检索结果的准确性。

本文详细的介绍了现代信息检索理论和相关的查询扩展技术，为人们进行信息检索提供参考，具有非常高的应用价值。

二、信息检索理论信息检索技术以一定的数据组织方式，对数据进行组织和排列，并针对用户的需求定义等输入，查找用户需要的文献信息。

信息检索的本质是用户根据自身的需求，使用检索方法，查找需要的信息，目前在信息检索的过程中，提高信息检索的效率和有效性成为诸多科学工作者研究的重点，许多研究科学工作者已经提出了很多的信息检索分析方法。

信息检索的过程通常由以下几个基本的步骤组成：１．分析检索课题。

信息检索开始，需要审视课题涉及的相关内容。

搜索中的Query扩展技术（二）

搜索中的Query扩展技术（二）一、前言这一期我们继续来聊Query扩展的问题，在上一期我们梳理了目前Query扩展技术可以大致分为相关性建模和翻译模型建模两种思路。

（传送门：搜索中的Query扩展技术)在介绍现有Paper工作的同时，结合我们自身场景，如果对文档能够构建概述主旨的concept短语。

那么利用文档中的entity与concept就可以使用贝叶斯一众的概率模型构建一个相关性网络。

随后在Query端，完成实体链接，获取其中的entity，最后利用相关性模型就可以实现Query扩展的功能。

在此基础上，本文将讨论如何进一步改进扩展效果，以及目前在该领域都有哪些工作思路可以借鉴。

二、相关模型 or 生成模型？看到上图，细心的同学一定发现了，相关性模型的基础是Query 中的term，或者如我们使用的entity。

如果Query较短，比如仅包含一个单一实体时，这类方法是比较适合的。

但是当Query较长，包含复杂语义时，再使用相关性模型做Query扩展可能会造成语义偏差过大的情况：所以，我们的结论是，可以根据Query的长度来选择扩展的策略。

当Query较短时，仅包含单一实体时，用户并没有表达出明确的搜索意图，除了满足字面匹配的准确性，Query扩展是为了补充近似于“推荐”的功能；而对于长Query的情况，文本中不仅出现单个实体词，也会存在多个实体，并相互作为限制词、定语，或者描述实体词的属性等。

总的来说，Query越长，用户的意图越聚焦，希望获取的内容越具体，这种情况下，Query扩展是为了实现在准确捕捉语义后，扩展出相同语义的不同表述。

三、捕捉复杂语义所以，当Query存在复杂语义时，具体需要解决哪些问题呢？我们总结了以下三个方面：a. Query中包含多于一个的实体词，或包含除实体词以外的文本。

这种情况通常表达的是对某个实体附加了限定条件（如：HP的治疗方案），或者在表达与多个实体相关的事件（如：上海疫情）。

信息资源(文献)检索与利用

第二节信息资源概论
信息资源(Information Resources )的类型
（1）按加工程度划分

零次信息资源：指未向社会公开和正式报道，只供一定范围内使用的信息资源，如手稿、私人笔记、会议记录、设计草稿等。一次信息资源：指以科学研究、研制成果、生产或产品信息等为基础撰写的，未经他人加工重组，通过某种方式向社会公开发布或报道的信息资源，如专著、教材、学术论文、科技报告、专利说明书等。二次信息资源：指将一次信息资源按照一定的归纳、整理方法组织起来，以此检索一次信息资源，如目录、题录、文摘、索引等。三次信息资源：对一、二次信息资源进行有效筛选、组织、评价后，按照一定的知识门类、知识专题综合加工、整理而成的信息资源。比如百科全书、年鉴、
(1)按信息处理层次分：书目数据库、文摘数据库、全文数据库。 (2)按收录的文献类型划分：期刊论文数据库、书目数据库、图书全文数据库、专利数据库、学位论文数据库、科技报告数据库和产品数据库。 (3)按媒体形式分：文本数据库、数值数据库、声像数据库和多媒体数据库。 (4)按服务模式划分：单机数据库、联机数据库和网络数据库
2808076本课程的主要内容第一篇基础篇第一章基础理论知识第二章文献信息检索方法第三章参考工具书第二篇资源篇第四章电子图书及报纸的检索与利用第五章国内数据库资源第六章国外数据库的类型及其举要第七章检索类数据库第八章网络搜索引擎第三篇实践篇第九章信息资源综合利用第十章信息咨询与信息服务第十一章学术论文开题与写作第十二章学术资料积累与个人文献管理软件第一篇基础篇一开课目的二文检课与专业课的关系三本课程的主要内容四文检课的特点和学习方法重点
信息检索语言的类型
表述文献外表特征的语言检索语言表述文献内容特征的语言

[管理学]信息检索课件东北大学_OK

现为1或0（出现时为1，否则为0）。 • 改进的tf因子：0.5+0.5*tf/文献中的最大tf
• 大规模的测试表明，对数tf因子的效果最好
22
反比文献频率idf
• 在许多篇文献中出现的项的区分度小于仅在很少几篇文献中出现的项
• 这表明应该用一个依项在其中出现的文献数目单调递减函数来评估项的重要性
• 基于这个原因，人们提出反比文献频率因子，简称idf因子
• 一般用log(N/nk)或各种变形来计算。 • 其中，N是文献总数，nk是第k个特征项在其中出现的文献数，称
为项的文献频率
23
tf.idf
24
tf.idf
25
tf.idf 示例
26
tf.idf 示例
27
向量空间模型评价
• 使用了更高级的数学工具，同样清晰 • 标引词加权 • 相似度有强弱之分 • 可以排序 • 结果数量可控
41
• 标引词只有二值权重 • 标引词相互独立 • R的确定
• 人工干预 • 随机
概率模型评价
42
43
9
{D1, D2 , D4 , D6} ({D1, D2 , D3, D6}{D3, D5}) {D1, D2 , D6}
布尔模型评价
• 简单，定义清晰 • 文本或者相关或者不相关，没有强弱之分 • 将文本分为两个集合，相关的，不相关的，因此不需要排序 • 可能会导致结果非常少或者非常多
10
布尔模型的实现
• R（排序）
• 对于每个标引词ki，得到一个文本的集合Dki＝{dj|wi,j=1}
30
• 在结果集合里的文本是相关的，其他是不相关的
基本概念
• 文献（Document）

大模型构建知识库检索的架构和功能

大模型构建知识库检索的架构和功能示例文章篇一：《大模型构建知识库检索的架构和功能：我的奇妙发现之旅》嗨，大家好！我是一名对大模型充满好奇的小学生。

今天呀，我想跟你们聊聊大模型构建知识库检索的架构和功能，这可超级有趣呢！我第一次接触到大模型的时候，就像走进了一个超级大的魔法城堡。

里面有各种各样神奇的东西，而知识库检索就像是这个城堡里的寻宝地图。

我想知道这个寻宝地图是怎么绘制出来的，也就是知识库检索的架构到底是什么样的。

我去问了我的科学老师。

老师说呀，大模型的知识库检索架构就像是一个超级复杂的大树。

树的根部呢，是最基础的知识数据，就像是大树扎根在土里一样，这些基础数据非常重要。

比如说那些基本的数学公式、语文的字词知识等等。

然后树干就是把这些基础数据连接起来的部分，就像是一个大管道，让知识能够在里面流动。

那树枝呢？那就是不同类别的知识分支啦。

就像我们数学里有几何、代数这些分支一样。

每一个小树枝上挂着的树叶，就是具体的知识点啦。

我当时就想，这可真酷啊！可是这只是个大概的架构，具体是怎么让我们能找到想要的知识呢？这就涉及到功能啦。

我有一个小伙伴叫小明，他特别聪明。

我们一起做一个关于动物习性的研究项目的时候，就用到了大模型的知识库检索功能。

我们想知道为什么长颈鹿的脖子那么长。

我们在大模型的检索框里输入了“长颈鹿脖子长的原因”，然后哇，一下子就出来好多信息呢！这就像是我们在那个知识大树里直接找到了写着“长颈鹿脖子”的那片树叶。

大模型的知识库检索功能就像是一个超级智能的小助手。

它能够快速地在那一大堆知识里找到我们需要的东西。

这让我想到了在图书馆找书。

我们在图书馆里要从那么多书架中找到我们想要的那本书，可费劲了。

可是大模型的检索功能就像是图书馆里有个超级小精灵，一下子就把我们要的书送到我们面前。

我还发现，大模型的知识库检索功能还能根据我们的提问进行智能联想呢。

有一次我在想关于古代建筑的事情，我输入了“故宫的建筑特色”，然后它除了给我关于故宫建筑特色的知识，还推荐了一些其他古代宫殿建筑的知识。

第五章文本索引和搜索

记录表 15, … 8, … 6, 12, … 5, … …
信息组织、存储与检索
以文本为记录表
记录表既可以存储文本中单词的编号位置，也可以指向单词首字母的字符位置，还可以是其所在的文本编号，下图是一个以文本为记录表的情况
信息组织、存储与检索
倒排文档的使用
词汇表检索
将出现在查询中的单词分离出来，并在词汇表中进行检索；
记录表检索
检索出所有找到的单词对应的记录表；
记录表操作
对检索出的记录表进行处理，实现短语查询、相邻查询或布尔查询等。
信息组织、存储与检索
倒排文档的建立— 基于内存
基于内存的建立倒排文档算法
输入：文档集合输出：基于文档集合的倒排文档算法：
1.初始遍历文档集合，对于每一个单词w，统计包含该单词的文档数fw； 2.在内存中建立长度为 fw 的数组，并且对每一个 w词表单词w生成指向其记录表块首的指针pw； 3.第二次遍历文档集合，对每个文档d中的每一个单词w，在pw中追加文档d的序号， pw后移。
信息组织、存储与检索
文本检索技术—布尔检索
AND
OR NOT
信息组织、存储与检索
布尔检索
布尔逻辑运算符
逻辑与：”AND” 或”*” 逻辑或： ”OR” 或”+” 逻辑非： ”NOT” 或”-”
使用布尔运算符注意事项
运算执行顺序：NOT>AND>OR;先执行括号内的逻辑运算；使用规则：不同检索工具规则不同
信息组织、存储与检索
倒排文档的更新—删除
倒排文档更新就是一个删除操作，后面跟着一个插入操作为了支持删除操作，需要维护一个前向索引 (forward index)来记录文档中包含的词

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Information Retrieval and Processing
5.3.1 分布式检索原理（续）
子集中的每个信息库服务器反馈给 broker一个按相关度由大到小排列的信息列表。最后， broker 对所有的结果列表进行整合形成新的信息列表反馈给用户。见下页图。
Information Retrieval and Processing
5.1 引言
海量数字化信息数据库的跨平台、跨模式、跨系统语言的多样性检索界面的人性化、个性化自然语言所蕴含的丰富语义
Information Retrieval and Processing
5.1 引言（续）
Information Retrieval and Processing
5.2.2 并行检索技术（续）
2. 并行检索软件技术
程序的相关性
数据相关——数据相关说明的是语句之间的有序关系。主要有流相关、反相关、输出相关、I/O 相关和求知相关等。
控制相关——控制相关是指语句执行次序在运行前不能确定。它一般是由转移指令引起的，只有
5.3.2 分布式检索处理技术
解决分布式检索的技术很多，如用于分布式数据库设计与实现的分布式对象组件模型（DCOM）和公共对象请求代理构架（CORBA）、用于解决分布式环境下数据库之间异构问题的Z39.50协议、 P2P网络结构技术等。
分布式环境下代理技术的检索功能包括
（1）从用户或代理服务器那里接受提问。
信息检索系统可以采取任务并行、数据并行及其混合方式的策略。
Information Retrieval and Processing
5.2.1 并行检索原理（续）
1. 多个查询之间的并行处理 2. 单个查询内部的并行处理
Information Retrieval and Processing
1. 多个查询之间的并行处理
Information Retrieval and Processing
5.2.2 并行检索技术（续）
网络互连
将计算机子系统互连在一起或构造多处理机或多计算机时可使用静态或动态拓扑结构的网络。
静态网络由点——点直接相连而成，这种连接方式在程序执行过程中不会改变，常用来实现集中式系统的子系统之间或分布式系统的多个计算结点之间的固定连接。
索系统。
Information Retrieval and Processing
5.3.1 分布式检索原理（续）
一个简单的分布式检索系统由多个数据集服务器（Collection Servers）和一个或多个代理处理器（ broker ）两个部分组成。在由一个代理处理器的检索系统中，用户向 broker 提交检索提问式， broker用该检索提问式检索数据集服务器的子集而完成信息的查找。
将单个查询分成多个子任务的方法通常有两种：
数据集分割
查询项分割
Information Retrieval and Processing
查询内部的并行处理过程
查询
代理结果
子查询 1 子结果 1 子查询 2 子结果 2 子查询 3 子结果 3
搜索程序 1 搜索程序 2 搜索程序 3
Information Retrieval and Processing
5.2 并行式检索（续）
在信息检索领域，并行信息检索则为有效加快检索速度提供了新的途径。
由计算能力较强的并行机实现全文数据库检索，表现出改进响应时间、适应大规模数据库、提高超级算法性能、降低查找成本4个方面的优势。
Information Retrieval and Processing
Information Retrieval and Processing
5.2.2 并行检索技术（续）
软件的并行性主要是由程序的控制相关和数据相关决定的。在并行性开发时往往把程序划分成许多程序段——颗粒。颗粒的规模也称为粒度，它是衡量软件进程所含计算量的尺度，一般用细、中、粗来描述。划分的粒度越细，各子系统间的通信时延也越低，并行性就越高，但系统开销也越大。
Information Retrieval and Processing
5.3.1 分布式检索原理
分布式检索主要是指在分布式的环境中，利用分布式计算和移动代理等技术从大量的、异构的信息资源中检索出对用户有用的信息的过程。
目前大多数分布式检索系统都是由多个
代理服务器组成的多级代理的分布式检
Information Retrieval and Processing
5.2.2 并行检索技术（续）
3. 并行检索策略
数据并行——在SIMD计算机系统中，并行性一般只体现为数据并行，即计算机内包含一组处理单元，每一个处理单元存储一个或多个数据元素。当机器执行顺序程序时，可对应于全部或部分的内部处理单元所存的数据同时操作。
Information Retrieval and Processing
5.3.3 分布式检索中的数据集选择
数据集选择（Collection Selection）是指怎样选择最合适的信息资源库的子集，并保证这些子集可能包含与检索提问式相关的文献的数量最多。
将数据集选择方法分为五类：朴素法、粗略法、定性方法、定量方法和基于学习的方法。
Information Retrieval and Processing
5.2 并行式检索
5.2.1 并行检索原理 5.2.2 并行检索技术
Information Retrieval and Processing
5.2.1 并行检索原理
并行检索主要依赖并行处理技术，即把计算机任务划分成更小的部分，然后用多个处理器并行执行子任务，每个处理器处理同一个问题的不同部分。
Information Retrieval and Processing
5.2.2 并行检索技术（续）
动态网络是用开关通道实现的，它可动态地改变结构，使之与用户程序中的通信要求匹配。动态网络包括总线、交叉开关和多级网络，常用于共享存储型多处理机中。
消息在网络上的传递主要通过寻径来实现。常见的寻径方式是存储转发寻径和虫蚀寻径等。
查询间的并行处理过程
查询
代理结果
查询 1
结果 1 查询 2 结果 2 查询 3 结果 3
搜索程序 1 搜索程序 2 搜索程序 3
Information Retrieval and Processing
2. 单个查询内部的并行处理
指对单个查询的计算量进行分割，划分成多个子任务，并分配到多个处理器上的搜索进程去执行，也称之为进程级并行检索。
Information Retrieval and Processing
5.2.2 并行检索技术（续）
功能并行（或称控制并行）——在MIMD计算机或分布式计算机系统中，既可以采用数据并行，也可以实现功能并行。此时的数据并行可理解为数据库中的各数据集分存于多台处理机或计算机中，可同时对各自存储的数据集执行相同的操作。功能并行是将一个程序划分为若干个段，每一段由一台处理机或计算机执行，而多段程序并行执行需考虑段间同步、通信等许多复杂问题。 Information Retrieval and Processing
Information Retrieval and Processing
第5章检索模式扩展
5.1 引言 5.2 并行式检索 5.3 分布式检索 5.4 集群式检索 5.5 异构数据库检索 5.6 跨语言检索 5.7 可视化检索 5.8 语义检索
Information Retrieval and Processing
5.4 集群式检索
5.4.1 集群式检索概述 5.4.2 集群式检索技术
并行检索模型
查询词和文献列表
查询
用户入口结点
结果
(分块信息) 数据库
处理结点1
处理结点2
处理结点3
处理结点4
数据库
数据库
数据库
数据库
Information Retrieval and Processing
5.2.2 并行检索技术
1. 并行检索硬件技术
处理机存储器流水线
Information Retrieval and Processing
5.3.2 分布式检索处理技术（续）
（2）把接收来的提问翻译成检索软件可识别的语言，即检索提问式。
（3）确定哪些信息资源包含与检索提问式最相关的信息。
（4）利用检索提问式对确定的资源进行检索。
（5）收集相应的检索结果。（6）对检索结果进行整理。（7）把整理好的结果提供给用户。
信息检索与处理
Information Retrieval and Processing
第5章检索模式扩展
Information Retrieval and Processing
第5章检索模式扩展
5.1 引言 5.2 并行式检索 5.3 分布式检索 5.4 集群式检索 5.5 异构数据库检索 5.6 跨语言检索 5.7 可视化检索 5.8 语义检索
各种检索模式彼此并不是孤立的，最初是两三种检索模式结合，然后是多种检索模式结合，未来将形成新型的智能信息检索。
Information Retrieval and Processing
第5章检索模式扩展
5.1 引言 5.2 并行式检索 5.3 分布式检索 5.4 集群式检索 5.5 异构数据库检索 5.6 跨语言检索 5.7 可视化检索 5.8 语义检索