第01章 绪论

信息检索第01章绪论软件学院教研室陈鄞本章内容•1.1 什么是信息检索•1.2 信息检索系统的体系结构•1.3 信息检索的历史、现状及发展•1.4 信息的处理与组织•1.5 新的IR主题•1.6 信息检索的应用/ - 20k - Cached - Similar page sMieleW elco me to Miele, the ho me of the very b est a ppliances a nd kitchens in the w orld./ - 3k - Cached - S im ilar pagesMiele - Deutscher Hersteller von Einbaugeräten, Hausgeräten ... - [ Translate this pag e ]Das Po rtal zum Them a E ssen & Geniessen online u nter www.zu-tisch.de. Miele weltweit ...ein Leben lang. ... Wählen S ie die Miele V ertretung Ihres La ndes.www.miele.de/ - 10k - Cached - S im ilar pagesHerzlich willkommen bei MieleÖsterreich - [ Translate this page ]Herzlich willko mme n be i MieleÖste rreich W enn S ie nicht automatischweitergele itet we rd en, klicken S ie bitte hie r! HA US HA LTS GE RÄTE...www.miele.at/ - 3k - Ca ched - Sim ilar page s•信息检索（Information Retrieval，IR）–将信息按一定的方式组织和存储起来，并根据用户需求从信息集合中找出相关信息的过程和技术–狭义的信息检索就是信息检索过程的后半部分，也就是我们常说的信息查询•你对搜索引擎知多少？–不使用搜索引擎–使用搜索引擎–了解搜索引擎的内部机制–设计实现搜索引擎–。

信息检索技术vs. 数据库技术•处理的对象不同–数据库处理的是结构化的数据–信息检索处理的是非结构化的信息–结构化数据•各种类型的信息被精确地分割并严格地存放在合适的字段和记录中–非结构化的信息•现实世界中自然存在的模糊而带有歧义且没有经过规格化处理的信息–文本信息：网页、邮件、博客、论坛上的帖子、聊天记录、短信、……–多媒体信息：图形、图像、音频、视频、……•非结构化信息并非真的没有结构，只是其结构不是显式存在的，而是隐含的。

要找出其中的结构需要用到各类由浅到深的文本处理技术。

•查询结果的准确性不同–数据库查询的结果一定是准确的；–信息检索的结果不一定是准确的–数据库中存放的是结构化的数据，是经过人工处理的信息；–IR处理的是非结构化的信息，需要由计算机来模拟人工处理过程，找出其中隐含的结构，属于人工智能范畴，目前尚不能达到100%的准确提纲•1.1 什么是信息检索•1.2 信息检索系统的体系结构•1.3 信息检索的历史、现状及发展•1.4 信息的处理与组织•1.5 新的IR主题•1.6 信息检索的应用提纲•1.1 什么是信息检索•1.2 信息检索系统的体系结构•1.3 信息检索的历史、现状及发展•1.4 信息的处理与组织•1.5 新的IR主题•1.6 信息检索的应用1.3 信息检索的历史、现状及发展（1）信息检索的历史•最早出现在图书情报领域，检索的主要目的是为了获取有价值的情报或对科学研究有帮助的资料。

•20世纪中期以前，手工式阶段–检索工具：书本或卡片式的索引和目录–检索方式：手翻、眼看、大脑判断–缺点：检索者负担沉重、效率低、容易漏检•20世纪中期，机械式阶段–检索工具：边缘穿孔卡片–优点：不需人工判断、卡片不需排序–缺点：难以适应巨大规模信息库的要求•20世纪60年代，脱机批处理阶段–1954年，美国海军军械试验站图书馆利用计算机建立了世界上第一个信息检索系统，用于情报服务。

•20世纪70年代到80年代，联机检索时代–ORBIT（On-Line Retrieval of BibliographicInfomation-Time shared）–MEDLINE（美国国家医学图书馆）–DIALOG国际联机情报检索系统–ESA-IRS（欧洲空间组织情报检索中心））信息检索的现状（2）信息检索的•20世纪90年代以后，互联网技术迅速发展。

随着相关技术的发展，应用领域的扩大，检索内涵的丰富，“情报检索”一词已不能涵盖我们今天所论及的检索。

“信息”这个词在使用上比“情报”更加自然和普及。

因此，“信息检索”逐步流行起来，并正在取代“情报检索”•近期的IR–Web信息检索–多媒体信息检索–跨语言信息检索–分布式信息检索①Web信息检索•Web信息检索–互联网用户在网络终端，通过特定的网络搜索工具或是通过浏览的方式，查找并获取信息的行为。

•搜索引擎(Search Engine)–根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。

•信息检索技术是搜索引擎的核心支撑技术•Web信息检索目前研究的问题–网络数据获取–数据抽取（Web DB的挖掘）–网页排序（动态排序、静态排序）–查询分析–个性化–反欺骗网页–检索结果评估–……②多媒体信息检索•基于内容的图像查询•基于文本的图像查询③跨语言信息检索•跨语言信息检索（Cross-Language Information Retrieval，CLIR）–用户以自己熟悉的语言来构建和提交检索提问式，系统检索出另一种语言或多种语言描述的相关信息。

–提问式所使用的语言通常称为源语言，源语言一般是用户的母语–被检索文档所使用的语言称为目标语言•单语言信息检索–提问式语言和文档语言相同的信息检索•跨语言信息检索涉及的主要技术–信息检索技术–机器翻译技术•将一种语言的文本自动翻译成另一种语言文本的计算机程序•其核心是保持两种文本（源语言文本和目标语言文本）的语义对等•跨语言信息检索实现方法–提问式翻译方法–文献翻译方法–提问式-文献翻译方法•提问式翻译方•文献翻译方法于歧义消解–缺点•翻译技术目前难以达到实用水平•工作量巨大④分布式信息检索•IR系统面临的效率方面的巨大挑战–网络信息的快速增长•2000年时，互联网上已有二、三十亿个网页–大量的并发检索请求•2005年4月份，Google每天接收到的查询请求达2亿次，平均每秒2000多次。

•事实上，请求的到达并不是均匀分布的，峰值要远高于2000多次这个平均数–用户在检索时间上苛刻的要求•分布式信息检索–在分布式的环境中，利用分布式计算和移动代理（broker）等技术从大量的、地理位置分散的、异构的信息资源中检索出对用户有用的信息的过程•分布式环境–是指信息资源在物理上分布于各地，在逻辑上是一个整体•分布式计算–利用多台计算机或多个处理器的计算和存储资源解决大规模计算问题（3）信息检索的发展趋势①智能化•第一代–基于关键字匹配技术•第二代–基于超链分析技术•分析网页的重要程度•分析Internet中潜在的社区之间的关联•以上两代的局限性–可能找不到同义词•“PRC”vs. “China”•“电脑”vs. “计算机”–可能检索到一些不相关的多义词•“Apple”(company vs. fruit)•“病毒”（医学vs.计算机科学）智能化信息检索•从自然语言处理入手，提高信息检索质量•考虑词汇的意义(meaning)•考虑词汇的顺序(order)•根据直接或间接的反馈适应用户的需求•考虑信息来源的权威性(authority)•智能搜索引擎–以自然语言理解技术为基础的新一代搜索引擎–研究自然语言文本的句法、语义和语用，使检索能够在意义层面而不是仅仅在关键词层面进行–从文本中回答特殊的用自然语言提出的问题②个性化•个性化趋势是搜索引擎的一个未来发展的重要特征和必然趋势之一•每个用户都有自己特定的、长期起作用的信息需求。

对不同的用户应采取不同的服务策略，提供不同的服务内容•通过搜索引擎的社区化产品（即对注册用户提供服务）的方式来组织个人信息•分析特定用户的搜索需求限定的范围，然后按照用户需求范围扩展到互联网上其他的同类网站给出最相关的结果•在信息服务领域，实现“信息找人”提纲•1.1 什么是信息检索•1.2 信息检索系统的体系结构•1.3 信息检索的历史、现状及发展•1.4 信息的处理与组织•1.5 新的IR主题•1.6 信息检索的应用1.4 信息的处理与组织•自动标引•自动文摘•文本分类•文本聚类①自动标引•信息标引–根据原文信息内容产生出简明的信息标识•自动标引–利用计算机自动给出文本的主题词•抽词标引–直接从标引信息中取出关键词来标引•赋词标引–人工确定一个词表，标引时用文献中的词与词表进行比较，将匹配成功的词赋予该文献②自动文摘•自动文摘–根据不同比例以及用户的不同需求自动编写文摘•自动文摘的主要方法–抽取主题句•高频关键词出现多的句子•摘录各级标题•利用各级标题中的关键词抽取句子•提示短语–基于理解的自动摘要•借助自然语言理解的研究成果，采用语法分析、语义分析、于用分析等手段，利用有关知识库进行判断、推理，得到摘要的意义表示，最后根据意义表示生成摘要③文本分类•检索结果的呈现–Web 检索结果是很长的列表，用户很难在概念层浏览结果。

用正文分类技术将结果分类，使用可视化技术显示分类结构，用户可以只浏览自己感兴趣的类别–信息进一步优化–间接消歧④文本聚类•进行站点聚类或内容聚类，减少信息的总量•导航信息提纲•1.1 什么是信息检索•1.2 信息检索系统的体系结构•1.3 信息检索的历史、现状及发展•1.4 信息的处理与组织•1.5 新的IR主题•1.6 信息检索的应用1.5 新的IR主题•话题检测与跟踪•信息过滤•信息抽取•问答系统①话题检测与跟踪•监控各种语言信息源，在新话题出现时发出警告•它在信息安全、金融证券、行业调研等领域都有广阔的应用研究背景②信息过滤•问题的提出–人们在享受网络带来的方便快捷的同时，也被其包含的海量信息所淹没–如何滤除与自己的需求无关的信息或有害的信息已成为基于网络信息查询要解决的关键问题–有选择地传播和利用信息变得越来越重要•信息过滤–是指计算机根据用户提供的一个过滤需求（userProfile），从动态变化的信息流（比如Web）中自动检索出满足用户个性化需求的信息信息过滤的重要意义•克服重复查询–网络信息是动态变化的, 用户时常关心这种变化–而在搜索引擎中, 用户只能不断地在网络上查询同样的内容, 以获得变化的信息, 这花费了用户大量的时间•信息过滤是改善Internet信息查询技术的需要–在信息服务领域，实现“信息找人”–信息过滤是信息个性化服务的基础•在网络环境下，尽量减少无效数据的传输对于节省网络资源、提高网络传输效率具有十分重要的意义•发展信息过滤技术是国家信息安全的迫切需求–信息安全•信息系统的安全•信息内容的安全–反动言论，保护国家安全–色情内容，保护青少年身心健康信息过滤vs. 信息检索•信息过滤与信息检索有许多共同的特征，Belkin和Croft认为信息过滤是一种特殊的信息检索，因为它们的目的都是搜索相关的信息•但是，二者有以下4点区别。