信息检索技术方法及搜索引擎

信息检索技术方法及搜索引擎.txt 1截词检索技术2邻近检索技术3字段检索技术4布尔逻辑检索是指通过标准的布尔逻辑关系算符来表达检索词与检索词间的逻辑关系的检索方法.主要的布尔逻辑关系词有:逻辑与(AND),逻辑或(OR),逻辑非(NOT)1 布尔逻辑检索技术逻辑与逻辑乘: "and"或"*"表示组配方式:A*B或者A and B 表示两个概念的交叉和限定关系,只有同时含有这两个概念的记录才算命中信息作用:增加限制条件,即增加检索的专指性,以缩小提问范围,减少文献输出量,提高查准率.逻辑或又称逻辑和:"or","+"组配方式:A OR B或者A+B,表示检索含有A词,或含有B词,或同时包含A,B两词的文章.作用:放宽提问范围,增加检索结果,起扩检作用,提高查全率.逻辑非又称逻辑差: "not" "-"组配方式:A-B,表示检索出含有A词而不含有B 词的文章.作用:逻辑非用于排除不希望出现的检索词,它和"*"的作用相似,能够缩小命中文献范围,增强检索的准确性.例如检索:"打印机驱动程序"查询关键词:打印机,驱动程序检索表达式:打印机 AND 驱动程序例如检索:"微型计算机"方面的有关信息查询关键词:微型计算机,微机检索表达式:微型计算机OR 微机布尔逻辑检索举例布尔运算符优先级比较有括号时:括号内的先执行;无括号时:NOT > AND > OR例:检索"唐宋诗歌"的有关信息.关键词:唐,宋,诗歌;检索表达式:(唐 OR 宋)AND 诗歌;唐 AND 诗歌 OR 宋 AND 诗歌;错误表达式:唐 OR 宋AND诗歌;唐 AND 宋AND诗歌;唐 OR 宋OR诗歌;唐AND 宋OR诗歌;布尔逻辑运算符优先级请注意在不同的数据库中,所使用的逻辑符号可能是不同的,有的用"and,or,not" 有的用"*,+,-". 一些检索工具会完全省略任何符号和关系,直接把布尔逻辑关系隐含在菜单中.一些网络检索工具如搜索引擎甚至用"〕,,,-"(即空格,逗号,减号)来表示.主要应用于西文数字资源的检索定义:是指在检索式中用专门的符号(截词符号)表示检索词的某一部分允许有一定的词形变化.作用:主要是提高查全率截词符一般用" "或"*"表示2 截词检索技术截词位置按截词位置可分为前截词,后截词,前后截词和中间截词;按截断字符数的不同,可分为有限截断和无限截断.右截词,又称后截词,前方一致.允许检索词尾有若干变化.例如comput*将检索出computer ,computing,computerised,computerized,computerization等结果.中间截词,又称前后方一致.允许检索词中间有若干变化.例如wom*n,检索到woman,women的结果.英美的不同拼法,defen*e可同时检出defence和defense的结果.左截词,又称前截词,后方一致,允许检索词前有若干变化,例如*physics就可检索到physics,astrophysics,biophysics,chemophysics,geophysics等词的结果.前后截词:词干的前后各有一个截词符,允许检索词的前端和尾部各有若干变化形式.如computer 可检索computer,computers,computerize,computerized,computerization,minicomputer,minicom puters,microcomputer,microcomputers等结果.请注意在不同的数据库和联机检索系统中,所使用的截词符号没有统一的标准,有的用" ",有的用"*",有的用"#",用的用"$"等.即便常用的" "和"*"在不同的数据库中其用法也是不一定相同的.在允许截词的检索工具中,一般是指右截词,部分支持中间截词,左截词比较少见.我们将要使用的一些数据库,一般用"*"代表一个字符串,用" "代表任意一个字符.邻近检索又称位置检索,主要是通过检索式中的专门符号来规定检索词在结果中的相对位置. 例如检索"生物防治"的文献,若用检索式"biological*control"检索,则会将"抑制生物"(control biological)的文献也查出来,这显然不是所需文献.主要有相邻位置算符(W),(nW),(N),(nN),句子位置算符(S),字段算符(F).3 邻近检索技术(W) 算符(W)是with(word)的缩写,表示此算符两侧的检索词必须按此前后顺序相邻排列,词序不可变,且两词之间不许有其他的词或字母,但允许有一空格或标点符号.如biological (W) control相当于检索biological controlCD (W) ROM相当于检索CD ROM或CD-ROM.(nW) 算符(nW)是n words的缩写,表示此算符两侧的检索词之间允许插入最多n个词,且词序不可变.如wear (1W) material相当于检索wear materials,wear of materials等.(N)算符(N)是near的缩写,表示此算符两侧的检索词必须紧密相连,词序可变,词间不允许插入其他词或字母,但允许有一空格或标点符号.information(N)retrieval可检出: information retrievalretrieval information(nN)算符(nN)表示两词间可插入最多n个词,词序可变.如检索式environment (2N) protection 就可检索出包含"environment protection","environment of the protection ","environment of water protection","protection of forest environment"(S),(F)算符(S)是sentence的缩写,表示两个检索词须同时出现在文献记录的同一子字段中,两词的词序不限,两词间插入词的数量不限.(F)算符:在联机检索中还有对同字段进行检索的(F)算符.(F)表示此算符两侧的检索词必须同时出现在信息记录的同一个字段内,两词的词序不限,两词间插入词的数量不限.用此算符时须指定所要查找的字段,如题名字段,文摘字段,叙词字段等.例如digital (F) computer/TI表示在题名字段(TI)中同时出现这两个检索词的才算命中信息.字段检索是限定检索词在记录中出现的字段范围,检索时,计算机只对限定字段进行查找.3 字段检索技术数据库中的字段包括TI(题名),AB(摘要),DE(主题词),ID(标识词),SU(主题词),KW(关键词)AU(著者),BN(国际标准书号),SN(国际标准刊号),CC(分类类目),CS(机构),DT(文献类型)或PT(出版物类型),JN(刊名)或JA(刊号),LA(语种),PY(出版年),SO(来源出版物)注意:不同的数据库其字段代码可能不同.举例在EBSCO数据库检索中,某一用户需检索有关"数字图书馆与信息检索,参考咨询"方面的文献信息,检索要求:题名或文摘中包含数字图书馆digital library,数字图书馆要求考虑单复数,主题为信息检索information retrieval或参考咨询reference,请编制其检索策略(检索式).(ti:digital librar* or ab:digital librar*) and su:(reference or information n2 retrieval)第二节:信息检索方法信息需求分析选择信息资源选定检索词构造检索表达式确定检索途径对检索策略进行调整实施并输出检索结果1 信息需求分析分析信息检索目的,制定检索目标.分析所需信息涉及的学科,确定检索的学科范围.分析所需信息的类型,年代,确定检索的信息类型和年代范围.2 选择信息资源(数据库的选择)数据库的类型学科范围时间范围3 选定检索词分析主题,找出课题所包含的显性概念和隐含概念.找出核心概念,排除无关概念和重复概念.从待检数据库和检索工具的词表中选取规范化的词或词组.选用上位词,近义词或下位词作为检索词.4 构造检索表达式分析检索提问式是数字资源检索中用来表达用户检索提问的逻辑表达式.找出在编制检索提问式时,准确,合理地运用位置逻辑算符,截词符,字段符等技术是编制检索式的基本要求.5 确定检索途径第一类是表示主题概念的检索词---主题词,包括标题词,单元词,叙词,关键词.第二类是表示学科分类的检索词,如分类号.第三类是表示作者的检索词,如作者姓名,机构名称等.第四类是表示特殊意义的检索词,如专利号,国际标准书号,分子式等举例一个研究生在做论文题:"数字图书馆中的元数据体系与互操作研究",这是一个计算机科学,信息科学方面的课题,请你帮助他在维普数据库中找到最新的参考文献.第三节:搜索引擎Search Engine搜索引擎利用情况搜索引擎的概念和作用搜索引擎的工作原理搜索引擎的分类搜索引擎的一般检索技术搜索引擎利用技巧主要搜索引擎目录搜索引擎的应用现状从用户使用的角度,国外的调查发现:网上搜索信息的人很少考虑如何找到他们所需要的信息,因此搜索信息时象动物猎食般盲目; 只有18%的用户表示总能在网上搜索到需要的信息.68%的用户说他们对搜索引擎很失望;平均每个搜搜者在12分钟的徒劳搜索后就感到恼火和受挫.46%的人只会用同一个关键词搜啊搜啊,而且是在同一个搜索引擎.国外的应用状况那些每周平均花5个小时以上时间上网的人,将其上网时间的71%都花在了搜索引擎上;人机界面高手nielsen(google的设计者)研究表明:略超过1/2的互联网用户属于search-dominant,约1/5用户属于 link-dominant,其它用户的搜索倾向属于混合行为型.search- dominant在到达一个网站后直接就奔向搜索按钮,他们对浏览网站不感兴趣,他们有明确的目的,倾向于以最快速度找到信息.相反,link-dominant喜欢点击浏览一个网站,即使他们想找特殊信息时也是这样,只有在他们用点击超链的方法已经实在找不到了,才会想起搜索按钮.国内的应用状况国内的调查发现:cnnic2004年1月的调查:61.6%的中国互联网用户经常使用搜索引擎(仅次于E-mail).83.4%的中国互联网用户得知新网站的主要途径是搜索引擎.赛迪咨询的搜索引擎调查:截止2000年8月,92.9%的网民使用过搜索引擎,同时有六成左右的网民将搜索引擎列为经常使用的网络服务.新浪搜索的统计表明:第1条搜索结果获得的点击量,是第2页第1条的150倍.百度公司:百度2001年中国互联网用户搜索热点统计搜索引擎是一个用来搜索世界各地Internet网络资源的WEB服务器.它像一本书的目录,Internet各个站点的网址就像是页码,可以通过关键词或主题分类的方式来查找感兴趣的信息所在的WEB页面.搜索引擎提供的导航服务(搜索引擎就是网络的指南针)已经成为互联网上非常重要的网络服务,成为和电子邮件并列的最重要的互联网应用.搜索引擎的概念和作用(1)信息搜集(2)信息索引(3)信息查询(4)检索结果的相关性处理搜索引擎的工作原理(1)信息搜集各个搜索引擎都派出绰号为蜘蛛(Spider)或机器人(Robots)的"网页搜索软件",在互联网中漫游,发现和搜集信息.访问网络中公开区域的每一个站点并记录其网址,将它们带回搜索引擎,要尽可能多,尽可能快地搜集各种类型的新信息.因为互联网上的信息更新很快,所以还要定期更新已经搜集过的旧信息,以避免死链接和无效链接.(2)信息索引将"网页搜索软件"带回的信息进行分类整理,建立搜索引擎数据库,并定时更新数据库内容. 有的搜索引擎把"网页搜索软件"发往每一个站点,记录下每一页的所有文本内容,并收入到数据库中从而形成全文搜索引擎;而另一些搜索引擎只记录网页的地址,篇名,特点的段落和重要的词.(3)信息查询根据用户的查询需求在索引库中快速检出相关网页,并反馈检索结果.一般包括分类目录及关键词两种信息查询方式.(4)检索结果排序概率法是根据关键词在文中出现的频率来判定的,出现的次数越多,认定其与查询的相关程度越高;位置法是根据关键词在文中出现的位置来判定,位置越靠前,文件的相关程度越高;分类或聚类方法是指搜索引擎采用分类或聚类技术,自动把查询结果归入到不同的类别中.(1)关键词搜索引擎(2)主题分类搜索引擎(3)综合搜索引擎搜索引擎的分类(1)关键词搜索引擎界面提供输入框,用户通过输入框提交查询请求(关键词),搜索引擎将检索结果反馈给用户. 适用于查找目的明确,并具备一定检索知识的用户.(2)主题分类搜索引擎依据某种分类方式(如学科分类),建立主题树状层浏览体系;搜索程序搜索来的信息被标引后放入浏览体系的个大类或子类下面,呈现错落有致的上下位关系.查准率高,但查全率低.(3)综合搜索引擎此类搜索引擎既可以搜索网站也可搜索全文,用户输入关键词后,可以选择是搜索网站还是网页,不同的选择返回不同的结果,国内的搜狐(Sohu)就是此类搜索引擎查全率高,但查准率低.主要搜索引擎百度 李彦宏徐勇概况百度,2000年1月创立于北京中关村,是全球最大的中文搜索引擎. 2000年1月1日,公司创始人李彦宏,徐勇携120万美元风险投资,从美国硅谷回国,创建了百度公司.2000年5月,百度首次为门户网站——硅谷动力提供搜索技术服务,之后迅速占领中国搜索引擎市场,成为最主要的搜索技术提供商.2001年8月,发布搜索引擎Beta版,从后台服务转向独立提供搜索服务,并且在中国首创了竞价排名商业模式,2001年10月22日正式发布Baidu搜索引擎.2005年8月5日,百度在美国纳斯达克上市.特点"百度"二字取自辛弃疾的《青玉案》 "众里寻她千百度" .现在百度已成为世界上最大的中文搜索引擎,用户能够访问超过10亿的中文网页.网页搜索功能百度快照相关搜索拼音提示错别字提示英汉互译词典计算器和度量衡转换专业文档搜索股票,列车时刻表和飞机航班查询高级搜索语法高级搜索,地区搜索和个性设置天气查询百度快照每个被收录的网页,在百度上都存有一个纯文本的备份,称为"百度快照".百度速度较慢,您可以通过"快照"快速浏览页面内容.如果无法打开某个搜索结果,或者打开速度特别慢, "百度快照"能帮您解决问题.相关搜索搜索结果不佳,有时候是因为选择的查询词不是很妥当.您可以通过参考别人是怎么搜的,来获得一些启发.百度的"相关搜索",就是和您的搜索很相似的一系列查询词.百度相关搜索排布在搜索结果页的下方,按搜索热门度排序.专业文档搜索很多有价值的资料,在互联网上并非以普通的网页形式出现,而是以Word,PowerPoint,PDF等文档格式存在.百度支持对Office文档(包括Word,Excel,PowerPoint),Adobe PDF文档,RTF文档的全文搜索.方法为在搜索的关键词后面加一个"filetype:"文档类型限定."filetype:"后可以跟以下文件格式:DOC,XLS,PPT,PDF,RTF,ALL.其中,ALL包含所有文件类型.高级搜索把搜索范围限定在网页标题中——intitle标题通常是对网页内容提纲挈领式的归纳.把查询内容范围限定在网页标题中,有时能获得良好的效果.高级搜索把搜索范围限定在特定站点中——site有时候,您如果知道某个站点中有自己需要找的东西,就可以把搜索范围限定在这个站点中,提高查询效率.使用的方式,是在查询内容的后面,加上"site:站点域名".高级搜索把搜索范围限定在url链接中——inurl网页url中的某些信息,常常有某种有价值的含义.于是,您如果对搜索结果的url做某种限定,就可以获得良好的效果.实现的方式,是用"inurl:",后跟需要在url中出现的关键词高级搜索精确匹配——双引号和书名号如果输入的查询词很长,百度给出的搜索结果中的查询词可能是拆分的.如果给查询词加上双引号,就可以精确检索.被书名号扩起来的内容,也不会被拆分 ,比如,查电影"手机",如果不加书名号,很多情况下出来的是通讯工具——手机,而加上书名号后,《手机》结果就都是关于电影方面的了.高级搜索要求搜索结果中不含特定查询词——减号 -如果您发现搜索结果中,有某一类网页是您不希望看见的,那么用减号语法,就可以去除所有这些含有特定关键词的网页.注意,前一个关键词,和减号之间必须有空格,否则,减号会被当成连字符处理,而失去减号语法功能.Sergey BrinLarry PageGoogle搜索引擎诞生于斯坦福大学的一个学生宿舍里,然后迅速传播到全球的信息搜索者. Google 目前被公认为万维网上最大的搜索引擎,它提供了简单易用的免费服务,使用户能够访问一个包含超过 80 亿个网址的索引."Google"来自于数学名词"Googol", Googol表示一个 1 后面跟着 100 个零.这一术语体现了公司整合网上海量信息的远大目标.概况Google 技术Google 使用一组独特的高级硬件和软件,核心软件称为 PageRank.作为组织管理工具,网页级别利用了互联网独特的民主特性及其巨大的链接结构.从网页 A 链接到网页 B 时,Google 就认为"网页 A 投了网页 B 一票".Google 根据网页的得票数评定其重要性.除了考虑网页得票数(即链接)的纯数量之外,Google 还要分析投票的网页,"重要"的网页所投出的票就会有更高的权重.与大多数其它搜索引擎的区别在于:Google 只显示相关的网页,其正文或指向它的链接包含您所输入的所有关键词,而无须再受其它无关结果的烦扰.Google的特殊功能Flash文件查找Flash文件,只需搜索"关键词 filetype:swf".Google已经可以支持13种非HTML文件的搜索.除了PDF文档,Google现在还可以搜索Microsoft Office (doc, ppt, xls, rtf) ,Shockwave Flash (swf),PostScript (ps)和其它类型文档.新的文档类型只要与用户的搜索相关,就会自动显示在搜索结果中.点击选中的链接手气不错按下"手气不错 "按钮将自动进入 Google 查询到的第一个网页.您将完全看不到其它的搜索结果.使用"手气不错"进行搜索表示用于搜索网页的时间较少而用于检查网页的时间较多. 例如,要查找 Stanford 大学的主页,只需在搜索字段中输入"Stanford",然后单击"手气不错"按钮.Google 将直接带您进入 Stanford 大学的官方主页 .错别字改正Google 的错别字改正软件系统会对输入的关键词进行自动扫描, 检查有没有错别字.如果发现用其他字词搜索可能会有更好的结果,它能提供相应提示来帮助纠正可能有的错别字.例如,搜索"互连网",Google 会自动提示 "您是不是要找:互联网".如果您点击 "互联网",Google 将以"互联网"作为关键词进行搜索.手机号码用Google 查询手机电话号码归属地,您只需直接输入要查的号码即可(不需要任何关键词).Google 能自动识别以13开头的11位数字为手机号码而返回相关的网站链接,让您即刻便知道答案.定义要查看字词或词组的定义,只需键入"define",接着键入一个空格,然后键入您需要其定义的词.如果 Google 在网络上找到了该字词或词组的定义,则会检索该信息并在搜索结果的顶部显示它们.雅虎中国/Yahoo!是在网上最早出现的检索工具,一直是一种功能较强的搜索引擎.Yahoo!属于目录索引类搜索引擎,可以通过两种方式在上面查找信息,一是通常的关键词搜索,一是按分类目录逐层查找.以关键词搜索时,网站排列基于分类目录及网站信息与关键字串的相关程度.包含关键词的目录及该目录下的匹配网站排在最前面.以目录检索时,网站排列则按字母顺序.Yahoo于2004年2月推出了自己的全文搜索引擎,并将默认搜索设置为网页搜索.2005年11月9日阿里巴巴公司在完成对雅虎中国的收购与整合之后,重新发布了进入中国市场7年之久的雅虎网站, 未来雅虎在中国的业务重点方向将全面转向搜索领域,这也是自8月11日阿里巴巴宣布收购雅虎中国时就从没改变的方向.阿里巴巴CEO马云表示: 阿里巴巴在搜索领域既有决心更有信心,在中国,雅虎就是搜索,搜索就是雅虎.中国搜索(原慧聪搜索)是国内领先的搜索引擎公司.自2002年正式进入中文搜索引擎市场以来,中国搜索(原慧聪搜索)取得了一系列令人瞩目的成绩.在一年多的时间里,发展成为全球领先的中文搜索引擎公司,先后为新浪,搜狐,网易,TOM等知名门户网站以及中国搜索联盟上千家各地区,各行业的优秀中文网站提供搜索引擎技术.目前,每天有数千万次的中文搜索请求是通过中国搜索实现的,中国搜索也被公认为第三代智能搜索引擎的代表.搜狗心事浩茫连广宇，于无声处听惊雷。