搜索引擎概述

搜索结果展现
2.1.2 搜索引擎的发展史
4
1990年，加拿大麦吉尔大学（McGill University）计算机学院的Alan Emtage研发了 Archie。Archie可以定期搜集并分析FTP服务器上的文件名信息，为用户提供查找分散保存在 各个FTP主机中的文件的服务。Archie搜集的信息资源被公认为搜索引擎的雏形。
出了中国市场，在国内暂时无法访问。
谷歌首页
2.1.4 常用的搜索引擎介绍
17
5．雅虎
雅虎（Yahoo!）是美国著名的门户网站之一，其服务范围包括搜索引擎、电子邮件、新闻等， 服务业务遍及24个国家和地区。
Yahoo是最早实行“分类目录”的搜索数据库，也是目前重要的搜索服务网站之一。
雅虎首页
2.1 认识搜索引擎 2.2 搜索引擎的工作原理 2.3 搜索引擎的使用方法 2.4 本章实训
10
3．元搜索引擎
元搜索引擎由3个部分组成，分别是搜索请求处理模块、搜索接口代理模块、搜索结果显示 模块。
元搜索引擎的工作原理
2.1.3 搜索引擎的分类
11
4．垂直搜索引擎
垂直搜索引擎（Vertical Search Engines）更专注于特定的搜索领域和搜索需求，如图片 搜索、视频搜索、法律搜索、专利搜索、论文搜索等，它是对通用搜索内容的细分。直搜索引擎。2.2.1 蜘蛛爬行 Nhomakorabea20
当网络蜘蛛爬行到某个网站时，会首先检查网站的根目录下是否存在Robots文件，如果 有，则会根据其约定不抓取禁止抓取的网页。
进入允许抓取的网站后，网络蜘蛛会采用如下3种策略爬行网站中的所有网页。
深度 优先
宽度 优先
最佳优先
2.2.1 蜘蛛爬行
21
1．深度优先策略
深度优先策略是早期使用较多的网络蜘蛛爬行 策略。在网站中，当网络蜘蛛发现一个链接后，网 络蜘蛛就会沿着这个链接爬到下一个网页，然后在 这个网页中又沿着新发现的链接爬下去，直到没有 未爬行的链接，再返回到第一个网页，沿着另一条 链接继续爬行。当不再有新的超链出现时，整个爬 行过程结束。如图所示，为深度优先爬行策略，其 中的数字为网络蜘蛛爬行网页的顺序。
搜狗搜索首页
2.1.4 常用的搜索引擎介绍
16
4．谷歌 谷歌（Google）是目前被公认的全球最大的搜索引擎，是互联网上最受欢迎的网站之一，在
全球范围内拥有无数的用户。Google允许以多种语言进行搜索，有多达30余种语言可供选择。 Google以简单、干净的页面设计和最有关的搜索结果赢得了用户的认同。但目前Google退
假设的6个页面内容
关键字ID 1 2 3 4 5 6 7
关键词 手机 小米 华为 苹果 评测
2019年 新款
对关键词按照重要性进行排序后的结果
2.2.3 网页处理
29
6．建立索引库
在实际搜索中搜索引擎是通过关键词来查找包含它的页面，因此正排索引就需要扫描每一个页 面来判断其是否包含该关键词，这样计算量就会非常大，因而搜索引擎还会将正排索引重新构建为 倒排索引，将页面对应到关键词的映射转换为关键词到页面的映射。
2.2.2 抓取建库
24
网络蜘蛛在经过较长时间的爬行后，就可以爬行完互联网上的所有网站，但这些网站资 源极其庞大，而且其中还夹杂着大量的垃圾网站，再加上搜索引擎的资源有限，通常只会抓 取其中的部分网页到数据库中。
网络蜘蛛到达一个网页后，会对其内容进行检测，判断其中的信息是否为垃圾信息，如 大量的重复内容、乱码以及与已收录的内容高度重复等。检测通过后，搜索引擎会对有价值 的网页进行收录，将网页的信息存储到数据库中。
垂直搜索引擎的工作原理
2.1.3 搜索引擎的分类
12
4．垂直搜索引擎
相比于其他无序化的搜索引擎，垂直搜索引擎更加专业和深入，进而保证所收录信息的完 整性和及时性，且其返回的结果重复率低、相关性强、查准率高。垂直搜索引擎最大的特点有 如下几点。
最大特点
精
准
深
行业色彩
2.1.4 常用的搜索引擎介绍
13
1．全文搜索引擎 全文搜索引擎又可以分为两类。
拥有自己的检索程序
能够自己从互联网中抓 取网页建立数据库，从 自身的数据库中调用搜 索结果。
7
租用其他搜索引擎的数据库
这种搜索引擎不能够创 建自己的数据库，无法 满足用户的需求，现已 逐渐被第一类搜索引擎 所替代。
2.1.3 搜索引擎的分类
8
2．目录搜索引擎
2.2.1 蜘蛛爬行
23
3．最佳优先策略
最佳优先策略指网络蜘蛛到达一个网页时，将网页中的所有链接收集到地址库中，并对 其进行分析，从中筛选出重要性较高的链接进行爬行。影响链接重要性的因素主要有网页权 重、网站规模和反应速度等。当某个链接的网页权重值越高、网站规模越大、反应速度越快 时，就会优先被抓取。
360搜索首页
2.1.4 常用的搜索引擎介绍
15
3．搜狗搜索
搜狗搜索是搜狐公司于2004年推出的第三代互动式中文搜索引擎。其致力于中文互联网信息 的深度挖掘，帮助中国上亿互联网用户加快信息获取速度，为用户创造价值。
其中音乐搜索具有小于2%的死链率，图片搜索具有独特的组图浏览功能，新闻搜索具有能够 及时反映互联网热点事件的看热闹首页，地图搜索具有全国无缝漫游功能。
6．建立索引库
搜索引擎会记录每一个关键词等信息，并根据这些信息计算出每个关键词的重要性，再按照重 要性对关键词进行排序。然后搜索引擎会将页面及其对应的关键词构建为正排索引并存储到索引库。
文档ID 1 2 3 4 5 6
网页内容 小米手机 2019年新款手机 华为手机 苹果手机 小米手机评测 华为手机评测
自动搜 集信息
资源
提供检 索服务
工作 原理
建立 索引
2.1.2 搜索引擎的发展史
5
随着互联网的出现，为了方便查询互联网中的网页信息，真正的搜索引擎也应运而出，并 随着互联网的发展不断地发展和进步。总体说来，搜索引擎分为4代。
1
2
3
4
分类目录时代
文本检索时代
整合分析时代
用户中心时代
2.1.3 搜索引擎的分类
2.2.1 蜘蛛爬行
19
数据抓取系统是搜索引擎最重要组成系统之一，主要负责互联网信息的搜集、保存和更 新等，它就像蜘蛛一样在互联网上爬来爬去，因此也被叫做网络蜘蛛（spider）或机器人 （bot）。
搜索引擎抓取网页时会同时运行多个蜘蛛程序，从一些重要的种子网址开始，通过其网 页上的超链接，不断发现新的网址并抓取，并不断重复这个过程，尽最大可能抓取到更多网 页。由于互联网中每时每刻都存在网页被修改、删除或出现新的超链接的可能，所以对于百 度这样的大型搜索引擎来说，还要不断地对过去抓取过的页面进行更新。
关键字ID 1 2 3 4 5 6 7
关键字 手机 小米 华为 苹果 评测 2019年 新款
文档ID1 1 1 3 4 5 2 2
文档ID2 2 5 6
文档ID3 3
6
倒排索引简化表
文档ID4 4
文档ID5 5
文档ID6 6
2.2.3 网页处理
30
7．链接分析
搜索引擎在对页面进行排序时，还需要引入网页以外的标准来衡量网页。在这些网页以外的标 准中，链接分析是最为重要的，搜索引擎会分析链接到这个网页的所有外部链接，这些外部链接的 数量和质量都能反映该网页的质量，以及和关键词的相关度。
如图所示，这段HTML代码，在经过结构化网页后，剩下的用于排名的文字为“2019年新款运 动鞋”。
2.2.3 网页处理
26
2．分词
分词是中文搜索引擎所特有的处理操作，这是因为英文等语言的单词与单词之间是有空格分隔 的，而中文的词与词之间则没有任何分隔符，所以搜索引擎必须首先将一句话分解成若干个词语。
第2章
搜索引擎概述
2.1 认识搜索引擎 2.2 搜索引擎的工作原理 2.3 搜索引擎的使用方法 2.4 本章实训
2.1.1 搜索引擎的定义
3
搜索引擎（Search Engine）指根据一定的策略，运用特定的计算机程序从互联网上搜集信 息，再对信息进行组织和处理后，为用户提供检索服务，最后将用户检索的相关信息展示给用 户的网站系统。简而言之，搜索引擎通过收集并整理互联网上众多网页中的关键词并进行索引， 进而建立索引数据库。当用户搜索某个关键词时，所有页面内容中包含该关键词的网页都将被 作为搜索结果展现出来。
6
1．全文搜索引擎
全文搜索引擎（Full Text Search Engine）是目前应用较广泛的主流搜索引擎。
国外搜索引擎Google国内的和360搜索全文搜索引擎从互联网中提取各个网站的信息（以网页文字为主），建立起网页数据库， 并检索与用户搜索条件相匹配的记录，按一定的排列顺序返回结果。
2.1.3 搜索引擎的分类
基于字典的分词法
基于理解的分词法
基于统计的分词法
2.2.3 网页处理
27
3．去停止词
无论是中文还是英文，出现频率高，对页面内容没有任何影响的词，被称为停止词。因为它们 对句子的主要意思没什么影响，所以搜索引擎会去掉这些词。这样就可以使索引数据的主题更为突 出，也可以减少一些无谓的计算量。
4．降噪
与网页主题完全不相关的内容都属于噪声，而搜索引擎需要识别并消除这些噪声，其基本方法 是：根据HTML标签对页面分块，区分出页头、导航、正文、页脚、广告等区域，剔除无关区域的 内容，剩下的就是页面主体内容。
8．数据整合
除了HTML 文件外，搜索引擎通常还能抓取和索引以文字为基础的多种文件类型。用户在搜索 结果中，但只能通过其说明性文本进行处理。不同的数据格式被分别存储，但是在建立索引以及排 序时，往往又会联系与数据相关的内容，以判断其相关性与重要性，然后最终形成一个有力于向人们提供“简单，可中国宋朝词务器上把所搜索信息返回给当地用户， 使用户享受极快的搜索体验。