搜索引擎的渐增式爬行和备份式更新模式

搜索引擎的渐增式爬行和备份式更新模式沈文勤，邵志清（华东理工大学计算机科学与工程系，上海 200237）摘要: 本文介绍了搜索引擎的总体结构，分析了搜索引擎中爬行器的爬行策略和网页库的更新模式，介绍了其中一种较为合理的爬行和更新模式及其实现技术，实现了渐增式地爬行高质量的网页，提高网页库新鲜度的目的。

关键词: 搜索引擎；爬行器；网页库；更新策略中图分类号: TP391 文献标识码: AIncremental Crawling and Shadowing Update Strategyin Search EngineShen Wenqin ，Shao Zhiqing(Department of Computer Science and Engineering ECUST, Shanghai 200237,China)Abstract: This paper analyses the general architecture of search engine, especially the design and implementation technology of the crawling and update strategy, the crawler can download “high quality” web pages incrementally and maintain the web repository “fresh”.Key words: search engine; crawler; Web repository; update strategy随着因特网的迅猛发展和Web 信息的增加，信息检索服务应运而生，于是搜索引擎成为了人们关注的对象。

按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为不同种类，而现在大都采用的是机器人搜索引擎（crawler-based search engines ）。

大型的搜索引擎收集了互联网上几千万到几十亿个网页，最终存入自己建立的网页库中，并对网页中的每一个文字（即关键词）进行索引，建立索引数据库。

当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。

在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。

然而，现在的搜索引擎普遍存在网页库更新不及时，查询结果质量不高等问题。

这是由许多客观原因造成的，如网页数量的指数上升，网页的时常变化更新，而搜索引擎无法及时跟踪网页自身的变化更新情况，搜索引擎自身又受存储容量，服务器能力等资源的限制。

所以，如何在这些客观制约下，使得搜索引擎爬行高质量的网页，提高网页库的新鲜度，以此来提高搜索引擎查询结果的质量，让用户得到更新更有用的信息，已成为搜索引擎急切关注的问题。

这就必须要研究搜索引擎的爬行和更新模式。

我们已经实现了一个名为Flyingsender 的机器人搜索引擎原型，本文就是在这个搜索引擎原型的平台上，介绍了所采用的爬行方式和网页库的更新模式。

基金项目：上海市青年科技启明星计划资助项目(编号：99QD14038)收稿日期：2003-04-14作者简介：沈文勤（1979~），女，浙江人, 硕士生，主要研究领域为网络信息服务技术_______________________________________________________________________________1总体要求搜索引擎的爬行和更新模式希望达到下面两个要求：1）使网页库保持一定的新鲜度，更新策略的不同会使网页库的新鲜度有很大的差别。

因此，需要选择好的更新策略，即要选择爬行哪些网页，以及如何调整对各网页的爬行频率。

2）使网页库中的网页具有较高的质量，即网页有很高的重要性，爬行那些重要性较高的网页来替换网页库中重要性较低的网页。

1.1 网页库新鲜度网页库新鲜度这个概念有多种说法，Cho 作了很详细的定义[1]，但大致意思都相同，就是指网页库中的网页的内容与现在实际的源网页的内容一致，如果这样的网页越多，网页库的新鲜度就越高。

所以如果在更新网页库时知道源网页的变化情况，知道哪些网页已经改变了，哪些网页没有改变，那么就可以只更新那些改变了的网页，而对那些没有改变的网页不需要重新爬行。

这样的渐增式爬行方式就能提高网页库的新鲜度。

但是，源网页的更新是独立于用户和爬行器的，爬行器不知道源网页何时改变，变化的频率又是多少。

对于这个问题，现在研究最多，也是比较可行的是研究网页的动态模型，基于网页变化频率来调整对网页的更新频率的方法（frequency-based approach ）[1],这是指根据网页的历史，估计网页的变化频率，对网页的动态性建立一个数学模型，根据这个模型调整更新策略。

这里有许多前人的工作可以借鉴。

Cho 和Hector Garcia-Molina 用4个月时间对270个网站的网页进行统计，试验指出网页的变化可以用泊松过程来模拟，每一个网页Pi 是以变化率为λi 的泊松过程变化的。

他们的实验还得出泊松过程的一个统计估算参数，具体参考[1~3]。

本文通过获取网页的HTTP 头文件，从中得到网页的元信息，获知网页的变化情况，具体实现方法下面将介绍。

1.2 网页重要性网页库中的网页要尽量具有比较高的重要性，网页的重要性有多种计算方法，其中PageRank算法[5]是最主要也是最好的衡量网页重要性的方法[6]。

它是这么定义的：假设页面A 有页面T1，…，Tn 指向它，参数d 是一个设定在0和1之间的振荡因子。

一般把d 设定为0.85。

C （A ）被定义为从页面A 链接出来的链接个数，则页面A 的PageRank 值就是：PR （A ） = （1-d ） + d （PR （T1）/C （T1） + … + PR （Tn ）/C （Tn ））直觉上可以这样认为：如果一个页面有很多页面都链接到它，或者是有一些PageRank 值很高的页面链接到它，它将会有较高的PageRank 值。

所以本文所介绍的搜索引擎的排序模块采用的就是PageRank 算法，对每个网页计算出Pagerank值，为更新策略提供资料。

2 爬行和更新模式搜索引擎中的爬行器（crawler ）是指自动从网上下载网页，并把网页存储在本地网页库的一个程序。

为了使网页库中的网页保持一定的新鲜度（freshness ），隔一段时间后爬行器必须重新访问这些网页，更新网页库。

所以，爬行器就有下载网页和更新网页的两大功能。

搜索引擎中的爬行器的爬行模式一般分为两种：批量式爬行器和渐增式爬行器。

批量式爬行器是指每隔一段时间从头开始重新搜索一遍整个英特网，对先前保存在网页库中的所有网页进行一遍更新。

这种方式对程序的效率和硬件设备要求很高，而且对某些网页更新不及时，不能有目的地爬行某些重要网页。

中国科技论文在线_______________________________________________________________________________而每次有目的地爬行更新部分网页，而不是对所有网页库中网页重新爬行一遍的更新方式称为渐增式更新，相应的爬行器称为渐增式爬行器。

这种方式能提高搜索引擎的效率，提高网页库的新鲜度，并且能减轻网络和服务器的负担。

网页库的更新模式一般也分为两种：备份式更新和即时更新。

备份式更新是指页面存储器将爬行器传送过来的网页在存入网页库之前先存入更新节点，每隔固定时间，或一轮爬行结束后,将更新节点与当前使用的网页库合并，然后索引器将整个库进行索引，形成新的索引库。

这种方法容易实现，而且可以减少更新与读取的冲突。

即时更新指页面存储器收到爬行器传送的网页，直接存入当前使用的网页库中，并马上提交给索引器进行索引，索引结果直接提交给索引库，即时更新。

这种模式更新速度快，但实现起来难度增大，而且不适合大型搜索引擎，效率也低于备份式更新[4]。

渐增式爬行器和备份式更新的模式对硬件要求较低，而且可以提高更新频率，提高网页库的新鲜度，也适合于大规模的搜索引擎。

3 基本架构和具体实现本文在原来搜索引擎原型的基础上，采用了渐增式爬行器和备份式更新的模式后，设计的基本架构如图1所示：从基本架构图中可以看到，搜索引擎分为爬行、存储、索引、排序、更新、域名解析等几大模块，把搜索引擎中涉及到的所有网页分为下面这几类：（1）所有网页（AllUrls ）：包括所有已经爬行下来的和已提取到但还没有爬行下来的网页；（2）已爬网页（VisitedUrls ）：表示所有已经爬行下来的网页；中国科技论文在线_______________________________________________________________________________（3）待爬网页（ToVisitUrls ）：表示在下次爬行时要爬行的网页；（4）种子页面（SeedUrls ）：是搜索引擎最初运行时提交给爬行器爬行的网页。

这些网页的统计，类别等信息都可以存储在数据库中，而网页本身与这些网页信息分开存储。

上面基本架构图总的流程是这样的：（1）首先把一组种子页面传给域名解析器（URL Resolver ），将域名转化为IP 地址；（2）由爬行器(Crawler)根据HTTP 协议从信息服务器获得HTML 文本，在页面存储器(Store Server)中存储原始页面，如果是第一次爬行，可直接存入网页库(Repository)；以后在爬行器渐增式更新时，需要存储器更新模块采用一定的网页库更新模式，最终存入网页库；（3）索引器(Indexer)从网页库中读出网页，按关键字索引，并提取出链接URL,放入图中所有网页信息库中，并把爬行下来的网页的URL 及其网页元信息存入已爬网页信息表中；（4）排序模块(Rank)接收所有网页的URL ，根据特定算法对每个网页的重要性进行计算，并对网页按重要性排序；（5）更新模块(Update)接收已爬行下来网页的信息以及网页的排序情况，根据特定的更新策略，选择URL 存入待爬网页信息表中；（6）网页服务器（URL Server)从待爬网页信息表接收要爬行的URL ，传给域名解析器进行解析，进行下一轮搜索。

3．1 渐增式爬行器本文采用的爬行器是渐增式的，每次有目的地爬行更新部分网页，所以有必要了解网页自身的变化情况，这就要求记录下网页的元信息，即网页自身的描述信息，从中了解网页的变化情况，以此来调整对网页的更新频率等。

元信息可以包含以下这些内容：网址、网页名称、网页长度、最后修改日期等等。

由于HTTP 的HEAD 请求方法只从服务器上请求获得网页的元信息，不需要传送整个文件，请求速度很快，所以在请求爬行整个网页之前，先进行HEAD 请求，以获得网页的元信息。