网络爬虫课程设计文档

网络爬虫

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

简单来说，网络爬虫的基本工作流程可以分为如下几步：

1.首先选取一部分精心挑选的种子URL；

2.将这些URL放入待抓取URL队列；

3.从待抓取URL队列中取出待抓取URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。

4.分析已抓取URL队列中的URL，并且将URL放入待抓取URL队列，从而进入下一个循环。

对URL的认识

爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。因此，准确地理解URL对理解网络爬虫至关重要。

URL：统一资源定位符，是Internet 上描述信息资源的字符串。URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。URL 的格式由三部分组成：第一部分是协议(或称为服务方式)。

第二部分是存有该资源的主机IP地址(有时也包括端口号)。

第三部分是主机资源的具体地址，如目录和文件名等。

第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的，第三部分有时可以省略。

1.HTTP 协议的URL 示例

使用超级文本传输协议HTTP，提供超级文本信息服务的资源。

例：https://www.360docs.net/doc/1f1852330.html,/channel/welcome.htm。其计算机域名为https://www.360docs.net/doc/1f1852330.html,。超级文本文件(文件类型为.html)是在目录/channel 下的welcome.htm。这是中国人民日报的一台计算机。

例：https://www.360docs.net/doc/1f1852330.html,/talk/talk1.htm。其计算机域名为https://www.360docs.net/doc/1f1852330.html,。超级文本文件(文件类型为.html)是在目录/talk 下的talk1.htm。

2．文件的URL

用URL表示文件时，服务器方式用file表示，后面要有主机IP 地址、文件的存取路径(即目录)和文件名等信息。有时可以省略目录和文件名，但“/”符号不能省略。

例：file://https://www.360docs.net/doc/1f1852330.html,/pub/files/foobar.txt。代表存放在主机https://www.360docs.net/doc/1f1852330.html, 上的pub/files/目录下的一个文件，文件名是foobar.txt。

例：file://https://www.360docs.net/doc/1f1852330.html,/pub。代表主机https://www.360docs.net/doc/1f1852330.html, 上的目录/pub。

例：file://https://www.360docs.net/doc/1f1852330.html,/。代表主机https://www.360docs.net/doc/1f1852330.html, 的根目录。

通过URL抓取网页

1.抓取单个网页

所谓网页抓取，就是把URL 地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE 浏览器的功能，把URL 作为HTTP 请求的内容发送到服务器端，然后读取服务器端的响应资源。

Java网页抓取

Java 语言把网络资源看成是一种文件，它对网络资源的访问和对本地文件的访问一样方便。它把请求和响应封装为流。因此我们可以根据相应内容，获得响应流，之后从流中按字节读取数据。例如，https://www.360docs.net/doc/1f1852330.html,.URL 类可以对相应的Web服务器发出请求并且获得响应文档。https://www.360docs.net/doc/1f1852330.html,.URL 类有一个默认的构造函数，使用URL 地址作为参数，构造URL 对象：URL pageURL = new URL(path);接着，可以通过获得的URL对象来取得网络流，进而像操作本地文件一样来操作网络资源：InputStream stream = pageURL.openStream()。

HttpClient

Get方法

在实际的项目中，网络环境比较复杂。因此，只用https://www.360docs.net/doc/1f1852330.html, 包中的API来模拟IE客户端的工作，会产生很大的代码量。需要处理HTTP返回的状态码，设置HTTP代理，处理HTTPS 协议等工作。为了便于应用程序的开发，实际开发时常常使用Apache 的HTTP客户端开源项目——HttpClient。它完全能够处理HTTP 连接中的各种问题，使用起来非常方便。只需在项目中引入HttpClient.jar 包，就可以模拟IE 来获取网页内容。例如：

//创建一个客户端，类似于打开一个浏览器

HttpClient httpclient=new HttpClient();

//创建一个get 方法，类似于在浏览器地址栏中输入一个地址

GetMethod getMethod=new GetMethod("https://www.360docs.net/doc/1f1852330.html,");

//回车，获得响应状态码

int statusCode=httpclient.executeMethod(getMethod);

//查看命中情况，可以获得的东西还有很多，比如head、cookies 等

System.out.println("response=" + getMethod.getResponseBodyAsString());

//释放

getMethod.releaseConnection();

在这个示例中，只是简单地把返回的内容打印出来，而在实际项目中，通常需要把返回的内容写入本地文件并保存。最后还要关闭网络连接，以免造成资源消耗。此例是用get 方式来访问Web 资源。通常，get 请求方式把需要传递给服务器的参数作为URL的一部分传递给服务器。但是，HTTP协议本身对URL字符串长度有所限制。因此不能传递过多的参数给服务器。

Post方法

为了避免上述问题，通常情况下，采用post方法进行HTTP请求，HttpClient包对post 方法也有很好的支持。例如：

//得到post 方法

PostMethod PostMethod = new PostMethod("https://www.360docs.net/doc/1f1852330.html,/postme");

//使用数组来传递参数

NameValuePair[] postData = new NameValuePair[2];

//设置参数

postData[0] = new NameValuePair("武器", "枪");

postData[1] = new NameValuePair("什么枪", "神枪");

postMethod.addParameters(postData);

//回车，获得响应状态码

int statusCode=httpclient.executeMethod(getMethod);

//查看命中情况，可以获得的东西还有很多，比如head、cookies 等

System.out.println("response=" + getMethod.getResponseBodyAsString());

//释放

getMethod.releaseConnection();

上面的例子说明了如何使用post方法来访问Web 资源。与get方法不同，post方法可以使用NameValuePair来设置参数，因此可以设置“无限”多的参数。而get方法采用把参数写在URL里面的方式，由于URL有长度限制，因此传递参数的长度会有限制。

上面介绍了一个比较简单的网页抓取示例，由于互联网的复杂性，真正的网页抓取程序会考虑非常多的问题。比如，资源名的问题，资源类型的问题，状态码的问题。而其中最重要的就是针对各种返回的状态码的处理。这里就不详细介绍了，有兴趣的可以查阅资料（自己动手写网络爬虫.pdf）。

2.抓取多个网页

我们平时要搜索的信息通常都要经过好几个页面跳转才能得到，虽然这当中的跳转我们感受不到。因此，在实际的应用中，设计的网络爬虫应能够顺着超链接大面积地爬行万维网（Web），并且将网页信息抓取下来。所以，从网页上抓取超链接是网络爬虫自主扩大访问范围的必要操作，是网络爬虫自主和自动进行的。

那么爬虫程序是如何遍历互联网，把网页全部抓取下来的呢？互联网可以看成一个超级大的“图”，而每个页面可以看作是一个“节点”。页面中的链接可以看成是图的“有向边”。因此，能够通过图的遍历的方式对互联网这个超级大“图”进行访问。

1.单线程抓取

在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题。因为这涉及到先抓取那个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。下面重点介绍几种常见的抓取策略：

1.深度优先遍历策略

深度优先遍历策略是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。我们以下面的图为例：

遍历的路径：A-F-G E-H-I B C D

2.宽度优先遍历策略

宽度优先遍历策略的基本思路是，将新下载网页中发现的链接直接插入待抓取URL 队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。还是以上面的图为例：

遍历路径：A-B-C-D-E-F G H I

2.多线程（分布式）抓取

一般来说，抓取系统需要面对的是整个互联网上数以亿计的网页。单个抓取程序不可能完成这样的任务。往往需要多个抓取程序一起来处理。常见的抓取系统往往是一个分布式的三层结构。最下一层是分布在不同地理位置的数据中心，在每个数据中心里有若干台抓

取服务器，而每台抓取服务器上可能部署了若干套爬虫程序。这就构成了一个基本的分布式抓取系统。对于一个数据中心内的不同抓取服务器，协同工作的方式有几种：

1.主从式（Master-Slave）

有一台专门的Master服务器来维护待抓取URL队列，它负责每次将URL分发到不同的Slave服务器，而Slave服务器则负责实际的网页下载工作。Master服务器除了维护待抓取URL队列以及分发URL之外，还要负责调解各个Slave服务器的负载情况。以免某些Slave服务器过于清闲或者劳累。这种方式对Master服务器的负担较大。

2.对等式（Peer to Peer）

在这种模式下，所有的抓取服务器在分工上没有不同。每一台抓取服务器都可以从待抓取在URL队列中获取URL，然后对该URL的主域名的hash值H，然后计算H mod m（其中m是服务器的数量），计算得到的数就是处理该URL的主机编号。举例：假设对于URL https://www.360docs.net/doc/1f1852330.html,，计算器hash值H=8，m=3，则H mod m=2，因此由编号为2的服务器进行该链接的抓取。假设这时候是0号服务器拿到这个URL，那么它将该URL转给服务器2，由服务器2进行抓取。

这种模式有一个问题，当有一台服务器死机或者添加新的服务器，那么所有URL的哈希求余的结果就都要变化。也就是说，这种方式的扩展性不佳。针对这种情况，又有一种改进方案被提出来。这种改进的方案是一致性哈希法来确定服务器分工。一致性哈希将URL 的主域名进行哈希运算，映射为一个范围在0-232之间的某个数。而将这个范围平均的分配给m台服务器，根据URL主域名哈希运算的值所处的范围判断是哪台服务器来进行抓取。如果某一台服务器出现问题，那么本该由该服务器负责的网页则按照顺时针顺延，由下一台服务器进行抓取。这样的话，及时某台服务器出现问题，也不会影响其他的工作。

设计心得

这次课程设计对于网络爬虫有了初步的认识，对爬虫这个事物的印象也有了改观。爬虫，不是指病毒，它是种抓取程序，是搜索引擎必不可缺的一部分。它实际上是一种电脑“机器人”（Computer Robot）：某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于它就象蜘蛛一样在网（Internet）间爬来爬去，反反复复，不知疲倦。所以，又叫网络spider，一般都称为网络爬虫。此次设计并没有对网络爬虫进行实现，仅停留在对它的理论剖析上。在细节方面，比如抓取的内容，抓取后的存放方式，最优抓取等等都没有很详细的说明，这也是这次课程设计的一大缺陷。

参考书目：

1.《这就是搜索引擎——核心技术详解》张俊林电子工业出版社

2.《搜索引擎技术基础》刘奕群等清华大学出版社

3.《自己动手写网络爬虫》