多线程网页抓取程序的分析与改进

一、GetWeb类源代码分析

通过对程序代码分析，绘制程序执行流程概要如下：

详细功能流程图如下（为了便于理解程序执行过程，流程图中的变量标识与源代码中的变量名并不对应）：

getWebByHomePage 方法，首先将主页URL添加到arrUrl和allUrls队列中，为其分配初始编号0，并设置爬虫深度为1 ；然后调用getWebByUrl方法抓取主页内容，将其存入网页文件中，同时从抓回的网页文本中提取链接（使用getUrlByString方法）存入arrUrls队列和arrUrl队列中。同时在allUrls队列中为每个URL分配一个网页编号，在deepUrls 中添加并设置每个URL的爬虫深度（父链接爬虫深度+1，这里为1+1=2）。

接下来，循环创建10个抓取线程开始网页抓取。网页抓取线程不断从arrUrls队列中取出链接，抓取其网页内容。接着判断网页爬虫深度若大于最大爬虫深度则继续从arrUrls中取新的URL进行抓取，否则，要从刚刚抓取到的网页文本中提取链接，存入arrUrls队列和arrUrl队列，在allUrls队列中为每个URL分配网页编号，在deepUrls中设置每个URL的爬虫深度。然后才从arrUrls中取新的URL进行抓取。

值得强调的是，后续添加URL到arrUrls时，要判断这个URL是不是已经抓取过了，如果已经抓取过了就不再加入待抓取URL队列了。

最终，当arrUrls队列中的URL全部被取完时，程序终止抓取，从arrUrl提取网页文件索引信息输出到文件fileindex.txt中。

同时，在程序整个运行过程中，每一步的调试信息都输出在report.txt文件中。

二、存在问题及改进方法

通过对所给程序代码分析，结合真实的Internet网络环境，我们不难看出该程序仍有以下几点不足：

1．程序从网页文本中提取URL时，只考虑了完整格式的URL的提取，而忽略了相对地址和绝对地址的提取。这显然是不符合实际情况的。因为大多数网站的站内链接大多为相对地址或绝对地址，这种链接占Internet链接中的很大一部分。虽然同一个站点的页面爬虫的抓取深度有限，但忽略站内所有相对链接和绝对链接会失去很多页面信息，造成抓取页面不完整，这对后期网页索引等工作是很不利的。

完整格式的URL示例：Store

绝对地址的URL示例：iPhone

相对地址的URL示例：Mac

因此，我们可以在getUrlByString方法中添加相应的代码来对从a标签href域中提取出的链接信息进行分析处理，使之能够抓取到相对地址和绝对地址指向的页面。但在提取链接信息时，同时也会提取到一些诸如：JavaScript（JavaScript脚本）、mailto （电子邮箱地址）、#（本页面）之类的信息，对于这些信息我们需要丢弃。

2．在通过URL抓取网页过程中，程序没有考虑不同的HTTP连接状态，如：访问的URL暂时无法提供服务（HTTP状态码503：Service Unavailable）。这种情况下，原来的程序似乎无能为力。

对此，我们可以在getWebByUrl方法中添加相应的代码来获取HTTP连接状态码，然后根据不同的状态，做出相应的处理。一般常见的状态码是：200（正常）、3XX（重定向）、403（禁止访问）、404（未找到页面）、503（服务暂不可用）。显然只有在状态码为200或3XX时，我们才需要抓取对应网页内容，其他情况均无需抓取。

三、改进后程序流程

如下是对程序改进部分的流程概要：

1．对相对地址和绝对地址的处理如下图左（因为不是匹配完整格式的网页，所以需要从匹配到的链接中去除JavaScript、mailto、#等无效链接）

2．处理HTTP连接的不同状态码如下图右

注：其余部分代码功能与原程序基本相同，故未在下图中画出。

……

四、改进后程序代码及运行结果说明

GetWeb.java

import java.io.File;

import java.io.BufferedReader;

import java.io.FileOutputStream;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.OutputStreamWriter;

import java.io.PrintWriter;

import https://www.360docs.net/doc/114388624.html,.HttpURLConnection;

import https://www.360docs.net/doc/114388624.html,.MalformedURLException;

import https://www.360docs.net/doc/114388624.html,.URL;

import java.util.ArrayList;

import java.util.regex.Pattern;

import java.util.Hashtable;

/**

* 网页抓取爬虫

* @author unknown

* 代码修改注释:

* 1. 代码改动主要在getWebByUrl方法和getUrlByString方法中

* 2. 修改了getDomain方法使之变为通用的获取主机域名的方法

* 3. 添加了三个方法:

* (1)getHomePage方法, 从指定URL中提取协议部分和主机部分(一般此部分即为站点主页地址) * (2)isRedirectStatusCode方法, 判断指定HTTP状态码是否为重定向状态码3XX

* (3)toFullAddress方法, 将指定URL转换为完整格式的URL并返回

*/

public class GetWeb {

/**

* 爬虫深度, 默认为2

*/

private int webDepth = 2;

/**

* 线程数,默认为10

*/

private int intThreadNum = 10;

/**

* 主页地址, 即起始URL

*/

private String strHomePage = "";

/**

* 域名

*/

private String myDomain;

/**

* 储存网页文件的目录名, 默认为web

*/

private String fPath = "web";

/**

* 存储未处理URL

*/

private ArrayList arrUrls = new ArrayList();

/**

* 存储所有URL供建立索引

*/

private ArrayList arrUrl = new ArrayList();

/**

* 存储所有URL的网页号

private Hashtable allUrls = new Hashtable();

/**

* 存储所有URL的深度

*/

private Hashtable deepUrls = new Hashtable();

/**

* 网页对应文件下标, 从0开始

*/

private int intWebIndex = 0;

/**

* 字符集, 默认为GB2312

*/

private String charset = "GB2312";

/**

* 抓取网页报告

*/

private String report = "";

/**

* 开始时刻

*/

private long startTime;

/**

* 抓取成功的URL计数

*/

private int webSuccessed = 0;

/**

* 抓取失败的URL计数

*/

private int webFailed = 0;

/**

* 指定起始URL实例化网页抓取类的对象

* @param s 起始URL

*/

public GetWeb(String s) {

this.strHomePage = s;

}

/**

* 指定起始URL和爬虫深度实例化网页抓取类的对象

* @param s 起始URL

* @param i 爬虫深度

public GetWeb(String s, int i) {

this.strHomePage = s;

this.webDepth = i;

}

/**

* 抓取成功URL计数(多线程同步操作)

*/

public synchronized void addWebSuccessed() {

webSuccessed++;

}

/**

* 抓取失败URL计数(多线程同步操作)

*/

public synchronized void addWebFailed() {

webFailed++;

}

/**

* 生成报告文件, 将内容s添加到报告文件中(多线程同步操作)

* @param s 报告内容

*/

public synchronized void addReport(String s) {

try {

report += s;

PrintWriter pwReport = new PrintWriter(new FileOutputStream( "report.txt"));

pwReport.println(report);

pwReport.close();

} catch (Exception e) {

System.out.println("生成报告文件失败!");

}

}

/**

* 从未处理的URL集合中取一个URL, 并将这个URL从未处理URL集合中删除(多线程同步操作)

* @return一个URL

*/

public synchronized String getAUrl() {

String tmpAUrl = arrUrls.get(0);

arrUrls.remove(0);

return tmpAUrl;

/**

* 从所有URL集合中取一个URL, 并将这个URL从所有URL集合中删除(多线程同步操作) * @return一个URL

*/

public synchronized String getUrl() {

String tmpUrl = arrUrl.get(0);

arrUrl.remove(0);

return tmpUrl;

}

/**

* 生成一个新的网页文件下标(多线程同步操作)

* @return网页文件下标

*/

public synchronized Integer getIntWebIndex() {

intWebIndex++;

return intWebIndex;

}

public static void main(String[] args) {

if (args.length == 0 || args[0].equals("")) {

// 如果输入的起始URL为空, 则提示未输入URL, 程序退出

System.out.println("No input!");

System.exit(1);

} else if (args.length == 1) {

// 如果只输入了起始URL, 则默认爬虫深度为2, 开始网页抓取

GetWeb gw = new GetWeb(args[0]);

gw.getWebByHomePage();

} else {

// 如果输入了起始URL和爬虫深度, 则按指定的爬虫深度开始抓取网页

GetWeb gw = new GetWeb(args[0], Integer.parseInt(args[1]));

gw.getWebByHomePage();

}

}

/**

* 由用户提供的域名站点开始，对所有链接页面进行抓取

*/

public void getWebByHomePage() {

// 设置起始时刻

startTime = System.currentTimeMillis();

// 获取主页域名

this.myDomain = getDomain(strHomePage);

// 主页域名为空则出错返回

System.out.println("Wrong input!");

// System.exit(1);

return;

}

// 输出相关调试信息, 将主页地址添加到初始URL集合中

System.out.println("Homepage = " + strHomePage);

addReport("Homepage = " + strHomePage + "!\n");

System.out.println("Domain = " + myDomain);

addReport("Domain = " + myDomain + "!\n");

arrUrls.add(strHomePage);

arrUrl.add(strHomePage);

allUrls.put(strHomePage, 0);

// 设置初始URL的爬虫深度

deepUrls.put(strHomePage, 1);

// 建立存放网页文件的目录

File fDir = new File(fPath);

if (!fDir.exists()) {

fDir.mkdir();

}

// 开始抓取网页

System.out.println("Start!");

this.addReport("Start!\n");

String tmp = getAUrl(); // 取一个新的URL

// 对新URL所对应的网页进行抓取

this.getWebByUrl(tmp, charset, allUrls.get(tmp) + "");

// 建立多个线程, 从URL集合中取链接进行抓取

for (int i = 0; i < intThreadNum; i++) {

new Thread(new Processer(this)).start();

}

// 等待程序运行完成后输出运行结果信息

while (true) {

// 当未处理URL集合为空且抓取网页线程均已运行完毕时, 表示抓取已完成if (arrUrls.isEmpty() && Thread.activeCount() == 1) { // 设置程序结束时刻

long finishTime = System.currentTimeMillis();

// 计算程序运行时间

long costTime = finishTime - startTime;

// 输出程序运行结果

System.out.println("\n\n\n\n\nFinished!");

addReport("\n\n\n\n\nFinished!\n");

System.out.println("Start time = " + startTime + " "

+ "Finish time = " + finishTime + " " + "Cost time = "

+ costTime + "ms");

addReport("Start time = "+ startTime + " " + "Finish time = "

+ finishTime + " " + "Cost time = " + costTime + "ms"

+ "\n");

System.out.println("Total url number = "

+ (webSuccessed + webFailed) + " Successed: "

+ webSuccessed + " Failed: " + webFailed);

addReport("Total url number = " + (webSuccessed + webFailed) + " Successed: " + webSuccessed + " Failed: "

+ webFailed + "\n");

// 输出索引信息, 生成索引文件

String strIndex = "";

String tmpUrl = "";

while (!arrUrl.isEmpty()) {

tmpUrl = getUrl();

strIndex += "Web depth:" + deepUrls.get(tmpUrl)

+ " Filepath: " + fPath + "/web"

+ allUrls.get(tmpUrl) + ".htm" + " url:" + tmpUrl

+ "\n\n";

}

System.out.println(strIndex);

try {

PrintWriter pwIndex=new PrintWriter(new FileOutputStream(

"fileindex.txt"));

pwIndex.println(strIndex);

pwIndex.close();

} catch (Exception e) {

System.out.println("生成索引文件失败!");

}

break; // 程序运行结束

}

}

}

/**

* 抓取URL的网页文本并从中提取URL链接(对后续解析出的url进行抓取)

* @param strUrl 要抓取的URL

* @param charset 字符集

* @param fileIndex URL索引编号

*/

public void getWebByUrl(String strUrl,String charset,String fileIndex) {

try {

// 输出调试信息, 并将之添加到报告文件中

System.out.println("Getting web by url: " + strUrl);

addReport("Getting web by url: " + strUrl + "\n");

/**

* modify by yang 2011.12.23

*/

// 初始化URL和HttpURLConnction的对象

boolean isAccess = true; // URL是否可访问, 默认可以访问

URL url = new URL(strUrl);

HttpURLConnection conn =

(HttpURLConnection)url.openConnection();

conn.setInstanceFollowRedirects(false); // 设定不要自动跳转

conn.setReadTimeout(30000); // 设定timeout时间

conn.connect(); // 连线

// 以下分情况处理常见的HTTP状态码

int status = conn.getResponseCode(); // 获取HTTP状态码

String staStr = ""; // HTTP状态描述

switch (status) {

// 服务器返回200, 访问正常

case HttpURLConnection.HTTP_OK:

isAccess = true;

staStr = "Normal!";

break;

// 服务器返回403, 当前禁止访问该URL

case HttpURLConnection.HTTP_FORBIDDEN:

isAccess = false;

staStr = "Access is forbidden!";

break;

// 服务器返回404, URL指定页面未找到

case HttpURLConnection.HTTP_NOT_FOUND:

isAccess = false;

staStr = "Page not found!";

break;

// 服务器返回503, 服务暂不可用

case HttpURLConnection.HTTP_UNAVAILABLE:

isAccess = false;

staStr = "Service is unavailable!";

// 服务器返回3XX, 重定向到Location域所指定的URL

case HttpURLConnection.HTTP_MOVED_PERM: // 资源永久移位

case HttpURLConnection.HTTP_MOVED_TEMP: // 资源临时移位

case HttpURLConnection.HTTP_SEE_OTHER: // 资源重定向String urlStr = conn.getHeaderField("Location");

urlStr = toFullAddress(urlStr, strUrl); // 处理相对地址

url = new URL(urlStr);

conn = (HttpURLConnection) url.openConnection();

conn.setInstanceFollowRedirects(false);

conn.setReadTimeout(30000);// 设定timeout时间

conn.connect();// 连线

status = conn.getResponseCode();

int iterNum = 4; // 最大重定向次数

while (isRedirectStatusCode(status) && (iterNum--) > 0) { urlStr = conn.getHeaderField("Location");

urlStr = toFullAddress(urlStr, strUrl); // 处理相对地址

url = new URL(urlStr);

conn = (HttpURLConnection) url.openConnection();

conn.setInstanceFollowRedirects(false);

conn.setReadTimeout(30000);// 设定timeout时间

conn.connect();// 连线

status = conn.getResponseCode();

}

isAccess = true;

staStr = "Page has redirect!";

break;

}

/**

* modify end

*/

// 网页文件的路径

String filePath = fPath + "/web" + fileIndex + ".htm"; PrintWriter pw = null;

// 初始化网页文件及相关输入输出流

FileOutputStream fos = new FileOutputStream(filePath); OutputStreamWriter writer = new OutputStreamWriter(fos);

pw = new PrintWriter(writer);

if (isAccess == true) { // 如果URL访问正常, 则开始获取网页内容InputStream is = null;

is = url.openStream(); // 获取URL的输入流

new InputStreamReader(is));

StringBuffer sb = new StringBuffer();

String rLine = null;

String tmp_rLine = null;

// 开始读取网页文本内容

while ((rLine = bReader.readLine()) != null) {

tmp_rLine = rLine;

int str_len = tmp_rLine.length();

if (str_len > 0) { // 如果网页文本内容不为空

sb.append("\n" + tmp_rLine); // 将网页文本存入字符串变量

pw.println(tmp_rLine); // 将网页文本存入网页文件中

pw.flush();

if (deepUrls.get(strUrl) < webDepth)

// 如果URL深度未达到最大深度, 则从网页文本中提取URL链接

getUrlByString(tmp_rLine, strUrl);

}

tmp_rLine = null;

}

// 关闭相关输入输出流, 并输入调试信息, 写报告文件

is.close();

pw.close();

System.out.println("Get web successfully! " + strUrl

+ " [HTTP " + status + " " + staStr + "]");

addReport("Get web successfully! " + strUrl + " [HTTP "

+ status + " " + staStr + "]\n");

addWebSuccessed();

} else { // 如果网页访问不正常, 向网页文件中写入错误信息

pw.println("Get web occurred some problems! [HTTP " + status + staStr);

pw.flush();

pw.close();

System.out.println("Get web occurred some problems! [HTTP "

+ status + " " + staStr + "]");

addReport("Get web occurred some problems! [HTTP " + status + " " + staStr + "]\n");

addWebFailed(); // 抓取失败计数

}

} catch (Exception e) {

// 如果以过程出错, 则认为抓取失败, 输入失败信息, 并将之写入报告文件

System.out.println("Get web failed! " + strUrl

+ " [Internal program error!]");

addReport("Get web failed! " + strUrl

addWebFailed();

e.printStackTrace();

}

}

/**

* 判断HTTP状态码是不是3XX重定向

* @param status HTTP状态码

* @return若是状态码是300到307中的一个则返回true, 否则返回false

*/

public boolean isRedirectStatusCode(int status) {

return (status >= 300 && status <= 307) ? true : false;

}

/**

* 从URL中提取默认主页地址

* @param url URL链接

* @return URL中包含的主页地址

*/

public String getHomePage(String url) {

String homepage = url;

for (int i = 0, j = 0; i < homepage.length(); i++) { if (homepage.charAt(i) == '/') {

j++;

}

if (j == 3) {

homepage = homepage.substring(0, i);

break;

}

}

return homepage;

}

/**

* 将一个相对URL地址转换为绝对地址

* @param urlAddress 相对地址

* @param baseUrl 基地址

* @return若是相对地址则返回对应的绝对地址, 否则不做修改

* @throws MalformedURLException

*/

public String toFullAddress(String urlAddress, String baseUrl) throws MalformedURLException {

String absAddress = urlAddress;

// 相对地址与绝对地址

if (absAddress.indexOf("://") == -1) {

// 处理绝对地

if (absAddress.charAt(0) == '/') {

absAddress = "http://" + u.getHost() + absAddress;

} else {

String file = u.getFile();

// 处理相对地址

if (file.indexOf('/') == -1) {

absAddress = "http://" + u.getHost() + absAddress;

} else {

String path = file.substring(0, https://www.360docs.net/doc/114388624.html,stIndexOf('/') + 1);

absAddress = "http://" + u.getHost() + path + absAddress;

}

}

}

return absAddress;

}

/**

* 判断用户所提供URL是否为域名地址

* @return域名

*/

public String getDomain(String homePage) {

String reg =

"(?<=http\\://[a-zA-Z0-9]{0,100}[.]{0,1})[^.\\s]*?\\.(com|cn|net|org|biz| info|cc|tv)";

Pattern p = https://www.360docs.net/doc/114388624.html,pile(reg, Pattern.CASE_INSENSITIVE);

Matcher m = p.matcher(homePage); // 使用指定正则表达式匹配主页地址

boolean blnp = m.find();

if (blnp == true) {

// 如果匹配成功则返回主页域名

return m.group(0);

}

return null;

}

/**

* 提取网页文本中的URL链接(解析新的网页，提取其中含有的链接信息)

* @param inputArgs URL对应的网页文本

* @param strUrl 网页文本对应的URL

* @throws MalformedURLException

*/

public void getUrlByString(String inputArgs, String strUrl)

throws MalformedURLException {

String regUrl = "(?<=(href=)[\"]?[\']?)[^\\s\"\'\\?]+[^\\s\"\'>]*"; Pattern p = https://www.360docs.net/doc/114388624.html,pile(regUrl, Pattern.CASE_INSENSITIVE); Matcher m = p.matcher(tmpStr);

boolean blnp = m.find();

while (blnp == true) {

/**

* modify by yang 2011.12.22

*/

String link = m.group(0);

// 跳过链到本页面内链接

if (link.charAt(0) == '#') {

continue;

}

// 跳过mailto链接

if (link.indexOf("mailto:") != -1) {

continue;

}

// 跳过JavaScript链接

if (link.toLowerCase().indexOf("javascript") != -1) { continue;

}

// 处理相对地址与绝对地址

link = toFullAddress(link, strUrl);

// 从link链接中提取域名

String tDomain = getDomain(getHomePage(link));

/**

* modify end

*/

// 如果解析到的URL没有包含在所有URL中,且URL中的域名与主页域名一致

// 则将之加入URL集合, 并向报告文件中添加相关记录信息

if (!allUrls.containsKey(link) && tDomain.equals(myDomain)) { // 输出调试信息, 同时将之记录到报告文件中

System.out.println("Find a new url,depth:"

+ (deepUrls.get(strUrl) + 1) + " " + link);

addReport("Find a new url,depth:"+ (deepUrls.get(strUrl) + 1) + " " + link + "\n");

// 将URL添加到未处理URL集合中

arrUrls.add(link);

// 将URL添加到所有URL集合中

arrUrl.add(link);

// 为URL生成一个网页号

// 设置URL深度为父结点的深度值加1

deepUrls.put(link, (deepUrls.get(strUrl) + 1));

}

// 截去已解析部分的网页文本, 开始下一次解析

tmpStr = tmpStr.substring(m.end(), tmpStr.length());

m = p.matcher(tmpStr);

blnp = m.find();

}

}

/**

* 独立的抓取线程

* @author unknown

*/

class Processer implements Runnable {

GetWeb gw;

public Processer(GetWeb g) {

this.gw = g;

}

public void run() {

// Thread.sleep(5000);

while (!arrUrls.isEmpty()) { // 如果未处理URL集中还有URL则继续

String tmp = getAUrl(); // 从未处理URL集合中取一个URL

getWebByUrl(tmp, charset, allUrls.get(tmp) + ""); // 抓取网页}

}

}

}

这里我们设定最大爬虫深度为2，然后用一个URL来对修改前后程序运行结果进行对比：https://www.360docs.net/doc/114388624.html,/。

抓取前先查看其主页源码，看到其中包含有一些绝对地址链接，如：

同时我们发现上图中第二条链接https://www.360docs.net/doc/114388624.html,/在直接访问时，会发生页面重定向（指定URL的HTTP响应状态可在https://www.360docs.net/doc/114388624.html,/pagestatus/上查询获得）。如下为地址https://www.360docs.net/doc/114388624.html,/的状态查询结果，显然会跳转到https://www.360docs.net/doc/114388624.html,/us

1．原来程序的运行结果（下图中省略号部分略去了部分不必要的内容）

可以看到总共抓回了14个网页，但其中并没有包含前面提到的绝对地址指向的页面（如：https://www.360docs.net/doc/114388624.html,/iphone/），而且对于链接https://www.360docs.net/doc/114388624.html,/，爬虫也并不知道这个页面是发生了重定向的，这对于把握页面详细状态显然不够。2．修改后程序的运行结果（下图中省略号部分略去了部分不必要的内容）

可以看到总共抓回了35个页面，相比原程序多抓取了21个页面，这些多出来的页面就是分析绝对地址和相对地址获得的。如下图中，在页面网页文本中均为绝对地

址的链接也被解析并抓取到了：

接状态。如下，有两个页面发生了重定向：

也是理解搜索引擎工作原理的一个重要的基础。