抓取一个网站特定的全部图片

抓取一个网站特定的全部图片（JAVA）

1. 目的

用五笔时，如果碰到不会拆的字，只好换回拼音。但这样做治标不治本，于是到网上找五笔反查工具。最后发现一个不错的网站——不仅有每个字对应的五笔码，还有其字根图。可惜的是，这是一个网站。换句说，就是每次查的时候都要上网。很自然的，会想到将这个网站上的五笔码以及对应的字根图保存到本地上，再写个查询程序做成本地版的>_<

2. 准备工作——网页特点分析

网站提供了两种查询方式：一种是输入要查询的字；另外一种是一页接着一页地查看。由于懒得找字库，就选择了第二种方式。在此方式下，第一页的URL，第二页的URL。

解决URL问题后，就要分析如何从单个网页得到所需要的资源。查看第一页的源代码发现“86五笔编码”只出现过一次，而且其后面就是想要的五笔码。因此得到服务器发回的内容后，再定位到“86五笔编码”就能得到相应的五笔码。字根图的URL地址出现在五笔码之后，而且都是以

“https://www.360docs.net/doc/d99633927.html,/GIF-82”开头的。因此在“86五笔编码”之后的内容中，找到第一个以开头的URL，就是需要的图片地址了。

3. 算法流程

for( 第一页到最后一页 ) {

获取这一页的源代码

从源代码中提取五笔码，字根图的URL

获取字根图

}

4. 源代码

import java.awt.image.BufferedImage;

import java.io.File;

import java.io.FileWriter;

import java.io.IOException;

import java.io.InputStream;

import https://www.360docs.net/doc/d99633927.html,.URL;

import java.util.LinkedList;

import javax.imageio.ImageIO;

import org.apache.http.HttpEntity;

import org.apache.http.HttpResponse;

import org.apache.http.client.HttpClient;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.client.methods.HttpUriRequest;

import org.apache.http.impl.client.DefaultHttpClient;

public class Clawler {

private static final int END_PAGE = 6764;

private static final String PREFIX =

"https://www.360docs.net/doc/d99633927.html,/wbcx/index5.asp?page=";

private static final String CODE_SAVE_PATH =

"D:\\Wubi\\WubiCode.txt";

private static final String IMG_SAVE_PATH_PREFIX = "D:\\Wubi\\img\\";

private static LinkedList queue = new LinkedList();

private static String m_imguri;

public static void main(String[] args) throws IOException {

HttpClient httpClient = new DefaultHttpClient();

FileWriter fw = null;

fw = new FileWriter(CODE_SAVE_PATH);

for(int i = 1; i <= END_PAGE; ++i) {

HttpUriRequest request = new HttpGet(PREFIX + i);

try {

HttpResponse response = httpClient.execute(request);

HttpEntity entity = response.getEntity();

StringBuilder builder = new StringBuilder();

if( entity != null ) {

InputStream is = entity.getContent();

byte[] tmp = new byte[2048];

while( is.read(tmp) != -1 ) {

builder.append(new String(tmp));

}

fw.write( getWubiCode(builder.toString(), i) ); downloadImg(m_imguri, IMG_SAVE_PATH_PREFIX + i + ".gif", i);

}

}

catch( Exception e ) {

queue.addLast((Integer)i);

e.printStackTrace();

}

if( i%100==0 ) {

fw.flush();

}

}

System.out.println("\n missing Code");

while( !queue.isEmpty() ) { //下载失败的页面

System.out.println(queue.element());

queue.removeFirst();

}

System.out.print("all done");

fw.close();

httpClient.getConnectionManager().shutdown();

}

public static String getWubiCode(String page, int number) { //提取

五笔码，字根图的URL

StringBuilder save = new StringBuilder();

page = page.substring(page.indexOf("86五笔编码"));

int index = 7;

while( page.charAt(index)!= '<' )

save.append(page.charAt(index++));

save.append(System.getProperty("line.separator"));

index = 0;

StringBuilder imgpath = new StringBuilder();

page =

page.substring(page.indexOf("https://www.360docs.net/doc/d99633927.html,/GIF-82"));

while( page.charAt(index) != '\"' )

imgpath.append(page.charAt(index++));

m_imguri = imgpath.toString();

save.insert(0, imgpath.charAt(imgpath.length() - 5));

save.insert(1, ' ');

return save.toString();

}

public static void downloadImg(String url, String path, int number) { //下载图片

try {

File out = new File(path);

BufferedImage buffer = ImageIO.read(new URL(url));

if( buffer == null ) {

queue.addLast(number);

System.out.println(number + " " + url);

}

else {

ImageIO.write(buffer, "gif", out);

}

}

catch( IOException e ) {

queue.addLast(number);

System.out.println(url);

System.out.println(e.getMessage());

}

}

}

5. 参考资料

a. httpClient4.1入门教程（中文版）