信息检索与搜索引擎技术实验Http协议搜网页

昆明理工大学信息工程与自动化学院学生实验报告
（2014 —2015 学年第 1 学期）
课程名称：信息检索与搜索引擎技术开课实验室：信自楼445 2014 年11月 25日
一、上机目的及内容
1.编写一个程序获取到网页信息，将网页文件保存到；
2.从保存的网页中提取网页中所有超链接，保存到另一个文件中。

二、所用仪器、材料
1台PC及Eclipse软件
三、实验过程原始记录
1.打开Eclipse软件建立java项目，命名为Application，
2.在项目中建立类文件，并命名为WebApplication，
图4-3
3编写的类文件，运行结果如图4-4所示
图4-4
4下载的网页文件，如图4-5所示
图4-5
5提取到的超链接文件，如图4-6所示
图4-6
6.WebApplication.java 代码如下：
package mainframe;
import java.io.*; import .*;
import java.util.Scanner;
public class WebApplication {
public static void main(String[] args) {
String url =
"/html/index.html";
try {
InputStream in = (new
URL(url)).openStream();
FileOutputStream myFile = new FileOutputStream("Download.html");
int c = -1;
while((c = in.read())!=-1){
myFile.write(c);
}
myFile.flush();
myFile.close();
in.close();
System.o ut.println("网页下载完成");
Scanner input = new Scanner(new File("Download.html"));
PrintWriter output = new PrintWriter(new File("Hypelink.txt"));
String sourceText,hypeLink, temp;
int position;
while(input.hasNext()){
sourceText =
input.nextLine();
while((position=sourceText.indexOf("<a")) != -1){
temp = sourceText.substring(position);
if((position = temp.indexOf('>')) != -1){
sourceText = temp.substring(position);
temp = temp.substring(0, position+1);
if((position = temp.indexOf("href="))!= -1){
temp = temp.substring(position+6 );
if((position = temp.indexOf("\"")) != -1){
hypeLink = temp.substring(0, position);
if(!hypeLink.equals("#") && !hypeLink.equals("/")){
output.println(hypeLink);
}
}
}
}
}
}
input.close();
output.close();
} catch (MalformedURLException e) {
System.o ut.println(e.toString());
} catch (IOException e) {
System.ou t.println(e.toString());
}
}
}
四、实验总结
这次实验中我学会了怎么用Http协议搜网页，也更好的使用了这类软件。