基于HTMLParser视频信息抽取系统的设计与实现

基于HTMLParser视频信息抽取系统的设计与实现摘要目前视频网站成为人们上网时不可或缺的娱乐途径，但现在的视频网站对视频的分类以及描述参差不齐，其主要原因就是没有构建统一的视频信息知识库，而构建知识库的核心技术就是网络爬虫的设计。

本文针对视频类网站进行了详细研究。

通过深入分析视频类网站页面的树形结构的构架，并基于htmlparser 的信息提取方法，从种子页面中提取出相关的视频信息用于视频信息知识库的构建。

关键词网络爬虫；视频爬取；htmlparser中图分类号tp39 文献标识码a 文章编号 1674-6708（2011）55-0207-02随着互联网的普及，越来越多的人们把自己的娱乐时间投入到网络视频上，而面对海量的视频人们只能通过视频网站的介绍决定自己是否感兴趣，而往往各个视频网站对同一视频的描述以及分类会有不同，这使得用户不能得到关于视频的准确描述信息，为了应对这样的挑战，我们需要构建一个统一的视频信息知识库，而构建知识库的核心技术就是网络爬虫的设计。

视频信息抽取系统在这样的研究背景下产生，目前信息抽取的关键技术有：命名实体识别，句法分析，篇章分析与推理，知识获取。

针对视频网站页面的特点，我们需要直接抽取相关标签中的视频信息。

1 htmlparser与node1.1 htmlparser爬虫程序中，对于html网页的处理是核心的一个环节。

对于java 来说，htmlparser是比较著名并且得到广泛应用的一个。

htmlparser的主页是http：///，最后的更新是2006年9月的1.6版。

htmlparser具有小巧，快速的优点，缺点是相关文档比较少，很多功能需要自己摸索。

htmlparser 的核心模块是org.htmlparser.parser类，这个类实际完成了对于html页面的分析工作。

这个类有下面几个构造函数：public parser ();public parser (lexer lexer， parserfeedback fb);public parser (urlconnection connectionparserfeedback fb) throws parserexception;public parser (string resource，parserfeedback feedback) throws parserexception;public parser (string resource) throws parserexception;public parser (lexer lexer);public parser (urlconnection connection) throws parserexception;和一个静态类 public static parser createparser (string html， string charset);对于大多数使用者来说，使用最多的是通过一个urlconnection或者一个保存有网页内容的字符串来初始化parser，或者使用静态函数来生成一个parser对象。

parserfeedback的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变。

1.2 nodehtmlparser将解析过的信息保存为一个树的结构。

node是信息保存的数据类型基础。

它的定义如下：public interface node extends cloneable; 具体对节点的操作就是通过node的成员函数实现。

2 系统的结构及实现本系统首先利用htmlparser递归抽取各视频url信息，然后再利用得到的url抽取对应视频的详细信息。

2.1 抽取网站内视频信息算法输入：某一视频网站播放页面地址（url）。

输出：此网站内视频的详细信息。

算法：1）提取页面视频url（n个）；2）递归处理页面的n个视频url，分别提取各url对应页面上的n个视频的url信息；3）将抽取到的视频url保存至数据库；4）分析url对应页面并提取相关视频信息，并将其保存至数据库。

2.2 系统结构1）抽取网站内部所有视频url模块该模块实现的主要功能是利用htmlparser包通过递归抽取各页面中的视频url。

2）抽取各url对应页面视频信息模块该模块的功能是首先从之前抽取到的url获得该url对应视频页面的字符流，然后通过解析这些字符流从中得到此页面对应视频的详细信息。

3）存储模块该模块利用mysql保存抽取的视频信息，并不断更新检查是否有重复。

2.3 系统实现2.3.1 抽取网站内部所有视频url抽取url算法为extractlinks（string url）该算法实现了递归获取网站内所有视频的url，并存于movielinks中。

算法所需全局变量及所用到的函数定义如下：aarraylist movielinks = new arraylist();//存放视频url boolean ismovieurl(string url);//判断次url是否是正确的视频url递归搜索部分代码如下：public void extractlinks(string url)this.parser = new parser(url);//htmlparser入口parser.setencoding(gb2312);node[] links =parser.extractallnodesthatare(linktag.class);//解析出所有页面链接标签for(int i=0;i”)));……//使用相应的方法}2.3.3 存储视频信息采用jdbc方式操作数据库，类dbconnection负责与数据库的链接。

类moviedal封装了类movie的存取。

部分代码如下：public class dbconnection { //数据库连接类public connectionget connection() throws sqlexception，instantiationexception， illegalaccessexception，classnotfoundexception{dbproperty pro = new dbproperty();connection conn = null;class.forname(pro.getclassname()).newinstance();string url = pro.geturl();string user = pro.getusername();string password = pro.getpassword();conn = drivermanager.getconnection(url，user，password);return conn;}public moviedal{ //数据访问层类public insertmovie(movie m) //添加数据方法{dbconnection db = new dbconnection();string sql=”insert into movie values(‘”+m.getname()+”’，’”+m.geturl()+”’，…)”;try{conn =db. getconnection();stmt = conn.createstatement();stmt.executeupdate(sql);}catch(sqlexception sqle){throw new sqlexception(“insert data exception：” + sqle.getmessage());}}}本文基于htmlparser，对html内容进行解析，将html中有关视频的信息解析到预先定义好的对象数组中，具有快速，准确的特点。

本文的方法对web页面中视频信息的提取具有指导意义。

参考文献[1]郭志红.基于web资源的信息抽取技术[j].情报科学，2002，20(12)：1282-1284.[2]李昌清，李艳霞，李胜利，等.基于动态异构的web信息集成网页分析方法[j].计算机应用研究.[3]许建潮，侯锟.web信息的自主抽取方法[j].计算机工程与应用.[4]nicholas kushmerick.wrapper induction：efficiency and expressiveness.artifical intelligence 118(2000)：15-68.[5]arasu，a.，and garcia-molina，h.extracting structured data from web pages.in acm sigmod international conf.on management of data(sigmod 2003)， san diego，california(2003).[6]wang，j.，and lochovsky，f.data-rich section extraction from html pages.in proceedings of the 3rd international conference on web information systems engineering(wise 2002)，12-14 december 2002，singapore， proceedings (2002)，ieee computer society，pp.313-322.[7]韩家炜，孟小峰，等.web挖掘研究[j].计算机研究与发展.[8]徐远超，刘江华，刘丽，珍关永.基于web的网络爬虫的设计与实现[j].微计算机信息.[9]yong wang，yiqun liu，et al.a news page discovery policy for instant crawlers.lncs.2008，4993：520-525.。