垂直搜索引擎的研究与设计

第27卷第7期 计算机应用与软件

Vol 127No .72010年7月 Computer App licati ons and Soft w are Jul .2010

垂直搜索引擎的研究与设计

刘运强

(贵州大学计算机学院　贵州贵阳550025)

收稿日期:2009-10-09。贵州省科技计划工业攻关基金项目(黔科合GY 字[2008]3035);贵州省2008年省级信息化专项基金项目

(0830)。刘运强,硕士生,主研领域:数据库技术与软件工程。

摘　要 通过对垂直搜索引擎的原理和关键技术的研究,运用Lucene 等JAVA 开源工具设计并实现了一个手机信息检索系统。

对于构建垂直搜索引擎必须要面对和解决的一些关键问题进行了分析,并给出了解决方案,如防止重复爬取网页和专业词库的扩展等,具有较强的实用性。

关键词 搜索引擎　垂直搜索　爬虫　Lucene

RESEARCH AND D ES I GN O F VERT I CAL SEARCH ENG I NE

L iu Yunqiang

(College of Co m puter Science,Guizhou U niversity,Guiyang 550025,Guizhou,China )

Abstract This paper p resents the design and i m p le mentati on of an infor mati on retrieval syste m f or mobile phones by app lying JAVA open -s ource t ools such as Lucene and thr ough studying the p rinci p les of vertical search engine and critical technol ogies .I n additi on,the analyses are made on s ome key p r oblem s which have t o encounter and res olve when constructing the vertical search engine .The s oluti ons pertaining t o these p r oble m s are given as well,for exa mp le,the p reventi on of cra wling sa me homepage repeatedly and the expansi on of s pecialised ter m s li 2brary .The system has high p racticality .

Keywords Search engine Vertical search Sp ider Lucene

0　引　言

随着信息技术的快速发展,互联网已经成为人们获知信息的重要渠道。面对互联网如此庞大复杂的信息资源,仅依靠浏览器浏览的方式来获得我们所关心的信息是非常困难的,这就促使了网络搜索引擎的出现和快速发展。搜索引擎整合了众多网站的信息,将大量信息整合在一个平台上供用户检索,起到了信息导航的作用,已成为人们获取信息的有效工具。但是互联网的信息量呈爆炸趋势增长,每天都有数以万计的网页出现在互联网,使得搜索引擎对网络信息的覆盖率和搜索出结果的相关性、准确性在整体上呈下降趋势。检索出的结果集数量之多,经常都是几十万条甚至是几百万条记录,其中存在着大量的重复信息或是与检索主题无关的信息,要想从中快速、准确地找出所需要的信息变得越来越困难。人们需要更具有针对性、能快速准确定位信息的搜索引擎———垂直搜索引擎。

本文通过对垂直搜索引擎原理的深入了解,设计并实现了一个用于手机信息检索的垂直搜索引擎。与其它一些垂直搜索引擎的研究相比,本文更为深入和实际地研究了垂直搜索引擎亟待解决的关键问题,并给出了解决方案,通过手机垂直搜索引擎实例也很好地证明了方案的可行性和实用性。

1　垂直搜索引擎的原理和关键技术

1.1　垂直搜索引擎的原理

垂直搜索引擎是相对通用搜索引擎的信息量大、查询不准

确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务[1]。其特点就是“专、精、深”,且具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则显得更加专注、具体和深入。可以简单地把垂直搜索引擎说成是搜索引擎领域的行业化分工,它为用户提供的并不是上百甚至上千万相关网页,而是范围极为缩小、极具针对性的具体信息。

垂直搜索引擎通过网络爬虫在互联网上爬取某一特定领域的专业信息网页,并对爬取到的网页进行解析和处理,形成专业信息数据库,并对这些数据进行索引,形成索引库。用户在搜索引擎的客户端键人要查找的关键词,搜索引擎就会在索引库中找出与该关键词相匹配的摘要信息和URL,并将结果显示给用户,用户可根据输出的结果选择并访问相关站点。

1.2　垂直搜索引擎的关键技术

1.2.1　网络爬虫技术

网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。爬虫通常是从一个或若干初始网页的URL 开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL 放入队列,直到满足系统的一定停止条件。

网络爬虫的实现需要一个支持HTTP 协议的编程工具包,本文所使用的是H tt pClient,它是Apache 的一个开源项目,用来

第7期

刘运强:垂直搜索引擎的研究与设计

131

　提供高效的、最新的、功能丰富的支持HTTP 协议的客户端编程

工具包,并且它支持HTTP 协议最新的版本和建议。

1.2.2　信息处理技术

信息处理指的是在爬虫爬取的过程中能对无关网页进行过滤并且能对爬取到的网页进行解析,抽取出和主题相关的信息。这里需要用到网页解析工具H t m lParser,它是s ourceforge 上的一个开源项目,它提供了线性和嵌套两种方式来解析网页,主要用于H t m l 网页的转换以及网页内容的抽取[2]。

1.2.3　信息检索技术

信息检索主要包含两部分的内容:索引和检索。对爬取的网页内容抽取整理后建立倒排索引,用户检索时搜索引擎会根据事先建立的索引文件确定查询结果。这里采用的是Lucene 。

Lucene 也是Apache 的一个开源项目,是一个全文检索引擎工具包,它提供了完整的查询引擎和索引引擎,部分文本分析引擎。

Lucene 可以对任何的数据做索引和搜索。Lucene 不管数据源是什么格式,只要它能被转化为文字的形式,就可以为Lu 2cene 所分析利用。也就是说不管是txt 、Word 、P DF 数据库还是其他什么形式的文件,只要可以从中抽取出文字形式的内容,就可以基于Lucene Lucene

的系统结构如图1所示。

图1　Lucene 系统结构

从图1可以清楚地看到,Lucene 系统是由基础结构封装、索引核心、对外接口3大部分组成

[3]

。Lucene 的源码共由7个包

组成,下面介绍最为重要的几个包的功用:(1)org .apache .lucene .docu ment 这个包提供了一些为封装要索引的文档所需要的类,比如Docu ment 、Field 。这样,每一个文档最终被封装成了一个Docu ment 对象。(2)org .apache .lucene .analysis 这个包主要功能是对文档进行分词,因为文档在建立索引之前必须要进行分词,所以这个包的作用可以看成是为建立索引做准备工作。(3)org .apache .lucene .index 这个包提供了一些类来协助创建索引以及对创建好的索引进行更新。这里面有两个基础的类:I ndex W riter 和I ndexReader,其中I ndex W riter 是用来创建索引并添加文档到索引中的,I ndexReader 是用来删除索引中的文档的。(4)org .apache .lucene .search 这个包提供了对在建立好的索引上进行搜索所需要的类。比如I ndexSearcher 和H its,I n 2dexSearcher 定义了在指定的索引上进行搜索的方法,H its 用来

保存搜索得到的结果。

2　垂直搜索引擎的分析与设计

2.1　系统的设计目标

本文设计实现的是一个用于手机信息检索的垂直搜索引擎,旨在实现准确、方便、快速查找手机信息的检索工具。用户只需要简单地输入手机的名称或相关参数作为关键词就能够找到各大手机商城所有销售手机中与该关键词相关的手机信息,为使用者提供最新、最准确、最全面的手机信息。用户可以通过该系统查看到手机的详细信息,包括手机品牌、型号、报价、参数和手机图片等。

2.2　系统的总体结构

垂直搜索引擎(手机信息检索系统)主要由信息采集、信息处理和信息检索等模块组成

,如图2所示。

图2　垂直搜索引擎系统结构图

垂直搜索引擎的工作主要由以下区三部分来完成:

(1)信息采集　信息采集是通过网络爬虫来实现的,也就是图中的W eb 爬虫模块。设定待爬取的资源为包含较全手机信息的几个大型网站,如太平洋手机网、163手机信息网、北斗手机网等,那么基于H tt pClient 构建的网络爬虫就可以实现抓取特定范围的、和手机相关的信息页面。

(2)信息处理　信息处理是指对爬取下来的网页进行过滤、解析和抽取,最终得到需要的有价值的信息。在图2中可以看到,网页解析后有三个转向:

解析得到的URL 先经过判断是否被访问过,打上相应的标志后存储到Berkeley DB (以下简称BDB )中,为信息采集模块服务,这样可以有效地避免重复爬取的问题;

解析得到的手机品牌、型号等词汇添加到专业扩展词库中,为信息检索模块服务。专业词库的建立可以提高信息的查全率,弥补了传统的基于词库的检索系统由于词库中缺少相关词汇而检索不到信息的不足;

解析得到的手机信息(品牌、型号、价格、参数等)存储到数据库中。

(3)信息检索　信息检索主要包括索引、检索和用户接口。首先对保存在数据库中的手机信息进行索引,然后用户就可以通过用户接口,提交关键字进行查询,系统的检索模块接收到查询关键字后,在索引中快速查找并将结果返回给用户;还可以进一步查询保存在数据库中的信息,以获得相应手机的详细信息。

3　系统的关键问题及解决方法

3.1　网络爬虫的实现

构建一个垂直搜索引擎,爬虫是必不可少的工具,由于爬虫

132

计算机应用与软件2010年

的存在,才使得搜索引擎有着丰富的资源[4]。目前也有一些功能比较强大的爬虫工具,如Heritrix,但这类工具大多比较庞大复杂、使用和维护成本很高。

通过编程调用H tt pClinet提供的接口和方法可以很方便地实现访问和下载I nternet上的网页,关键代码如下:

H tt pClient htt pClient=ne w H tt pClient(connecti on Manager);

Get M ethod get M ethod=ne w Get M ethod(url);

……

int status Code=htt pClient.execute Method(get M ethod);

//判断访问的状态码,如果成功则处理HTTP响应内容if(status Code==H tt pStatus.SC_OK){

byte[]res ponse Body=get M ethod.get Res ponse Body();

……

saveT oLacal(res ponse Body,filePath);//保存到本地}

如果要让爬虫定期地从一些指定专业网站上获取大量的信息资源,还需要另外两个工具的配合使用,那就是H t m lParser和Quartz。运用H t m lParser解析已经爬取下的网页,可以得到大量的URL,把这些URL经过处理后再加入到爬取队列,才能保证爬虫爬取到更多更全的资源。Quartz是一个开源的任务调度管理程序,爬虫爬取任务的管理和调度就是交由它来管理。

通过这样实现的网络爬虫程序具备简便性、实用性、廉价性和易管理性等特点。

3.2　防止重复爬取网页的策略

重复爬取网页是任何一个爬虫工具都会面临和必须要解决的问题,否则会耗费大量的资源做重复的无意义的工作,甚至有可能会使爬虫限入死循环状态。对于网页重复爬取问题,通常又分为两种情况来考虑。

3.2.1　防止一次任务重复爬取同一页面

防止在同一次爬取任务中重复爬取同一页面可以借助于BDB嵌入式数据库来实现。BDB的大小只有几百k,却能操作多达256T B的数据,同时还支持高强度的并发操作。它是直接连接到应用程序中的,和应用程序在同一内存空间运行,BDB 为编程语言提供了函数接口,所有的数据库操作都发生在函数内部,无需进行进程间通信。这使得BDB能够提供快速的、弹性的和可靠的数据管理。

由于BDB只支持key2value的存储格式,在防止重复爬取中,用key来存储URL,value保存URL的状态,如已访问(visite2 d U rl)、未访问(un V isited U rl)等,这样就能在程序中迅速地判断出当前URL是否已访问过。

3.2.2　防止再次爬取未更新过的页面

爬取任务是定期执行的,对于以前爬取过并且最近未更新的网页也不需要再次爬取,即采用增量爬取(只爬取更新过的网页)的方式。可以通过比对网页的数字文摘来避免再次爬取未更新过的页面,即保存每个已爬取过网页的数字文摘,每次检查时,重新计算对应网页的数字文摘并将它与先前保存的值相比较,若相同,则说明该网页未被更新过,不需要再次爬取。

这里采用MD52Hash算法[5]。文件的数字文摘通过Hash 函数计算得到。不管文件长度如何,它的Hash函数计算结果是一个固定长度的数字。与加密算法不同,这一个Hash算法是一个不可逆的单向函数。采用安全性高的Hash算法,如MD5、SHA时,两个不同的文件几乎不可能得到相同的Hash结果。因此,可以很容易地判断出网页文件是否被更新过,就很好地解决了防止再次爬取未更新过的页面的问题。

3.3　专业词库的扩展

Lucene对文件的索引是依赖于词典文件(词库)的。假如词典文件中不存在“朗讯”这个手机品牌词汇,即使数据源中存放再多“朗讯”手机信息,用lucene做索引后,索引文件中也不会出现“朗讯”这个词,那么用户输入“朗讯”作为关键词检索时也就得不到任何与“朗讯”有关的记录信息。特别是垂直搜索引擎,针对的是专业领域,更需要在标准词库的基础上,扩展构建一套某一专业领域的词库。

本文设计的是一个手机垂直搜索引擎系统,用户检索手机信息时,要么是通过手机品牌型号进行检索,要么就是通过手机的功能、参数和价格等进行检索,这里要构建的与手机相关的词库主要包含了手机的品牌和型号。在对爬取到的网页进行分析和抽取时,把得到的手机品牌、型号等词汇写入到文本文件并对其作排序处理,以方便扩展并加入到分词器中使用。

由于Lucene自带的分词器对中文的分词处理效果不是很好,这里采用的是JE分词器,它除了具备强大的中文分词处理功能外,还提供了一个可扩展词库的接口,用户能够很方便地加入自己扩展的专业词库。具体实现代码如下:

//添加自己构建的专业领域的词库

BufferedReader reader=

new BufferedReader(ne w FileReader(dicti onary_file));

MMAnalyzer.addD icti onary(reader);

analyzer=ne w MMAnalyzer();

writer=ne w I ndex W riter(indexPath,analyzer,true);

这里要注意的是一定要在JE分词器类实例化之前加入扩展的专业词库。

4　系统的实现

整个系统采用JAVA开发,具备跨平台、可移植等特性,很容易布署运行在W indows、Unix/L inux等众多操作系统平台之上。

系统的运行界面如图3所示

。

图3　手机信息检索系统的主操作界面

图3展示的是以“朗讯”作为关键词搜索的结果。经实验证明,如果该手机信息检索系统没有专业词库扩展这一模块,以“朗讯”作为关键词将搜索不到“朗讯”手机信息,这是因为JE 分词器自带的词库中并没有“朗讯”这个词。这也很好地说明了专业词库的扩展在构建垂直搜索引擎中的重要性。

5　总　结

本文对垂直搜索引擎中关键问题的解决有着独到之处,设

(下转第151页)

第7期 陈钦等:一种评估企业检索中访问控制效率的基准程序151

　

5　结　论

本文介绍了BEE AES这一基准测试程序,其目是在企业检索系统中使用不同的访问控制方法时,评测与比较检索性能所受到的影响。在建设企业检索系统的过程中,基于这些测试的结果,可以指导我们更好地进行访问控制方法的选择。

BEE AES对可能影响企业检索系统性能的各种外部因素进行了抽象,通过对测试任务的参数配置,实现了对不同应用场景的模仿。BEE AES提供了可视化的测试任务运行管理台,可以实时地对测试任务的运行情况进行监控及调度。对于测试结果数据,BEE AES使用标准格式的日志文件进行记录,日志文件能够转换为图形化的结果,便于得到更加准确的测试结论。

BEE AES采取松耦合的模块化框架,模块之间通过预先定义的接口进行交互。这种模块化的架构保障了系统的扩展性,如果需要支持新的访问控制方法,或者新的数据存储结构时,只要遵循定义的接口进行新模块的实现即可,其它的功能模块不需要进行任何的修改。

通过实际的测试结果,可以发现BEE AES能够较好地模仿实际应用场景中各种外部因素的变化,对于访问控制方法对检索系统的影响能作出较为准确的记录、统计与比较,能够对企业检索系统的建设提供较大程度的帮助。

下一步的工作,主要集中在测试任务的多线程运行与调度,以及使用图表生成接口[12]进行图形化的测试结果输出。

参　考　文　献

[1]David Ha wking.Challenges in Enter p rise Search[C]//Pr oceedings of

the Fifteenth Database Conferences of Australasian.January01,2004,

Dunedin,Ne w Zealand.ADC,2004:15-24.

[2]Peter Bailey,David Ha wking,BRETT Mats on.Secure Search in Enter prise

Webs:tradeoffs in efficient i m ple mentati on f or docu ment level security

[C]//Pr oceedings of Conference on I nf or mati on and Kno wledge Manage2

ment.Nove mber,2006,Arlingt on,Virginia.CI K M,2006:493-502.

[3]Standard Perf or mance Evaluati on Cor porati on,SPEC CP U2006[E B/OL].

(2008-10-07)[2009-01-14].Htt p://w w w.s https://www.360docs.net/doc/b73613455.html,/cpu2006/. [4]Dongarra J,Luszczek P.I ntr oducti on t o the HPC Challenge benchmark

suite[R].Austin:Computer Science Depart m ent of University of Texas at Austin,2005.

[5]Loredana A,Maarten M.An Analysis of the Current XQuery Bench2

marks[C]//Pr oceedings of the First I nternati onal Workshop on Per2

f or mance and Evaluati on of Data Manage ment Syste m s.June30,2006,

Chicago,Illinois.EXP DB,2006.

[6]M ichael R,Madhusdhan G,Aleksander S,et al.A Bench mark Suite f or

S OAP2based Co mmunicati on in Grid Web Services[C]//Pr oceedings of AC M/I EEE conference on Superco mputing.Nove mber12-18,2005,I EEE Co mputer S ociety,Seatte,Washingt on.2005:19-32.

[7]Ja mes P,Tao L.Bass.A Benchmark suite for evaluating A rchitectural

Security Syste m s[J].AC M SI G ARCH Computer A rchitecture Ne ws,

2006,34(4):26-32.

[8]S m ith A,Bulla M,Obdrzalekl J.Parallel Java Grande Benchmark Suite

[C]//Pr oceedings of the S C,Denver.AC M,2001.

[9]Fabien D,Zohra B,Ela H.XBench Match:a Benchmark for X ML Sche2

ma Matching Tools[C]//Pr oceedings of the VLDB,Sep te mber23-

28,2007,V ienna,Austria.AC M,2007:1318-1321.

[10]Sun M icr osyste m s,I nc.Java Servlet Technol ogy[S/OL].(2000-10-

20)[2009-01-14]htt p://https://www.360docs.net/doc/b73613455.html,/p r oducts/servlet/. [11]T RS信息技术有限公司.T RS Data Base Cluster s oft w are pr oduct descri p2

ti on[E B/OL].(2004-10-20)[2009-01-14].Htt p://w w w.trs.co m.

cn/pr oducts/eseis m/server/doc/P020051028658005629346.pdf.

[12]Object Refinery L td.JFreeChart Pr oject[EB/OL].(2008-10-07)

[2009-01-14]htt p://https://www.360docs.net/doc/b73613455.html,/jfreechart/.

(上接第101页)

(1)对于UDP包,因为UDP是面向无连接的协议,不需要建立连接。先用聊天程序发送UDP包到对方,发现可以接收到。再打开数据包过滤程序,添加过滤规则(丢弃),安装过滤规则,开始过滤。这时收不到对方的数据包。

(2)对于TCP包,因为TCP是面向连接的协议,需要建立连接。先用聊天程序发送TCP包到对方,发现可以接收到。再打开数据包过滤程序,添加过滤规则(丢弃),安装过滤规则,开始过滤。这时发现还可以收到对方的数据包。这是因为在驱动程序中接收所有已建立连接的TCP封包。如果先打开数据包过滤程序添加过滤规则(丢弃),安装过滤规则,开始过滤,再打开聊天程序,则这时收不到对方的数据包。

5　结　论

ND I S中间层驱动程序的功能非常强大,不仅可以用于实现防火墙,还可以用来实现VP N、NAT、VLAN、数据包加密、网络负载平衡等。本文设计的过滤器是针对传输层(T CP、UDP)和网络层(I P、I C M P、ARP、RARP)的数据包进行检查,能够拦截底层的网络数据包,具有很好的应用价值,为先进的包过滤防火墙的设计创造了条件。

参　考　文　献

[1]杨志程,舒辉,董卫宇.基于ND I S隐蔽通信技术的木马病毒分析

[J].计算机工程,2008,34(10):147-149.

[2]Fl or oiu J W,I onescu T C,Ruppelt R,et al.U sing ND I S inter mediate

drivers f or extending the p r ot ocol stack a case study[J].computer com2 municati ons,2001,24:703-715.

[3]侯功华,赵远东.基于ND I S中间层的包过滤的研究与设计[J].微

计算机信息,2006,22(12-3):141-143.

[4]刘惠,蔡皖东,赵煜.基于ND I S的防火墙穿透通信技术研究与实

现[J].微电子学与计算机,2007,24(5):22-25.

(上接第132页)

计并实现的手机垂直搜索引擎已具备一定的实用价值,可以为需要了解手机信息的用户提供更为快捷、准确和有效的信息检索和导航服务。在下一步工作中将会继续研究智能代理和语义检索等技术,让垂直搜索引擎更加智能化、人性化。

参　考　文　献

[1]肖冬梅.垂直搜索引擎研究[J].图书馆学研究,2003:87-89.

[2]李刚,宋伟.征服A jax+Lucene构建搜索引擎[M].北京:人民邮

电出版社,2006:187-189.

[3]管建和,甘剑峰.基于Lucene全文检索引擎的应用研究与实现

[J].计算机工程与设计,2007,28(2):489-491.

[4]邱哲,符滔滔.开发自己的搜索引擎[M].北京:人民邮电出版社,2007.

[5]张裔智,赵毅,汤小斌.MD5算法研究[J].计算机科学,2008:35

(7):295-297.