基于Hadoop的搜索引擎用户行为分析

CN43 1258/T P ISSN1007 130X 计算机工程与科学

CO M PU T ER ENG IN EERI NG&SCIENCE

2011年第33卷第4期

V ol 33,No 4,2011

文章编号:1007 130X(2011)04 0115 06

基于H adoop的搜索引擎用户行为分析*

An A nalysis of the Search Engine U ser

Behaviors Based on H adoop

王振宇1,郭 力2

WANG Zhen yu1,GUO Li2

(1.华南理工大学软件学院,广东广州510006;2.华南理工大学计算机科学与工程学院,广东广州510006)

(1.S chool of Softw are Engineering,S outh C hina U niversity of T echnology,Guangzhou510006;

(2.School of C omputer Science and Enginee ring,S outh China Univer sity of T echnology,Guangzhou510006,C hina)

摘 要:搜索引擎用户行为分析是网络信息检索技术的研究热点。通过分析用户点击行为,利用Web数据挖掘技术获取有用信息,提高搜索引擎的检索算法和检索服务的效率,把用户从大量无序的搜索结果中解放出来。本文针对传统并行计算模型在易扩展和易编程方面遇到的瓶颈,给出一种基于H a do op的海量日志数据处理模型,通过基于H adoop的分布式文件系统H DFS与MapReduce并行计算模型提高系统扩展性和易编程性,并应用该模型分析了So gou搜索引擎一个月内约2200万条查询日志,分析结果对于掌握用户搜索行为,评测及改进搜索引擎检索、排序算法等均有较好的指导意义。

Abstract:Sear ch engine user behaviors analy sis is a focus of netw o rk inform ation retrieval.It is a m ethod of analyzing the user s behaviors throug h clicks to mine useful info rmation to improv e search en gine s efficiency and r etrieval ser vices.In face of easy ex pansio n and progr am ming bottlenecks in tradi tional parallel co mputatio n m odels,a m assive log data processing m odel based on H ado op is given, w hich improv es scalability and easy pro gramm ing through H adoop Distr ibuted File Sy stem and MapRe duce.Mo reo ver,the exper im ent of analy zing22million query logs of the Sogo u search engine in one m onth is car ried out based on this model.T he analysis result is instructive and m eaning ful to mastering the user s behaviors,evaluating and improving the searching and sorting alg orithm s.

关键词:H adoo p;分布式计算;用户行为分析;海量数据

Key w ords:H ado op;distributed com puting;user behavior analysis;m assiv e data

doi:10.3969/j.issn.1007 130X.2011.04.022

中图分类号:TP391.3文献标识码:A

1 引言

随着Web2.0的发展,网络信息膨胀速度呈指数级增长。在此背景下,搜索引擎技术迅猛发展并成为人们获取信息的重要手段。用户在提交查询后的检索结果中只有小部分对用户有用,如对结果不作处理,用户将面对大量无用信息,因此结果排序尤为重要。

目前的排序技术主要基于两方面。首先,利用

115

*收稿日期:2010 03 28;修订日期:2010 07 15

基金项目:广东省科技计划资助项目(2007B01020049)

通讯地址:510006广东省广州市华南理工大学软件学院

Address:School of Softw are En gineering,South Chin a University of Techn ology,Guangzh ou,Gu angdong510006,P.R.Chin a

网页间链接关系进行链接分析、量化网页信息。其中美国Stanford大学的Goog le研究小组和IBM 公司的Clever系统开发小组分别提出了著名的Pag eRank[1]技术和H IT S[2,3]技术;其次,在Web 查询模式下产生了新的可用信息,即对用户反馈信息的研究。其中Dir ect H it[4]系统通过跟踪用户对检索结果的后继行为获取大量有用信息来提高检索质量,由用户决定网页的重要度,因为用户既是搜索引擎的直接使用者,也是服务质量的最终评判者。

一般大型搜索引擎日访问量可达数亿,记录的用户查询日志文件通常是海量文件。通常对海量文件处理是建立在并行计算环境下的多线程、多任务分解,编程难度较高且不易扩展。本文提出基于H ado op的搜索引擎用户行为分析,采用分布式文件系统和并行计算模型支撑海量日志文件的处理。

2 Hadoop整体架构

H ado op是Apache软件基金会的开源分布式计算框架,且在众多大型企业得到应用[5]。H a do op实现了M apReduce并行编程模型,提供了分布式文件系统H DFS(H adoop Distributed File System,简称H DFS),为分布式计算提供底层存储支持。H ado op具有以下优势:

(1)可扩展性:可靠存储和处理petaby tes级别数据,并能无限扩充存储和计算能力。

(2)经济性:将数据分布到由廉价PC机组成的集群(Cluster)中处理,每个集群可由成千上万个节点(Node)组成。

(3)高效性:通过数据、任务分发,H adoop可在多节点上并行处理。

(4)可靠性:维护一份数据的多个拷贝并自动将失败的计算任务重新部署。

(5)易用性:H adoop的并行处理、容错机制、本地优化和负载平衡对用户透明。

2.1 Hadoop分布式文件系统

H DFS采用M aster/Slave架构,由一个管理节点(Nam eNode)和N个数据节点(DataNode)组成[6]。使用上同单机文件系统类似,并提供了统一的应用程序编程接口(API),其底层实现是把文件切割成Block块并分散存储于不同DataNo de上,每个Blo ck还会复制数份(可配置)到不同DataN ode上,达到容错容灾目的。Nam eNode是整个H DFS的核心,通过维护一些数据结构来记录每个文件切割情况及Block存储位置等重要信息,系统架构如图1所示。

H DFS具有高容错性,硬件错误是正常而非异常事件,而且H DFS很适合大数据集的应用,在H DFS中一个典型的文件大小是GB甚至TB级别。由于H DFS应用程序适合 一次写,多次读 的文件访问模型,文件一旦被创建、写入、关闭后就不应再被修改,因此简化了数据一致性问题而保证

了高吞吐量的数据访问。

图1 H adoo p分布式文件系统架构

2.2 MapReduce并行编程模型

M apReduce是Goog le提出[7]的并行编程模型,支持海量数据集的并行计算且应用领域广泛,包括分布式grep、分布式排序、Web访问日志分析、反向索引构建、文档聚类、机器学习等。

M apReduce并行编程模型的数据流以键值对(Key/Value Pairs)方式提供,首先处理输入键值对并产生输出键值对,此输出键值对又可作为下次运算的输入。用户通过两个函数实现并行计算: M ap函数和Reduce函数。

M ap函数由用户定义。首先处理输入键值对并产生一组中间(Intermediate)键值对;MapRe duce底层自动合并(Combine)所有具有相同键值I的中间键值对并发送给Reduce函数。

Reduce函数同样由用户定义,它处理键值I 以及与之相关的值集合。提供给Reduce函数的中间值通过迭代器(Iter ator)给出,因此可用来处理超过内存容量的值列表。

H adoop中有一个称为主控节点的JobTr ack er,用于调度和管理其它计算节点(T askTr ack er)[8]。JobT racker可运行于集群中任一台计算机上,T askTracker负责执行任务且必须运行于Da taNode上,便于本地优化。JobT racker将M ap任务和Reduce任务分发给空闲的T askTracker并行执行并监控任务运行情况。如果某个T askTr ack er宕机,JobTracker将该机的任务转交给另一个空闲的TaskT racker重新运行,因此H adoop可构

116

建高可靠的分布式计算框架。图2 M ap/Reduce 数据去重处理流程

3 基于Hadoop 的海量日志数据处

理模型设计

3.1 实验环境

我们使用5台PC 机搭建基于H ado op 的分布式计算平台,命名为pc1~pc5,其中pc1作Nam e Node 同时也作Jo bT racker,pc2~pc5作DataN ode 和TaskT racker 。每台PC 机具体配置如下:硬件环境:Intel(R)Pentium (R )4CPU 3.00GH z 2;1GB 内存;80G 硬盘;100M bps 网口。

软件环境:Linux Fedora 10;JDK1.6.0_0;H ado op 0.19.1。3.2 系统设计与实现3.2.1 数据集及数据格式

实验使用的搜索引擎用户行为日志由搜狗实验室[9]提供,一个月内(2006/8/1~2006/8/31)约2200万条Sog ou 搜索引擎查询及用户点击日志集(约1.56GB)。其中每条查询记录格式见表1。

表1 查询记录日志格式

字段名称 说明 S ess ionID 用户C ookie 信息Qu ery Term 查询词

Ran k

被点击U RL 的排名S equence Num ber 用户点击的顺序号U RL

用户点击的U RL

例如,某记录为 6029750673720081[四级成绩]https://www.360docs.net/doc/f45004486.html,/ ,则对应SessionID 为 6029750673720081 ,查询词为 四级成绩 ,用户点击的URL 为 https://www.360docs.net/doc/f45004486.html,/ ,该URL 在结果中排名为1,用户点击该U RL 为第1次点击。应用基于H ado op 的分布式计算框架对海量日志进行用户行为分析,统计出用户查询词的平均长度、用户点击与排名的关系、热门词汇搜索等,为搜索引擎性能评价及算法改进提供数据支持。下

面重点讨论数据去重和热榜分析算法实现。3.2.2 数据去重

Sog ou 数据集中含有大量重复记录,比如:8510431220399626 [北京+天气]11w https://www.360docs.net/doc/f45004486.html,/detail.php?city =%B1%B1%BE%A9

8510431220399626 [北京+天气]32w w w.bjmb.go https://www.360docs.net/doc/f45004486.html,/qxx x /index.asp

以上2条记录表示用户连续点击了结果集的2条链接,但在统计分析时只能看作一次查询,需去除重复数据。采用M apReduce 并行计算模型的数据去重流程如图2所示。

步骤如下:

(1)首先上传初始日志文件到H DFS,默认将逐行读取日志文件块(默认大小为64M B)并将行号及该行内容映射为初始键值对输入,M ap 函数将对值部分进行处理并提取session 值和查询词,形成中间键值对。

(2)自动合并具有相同键值的键值对,与之对应的多个值被封装在迭代器中,合并后的结果作为Reduce 操作的输入键值对。

(3)在Reduce 函数中,只需将重复查询词过滤便完成数据去重处理。如需对数据进一步处理,可将Reduce 函数的输出键值对作为下个操作的初始输入数据。

算法1 数据去重

map(St ring lineN o,St ring lineContent){

//lineN o:行号;lineContent:行内容

Str ing splitStr[]=lineCo ntent.split();/*拆分字符串*/

//字符串操作,提取session 值和查询词 co llect(sessio nI d,term);//收集数据并送至r educe }

r educe(Str ing sessionId,Iterat or ter ms){

//sessionId:session 值;ter ms:查询词迭代器 fo r each term in ter ms

117

{

//查询词判重 }

collect(sessio nId,newT erms);//收集数据并输出}

3.2.3 数据分析

采用MapReduce 编程模型,可实现多角度数据分析与挖掘,包括热榜分析、用户点击与排名关系分析等。

热榜分析是统计每个查询词的访问量并按访问量排序。传统技术在存储和计算上存在瓶颈,难以进行大规模数据集统计。利用H adoop 分布式计算框架,可根据数据集的大小实现存储及运算能力的灵活扩展,按需部署。热榜分析数据处理流程如图3所示。

图3 M ap/Reduce 热榜分析处理流程

数据去重的输出文件作为热榜分析的初始输入数据,在M ap 函数中提取出每个查询词并赋访问量为1而形成中间键值对,经合并后传递给Re duce 函数。在Reduce 函数中,通过遍历迭代器便得出每个查询词的访问量,然后再做一次M ap 操作实现按访问量的排序。

算法2 热榜分析

map(Str ing lineNo ,Str ing lineCo ntent){

//lineNo :行号;lineContent:行内容

Str ing split St r[]=lineContent.split();/*拆分字符串*/

//字符串操作,提取出查询词集合ter ms fo r each t erm in terms {

collect(term,1);//收集数据并送至r educe }}

r educe(String term,Iterato r v alues)

{

//ter m:查询词;values:访问量迭代器 int co unt=0;//访问量计数器 fo r each value in va lues {

co unt+=va lue;//统计访问量 }

co llect(term,count);//收集数据并输出}

4 结果及分析

4.1 查询词长度分析

查询词长度指查询词所包含词的个数(用空格隔开)。经统计,在给定数据集下中文查询词的平均长度为1.78个词,比Silverstein C 等人[10]分析的英文查询词平均长度为2.35个词要短。这表明中文搜索引擎得到的用户需求信息量更少,面对的挑战更大。需要对用户查询词进行更加深入的研究分析,包括语义分析、行为分析、智能人机交互技术分析等,以提高网络信息检索的准确度和用户满意度。4.2 热榜分析

访问量前100的访问次数分布如图4所示。通过对Sogo u 数据集分析,访问量排名前100的访问量占总访问量的65.32%,说明搜索引擎每天处理的查询请求有很多是重复请求。可从两方面对搜索引擎进行优化,首先可对频发访问词的检索结果排序进行优化,提高搜索引擎检索质量;其次可以引入缓存(Cache)机制。4.3 用户点击与排名关系分析

U RL 排名与用户点击次数的关系反映了搜索

118

图4 热榜分析

引擎结果排序算法的优劣,其中对Sogo u 数据集统计分析结果如图5所示。可以看出,用户点击的U RL 集中在返回结果的前10个,即返回结果页面的首页。统计得出用户点击排名前10的U RL 占所有点击量的86.67%,比美国搜索引擎营销专业服务商iProspect 和市场研究公司Jupiter Re search 联合调查显示的结果62%[11]

要高,说明中文搜索引擎的使用者更倾向只点击结果集的首页。另外,T REC 11[12]提出的Web 检索评测及针对中文信息检索的评测

[13~16]

等都将答案所处位置作为

评价搜索引擎性能的一个定量指标,搜索引擎结果排序算法须尽可能将反映用户查询需求的结果放

在首页。

图5 U RL 的排名与用户点击次数关系图

4.4 分布式计算平台效率分析

基于H adoop 的分布式计算平台提供了三种启动模式

[17]

,分别称为单机模式(Standalone

M ode)、伪分布式模式(Pseudo Distributed M ode)

和完全分布式模式(Fully Distr ibuted M ode)。其中单机模式又称为本地模式,属于非分布式计算模型;完全分布式模式简称分布式模式。4.4.1 伪分布式与分布式

伪分布式是指在同一节点启动5个[17]

守护进程(Daemon Process)模拟的分布式计算环境。我们分别在伪分布式和分布式计算环境下针对数据去重进行实验,并将结果绘成图6。

如图6所示,分布式计算平台相比伪分布式计算平台在执行效率上有明显优势。经计算:

在相同

图6 伪分布式与分布式平台执行效率对比

数据集下,分布式计算环境下的平均执行时间只有伪分布式的1/3;而且,随着待处理数据集增加,伪分布式计算平台效率逐渐降低(图中表现为斜率变大),特别当数据集过大(超过1G)时尤为明显。基于H adoop 的分布式计算平台具有良好的扩展性,理论上可无限扩充数据存储和计算能力,因此特别适合海量数据的处理。4.4.2 Reduce 任务数分析

在分布式计算环境下,影响执行效率的除机器配置、网络通信环境等硬件设施外,M ap 和Reduce 任务数,即任务颗粒度也会对效率产生影响。用户通常会指定Reduce 任务值,因为每个Reduce 任务最终对应着一个独立的输出文件[7]

。为了分析Reduce 任务数对计算效率的影响,实验中我们设定M ap 任务数为4,然后将Reduce 任务数分别设为4(表示为Reduce/4)和16(表示为Reduce/16)时的执行情况绘成图7

。

图7 不同R educe 任务数时执行图

如图7所示,当数据集较小时,由于节点间的频繁通信及文件I/O 占用了较多执行时间,Re duce/4比Reduce/16的执行速度要快;而随着数据集的增大,Reduce/16的优势也逐渐体现出来,排除网络偶然性影响,在应用H adoop 进行海量数据处理时,随着数据量、处理复杂度及集群中机器

数量的增加,H ado op 优势将越来越明显。

5 结束语

搜索引擎用户行为分析通过分析用户查询日志并利用Web 数据挖掘技术提高获取信息的准确

119

性,帮助改进站点结构,为用户提供个性化服务并对用户搜索结果进行相关处理,实现查全率和查准率的有机结合。

本文设计并实现了基于H ado op的海量日志数据处理模型,将该模型成功应用于搜索引擎海量日志文件处理。通过对用户查询日志的处理和结果分析,表明把H adoo p分布式计算框架运用于搜索引擎的海量日志数据处理中,可有效解决传统并行计算模型在易扩展和易编程上的瓶颈,分析结果对于改进搜索引擎排序、检索算法等均有较好的指导意义。

参考文献:

[1] Page L,Brin S,M otw ani R,et al.T he Pageran k Citation

Ranking:Bringing Ord er to the W eb[R].Technical Report, S tanford Digital Lib rary T ech nologies Project,1998.

[2] Kleinberg J M.Authoritative S ou rces in a H yperlinked Envi

ronm ent[J].Journ al of the ACM,1999,46(5):604 632. [3] Ch ak rabarti S,Dom B,Raghavan P,et al.Automatic Re

s ou rce List Compilation by An alyz ing H yperlink Stru cture and Ass ociated T ext[EB/OL].[2009 11 17].http://cites e https://www.360docs.net/doc/f45004486.html,/chak rabarti98autom atic.h tm l.

[4] Culliss https://www.360docs.net/doc/f45004486.html,er Popularity Rank ed Search E ngine[EB/OL].

[2009 11 17].http://w w https://www.360docs.net/doc/f45004486.html,/search engin es/

b oston1999/culliss/index.htm.

[5] Pow eredBy H adoop W iki[EB/OL].[2009 11 17].h ttp://

w ik i.apach https://www.360docs.net/doc/f45004486.html,/hadoop/Pow eredBy.

[6] Borthak ur D.HDFS Architectu re[EB/OL].[2009 11 17].

http://h adoop.apach https://www.360docs.net/doc/f45004486.html,/comm on/d ocs/cur rent/hdfs_de s ign.pdf.

[7] Dean J,Ghemaw at S.M apReduce:S implified Data Process

ing on Large C lusters[J].Communications of th e ACM, 2005,51(1):107 113.

[8] M ap/Reduce T utorial[EB/OL].[2009 11 17].http://h a

https://www.360docs.net/doc/f45004486.html,/common/docs/current/map red_tu torial.

pdf.

[9] 搜狗实验室(S ogou Labs)[E B/OL].[2009 11 17].h ttp://

w w https://www.360docs.net/doc/f45004486.html,/lab s/.[10] S ilvers tein C,H enz inger M,M arais H,et al.Analysis of a

Very Large Web Search Engine Qu ery Log[J].InS IGIR

Forum,1998,33(1):6 12.

[11] iProspect S earch Engine U ser Behavior Study[E B/OL].

[2009 11 17].http://w w w.iprosp https://www.360docs.net/doc/f45004486.html,/premiumPDFs/

W hitePaper_2006_S earchEn gineU erBehavior.pdf.

[12] H aw king D,Crasw ell N.Overview of th e TREC 2002W eb

T rack[C] Proc of the Eleventh T ext Retrieval Confer

ence,Techn ology,2003:86 95.

[13] SE WM 2004中文Web检索测试指南[E B/OL].[2009 11

17].http://w ww.cw https://www.360docs.net/doc/f45004486.html,/2004WebTrack/

S EWM2004W eb TrackGuidelines.pdf.

[14] SE WM2005中文W eb检索评测指南[EB/OL].[2009 11

17].http://w ww.cw https://www.360docs.net/doc/f45004486.html,/2005WebTrack/

S EWM2005W eb TrackGuidelines.pdf.

[15] SE WM2006中文W eb检索评测指南[EB/OL].[2009 11

17].h ttp://w w w.cw https://www.360docs.net/doc/f45004486.html,/2006WebTrack/

S EWM2006W eb TrackGuide.pdf.

[16] SE WM2007中文W eb检索评测指南[EB/OL].[2009 11

17].http://ww w.cw https://www.360docs.net/doc/f45004486.html,/20 07WebTrack/

S EWM2007W eb TrackGuide.pdf.

[17] Qucik S tart[E B/OL].[2009 11 17].http://hadoop.a

https://www.360docs.net/doc/f45004486.html,/common/docs/cur rent/quick s tart.

pdf.

王振宇(1967-),男,河南许昌人,博

士,教授,研究方向为分布式计算与SO A、

操作系统与虚拟化技术、嵌入式系统和实

时处理。E mail:w ang zy@https://www.360docs.net/doc/f45004486.html,

WANG Zhen yu,bo rn in1967,PhD, pro fesso r,his research interests include distr ibut ed co mpu ting and SOA,o per ating system and virtualizat ion,embed ded system and r eal time pr

ocessing.

郭力(1987-),男,湖北仙桃人,硕士,

研究方向为网络存储技术和分布式计算系

统。E mail:gl_scut@qq.co m

GUO Li,born in1987,M S,his re

search interests include netw or k sto rag e technolo gy,and distr ibut ed comput ing system.

120