搜索引擎垃圾网页检测模型研究

２０１１年１Ｏ月　第３Ｏ卷第５期　重庆文理学院学报（自然科学版）　

Ｊｏｕｒｎａｌ　ｏｆ　Ｃｈｏｎｇｑｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｒｔｓ　ａｎｄ　Ｓｃｉｅｎｃｅｓ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｅｄｉｔｉｏｎ）　０ｃｔ．．２０１１　

Ｖ０１．３０　Ｎｏ．５　

搜索引擎垃圾网页检测模型研究　贾志洋　，夏幼明　，高　炜　，王勇刚　（１．云南大学旅游文化学院，云南丽江６７４１００；２．云南师范大学信息学院，云南　昆明６５００９２）　

［摘要］搜索引擎垃圾网页的检测已经成为近年来机器学习领域的研究热点．在对搜索引擎　垃圾网页及其使用的各种作弊技术进行介绍的基础上，针对各种垃圾网页检测模型进行综述，　分别介绍和分析基于网页内容特征的检测模型、基于链接结构的检测模型、结合网页内容特征　和链接特征的检测模型以及各种其它类型的检测模型，并对搜索引擎垃圾网页检测的未来研　究方向进行了展望．　［关键词］搜索引擎；垃圾网页；垃圾网页检测；反作弊　［中图分类号］ＴＰ３９３．０８３　［文献标志码］Ａ　［文章编号］１６７３—８０１２（２０１１）０５—００５３—０５　

随着互联网各种网页数量爆炸式增长，用户　使用搜索引擎查找信息已经成为了最近几年信　息检索的主要方式．大多数网站管理者都希望他　们的网站在搜索引擎的搜索结果中排名靠前，很　多的网站管理者会采取合理的搜索引擎优化技　术（ＳＥＯ）　１１，通过在网页中提供给用户更多、更　有效的信息，以提升他们的网站在搜索引擎的搜　索结果中的排名．而有些网站则通过一些“不道　德”的方式来提升在搜索引擎的搜索结果中的排　名．更有甚者，为了吸引访问量，手动或自动地制　造一些网页．这些网页没有提供给用户任何有效　信息．这些网页是直接针对搜索引擎的，但是在　搜索引擎的搜索结果中获得了很高的排名，当用　户查询某些关键词的时候，就有可能访问这些搜　索引擎垃圾网页（Ｗｅｂ　Ｓｐａｒｅ）　．　搜索引擎垃圾网页导致的主要后果为：搜索　引擎检索结果质量下降，搜索引擎公司的资源的　消耗和用户体验的降低．为解决数量日益增长的　垃圾网页产生的各种问题，国内外学者对垃圾网　页及垃圾网页检测都进行了深人的研究．为方便　各国学者进行对比研究，Ｃａｓｔｉｌｌｏ　Ｃ．等　组织志愿　者收集整理了ＷＥＢＳＰＡＭ—Ｕｌ＜２００６垃圾网页集．　ＷＥＢＳＰＡＭ—ＵＫ２００６于２００６年５月开始，收集了　１５０　０００个ＵＫ域名下的总计７７　９００　０００个网页，　其中的垃圾网页都由志愿者手工挑选出，提供给　相关实验研究免费使用．大量的学者都使用ＷＥＢ—　ＳＰＡＭ—ＵＫ２００６作为其实验样本集．　

１　垃圾网页常见检测模型　国内外的学者提出了各种基于机器学习的　垃圾网页检测模型．大多数基于机器学习的垃圾　网页检测模型都将垃圾网页的检测视为一个二　元分类问题．它首先需要学习一个网页分类器，　这个网页分类器可以预测网页的类别：正常网页　或垃圾网页．其分类原理为：首先模拟搜索引擎　的网络爬虫从Ｗｅｂ爬行一定数量的网页，然后　手工识别已下载的网页是否为垃圾网页．下载的　网页集被划分为训练网页集和测试网页集，根据　机器学习的算法，使用训练网页集学习分类器，　然后使用分类器对测试网页集中的每一个网页　进行分类预测，以测试分类器的分类效果　．　１．１　基于内容的垃圾网页检测模型　基于网页内容特征分析的垃圾网页检测模　型主要针对采用了关键词堆砌技术的垃圾网页，　其典型为Ａｌｅｘａｎｄｒｏｓ　Ｎｔｏｕｌａｓ等　设计的垃圾网　页检测模型．Ａｌｅｘａｎｄｒｏｓ　Ｎｔｏｕｌａｓ等根据正常网页　和垃圾网页的内容差别，对网页的内容特征进行　了提取，统计了数据集中网页的语言相关和语言　

［收稿日期］２０１１—０５—０７　［基金项目］国家自然科学基金项目（６０９０３１３１）；云南省教育厅科学研究基金项目（２０１０Ｙ１０８）　［作者简介］贾志洋（１９８０一），男，吉林市人，讲师，硕士，主要从事信息检索方面的研究．　５３　无关的各种内容特征，并根据统计结果分析可以　作为构建网页分类器的内容特征．为了检测网页　中是否采用了关键词堆砌等作弊技术，Ａｌｅｘａｎ—　ｄｒｏｓ　Ｎｔｏｕｌａｓ等将数据集中的网页压缩并计算其　被压缩前后所占空间大小的比值，这个比值被称　为网页压缩率（Ｃｏｍｐｒｅｓｓｉｏｎ　ｒａｔｉｏ）Ｌｓ　Ｊ，并计算了　数据集中每个网页的压缩率，统计得出网页压缩　率的分布如图１　．从图ｌ中可以观察到，网页　压缩率的分布服从正态分布，在２．０位置达到最　高点，在压缩率大于４．０时，网页是垃圾网页的　可能性大于７０％，故网页压缩率为判定网页是否　作弊的一个较好的特征．除了网页压缩率特征　外，Ａｌｅｘａｎｄｒｏｓ　Ｎｔｏｕｌａｓ等还统计分析了网页单词　数量、标题单词数量、单词平均长度、链接数量、　可视文本率、常用词出现率、ｎ—ｇｒａｍ相似度、网　页ＵＲＬ长度等内容特征．根据提取的网页内容　特征，然后将垃圾网页的检测看成一个二元分类　问题，基于Ｃ４．５决策树算法通过训练网页集学　习一个分类器，对测试网页集的网页的类别进行　预测．由于忽略了网页之间的链接关系，这种基　于网页内容的垃圾网页检测模型在检测关键词　堆砌类型的垃圾网页时具有较好的效果，而对链　接堆砌类型的垃圾网页检测效果则不佳，故此基　于内容特征的垃圾网页检测模型的准确率有限．　图１　网页压缩率的分布与垃圾网页　１．２基于链接结构的垃圾网页检测模型　大多数垃圾网页都采用了链接堆砌技术以　提高其在搜索结果中的排名．基于链接结构的垃　圾网页检测模型可以有效地检测此类垃圾网页．　这类垃圾网页检测模型都基于某一个假设：正常　网页只指向（被指向）正常网页或垃圾网页指向　（被指向）垃圾网页．这类算法的原理都很类似，　都是可信度（不可信度）传播算法，从一个已经　５４　标定为可信（垃圾）网页的集合开始（种子网页　集），通过可信度或不可信度传播的原则对所有　的网页节点进行可信度和不可信度的计算，其中　经典模型为可信度正向传播的ＴｍｓｔＲａｎｋ算　法　．　１．２．１　ＴｍｓｔＲａｎｋ检测模型　ＴｒｕｓｔＲａｎｋ模型是ＰａｇｅＲａｎｋ＂　算法的一个变　形，区别在于ＴｒｕｓｔＲａｎｋ算法从种子集合起始向　其他网页传播可信度，而ＰａｇｅＲａｎｋ算法在全局　根据链接信息进行ＰａｇｅＲａｎｋ值的计算．Ｔｒｕｓ—　ｔＲａｎｋ算法的前提假设是：“可信网页的链接所　指向的网页通常也是可信网页”。。　．ＴｍｓｔＲａｎｋ算　法分为两个步骤：　第一步，它根据逆向ＰａｇｅＲａｎｋ计算的数值　向量，对所有节点进行从高到低的排序，挑选出　一定数量的ＰＲ值较高的网页节点，形成种子集　合，通过专家评测这些种子网页节点，把他们标　记为垃圾网页（ｓｐａｍ）和可信网页（ｒｅｐｕｔａｂｌｅ）．经　过人工评测后的种子集合才可以作为真正的种　子集合被ＴｒｕｓｔＲａｎｋ所使用．所有选出的种子节　点在评测后形成向量ｄ，如公式（１）　所示．　ｄ㈩：ｆ　，ｉｆ　ｐａｇ　。Ｐｕ　ｂｌ　，　（１）　【Ｏ．ｉｆｐａｇｅ　ｉ　ｉｓ　ｓｐａｍ　第二步，为了利用ＰａｇｅＲａｎｋ的算法传播信　任值，需要对ｄ进行归～化操作，如公式（２）　所示．　ｄ＝ｄ／ｌ　ｄ　Ｉ．　（２）　然后将ｄ替换为均一向量ｆ　，利用同样的算　法进行迭代计算，直至算法收敛，ＴｒｕｓｔＲａｎｋ的计　算公式为。。　：　ｔ＝（１一　）×Ｔ×ｔ＋　×ｄ．　（３）　公式（３）中，ｔ是ＴｒｕｓｔＲａｎｋ值向量，ｄ偏向于　在种子集中的可信网页，而在ＰａｇｅＲａｎｋ算法中　随机跳转的向量元素皆为１／Ｎ．因为在网络中普　通的链接并不都具有可信任性，而ＴｒｕｓｔＲａｎｋ中　评测的可信网页所发出的链接常具有可信任性，　进而比ＰａｇｅＲａｎｋ算法更加的可靠，因为它利用　了人工评测的可信信息，并将这些信息通过链接　结构进行传播．与ＰａｎｋＲａｎｋ算法类似，ＴｒｕｓｔＲａｎｋ　的可信度进行可信度传播时采取了衰减和分裂　策略，即距离种子网页越远（从链接的层次考　虑），其从种子网页获取到的可信度就越小．假如　一个网页从种子网页集中的一个网页的出链接　获取到可信度ＩＢ，那么这个网页的出链接指向的　网页可以从这个网页获取到可信度为卢Ｘ　，这　种策略称之为可信度衰减（Ｔｒｕｓｔ　ｄａｍｐｅｎｉｎｇ）。。　．　假如一个可信网页只有一个出链接，那么这个链　接指向的网页应具有较高的可信度；相反，如果　

一个可信网页具有上百个出链接，那么这些链接　中的某一个就可能指向垃圾网页．这是基于这样　

一个假设：“ＴｒｕｓｔＲａｎｋ算法在网页的可信度进行　传播的时候将自身的可信度分裂（Ｔｒｕｓｔ　ｓｐｌｉｔｔｉｎｇ）．　”　ＴｒｕｓｔＲａｎｋ可以有效地区分垃圾网页和可信　网页，因为它使用了人工评测的信息（种子网页　集），这些信息不容易被垃圾网页（制造者）所影　响．因此同ＰａｇｅＲａｎｋ相比，ＴｒｕｓｔＲａｎｋ通过种子　集合和链接结构能够赋予可信网页较高的Ｔｒｕｓ－　ｔＲａｎｋ值，而给作弊节点较低的ＴｒｕｓｔＲａｎｋ值，从　而有效地检测作弊行为．但是ＴｒｕｓｔＲａｎｋ所依赖　的种子集合的质量和数量会对它的算法性能产　生影响．首先，如果种子网页集合的可信网页数　量比较小，或者其中可信网页的比例比较小，根　据ＴｒｕｓｔＲａｎｋ定义的衰减传播方法，种子网页集　合对于其他网页的影响会较小，因此就失去了　ＴｒｕｓｔＲａｎｋ算法的传播可信度的意义．此外，如果　种子网页集合只隶属于少数的话题或者领域，　ＴｍｓｔＲａｎｋ的排序结果会把没有出现的话题和领　域的网页排名靠后，而提升那些同种子集中相同　话题或领域的网页．再次，如果网页集合中的网　页含有从可信网页到垃圾网页的链接，这样的种　子集合也不适用于做种子网页，因为它们不符合　可信网页指向可信网页的前提．ＴｒｕｓｔＲａｎｋ算法　的效率会依赖于种子集合的质量和数量，若要较　好地发挥ＴｒｕｓｔＲａｎｋ算法的垃圾网页检测效果，　就要能保证找到一个合适的种子集合．此外，此　类基于链接结构的迭代算法都具有类似的弱点，　即忽略了网页本身的内容信息，而且会对部分垃　圾网页造成误判．针对以上问题，Ｂａｏｎｉｎｇ　Ｗｕ　等＿８　提出了Ｔｏｐｉｃａｌ　ＴｒｕｓｔＲａｎｋ算法，其主要思想　是：首先使用主题信息将种子子集进行分类，然　后针对每个主题单独计算可信度．这一算法克服　了ＴｒｕｓｔＲａｎｋ的缺点．　１．２．２类ＴｒｕｓｔＲａｎｋ检测模型　ＢａｄＲａｎｋ　与Ａｎｔｉ—ＴｒｕｓｔＲａｎｋ　Ｎｏ　３检测模型　十分类似，皆为不可信度的传播算法．以　ＢａｄＲａｎｋ为例，ＢａｄＲａｎｋ基于这样一个假设：如　果一个网页的一个出链接指向了一个ＢａｄＲａｎｋ