Web日志预处理中优化的会话识别方法

—49— 35卷 第7期 ol.35 No.7 2009年4月

A

Web日志预处理中优化的会话识别方法 方元康1,2，胡学钢1，夏启寿2 (1. 合肥工业大学计算机与信息学院，合肥 230009；2. 池州学院计算机中心，池州 247000 ) 摘 要：针对Web日志数据预处理中会话识别这一重要环节，提出一种优化的会话识别算法。在用户识别后，通过过滤框架页面大幅度减少实验产生的有效页面数，为每个页面设置访问时间阈值，并根据页面重要程度对该阈值进行调整，页面的重要性由页面内容及站点结构确定。实验数据显示，与对所有页面使用单一的先验阈值进行会话识别的方法相比较，该方法得到了真实性更强的会话集。 关键词：Web挖掘；数据预处理；阈值；Frame 页面；会话识别

Improved Method for Session Identification in Web Log Preprocessing

FANG Yuan-kang1,2, HU Xue-gang1, XIA Qi-shou2 (1. Computer & Information College, Hefei University of Technology, Hefei 230009; 2. Center of Computer, Chizhou College, Chizhou 247000)

【Abstract】Session identification is an important step in data preprocessing of Web log mining. This paper proposes an improved session identification algorithm. After identifying users, effective Web pages in experiment are reduced greatly by filtering frame pages, and the access time threshold is adjusted by the Web contents and site’s structure on this condition. Compared with the traditional method that defines a uniform threshold for all Web pages experimentally, the approach can decide the access time threshold more accurately. Experiments proves that the algorithm enhances the quality of transaction session. 【Key words】Web mining; data preprocessing; threshold; Frame page; session identification

计 算 机 工 程 Computer Engineering第

Vpril 2009

术与数据库· 文章编号：1000—3428(2009)07—0049—03文献标识码：A

中图分类号：TP393

·软件技

挖掘Web日志记录中最费时最重要的环节是Web日志记录的数据预处理，而影响Web数据预处理的关键因素就是构成会话识别的真实程度。本文主要研究在数据预处理中如何优化会话识别的算法。 1 传统的会话识别方法 会话(session)是指用户在一次访问网站期间从进入网站到离开网站所进行的一系列活动。在跨度时间段较大的Web服务器日志中，用户可能多次访问了该站点，会话识别的任务是把属于同一用户的同一次访问请求识别出来。目前，会话的构造主要是基于启发式的方法，如基于时间的、依据站点结构的、给予引用的。现在常用的算法有如下4 种： Hvisit：给用户在整个站点的停留时间一个上界，如果超过这个域值θ则认为新的会话开始[1-2]。设t0为会话初始页的时间戳，同一用户的一个URL请求的时间t如满足t-t0≤θ，则被加入当前会话，第1个满足t0+θ

以上4种会话识别方法的不足之处表现在2个方面： (1)可能使原本在同一个会话里的记录被划分到不同的会话中，也可能使原本不在同一个会话的记录被划分在同一个会话中；(2)由于用户会话产生的有效页面数比实际的有效页面

数明显增多，因此会话识别的效率大大降低。如果按上述方法生成的会话集中不真实的成分太多，挖掘出来的结果只有很小的理论价值，甚至失去理论价值。因此，本文提出了一种基于过滤框架网页与页面访问时间阈值相结合的会话识别方法。通过实验证明，该方法所得到的会话集更具真实性，同时也提高了会话识别的效率。 2 本文的会话识别方法 2.1 会话识别前的数据预处理 在会话识别前，Web日志挖掘的数据预处理主要包括数据清理和用户识别2个步骤。

2.1.1 数据清理 Web日志记录中包括用户IP地址、用户ID、用户请求访问的URL页面、请求方法、访问时间、传输协议、传输的

基金项目：国家自然科学基金资助项目(050504F)；池州学院自然科学基金资助项目(XK0829) 作者简介：方元康(1968－)，男，讲师、硕士研究生，主研方向：数据挖掘；胡学钢，教授、博士；夏启寿，讲师 收稿日期：2008-09-07 E-mail：fyk80@163.com 字节数、错误代码、用户代理等属性。数据清理根据需求对原始日志文件进行处理，删除Web服务器日志中与挖掘算法

无关的数据，这些数据有以下5类： (1)图片、视频等非用户显式请求的逻辑单位。对用户来说，一般显式请求的是后缀为.html 和.htm 的文本页面，所以应该将日志中文件后缀为gif, jpg, jpeg 等的记录删除。 (2)Web Robot 的浏览日志记录。 (3)状态域错误的日志。通过对协议状态域的检查，凡是代码值大于299 的日志记录都应该删除。 (4)用GET以外的方式完成的服务。 (5)后缀为cgi, js, js的脚本文件。这些文件对后面的分析处理不造成任何影响，应该删除。 可配置一个删除列表，凡是后缀名在删除列表中的记录数据均不收集。 2.1.2 用户识别 用户是指通过一个浏览器访问一个或几个服务器的个体。在实际使用中唯一确定一个用户很难，一个用户可以通过几个代理或机器访问服务器。Web日志挖掘工具最常用的技术是基于日志/站点的方法，可以使用一些启发式规则帮助识别用户。 (1)如果用户的IP地址不同，则认为是不同的用户。 (2)如果IP地址相同，而代理(Agent)日志中表明用户的浏览器或操作系统改变了，则可以假设为2个不同的用户。 (3)将访问日志、引用日志和站点拓扑结构结合，构造用户的浏览路径。如果当前请求的页面与用户已浏览的页面间没有链接关系，则认为存在IP地址相同的多个用户。 通过这3条规则，结合用户提交的查询信息便可以给不同的用户赋予不同的用户ID号。 2.2 过滤框架页面 HTML规范通过“Frame”标记支持多窗口页面，每个窗口里装载的页面对应一个URL，需要说明的是： Subframe 页面同时又可以是包含子窗口的Frame页面[5]。 当用户访问的URL 对应的是一个Frame页面时，浏览器通过解释执行页面源程序自动向Web服务器请求该Frame页面中包含的所有Subframe页面，这一个过程可以重复进行，直到所有的Subframe页面被请求。 在图1的例子中，如果用户请求A页面，其他5个页面(B, C, D, E, F)也一起被请求。由此导致对Frame页面与其Subframe页面的请求记录总是一起出现在Web日志中。在这样的用户会话文件上进行数据挖掘，Frame页面和其Subframe页面作为频繁访页组出现的概率很高，但Frame页面及其Subframe页面之间的关系在创建HTML文件时就是已知的，因此，Frame页面及其Subframe页面同时出现在挖掘结果中将使挖掘出的频繁访问页组的兴趣性下降。如果在会话识别后把Frame 页面及其Subframe页面作为一个整体考虑，即用户对Frame页面的请求就是请求多窗口页面。从全局上看，这样可以有效地消除Subframe对日志挖掘的影响，从而提高挖掘结果的兴趣性。 图1 多窗口页面示意图 2.3 基于访问页面时间阈值的会话识别 2.3.1 基于统计方法的页面停留时间t的生成 本文使用池州学院网站http://211.86.192.12的日志进行性能模拟实验，抽取日志中2007年10月24日~11月3日共10天的访问记录组成实验数据。通过假设检验证明，页面的访问时间t呈正态分布。在这个基础上，根据统计数据选择能覆盖94%的样本集的数据值t作为页面阈值δ的参考值，再乘以一定的平滑系数a后得到δ。选择94%这个较低的覆

盖率是为了尽量不考虑t中的极值点，选择一定的平滑系数是为可能删除一些合理的数据t而做的一种折中处理，实验时选择1.0~1.5作为平滑系数，实验表明选择a为1.25比较合理。 2.3.2 结合页面内容与站点结构的页面阈值δ的生成

目前为止，还是仅仅根据用户以往使用记录的统计来决定δ值，没有考虑页面的重要程度以及网站结构对阈值δ的

影响。 定义1 链接内容比(RLCR)是指页面链入链出数与页面内

容之比，记页面大小为SDS，一般情况下，一个页面的链入比链出重要，因此，要对两者进行加权调整，本文以黄金分割来假设链入与链出的权重之比，则RLCR计算公式为 RLCR=2(0.618LI+0.382LO)/SDS (1) 为了将RLCR值用于对阈值δ的调整，需要将RLCR值映射

到(0,1)之间，可以选用多种映射方式，例如RLCR值与所有RLCR

值中的最大值的比值即可映射到(0,1)之间，但这种方法容易

受到孤立点的影响，当某个页面的RLCR值很大时，会影响到

其他点。这里选择如下的映射方式，记RLCR对δ的影响因子为β。

定义2 β为页面RLCR对页面访问时间阈值δ的影响因子，其计算公式为 β=1-exp(-sqrt(sqrt(R

LCR))) (2)

综合上述调整过程，可以得出阈值δ的计算公式： δ=at(1+β) (3)

2.3.3 基于时间阈值δ的用户会话集生成 要设置每个页面的访问时间阈值δ，首先要获得统计后的页面访问时间t，并结合页面的RLCR影响因子β调整δ。统计后页面的访问时间t的集合记为St={t1,t2,…,tn}，页面的影响因子β集合记为S

β={β1, β2, …, βn}。算法步骤如下：