基于Web日志的数据预处理研究

关键 。
③ 用户请求 页面 的 日期和具体 时间 ；
④用户请求的方法 、 用户所请求的页面以及传输
使用 的协议版本 ：
⑤ 服务器状 态码 ， ０ ２ 表示请求成 功 ； ０ ⑥ 发送 给客户端 的总字节数 ： ⑦ 用户代理 。
１ 数 据 的 来 源
Ｗｅ 用 记 录 的数 据 除 了服 务 器 的 日志 记 录 外 ． ｂ使 还 包 括 代 理 服 务 器 １志 、 览 器 端 １志 、 册 信 息 、 ３ 浏 ３ 注 用
０ 引 言
数 据 预 处 理 是 Ｗｅ ｂ １ 挖 掘 的 关 键 技 术 ．其 主 ３志 要 任 务 是 从 Ｗｅ 志 文 件 中 有 效 地 识 别 用 户 访 问 会 ｂ１ ３ 话 。 预 处 理 的 输 入 是 原 始 １志 文 件 ， 出 的 是 用 户 会 ３ 输
① 访 问用户 的 Ｉ 址或用户使 用 的代理服务 器 Ｐ地
＼
竺
基 于 Ｗｅ ｂ日志 的数 据 预 处 理 研 究
金 述 强 ． 蒋 外 文
（ 南大学 信息科 学与工 程学 院 ， 沙 ４ ０８ ） 中 长 １ ０ ３
摘
要 ：详 细 介 绍 Ｗ ｅ 日 志 挖 掘 的数 据 预 处 理 过 程 。 通 过 对 预 处 理 的 结 果 用 户 会 话 文 件 进 行 处 ｂ
理 ， 造 出 扩 展 有 向 树 模 型 ， 从 每 个 用 户 会 话 文件 中发 现 该 用 户 所 有 的 最 大 向 前 ｇ 用 构 并 ｌ 路 径 ， 实施 ｗ ｅ 志挖 掘 算 法提 供 数 据 基 础 。 为 ｂ１ ３ 关 键 词 ：数 据 预 处 理 ；用 户 会 话 ；扩 展 有 向 树 ；最 大 向 前 引 用 路 径
目前 较 为 常 用 收 集 的 使 用 数 据 是 服 务 端 自动 记 录 的
Ｗｅ 日志 文 件 可 见 Ｗｅ ｂ ｂ使 用 记 录 的 数 据 量 是 巨 大 的． 而且 数 据 类 型 也 相 当 丰 富 Ｗ ｅ 志 挖 掘 的 对 象 ｂ１ ３ 通 常 是 服 务 器 的 日志 信 息 Ｗｅ ｂ服 务 器 的 １志 （ ｂ ３ Ｗｅ
处 理 转 化 为 用 户 会 话 如 图 １ 示 所
罂童 旦
＝＝
— —
— — — —
提 后 站 结 升 的 点构
Ｊ …
一 ／ ’
现 种 ： 用 １志 格 式 Ｃ ＦＣ ｍｍ０ ｏ ｏｍａ 和 扩 展 型 通 ３ Ｌ （ｏ ｎＬ ｇＦ ｒ ｔ ） 代 日志 格 式 （ｘｅｄ ｄＬ ｇＦ ｒ ｔ Ｅ ｔｎ ｅ ｏ ｏｍａ 以一 条 通 用 日志格 式 ） 计
２ Ｗ ｅ 日志 的 数 据 预 处理 ｂ
虽 然 ｗｅ ｂ访 问 日 志 有 着 良 好 格 式 和 详 细 的 信 息 ． 由于代理服务 器 、 火墙 和客户端缓存 的存在 ， 但 防 服 务 器 端 访 问 日志 文 件 中 记 录 的 信 息 并 不 能 真 实 地
反 映 用 户 访 问信 息 。 因 此 ．必 须 对 Ｅ志 进 行 预 处 理 。 ｌ
Ｉ Ｐ地 址 ：
② 用 于记 录用户 名及其 Ｉ ， Ｄ 如果是 空 白， 则用 一
个 ” “ 位符代替 ． 示 未注册用 户 ： 一一 占 表
话文件 ． 出结果直接影 响到挖 掘算法 产生 的规则 和 输
模 式 。 因 此 预 处 理 过 程 是 Ｗｅ 志 挖 掘 质 量 保 证 的 ｂ１ ３
九
三
期
、一
① ＭＤＲ ＯＰＴＲ０ １０ ＯＥＮＣ Ｅ ２８ ＭＵ ｏ
．
研ｓ发 究 开
２１ 数 据 净 化 ．
数 据 净 化 是 指 删 除 Ｗｅ ｂ服 务 器 日志 中 与挖 掘 算 法无 关 的 数 据 由 于 用 户 的 一 次 请 求 可 能会 让 浏 览 器 自动 下载 多 个 附 属 文 件 ． 如 一 些 图 片 、 标 等 ， 般 例 图 一 这些 请 求 对 于 日志 挖 掘 来 说 没 有 什 么 意 义 因此 ， 要
户会话 信 息 、 易信 息 、 ｏｋｅ中的信 息 、 户查 询 、 交 Ｃ ｏｉ 用
鼠 标 点 击 流 等 一 切 用 户 与 站 点 之 间 可 能 的交 互 记 录 收 集 数 据 的 地 点 除 了 服 务 器 端 ．还 可 以 在 客 户 端 、 Ｈ，ｒ 理 端 、 ｂ服 务 器 端 ． 至 是 底 层 网 络 通 路 。 Ｉ Ｐ代 ］ Ｗｅ 甚
ｇ 记 载 了 用 户访 问 站 点 的 数 据 ． 映 出 多 个 用 户 对 １ 反 单 个 站 点 的 访 问 行 为 １志 记 录 的 格 式 主 要 分 为 两 ３
Ｗｅ 日志 数 据 预 处 理 技 术 就 是 将 原 始 １志 文 件 结 合 ｂ ３
站 点 的 结 构 和 Ｗｅ ｂ页 面 的 内 容 ．经 过 一 系 列 的数 据
一——源自、 —算 机
＾
的记 录 为 例 ：
Ｌ
一 一 ｒ １Ｍａ ／ ０ ６ １ ： ８ １ － ２ ／ ｒ２ ｏ ：４ ０ ：４ ４ －
朗
＠
用户 识别
咎
磐
’ — ｌ
ｌ ２ １ ８１１ ９ ．６ ．．
总
０ ０ ］ “ Ｅ ｔ ： ｗ ｓ ｊ． ／ ａｎｎ ｗ ／ Ｈｒ Ｐ ８０ ⑧ Ｇ Ｔ ｈｔ ＃ ｗ．ｍ． ｃ ｍ ｉ ｅ ｓ ｐｗ ｉ ｘｎ ／ ｒ／
收 稿 １ 期 ： ０ ８ ０ — ７ 修 稿 日期 ： ０ ８ １ —１ ３ ２０— ７ ０ ２０ — ０ ０ 作 者 简 介 ： 速 强 （９ ２ ） 男 ， 士 研 究 生 ， 究 方 向 为 Ｗ ｅ 日志挖 掘 全 １８ 一 ， 硕 研 ｂ
图１ ｗｅ 日志 数 据 预 处 理 的 一 般 步骤 ｂ
１ １ ２ ０￣２ ５ ．” ０ ０ ０＠ “ ｏ ｉ ａ４ ０ （ｏ ａｉｌ； Ｉ ．； Ｍ ｚｌ ／ ｌ ｃ ｍｐ ｔ ｅＭＳＥ ６０ ｂ
．
原 始访 问 日志 数据 简化
会话 Ｆ ａｅ 路径 用 户会 话文 件 ｒｍ 识别 过 滤 补充
第
二
Ｗ ｉｄ ｗ ＮＴ ５ １Ｓ １ ｎ ｏｓ ．：Ｖｌ⑦