第5章 Web挖掘

10
WSM应用领域



搜索引擎查询结果的排名 查找相关文档 计算Web页面Reputation（权威网页） 确定某站点的主要内容和特征 Web Crawler的URL爬行的优先顺序
11
WSM目前研究情况

独立于查询的算法-PageRank 查询相关算法-HITS …...
12
Web 使用挖掘(WUM)

基于最大前向引用的事务识别
A B AC D C

基于访问长度的事务识别
25
WUM的主要算法



统计分析 关联规则 聚类 分类 序列模式
26
基于Web的个性化服务


尽可能使得自己的每个用户在浏览该商 业网站时都有他就是该网站的唯一用户 的感觉 尽可能地迎合每个用户的浏览兴趣并且 不断调整自己来适应用户浏览兴趣的变 化
23
补全路径（path completion）



由于缓存等原因使得访问日志中并没有 完全记录用户的访问行为。 补全路径就是要把用户会话中的访问路 径补全，从而更好地反映用户的访问过 程。 用于识别用户的方法都可用来补全路径。
24
事务的识别


从用户访问会话中找出有意义的页面访 问序列。 有不少用于识别事务的算法，如
27
个性化服务的表现形式


推荐的超链接列表 推荐的商品列表（电子商务） 推荐的广告列表 经裁剪的文本或图像列表
28
个性化服务技术


协同过滤技术(CF, Collaborative Filtering) 数据挖掘技术(DM, Data Mining)
29
协同过滤技术的缺陷
பைடு நூலகம்


需要用户提供主观的评价信息 不能处理大规模的数据量 用户的评价信息可能会过时 使用不方便
4
WCM应用领域

主题抽取和文本分类 Web异构数据集成 基于特定知识领域的信息发现 …...
5
WCM目前研究情况

使用基于词频统计的算法 利用Wrapper进行Web信息抽取
6
WCM目前研究情况（续）

Sergey Brin-DIPRE首次利用迭代方法发 现数据实体间的模式和关系，并成功地 发现了作者/作品数据对
30
Web挖掘技术的优点

不需要用户提供主观的评价信息 可以处理大规模的数据量 用户访问模式动态获取，不会过时 使用方便
31
基于Web的个性化服务

基于Web使用挖掘的个性化服务 基于Web使用挖掘和Web内容挖掘的个性 化服务
32
基于Web使用挖掘的个性化

基本思路：分析Web日志数据，利用数据 挖掘方法发现用户的使用模式，从而向用 户提供个性化服务
16
服务器的日志格式

遵从CERN和NCSA标准 /pub/WWW/
17
WUM的挖掘过程



数据预处理 挖掘算法实施 模式分析 可视化
18
数据的预处理


使用数据的预处理 (日志的预处理) 清理数据（data cleaning） 用户的识别（user identification） 用户会话的识别（session identification） 补全路径（path completion） //不是URL，而是 访问过程 事务的识别（transaction identification） 内容数据的预处理 结构数据的预处理
20
清理数据（data cleaning）
用户的一次请求可能会让浏览器自动下载 多个附属物，如一些图片等，下载的所有 文件构成一个页面视图，造成一次请求对 应多个日志项的情况。数据清理就是要除 去这些附属物对应的日志项。 一般采用的方法是除去URL中包含后缀为 gif， GIF，jpeg，JPEG，jpg，JPG， map等的文件的日志项。

如果一个用户的日志记录跨度很长的时间，那 么可以猜测，该用户多次访问了Web。 用户会话的识别就是把用户的访问日志分割成 一个个的会话。 一般地，以一段固定时间作为时限，如30分钟， 一个用户每30分钟以内的访问序列被看作是该 用户的一个会话。 时限的选择可以通过日志的统计分析来确定。
21
用户的识别（user identification）


识别用户的困难主要是由本地缓存和代理服 务器造成的 回退键、Web代理缓存 识别用户的方法 依赖用户的合作 ，如Cookies 启发式信息 访问者使用的浏览器或操作系统的版本 用户的浏览路径
22
用户会话（session）的识别
Web挖掘分类
Web挖掘
Web内容挖掘
Web结构挖掘
Web使用挖掘
一般 访问 模式 分析 个性 化的 使用 记录 追踪
文 本 挖 掘
多 媒 体 挖 掘
搜 索 结 果 挖 掘
超 链 挖 掘
内 部 结 构 挖 掘
URL 目录 结构 挖掘
3
Web内容挖掘(WCM)


定义： Web内容挖掘（Web Content Mining）=Web Information Retrieval+Web Information Extraction。 研究对象-隐藏在半结构化数据中的模式 和数据实体（Pattern, Entity)。 研究方法-词频统计、分类算法、机器学 习、模式识别、元数据等。
第5章 Web挖掘
杨建林
1
Web挖掘

Web挖掘就是从Web文档和活动中抽取感兴 趣的潜在有用的模式和隐藏的信息。 面临的挑战

Web上的数据量异常庞大 Web页面的复杂性高于任何传统的文本文档 动态性极强的信息源 用户群体非常广泛，需求各不相同 Web上的信息只有很小的一部分是相关的或有用 的 2
9
Web结构挖掘 (WSM)


Web结构挖掘 （Web Structure Mining) 定义：以超链接分析为基础来评估Web资源， 提高搜索质量。 优点：

客观、避免了人工作弊； 减小了人们在搜索结果中长时间的挑选和尝试。

成功案例：Geb 使用挖掘（ Web Usage Mining） 定义：可以自动、快速的发现网络用户 的浏览模式。 应用：Web日志挖掘，用户个性化服务 研究重点：数据预处理和日志挖掘算法
13
Web使用信息数据的特点


大规模且海量，分布广泛； 具有丰富的内涵，记录了每个用户的访 问行为和群体用户的访问行为； 是网站设计者和访问者进行沟通的桥梁。
19
数据的抽取




用户（User） 页面文件（Page File） 页面视图（Page View） 点击流（Click Stream） 一次访问用户（One User at a Time） 用户访问会话（User Session） 服务器用户访问会话（Server Session） 访问片断（Episode）
33
基本过程


离线部分 数据预处理 总体使用特征获取 在线部分 推荐引擎
34
Web内容挖掘的个性化

基于Web使用挖掘的个性化服务的问题：



商业网站的用户使用数据比较少 网站内容变化比较频繁
基本思路：在基于Web使用挖掘的基础 上，根据浏览页内容之间的相似性为用 户提供个性化服务
14
Web使用信息挖掘的意义


Web使用信息从各方面详尽反映出用户 访问Web的细节，是取之不尽、用之不 竭的宝贵资源 通过对Web使用信息进行有效的数据挖 掘，可以帮助我们更好地理解Web和 Web用户访问模式
15
Web 使用挖掘(WUM)

可以从哪里收集数据？ Web服务器（Web server） 客户端(client) Web代理服务器(Web proxy)
7
WCM目前研究情况（续）


IBM Neel Sundaresan等在基于Web的单 词/缩写的挖掘中，研究英文单词简称的 抽取。 IEPAD通过分析Web页面中的HTML标 签的重复规律，进行模式挖掘并生成数 据抽取规则。
8
WCM目前研究情况（续）

J. Hammer等利用Stanford大学提出的 对象交换模型（Object Exchange Model, OEM）模型，定义了抽取器规范并对 HTML文档中的天气预报信息进行了提 取。