5 数据挖掘技术-大型数据库中的关联规则

c:1
b:1 p:All frequent patterns concerning m m, fm, cm, am, fcm, fam, cam, fcam
p:2
m:1
m-conditional FP-tree
23
通过建立条件模式库得到频繁集
项 p m b a c f
19
挖掘 FP-tree的主要步骤
1) 为FP-tree中的每个节点生成条件模式库 2) 用条件模式库构造对应的条件FP-tree
3) 递归构造条件 FP-trees 同时增长其包含的频繁 集 如果条件FP-tree只包含一个路径，则直接生 成所包含的频繁集。
20
步骤1: 从 FP-tree 到条件模式库
4
关联规则
以零售业为例，体育用品商场通过对销售数 据进行关联分析通常可以发现这些数据中常 常隐含形式如下的规律—— ―购买篮球的顾客中有70%的人同时购 买篮球运动服，所有交易中有40%的 人同时购买篮球和篮球运动服” 等等。 这些规律即关联规则。
5
关联规则度量—置信度


定义： 规则XY在交易数据集D中的置信度是对关联规 则准确度的衡量。度量关联规则的强度。即在 所有出现了X的活动中出现Y的频率，即规则 XY 的必然性有多大。记为： confidence(XY) 计算方法： 包含X和Y的交易数与包含X的交易数之比： confidence(XY) = P(Y∣X)
头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3
最小支持度 = 50％
{}
f:4
c:3 a:3 m:2 p:2 b:1 m:1 b:1
c:1
b:1 p:1
18
FP-tree 结构的好处


完备: 不会打破交易中的任何模式 包含了序列模式挖掘所需的全部信息 紧密 去除不相关信息—不包含非频繁项 支持度降序排列: 支持度高的项在FP-tree中共享 的机会也高

用频繁的(k – 1)-项集生成候选的频繁 k-项集 用数据库扫描和模式匹配计算候选集的支持度

Apriori 的瓶颈: 候选集生成

巨大的候选集:


104 个频繁1-项集要生成 107 个候选 2-项集 要找尺寸为100的频繁模式，如 {a1, a2, …, a100}, 你必须先产生2100 1030 个候选集
end return k Lk;
Lk+1 = candidates in Ck+1 with min_support
increment the count of all candidates in Ck+1 that are contained in t
13
Apriori算法 — 例子
数据库 D
c:3
a:3
b:1
b:1
p:1
m
p
fca:2, fcab:1
fcam:2, cb:1
21
FP-tree支持条件模式库构造的属性

节点裢接

任何包含ai , 的可能频繁集，都可以从FP-tree 头表中的ai 沿着ai 的节点链接得到 要计算路径P 中包含节点ai 的频繁集，只要考 察到达ai 的路径前缀即可，且其支持度等于节 点ai 的支持度
步骤: 1. 扫描数据库一次，得到频繁 1-项集 2. 把项按支持度递减排序 3. 再一次扫描数据库，建立 FP-tree
Items bought (ordered) frequent items {f, a, c, d, g, i, m, p} {f, c, a, m, p} {a, b, c, f, l, m, o} {f, c, a, b, m} {b, f, h, j, o} {f, b} {b, c, k, s, p} {c, b, p} {a, f, c, e, l, p, m, n} {f, c, a, m, p}
9
关联规则形式化定义

关联规则的挖掘是一个两步的过程： 找出所有频繁项集 由频繁项集产生强关联规则
交易号（TID） T100 项集合（Itemsets） I1，I2，I5
T200
T300 T400 T500
I2，I4
I2，I3 I1，I2，I4 I1，I3
10
关联规则挖掘：一个路线图
布尔 vs. 量化 关联 (基于 处理数据的类型) buys(x, ―SQLServer‖) ^ buys(x, ―DMBook‖) buys(x, ―DBMiner‖) [0.2%, 60%] age(x, ―30..39‖) ^ income(x, ―42..48K‖) buys(x, ―PC‖) [1%, 75%] 单维 vs. 多维 关联 (基于规则中涉及的数据维) 单层 vs. 多层 分析(基于规则集所涉及的抽象层) 各种扩展
25
为什么 频繁集增长 速度快？

我们的性能研究显示

FP-growth 比Apriori快一个数量级。

原因

不生成候选集，不用候选测试。
使用紧缩的数据结构
避免重复数据库扫描
基本操作是计数和建立 FP-tree 树
27
FP-growth vs. Apriori: 相对于支持度 的扩展性
第5章 挖掘大型数据库中的关联规则
1
基本概念
自然界中某种事物发生时其他事物也会发生 的这样一种联系称之为关联。 反映事件之间依赖或关联的知识称为关联型 知识（又称依赖关系） 关联分析目的是寻找给定数据记录集中数据 项之间隐藏的关联关系，描述数据之间的密 切度。

2
关联分析

关联分析的结果常有两种： 关联规则和序列模式。
24
第3步: 递归挖掘条件FP-tree
{} {}
―am‖的条件模式库: (fc:3)
f:3 c:3
am-条件 FP-tree
f:3 c:3 a:3
m-条件 FP-tree
{}
―cm‖的条件模式: (f:3)
f:3
cm-条件 FP-tree
{}
―cam‖条件模式库: (f:3)
f:3
cam-条件 FP-tree
TID 100 200 300 400 Items 134 235 1235 25
itemset sup. C1 {1} 2 {2} 3 扫描 D {3} 3 {4} 1 {5} 3
L1 itemset sup.
{1} {2} {3} {5} 2 3 3 3
C2 itemset sup L2 itemset sup

前缀路径

22
步骤2: 建立条件 FP-tree

对每个模式库 计算库中每个项的支持度 用模式库中的频繁项建立FP-tree
{}
m-条件模式库: fca:2, fcab:1
头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3
f:4
c:3 a:3 m:2 b:1 b:1

多次扫描数据库：
16
挖掘频繁集 不用生成候选集

用Frequent-Pattern tree (FP-tree) 结构压缩 数据库

高度浓缩，同时对频繁集的挖掘又完备的 将提供频繁项集的数据库压缩到一颗FP-树 避免代价较高的数据库扫描
17
用交易数据库建立 FP-tree
TID 100 200 300 400 500
6
关联规则度量—支持度


定义： 规则XY在交易数据集D中的支持度是对关联规 则重要性的衡量，反映关联是否是普遍存在的规 律，说明这条规则在所有交易中有多大的代表性。 即在所有交易中X与Y同时出现的频率记为： support(XY)。 计算方法： 交易数据集中同时包含X和Y的交易数与所有交易 数之比： support(XY) = P(X∪Y)

关联规则用于寻找在同一个事件中出现的 不同项的相关性； 序列模式与此类似，但它寻找的是事件之 间时间上的相关性。
3

关联规则


关联规则发现的主要对象是交易型数据库，一 个交易一般由交易处理时间，一组顾客购买的 物品，有时也有顾客标识号(如信用卡号)组 成。 关联规则:是描述在一个交易中物品之间同时 出现的规律的知识模式，更确切的说，关联规 则是通过量化的数字描述物品X的出现对物品 Y的出现有多大的影响。
条件模式库 {(fcam:2), (cb:1)} {(fca:2), (fcab:1)} {(fca:1), (f:1), (c:1)} {(fc:3)} {(f:3)} Empty
条件FP-tree {(c:3)}|p {(f:3, c:3, a:3)}|m Empty {(f:3, c:3)}|a {(f:3)}|c Empty
{1 3} {2 3} {2 5} {3 5} 2 2 3 2
{1 {1 {1 {2 {2 {3 2} 3} 5} 3} 5} 5} 1 2 1 2 3 2
C2 itemset {1 2} 扫描 D
{1 {1 {2 {2 {3 3} 5} 3} 5} 5}
C3 itemset {2 3 5}
扫描 D

11
关联规则挖掘—一个例子
交易ID 2000 1000 4000 5000 购买商品 A,B,C A,C A,D B,E,F
最小置信度 50% 最小支持度 50%
频繁项集 {A} {B} {C} {A,C} 支持度 75% 50% 50% 50%
对于 A C： support = support({A 、C}) = 50% confidence = support({A 、C})/support({A}) = 66.6% Apriori的基本思想: 频繁项集的任何子集也一定是频繁的