Chapter 6. 挖掘频繁模式、关联与相关

2.减少交易记录: 不包含任何频繁k-项集的交易也不可能包含任何
大于k的频繁集，下一步计算时删除这些记录。 3.划分: 一个项集要想在整个数据库中是频繁的，那么他至少在数 据库的一个分割上是频繁的。 两次扫描数据。(157页图5-6) 4.抽样: 使用小的支持度+完整性验证方法。在小的抽样集上找到
局部频繁项集，然后在全部数据集找频繁项集。
from Lk-1 p, Lk-1 q
where p.item1=q.item1, …, p.itemk-2=q.itemk-2, p.itemk-1 <
q.itemk-1

Step 2: 修剪
forall itemsets c in Ck do
forall (k-1)-subsets s of c do
C2 2nd scan
Itemset {A, B} {A, C}
L3
su p 2
{A, E} {B, C} {B, E} {C, E}
18
Apriori 算法

伪代码: Ck: 大小为k的候选集 Lk : 大小为k的频繁项集
L1 = {频繁项集}; for (k = 1; Lk !=; k++) do begin Ck+1 = 从 Lk生成的候选集 for 数据库中每个交易 t do 增加Ck+1 中包含在t的候选项集的计数 Lk+1 = Ck+1 的候选集with min_support


项集: 项的集合 k-项集 X = {x1, …, xk} (绝对) 支持度, or, 支持计数 of X: 项集X出现的频数 (相对) 支持度, s, X (如一个交易 包含X的概率)出现的百分数 项集X 是频繁的，如果 X的支持 度不小于最小支持度 阈值。
Customer buys beer
6
关联规则

所有形如X ⇒Y 蕴涵式的称为关联规则，这里X ⊂I, Y ⊂I，并且X∩Y=Φ 。 关联规则是有趣的,如果它满足最小支持度阈值与 最小置信度阈值,并称之为强规则

7
置信度与支持度

支持度,s, 一个事务中包含 XY的 项集 X={i1, …, ik} 可能性 找出所有具有最小置信 support(X⇒Y)=同时包含项目 度和支持度的关联规则 集X和Y的交易数/总交易数

17
Apriori 算法－例子
Database TDB
Tid 10 20 30
40
Itemset
su p
Items A, C, D B, C, E A, B, C, E B, E
Itemset {A, C} {B, C} {B, E} {C, E}
C1 1st scan C2
su p 2 2 3 2
Leaf node of hash-tree contains a list of itemsets and
counts

Interior node contains a hash table
22
Apriori算法足够的快吗? —瓶颈问题的产生
23
提高Apriori效率的方法
1.基于Hash的项集计数: 若 k-项集在hash-tree的路径上的一个 计数值低于阈值，那他本身也不可能是频繁的。(157页图5-6)

最大模式集是什么?


所有模式集是什么?

13
频繁模式挖掘的计

频繁项集的数量与最小支持度阈值有关
当minsup 很小时, 频繁项集的数量指数性增长 最糟糕的情形: MN where M: # distinct items, and N: max length of transactions 例. 假设Walmart 有104 种产品
if (s is not in Lk-1) then delete c from Ck
21
如何计算候选集的支持度?

为什么计数支持度是一个问题?

候选集的数量非常大 一条交易可能包含很多候选项集 Candidate itemsets are stored in a hash-tree

方法:

{Beer, Diaper}:3
Customer buys beer

关联规则: (many more!) Beer Diaper (60%, 100%) Diaper Beer (60%, 75%)
11
闭合模式和最大模式

长模式包含组合数量的子模式，即， {a1, …, a100} 包 含(1001) + (1002) + … + (110000) = 2100 – 1 = 1.27*1030 子模式! 解决方法: 挖掘闭合模式和 最大模式
5
关联规则挖掘形式化定义
给定： ������ 设I ={i1 , i2 ,…, im}是项(item)的集 合。若干项的集合，称为项集（Item Sets） ������ 记D为交易(transaction) T (或事务)的集 合，这里交易T 是项的集合，并且T ⊆I 。对 应每一个交易有唯一的标识，如交易号，记 作TID 。设X是一个I中项的集合，如果X ⊆T， 那么称交易T包含X。 寻找：有趣的关联规则(强规则).
5.动态项集计数: 在添加一个新的候选集之前，先估计一下是不是 他的所有子集都是频繁的。
2014-6-22 数据挖掘：概念和技术 24
挖掘频繁模式项集的模式增长方法

Apriori 方法的瓶颈

宽度(i.e., level-wise) 优先搜索
候选集生产与测试

经常产生巨大数量的候选集

频繁模式增长方法(J. Han, J. Pei, and Y. Yin, SIGMOD’ 00)
X ⇒Y
用于描述有用性.
两者都买 的顾客
买尿片的顾 客
置信度 c, 一个事务中 包含X 也包含Y的 条件概率.
confidence(X⇒Y)=同时购买商 品X和Y的交易数/购买商品X的交 易数
买啤酒的顾客
用于描述确定性,即”值得信赖的程 度””可靠性”
8
关联规则的基本形式

关联规则的基本形式： 前提条件⇒结论[支持度, 置信度]

buys(x, “diapers”) ⇒buys(x, “beers”) [0.5%, 60%] major(x,“CS”) takes(x, “DB”) ⇒grade(x, “A”) [1%, 75%]

包含k个项目的集合，称为k-项集 项集的出现频率是包含项集的事务个数，称为项 集的频率、支持计数或者计数
abcd from abc and abd acde from acd and ace acde is removed because ade is not in L3
20

修剪:


C4={abcd}
如何生成候选集?

假定 Lk-1 的项集被按序排列 Step 1: 连接 Lk-1
insert into Ck select p.item1, p.item2, …, p.itemk-1, q.itemk-1
15
Apriori方法

频繁项集的定义
如果项集满足最小支持度，则称之为频繁项集 （高频项集）

频繁项集的基本特征 任何频繁项集的非空子集均为频繁项集。例如： ABC是频繁项集，则AB、AC、BC均为频繁项集。 反之：如AB不是频繁项集，则ABC不可能是频繁项 集
16
Apriori方法

是一种称作逐层搜索的迭代方法。 用k-项集探求（k+1）-项集。 具体地：首先找出频繁1-项集，该集合记为L1;用 L1找出频繁2-项集的集合L2；如此继续下去，直到 找到最大频繁项集 该方法，主要有连接和剪枝两步构成。
end return k Lk;
19
Apriori的重要细节

如何生成候选集?

Step 1: self-joining Lk Step 2: pruning

如何计算候选集的支持度? 候选集生成例子

L3={abc, abd, acd, ace, bcd} 连接步: L3*L3

数据仓库与数据挖掘
第6章 挖掘频繁模式、关联和相关 性
李成安
华南理工大学经济与贸易学院 © 2013
1
June 22, 2014
Data Mining: Concepts and Techniques
2
第6章: 挖掘频繁模式、关联和相关性: 基本概念和 方法
基本概念 频繁模式挖掘方法
什么模式是有趣的?—模式评价方法
10
基本概念: 关联规则
Tid
Items bought Beer, Nuts, Diaper Beer, Coffee, Diaper
10 20

发现所有规则X Y with 最小支持
度和置信度 支持度, s，一个交易包含X Y 的概率 置信度, c，一个包含 X的交易 也包含 Y的条件概率



闭合模式是频繁模式的无损压缩

减少模式和规则的数量
12
闭合模式和最大模式

例子. DB = {<a1, …, a100>, < a1, …, a50>}

Min_sup = 1.
<a1, …, a100>: 1

闭合模式集是什么?


< a1, …, a50>: 2
<a1, …, a100>: 1 !!