挖掘频繁模式关联和相关

5.1基本概念: 频繁模式与关联规则
Transaction-id Items bought

10
20 30 40 50
Customer buys both
A, B, D
A, C, D A, D, E B, E, F B, C, D, E, F
Customer buys diaper


项集 X = {x1, …, xk} 每个事务T是项的集合 关联规则是形如 X Y 的蕴 涵式，满足最小支持度和置 信度 支持度 s, 事务中同时包含 项X Y的概率 置信度 c, 事务包含项 X 时 也包含项Y 的条件概率
L1 = {frequent items}; for (k = 1; Lk !=; k++) do begin Ck+1 = candidates generated from Lk; for each transaction t in database do
increment the count of all candidates in Ck+1 that are contained in t Lk+1 = candidates in Ck+1 with min_support end return k Lk;
{1 3} {2 3} {2 5} {3 5} 2 2 3 2
{1 {1 {1 {2 {2 {3 2} 3} 5} 3} 5} 5} 1 2 1 2 3 2
C2 itemset {1 2} Scan D
{1 {1 {2 {2 {3 3} 5} 3} 5} 5}
C3 itemset {2 3 5}
Scan D

多次扫描数据库代价高:

挖掘频繁模式 不需要候选集

将一个大型数据库压缩到一棵 Frequent-Pattern tree (FP-tree) 树的结构中

高度的压缩，但是保持完全的频繁模式挖掘 避免高消耗的数据库扫描

形成一种高效，基于FP-树的频繁模式挖掘方法

一种分治策略：分解挖掘任务成一些小的挖掘 任务

使用频繁 (k – 1)项集来产生候选频繁 k项集 使用数据库扫描和模式匹配来对候选集计数

Apriori算法的瓶颈: 候选集的产生和检测

它可能需要产生大量候选项集:

104 个频繁 1项集将产生107 候选 2项集 为发现长度为100的频繁模式，如： {a1, a2, …, a100}, 必须产生多达 2100 1030 个候选 需要 (n +1 ) 次扫描, n 是最长的模式长度

4.抽样


在一个较小的随机抽样样本集内挖掘 降低最小支持度阈值，以减少被遗漏的频繁项集 可能需要第二次扫描数据库，以找出被遗漏的频 繁项集。

5.动态项集计数


在扫描的不同点添加候选项集 扫描数据库的次数比Apriori少
Apriori是否足够快? — 性能瓶颈

Apriori 算法的核心:
Min. support 50% Min. confidence 50%
Frequent Itemset Support {A} 75% {B} 50% {C} 50% {A,C} 50%
对于规则 A C:
support = support({A C}) = 50% confidence = support({A C})/support({A}) = 66.6%
避免候选项的产生：只对子数据库挖掘

无需候选集地挖掘频繁模式

根据局部频繁项，将短模式增长为长模式

―abc‖ 是频繁模式 获取包含 “abc‖的全部事务集: DB|abc ―d‖ 是 DB|abc中的局部频繁项 生成频繁模式


abcd
从事务数据库构造FP-树
TID 100 200 300 400 500



减少了频繁项集和规则的数量
基本概念：闭项集和极大项集

练习：DB = {<a1, …, a100>, < a1, …, a50>}

Min_sup = 1. <a1, …, a100>: 1
< a1, …, a50>: 2 <a1, …, a100>: 1

闭项集 closed itemset有哪些?
Customer buys beer
基本概念: 频繁模式与关联规则

支持度

support (A B )=P (A B ) confidence(A B )=P (B|A )

置信度


support( A B) support_ count( A B) confidence A B) P( B | A) ( support( A) support _ count( A)
Header Table
min_support = 0.5
{}
F-list=f-c-a-b-m-p
Item frequency head f 4 c 4 a 3 b 3 m 3 p 3
f:4
关联规则挖掘的一般步骤 （1）找出所有的频繁项集。 support (X)≥supmin （2）由频繁项集产生强关联规则



从大型数据库中挖掘频繁项集的主要困难在 于将产生大量的频繁项集 频繁k项集：含k个频繁项 一个长项集包含大量的频繁子项集的组合： n个频繁1项集，可能组合出的频繁项集 C1n+ C2n+…+ Cnn=2n-1
产生候选项的例子

设L3={abc, abd, acd, ace, bcd}

自连接: L3*L3

abcd from abc and abd acde from acd and ace 剪枝:删acde，因为ade不在L3中，即非频 繁 C4={abcd}
Apriori 算法示例
Database D
Apriori算法怎样产生候选项?


连接步: 为找Lk ，通过将Lk-1与其自身 连接产生候选k项集集合Ck。

例如，设l1和l2是Lk-1中的项集，如果它们 的前（k-2）个项相同的话，则是可连接 的。 剪枝步: Ck是Lk的超集，即Ck中的成员

可能是频繁的，也可能不是，但所有 的频繁k项集都包含在Ck中。 为压缩Ck ，剪枝：任何 非频繁的(k1)-项集都不是频繁k项集的子集。
p.itemk-1 < q.itemk-1

第二步: 剪枝

第二步: 剪枝
forall itemsets c in Ck do
forall (k-1)-subsets s of c do
if (s is not in Lk-1) then delete c from Ck
Challenges of 频繁模式挖掘
Steps: 1. 扫描数据库一次，找到频繁 1项集 2. 对频繁项集降序排序 3. 再次扫描数据库，构造FP树
Items bought (ordered) frequent items {f, a, c, d, g, i, m, p} {f, c, a, m, p} {a, b, c, f, l, m, o} {f, c, a, b, m} {b, f, h, j, o} {f, b} {b, c, k, s, p} {c, b, p} {a, f, c, e, l, p, m, n} {f, c, a, m, p}



极大项集有哪些?

第5章 挖掘频繁模式、关 联和相关

1.基本概念
2.有效的和可伸缩的频繁项集挖掘方法 3.挖掘各种类型的关联规则 4.由关联挖掘到相关分析 5.基于约束的关联挖掘
关联规则挖掘—一个例子
Transaction ID 2000 1000 4000 5000 Items Bought A,B,C A,C A,D B,E,F
L3 itemset sup {2 3 5} 2
怎样产生候选项?

假设 Lk-1 中的项集都按序排列

第一步: 自连接 Lk-1
insert into Ck select p.item1, p.item2, …, p.itemk-1, q.itemk-1 from Lk-1 p, Lk-1 q where p.item1=q.item1, …, p.itemk-2=q.itemk-2,
基本概念：闭项集和极大项集

解决办法：挖掘闭项集 和极大项集

闭（频繁）项集：若不存在真超项集Y（ Y ‫כ‬ X ），使得Y与X在数据集S中有相同的支持 度计数，则称项集X在S中是闭的。
极大（频繁）项集：如果X是频繁的，并且 不存在频繁的超项集Y使得 Y ‫ כ‬X ，称X是极 大项集。 闭项集包含了频繁项集的完整信息

2.事务压缩

提高Apriori算法的效率


3.划分（只需扫描2次） 阶段1：将D中事务划分成不重叠的n个部分； 对每个划分，找出该划分中所有的局部频繁 项集。（第1次扫描） 阶段2：合并局部频繁项集，形成全局候选项 集，扫描数据库D，确定全局频繁项集。 （第2次扫描）
提高Apriori算法的效率

Chanllenges

多遍扫描事务数据库 庞大的候选集数量

冗长乏味的工作量：统计候选集支持度计数

改进 Apriori: 通常的想法

减少数据库扫描次数
压缩候选集数量 改进候选集支持度计数的统计方法