第4章_关联规则

2015-4-16 数据仓库与数据挖掘 11
4.2 引例


定义4.8 关联规则的最小支持度和最小可信 度 关联规则的最小支持度也就是衡量频繁集 的最小支持度 (Minimum Support) ，记为 supmin，它用于衡量规则需要满足的最低 重 要 性 。 规 则 的 最 小 可 信 度 (Minimum Confidence)记为confmin，它表示关联规 则需要满足的最低可靠性。
2015-4-16
数据仓库与数据挖掘
25
4.3.2 FP-growth算法

函 数 insert_tree([p|P] ， T) 的 运 行 如 下 。 如 果 T 有 一 个 子 结 点 N ， 其 中 N.itemname=p.item-name ，则将 N 的 count 域值 加 1 ；否则，创建一个新节点 N ，使它的 count为1，使它的父节点为T，并且使它的 node_link和那些具有相同item_name的域 串起来。如果P非空，则递归调用 insert_tree(P，N)。
2015-4-16

数据仓库与数据挖掘
3
4.1 概述




关联规则 (Association Rule Mining)挖掘 是数据挖掘中最活跃的研究方法之一 最早是由R.Agrawal等人提出的 其目的是为了发现超市交易数据库中不同 商品之间的关联关系。 一个典型的关联规则的例子是： 70% 购买 了牛奶的顾客将倾向于同时购买面包。 经典的关联规则挖掘算法： Apriori 算法和 FP-growth算法
数据仓库与数据挖掘 12
2015-4-16
4.2 引例
定义4.7 关联规则的可信度 对于关联规则 R：XY，其中XI,YI， 并 且 XY= ， 规 则 R 的 可 信 度 (Confidence) 是指包含 X 和 Y 的交易数 与包含X的交易数之比

support(X Y) confidence (X Y) support(X)
数据仓库与数据挖掘 7
2015-4-16
4.2 引例
定义4.3 项集的支持度 对于项集X，XI，设定count(XT)为 交易集D中包含X的交易的数量


项集 X 的支持度 support(X) 就是项集 X 出现的概率，从而描述了X的重要性。
count(X T ) support(X) |D|
2015-4-16
4.2 引例
定义4.1 项目与项集 设 I={i1,i2,…,im} 是 m 个不同项目的集 合，每个ik(k=1，2，……，m)称为一 个项目(Item)。 项目的集合 I 称为项目集合 (Itemset) ， 简称为项集。其元素个数称为项集的 长度，长度为 k 的项集称为 k- 项集 (kItemset)。

2015-4-16
数据仓库与数据挖掘
23
4.3.2 FP-growth算法

针对Apriori算法的固有缺陷，J. Han等提出了不 产生候选挖掘频繁项集的方法：FP-树频集算法。 采用分而治之的策略，在经过第一遍扫描之后， 把数据库中的频集压缩进一棵频繁模式树（FPtree），同时依然保留其中的关联信息，随后再 将FP-tree分化成一些条件库，每个库和一个长度 为1的频集相关，然后再对这些条件库分别进行挖 掘。当原始数据量很大的时候，也可以结合划分 的方法,使得一个FP-tree可以放入主存中。实验 表明，FP-growth对不同长度的规则都有很好的 适应性，同时在效率上较之Apriori算法有巨大的 提高。
4.4.2 SQL Server 2005中的关联 规则挖掘
定义4.13 频繁项头表 每个项前缀子树(Item Prefix Subtree)的节点有三个域： item-name，count，node_link。item-name记录了该 节点所代表的项的名字。count记录了所在路径代表的交 易中包含此节点项目的交易个数。node_link指向下一个 具有同样的item-name域的节点，要是没有这样一个节点， 就为null。

2015-4-16
数据仓库与数据挖掘
22
4.3.2 FP-growth算法


定义4.12 频繁项头表 频繁项头表(Head Table)的每个表项由两个域组成：项目 名称item-name和指针node_link。node_link指向FPtree中具有与该表项相同item-name的第一个节点。
数据仓库与数据挖掘 9
2015-4-16
4.2 引例
定义4.5 关联规则 关联规则(Association Rule)可以表示 为一个蕴含式： R：XY

2015-4-16
数据仓库与数据挖掘
10
4.2 引例
定义4.6 关联规则的支持度 对于关联规则 R：XY，其中XI,YI， 并 且 XY= ， 规 则 R 的 的 支 持 度 (Support) 是交易集中同时包含 X 和 Y 的交易数与所有交易数之比。 count(X Y) support(X Y) |D|
数据仓库与数据挖掘 24
2015-4-16
4.3.2 FP-growth算法


第一部分：根据一个输入交易记录集建立一棵FP-tree， 其操作步骤如图4.4所示。 输 入：交易记录集D，最小支持度supmin。 输 出：FP-tree。（1）扫描数据库D一遍，得到频繁项 的集合F和每个频繁项的支持度。把F按支持度递降排序， 结果记为L。（2）创建FP-tree的根节点，记为T，并且 标记为“null”。然后对DB中的每个交易做如下的步骤： 根据L中的顺序，选出并排序Trans中的频繁项。把Trans 中排好序的频繁项列表记为[p|P]，其中p是第一个元素， P是列表的剩余部分。调用insert_tree([p|P]，T)。
2015-4-16 数据仓库与数据挖掘 13
关联规则的简单例子
2015-4-16
数据仓库与数据挖掘
14

顾客购买记录的数据库D，包含6个事务。 项集I={网球拍,网球,运动鞋,羽毛球}。考虑 关联规则（频繁二项集）：网球拍与网球， 事务1,2,3,4,6包含网球拍，事务1,2,6同时 包含网球拍和网球，支持度(X^Y)/D=0.5， 置信度(X^Y)/X=0.6。若给定最小支持度α = 0.5，最小置信度β = 0.6，认为购买网球 拍和购买网球之间存在关联。
2015-4-16
数据仓库与数据挖掘
15
4.2 引例


定义4.9 强关联规则 如 果 规 则 XY 满 足 ： support(XY)supmin 且 confidence(XY)confmin ，称关联规则 XY为强关联规则，否则称关联规则XY 为弱关联规则。在挖掘关联规则时，产生 的关联规则要经过 supmin 和 confmin 的衡 量，筛选出来的强关联规则才能用于指导 商家的决策。
数据仓库与数据挖掘 26
2015-4-16
4.4 相关研究与应用
分类： 基于规则中涉及到的数据的维数，关 联规则可以分为单维的和多维的。 基于规则中数据的抽象层次，可以分 为单层关联规则和多层关联规则。 基于规则中处理的变量的类型不同， 关联规则可以分为布尔型和数值型。

2015-4-16 数据仓库与数据挖掘 27
数据仓库与数据挖掘 4
2015-4-16
4.2 引例

假定某超市销售的商品包括：bread、 bear、cake、cream、milk和tea
交易号TID T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 顾 客 购 买 商 品Items bread cream milk tea bread cream milk cake milk milk tea bread cake milk bread tea beer milk tea bread tea bread cream milk tea bread milk tea 数据仓库与数据挖掘 5
数据仓库与数据挖掘 18
2015-4-16
4.3.1 Apriori算法
2015-4-16
数据仓库与数据挖掘
19
4.3.1 Apriori算法

apriori_gen(Lk-1, supmin)算法
2015-4-16
数据仓库与数据挖掘
20
4.3.1 Apriori算法

has_infrequent_subset(c, Lk-1)算法

2015-4-16 数据仓库与数据挖掘 6
4.2 引例





定义4.2 交易 每笔交易 T(Transaction) 是项集 I 上的一个 子集，即TI，但通常TI。 对应每一个交易有一个唯一的标识 —— 交 易号，记作TID 交易的全体构成了交易数据库D，或称交易 记录集D，简称交易集D。 交易集D中包含交易的个数记为|D|。
数据仓库与数据挖掘
第4章 关联规则
数理学院 唐志刚
2015-4-16
1
啤酒与尿布的故事说起

按常规思维，尿布与啤酒风马牛不相 及，若不是借助数据挖掘技术对海量 交易数据进行挖掘和分析，沃尔玛是 不可能发现数据内在这一有价值的规 律的。
2015-4-16
数据仓库与数据挖掘
2

在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。 但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个 笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家 所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确 了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物 篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里 集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上， 沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发 现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和 分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式： 在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们 中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因 是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们 在买尿布后又随手带回了他们喜欢的啤酒。