第八章 关联规则(1)

在第一次扫描时，算法读取每一个分区， 每个分区内计算局部频繁项集。在第二次 扫描时，算法计算整个DB中所有局部频繁 扫描时，算法计算整个DB中所有局部频繁 集的支持度。如果项集对于整个数据库来 集的支持度。如果项集对于整个数据库来 说是频繁的，那么它至少需要在一个分区 中是频繁的。因此，第二次扫描完成计算 中是频繁的。因此，第二次扫描完成计算 所有潜在的频繁项集的超集。 随着数据库大小的增加，取样成为数据挖 掘的一个不可多得的有效途径，基于取样 的算法需要以数据库进行两次扫描。
请注意: 请注意:并不是所有的强关联规则都是有用 的或者有意义的。例如，一个谷类早餐的 零售商对5000名学生的调查的案例。数据 零售商对5000名学生的调查的案例。数据 表明：60%的学生打篮球，75%的学生吃 表明：60%的学生打篮球，75%的学生吃 这类早餐，40%的学生即打篮球吃这类早 这类早餐，40%的学生即打篮球吃这类早 餐。假设支持度阈值s=0.4，置信度阈值 餐。假设支持度阈值s=0.4，置信度阈值 c=60%。基于上面数据和假设我们可挖掘 c=60%。基于上面数据和假设我们可挖掘 出强关联规则“(打篮球)→(吃早餐)”，因为 出强关联规则“(打篮球)→(吃早餐)”，因为 其(打篮球)和(吃早餐)的支持度都大于支持 打篮球) 吃早餐) 度阈值，都是频繁项，而规则的置信度 c=40%/60%=66.6%也大于置信度阈值。 c=40%/60%=66.6%也大于置信度阈值。
在挖掘2 项集时，因为2 在挖掘2-项集时，因为2-项集的任何子集都 是频繁项集，所以Apriori算法使用L 是频繁项集，所以Apriori算法使用L1*L1来 产生候选集。* 产生候选集。*运算通常定义为： Lk*Lk={X∪Y 其中X,Y∈Lk,|X∩Y|=k+1} ={X∪ 其中X,Y∈ 注:|X∩Y|=k+1即X和Y合取容量为k+1 :|X∩Y|=k+1即 合取容量为k+1 当k=1时，因此，C2包含在第二次迭代中作 k=1时，因此，C 为候选集由运算|L 为候选集由运算|L1|·|L1-1|/2所产生的2-项集。 1|/2所产生的2 本例中为：4·3/2=6。用该列表来扫描DB， 本例中为：4·3/2=6。用该列表来扫描DB， 计算每一个候选集的s，并与s 比较2 计算每一个候选集的s，并与smin比较2-项 集L2。图8-2给出了所有这些步骤和第二次 。图8 迭代的结果。
因为本例的L3无法产生候选的4 因为本例的L3无法产生候选的4-项集，所以 算法停止迭代过程。
该算法不仅计算所有频繁集的s 该算法不仅计算所有频繁集的s，也计 算那些没有被删除的非频繁候选集的s 算那些没有被删除的非频繁候选集的s。 所有非频繁但被算法计算s 所有非频繁但被算法计算s的候选项集 的集合被称为负边界。因此，如果项 集非频繁的，但它的子集都是频繁的， 那么它就在负边界之中。
8.4 提高Apriori算法的效率 提高Apriori算法的效率
因为挖掘频繁项集时所处理的数据量越来 越大，所以很有必要提高算法的效率。 Apriori算法扫描DB的次数完全依赖于最大 Apriori算法扫描DB的次数完全依赖于最大 的频繁项集中项的数量。为了解决这个问 题，该算法作了一些改进。 基于划分的Apriori算法只需要对DB进行两 基于划分的Apriori算法只需要对DB进行两 次扫描。DB被划分成若干个非重叠的分区， 次扫描。DB被划分成若干个非重叠的分区， 分区与内存相匹配。
8.1 购物篮分析
购物篮是顾客在一次事务中所购买项的集 合，所谓事务是一个明确定义的商业行为。 事务数据库研究的一个最普通的例子就是 寻找项的集合，或叫做项集。包含i 寻找项的集合，或叫做项集。包含i个项的 项集被称为i 项集被称为i-项集。包含该项集的事务的百 分数叫做该项集的支持度。支持度超过指 定阈值的项集叫做频繁项集。
基本概念： 设I={i1,i2,…im}是项的集合，DB为事务集合， 是项的集合，DB为事务集合， T⊆I 其中每个事务T 其中每个事务T是项的集合，且有 。每一 个事务有一个标识符，称作TID。 个事务有一个标识符，称作TID。 设X为一个 X⊆T 项集，当且仅当 时，即T包含X 时，即T包含X。关联 X X⇒Y 规则是形如 的蕴涵式，其中 , ⊆I X ⊆ I ,且 X I Y = ∅ 。规则 X ⇒ Y 在事务集 DB中成立，具有支持度s，其中s是DB中事 DB中成立，具有支持度s，其中s DB中事 务包含X 务包含X和Y两者的百分比。规则 X ⇒ Y 在 事务集DB中具有置信度c，如果DB中包含X 事务集DB中具有置信度c，如果DB中包含X 的事务同时也包含Y的百分比是c 的事务同时也包含Y的百分比是c。
100
计算的复杂性成指数增长，这是影响一些 新关联规则挖掘算法发展的一个主要因素。
频繁模式增长(FP-growth)方法是在大型数 频繁模式增长(FP-growth)方法是在大型数 据中挖掘频繁项集的一个有效算法。算法 进行中不存在产生候选集的繁琐过程，当 DB很大时，FP-增长算法首先进行数据库 DB很大时，FP投影，得到频繁集，然后通过构造一个压 缩的数据库结构---FP缩的数据库结构---FP-树再进行挖掘。
在本例中，负边界由项集{D},{A,B},{A,E} 在本例中，负边界由项集{D},{A,B},{A,E} 组 成。负边界在一些Apriori的改进算法中更为 成。负边界在一些Apriori的改进算法中更为 重要，例如生成大项集或导出负关联规则 时提高了有效性。
8.3 从频繁项集得到关联规则
第二阶段的工作是在第一阶段的基础上， 来挖掘关联规则。如果规则为{x 来挖掘关联规则。如果规则为{x1,x2,x3}→x4， 那么项集{x 那么项集{x1,x2,x3,x4}和{x1,x2,x3}都必须是频 繁的。然后，规则置信度c= 繁的。然后，规则置信度c= P({x4}|{x1,x2,x3})=s(x1,x2,x3,x4)/s(x1,x2,x3)。 置信度c 置信度c大于给定的阈值的规则就是强规则。
第八章 关联规则
本章目标 举例说明使用HITs、LOGSOM和路径遍历 举例说明使用HITs、LOGSOM和路径遍历 算法来进行Web挖掘的可行性。 算法来进行Web挖掘的可行性。 在指定提炼和萃取阶段的基础上定型文本 挖掘的构架。
关联规则是数据挖掘的主要技术之一， 也是在无指导学习系统中挖掘本地模 式的最普遍形式。 本章除了重点介绍关联规则挖掘的 Apriori技术外，还将讨论一些和Web Apriori技术外，还将讨论一些和Web 挖掘、文本挖掘相关的数据挖掘方法。
然而，以上的关联规则很容易产生误解，因 为吃早餐的比例为75%，大于66%。也就是 为吃早餐的比例为75%，大于66%。也就是 说，打篮球与吃早餐实际上是负关联的。 为了消除这种误导的规则，应该在关联规则 A→B的置信度超过某个特定的度量标准时， A→B的置信度超过某个特定的度量标准时， 定义它为有意义的。因此挖掘关联规则的正 确方法是： s(A,B)/s(A)s(A,B)/s(A)-s(B)>d 或者： s(A,B)s(A,B)-s(A) ·s(B)>k 式中d 式中d或k是适当的常量。（计算上例）
例如，以表8 例如，以表8-1中的数据为例。假设 smin=50%。 =50%。
在第一次迭代的第一步中，所有单项集都 作为候选集，产生一个候选集列表。在下 一步中，计算每一项的支持度，然后在smin 一步中，计算每一项的支持度，然后在s 的基础上选择频繁项集。图8 的基础上选择频繁项集。图8-1中给出第一 次迭代的结果。
8.2 APRIORI算法 APRIORI算法
Apriori算法利用几次迭代来计算数据库中的 Apriori算法利用几次迭代来计算数据库中的 频繁项集。第i次迭代计算出所有频繁i 频繁项集。第i次迭代计算出所有频繁i项集 (包含i个元素的项集)。每一次迭代有两个步 包含i个元素的项集) 骤：产生候选集；计算和选择候选集。 在第一次迭代中，产生的候选集包含所有1 在第一次迭代中，产生的候选集包含所有1项集，并计算其支持度s 大于阈值的1 项集，并计算其支持度s，s大于阈值的1-项 集被选为频繁1 集被选为频繁1-项集。 第二次迭代时，Apriori算法首先去除非频繁 第二次迭代时，Apriori算法首先去除非频繁 1-项集，在频繁1-项集的基础上进行产生频 项集，在频繁1 繁2-项集。原理是：如果一个项集是频繁， 那么它的所有子集也是频繁的。
支持度是概率 P(X U Y) 。 置信度是概率 P(Y | X) 。 置信度可以表示规则的可信性，支持度表示 模式在规则中出现的频率。具有高置信度和 强支持度的规则被称为强规则。 挖掘关联规则的问题可以分两个阶段： 1.发掘大项集，也就是事务支持度s大于预 1.发掘大项集，也就是事务支持度s 先给定的最小阈值的项的集合。 2.使用大项集来产生数据库中置信度c大于 2.使用大项集来产生数据库中置信度c 预先给定的最小阈值的关联规则。 Apriori算法是解决这个问题的常用方法。 Apriori算法是解决这个问题的常用方法。
8.5 频繁模式增长方法(FP-增长方法） 频繁模式增长方法(FP一个Apriori算法的可伸缩的问题。如果生成 一个Apriori算法的可伸缩的问题。如果生成 一个长度100的频繁模式，例如 一个长度100的频繁模式，例如 {a1,a2,…,a100}，那么所产生的候选集的数 量至少为：
100 = 2100 − 1 ≈ 10 30 ∑ i i
候选集C 运用L 候选集C3 运用L2*L2来产生，运算结果得到 {A,B,C},{A,C,E},{B,C,E}，但只有{B,C,E}的 {A,B,C},{A,C,E},{B,C,E}，但只有{B,C,E}的 所有子集是频繁项集，成为候选的3 所有子集是频繁项集，成为候选的3-项集。 然后扫描DB，并且挖掘出频繁3 然后扫描DB，并且挖掘出频繁3-项集，见 图8-3所示。
第一次扫描，从DB中选择一个样本，并且 第一次扫描，从DB中选择一个样本，并且 产生一个在整个DB中很可能为频繁的候选 产生一个在整个DB中很可能为频繁的候选 项集的集合。第二次扫描，算法计算这些 项集的实际支持度和它们的负边界的支持 度。如果在负边界中没有项集是频繁的， 那么说明已挖掘出所有频繁项集。否则， 负边界中的项集的一些超集可能就是频繁 的，但它的支持度还没有计算出来。取样 算法在随后的扫描时，会产生并计算所有则技术的建模特性。 分析大型数据库的基本特性。 描述Apriori算法，并通过示例来解释算法的 描述Apriori算法，并通过示例来解释算法的 所有步骤。 将频繁模式增长方法同Apriori算法进行比较。 将频繁模式增长方法同Apriori算法进行比较。 概述从频繁集中产生关联规则的方法。