5关联规则及相关算法讲解
数据挖掘方法——关联规则(自己整理)
6
四、关联规则的分类
按照不同情况，关联规则可以进行分类如下： 1.基于规则中处理的变量的类别，关联规则可以分为布尔型和数值型。 布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系；而数值 型关联规则可以和多维关联或多层关联规则结合起来，对数值型字段进行处理，将其进行动 态的分割，或者直接对原始的数据进行处理，当然数值型关联规则中也可以包含种类变量。 例如：性别=“女”=>职业=“秘书” ，是布尔型关联规则；性别=“女”=>avg（收入）= 2300，涉及的收入是数值类型，所以是一个数值型关联规则。 2.基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。 在单层的关联规则中，所有的变量都没有考虑到现实的数据是具有多个不同的层次的；而 在多层的关联规则中，对数据的多层性已经进行了充分的考虑。例如：IBM台式机=>Sony打 印机，是一个细节数据上的单层关联规则；台式机=>Sony打印机，是一个较高层次和细节层 次之间的多层关联规则。 3.基于规则中涉及到的数据的维数，关联规则可以分为单维关联规则和多维关联规则。 在单维的关联规则中，我们只涉及到数据的一个维，如用户购买的物品；而在多维的关联 规则中，要处理的数据将会涉及多个维。换成另一句话，单维关联规则是处理单个属性中的 一些关系；多维关联规则是处理各个属性之间的某些关系。例如：啤酒=>尿布，这条规则 只涉及到用户的购买的物品；性别=“女”=>职业=“秘书”，这条规则就涉及到两个字段 的信息，是两个维上的一条关联规则。
小结：Apriori算法可以分为频繁项集的生成和关联规则的生成两 大步骤；FP-Growth算法可以分成FP-Tree的生成，频繁项集的生成和 关联规则的生成3大步骤。
Copyright © 2009, MANAGEMENT SCIENCE ASSOCIATES, INC.
关联规则的计算
关联规则的计算关联规则是数据挖掘中非常重要的一种方法，它可以发现数据集中不同项之间的关系，帮助我们从海量数据中发现有价值的信息和规律，对于商业决策和市场分析具有重要的作用。
而关联规则的计算是实现关联规则挖掘的关键步骤之一，下面我们就来了解一下关联规则的计算方法。
关联规则的计算方法主要包括支持度、置信度和提升度三个指标。
支持度是指某个项集在所有项集中出现的频率，是衡量某些项集之间关联程度的重要指标。
置信度是在前提条件下，后件出现的概率，也就是条件概率，是刻画关联规则强度的指标。
提升度则是指含有前提条件时，后件出现的概率与不含前提条件时后件出现的概率的比值，它是用来衡量前提条件对于后件出现的影响程度的指标。
下面我们来看一下如何通过这三个指标来计算关联规则。
以购物清单为例，假设我们有以下几个物品：牛奶、面包、鸡蛋、茶叶、咖啡和蜂蜜。
我们希望计算出购买牛奶和面包的人还会购买什么物品。
我们需要计算出所有物品的支持度。
假设有10个人购买了牛奶，那么牛奶的支持度就是10/总人数。
同理，面包的支持度也可以计算出来。
我们假设有5个人同时购买了牛奶和面包，那么购买牛奶和面包的支持度就是5/总人数。
接下来，我们可以通过支持度来计算置信度。
如果有5个人同时购买了牛奶和面包，其中4个人购买了鸡蛋，那么购买牛奶和面包的人购买鸡蛋的置信度就是4/5。
同理，我们可以计算购买牛奶和面包的人购买其他物品的置信度。
我们可以通过置信度来计算提升度。
如果购买牛奶和面包的人购买鸡蛋的提升度为2，那么就意味着购买牛奶和面包的人购买鸡蛋的概率是一般人购买鸡蛋概率的两倍。
同理，我们可以计算购买牛奶和面包的人购买其他物品的提升度。
在实际应用中，我们通常会设置一个最小支持度和最小置信度的阈值，只有满足这些阈值的关联规则才会被挖掘出来。
这样可以减少计算量，同时也可以提高关联规则的准确性。
关联规则的计算可以帮助我们发现数据集中不同项之间的关系，从而挖掘出有价值的信息和规律。
数据挖掘(第2版)-课件 第5章关联规则
• 关联分析用以发现事物间存在的关联性，除了购物篮分析外，有广泛应用， 如：辅助决策——挖掘商场销售数据、发现商品间的联系；医疗诊断—— 用于发现某些症状与某种疾病之间的关联；网页挖掘——用于发现文档集 合中某些词之间的关联，发现主题词演化模式、学科发展趋势；电子商 务——进行产品的关联推荐等。
频繁项集
支持度不小于最小支持度阈值的项集
强关联规则
根据用户预先定义的支持度和置信度阈值，支持度不小于最小支持度阈值 并且置信度不小于最小置信度阈值的规则
5.2.1 基本概念(4)
关联分析挖掘的关联规则分类 根据处理值分类
布尔关联规则 量化关联规则
根据涉及维度分类
单维关联规则 多维关联规则
支持度 (support)
事务数据库D中包含项A和B的事务占所有 事务的百分比
可表示为：support(A,B ) P(A B ) (A B )/ N
5.2.1 基本概念(3)
置信度
事务数据库D中同时包含项A和B的事务占包含项A的事务的百分比
条件概率表示为： confindence(A,B ) P(B | A) (A B )/ (A)
根据数据抽象层次分类
单层关联规则 多层关联规则
【例5-1】 设有事务集合如表5-1，计算规则{bread,milk tea} 的支持度、置信度。
交易号TID
顾客购买的商品
ห้องสมุดไป่ตู้
交易号TID
T1
bread, cream, milk, tea
T6
T2
bread, cream, milk
T7
数据挖掘方法——关联规则(自己整理)
小结：Apriori算法可以分为频繁项集的生成和关联规则的生成两 大步骤；FP-Growth算法可以分成FP-Tree的生成，频繁项集的生成和 关联规则的生成3大步骤。
Copyright © 2009, MANAGEMENT SCIENCE ASSOCIATES, INC.
9
五、关联规则挖掘的相关算法
Copyright © 2009, MANAGEMENT SCIENCE ASSOCIATES, INC.
Copyright © 2009, MANAGEMENT SCIENCE ASSOCIATES, INC.
7
五、关联规则挖掘的相关算法
1.Apriori算法：使用候选项集找频繁项集 Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是 基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关 联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和 预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小 支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集 合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定 义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被 留下来。为了生成所有频集，使用了递推的方法。 Apriori算法可以产生相对较小的候选项目集，扫描数据库的次数由最大频繁 项目集的项目数决定。因此，该算法适合于最大频繁项目集相对较小的数据集中 的关联规则挖掘问题。 Apriori算法的两大缺点:1.可能产生大量的候选集；2.可能需要重复扫描数据库。
关联分析的目的：找出数据库中隐藏的关联网。一般用Support(支 持度)和Confidence(可信度)两个阀值来度量关联规则的相关性，引入 lift(提高度或兴趣度）、相关性等参数，使得所挖掘的规则更符合需求。
关联规则
在数据挖掘的知识模式中，关联规则模式是比较重要的一种。
关联规则的概念由Agrawal、Imielinski、Swami 提出，是数据中一种简单但很实用的规则。
关联规则模式属于描述型模式，发现关联规则的算法属于无监督学习的方法。
一、关联规则的定义和属性考察一些涉及许多物品的事务：事务1 中出现了物品甲，事务2 中出现了物品乙，事务3 中则同时出现了物品甲和乙。
那么，物品甲和乙在事务中的出现相互之间是否有规律可循呢？在数据库的知识发现中，关联规则就是描述这种在一个事务中物品之间同时出现的规律的知识模式。
更确切的说，关联规则通过量化的数字描述物品甲的出现对物品乙的出现有多大的影响。
现实中，这样的例子很多。
例如超级市场利用前端收款机收集存储了大量的售货数据，这些数据是一条条的购买事务记录，每条记录存储了事务处理时间，顾客购买的物品、物品的数量及金额等。
这些数据中常常隐含形式如下的关联规则：在购买铁锤的顾客当中，有70 ％的人同时购买了铁钉。
这些关联规则很有价值，商场管理人员可以根据这些关联规则更好地规划商场，如把铁锤和铁钉这样的商品摆放在一起，能够促进销售。
有些数据不像售货数据那样很容易就能看出一个事务是许多物品的集合，但稍微转换一下思考角度，仍然可以像售货数据一样处理。
比如人寿保险，一份保单就是一个事务。
保险公司在接受保险前，往往需要记录投保人详尽的信息，有时还要到医院做身体检查。
保单上记录有投保人的年龄、性别、健康状况、工作单位、工作地址、工资水平等。
这些投保人的个人信息就可以看作事务中的物品。
通过分析这些数据，可以得到类似以下这样的关联规则：年龄在40 岁以上，工作在A 区的投保人当中，有45 ％的人曾经向保险公司索赔过。
在这条规则中，“年龄在40 岁以上”是物品甲，“工作在A 区”是物品乙，“向保险公司索赔过”则是物品丙。
可以看出来，A 区可能污染比较严重，环境比较差，导致工作在该区的人健康状况不好，索赔率也相对比较高。
第5次课关联规则newppt课件
第5章 关联规则 关联规则挖掘简介
研究关联规则的目标：发现数据中的规律 超市中的什么产品经常会被一起购买；-啤酒与尿布 在购买了PC机后，顾客下一步一般购买什么产品； 如何自动对WEB文档分类； 用户上了CCTV网站后，一般将会去那些其他网站； 用户购买了“XXX”书后，一般还会购买什么书; 某一类纳税人在当月未纳税，则其下个月也不纳税的可能性
所有关联规则的数量非常巨大，前面提到5000种商品共有25000 种模式。但可用评分函数的优势，可以将平均运行时间将到一个可 以接受的范围。
第5章 关联规则
关联规则的基本模型及算法
关于评分函数
注意若P(A=1) ≤Ps，且P(B=1) ≤Ps中任何一个成立。则
P(A=1,B=1) ≤Ps。
因此，可以首先找概率大于Ps的所有单个事件（线性扫描一 次）。若事件（或一组事件）大于Ps，则称其为频繁项集（频繁 1项集）。然后，对这些频繁事件所有可能对作为容量为2的候选 频繁集合。
项集（itemset）
第5章 关联规则 关联规则挖掘简介
关于属性值-属性值离散化 若数据集的属性都是布尔值，则此数据集中挖掘的关联
规则都是布尔关联规则。其它属性可以进行转换。可以将非布 尔值数据转换为布尔数据值。
TID
Age
Salary
1
35
3200
2
43
4600
3
56
3700
4
24
2100
…
…
…
第5章 关联规则
关联规则的基本模型及算法
{}
a
b
c
d
e
ab ac ad ae bc bd be
cd ce
de
关联规则基本算法
关联规则基本算法关联规则是一种用于发现数据集中属性之间关联关系的技术。
它可用于市场分析、销售预测、推荐系统等领域，有助于了解消费者购买行为、产品关联等。
关联规则算法的基本过程包括：找到频繁项集、生成关联规则和评估规则的可信度。
1.找到频繁项集：频繁项集是指在数据集中经常同时出现的一组项。
使用Apriori算法是发现频繁项集的一种常用方法。
Apriori算法基于Apriori原则，该原则表示如果一个项集是频繁的，那么它的所有子集也是频繁的。
算法的步骤如下：-第一步，扫描数据集，计算每个项的支持度，即项集在数据集中出现的频率。
-第二步，根据设定的最小支持度阈值，选择满足条件的项集作为候选项集。
-第三步，根据候选项集生成新的候选项集，直到无法生成满足条件的项集为止。
-第四步，根据设定的最小支持度阈值，筛选出频繁项集。
2.生成关联规则：在找到频繁项集后，可以根据它们生成关联规则。
关联规则具有形如“A->B”的形式，表示项集A和项集B之间存在其中一种关联关系。
关联规则的生成过程如下：-第一步，对于每个频繁项集，生成该项集的所有非空子集作为规则的前提条件，项集剩余的部分作为规则的结果。
-第二步，根据设定的最小置信度阈值，筛选出满足条件的关联规则。
3.评估规则的可信度：评估规则的可信度是为了确定生成的关联规则是否具有实际意义。
可以使用支持度和置信度来评估规则的可信度。
-支持度是指规则在数据集中出现的频率，可以用来判断规则的普适性。
支持度高表示规则适用范围广。
-置信度是指在前提条件出现的情况下，结果项出现的概率，可以用来判断规则的准确性。
置信度高表示规则的预测准确性高。
通过计算规则的支持度和置信度，可以对规则进行排序和筛选，选择具有较高可信度的关联规则。
关联规则算法有很多改进的方法，例如FP-Growth算法、ECLAT算法等。
这些算法在找到频繁项集的过程中做了优化，提高了算法的效率和准确性。
总结起来，关联规则算法是一种发现数据集中属性之间关联关系的方法。
关联规则算法
关联规则算法
关联规则算法是一种机器学习算法，可以用来分析大规模数据集并寻找有价值的知识。
在商业领域，关联规则算法被广泛应用于营销、零售以及金融分析等领域的决策过程中，能够大大提升企业的盈利能力，深受企业家的喜爱。
关联规则算法是一种用来处理交易数据的算法，其主要目标是根据历史交易数据找出隐含在其中的潜在关系。
比如，一家超市可以根据历史购物记录发现，牛奶和坚果类食品的销量深受节假日气氛的影响。
已经了解这种关联后，超市可以利用这一信息，灵活调整促销手段，提高牛奶和坚果类食品的销量。
关联规则算法的基本原则就是最大化「关联置信度」，能够有效识别用户的消费行为，挖掘用户的消费规律，并给出有效的推荐。
关联规则算法的特点是，它可以自动从数据库中生成关联规则，挖掘出数据库中隐藏的丰富潜在联系。
关联规则算法的一般过程分为三步：首先，收集数据，把不同项目相关的事实聚集在一起，以创建一个数据库；其次，根据关联规则技术，从数据库中解析出可能存在的潜在关系；最后，利用这些发现的潜在关系，推断出更多复杂的关系，以期能够指导企业的决策。
关联规则算法的优势在于：它能够以易于理解的方式，揭示隐藏在数据库中的潜在有价值的信息；同时，关联规则算法也可以帮助企业分析分析大批量数据，以期发现潜在的有价值洞见，从而提升整体的决策水平。
总之，关联规则算法是一种高效的数据分析方法，从大规模的历史数据中发现潜在的有价值的信息，能够有效提高企业的决策水平，是了解数据背后的信息，推动企业发展的重要工具。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
频繁3-项集为
L3={{牛奶,果冻,啤酒},{牛奶,果冻,花生酱}}
2. 由频繁项集产生关联规则 由上一步得到的频繁项集集合 L2 和 L3 中的 每一个频繁项集 l 都可以产生关联规则。
以下用 L3 中频繁项集 l = {I1, I2, I5} 进行说明。 L2 和 L3 中的其它频繁项集的关联规则同理可得。
置信度c是包含X Y 的事务数与包含X的事务数的比值
confidence ( X Y ) P(Y | X )
频繁项集
用户预先定义最小支持度阈值（min_sup）和最 小置信度阈值（min_conf）。 如果某个项集的支持度大于等于设定的最小支持 度阈值min_sup，称这个项集为“频繁项集” （也称为“大项集”，LargeItemsets），所有 的“频繁k-项集”组成的集合通常记作Lk。
关联可分为简单关联、时序关联、因果关联。关联 分析的目的是找出数据库中隐藏的关联，并以规则 的形式表达出来，这就是关联规则。
基本概念
一个样本称为一个“事务” 每个事务由多个属性来确定，这里的属性我们称为“项” 多个项组成的集合称为“项集”
k-项集
由k个项构成的集合
{牛奶}、{啤酒}都是1-项集； {牛奶，果冻}是2-项集； {啤酒，面包，牛奶}是3-项集。
l＝{ I1, I2, I5 }的所有的非空子集为：
{I1, I2}，{I1, I5}，{I2, I5}，{I1}，{I2} 和 {I5}
对于 l 的每个非空子集 s，计算 s ⇒ l-s 的 置信度并输出规则：
I1∧I2 ⇒ I5，confidence = 2/4 = 50% I1∧I5 ⇒ I2，confidence = 2/2 = 100% I2∧I5 ⇒ I1，confidence = 2/2 = 100% I1 ⇒ I2∧I5，confidence = 2/6 = 33% I2 ⇒ I1∧I5，confidence = 2/7 = 29%
关联规则及相关算法
主要内容
关联规则概述 Apriori算法 CARMA算法 序列模式
关联规则概述
数据关联是数据库中存在的一类重要的可被发现的 知识。若两个或多个变量的取值之间存在某种规律 性，就称为关联。 关联规则挖掘的一个典型例子是购物篮分析。
啤酒与尿布的故事
啤酒与尿布的故事
Apriori：频繁项集的非单调性 AprioriTid： AprioriHybrid
深度优先算法
FP-growth Eclat H-Mine
Apriori算法 (1)
Apriori算法是挖掘布尔关联规则频繁项集的算法 Apriori算法利用频繁项集性质的先验知识（prior knowledge），通过逐层搜索的迭代方法，即将 k-项集用于探察(k+1)-项集，来穷尽数据集中的所 有频繁项集。
每个事务其实就是一个项集
关联规则的表示
X Y
s, c
X和Y是项集 X称为规则前项（或者前件，antecedent） Y称为规则后项（或者后件，consequent）
支持度s是数据库中包含 X Y 的事务占全部事务的百分比
support( X Y ) P( X Y )
关联规则挖掘过程主要包含两个阶段
第一阶段先从数据集中找出所有的频繁项集，它们的支 持度均大于等于最小支持度阈值min_sup 第二阶段由这些频繁项集产生关联规则，计算它们的置 信度，然后保留那些置信度大于等于最小置信度阈值 min_conf的关联规则。
关联规则挖掘算法
广度优先算法
啤酒与尿布的故事
一个意外的发现是：跟尿布一起购买最多的商品 竟是啤酒！ 经过大量实际调查和分析，揭示了一个隐藏在“ 尿布与啤酒”背后的美国人的一种行为模式：
在美国，一些年轻的父亲下班后经常要到超市去买婴 儿尿布，而他们中有30%～40%的人同时也为自己买 一些啤酒。产生这一现象的原因是：美国的太太们常 叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买 尿布后又随手带回了他们喜欢的啤酒。
在一家超市里，有一个有趣的现象：尿布和啤酒 赫然摆在一起出售。但是这个奇怪的举措却使尿 布和啤酒的销量双双增加了。
这不是一个笑话，而是发生在美国沃尔玛连锁店 超市的真实案例，并一直为商家所津津乐道。
啤酒与尿布的故事
沃尔玛拥有世界上最大的数据仓库系统，为了能 够准确了解顾客在其门店的购买习惯，沃尔玛对 其顾客的购物行为进行购物篮分析，想知道顾客 经常一起购买的商品有哪些。沃尔玛数据仓库里 集中了其各门店的详细原始交易数据。 在这些原始交易数据的基础上，沃尔玛利用数据 挖掘方法对这些数据进行分析和挖掘。
先找到频繁1-项集集合L1,然后用L1找到频繁2-项集集 合L2，接着用L2找L3，直到找不到频繁k-项集，找每个 Lk需要一次数据库扫描。
以表5-1为例 min_sup=0.22
频繁1-项集为
L1={{牛奶}，{果冻}，{啤酒}，{面包}，{花生酱}}
频繁2-项集为
L2={{牛奶,果冻},{牛奶,啤酒},{牛奶,花生酱},{果冻, 啤 酒},{果冻, 面包},{果冻, 花生酱}}
I5 ⇒ I1∧I2，confidence = 2/2 = 00%
如果最小置信度阈值为70%，则只有2、3 和 最后一个规则可以输出，因为只有这些是强的。
在Clementine中应用Apriori算法
应用Apriori节点来对某超市的客户采购数据集进 行购物篮分析。该数据集包含有21个属性（这些 属性包括：COD、pasta、milk、water、 biscuits、coffee、brioches、yoghurt、frozen vegetables、tunny、beer、tomato、souce、 coke、rice、juices、crackers、oil、frozen fish、ice cream、mozzarella、tinned meat。 其中“COD”是记录编号，其它20个属性代表20 种商品），共46243个记录。每个属性代表某种 商品，其取值为“0”或者“1”，“0”表示没有购 买该商品，“1”表示购买了该商品。