关联规则与关联分析教学教材
合集下载
第十二讲 关联分析方法
本讲讲授目标： 1. 关联规则挖掘的基本概念 2. 关联规则挖掘的过程 3. 关联规则挖掘的Apriori算法 4. 关联规则价值衡量的方法
1
1. 购物篮分析－引发关联规则挖掘的例子 问题：“什么商品组或集合, 顾客多半会在一次购 物中同时购买？” 〖例〗购买计算机与购买财务管理软件的关联规则 可表示为： computer financial_management_software [support=2%,confidence=60%] support为支持度，confidence为置信度。 该规则表示：在所分析的全部事务中，有2％的事 务同时购买计算机和财务管理软件；在购买计算 机的顾客中60％也购买财务管理软件。
置信度和支持度均大于给定阈值（即最小置信度阈 值和最小支持度阈值）。即： support(XY) >＝ min_sup confidence(XY) >＝ min_conf 的关联规则称为强规则；否则称为弱规则。 数据挖掘主要就是对强规则的挖掘。通过设置最小 支持度和最小置信度可以了解某些数据之间的关联 程度。
2
关联（Associations）分析的目的是为了
挖掘隐藏在数据间的相互关系，即对于给定 的一组项目和一个记录集，通过对记录集的 分析，得出项目集中的项目之间的相关性。 项目之间的相关性用关联规则来描述，关联 规则反映了一组数据项之间的密切程度或关 系。
3
support(XY)＝(包含X和Y的事务数 / 事务总数)×100％ confidence(XY)＝(包含X和Y的事务数 / 包含X的事务数)×100 ％
12
13
14
下表为顾客购买记录情况，TID代表一次购
买记录,其中I1—牛奶，I2 —鸡蛋，I3 —面 包，I4 —黄油，I5 —果酱。试分析顾客同 TID 项ID的列表 时购买食品的情况。 (设最小支持度为2)
1
1. 购物篮分析－引发关联规则挖掘的例子 问题：“什么商品组或集合, 顾客多半会在一次购 物中同时购买？” 〖例〗购买计算机与购买财务管理软件的关联规则 可表示为： computer financial_management_software [support=2%,confidence=60%] support为支持度，confidence为置信度。 该规则表示：在所分析的全部事务中，有2％的事 务同时购买计算机和财务管理软件；在购买计算 机的顾客中60％也购买财务管理软件。
置信度和支持度均大于给定阈值（即最小置信度阈 值和最小支持度阈值）。即： support(XY) >＝ min_sup confidence(XY) >＝ min_conf 的关联规则称为强规则；否则称为弱规则。 数据挖掘主要就是对强规则的挖掘。通过设置最小 支持度和最小置信度可以了解某些数据之间的关联 程度。
2
关联（Associations）分析的目的是为了
挖掘隐藏在数据间的相互关系，即对于给定 的一组项目和一个记录集，通过对记录集的 分析，得出项目集中的项目之间的相关性。 项目之间的相关性用关联规则来描述，关联 规则反映了一组数据项之间的密切程度或关 系。
3
support(XY)＝(包含X和Y的事务数 / 事务总数)×100％ confidence(XY)＝(包含X和Y的事务数 / 包含X的事务数)×100 ％
12
13
14
下表为顾客购买记录情况，TID代表一次购
买记录,其中I1—牛奶，I2 —鸡蛋，I3 —面 包，I4 —黄油，I5 —果酱。试分析顾客同 TID 项ID的列表 时购买食品的情况。 (设最小支持度为2)
数据挖掘(第2版)-课件 第5章关联规则
• 如：规则{尿布}—>{啤酒}表示尿布和啤酒的销售之间存在关联—— “啤酒与尿布”的故事。
• 关联分析用以发现事物间存在的关联性，除了购物篮分析外，有广泛应用， 如：辅助决策——挖掘商场销售数据、发现商品间的联系；医疗诊断—— 用于发现某些症状与某种疾病之间的关联；网页挖掘——用于发现文档集 合中某些词之间的关联，发现主题词演化模式、学科发展趋势；电子商 务——进行产品的关联推荐等。
频繁项集
支持度不小于最小支持度阈值的项集
强关联规则
根据用户预先定义的支持度和置信度阈值，支持度不小于最小支持度阈值 并且置信度不小于最小置信度阈值的规则
5.2.1 基本概念(4)
关联分析挖掘的关联规则分类 根据处理值分类
布尔关联规则 量化关联规则
根据涉及维度分类
单维关联规则 多维关联规则
支持度 (support)
事务数据库D中包含项A和B的事务占所有 事务的百分比
可表示为：support(A,B ) P(A B ) (A B )/ N
5.2.1 基本概念(3)
置信度
事务数据库D中同时包含项A和B的事务占包含项A的事务的百分比
条件概率表示为： confindence(A,B ) P(B | A) (A B )/ (A)
根据数据抽象层次分类
单层关联规则 多层关联规则
【例5-1】 设有事务集合如表5-1，计算规则{bread,milk tea} 的支持度、置信度。
交易号TID
顾客购买的商品
ห้องสมุดไป่ตู้
交易号TID
T1
bread, cream, milk, tea
T6
T2
bread, cream, milk
T7
• 关联分析用以发现事物间存在的关联性，除了购物篮分析外，有广泛应用， 如：辅助决策——挖掘商场销售数据、发现商品间的联系；医疗诊断—— 用于发现某些症状与某种疾病之间的关联；网页挖掘——用于发现文档集 合中某些词之间的关联，发现主题词演化模式、学科发展趋势；电子商 务——进行产品的关联推荐等。
频繁项集
支持度不小于最小支持度阈值的项集
强关联规则
根据用户预先定义的支持度和置信度阈值，支持度不小于最小支持度阈值 并且置信度不小于最小置信度阈值的规则
5.2.1 基本概念(4)
关联分析挖掘的关联规则分类 根据处理值分类
布尔关联规则 量化关联规则
根据涉及维度分类
单维关联规则 多维关联规则
支持度 (support)
事务数据库D中包含项A和B的事务占所有 事务的百分比
可表示为：support(A,B ) P(A B ) (A B )/ N
5.2.1 基本概念(3)
置信度
事务数据库D中同时包含项A和B的事务占包含项A的事务的百分比
条件概率表示为： confindence(A,B ) P(B | A) (A B )/ (A)
根据数据抽象层次分类
单层关联规则 多层关联规则
【例5-1】 设有事务集合如表5-1，计算规则{bread,milk tea} 的支持度、置信度。
交易号TID
顾客购买的商品
ห้องสมุดไป่ตู้
交易号TID
T1
bread, cream, milk, tea
T6
T2
bread, cream, milk
T7
大数据技术及应用教学课件第7章 大数据分析挖掘-关联规则
第7章
大数据分析挖掘—关联规则
主要内容
01
关联规则的概念
02
关联规则挖掘的一般过程
03
Apriori算法
04
FP-Growth算法
05
关联模式评估
大数据分析挖掘——关联规则
7.1基本概念
• 设 I {x1, x2,xm}是项目的集合，其中的元素称为项目 (item),一个集合被称为一个项集，包含k个项的集合称为 k-项集。
项集 支持度计数
{I1,I2} 1
{I1,I3} 2
{I1,I5} 1
{I2,I3} 2
{I2,I5} 3
{I3,I5} 2
4.比较候选项支持度计数与最小支持度min_sup，产生2维最大项目集：
项集 支持度计数
{I1,I3} 2
{I2,I3} 2
{I2,I5} 3
{I3,I5} 2
5.由L2 产生候选项集 C3，比较候选项支持度计数与最小支持度 min_sup，产生3维最大项目集 L3 ，至此算法终止。
• FP-Growth算法（Frequent Pattern-Growth）是另一种 找出频繁项集的方法，与先生成规则再筛选的Apriori算 法不同，FP-Growth算法是将数据库中符合频繁1-项集规 则的事务映射在一种图数据结构中，即FP树，而后据此 再生成频繁项集，整个过程只需要扫描两次数据集。
表7.1 某商店购物清单 Item 2
Item 3
1
香草华夫
香蕉
狗粮
2
香蕉
3
香蕉
4
香草华夫
5
面包
6
牛奶
7
香草华夫
8
酸奶
9
大数据分析挖掘—关联规则
主要内容
01
关联规则的概念
02
关联规则挖掘的一般过程
03
Apriori算法
04
FP-Growth算法
05
关联模式评估
大数据分析挖掘——关联规则
7.1基本概念
• 设 I {x1, x2,xm}是项目的集合，其中的元素称为项目 (item),一个集合被称为一个项集，包含k个项的集合称为 k-项集。
项集 支持度计数
{I1,I2} 1
{I1,I3} 2
{I1,I5} 1
{I2,I3} 2
{I2,I5} 3
{I3,I5} 2
4.比较候选项支持度计数与最小支持度min_sup，产生2维最大项目集：
项集 支持度计数
{I1,I3} 2
{I2,I3} 2
{I2,I5} 3
{I3,I5} 2
5.由L2 产生候选项集 C3，比较候选项支持度计数与最小支持度 min_sup，产生3维最大项目集 L3 ，至此算法终止。
• FP-Growth算法（Frequent Pattern-Growth）是另一种 找出频繁项集的方法，与先生成规则再筛选的Apriori算 法不同，FP-Growth算法是将数据库中符合频繁1-项集规 则的事务映射在一种图数据结构中，即FP树，而后据此 再生成频繁项集，整个过程只需要扫描两次数据集。
表7.1 某商店购物清单 Item 2
Item 3
1
香草华夫
香蕉
狗粮
2
香蕉
3
香蕉
4
香草华夫
5
面包
6
牛奶
7
香草华夫
8
酸奶
9
大数据挖掘导论与案例课件：关联分析概念与方法
则通常从事务数据中挖掘，涉及到数据的只有一个维度，处理的是单个维内的关系。
根据数据的抽象层次，关联规则可以分为单层关联规则和多层关联规则。在单层关联
规则中，没有考虑现实数据的多层次性。多层关联规则是指在规则挖掘中，对数据的
多层性进行了充分考虑。
6.2
关联分析的方法
6.2.1 先验原理
大数据挖掘导论与案例
由此可见，在生成规则的过程中，一旦有低置信度的规则出现，就可以利用它进行剪枝，
此过程称为基于置信度的剪枝（confidence-based pruning），如下图所示。
采用剪枝策略可有效降低关联规则生成的计算复杂度。
6.2.3 Apriori算法生成关联规则
基于置信度的剪枝
大数据挖掘导论与案例
6.2.4 Apriori算法效率提升
任何具有反单调性的度量都能够直接结合到挖掘算法中，对候选项集的指数搜索空间有
效地进行剪枝，以降低生成频繁项集的计算代价。
6.2.2 Apriori算法产生频繁项集
大数据挖掘导论与案例
Apriori算法是关联规则挖掘的经典算法，它开创性地使用了基于支持度的剪枝技术来控
制候选项集的指数增长。此处以下表所示的事务数据集为例，展示Apriori算法挖掘频繁
大数据挖掘导论与案例
在对购物篮数据进行关联分析时，需要处理两个关键问题：第一，计算复杂度问题。从
大型事务数据集中发现有意义的规则在计算上要付出很高的代价；第二，规则的筛选问
题。所发现的某些规则可能是虚假的或不令人感兴趣的，因为它们可能是偶然发生的或
者是已经被研究者所熟知的。
除了购物篮分析外，关联分析也被应用于公共管理、生物信息学、医疗诊断、网页挖掘
和推荐系统等领域。
根据数据的抽象层次，关联规则可以分为单层关联规则和多层关联规则。在单层关联
规则中，没有考虑现实数据的多层次性。多层关联规则是指在规则挖掘中，对数据的
多层性进行了充分考虑。
6.2
关联分析的方法
6.2.1 先验原理
大数据挖掘导论与案例
由此可见，在生成规则的过程中，一旦有低置信度的规则出现，就可以利用它进行剪枝，
此过程称为基于置信度的剪枝（confidence-based pruning），如下图所示。
采用剪枝策略可有效降低关联规则生成的计算复杂度。
6.2.3 Apriori算法生成关联规则
基于置信度的剪枝
大数据挖掘导论与案例
6.2.4 Apriori算法效率提升
任何具有反单调性的度量都能够直接结合到挖掘算法中，对候选项集的指数搜索空间有
效地进行剪枝，以降低生成频繁项集的计算代价。
6.2.2 Apriori算法产生频繁项集
大数据挖掘导论与案例
Apriori算法是关联规则挖掘的经典算法，它开创性地使用了基于支持度的剪枝技术来控
制候选项集的指数增长。此处以下表所示的事务数据集为例，展示Apriori算法挖掘频繁
大数据挖掘导论与案例
在对购物篮数据进行关联分析时，需要处理两个关键问题：第一，计算复杂度问题。从
大型事务数据集中发现有意义的规则在计算上要付出很高的代价；第二，规则的筛选问
题。所发现的某些规则可能是虚假的或不令人感兴趣的，因为它们可能是偶然发生的或
者是已经被研究者所熟知的。
除了购物篮分析外，关联分析也被应用于公共管理、生物信息学、医疗诊断、网页挖掘
和推荐系统等领域。
《数据挖掘导论》第2章 基本数据挖掘技术(2)——关联规则
清华大学出版社
Apriori算法在冰山查询中的应用
• 通过某属性或属性集计算聚集函数，找 出某个大于阈值的聚集值，通常，聚集 结果的数目非常小（冰山一角），而数 据本身非常大（冰山）。
2019年12月3日星期二
第40页，共15页
清华大学出版社
新例8.7 Sales(cust_ID,item_ID,qty)
• 关联关系以一组特殊的规则形式出现——关联规则（Association Rules）
2019年12月3日星期二
第2页，共15页
2.2.1 关联规则概述
清华大学出版社
• 一般表现为蕴涵式规则形式：X→Y。
• 其中——
– X和Y分别称为关联规则的前提或先导条件（Antecedent）和 结果或后继（Consequent）。
2019年12月3日星期二
第29页，共15页
步骤
清华大学出版社
（5）以生成的条目集为基础创建关联规则。 • 首先设置置信度阈值为80%； • 然后从双项和三项条目集表中生成关联规则； • 最后，所有不满足置信度阈值的规则将被删除。 • 以双项条目集中的第一条条目生成的两条规则——
– IF Book =1 THEN Earphone = 1 （置信度：4/5 = 80%，保留） – IF Earphone = 1 THEN Book =1（置信度：4/7 = 57.1%，删除）
第20页，共15页
清华大学出版社
2019年12月3日星期二
第21页，共15页
清华大学出版社
2019年12月3日星期二
第22页，共15页
清华大学出版社
2019年12月3日星期二
第23页，共15页
清华大学出版社
第4章 关联规则
支持度计数。
Transactions
N
TID
1
2
3
4
5
Items
Bread, Milk
Bread, Diaper, Beer, Eggs
Milk, Diaper, Beer, Coke
Bread, Milk, Diaper, Beer
Bread, Milk, Diaper, Coke
List of
Candidates
大数据应用人才培养系列教材
第四章
关联规则
4.1
关联规则的基本概念
4.2
关联规则的挖掘过程
4.3
关联规则的Apriori算法
4.4
关 联 规 则 的 F P - G ro w t h 算 法
习题
4.1 关联规则的基本概念
第四章 关联规则
关联规则概念最早是由Agrawal等人在1993年首先提出的，最初的
动机是针对购物篮分析问题提出的，其目的是为了发现交易数据库中不
同商品之间的联系规则。具体定义为：从事务数据库、关系数据库和其
他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关
联和相关性。
关联规则挖掘就是从大量的数据中挖掘出描述数据项之间相互联系
的有价值的有关知识。
4.1 关联规则的基本概念
如：项集{面包，尿布}可以用项集{牛奶}扩展，因为“牛奶”
（milk）在字典序下比“面包”（Bread）和“尿布”（
Diapers）都大。
– 尽管这种方法比蛮力方法有明显改进，但是仍然产生大量不
必要的候选。
例如，通过合并{啤酒，尿布}和{牛奶}而得到的候选是不必
要的。因为它的子集{啤酒，牛奶}是非频繁的。
Transactions
N
TID
1
2
3
4
5
Items
Bread, Milk
Bread, Diaper, Beer, Eggs
Milk, Diaper, Beer, Coke
Bread, Milk, Diaper, Beer
Bread, Milk, Diaper, Coke
List of
Candidates
大数据应用人才培养系列教材
第四章
关联规则
4.1
关联规则的基本概念
4.2
关联规则的挖掘过程
4.3
关联规则的Apriori算法
4.4
关 联 规 则 的 F P - G ro w t h 算 法
习题
4.1 关联规则的基本概念
第四章 关联规则
关联规则概念最早是由Agrawal等人在1993年首先提出的，最初的
动机是针对购物篮分析问题提出的，其目的是为了发现交易数据库中不
同商品之间的联系规则。具体定义为：从事务数据库、关系数据库和其
他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关
联和相关性。
关联规则挖掘就是从大量的数据中挖掘出描述数据项之间相互联系
的有价值的有关知识。
4.1 关联规则的基本概念
如：项集{面包，尿布}可以用项集{牛奶}扩展，因为“牛奶”
（milk）在字典序下比“面包”（Bread）和“尿布”（
Diapers）都大。
– 尽管这种方法比蛮力方法有明显改进，但是仍然产生大量不
必要的候选。
例如，通过合并{啤酒，尿布}和{牛奶}而得到的候选是不必
要的。因为它的子集{啤酒，牛奶}是非频繁的。
关联规则
内部资料 泰迪科技（）
4
关联规则——Apriori算法介绍
以超市销售数据为例，提取关联规则的最大困难在于当存在
很多商品时，可能的商品的组合（规则的前项与后项）的数
目会达到一种令人望而却步的程度。因而各种关联规则分析 的算法从不同方面入手减小可能的搜索空间的大小以及减小 扫描数据的次数。 Apriori算法是最经典的挖掘频繁项集的算法，第一次实现了 在大数据集上可行的关联规则提取，其核心思想是通过连接 产生候选项与其支持度然后通过剪枝生成频繁项集。
内部资料 泰迪科技（）
5
关联规则——Apriori算法介绍
1、关联规则和频繁项集
，
（1）关联规则的一般形式 项集A、B同时发生的概率称为关联规则的支持度：
Support ( A B) P( A B)
项集A发生，则项集B也同时发生的概率为关联规则的置信度：
Confidence( A B) P( B|A)
订单号 1 2 3 4 5 6 7 8 9 10 菜品id 18491, 8693，8705 8842,7794 8842，8693 18491，8842，8693，7794 18491，8842 8842，8693 18491，8842 18491，8842,8693,8705 18491，8842,8693 18491，8693 菜品id a，c，e b，d b，c a，b，c，d a，b b，c a，b a，b，c，e a，b，c a，c，e
项集将不会存在于 Ck ，该过程就是剪枝。
内部资料 泰迪科技（）
13
关联规则——Apriori算法实现
Apriori算法的实现的两个过程 过程一：找出所有的频繁项集。 过程二：由频繁项集产生强关联规则 由过程一可知未超过预定的最小支持度阈值的项集已被剔除， 如果剩下这些规则又满足了预定的最小置信度阈值，那么就挖 掘出了强关联规则。
实验二Clementine12购物篮分析（关联规则）
实验⼆Clementine12购物篮分析（关联规则）实验⼆Clementine12购物篮分析（关联规则）⼀、[实验⽬的]设计关联规则分析模型，通过模型演⽰如何对购物篮分析，并根据细分结果对采取不同的营销策略。
体验以数据驱动的模型计算给科学决策带来的先进性。
⼆、[知识要点]1、购物蓝分析概念；2、管来呢规则算法原理；3、购物蓝分析⼯具；4、Clementine12.0关联规则分析流程。
三、[实验要求和内容]1、初步了解使⽤⼯作流的⽅式构建分析模型；2、理解智能数据分析流程，主要是CRISP-DM⼯业标准流程；3、理解关联规则模型原理；4、设计关联规则分流；5、运⾏该流，并将结果可视化展⽰；6、得出模型分析结论7、运⾏结果进⾏相关营销策略设计。
四、[实验条件]Clementine12.0挖掘软件。
五、[实验步骤]1、启动Clementine12.0软件；2、在⼯作区设计管来呢规则挖掘流；3、执⾏模型，分析计算结果；4、撰写实验报告。
六、[思考与练习]1、为什么要进⾏关联规则分析？它是如何⽀持客户营销的？实验内容与步骤⼀、前⾔“啤酒与尿布”的故事是营销届的神话，“啤酒”和“尿布”两个看上去没有关系的商品摆放在⼀起进⾏销售、并获得了很好的销售收益，这种现象就是卖场中商品之间的关联性，研究“啤酒与尿布”关联的⽅法就是购物篮分析，购物篮分析曾经是沃尔玛秘⽽不宣的独门武器，购物篮分析可以帮助我们在门店的销售过程中找到具有关联关系的商品，并以此获得销售收益的增长！“啤酒与尿布”的故事产⽣于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理⼈员分析销售数据时发现了⼀个令⼈难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫⽆关系的商品会经常出现在同⼀个购物篮中，这种独特的销售现象引起了管理⼈员的注意，经过后续调查发现，这种现象出现在年轻的⽗亲⾝上。
在美国有婴⼉的家庭中，⼀般是母亲在家中照看婴⼉，年轻的⽗亲前去超市购买尿布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 项集的一个重要性质就是它的支持度计数 ，即包含特定项集的事务个数，数学上， 项集X的支持度计数σ（X）可以表示为： σ （X）=|{ti|X≤ti，ti∈T}|
• 关联规则是形如X→Y的蕴含表达式，其中 X和Y是不的支持度 （support）和置信度（confidence）度量。 支持度确定了规则可以用于给定数据集的 频繁程度，而置信度确定了Y包含X的事务 中出现的频繁程度。
什么是关联规则挖掘？
• 关联规则挖掘：
– 从事务数据库，关系数据库和其他信息存储中 的大量数据的项集之间发现有趣的、频繁出现 的模式、关联和相关性。
• 应用：
– 购物篮分析、分类设计、捆绑销售等
“尿布与啤酒”——典型关联分析 案例
• 采用关联模型比较典型的案例是“尿布与 啤酒”的故事。在美国，一些年轻的父亲 下班后经常要到超市去买婴儿尿布，超市 也因此发现了一个规律，在购买婴儿尿布 的年轻父亲们中，有30%～40%的人同时 要买一些啤酒。超市随后调整了货架的摆 放，把尿布和啤酒放在一起，明显增加了 销售额。同样的，我们还可以根据关联规 则在商品销售方面做各种促销活动。
• 单维关联规则 • （仅涉及buys这个维）
bu (X y ,"csom ") p bu u (X ty ,e "ss rof"t)ware
• 关联规则的两个兴趣度度量 – 支持度 bu(y X,s"com"p ) ubtu e(ry X,s"soft"w ) – 置信度 [su pp or2% t c,onfid6e % 0n]ce
• 关联（association）：两个或多个变量的取值之 间存在某种规律性。
• 关联规则（association rule）：指在同一个事件 中出现的不同项的相关性。
• 计算每一个可能规则的支持度和置信度。 但是这种方法由于过高的代价而让人望而 却步。
关联规则挖掘任务的步骤
• 找出所有频繁项集：其目标是发现满足最 小支持度阈值的所有项集，这些项集称作 频繁项集（frequent itemset）
• 由频繁项集产生强关联规则：其目标是从 上一步发现的频繁项集中提取所有高置信 度的规则，这些规则称作强规则（strong rule）
购物篮事务的例子
TID
项集
1
{面包，牛奶}
2
{面包，尿布，啤酒，鸡蛋}
3
{牛奶，尿布，啤酒，可乐}
4
{面包，牛奶，尿布，啤酒}
5
{面包，牛奶，尿布，可乐}
第一节 关联规则基本概念和关联规则挖掘分类
• 关联规则的基本概念 • 关联规则挖掘的基本过程与分类
关联规则的基本概念
• 令I={i1， i2， ……，id}是购物篮数据中所 有项的集合，而T={t1， t2， ……，tn}是所 有事务的集合。
第四章 关联规则与关联分析
摘要
• 关联规则挖掘是数据挖掘中成果颇丰而且 比较活跃的研究分支。本章主要介绍了关 联规则挖掘的基本概念及其分类，以单维 单层布尔关联规则的挖掘理论为切入点， 介绍关联规则挖掘理论模型以及算法方面 的内容，并简单扼要介绍了多层关联规则 挖掘、多维关联规则挖掘的相关内容，最 后通过一个实例给出了关联分析的医学应 用。
• 关联分析（association analysis）：用于发现隐 藏在大型数据集中的令人感兴趣的联系。所发现 的联系可以用关联规则或者频繁项集的形式表示。 关联规则挖掘就是从大量的数据中挖掘出描述数 据项之间相互联系的有价值的有关知识。
• 应用：购物篮分析、生物信息学、医疗诊断、 Web挖掘、科学数据分析、分类设计、捆绑销售 和亏本销售分析
• 每个事务ti包含的项集都是I的子集。 • 在关联分析中，包含0个或者多个项的集合
被称为项集（itemset） • 如果一个项集包含k个项，则称它为k-项集。
例如{啤酒，尿布，牛奶}是一个3-项集。 • 空集是指不包含任何项的项集。
• 事务的宽度定义为事务中出现项的个数。
• 如果项集X是事务tj的子集，则称事务tj包含 项集X。
购物篮分析
• 如果问题的全域是商店中所有商品的集合，则对 每种商品都可以用一个布尔量来表示该商品是否 被顾客购买，则每个购物篮都可以用一个布尔向 量表示；而通过分析布尔向量则可以得到商品被 频繁关联或被同时购买的模式，这些模式就可以 用关联规则表示（0001001100，这种方法丢失了什么信息？）
规则度量：支持度和置信度
Customer buys both
Customer buys diaper
• 对所有满足最小支持度 和置信度的关联规则
– 支持度s是指事务集D中 包含 AB 的百分比
su p( p o A r B ) tP (A B )
Customer buys beer
TID 2000 1000 4000 5000
关联规则挖掘分类 (1)
• 关联规则有多种分类：
– 根据规则中所处理的值类型
• 布尔关联规则
com pfiunta e_m r ncain aa l_sgoefm tweanrte
• 量化关联规则（规则描述的是量化的项或属性间的关联性）
a( X g ," 3 . e 3 .0 " ) . 9 in( X c ," 4 o k .4 2 .m k . " ) 8 b e( u X ," c yo s" ) m – 根据规则中涉及的数据维
购买的item A,B,C A,C A,D B,E,F
– 置信度c是指D中包含A 的事务同时也包含B的百 分比
con (A fB i) d P ( B e |A )n P (A c B e )/P (A )
• 假设最小支持度为50%， 最小置信度为50%，则 有如下关联规则
– A C (50%, 66.6%) – C A (50%, 100%)
关联规则挖掘的基本过程与分类
• 关联规则挖掘的基本过程 • 关联规则挖掘的分类
关联规则挖掘的基本过程
• 给定事务的集合T，关联规则发现是指找出 支持度大于等于minsup，并且置信度大于 等于minconf的所有规则，其中minsup和 minconf是对应的支持度和置信度的阈值。
原始关联规则挖掘方法：
• 关联规则是形如X→Y的蕴含表达式，其中 X和Y是不的支持度 （support）和置信度（confidence）度量。 支持度确定了规则可以用于给定数据集的 频繁程度，而置信度确定了Y包含X的事务 中出现的频繁程度。
什么是关联规则挖掘？
• 关联规则挖掘：
– 从事务数据库，关系数据库和其他信息存储中 的大量数据的项集之间发现有趣的、频繁出现 的模式、关联和相关性。
• 应用：
– 购物篮分析、分类设计、捆绑销售等
“尿布与啤酒”——典型关联分析 案例
• 采用关联模型比较典型的案例是“尿布与 啤酒”的故事。在美国，一些年轻的父亲 下班后经常要到超市去买婴儿尿布，超市 也因此发现了一个规律，在购买婴儿尿布 的年轻父亲们中，有30%～40%的人同时 要买一些啤酒。超市随后调整了货架的摆 放，把尿布和啤酒放在一起，明显增加了 销售额。同样的，我们还可以根据关联规 则在商品销售方面做各种促销活动。
• 单维关联规则 • （仅涉及buys这个维）
bu (X y ,"csom ") p bu u (X ty ,e "ss rof"t)ware
• 关联规则的两个兴趣度度量 – 支持度 bu(y X,s"com"p ) ubtu e(ry X,s"soft"w ) – 置信度 [su pp or2% t c,onfid6e % 0n]ce
• 关联（association）：两个或多个变量的取值之 间存在某种规律性。
• 关联规则（association rule）：指在同一个事件 中出现的不同项的相关性。
• 计算每一个可能规则的支持度和置信度。 但是这种方法由于过高的代价而让人望而 却步。
关联规则挖掘任务的步骤
• 找出所有频繁项集：其目标是发现满足最 小支持度阈值的所有项集，这些项集称作 频繁项集（frequent itemset）
• 由频繁项集产生强关联规则：其目标是从 上一步发现的频繁项集中提取所有高置信 度的规则，这些规则称作强规则（strong rule）
购物篮事务的例子
TID
项集
1
{面包，牛奶}
2
{面包，尿布，啤酒，鸡蛋}
3
{牛奶，尿布，啤酒，可乐}
4
{面包，牛奶，尿布，啤酒}
5
{面包，牛奶，尿布，可乐}
第一节 关联规则基本概念和关联规则挖掘分类
• 关联规则的基本概念 • 关联规则挖掘的基本过程与分类
关联规则的基本概念
• 令I={i1， i2， ……，id}是购物篮数据中所 有项的集合，而T={t1， t2， ……，tn}是所 有事务的集合。
第四章 关联规则与关联分析
摘要
• 关联规则挖掘是数据挖掘中成果颇丰而且 比较活跃的研究分支。本章主要介绍了关 联规则挖掘的基本概念及其分类，以单维 单层布尔关联规则的挖掘理论为切入点， 介绍关联规则挖掘理论模型以及算法方面 的内容，并简单扼要介绍了多层关联规则 挖掘、多维关联规则挖掘的相关内容，最 后通过一个实例给出了关联分析的医学应 用。
• 关联分析（association analysis）：用于发现隐 藏在大型数据集中的令人感兴趣的联系。所发现 的联系可以用关联规则或者频繁项集的形式表示。 关联规则挖掘就是从大量的数据中挖掘出描述数 据项之间相互联系的有价值的有关知识。
• 应用：购物篮分析、生物信息学、医疗诊断、 Web挖掘、科学数据分析、分类设计、捆绑销售 和亏本销售分析
• 每个事务ti包含的项集都是I的子集。 • 在关联分析中，包含0个或者多个项的集合
被称为项集（itemset） • 如果一个项集包含k个项，则称它为k-项集。
例如{啤酒，尿布，牛奶}是一个3-项集。 • 空集是指不包含任何项的项集。
• 事务的宽度定义为事务中出现项的个数。
• 如果项集X是事务tj的子集，则称事务tj包含 项集X。
购物篮分析
• 如果问题的全域是商店中所有商品的集合，则对 每种商品都可以用一个布尔量来表示该商品是否 被顾客购买，则每个购物篮都可以用一个布尔向 量表示；而通过分析布尔向量则可以得到商品被 频繁关联或被同时购买的模式，这些模式就可以 用关联规则表示（0001001100，这种方法丢失了什么信息？）
规则度量：支持度和置信度
Customer buys both
Customer buys diaper
• 对所有满足最小支持度 和置信度的关联规则
– 支持度s是指事务集D中 包含 AB 的百分比
su p( p o A r B ) tP (A B )
Customer buys beer
TID 2000 1000 4000 5000
关联规则挖掘分类 (1)
• 关联规则有多种分类：
– 根据规则中所处理的值类型
• 布尔关联规则
com pfiunta e_m r ncain aa l_sgoefm tweanrte
• 量化关联规则（规则描述的是量化的项或属性间的关联性）
a( X g ," 3 . e 3 .0 " ) . 9 in( X c ," 4 o k .4 2 .m k . " ) 8 b e( u X ," c yo s" ) m – 根据规则中涉及的数据维
购买的item A,B,C A,C A,D B,E,F
– 置信度c是指D中包含A 的事务同时也包含B的百 分比
con (A fB i) d P ( B e |A )n P (A c B e )/P (A )
• 假设最小支持度为50%， 最小置信度为50%，则 有如下关联规则
– A C (50%, 66.6%) – C A (50%, 100%)
关联规则挖掘的基本过程与分类
• 关联规则挖掘的基本过程 • 关联规则挖掘的分类
关联规则挖掘的基本过程
• 给定事务的集合T，关联规则发现是指找出 支持度大于等于minsup，并且置信度大于 等于minconf的所有规则，其中minsup和 minconf是对应的支持度和置信度的阈值。
原始关联规则挖掘方法：