数据挖掘中的关联分析
大数据分析师如何进行数据挖掘和关联分析
大数据分析师如何进行数据挖掘和关联分析一. 数据挖掘的概念和流程数据挖掘是通过运用统计分析、机器学习和模式识别等技术，从大量的数据中发现有用的模式、规律和知识。
数据挖掘的过程通常包括数据收集、数据预处理、特征选择、模型构建、模型评估和模型应用等步骤。
1. 数据收集数据挖掘的第一步是收集相关的数据。
数据可以来自各种来源，如数据库、文本文件、传感器、社交媒体等。
大数据分析师需要了解业务需求，确定需要收集的数据类型和来源，并采用合适的方法获取数据。
2. 数据预处理数据预处理是数据挖掘中非常重要的一步，它包括数据清洗、数据集成、数据转换和数据规约。
数据清洗是指去除数据中的噪声和异常值，确保数据的质量和准确性。
数据集成是将多个数据源的数据整合到一起，方便后续分析。
数据转换是对数据进行规范化和变换，以适应挖掘算法的需要。
数据规约是对数据进行简化和压缩，减少数据存储和计算的开销。
3. 特征选择特征选择是从大量的特征中选择出最具有代表性和区分性的特征。
通过特征选择可以减少数据维度，提高模型的训练和预测效率。
大数据分析师需要运用统计方法、信息论和机器学习等技术，对特征进行评估和选择。
4. 模型构建模型构建是数据挖掘的核心步骤，它根据业务需求选择合适的挖掘算法和模型。
常用的挖掘算法包括关联规则挖掘、分类和回归分析、聚类分析和时序分析等。
大数据分析师需要根据业务场景和数据特点选择合适的算法，并对模型进行建立和调优。
5. 模型评估模型评估是对挖掘模型进行性能评估和验证。
通过评估可以判断模型的准确性、稳定性和可信度。
评估方法包括交叉验证、混淆矩阵、ROC曲线等。
大数据分析师需要对模型进行评估，识别潜在的问题和改善的方向。
6. 模型应用模型应用是将挖掘模型应用到实际业务中，为决策提供支持和指导。
大数据分析师需要将挖掘结果进行解释和可视化，以便业务人员理解和接受，并根据反馈信息对模型进行迭代和优化。
二. 关联分析的方法和应用关联分析是一种常见的数据挖掘方法，它用于发现数据中的相关性和依赖关系。
数据挖掘基本任务
数据挖掘基本任务
数据挖掘基本任务：关联分析、聚类分析、分类、预测、时序模式、偏差分析
1.关联分析，关联规则挖掘由Rakesh Apwal等人首先提出。
两个或两个以上变量的取值之间存在的规律性称为关联。
数据关联是数据库中存在的一类重要的、可被发现的知识。
关联分为简单关联、时序关联和因果关联。
关联分析的目的是找出数据库中隐藏的关联网。
2.聚类分析，聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。
聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。
3.分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。
分类是利用训练数据集通过一定的算法而求得分类规则。
分类可被用于规则描述和预测。
4.预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。
预测关心的是精度和不确定性，通常用预测方差来度量。
5.时序模式是指通过时间序列搜索出的重复发生概率较高的模式。
与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。
6.偏差分析，在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。
偏差检验的基本方法就是寻找观察结果与参照之间的差别。
大数据挖掘导论与案例课件：关联分析概念与方法
根据数据的抽象层次，关联规则可以分为单层关联规则和多层关联规则。在单层关联
规则中，没有考虑现实数据的多层次性。多层关联规则是指在规则挖掘中，对数据的
多层性进行了充分考虑。
6.2
关联分析的方法
6.2.1 先验原理
大数据挖掘导论与案例
由此可见，在生成规则的过程中，一旦有低置信度的规则出现，就可以利用它进行剪枝，
此过程称为基于置信度的剪枝（confidence-based pruning），如下图所示。
采用剪枝策略可有效降低关联规则生成的计算复杂度。
6.2.3 Apriori算法生成关联规则
基于置信度的剪枝
大数据挖掘导论与案例
6.2.4 Apriori算法效率提升
任何具有反单调性的度量都能够直接结合到挖掘算法中，对候选项集的指数搜索空间有
效地进行剪枝，以降低生成频繁项集的计算代价。
6.2.2 Apriori算法产生频繁项集
大数据挖掘导论与案例
Apriori算法是关联规则挖掘的经典算法，它开创性地使用了基于支持度的剪枝技术来控
制候选项集的指数增长。此处以下表所示的事务数据集为例，展示Apriori算法挖掘频繁
大数据挖掘导论与案例
在对购物篮数据进行关联分析时，需要处理两个关键问题：第一，计算复杂度问题。从
大型事务数据集中发现有意义的规则在计算上要付出很高的代价；第二，规则的筛选问
题。所发现的某些规则可能是虚假的或不令人感兴趣的，因为它们可能是偶然发生的或
者是已经被研究者所熟知的。
除了购物篮分析外，关联分析也被应用于公共管理、生物信息学、医疗诊断、网页挖掘
和推荐系统等领域。
数据挖掘中的关联规则分析
数据挖掘中的关联规则分析数据挖掘是一种可用于科学、企业和社会等各个领域的分析工具，它可以帮助人们从大量数据中发现隐藏的模式和关联，进而提供预测和决策支持。
在数据挖掘中，关联规则分析是一种基本的技术手段，它可以帮助人们从数据中发现物品之间的相关性，进而为商业决策和市场营销提供支持。
本文将深入探讨数据挖掘中的关联规则分析技术，并介绍其在实际应用中的作用和优势。
一、什么是关联规则分析关联规则分析是一种从数据集合中挖掘出项之间相关性的方法。
在关联规则分析中，项是指数据集合中的元素，如商品、服务、用户等。
关联规则指的是一种表达式，描述了项之间的相互依赖关系。
例如，“购买牛奶->购买面包”，“购买啤酒->购买尿布”都是关联规则。
其中，->表示两个项之间的关系，如购买牛奶导致了购买面包。
在关联规则中，支持度和置信度是两个基本概念。
支持度指的是特定规则出现的频率，而置信度则指的是规则中推断项的可靠程度。
通过设定规则的支持度和置信度，可以将数据集合中的项划分为不同的组别，进而提供商业决策和市场营销的支持。
二、关联规则分析的应用场景关联规则分析可以用于各种领域，如商业、制造业、医疗保健、政府和社会等。
在商业领域中，关联规则分析被广泛应用于市场营销和推荐系统。
例如，在一个日用品店中，通过关联规则分析，店主可以了解到哪些商品之间存在关联性，进而安排这些商品的展示位置，以吸引消费者的注意力。
同时，店主也可以根据这些关联规则来制定折扣和促销活动，吸引更多的消费者。
在制造业中，关联规则分析可以帮助生产制造者更好地理解其生产线中物资之间的依赖关系，进而提高生产效率。
例如，在汽车制造工厂中，通过关联规则分析，制造者可以发现哪些零部件之间存在相关性，并根据这些相关性来规划零部件的库存和生产数量，以提高整个工厂的生产效率。
在医疗保健领域，关联规则分析可以用于疾病和药物的推荐。
例如，在一家医院中，通过关联规则分析，医生可以了解到哪些疾病之间存在相关性，进而推荐更有效的药物治疗方案，提高患者的治疗效果。
数据挖掘——关联分析
结果：
尿丌湿销量增长18% 啤酒销量30%
目录
1 2 关联分析是什么 原理与基础概念 关联分析的应用 案例分析
3
4
关联分析是什 么
关联分析是什么
兲联分析是数据挖掘领域常用的一类算法，主要用于収现 隐藏在大型数据集中有意义的联系，所収现的模式通常用 关联规则或频繁项集的形式表示。能够帮助企业做很多很 有用的产品组合推荐、优惠促销组合，同时也能指导货架
原理与基础概念
TID 1 Items Bread,Milk
2
3 4 5
Bread,Diaper,Beer,Eggs
Milk,Diaper,Beer,Coke Bread,Milk.Diaper,Beer Bread,Milk,Diaper,Coke
原理与基础概念
就啤酒、尿丌湿案例而言，首先必须要设定最小支持度不最小可信
度两个阈值，在此假设最小支持度min-support=5%且最小可信度 min-confidence=65%。用公式可以描述为：
Support{Diaper，Beer}≥5%and Confidence{Diaper，Beer}≥65%
其中，Support{Diaper，Beer}≥5%于此应用范例中的意义为：在 所有的交易记录资料中，至少有5%的交易呈现尿布不啤酒这两项商品 被同时购买的交易行为。Confidence{Diaper，Beer}≥65%于此应用范
摆放是否合理，还能够找到更多的潜在客户，真正的把数
据挖掘落到实处。
关联分析是什么
简单的说，就是収现大量数据中项集乊间有趣的兲联。在交 易数据、兲系数据或其他信息载体中，查找存在于项目集合 或对象集合乊间的频繁模式、兲联、相兲性或因果结构。
数据挖掘之关联分析
数据挖掘能做什么
相关性分组或关联规则 （Affinity grouping or association rules） 决定哪些事情将一起发生。 例子： 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则) 客户在购买A后，隔一段时间，会购买B （序列分析）
聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。
关联规则的实现原理: 从所有的用户购物数据中（如果数据量过大，可以选取一定的时间区间，如一年、一个季度等），寻找当用户购买了A商品的基础上，又购买了B商品的人数所占的比例，当这个比例达到了预设的一个目标水平的时候，我们就认为这两个商品是存在一定关联的，所以当用户购买了A商品但还未购买B商品时，我们就可以向该类用户推荐B商品。
聚类（Clustering）
一些特定症状的聚集可能预示了一个特定的疾病 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群
例子：
数据挖掘能做什么
STEP1
STEP2
我们会发现很多网站都具备了内容推荐的功能，这类功能无疑在帮助用户发现需求，促进商品购买和服务应用方面起到了显著性的效果。
01
03
02
关联推荐在实现方式上也可以分为两种：
数据关联
关联推荐在实现方式上也可以分为两种：
01
02
03
04
关联规则
以产品分析为基础的关联推荐
以用户分析为基础的关联推荐
基于用户分析的推荐是通过分析用户的历史行为数据，可能会发现购买了《Web Analytics》的很多用户也买了《The Elements of User Experience》这本书，那么就可以基于这个发现进行推荐。
数据挖掘关联案例
数据挖掘关联案例全文共四篇示例，供读者参考第一篇示例：数据挖掘关联案例数据挖掘是一种通过从大型数据集中发现模式、关系或规律来提取知识和信息的过程。
在当今信息爆炸的时代，数据量呈指数级增长，数据挖掘成为了一种重要的技术手段。
通过数据挖掘，我们可以从海量数据中分析并提取出有价值的信息，帮助企业做出决策、改善生产效率、提升用户体验等。
关联分析是数据挖掘中的一项重要技术，通过发现数据集中的相关性规律，揭示事物之间的内在联系。
下面我们来看几个关于数据挖掘关联案例的实例。
1. 超市购物篮分析超市购物篮分析是一个经典的关联分析案例。
通过对超市的销售数据进行挖掘，可以找到一些有用的规律，比如客户购买某种商品的同时还会购买另一种商品，从而可以为超市制定更合理的促销策略。
通过数据挖掘可以分析到，顾客购买尿布的同时往往也会购买婴儿食品，这提示超市可以将这两种商品放在一起销售，提高销售额。
2. 电商推荐系统在电商领域，数据挖掘的关联分析也扮演了重要的角色。
电商平台通过用户的浏览、购买行为数据，可以挖掘出用户的偏好和行为习惯，进而为用户推荐更加符合其需求的商品。
当用户浏览了一款手机之后，系统可以根据其他用户的购买行为推荐相关配件或其他品牌的手机，提高用户的购买转化率。
3. 医疗预测模型在医疗领域，数据挖掘也有着广泛的应用。
医疗数据量大，包含着疾病的发展规律和治疗方案等信息。
通过对医疗数据进行关联分析，可以发现一些疾病之间的关联性，提前预测患者的病情发展，制定更加科学的治疗方案。
通过对慢性病患者的数据进行分析，可以找到某些疾病之间存在的相关性，从而更好地指导医生的诊治工作。
4. 金融风控在金融领域，风险控制是至关重要的一环。
借助数据挖掘技术，金融机构可以对用户的信用评分、贷款风险等进行预测和评估，避免不良风险的出现。
通过挖掘用户的消费、还款等数据，可以发现用户的借贷偏好和风险特征，制定更加有效的风险控制策略。
数据挖掘关联分析在各个领域都有着广泛的应用，可以帮助企业更好地了解用户需求，优化决策流程，提高生产效率。
数据挖掘 之关联分析
数据挖掘之关联分析1. 什么是关联分析关联分析是数据挖掘领域常用的一类算法，主要用于发现隐藏在大型数据集中有意义的联系。
举一个大家最耳熟能详的例子，就是尿布和啤酒，表示成关联规则的形式就是｛尿壶｝——> ｛啤酒｝。
这就是使用关联分析方法所得到的结果，而关联分析所得到的结果，我们可以用关联规则或者频繁项集的形式表示。
在进行关联分析时，我们常常会遇到这样两个问题：A. 从大型数据集中发现模式一般来说需要在计算上付出巨大的代价，甚至往往是impossble的，我们往往采用置信度和支持度的剪枝来解决这个问题。
B. 所发现的某些模式可能是虚假的，这个我们需要采用一些关联规则的评估来解决这个问题。
2. 基本概念A. 项集：在关联分析中，包含0个或者多个的项的集合称为项集。
如果一个项集包含k个项，那么就称为k-项集。
比如｛牛奶，咖啡｝则称为2项集。
B. 支持度：支持度用来确定给定数据集的频繁程度，即给定数据集在所有的数据集中出现的频率，例如s(X -> Y) = P(X,Y) / NC. 置信度：置信度则是用来确定Y在包含X的事务中出现的频繁程度，即 c(X -> Y) = P(X,Y) / P(X)3. 关联分析算法的基本原理支持度和置信度的意义在于，支持度是一个重要的度量，如果支持度很低，代表这个规则其实只是偶然出现，基本没有意义。
因此，支持度通常用来删除那些无意义的规则。
而置信度则是通过规则进行推理具有可靠性。
用c(X->Y)来说，只有置信度越高，Y出现在包含X的事务中的概率才越大，否则这个规则也没有意义。
通常我们在做关联规则发现的时候都会设定支持度和置信度阈值 minsup 和minconf ，而关联规则发现则是发现那些支持度大于等于minsup 并且置信度大于 minconf的所有规则。
所以，提高关联分析算法效率最简单的办法则是提高支持度和置信度的阈值。
所以，通过上面的概念，我们可以很自然地想到，关联分析的基本算法：A. 找到满足最小支持度阈值的所有项集，我们称之为频繁项集。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关注隐私
是 否 是 是 是 是 否 否 否
• 上表是具有连续属性的因特网调查数据，如年龄、年收入、每周上网 小时数、e-mail账号数就是连续属性。
• 对连续属性数据进行关联分析的方法具体有（1）基于离散化的方法， （2）基于统计学的方法，（3）非离散化方法。
• 2.1基于离散化的方法
• 所谓离散化就是将连续属性的邻近值分组，形成有限个区间。例如， 年龄属性可以划分成如下区间：年龄∈[12,16)，年龄∈[16,20)， 年龄∈[20,24)，…，年龄∈[56,60)其中，[a，b)代表包含a但不 包含b的区间。离散的区间可以映射到非对称的二元属性，使得可以 使用已有的关联分析算法
• （1）计算开销非常大。如果值域被划分成k个区间，则必须创建k（k-1）/2 个二元项来代表所有可能的区间。此外，如果对应于区间[a，b)的项是频繁 的，则包含[a，b)的区间对应的所有项也必然是频繁的。因此，这种方法可 能产生过多的候选和频繁项集。为了处理这些问题，可以使用最大支持度阈 值，防止创建对应于非常宽的区间的项，并减少项集的数量。
• 2.3基于非离散化的方法
文档
文档1 文档2 文档3 文档4 文档5
word1 word2 word3 word4 word5 word6
0.3
0.6
0
0
0
0.2
0.1
0.2
0
0
0
0.2
0.4
0.2
0.7
0
0
0.2
0.2
0
0.3
0
0
0.1
0
0
0
1.0
1.0
0.3
• 对所有文档的平均规范化频率求和 • S(word1，
word2)=(0.3+0.6)/2+(0.1+0.2)/2+(0.4+0.2)/2+(0.2+0)/2=1，该 方法求得的所有支持度都为1，无法得出有趣的模式。
• 运用另一种发现词关联的方法称为min-Apriori。 S(word1， word2)=min(0.3+0.6)+min(0.1+0.2)+min(0.4+0.2)+min(0.2+0) =0.6
• 方法：假设检验。
• 实施（针对上面规则）：先对一些符号进行说明，设u是满足规则的事物中的 年龄的均值，u’是不满足规则的事物中的年龄的均值。△用户可接受的年龄 差（若年龄差小于△ ，认为无差异）
• n1是满足规则的事物个数，n2是不满足规则的事物个数；s1是满足规则的 事务中年龄的标准差，s2是不满足规则的事务中年龄的标准差。
要出在标称属性上，如例子中的州名这一属性。若不加处理的将其用多个二 元项取代，计算量将会过大，不太实际。所以实际做法是，将相关的属性值 分组，形成少数类别。例如，每个州名都可以用对应的地理区域如中西部、 太平洋西北部、西南部和东海岸取代。另一种可能性是，将不太频繁的属性 值聚合成一个称作其他的类别。 • （2）某些属性的频率可能比其他属性高很多，容易产生冗余模式。例如， 假定85%的被调查人都有家庭计算机。如果为每个频繁出现在数据中的属性 值创建一个二元项，我们可能产生许多冗余模式，如下面的例子所示：{家 庭计算机=是，网上购物=是}{关注隐私=是}
• R11：年龄∈[12,20)->网上聊天=是 （s=9.2%，c=60.5%） • R12：年龄∈[20,28)->网上聊天=是 （s=9.2%，c=60.0%） • 不像R2，我们不能通过聚合两个子规则来恢复R1，因为两个字规则的置信度
都低于阈值。处理这些问题的一个方法是，考虑邻近区间的每种可能的分组。 例如，我们可以以宽度4岁开始，将临近的区间合并成较宽的区间，年龄 ∈[12,16），年龄∈[12,20），…，年龄∈[12,60），年龄∈[16,20）， 年龄∈[16,24）等等。这种方法能够检测出R1和R2是强规则。然而，这也 导致如下计算问题。
2、处理连续属性
性别
…
女 男 男 女 女 男 男 男 女
年龄
26 51 29 45 31 25 37 41 26
年收入
90K 135K 80K 120K 95K 网 小时数 20 10 10 15 20 25 10 8 12
E-mail帐 号数 4 2 3 3 5 5 1 2 1
研究生
大学
是
否
0
1
1
0
…
1
0
1
0
0
1
…
0
1
1
0
1
0
…
1
0
0
1
0
1
…
1
0
0
1
1
0
…
1
0
1
0
0
1
…
1
0
1
0
0
1
…
0
1
1
0
0
0
…
0
1
0
1
1
0
…
0
1
• 使用关联分析，从上表挖掘出的信息是：{网上购物=是}{关注隐私=是}
1.2分类属性二元化的不足
• 利用二元化后的数据进行关联分析时，需要注意以下几点： • （1）有些属性值可能不够频繁，不能成为频繁模式的一部分。这个问题主
下表是二元化分类属性和连续属性后的因特网调查数据
男
女
…
年龄 年龄 年龄 …
关注隐 关注隐
<13 ∈[13 ∈[21
私=是 私=否
,21) ,30)
0
1
…
0
0
1
…
1
0
1
0
…
0
0
0
…
0
1
1
0
…
0
0
1
…
1
0
0
1
…
0
0
0
…
1
0
0
1
…
0
0
0
…
1
0
1
0
…
0
0
1
…
1
0
1
0
…
0
0
0
…
0
1
1
0
…
0
0
0
…
0
1
0
1
…
0
Thank you
END
法等等。
• 关于该规则的支持度和置信度的计算如下：
• 上面规则的支持度s={尿布、啤酒}支持度计数/事物个数=3/5=0.6 • 上面规则的置信度c={尿布、啤酒}支持度计数/{尿布}支持度计数
=3/4=0.75
1、处理分类属性
性别 女 男
男 女 女
文化程度 研究生 大学
研究生 大学 研究生
州 伊利诺伊
• （2）提取许多冗余规则。例如，考虑下面的规则对： • R3：{年龄∈[16,20），性别=男}->{网上聊天=是} • R4：{年龄∈[16,24），性别=男}->{网上聊天=是}
• 2.1基于统计学的方法
• 需指定用于刻画有趣总体段特性的目标属性，保留目标属性，对其余属性进 行二元化，产生频繁项集时，对目标属性在每个段内的分布进行汇总。例： 对因特网用户的年龄求平均值得到 {年收入>$100K，网上购物=是} ->年 龄：均值=38 这一有趣规则。
关联分析中各种属性的处理
知识回顾
1.分类属性的处理
1.1概念介绍 1.2处理方法 1.3分类属性二元化的不足
2.连续属性的处理
2.1基于离散化的方法 2.1基于统计学的方法 2.3基于非离散化的方法
• 关联规则挖掘假定输入数据由称作项的二元属性组成。还假定项在 事物中出现比不出现更重要。这样，项被看作非对称的二元属性， 且只有频繁模式才被认为是有趣的。
• （3）尽管每个事物的宽度与原始数据中属性个数相同，但是计算时 间可能增加，特别是当新创建的项变成频繁项时。这是因为需要更多 时间处理由这些项产生的候选集。减少计算时间的一种方法是，避免 产生包含多个来自同一属性的项的候选项集。例如，我们不必产生诸 如｛州=X，州=Y，…｝的候选项集，因为该项集的支持度计数为零。
• 例：
TID 1 2 3 4 5
6-2购物篮数据的二元0/1表示
面包 1 1 0 1 1
牛奶 1 0 1 1 1
尿布 0 1 1 1 1
啤酒 0 1 1 1 0
鸡蛋 0 1 0 0 0
可乐 0 0 1 0 1
• 从上述的购物篮数据中，我们可得出{尿布}{啤酒}这一有趣的规则。 • 这一频繁项集的得出，我们可以运用：Apriori算法、Hash树法、FP增长算
0
1
…
0
1
• 下表是根据年龄组划分的数据
年龄组 [12,16) [16,20) [20,24) [24,28) [28,32) [32,36) [36,40) [40,44) [44,48) [48,52) [52,56) [56,60)
网上聊天=是 12 11 11 12 14 15 16 16 4 5 5 4
• R11：年龄∈[16,20)->网上聊天=是 （s=4.4%，c=84.6%） • R12：年龄∈[36,60)->网上聊天=否 （s=4.4%，c=78.6%） • 由于两个子规则都低于最小支持度阈值，离散化后R1丢失了。同理，
规则R2被分裂成4个子规则，也因4个子规则的支持度都低于最小支 持度阈值而丢失。
• R1‘：年龄∈[12,36)->网上聊天=是 （s=30%，c=57.7%） • R2’：年龄∈[36,60)->网上聊天=否 （s=28%，c=58.3%） • 尽管它们有较高的支持度，但是较宽的区间导致两个规则的置信度都