第五讲 关联规则实验解释及决策树(2013)
决策树算法原理
决策树算法原理1 认识决策树1)决策树的生成过程一棵决策树的生成过程主要分为以下3个部分。
(1)特征选择：从训练数据众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准，从而衍生出不同的决策树算法。
(2)决策树生成：根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分时，决策树停止生长。
对于树结构来说，递归结构是最容易理解的方式。
(3)剪枝：决策树容易过拟合，一般都需要剪枝，缩小树结构规模、缓解过拟合。
2)基于信息论的3种决策树算法划分数据集的最大原则是使无序的数据变得有序。
如果一个训练数据中有10个特征，那么选取哪个作为划分依据？这就必须采用量化的方法来判断，量化划分方法有多种，其中一项就是“信息论度量信息分类”。
基于信息论的决策树算法有ID3、CART和C4.5等算法，其中C4.5和CART两种算法从ID3算法中衍生而来。
CART算法和C4.5算法支持数据特征为连续分布时的处理，主要通过使用二元切分来处理连续变量，即求一个特定的值——分裂值：特征值大于分裂值就走左子树，或者就走右子树。
这个分裂值的选取原则是使得划分后的子树中的“混乱程度”降低，具体到C4.5算法和CART算法有不同的定义方式。
ID3算法由Ross Quinlan发明，建立在“奥卡姆剃刀”的基础上，越是小型的决策树越优于大的决策树。
ID3算法中根据信息论的信息增益评估和选择特征，每次选择信息增益最大的特征作为判断模块。
ID3算法可用于划分标称型数据集，没有剪枝的过程，为了解决过度数据匹配的问题，可通过裁剪合并相邻的无法产生大量信息增益的叶节点（如设置信息增益阈值）。
使用信息增益其实是有一个缺点的，那就是它偏向于具有大量值的属性，就是在训练集中，某个属性所取的不同值的个数越多，那么越有可能拿它来作为分裂属性，而这样做有时候是没有意义的。
另外，ID3算法不能处理连续分布的数据特征，于是就有了C4.5算法。
06第5章-关联规则
<I2:4>
{I2 I1:4}
第22页，共88页。
输入：D：事务数据库； min_sup：最小支持度计数阀值 输出：频繁模式的完全集。
第五章 挖掘频繁模式、关联和相关
5.1 基本概念和线路图
5.1.1 购物篮分析：引发性例子
5.1.2 频繁项集、闭项集和关联规则
5.1.3频繁模式挖掘：路线图
第1页，共88页。
5.1.1 购物篮分析：引发性例子
频繁项集挖掘的一个典型例子是购物篮分 析。
例如：如果顾客在超市购物时购买了牛奶，他们有多大的可 能同时购买面包？
T500 T600 T700
T800
T900
商品ID的列表
I1,I2,I5 I2,I4 I2,I3 I1,I2,I4
I1,I3 I2,I3
I1,I3
I1,I2,I3,I5
I1,I2,I3
表5-1 AllElectronics某分店的是事务数据
第9页，共88页。
D
C1
项集
扫 {I1} 描
对 {I2}
for(k=2; Lk-1≠空集; k++) //由(k-1)项频繁项集产生第k项侯选项集；
Ck= apriori_gen(Lk-1); //产生的第k项侯选项集；
for each 事务 t∈D
//扫描数据库D中的每一个事务t；
{
Ct= subset(Ck,t); //对事务t，产生具有K项的子集赋给Ct； for each 侯选c∈Ct // 检查侯选项集中的某一项是否属于Ct；
1.它可能需要产生大量侯选项集；
2.它可能需要重复地扫描数据库，通过模式匹配检查一个很
大的侯选集合。
简单说明决策树原理
决策树原理简介一、什么是决策树决策树是一种机器学习中常用的分类和回归方法。
它通过对样本的特征进行一系列的判断，最终达到对样本进行分类或预测的目的。
决策树是一种可视化的算法，其结果可以形成一棵树状结构，每个内部节点代表一个特征判断，每个叶子节点代表一种分类或回归结果。
决策树在实践中被广泛应用，特别适用于复杂问题的决策以及数据探索性分析。
二、决策树的构造过程1. 特征选择决策树的构造过程从根节点开始，每次选择一个最好的特征作为当前节点的分裂条件。
特征选择的目标是使得对样本的划分尽可能的准确，即分类结果的纯度最高。
2. 样本划分选定了特征后，决策树根据该特征的取值将样本划分为不同的子集，每个子集对应一个子树。
划分的方式可以是二分法或多分法，具体取决于特征的类型和取值个数。
划分后，每个子树都会继续进行特征选择和样本划分的过程，直到满足终止条件。
3. 终止条件决策树的构建直到满足以下终止条件之一时才会停止： - 当前节点包含的样本属于同一类别。
- 当前节点包含的样本属于同一回归结果。
- 没有更多的特征可供选择，或者样本已经被划分得非常纯净。
4. 剪枝操作决策树的构建可能会造成过拟合现象，即模型过于复杂，对训练集的拟合程度很高，但是在新的数据上表现较差。
为了解决过拟合问题，可以对决策树进行剪枝操作。
剪枝过程可以通过删除一些节点或合并一些相邻节点来实现，目的是降低模型的复杂度，提高泛化能力。
三、决策树的优缺点1. 优点•决策树易于理解和解释，由于其树状结构，可以直观地表示特征间的关系。
•决策树能够处理混合数据类型，不需要对数据进行归一化处理。
•决策树算法可以灵活处理大型数据集。
2. 缺点•决策树容易产生过拟合，特别是在数据的噪声较大或特征维度较高时。
•决策树对于那些取值较多的属性有偏好，因为它通常选择那些能够更好地区分样本的特征进行分裂。
•决策树的稳定性较差，数据的微小变化可能导致生成完全不同的树。
四、决策树的应用场景决策树具有广泛的应用场景，包括但不限于以下几个方面：1. 医学诊断决策树可以用于医学诊断，根据患者的症状和检查结果判断患者的疾病类别。
决策树算法描述
决策树是一种常用的监督学习算法，用于分类和回归问题。
它基于数据的特征对数据进行划分，通过递归地构建树状结构来实现分类或预测目标。
以下是决策树算法的一般描述：
1.选择最佳分割特征：决策树的每个节点代表一个特征或属性，通
过选择最佳的特征来对数据进行分割。
2.创建分支节点：根据所选特征的取值，将数据集划分成不同的子
集。
3.递归构建决策树：对每个子集重复步骤1 和2，直到满足停止条
件（例如，当子集只包含一个类别或达到最大深度）。
4.生成预测结果：根据决策树的结构，对新数据进行预测。
从根节
点开始，根据特征值沿着路径到达叶子节点，得到相应的预测结果。
决策树算法的关键在于选择最佳分割特征和确定停止条件。
常用的特征选择方法包括信息增益、增益率、基尼系数等。
停止条件可以是最小样本数、最大树深度或其他阈值。
决策树算法具有易于理解、可视化和快速预测的优点。
然而，它可能会出现过拟合问题，因此通常会结合剪枝技术来优化决策树的性能。
这只是决策树算法的一个简要描述，实际应用中可能会涉及更多的细节和优化方法。
决策树算法在许多领域都有广泛的应用，如数据挖掘、机器学习和分类问题等。
决策树和决策规则概述课件
该例有14个样本，属性1有一个丢失值，用“?”表示。只有13个样本数据完整。分区前的熵是： Info(T)=-8/13log2(8/13)-5/13log2(5/13) =0.961属性1检验的信息： infox1(T)=5/13(-2/5log2(2/5)-3/5log2(3/5)) +3/13(-3/3log2(3/3)-0/3log2(0/3)) +5/13(-3/5log2(3/5)-2/5log2(2/5)) =0.747
对根节点下的T3子集进行同样的计算，按属性3=真和属性3=假检验，产生两个叶节点。图7-5表示数据库T的最终决策树。
另外，决策树可以用可执行代码（或伪代码）的形式表示。图7-6用伪代码给出了上面例子的决策树。
增益标准对具有许多输出的检验有严重的偏差，根据info(S)的定义，指定一个附加的参数：这表示通过把集T分区成n个子集Ti而生成的潜在信息。现在，定义一个新的增益标准： Gain-radio(X)=gain(X)/Split-info(X)
对应属性2的检验3(属性2≤80和属性2＞80)的信息增益计算： infox3(T)=9/14(-7/9log2(7/9)-2/9log2(2/9)) +5/14(-2/5log2(2/5)-3/5log2(3/5)) =0.837 相应的增益: Gain(x3)=0.94-0.837=0.103属性1的增益最高，选择该属性进行首次分区。每个属性值具有一个分枝，产生3个分枝，如图7-4所示.
7.1 决策树
从数据中生成分类器的一个特别有效的方法是生成一个决策树。它是一种基于逻辑的方法，通过一组输入-输出样本构建决策树的有指导学习方法。决策树包含属性已被检验的节点，一个节点的输出分枝和该节点的所有可能的检验结果相对应。
关联规则分析
2013-7-31
总结
AA12 关联规则 史忠植
2
关联规则
关联规则反映一个事物与其他事物之间的相互依存性 和关联性。如果两个或者多个事物之间存在一定的关 联关系，那么，其中一个事物就能够通过其他事物预 测到。关联规则表示了项之间的关系。 示例: cereal, milk fruit
“买谷类食品和牛奶的人也会买水果.”
事务标识 TID 每一个事务关联着一个标识,称作 2013-7-31 AA12 关联规则 史忠植 TID.
7
关联规则的度量
支持度s D中包含A和 B 的事务数与总的事务数的比值
|| {T D | A B T } || s ( A B) || D ||
规则 AB 在数据集D中的支持度为s, 其中s 表示 D中包含AB (即同时包含A和B)的事务的百分率.
Itemset {B, C, E}
3rd scan
Itemset AA12 关联规则 史忠植 {B, C, E}
L3
Apriori 算法
Algorithm: Apriori 输入: Database, D, of transactions; minimum support threshold,min_sup. 输出: L, freuqent itemsets in D. 过程:
I是什么? 事务ID B的T是什么? s(Chips=>Salsa) 是什么? c(Chips=>Salsa)是什么?
2013-7-31 AA12 关联规则 史忠植 11
频繁项集
项集 – 任意项的集合 k-项集 – 包含k个项的项集 频繁 (或大)项集 – 满足最小支持度的项 集
关联规则实验报告
Apriori算法的设计与实现1，实验要求（1）频繁项目集的计算根据题目给定的原始事务记录和最小支持度，通过迭代的方法求出各项频繁项目集。
（2）关联规则的产生根据（1）中求得频繁项目集和给定的最小可信度，求出相关的关联规则。
2.1Apriori算法的原理Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。
很多的的挖掘算法是在Apriori算法的基础上进行改进的，比如基于散列（Hash）的方法，基于数据分割（Partition）的方法以及不产生候选项集的FP-GROWTH方法等。
因此要了解关联规则算法不得不先要了解Apriori算法。
Apriori算法使用一种称作逐层迭代的候选产生测试（candidate generation and test）的方法，k-项目集用于探索（k+1）-项目集。
首先，找出频繁1-项目集的集合，该集合记作L 。
L 用于找频繁2-向募集到集合L ，而L 用于找L ，如此下去，直到不能找到频繁k-项目集。
找每一个L 均需要一次数据库的扫描。
Apriori性质：频繁项集的所有非空子集必须也是频繁的。
Apriori性质基于如下观察：根据定义，如果项集I不满足最小支持度阈值，则I不是频繁的，即support(I)＜min-sup。
如果项A添加到I，则结果项集（即IUA）不可能比I更频繁出现。
因此，IUA也不是频繁的，即support(IUA)＜min-sup。
算法应用Apriori性质以LK-1来找LK，这一过程由连接和剪枝组成。
C ：Candidate itemset of size k，即k-候选项目集。
L ：frequent itemset of size k，即k-频繁项目集。
1、连接步：为找L ，通过L 与自己连接产生候选k-项集的集合。
该候选项集记作C 。
设和是L 中的项集。
记[j]表示的第j项（例如，[k-2]表示的倒数第3项）。
为方便计，假定事务或项集中的项按字典次序排列。
决策树 算法
决策树算法1. 简介决策树算法是一种广泛应用于分类和回归问题的机器学习算法。
它通过从一组特征中选择最佳划分方式来构建一个树形结构的决策模型，从而对新样本进行预测或分类。
决策树算法简单易懂，可解释性强，且能处理同时包含离散和连续特征的数据。
2. 决策树的基本原理决策树算法基于以下几个关键概念：2.1 特征选择在构建决策树的过程中，需要选择最佳的特征来进行划分。
特征选择的目标是通过划分使得每个子节点的纯度最大化（分类问题）或者均方差最小化（回归问题）。
常用的特征选择指标有信息增益、增益率、基尼指数等。
2.2 决策树的构建决策树是通过不断选择最佳特征来递归地构建的。
首先将整个数据集作为根节点，选择一个最佳特征进行划分，然后将数据集划分为多个子集，每个子集对应一个子节点。
递归地对每个子节点进行特征选择和划分，直到满足终止条件（如纯度达到一定阈值或树的深度达到限制）为止。
2.3 决策树的剪枝决策树的构建过程容易导致过拟合，即模型对训练数据过于敏感而无法很好地推广到新样本。
为了避免过拟合，需要对决策树进行剪枝。
剪枝根据一定的准则，去除一些子树或叶节点，从而简化模型。
3. 决策树算法的优缺点3.1 优点•决策树易于理解和解释，模型生成的决策规则可以直观地呈现。
•决策树可以处理离散和连续特征，无需对数据进行特殊处理。
•决策树能够自动选择特征，并通过特征选择来提高模型的性能。
•决策树不需要很大的训练数据集，可以处理小型数据集。
3.2 缺点•决策树容易过拟合，特别是在处理复杂问题时。
•决策树对输入数据的变化非常敏感，哪怕是微小的变化也可能导致完全不同的树结构。
•决策树很难处理包含有不同类别交叉的数据集。
4. 决策树算法的应用决策树算法被广泛应用于许多领域，以下是一些常见的应用场景：4.1 金融风险评估决策树可以根据客户的个人信息和历史数据，判断其信用风险等级。
通过构建一个决策树模型，银行或金融机构可以快速准确地评估客户的风险，从而做出相应的贷款决策。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
IQ=Medium
中
500 1000
低有
200 700 900 400
IQ=Low
பைடு நூலகம்
1800 1600 1400 1200 1000
800 600 400 200
0
PI=low
1200 1000
800 600 400 200
0
无
300 1600
高低 男女
400 600 500 500
400 1600 110 900 0
• 事例表中ordernumber为主键，嵌套表中 Linenumber为主键，model为predict列。
4种不同类型的列
• 键列 • 输入列 • 可预测列（predictonly） • 输入与可预测列（predict） • 对于大多数的数据挖掘模型使用一组输入
列来预测输出列，有一些算法（如聚类算 法）不需要可预测列。
PE=TRUE
PE=FALSE
Male
Female
是 否
帮助高中生进入大学的决定性因素是…
IQ=高
进入大学： 79% 是 21% 否
Wealth
所有学生
进入大学： 55% 是 45% 否
IQ ?
IQ=低
Gender Incom region e
男
高 北美
女
中 北美
男
高 中部
嵌套表内容
ordernu mber
S0001
S0021 S0055 S0007
linenu mber
1 2 3 1 2 1 2 1 2
productn quanti
ame
ty
牛奶
2
面包
3
啤酒
3
蛋糕
5
果汁
2
奶酪
10
面包
3
面包
2
果汁
事例表与嵌套表
• 事例表包含要分析的实体的事例，嵌套 表包含每一事例附加的信息(通常是事务信 息)。
• 事例表是维度表，嵌套表是事实表
•
购买事务表（VassocseqlineItem）
嵌套表示例
Vassocorder（示例表）
Vassoclineitem（嵌套表）
custID C0001
C0002 C0004
算它们的间隔。此时就会得到古怪的逻辑，比如 绿色(4)－红色(3)＝蓝色(1)！
•
数据挖掘向导有能力自动检测出一个数值列
是分类类型(离散)的列还是连续型的列。在向导
的“指定列的内容和数据类型”页中，单击“检
测”按钮，该向导就会采样和分析源数据，并且
选择一种合适的内容类型。
• 如果选择了连续的内容类型，但是所选择的算 法不支持连续的列，则内容类型将会被指定为 DISCRETIZED。在设计器中，可以设置离散化 参数，在进入向导的下一步之前，应该确保为每
关重要的。
• 例如，如果有一个字段(比如Income)标记为 DISCRETE，则算法将会假定每一个可能的 Income值是完全不同的类别，并且可能花费额外 的时间进行处理，而无法得到真正有用的信息。
相反，如果有一个分类类型的列，分类由标记为 CONTINUOUS的整型指定(例如，1－蓝色，2－ 黄色，3－红色，4－绿色，等等)，数据挖掘算法 将会假定：可以对这些分类进行数学比较，并计
• • 挖掘的结论易于理解
• • 初始状态是一个大的空间，挖掘的过程是 递 归分区 – 不断分割
案例
• 我们有大量的会员 • – 年龄在 20 – 60 岁 • – 月薪在 0 – 8000 元 • • 55% 的被我们认可为忠实会员（好会员） • • 里面潜在的规律是什么？
谁是我们的忠实会员？
4
• 事例表主键：唯一确定每个事例的属性 ordernumber
• 嵌套键：嵌套键和外键不一样，嵌套键十 分重要，在嵌套部分，其他属性用于描述 嵌套键。嵌套键不是一个标识符，它包含 有关模式的有用信息。经常用PRODUCT作 为嵌套键。
• 本例中用linenumber，可以表示不同的商品。
分析单一购物篮
一列都指定了正确的内容类型，如果还没有正确 指定，则应该修改。
决策树
分类(Classification)
•分类的意义
数据库
分类模型
预测
了解类别属性 与 特征
Decision Tree决策树
• 决策树是用二叉树形图来表示处理逻辑的一种工 具，是对数据进行分类的方法。决策树的目标是 针对类别因变量加以预测或解释反应结果。
单维挖掘
结果如下图
多维挖掘：添加收入和地区为输入 列，model为输入及预测列
•
如果表有很多列，则很难知道选择哪些列
作为输入列。通常可以使用所有列，但是这会导
致额外的处理开销，而且，根据具体的算法，也
可能会使最终模型很难理解。
• 单击向导的“指定定型数据(Specify the Training Data)”页面中的“建议(Suggest)”按钮 将会执行一个基于熵(entropy-based)的快速分析， 它可以指出哪些列对于所选择的输出列可以提供
帮助高中生进入大学的主要因素 都有哪些？
决策树的工作方式
IQ
父母的鼓励
家庭收入 性别
进入大 是
学
否
1000 900 800 700 600 500 400 300 200 100 0
IQ=High
1800 1600 1400 1200 1000
800 600 400 200
0
PI=High
高
• 主要有两个步骤：首先，通过一批已知的样本数 据建立一棵决策树；然后，利用建好的决策树， 对数据进行预测。
• 决策树的建立过程可以看成是数据规则的生成过 程，因此，决策树实现了数据规则的可视化，其 输出结果也容易理解。
2020/5/18
24
• 可以预测离散的，或者连续的数值
• • 把已知条件（不论是离散还是连续）自动 分 解为多个离散的类别。
一些有用的信息，进而可以在最终模型中减少列 的数量。要注意，通过这个功能进行分析时，只 对事例级列起作用，而且不能保证选择的列会对 目标变量有影响，没有选择的列不会对目标变量 产生影响
关于数据类型
•
下一步，在向导中将会列出已经选择的列
和这些列的数据类型及内容类型，如图4-14所示。
指定合适的内容类型对模型的性能和精确度是至
• 不能只以购物事务表作为事例表 • 只有一个购物事务表，因Linenumber不能
当主键（有重复），而其又代表同一次购 买行为中购买的不同商品。最适合做嵌套 表中的主键 • ordernumber也有重复
• 结果集只有一个项
• 按实验要求，将顾客情况与购物事务表当 做事例表与嵌套表一起操作，如下表