决策树
决策树介绍
决策树决策树是一种常见的机器学习方法，用于分类和回归。
它通过学习数据样本来构建一个决策规则的树结构，以进行预测。
这种方法的优点包括直观、易于解释和计算效率高。
以下是决策树的一些关键概念：1. 节点（Node）:- 根节点（Root Node）：树的顶部，代表学习样本的整体。
它根据特征的决策规则分裂成两个或更多子集。
- 决策节点（Decision Node）：表示基于某一特征的测试或决策，导致树枝的分裂。
- 叶节点（Leaf Node）：树的末端，代表决策结果或最终的预测类别（在分类树中）或预测值（在回归树中）。
2. 分裂（Split）：基于决策规则将节点分成两个或多个子节点的过程。
3. 分支（Branch）：树中从一个节点到另一个节点的路径，代表根据特征的某个决策或结果。
4. 剪枝（Pruning）：简化树的过程，以防止过拟合，并提高对未见数据的预测能力。
这通常通过删除不显著的子节点来实现。
决策树的构建过程包括以下步骤：1. 选择最佳特征：计算每个特征的重要性（例如，使用信息增益或基尼不纯度等指标），选择最佳特征来分裂数据。
2. 节点分裂：基于最佳特征的值，将数据集分割成子集。
这一过程在树的每一层重复进行，每次选择新的最佳特征进行分裂。
3. 决策规则生成：在每个决策节点上应用决策规则，直到满足某个停止条件（如达到预设的最大深度、最小叶节点大小等）。
4. 剪枝：一旦生成了完整的树，可能需要剪枝来去除冗余的分支，提高模型的泛化能力。
5. 预测：对新数据进行预测时，根据其特征沿树向下移动，直到达到叶节点，该叶节点的值或类别就是预测结果。
决策树是解释性强、可视化表达能力强的机器学习模型，但它们也容易过拟合，特别是当树很深时。
因此，它们通常在集成方法中使用，如随机森林或提升方法，以提高预测性能。
第10章 决策树
的算法，其剪枝的方法也不尽相同。常用的剪枝方法有预剪枝和后剪枝两种。例如CHILD和C5.0采用预剪枝，CART则采用后
剪枝。
（1）预剪枝：是指在构建决策树之前，先指定好生长停止准则(例如指定某个评估参数的阈值)，此做法适合应用于大规模
和CART几乎同时被提出，但都采用类似的方法从训练样本中学习决策树。
决策树算法
算法描述
ID3算法
其核心是在决策树的各级分裂节点上，使用信息增益作为分裂变量的选择标准，来帮助确定生成每个节点时所
应采用的合适自变量
C4.5算法
C4.5决策树算法相对于ID3算法的重要改进是使用信息增益率来选择节点属性。C4.5算法可以克服ID3算法存在
示自变量A的信息熵。
C5.0算法是由计算机科学家J.Ross Quinlan为改进他之前的算法C4.5开发的新版本。该算法增强了对大量数据的处理能力，
并加入了Boosting以提高模型准确率。尽管Quinlan将C5.0算法销售给商业用户，但是该算法的一个单线程版本的源代码
是公开的，因此可以编写成程序，R中就有相应的包实现C5.0算法。
用log函数。可见，发生的概率p越大，其不确定性越低。
考虑到信源的所有可能发生的事件，假设其概率为{1 , 2 , … , }，则可以计算其平均值（数学期望），该值被称为信息熵或者经验熵。假设S是s
个数据样本的集合，假定离散变量有m个不同的水平： ( = 1,2, … , )，假设 是类 中的样本数。对一个给定的样本，它总的信息熵为：
CART算法正好适用于连续型特征。CART算法使用二元切分法来处理连续型变量。而使用二元切分法则易于对树构建过程进行调整。
决策树计算公式
决策树计算公式摘要：一、决策树的定义与特点1.决策树的定义2.决策树的特点二、决策树计算公式1.信息增益公式2.基尼指数公式3.剪枝策略三、决策树在实际应用中的优势与局限性1.优势2.局限性四、决策树与其他机器学习算法的比较1.对比算法2.优缺点分析五、决策树在机器学习领域的发展趋势1.发展现状2.未来趋势正文：一、决策树的定义与特点决策树是一种基本的分类和回归方法，它通过一系列的问题对数据进行分类或预测。
决策树具有以下特点：1.树形结构：以层次化的方式组织数据和规则；2.易于理解：通过颜色和图示表示不同类别的数据；3.可扩展性：可以很容易地添加新数据和规则；4.能够处理连续和离散数据。
二、决策树计算公式1.信息增益公式信息增益（IG）用于选择最佳的属性进行分割，公式为：IG(A) = H(A) - H(A|B)其中，H(A) 表示属性的熵，H(A|B) 表示在已知属性B 的情况下，属性的熵。
2.基尼指数公式基尼指数（Gini）用于度量数据集中类别的混乱程度，公式为：Gini(A) = 1 - (ΣP(Ai) * P(Ai))其中，P(Ai) 表示属于第i 个类别的概率。
3.剪枝策略为了防止过拟合，需要对决策树进行剪枝。
常见的剪枝策略有：a) 预剪枝：在构建完整决策树之前，根据验证集的表现停止树的生长；b) 后剪枝：在构建完整决策树后，根据验证集的表现修剪树的结构。
三、决策树在实际应用中的优势与局限性1.优势a) 易于理解和解释：决策树的结构直观，可以方便地解释数据分类或预测的过程；b) 计算简单：只需要计算熵和基尼指数，不需要进行复杂的矩阵运算；c) 适用于多种数据类型：可以处理连续和离散数据，同时适用于分类和回归问题。
2.局限性a) 容易过拟合：当决策树过于复杂时，可能对训练集的表现很好，但对测试集的表现较差；b) 对噪声敏感：如果数据集中存在噪声，决策树可能会选择错误的属性进行分割，导致预测结果不准确；c) 无法处理缺失值：如果数据集中存在缺失值，决策树可能无法正确处理这些数据。
决策树的原理
决策树的原理决策树（DecisionTree）是一种基于规则分析的数据挖掘技术，它可以将复杂多变的数据模型转换成易于理解和操作的决策树数据模型，并可以根据客观准则进行分类与预测。
其具有实用性强、易于理解、能够可视化、运行快等优点，在统计学和机器学习领域均有广泛的应用。
一、决策树的概念决策树，又称为决策结构，它是一种特定的规则分析和数据挖掘技术，旨在通过基于计算机算法构建出一个树状结构来帮助决策者分析和做出正确的决策。
决策树分析技术，是一种综合反映某些事物与其未来状况之间原则关系的技术。
简单地说，就是用树状结构来表示一系列决策，每个节点代表一个决策，从根节点开始，依据客观的准则，不断地延伸出子节点，直到树的深度结束。
二、决策树的结构决策树主要由根，叶子，中间节点组成。
根节点表示决策树的开始，即从根节点开始，依据客观准则，不断延伸出子节点，直到树的深度结束；叶子节点表示决策过程结束，它是最终的结果，是分支的终点；中间节点是决策的转折点，也就是有多少个判定条件，有多少个决策节点。
三、决策树的算法1.基尼不纯度基尼不纯度（ Gini impurity）是用来评价决策树的一个指标，它的计算公式是：Gini(D) = 1 -Sum{ Pi^2 }，其中D为根节点表示的子集，P为每一类在该集中的概率。
基尼不纯度越大，说明由当前节点划分出来的子集更不容易正确分类；反之，基尼不纯度越小，说明由当前节点划分出来的子集更容易正确分类。
2.信息增益信息增益（information gain），是用来评价决策树分类属性的一个指标，它的计算公式是：Gain(A,D) = Info_D - Sum{ (|Ci|/|D|) * Info_Ci }，其中A为根节点表示的属性，D为该节点表示的子集，Ci为A的每一值子集，|Ci|、|D|分别表示Ci和D的大小。
信息增益越大，说明由当前节点划分出来的子集更容易正确分类。
四、决策树的应用决策树可以用于诊断。
简单说明决策树原理
决策树原理简介一、什么是决策树决策树是一种机器学习中常用的分类和回归方法。
它通过对样本的特征进行一系列的判断，最终达到对样本进行分类或预测的目的。
决策树是一种可视化的算法，其结果可以形成一棵树状结构，每个内部节点代表一个特征判断，每个叶子节点代表一种分类或回归结果。
决策树在实践中被广泛应用，特别适用于复杂问题的决策以及数据探索性分析。
二、决策树的构造过程1. 特征选择决策树的构造过程从根节点开始，每次选择一个最好的特征作为当前节点的分裂条件。
特征选择的目标是使得对样本的划分尽可能的准确，即分类结果的纯度最高。
2. 样本划分选定了特征后，决策树根据该特征的取值将样本划分为不同的子集，每个子集对应一个子树。
划分的方式可以是二分法或多分法，具体取决于特征的类型和取值个数。
划分后，每个子树都会继续进行特征选择和样本划分的过程，直到满足终止条件。
3. 终止条件决策树的构建直到满足以下终止条件之一时才会停止： - 当前节点包含的样本属于同一类别。
- 当前节点包含的样本属于同一回归结果。
- 没有更多的特征可供选择，或者样本已经被划分得非常纯净。
4. 剪枝操作决策树的构建可能会造成过拟合现象，即模型过于复杂，对训练集的拟合程度很高，但是在新的数据上表现较差。
为了解决过拟合问题，可以对决策树进行剪枝操作。
剪枝过程可以通过删除一些节点或合并一些相邻节点来实现，目的是降低模型的复杂度，提高泛化能力。
三、决策树的优缺点1. 优点•决策树易于理解和解释，由于其树状结构，可以直观地表示特征间的关系。
•决策树能够处理混合数据类型，不需要对数据进行归一化处理。
•决策树算法可以灵活处理大型数据集。
2. 缺点•决策树容易产生过拟合，特别是在数据的噪声较大或特征维度较高时。
•决策树对于那些取值较多的属性有偏好，因为它通常选择那些能够更好地区分样本的特征进行分裂。
•决策树的稳定性较差，数据的微小变化可能导致生成完全不同的树。
四、决策树的应用场景决策树具有广泛的应用场景，包括但不限于以下几个方面：1. 医学诊断决策树可以用于医学诊断，根据患者的症状和检查结果判断患者的疾病类别。
分类分析--决策树（经典决策树、条件推断树）
分类分析--决策树（经典决策树、条件推断树）分类分析--决策树决策树是数据挖掘领域中的常⽤模型。
其基本思想是对预测变量进⾏⼆元分离，从⽽构造⼀棵可⽤于预测新样本单元所属类别的树。
两类决策树：经典树和条件推断树。
1 经典决策树经典决策树以⼀个⼆元输出变量（对应威斯康星州乳腺癌数据集中的良性/恶性）和⼀组预测变量（对应九个细胞特征）为基础。
具体算法如下：(1) 选定⼀个最佳预测变量将全部样本单元分为两类，实现两类中的纯度最⼤化（即⼀类中良性样本单元尽可能多，另⼀类中恶性样本单元尽可能多）。
如果预测变量连续，则选定⼀个分割点进⾏分类，使得两类纯度最⼤化；如果预测变量为分类变量（本例中未体现），则对各类别进⾏合并再分类。
(2) 对每⼀个⼦类别继续执⾏步骤(1)。
(3) 重复步骤(1)~(2)，直到⼦类别中所含的样本单元数过少，或者没有分类法能将不纯度下降到⼀个给定阈值以下。
最终集中的⼦类别即终端节点（terminal node）。
根据每⼀个终端节点中样本单元的类别数众数来判别这⼀终端节点的所属类别。
(4) 对任⼀样本单元执⾏决策树，得到其终端节点，即可根据步骤3得到模型预测的所属类别。
上述算法通常会得到⼀棵过⼤的树，从⽽出现过拟合现象。
结果就是，对于训练集外单元的分类性能较差。
为解决这⼀问题，可采⽤10折交叉验证法选择预测误差最⼩的树。
这⼀剪枝后的树即可⽤于预测。
R中的rpart包⽀持rpart()函数构造决策树，prune()函数对决策树进⾏剪枝。
下⾯给出判别细胞为良性或恶性的决策树算法实现。
（1）使⽤rpart()函数创建分类决策树：#⽣成树：rpart()函数可⽤于⽣成决策树library(rpart)set.seed(1234)dtree <- rpart(class ~ ., data=df.train, method="class",parms=list(split="information"))#rpart() 返回的cptable值中包括不同⼤⼩的树对应的预测误差，因此可⽤于辅助设定最终的树的⼤⼩。
决策树
概率
0.3 0.5 0.2 0.2 0.6 0.2 0.3 0.5 0.2 0.3 0.6 0.1
A低
B高
B低
今以方案A高为例，说明损益期望值的计算，概率分叉 点7的损益期望值为：
5000×0.3+1000×0.5-3000×0.2=1400万元
概率分叉点2的损益期望值为：
1400×0.3-50×0.7=385万元
枝 分 圆形结点称为状态结点 案 方
2
概率枝
损益值
由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。每条概 1 方案 损益值 枝 分枝 率 率枝代表一种自然状态。在每条细枝上标明客观状态的内容和其出现概率 概 决策
结点 概率 3 。在概率枝的最末稍标明该方案在该自然状态下所达到的结果 (收益值或 枝 概率分叉点 (自然状态点) 损益值 损失值)。这样树形图由左向右，由简到繁展开，组成一个树状网络图。
同理，可得概率分叉点 3、4、5、6各方案的损益期望
值分别为125、0、620和1100。
承包商可做出决策，如投A 工程，宜投高标，如投B 工程，宜投低标。而且从损益期望值角度看，选定B工 程投低标更为有利。
销路好（0.7） 680万元 2 建大厂 930万元 5 销路差（0.3） 200万元
-40万元
决策树（Decision Tree）
决策树对于常规统计方法的优缺点 优点：
1)
2)
3) 可以处理连续和种类字段 4) 决策树可以清晰的显示哪些字段比较重要。 缺点： 1) 2) 3) 4) 。
决策树（Decision Tree）
决策树的适用范围
科学的决策是现代管理者的一项重要职责。我们在企业管理实践中常 、外部环境
决策树名词解释
决策树名词解释决策树（DecisionTree）是一种常见的数据挖掘技术，也称为决策树分类（Decision Tree Classification）。
决策树是一种以树状结构表示数据的模型，它可以用来描述一组数据集的概念，它可以用来作出决策。
策树是一种数据挖掘的常用算法，它可以用于分类、回归任务，以及关联规则建模，它可以帮助智能系统理解数据，从而实现更好的决策。
决策树的基本原理很简单，它是一种将每个属性值与实例的关联转换成树形结构的方法。
在这种树形结构中，每个节点存储关联属性的值，从而决定一个决策。
策树通常用于研究一组已知数据，它可以用来预测未知数据的结果，也可以用来归类数据，从而发现数据的规律性。
决策树的建立有很多步骤，但是大致可以分为以下几个步骤：（1）数据集准备：首先，需要对数据集进行预处理，将数据分成训练集和测试集。
（2）决策树划分：根据训练集中的特征属性，将数据集划分为不同的分支，并且不断划分，直到达到决策树模型所需要的精度或停止条件为止。
（3）估属性：根据训练集中的数据，选择最优的划分属性，用于对训练集进行划分。
（4）决策树剪枝：新建的决策树可能过度拟合训练数据，这会使训练出来的决策树在测试数据上的表现变差，因此，需要使用剪枝算法，来减少决策树的过拟合现象。
（5）测试：根据训练好的决策树，对测试集数据进行分类，统计测试集分类正确率，从而对决策树进行评估。
决策树在实际应用中可以用于社会决策分析、企业决策分析、关联规则挖掘等应用场景，但是决策树也有若干缺点。
其一，决策树生成过程中属性之间的关系可能非线性，而决策树假设属性之间的关系是线性的，因此可能导致决策树模型的准确性不足。
其二，决策树的剪枝操作可能会过度剪枝，也影响模型的准确性。
总之，决策树是一种常用的数据挖掘技术，它可以用于推理和预测数据，它可以用来帮助智能系统理解数据，从而改善决策效率。
但是，因为决策树的局限性，仍然需要其他的数据挖掘技术来提高决策的准确性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.2.2 信息增益
g ( D, A) H ( D) H ( D | A)
5.2.2 信息增益
5.2.3 信息增益比
g R ( D, A)
n
g ( D, A) H A ( D)
| Di | | Di | H A log 2 | D| i 1 | D |
5.3 决策树的生成
H ( p) p log2 p (1 p)log2 (1 p)
5.2.2 信息增益
• 此时熵随概率变化曲线如图：
5.2.2 信息增益
P( X xi , Y yi ) pij
H (Y | X ) pi H (Y | xi )
i 1
n
pi P( X xi )
5.1.4决策树学习
• 决策树学习的算法通常是一个递归地选择最优特 征，并根据该特征对训练数据进行分割，使得对 各个子数据集有一个最好的分类的过程。这一过 程对应特征空间的划分，也对应着决策树的构建。
5.1.4决策树学习
• 决策树会产生过拟合现象 • 解决办法：剪枝
5.2 特征选择
• 5.2.1 特征选择问题 • 5.2.2 信息增益 • 5.2.3 信息增益比
• CART算法组成： • （1）决策树生成 • （2）决策树剪枝
5.5.1 CART生成
• 决策树的生成就是递归地构建二叉决策树的过程。 • 对回归树用平方误差最小化准则，对分类树用基 尼（Gini index）指数最小化准则，进行特征选 择，生成二叉树。
5.5.1 CART生成
• 1. 回归树的生成 M • 回归树模型： f ( x) cm I ( x Rm )
• 5.3.1 ID3算法 • 5.3.2 C4.5的生成算法
5.3.1 ID3算法
• ID3算法（interative dichotomiser 3）的核心是在 决策树各个结点上应用信息增益准则选择特征， 递归地构建决策树。具体方法是：从根结点 （root node）开始，对结点计算所有可能的特 征的信息增益，选择信息增益最大的特征作为结 点的特征，由该特征的不同取值建立子结点；再 对子结点递归地调用以上方法，构建决策树；直 到所有特征的信息增益均很小或没有特征可以选 择为止。最后得到一个决策树。ID3相当于用极 大似然法进行概率模型的选择。
5.1.4决策树学习
• 决策树的损失函数：正则化的极大似然函数
• 决策树学习的策略：以损失函数为目标函数的最 小化
• 当损失函数确定以后，学习问题就变为在损失函 数意义下选择最优决策树的问题。因为从所有可 能的决策树中选取最优决策树是NP完全问题。 所以现实中决策树学习算法通常采用启发式方法， 近似求解这一最优化问题。这样得到的决策树是 次最优的。
5.1.3决策树与条件概率分布
• 决策树还表示给定特征条件下类的条件概率分布 • 条件概率分布定义在特征空间的一个划分上：将 特征空间划分为互不相交的单元或区域，并在每 个单元定义一个类的概率分布就构成了一个条件 概率分布。 • 决策树的一条路径对应于划分中的一个单元。 • 决策树所表示的条件概率分布由各个单元给定条 件下类的条件概率分布组成
5.2.1 特征选择问题
• 特征选择在于选取对训练数据具有分类能力的特 征，这样可以提高决策树学习的效率。 • 特征选择准则：信息增益或信息增益比 • 例5.1
5.2.1 特征选择问题
5.2.1 特征选择问题
5.2.2 信息增益
5.2.2 信息增益
P( X 1) p, P( X 0) 1 p,0 p 1
min[min
j ,s c1
xi R1 ( j , s )
( yi c1 )2 min
c2
xi R2 ( j , s )
( yi c2 )2 ]
ˆ1 ave( yi | xi R1 ( j, s)) c
ˆ2 ave( yi | xi R2 ( j, s)) c
5.5.1 CART生成
Gini(p)= pk (1 pk ) 1 p
k 1 k 1
K
K
2 k
5.5.1 CART生成
Gini(p)=2 p(1 p)
| Ck | 2 Gini(p)=1- ( ) k 1 | D |
K
5.5.1 CART生成
D1 {( x, y) D | A( x) a}
5.3.1 ID3算法
5.3.1 ID3算法
5.3.1 ID3算法
5.3.1 ID3算法
5.3.2 C4.5的生成算法
• C4.5算法对ID3算法进行了改进，C4.5在生成的过 程中，用信息增益比来选择特征。
5.4 决策树的剪枝
• 决策树生成算法递归地产生决策树，直到不能继 续下去为止。这样产生的树容易出现过拟合现象。 • 过拟合的原因在于学习时过多地考虑如何提高对 训练数据的正确分类，从而构建出过于复杂的决 策树，解决这一问题的方法是考虑决策树的复杂 度，对已生成的决策树进行简化。 • 在决策树学习中将已生成的树进行简化的过程 称为剪枝
m 1
• 用平方误差表示预测误差
xi Rm
( yi f ( xi ))2
ˆm ave( yi | xi Rm ) • 最优值 c
5.5.1 CART生成
R1 ( j, s) {x | x( j ) s} R2 ( j, s) {x | x( j ) s}
5.5.1 CART生成
5.1.3决策树与条件概率分布
5.1.3决策树与条件概率分布
5.1.4决策树学习
(2) (n) T xi ( x(1) , x ,..., x i i i )
5.1.4决策树学习
• 决策树学习本质上是从训练数据集中归纳出一组 分类规则。我们需要的是一个与训练数据矛盾较 小的决策树，同时具有很好的泛化能力。另一个 角度看，决策树学习是由训练数据集估计条件概 率模型。我们选择的条件概率模型应该不仅对训 练数据有很好的拟合，而且对未知数据有很好的 预测。
决策树
决策树
• 决策树（decision tree）是一种基本的分类与回 归方法。本章主要讨论用于分类的决策树。 • 在分类问题中，表示基于特征对实例进行分类的 过程。 • 优点：模型具有可读性；分类速度快 • 步骤：特征选择、决策树的生成、决策树的修剪
5.1决策树模型与学习
• 5.1.1决策树模型 • 5.1.2决策树与if-then规则 • 5.1.3决策树与条件概率分布
5.4 决策树的剪枝
Ca (T ) Nt H t (T ) | T |
t 1
|T |
5.4 决策树的剪枝
Ca (T ) Nt H t (T ) | T |
t 1 |T |
5.4 决策树的剪枝
5.4 决策树的剪枝
5.4 决策树的剪枝
5.5 CART算法
5.5 CART算法
5.5.2 CART剪枝
5.5.2 CART剪枝
Ca (T ) C(T )+ Ca (T ) C(T )+ | T | C (Tt ) C (t )
5.5.2 CART剪枝
C (Tt ) C (t ) C (Tt ) C (t )
C (t ) C (Tt ) = | Tt | 1
5.1.1决策树模型
• 定义：分类决策树模型是一种描述对实例进行分 类的树形结构。决策树由节点和有向边组成。 • 结点：内部结点和叶结点 • 内部结点：特征或属性 • 叶结点：类
5.1决策树模型与学习
5.1.2决策树与if-then规则
• 可以将决策树看成一个if-then规则的集合 • 内部结点特征对应规则条件，叶结点的类对应规 则的结论。 • 重要性质：互斥且完备。
D2 D D1
| D1 | | D2 | Gini(D, A)= Gini( D1 ) Gini( D2 ) |D| | D|
5.5.1 CART生成
5.5.1 CART生成
5.5.1 CART生成
5.5.2 CART剪枝
5.5.2 CART剪枝源自Ca (T ) C(T )+ | T |
5.5.2 CART剪枝
C (t ) C (Tt ) g(t )= | Tt | 1
5.5.2 CART剪枝
5.5.2 CART剪枝