第6.5节 决策树学习
决策树（理论篇）
决策树（理论篇）定义 由⼀个决策图和可能的结果（包括资源成本和风险组成），⽤来创建到达⽬的的规划。
——维基百科通俗理解 给定⼀个输⼊值，从树节点不断往下⾛，直⾄⾛到叶节点，这个叶节点就是对输⼊值的⼀个预测或者分类。
算法分类ID3（Iterative Dichotomiser 3，迭代⼆叉树3代）历史 ID3算法是由Ross Quinlan发明的⽤于⽣成决策树的算法，此算法建⽴在奥卡姆剃⼑上。
奥卡姆剃⼑⼜称为奥坎的剃⼑，意为简约之法则，也就是假设越少越好，或者“⽤较少的东西，同样可以做好的事情”，即越是⼩型的决策树越优于⼤的决策树。
当然ID3它的⽬的并不是为了⽣成越⼩的决策树，这只是这个算法的⼀个哲学基础。
引⼊ 信息熵。
熵是热⼒学中的概念，是⼀种测量在动⼒学⽅⾯不能做功的能量总数，也就是当总体熵的增加，其做功能⼒也下降，熵的量度正是能量退化的指标——维基百科。
⾹农将“熵”的概念引⼊到了信息论中，故在信息论中被称为信息熵，它是对不确定性的测量，熵越⾼，不确定性越⼤，熵越低，不确定性越低。
那么到底何为“信息熵”？它是衡量信息量的⼀个数值。
那么何⼜为“信息量”？我们常常听到某段⽂字信息量好⼤，某张图信息量好⼤，实际上指的是这段消息（消息是信息的物理表现形式，信息是其内涵——《通信原理》）所包含的信息很多，换句话说传输信息的多少可以采⽤“信息量”去衡量。
这⾥的消息和信息并不完全对等，有可能出现消息很⼤很多，但所蕴含有⽤的信息很少，也就是我们常说的“你说了那么多（消息多），但对我来说没⽤（信息少，即信息量少）”。
这也进⼀步解释了消息量的定义是传输信息的多少。
进⼀步讲，什么样的消息才能构成信息呢？ 我们为什么会常常发出感叹“某段⽂字的信息量好⼤”，得到这条消息时是不是有点出乎你的意料呢？⽐如，X男和X男在同⼀张床上发出不可描述的声⾳，这段消息对于你来讲可能就会发出“信息量好⼤”的感叹。
再⽐如，某情侣在同⼀张床上发出不可描述的声⾳，这段消息对于你来讲可能就是家常便饭，并不会发出“信息量好⼤”的感叹。
管理学决策树方法
管理学决策树方法一、决策树方法的基本概念。
1.1 啥是决策树呢？简单来说，这就像是咱们在森林里找路一样。
决策树是一种树形结构，它有一个根节点，就像大树的根，从这个根节点开始，会分出好多枝干，这些枝干就是不同的决策选项。
比如说，一个企业要决定是否推出一款新产品，这就是根节点的决策。
1.2 然后每个枝干又会根据不同的情况继续分叉。
就好比这新产品推向市场，可能会遇到市场反应好和市场反应不好这两种大的情况，这就像是枝干又分叉了。
这每一个分叉点都代表着一个事件或者决策的不同结果。
二、决策树方法在管理学中的重要性。
2.1 在管理里啊，决策树可太有用了。
就像那句老话说的“三思而后行”，决策树就是帮咱们管理者好好思考的工具。
它能把复杂的决策过程清晰地展现出来。
比如说，一个公司要扩大业务，是选择开拓新市场呢，还是在现有市场深耕呢？这时候决策树就能列出各种可能的结果。
如果开拓新市场，可能会面临新的竞争对手，就像进入了一片未知的丛林，充满了风险；如果在现有市场深耕，可能会面临市场饱和的问题，就像在一块已经耕种很久的土地上，肥力可能不足了。
2.2 决策树还能让咱们量化风险。
咱们不能总是靠感觉来做决策啊，那可就成了“盲人摸象”了。
通过决策树，我们可以给不同的结果赋予概率，就像给每个岔路标上成功或者失败的可能性。
这样管理者就能清楚地看到每个决策背后的风险和收益。
比如说，一个项目有60%的成功概率，但是成功后的收益很大；另一个项目有80%的成功概率，但是收益比较小。
这时候决策树就能帮我们权衡利弊。
2.3 而且啊，决策树有助于团队沟通。
大家都能看着这个树形结构，一目了然。
就像大家一起看一张地图一样，都清楚要往哪里走。
团队成员可以针对决策树上的每个节点、每个分支进行讨论。
这样就不会出现“各说各话”的情况，大家都在同一个框架下思考问题。
三、如何构建决策树。
3.1 首先要确定决策的目标。
这就像确定大树的根一样重要。
比如说，我们的目标是提高公司的利润，那所有的决策分支都要围绕这个目标来展开。
决策树法的基本步骤
决策树法的基本步骤决策树法是一种基于判断树的机器学习算法，用于从一组特征中构建一个可以对实例进行分类的决策树模型。
决策树算法的基本步骤包括数据准备、选择最优特征、切分数据集、递归构建决策树，以及剪枝等。
下面将详细介绍决策树法的基本步骤。
1.数据准备2.选择最优特征决策树的构建过程中，需要选择最优的特征用来进行数据的切分。
通常采用信息增益、信息增益比、基尼指数等指标来度量特征的重要性和纯度。
选择最优特征的目标是使得每个子节点尽可能地纯净，即包含尽可能多的相同类别的实例。
3.切分数据集选择最优特征后，将数据集根据该特征的不同取值切分成多个子集。
这个过程将数据集根据特征划分为不同的分支。
每个分支对应于特征的一个取值，该分支上的数据集包含了特征取值与该分支对应的所有实例。
4.递归构建决策树对于每个子集，重复上述步骤，选择最优特征、切分数据集，直到满足终止条件。
终止条件有多种选择，包括数据集中的所有实例属于同一类别、没有更多可用的特征或者达到了预定的树深度。
5.剪枝决策树往往存在过拟合问题，为了提高决策树的泛化能力，需要对决策树进行剪枝操作。
剪枝过程有预剪枝和后剪枝两种策略。
预剪枝在树的构建过程中进行，通过设定阈值来提前停止树的生长。
后剪枝则是在树构建完成后，对树进行修剪。
通过验证集的结果来决定是否保留叶节点或者合并叶节点，以达到降低过拟合风险的目的。
6.使用决策树进行分类构建完决策树后，可以用其进行分类预测。
给定一个新的实例，从根节点开始，根据实例的特征值通过决策条件逐步向下遍历决策树，直到达到叶节点。
叶节点对应于该实例的类别，将实例分到相应的类别中。
7.决策树的评估与调优使用测试数据集对决策树进行评估，计算准确率、召回率、F1值等性能指标。
根据评估结果，可以对决策树进行调优，如调整剪枝阈值、改变特征选择方式、调整算法参数等。
总结：决策树算法的基本步骤包括数据准备、选择最优特征、切分数据集、递归构建决策树，以及剪枝等。
决策树的概念
决策树的概念
决策树是一种基于树形结构的分类和回归模型，它通过一系列的决策来对数据进行分类或预测。
在决策树中，每个节点表示一个属性或特征，每个分支表示该属性或特征的一个取值，而每个叶子节点表示一个分类或回归结果。
决策树的建立过程就是在数据集中选择最优的属性或特征，将数据集划分为更小的子集，直到所有数据都被正确分类或预测。
决策树的主要优点是易于理解和解释，可以处理多分类问题，同时也可以用于回归问题。
此外，决策树还可以处理缺失值和异常值，具有很好的鲁棒性。
决策树的主要缺点是容易过拟合，特别是当树的深度过大时，容易出现过拟合现象。
为了解决这个问题，可以采用剪枝等方法来降低模型的复杂度。
决策树的应用非常广泛，例如在金融、医疗、工业等领域中，可以用于客户信用评估、疾病诊断、产品质量控制等方面。
在机器学习领域中，决策树也是一种常用的分类和回归算法，被广泛应用于数据挖掘、自然语言处理、图像识别等领域。
决策树ppt课件
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
决策树法
决策树法(Decision Tree）决策树(decision tree)一般都是自上而下的来生成的。
每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。
决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
从根到叶子节点都有一条路径，这条路径就是一条“规则”。
决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：1) 通过该节点的记录数2) 如果是叶子节点的话，分类的路径3) 对叶子节点正确分类的比例有些规则的效果可以比其他的一些规则要好。
决策树的构成要素[1]决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。
如图所示：总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。
每条概率枝代表一种自然状态。
在每条细枝上标明客观状态的内容和其出现概率。
在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。
这样树形图由左向右，由简到繁展开，组成一个树状网络图。
决策树对于常规统计方法的优缺点优点：1)可以生成可以理解的规则；2)计算量相对来说不是很大；3) 可以处理连续和种类字段；4) 决策树可以清晰的显示哪些字段比较重要。
缺点：1) 对连续性的字段比较难预测；2) 对有时间顺序的数据，需要很多预处理的工作；3) 当类别太多时，错误可能就会增加的比较快；4) 一般的算法分类的时候，只是根据一个字段来分类。
决策树的适用范围[1]科学的决策是现代管理者的一项重要职责。
我们在企业管理实践中，常遇到的情景是：若干个可行性方案制订出来了，分析一下企业内、外部环境，大部分条件是己知的，但还存在一定的不确定因素。
决策树原理和简单例子
决策树原理和简单例子决策树是一种常用的机器学习算法，它可以用于分类和回归问题。
决策树的原理是基于一系列的规则，通过对特征的判断来对样本进行分类或预测。
下面将通过原理和简单例子来介绍决策树。
1. 决策树的原理决策树的构建过程是一个递归的过程，它将样本集合按照特征的不同取值分割成不同的子集，然后对每个子集递归地构建决策树。
构建决策树的过程是通过对特征的选择来确定每个节点的划分条件，使得信息增益或信息增益比最大。
2. 决策树的构建假设有一个分类问题，样本集合包含n个样本，每个样本有m个特征。
决策树的构建过程如下：(1) 若样本集合中的样本都属于同一类别，则构建叶子节点，并将该类别作为叶子节点的类别标签。
(2) 若样本集合中的样本特征为空，或者样本特征在所有样本中取值相同，则构建叶子节点，并将该样本集合中出现次数最多的类别作为叶子节点的类别标签。
(3) 若样本集合中的样本特征不为空且有多个取值，则选择一个特征进行划分。
常用的划分方法有信息增益和信息增益比。
(4) 根据选择的特征的不同取值将样本集合划分成多个子集，对每个子集递归地构建决策树。
(5) 将选择的特征作为当前节点的判断条件，并将该节点加入决策树。
3. 决策树的例子假设有一个二分类问题，样本集合包含10个样本，每个样本有2个特征。
下面是一个简单的例子：样本集合：样本1：特征1=0，特征2=1，类别=1样本2：特征1=1，特征2=1，类别=1样本3：特征1=0，特征2=0，类别=0样本4：特征1=1，特征2=0，类别=0样本5：特征1=1，特征2=1，类别=1样本6：特征1=0，特征2=0，类别=0样本7：特征1=1，特征2=0，类别=0样本8：特征1=0，特征2=1，类别=1样本9：特征1=1，特征2=1，类别=1样本10：特征1=0，特征2=1，类别=1首先计算样本集合的信息熵，假设正样本和负样本的比例都是1:1，信息熵为1。
选择特征1进行划分，计算信息增益：对于特征1=0的样本，正样本有2个，负样本有2个，信息熵为1。
简单说明决策树原理
简单说明决策树原理决策树是一种基于树形结构的分类和回归模型，它通过对训练数据进行学习来建立一个树形模型，用于预测新的数据。
决策树模型具有易于理解、易于实现、可处理离散和连续数据等优点，因此在机器学习领域得到了广泛应用。
一、决策树的基本概念1. 节点：决策树中的每个圆圈都称为一个节点，分为两种类型：内部节点和叶节点。
2. 内部节点：表示对特征进行测试的节点。
每个内部节点包含一个属性测试，将输入实例分配到其子节点中。
3. 叶节点：表示分类结果或输出结果。
在叶子结点处不再进行属性测试，每个叶子结点对应着一种类别或值。
4. 分支：表示从一个内部节点指向其子节点的箭头，代表了样本在该特征上取某个值时所走的路径。
5. 根节点：表示整棵决策树的起始点，在分类问题中代表所有样本都未被分类时所走的路径。
6. 深度：从根结点到当前结点所经过分支数目。
叶子结点深度为0。
7. 路径：从根结点到叶子结点所经过的所有分支构成的序列。
8. 剪枝：对决策树进行简化的过程，目的是减少模型复杂度，提高泛化能力。
二、决策树的生成1. ID3算法ID3算法是一种基于信息熵来进行特征选择的决策树生成算法。
它通过计算每个特征对训练数据集的信息增益来选择最优特征作为当前节点的属性测试。
具体步骤如下：（1）计算数据集D的信息熵H(D)。
（2）对于每个特征A，计算其对数据集D的信息增益Gain(A)，并选择信息增益最大的特征作为当前节点的属性测试。
其中，信息增益定义为：Gain(A)=H(D)-H(D|A)，其中H(D|A)表示在已知特征A时，数据集D中所包含的各个类别所占比例对应的熵值。
（3）将数据集按照选定属性划分为多个子集，并递归地生成子树。
（4）直到所有样本都属于同一类别或者没有更多可用特征时停止递归。
2. C4.5算法C4.5算法是ID3算法的改进版，它在选择最优特征时使用了信息增益比来解决ID3算法中存在的偏向于选择取值较多的特征的问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
王庆江
计算机科学与技术系
qjwang@
概述
决策树（decision tree）是描述概念空间的一种 有效方法，支持多概念学习；
属于基于实例的归纳学习； 起源于1966年Hunt、Marin、Stone的概念学习 系统CLS，CLS只能学习单个概念；
设信源X发出符号ai的概率为p(ai)，在收到ai之前，收 信者对ai的不确定性定义为I(ai)，I(ai)=－logp(ai)；
当 p(ai) = 1时，I(ai) = 0。
表示信源X整体的不确定性；
r i 1
信息熵H(X)
H ( X ) p(a1 ) I (a1 ) p(a2 ) I (a2 ) ... p(ar ) I (ar ) p(ai ) log p(ai )
机器学习
9
6.5.2 ID3算法
设实例集为S，S = {s1, s2, s3, …, sT}，T = |S|； 对于有教师的学习，每个实例有明确的类别，即
s = (a1, a2, a3, …, am; μ) 若xi代表第i个属性，则每个实例代表一条规则，即 (x1=a1) ∧ (x2=a2) ∧ (x3=a3) ∧ … ∧ (xm=am) => μ
H(S|x1) = (8/24)*1.5 + (8/24)*1.2988 + (8/24)*1.0613 = 1.2867
2008-2009学年第1学期 机器学习
14
同理，可计算引入其他属性时S的条件熵；
H(S|x2) = 1.2866 H(S|x3) = 0.9491 H(S|x4) = 0.7773
93年， J.R. Quinlan在ID3基础上，提出了C4.5算法； 无论哪种决策树算法，都是构造一棵熵值下降的树，叶 子结点的熵值为0。
2008-2009学年第1学期
机器学习
3
决策树是怎么产生的？
决策树是描述分类过程的一种 数据结构；
根结点 个子小
个子大 脖长
对根结点，引入一条分类信息， 不吱吱叫
叶子结点总熵值为0.3921 ↓ 候选属性有x1和x2，该选谁呢？
选x1时，分裂为三个结点。
H(S’1) = －(2/4) × log(2/4) － (2/4) × log(2/4) = 1.0
H(S’2) = － (1/4) × log(1/4) －
(2/4) × log(2/4) － (1/4) × log(1/4) = 1.5 H(S’3) = － (1/4) × log(1/4) － (1/4) × log(1/4) －(2/4) × log(2/4) = 1.5 H(S’|x1) = (4/12) × 1.0 + (4/12)
动物知识分类树
4
如果每个分类信息只将结点对应的数据集一分为 二，则最终的决策树是二叉树，即CART树；
叶子结点代表分类（概念或决策），根到一个叶
子结点的路径代表一条分类规则；
例：个大∧脖短∧鼻长 =〉可能是大象
规则内的各部分之间为合取关系。
整个决策树代表若干规则的析取。
支持多概念学习。
选x3时，分裂为三个结点。
H(S’1) = －(5/6) × log(5/6) － (1/6) × log(1/6) = 0.6500 H(S’2) = － (4/6) × log(4/6) － (2/6) × log(2/6) = 0.9183
H(S’|x3) = (6/12) × 0.6500 +
(6/12) × 0.9183 = 0.7842
H(S’|x1)=1.3333 H(S’|x2)=1.4591
∴ 选x3
2008-2009学年第1学期 机器学习
19
当前的决策树（1）
根结点
训练集S’
0.0 (12)
(4,1:3)
(3,1) (4,2) (3,2)
0.6500 (6)
0.9183 (6)
μ=1:用大口径防雹弹 μ=2:用小口径防雹弹 μ=3:不用防雹弹 x1:雨云、浓集云、雨 层云
x2:微风、大风
x3:夏秋、春冬 x4:向风坡、背风坡
11
12 13 14 15 16 17 18 19 20 21 22
2
2 2 2 2 2 3 3 3 3 3 3
1
1 2 2 2 2 1 1 1 1 2 2 2 2
根结点
(4,1:3)
(4,2)
候选属性有x1、x2 和x3，该选谁呢？
2008-2009学年第1学期
机器学习
16Leabharlann x4=2对应的实例集S’为
序号 2 4 6 8 10 12 14 16 18 20 22 24 x1 1 1 1 1 2 2 2 2 3 3 3 3 属性值 x2 x3 1 1 2 2 1 1 2 2 1 1 2 2 1 2 1 2 1 2 1 2 1 2 1 2 x4 2 2 2 2 2 2 2 2 2 2 2 2 决策 μ 2 1 2 1 2 1 2 3 3 1 2 3
除非信源以概率1发出唯一符号，否则，H(X) > 0 。
机器学习
2008-2009学年第1学期
7
条件熵
设信源为X，收信者收到信息Y，用条件熵H(X|Y)表示 收信者在收到Y后对X的不确定性估计；
设X的符号为ai，Y的符号为bj，p(ai|bj)表示当Y为bj时X 为ai的概率，则
H ( X | Y ) p(ai | b j )log p(ai | b j )
i 1 j 1
r
s
2008-2009学年第1学期
机器学习
8
决策树的构造
根结点包含所有训练数据，且无分类信息，故熵
值最大； 每引入一个属性，分裂出子结点，子结点的熵值 比父结点更小； 训练集中各例子的类别是确定的，故叶子结点的 熵为0。 从根结点到叶子结点是熵值下降的过程。
2008-2009学年第1学期
选x2时，分裂为三个结点。
H(S’1) = －(3/6) × log(3/6) － (2/6) ×log(2/6) － (1/6) ×
log(1/6) = 1.4591
H(S’2) = －(1/6) ×log(1/6) － (3/6) × log(3/6)－(2/6) × log(2/6) = 1.4591 H(S’|x2) = (6/12) ×1.4591 + (6/12) ×1.4591 = 1.4591
训练集
S1 = {s1, s2, s3, s4, s5, s6, s7, s8}
S2 = {s9, s10, s11, s12, s13, s14, s15, s16}
S3 = {s17, s18, s19, s20, s21, s22, s23, s24}
H(S)
|{si|si∈S1, u(si)=1}|=2, |{si|si∈S1, u(si)=2}|=2, |{si|si∈S1, u(si)=3}|=4 H(S1) = - (2/8)*log(2/8) - (2/8)*log(2/8) - (4/8)*log(4/8) = 1.5 H(S2) = - (1/8)*log(1/8) - (2/8)*log(2/8) - (5/8)*log(5/8) = 1.2988 H(S3) = - (1/8)*log(1/8) - (1/8)*log(1/8) - (6/8)*log(6/8) = 1.0613
3
H p( ui )log2 p( ui )
i 1
4 4 5 5 15 15 log2 log2 log2 24 24 24 24 24 24 1.3261
2008-2009学年第1学期 机器学习
前跳
12
若引入属性xi，xi∈[1, m]，则可产生子集S1、S2、…、 St，当然某个子集可能是空集；
2008-2009学年第1学期
机器学习
5
决策树的构造和应用
用一个包含若干实例的集合（即训练集），按 ID3（或其他算法）产生决策树；
对于一个待测实例，按其属性在决策树中搜索， 找到的叶子结点就是该实例所属的类。
2008-2009学年第1学期
机器学习
6
关于信息熵的基础知识
决策树构造算法一般基于信息熵理论； 自信息量I(ai)
2008-2009学年第1学期
机器学习
18
x4=2对应的实例集S’为
序号 2 4 6 8 10 12 14 16 18 20 22 24 x1 1 1 1 1 2 2 2 2 3 3 3 3 属性值 x2 x3 1 1 2 2 1 1 2 2 1 1 2 2 1 2 1 2 1 2 1 2 1 2 1 2 x4 2 2 2 2 2 2 2 2 2 2 2 2 决策 μ 2 1 2 1 2 1 2 3 3 1 2 3
1979年，John Ross Quinlan提出了ID3算法。
J.R. Quinlan，68年在华盛顿大学获计算机科学博士，AI专家，发明了 “重复的两分器3”（Iterative Dichotomiser 3，缩写ID3）算法，该算法 可产生决策树。
2008-2009学年第1学期
机器学习
2
2008-2009学年第1学期
机器学习
10
序号 1 2 3 4 5 6 7 8 9 10
属性值 x1 1 1 1 1 1 1 1 1 2 2 x2 1 1 1 1 2 2 2 2 1 1 x3 1 1 2 2 1 1 2 2 1 1