决策树分类法PPT课件
合集下载
决策树分析方法ppt
全局最优
通过剪枝等技术来优化决 策树，以获得全局最优解 （最小损失函数值）。
决策树的预测原理
特征选择
使用训练好的决策树模型对新 的样本进行预测时，需要根据 模型中保存的特征选择规则进
行预测。
路径搜索
从根节点开始，根据模型中保存 的分裂准则和分裂点信息，沿着 树结构向下搜索，直到到达叶子 节点或无法继续分裂的节点。
CART算法步骤
划分数据集、对每个属性计算其划分能力、选择划分能力最大的属性、生成决策 节点、递归生成决策树。
随机森林算法
随机森林算法原理
基于多棵决策树的投票策略，通过训练多棵决策树，然后对 结果进行投票，以得到更加准确的结果。
随机森林算法步骤
数据集随机化、生成多棵决策树、对结果进行投票、选择票 数最多的结果作为输出。
01
02
03
04
总结词：差异对比、应用场景
线性回归是一种基于因变量和 一个或多个自变量之间关系的 预测模型，通常适用于连续目 标变量。
决策树是一种基于自上而下的 贪心搜索算法，将数据集划分 成若干个不相交的子集，每个 子集对应一个决策节点，从而 形成一棵树状结构。
在回归问题上，决策树不如线 性回归表现稳定，但在分类问 题上，决策树表现更优秀，可 以很好地处理非线性关系和异 常值。
C4.5算法
C4.5算法原理
在ID3算法的基础上，增加了剪枝、处理缺失值和连续属性等处理，以得到 更加准确的决策树。
C4.5算法步骤
计算各个属性的信息增益率、选择信息增益率最大的属性、生成决策节点、 递归生成决策树、剪枝处理。
CART算法
CART算法原理
基于二叉树的贪心策略，将数据集划分为两个子集，然后对每个子集递归生成决 策树。
决策树算法(PPT36页)
第七章 决策树和决策规则
本章目标 分析解决分类问题的基于逻辑的方法的特
性. 描述决策树和决策规则在最终分类模型中
的表述之间的区别. 介绍C4.5算法. 了解采用修剪方法降低决策树和决策规则
的复杂度.
决策树和决策规则是解决实际应用中分类 问题的数据挖掘方法。
一般来说，分类是把数据项映射到其中一 个事先定义的类中的这样一个学习函数的 过程。由一组输入的属性值向量(也叫属性 向量)和相应的类，用基于归纳学习算法得 出分类。
单按上面方式计算。下面先介绍一下C4.5 算法中一般包含3种类型的检验结构：
1.离散值的“标准”检验，对属性的每个可 能值有一个分枝和输出。
2.如果属性Y有连续的数值，通过将该值和阈 值Z比较，用输出Y≤Z和Y＞Z定义二元检验。
3.基于离散值的更复杂的检验，该检验中属 性的每个可能值被分配到许多易变的组中， 每组都有一个输出和分枝。
7.2 C4.5算法：生成一个决策树
C4.5算法最重要的部分是由一组训练样本 生成一个初始决策树的过程。决策树可以 用来对一个新样本进行分类，这种分类从 该树的根节点开始，然后移动样本直至达 叶节点。在每个非叶决策点处，确定该节 点的属性检验结果，把注意力转移到所选 择子树的根节点上。
例如，如图7-3a为决策树分类模型，待分 类有样本如图7-3b所示，由决策树分类模 型可得出待分类样本为类2。(节点A,C,F(叶 节点))
=0.694
相应的增益: Gain(x1)=0.94-0.694=0.246
按属性3分区可得子集的熵的加权和：
infox2(T)=6/14(-3/6log2(3/6)-3/6log2(3/6)) +8/14(-6/8log2(6/8)-2/8log2(2/8))
本章目标 分析解决分类问题的基于逻辑的方法的特
性. 描述决策树和决策规则在最终分类模型中
的表述之间的区别. 介绍C4.5算法. 了解采用修剪方法降低决策树和决策规则
的复杂度.
决策树和决策规则是解决实际应用中分类 问题的数据挖掘方法。
一般来说，分类是把数据项映射到其中一 个事先定义的类中的这样一个学习函数的 过程。由一组输入的属性值向量(也叫属性 向量)和相应的类，用基于归纳学习算法得 出分类。
单按上面方式计算。下面先介绍一下C4.5 算法中一般包含3种类型的检验结构：
1.离散值的“标准”检验，对属性的每个可 能值有一个分枝和输出。
2.如果属性Y有连续的数值，通过将该值和阈 值Z比较，用输出Y≤Z和Y＞Z定义二元检验。
3.基于离散值的更复杂的检验，该检验中属 性的每个可能值被分配到许多易变的组中， 每组都有一个输出和分枝。
7.2 C4.5算法：生成一个决策树
C4.5算法最重要的部分是由一组训练样本 生成一个初始决策树的过程。决策树可以 用来对一个新样本进行分类，这种分类从 该树的根节点开始，然后移动样本直至达 叶节点。在每个非叶决策点处，确定该节 点的属性检验结果，把注意力转移到所选 择子树的根节点上。
例如，如图7-3a为决策树分类模型，待分 类有样本如图7-3b所示，由决策树分类模 型可得出待分类样本为类2。(节点A,C,F(叶 节点))
=0.694
相应的增益: Gain(x1)=0.94-0.694=0.246
按属性3分区可得子集的熵的加权和：
infox2(T)=6/14(-3/6log2(3/6)-3/6log2(3/6)) +8/14(-6/8log2(6/8)-2/8log2(2/8))
高中信息技术浙教版：决策树教学课件(共27张PPT)
第五步：使用Python库测试结果可视化
第一步：收集数 据
第三步：向Python导入 数据
第四步：使用Python库sklearn训练
第二步：分割数据
课堂小结
一、2017年度重点工作项目完成情况
1 决策树分类概念 2 构建决策树
3 举例说明：鸢尾花分类
备未用来：的深深度度学学习习：人工智能
展望与挑战
“温度”是多余的特点
如何判断某一天游客是否会来游乐场游玩？
天气、温度、湿度
2.4.1决策树分类概念
建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。
再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每 个样本为同一个类别。
2.4.2构建决策树
构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属 性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度” 会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属 性，可以采用信息增益(informationgain)这一指标。
2.4.2构建决策树
练一练： 1.计算表2.4.1中温度高低、湿度大小、风力强弱三个气象特点的信息增益。
思考： 将天气状况、温度高低、湿度大小、风力强弱作为分支点来构造图2.4.1决策
树时，是否信息增益大的气象特点离根节点越近?
【练一练】： 如下表所示，每朵鸢尾花有萼片长度、萼片宽度、花瓣长度、花瓣宽度四个
4个属性 1个标签 1 Label 4 Features 用来标记种类
序号 Index 0-149， 一共150个样本
基于鸢尾花数据集
例：鸢尾花数据集是常用的分类实验数据集，由Fisher1936收集整理。 Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含 150个数据样本，分为3类，每类50个数据，每个数据包含4个属性。可通 过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于 （Sentosa 0，Versicolor 1，Virginia 2）三个种类中的哪一类。
第一步：收集数 据
第三步：向Python导入 数据
第四步：使用Python库sklearn训练
第二步：分割数据
课堂小结
一、2017年度重点工作项目完成情况
1 决策树分类概念 2 构建决策树
3 举例说明：鸢尾花分类
备未用来：的深深度度学学习习：人工智能
展望与挑战
“温度”是多余的特点
如何判断某一天游客是否会来游乐场游玩？
天气、温度、湿度
2.4.1决策树分类概念
建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。
再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每 个样本为同一个类别。
2.4.2构建决策树
构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属 性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度” 会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属 性，可以采用信息增益(informationgain)这一指标。
2.4.2构建决策树
练一练： 1.计算表2.4.1中温度高低、湿度大小、风力强弱三个气象特点的信息增益。
思考： 将天气状况、温度高低、湿度大小、风力强弱作为分支点来构造图2.4.1决策
树时，是否信息增益大的气象特点离根节点越近?
【练一练】： 如下表所示，每朵鸢尾花有萼片长度、萼片宽度、花瓣长度、花瓣宽度四个
4个属性 1个标签 1 Label 4 Features 用来标记种类
序号 Index 0-149， 一共150个样本
基于鸢尾花数据集
例：鸢尾花数据集是常用的分类实验数据集，由Fisher1936收集整理。 Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含 150个数据样本，分为3类，每类50个数据，每个数据包含4个属性。可通 过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于 （Sentosa 0，Versicolor 1，Virginia 2）三个种类中的哪一类。
分类决策树_ID3算法(精华-理论加实例)PPT课件
A2
A3
类
应用模型
1
Y
100
L
？
2
N
125
S
？
推论
3
Y
400
L
？
42021/3/25 N
415 M
？
授课：XXX
模型
7
第6章 决策树
决策树
决策树基本概念
决策树是一种典型的分类方法，首先对数据进行处理，利用 归纳算法生成可读的规则和决策树，然后使用决策对新数据进行 分析。本质上决策树是通过一系列规则对数据进行分类的过程。
2021/3/25
授课：XXX
8
第6章 决策树
决策树基本概念
决策树的优点
1、推理过程容易理解，决策推理过程可以表示成If Then形式；
2、推理过程完全依赖于属性变量的取值特点；
3、可自动忽略目标变量没有贡献的属性变量，也为判断属性 变量的重要性，减少变量的数目提供参考。
2021/3/25
授课：XXX
2021/3/25
已知三角形ABC，A角等于76度，
B角等于89度，则其C角等于15度
授课：XXX
11
第6章 决策树
决策树基本概念
关于归纳学习(3)
归纳学习由于依赖于检验数据，因此又称为检验学习 。归纳学习存在一个基本的假设：
任一假设如果能够在足够大的训练样本集中很好的逼 近目标函数，则它也能在未见样本中很好地逼近目标函数 。该假定是归纳学习的有效性的前提条件。
否
飞行动 物
否
有腿 是
冬眠 否
海龟 冷血 鳞片
否
半
否
是
否
鸽子 恒温 羽毛
决策树ppt课件
决策树在分类问题中应用
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
分类挖掘之决策树(ppt版)
income
其他(qítā)属性的信息率可类似求 出。
第二十六页，共六十六页。
将输出变量(biànliàng)〔是否购 置〕看作信源发出的信息U
输入变量看作是信宿接收到的一系 列信息V
•在实际通信之前〔决策树建立之前〕，输出变量对信宿来讲是完全随机的，其平 均不确定性为：
En(Ut)
i
P(ui)lo2gP(1ui)i
(6) FOR EACH由结点N长出的新结点{
IF 该结点对应的样本子集只有(zhǐyǒu)唯一的一种决策类别， 那么将该结点标记为该类别的叶结点; ELSE 在该结点上执行ID3Tree (T’，T’-attributelist)，对它继续进行分裂;} 其中，T’为由结点N划分而来的子集，T’-attributeslit为去除被选分裂属性后的属性集。
• 基尼指数——Gini index (SLIQ，SPRINT)
•
•
…………
第十二页，共六十六页。
2002222//11//33
信息论的根本(gēnběn)概念
1、信息是用来(yònɡ lái)消除随机不确定性的度量。信息量的大小可 由所消除的不确定性大小来计量。
信息量的数学定义：
I(ui)lo2g P(1 ui)lo2g P(ui)
= 0.94
下年面 龄=计“算<=每3个0属〞性：I的(p ,n 熵) 。p 从 pn 年lo g 龄2 pp 1开 p1n始=p 2计n ，n 算lo ng 。2 1p 1n =n3 I (p11，n11)=0.971
年龄=“30~40〞：
p12=4，n12=0 I (p12，n12)=0
年龄=“>40〞： p13=3，n13=2 I (p13，n13)=0.971
决策树培训讲义(PPT 49页)
Married 100K No
Single 70K
No
Married 120K No
Divorced 95K
Yes
Married 60K
No
Divorced 220K No
Single 85K
Yes
Married 75K
No
Single 90K
Yes
3. samples = { 2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc }
选择TaxInc为最优分割属性：
Refund
Yes
No
NO < 80K
Single TaxInc
MarSt
Married Divorced
>= 80K
NO
YES
▪ 问题1：分类从哪个属性开始？
——选择分裂变量的标准
▪ 问题2：为什么工资以80为界限？
——找到被选择的变量的分裂点的标准（ 连续变量情况）
分类划分的优劣用不纯性度量来分析。如果对于所有
分支，划分后选择相同分支的所有实例都属于相同的类，
则这个划分是纯的。对于节点m，令 N m 为到达节点m的训练
实例数，
个实例中
N
i m
个属于Ci
类，而
N
i m
Nm 。如果一
个实例到节点m，则它属于 类的概率估i 计为：
pˆ (Ci
|
x, m)
pmi
N
i m
10
Single 125K No
Married 100K No
Single 70K
No
Married 120K No
决策树(完整)ppt课件
留出法：将数据集D划分为两个互斥的集合：训练集S和测试集T
DST且 ST
;.
18
;.
19
预剪枝
训练集：好瓜 坏瓜 1,2,3,6,7,10,14,15,16,17
1,2,3,14
4,5,13 (T,T,F)
6,7,15,17
8,9 (T,F)
精度：正确分类的样本占所有 样本的比例
验证集：4,5,8,9,11,12,13
三种度量结点“纯度”的指标： 1. 信息增益 2. 增益率 3. 基尼指数
;.
6
1. 信息增益 信息熵
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。 香农用“信息熵”的概念来描述信源的不确定性。
对于二分类任务 y 2
;.
7
假设我们已经知道衡量不确定性大小的这个量已经存在了，不妨就叫做“信息量”
用“编号”将根结点划分后获得17个 分支结点的信息熵均为：
E n t( D 1 ) E n t(D 1 7 ) ( 1 1 lo g 2 1 1 1 0 lo g 2 1 0 ) 0
则“编号”的信息增益为：
G a in (D ,编 号 ) E n t(D )1 71E n t(D v) 0 .9 9 8
;.
30
1. 属性值缺失时，如何进行划分属性选择？（如何计算信息增益） 2. 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
（对于缺失属性值的样本如何将它从父结点划分到子结点中）
D : D : 训练集
训练集中在属性a上没有缺失值的样本子集
D D v :
被属性a划分后的样本子集
D D k :
;.
2
二分类学习任务 属性 属性值
PPT 决策树
• △——结果节点，将每个方案在各种自然状态下取 得的损益值标注于结果节点的右端。
2020/4/3
---
2020/4/3
---
优点
2020/4/3
决策树易于理解和实现，人们在在学习 过程中不需要使用者了解很多的背景知 识，这同时是它的能够直接体现数据的 特点，只要通过解释后都有能力去理解 决策树所表达的意义。
市场预测表明：产品销路好的概率为0.7；销路差的概 率为0.3。备选方案有三个：第一个方案是建设大工厂， 需要投资600万元，可使用10年；如销路好，每年可赢 利200万元；如销路不好，每年会亏损40万元。第二个 方案是建设小工厂，需投资280万元；如销路好，每年 可赢利80万元；如销路不好，每年也会赢利60万元。 第三个方案也是先建设小工厂，但是如销路好，3年后 扩建，扩建需投资400万元，可使用7年，扩建后每年 会赢利190万元。
P(c1 )
c1 s
9 14
P(c2 )
c2 s
5 14
计算对给定样本分类所需的期望信息
m
I (c1, c2 ) P(ci ) log(P(ci )) P(c1) log(P(c1)) P(c2 ) log(P(c2 )) = 0.94 i 1
下面计算每个属性的熵。从年龄开始计算
年龄=“<=30”： 年龄=“31~40”： 年龄=“>40”：
2020/4/3
---
组成
• □——决策点，是对几种可能方案的选择，即最后 选择的最佳方案。如果决策属于多级决策，则决策 树的中间可以有多个决策点，以决策树根部的决策 点为最终决策方案。
• ○——状态节点，代表备选方案的经济效果（期望 值），通过各状态节点的经济效果的对比，按照 一定的决策标准就可以选出最佳方案。由状态节 点引出的分支称为概率枝，概率枝的数目表示可 能出现的自然状态数目每个分枝上要注明该状态 出现的概率。
2020/4/3
---
2020/4/3
---
优点
2020/4/3
决策树易于理解和实现，人们在在学习 过程中不需要使用者了解很多的背景知 识，这同时是它的能够直接体现数据的 特点，只要通过解释后都有能力去理解 决策树所表达的意义。
市场预测表明：产品销路好的概率为0.7；销路差的概 率为0.3。备选方案有三个：第一个方案是建设大工厂， 需要投资600万元，可使用10年；如销路好，每年可赢 利200万元；如销路不好，每年会亏损40万元。第二个 方案是建设小工厂，需投资280万元；如销路好，每年 可赢利80万元；如销路不好，每年也会赢利60万元。 第三个方案也是先建设小工厂，但是如销路好，3年后 扩建，扩建需投资400万元，可使用7年，扩建后每年 会赢利190万元。
P(c1 )
c1 s
9 14
P(c2 )
c2 s
5 14
计算对给定样本分类所需的期望信息
m
I (c1, c2 ) P(ci ) log(P(ci )) P(c1) log(P(c1)) P(c2 ) log(P(c2 )) = 0.94 i 1
下面计算每个属性的熵。从年龄开始计算
年龄=“<=30”： 年龄=“31~40”： 年龄=“>40”：
2020/4/3
---
组成
• □——决策点，是对几种可能方案的选择，即最后 选择的最佳方案。如果决策属于多级决策，则决策 树的中间可以有多个决策点，以决策树根部的决策 点为最终决策方案。
• ○——状态节点，代表备选方案的经济效果（期望 值），通过各状态节点的经济效果的对比，按照 一定的决策标准就可以选出最佳方案。由状态节 点引出的分支称为概率枝，概率枝的数目表示可 能出现的自然状态数目每个分枝上要注明该状态 出现的概率。
决策树课件PPT精品文档61页
Clementine的决策树
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归
C5.0算法及应用 分类回归树及应用 CHAID算法及应用 QUEST算法及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
C5.0算法：熵
例如：二元信道模型
P(u1|v1) P(u1|v2)
P P((u u2 2||vv12))P P 1 12 1P P 2 21 2
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性
后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
C5.0算法：熵
信息熵是信息论(C.E.Shannon,1948)中的基本概 念。信息论主要用于解决信息传递过程中的问题 ，也称统计通信理论
信息论的基本出发点认为：
信息传递通过由信源、信道和信宿组成的传递 系统实现
信源(发送端) 信道
信宿(接收端)
C5.0算法：熵
信息论的基本出发点认为： 传递系统存在于一个随机干扰环境之中 将发送的信息记为U，接收的信息记为V，那么 信道可看作为信道模型，记为P(U|V)
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程
第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归
C5.0算法及应用 分类回归树及应用 CHAID算法及应用 QUEST算法及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
C5.0算法：熵
例如：二元信道模型
P(u1|v1) P(u1|v2)
P P((u u2 2||vv12))P P 1 12 1P P 2 21 2
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性
后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
C5.0算法：熵
信息熵是信息论(C.E.Shannon,1948)中的基本概 念。信息论主要用于解决信息传递过程中的问题 ，也称统计通信理论
信息论的基本出发点认为：
信息传递通过由信源、信道和信宿组成的传递 系统实现
信源(发送端) 信道
信宿(接收端)
C5.0算法：熵
信息论的基本出发点认为： 传递系统存在于一个随机干扰环境之中 将发送的信息记为U，接收的信息记为V，那么 信道可看作为信道模型，记为P(U|V)
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程
第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Class5（裸地）：NDVI<=0.3, b4>=20
4 Class6（无数据区）: NDVI<=0.3, b4=0
.
二、输入决策树规则
ENV中：classification->Decision Tree ->Build New Decision Tree
5
.
6
.
7
.
三、执行决策树
选择Options>Execute，执行决策 树，跳出对话框，选 择输出结果的投影参 数、重采样方法输出 路径，点击OK之后， 得到结果。
8
.
四、分类后处理
回到决策树窗口，在工作空白处点击右键， 选择Zoom In，可以看到每一个节点或者类别 有相应的统计结果 。 如 果 结 果 不 理 想 可 以 修 改决策树，左键单击节点或者末端类别图标， 选择Execute，重新运行你修改部分的决策树， 得到效果较好的处理结果。
9
.
10
.
11决策树分类1源自.决策树分类法基于知识的决策树分类是基于遥感影像数据
及其他空间数据，通过专家经验总结、简单
的数学统计和归纳方法等，获得分类规则并
进行遥感分类。分类规则易于理解，分类过
程也符合人的认知过程，最大的特点是利用
2 的多源数据。
.
主要步骤
➢规则定义
➢规则输入
➢决策树运行
➢分类后处理
3
.
一、规则定义
Class1（朝北缓坡植被）:NDVI>0.3, slope<20, aspect<90 and aspect>270
Class2（非朝北缓坡植被）：NDVI>0.3, slope<20, 90<=aspect<=270
Class3（陡坡植被）：NDVI>0.3, slope>=20
Class4（水体）：NDVI<=0.3, 0<b4<20
.