决策树决策树
决策树的原理
决策树的原理决策树（DecisionTree）是一种基于规则分析的数据挖掘技术，它可以将复杂多变的数据模型转换成易于理解和操作的决策树数据模型，并可以根据客观准则进行分类与预测。
其具有实用性强、易于理解、能够可视化、运行快等优点，在统计学和机器学习领域均有广泛的应用。
一、决策树的概念决策树，又称为决策结构，它是一种特定的规则分析和数据挖掘技术，旨在通过基于计算机算法构建出一个树状结构来帮助决策者分析和做出正确的决策。
决策树分析技术，是一种综合反映某些事物与其未来状况之间原则关系的技术。
简单地说，就是用树状结构来表示一系列决策，每个节点代表一个决策，从根节点开始，依据客观的准则，不断地延伸出子节点，直到树的深度结束。
二、决策树的结构决策树主要由根，叶子，中间节点组成。
根节点表示决策树的开始，即从根节点开始，依据客观准则，不断延伸出子节点，直到树的深度结束；叶子节点表示决策过程结束，它是最终的结果，是分支的终点；中间节点是决策的转折点，也就是有多少个判定条件，有多少个决策节点。
三、决策树的算法1.基尼不纯度基尼不纯度（ Gini impurity）是用来评价决策树的一个指标，它的计算公式是：Gini(D) = 1 -Sum{ Pi^2 }，其中D为根节点表示的子集，P为每一类在该集中的概率。
基尼不纯度越大，说明由当前节点划分出来的子集更不容易正确分类；反之，基尼不纯度越小，说明由当前节点划分出来的子集更容易正确分类。
2.信息增益信息增益（information gain），是用来评价决策树分类属性的一个指标，它的计算公式是：Gain(A,D) = Info_D - Sum{ (|Ci|/|D|) * Info_Ci }，其中A为根节点表示的属性，D为该节点表示的子集，Ci为A的每一值子集，|Ci|、|D|分别表示Ci和D的大小。
信息增益越大，说明由当前节点划分出来的子集更容易正确分类。
四、决策树的应用决策树可以用于诊断。
常见的三种逻辑树
常见的三种逻辑树
逻辑树通常用于表示和组织逻辑结构，而具体的逻辑树类型可能因应用领域和目的而有所不同。
以下是几种常见的逻辑树类型：
1.决策树（Decision Tree）：决策树是一种常见的逻辑树，用于支持决策过程。
它通过一系列的条件判断来导向最终的决策。
每个节点表示一个判断条件，分支表示条件的不同结果，叶节点表示最终的决策。
决策树在机器学习中常被用于分类和回归问题。
2.布尔逻辑树（Boolean Logic Tree）：布尔逻辑树使用布尔运算（与、或、非）来表示逻辑关系。
这种树结构常被用于电路设计、计算机科学和逻辑推理等领域。
每个节点表示一个逻辑运算，分支表示不同的逻辑结果。
3.事件树（Event Tree）：事件树是用于分析系统安全和可靠性的一种逻辑树结构。
它描述了系统或过程中可能发生的各种事件，并通过分析这些事件的概率和后果来评估系统的整体风险。
事件树的节点表示各种可能的事件，分支表示事件的不同结果。
这只是一小部分逻辑树的例子，实际上，根据不同的应用和领域，还可以有其他类型的逻辑树，如状态树、因果关系树等。
每种类型的逻辑树都有其特定的用途和优势，根据具体情况选择适当类型的逻辑树有助于更有效地组织和表达逻辑结构。
决策树
概率
0.3 0.5 0.2 0.2 0.6 0.2 0.3 0.5 0.2 0.3 0.6 0.1
A低
B高
B低
今以方案A高为例，说明损益期望值的计算，概率分叉 点7的损益期望值为：
5000×0.3+1000×0.5-3000×0.2=1400万元
概率分叉点2的损益期望值为：
1400×0.3-50×0.7=385万元
枝 分 圆形结点称为状态结点 案 方
2
概率枝
损益值
由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。每条概 1 方案 损益值 枝 分枝 率 率枝代表一种自然状态。在每条细枝上标明客观状态的内容和其出现概率 概 决策
结点 概率 3 。在概率枝的最末稍标明该方案在该自然状态下所达到的结果 (收益值或 枝 概率分叉点 (自然状态点) 损益值 损失值)。这样树形图由左向右，由简到繁展开，组成一个树状网络图。
同理，可得概率分叉点 3、4、5、6各方案的损益期望
值分别为125、0、620和1100。
承包商可做出决策，如投A 工程，宜投高标，如投B 工程，宜投低标。而且从损益期望值角度看，选定B工 程投低标更为有利。
销路好（0.7） 680万元 2 建大厂 930万元 5 销路差（0.3） 200万元
-40万元
决策树（Decision Tree）
决策树对于常规统计方法的优缺点 优点：
1)
2)
3) 可以处理连续和种类字段 4) 决策树可以清晰的显示哪些字段比较重要。 缺点： 1) 2) 3) 4) 。
决策树（Decision Tree）
决策树的适用范围
科学的决策是现代管理者的一项重要职责。我们在企业管理实践中常 、外部环境
决策树
• 例2：某企业为了生产某种新产品，决定对 一条生产线的技术改造问题拟出两种方案， 一是全部改造，二是部分改造。若采用全 部改造方案，需投资280万元。若采用部分 改造方案只需投资150万元；两个方案的使 用期都是10年.估计在此期间，新产品销路 好的概率是0.7，销路不好的概率是0.3，两 个改造方案的年度损益值如表 所示。请问 该企业的管理者应如何决策改造方案。
3
步骤
• 决策树形图是人们对某个决策问题未来可能发生的 状态与方案的可能结果所作出的预测在图纸上的分 析。因此画决策树形图的过程就是拟定各种可行方 案的过程，也是进行状态分析和估算方案结果值的 过程。画决策树形图时，应按照图的结构规范由左 向右逐步绘制、逐步分析。其步骤如下： • （1）根据实际决策问题，以初始决策点为树根出发， 从左至右分别选择决策点、方案枝、状态节点、概 率枝等画出决策树。 • （2）从右至左逐步计算各个状态节点的期望收益值 或期望损失值，并将其数值标在各点上方。 • （3）在决策点将各状态节点上的期望值加以比较， 选取期望收益值最大的方案。对落选的方案要进行 “剪枝”，即在效益差的方案枝上画上“∥”符号。 最后留下一条效益最好的方案。
• 根据以上情况，该公司确定进货期为一周， 并设计了3种进货方案：A1进货方案为每周 进货10000×7=70000（公斤）；A2进货方 案为每周进货8000×7=56000（公斤）；A3 进货方案为每周进货6000×7=42000（公 斤）。在“双节”到来之前，公司将决策选 择哪种进货方案，以便做好资金筹集和销售 网点的布置工作。
1
• 决策树基本模型
• 决策树又称决策图，是以方框和圆圈及节点，并由直线连 接而形成的一种像树枝形状的结构图。单阶段决策树如图 所示：
决策树名词解释
决策树名词解释决策树（DecisionTree）是一种常见的数据挖掘技术，也称为决策树分类（Decision Tree Classification）。
决策树是一种以树状结构表示数据的模型，它可以用来描述一组数据集的概念，它可以用来作出决策。
策树是一种数据挖掘的常用算法，它可以用于分类、回归任务，以及关联规则建模，它可以帮助智能系统理解数据，从而实现更好的决策。
决策树的基本原理很简单，它是一种将每个属性值与实例的关联转换成树形结构的方法。
在这种树形结构中，每个节点存储关联属性的值，从而决定一个决策。
策树通常用于研究一组已知数据，它可以用来预测未知数据的结果，也可以用来归类数据，从而发现数据的规律性。
决策树的建立有很多步骤，但是大致可以分为以下几个步骤：（1）数据集准备：首先，需要对数据集进行预处理，将数据分成训练集和测试集。
（2）决策树划分：根据训练集中的特征属性，将数据集划分为不同的分支，并且不断划分，直到达到决策树模型所需要的精度或停止条件为止。
（3）估属性：根据训练集中的数据，选择最优的划分属性，用于对训练集进行划分。
（4）决策树剪枝：新建的决策树可能过度拟合训练数据，这会使训练出来的决策树在测试数据上的表现变差，因此，需要使用剪枝算法，来减少决策树的过拟合现象。
（5）测试：根据训练好的决策树，对测试集数据进行分类，统计测试集分类正确率，从而对决策树进行评估。
决策树在实际应用中可以用于社会决策分析、企业决策分析、关联规则挖掘等应用场景，但是决策树也有若干缺点。
其一，决策树生成过程中属性之间的关系可能非线性，而决策树假设属性之间的关系是线性的，因此可能导致决策树模型的准确性不足。
其二，决策树的剪枝操作可能会过度剪枝，也影响模型的准确性。
总之，决策树是一种常用的数据挖掘技术，它可以用于推理和预测数据，它可以用来帮助智能系统理解数据，从而改善决策效率。
但是，因为决策树的局限性，仍然需要其他的数据挖掘技术来提高决策的准确性。
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
决策树的原理
决策树的原理决策树（DecisionTree）可以被认为是机器学习中一种有效而可视化的分类和回归方法，通过一系列提问来引导决策过程，从而尽可能准确的确定结果。
本文将对决策树的原理进行简单的介绍，并对实际的使用也进行讲解。
1.策树的概念决策树是一种数据分析和预测技术，它可以帮助我们基于某种事件的历史记录，预测未来的某种特定结果发生的可能性。
它可以被视为一种算法，基于提供的数据，来确定最有可能发生的结果。
决策树使用一系列有明确概念定义的节点来表示特定结果，它们通过一系列的规则来组织，形成一种树形结构。
2.策树的创建创建决策树需要考虑许多因素，它们将决定本决策树的有效性和准确性。
首先，决策树应有一个具体的目标，为了进行正确的分析，在开始的时候，应该明确这个目标。
其次，创建决策树需要确定构建树的问题，即在某种情况下想要达到的目标。
最后，收集可以支持树的决策的相关数据，将它们形成一个完整的决策树。
3.策树的应用决策树被广泛应用于机器学习中，可以用来做分类或回归预测。
它有着很高的准确性，可以帮助我们做出更准确的预测和决策。
决策树也被应用于很多其他领域，如网络安全，健康管理，销售预测等，而它的应用也越来越广泛。
4.策树的优势决策树有着诸多优势，首先它可以有效的处理大量的决策边界，因此对于复杂的问题，它可以更加准确，尤其是对于大量的数据，决策树可以做出更准确的预测。
另外，决策树也十分容易解释，它的每一步步骤都是可视化的，因此，决策树可以帮助专家来解释和理解模型的决策过程，从而增强专业知识的可视性。
5.论从上面的内容，可以看出，决策树是一种有效的预测技术，它可以帮助我们更好的做出决策和预测。
它有着很高的准确性和易解读的优势，并且越来越得到人们的认可。
但是，决策树也有一定的局限性，它不能解决太复杂的问题，只能对简单问题做出有效的预测和决策。
因此，我们仍然应该以慎重的态度，对决策树进行使用，以达到最好的结果。
决策树的概念
决策树的概念
决策树是一种基于树形结构的分类和回归模型，它通过一系列的决策来对数据进行分类或预测。
在决策树中，每个节点表示一个属性或特征，每个分支表示该属性或特征的一个取值，而每个叶子节点表示一个分类或回归结果。
决策树的建立过程就是在数据集中选择最优的属性或特征，将数据集划分为更小的子集，直到所有数据都被正确分类或预测。
决策树的主要优点是易于理解和解释，可以处理多分类问题，同时也可以用于回归问题。
此外，决策树还可以处理缺失值和异常值，具有很好的鲁棒性。
决策树的主要缺点是容易过拟合，特别是当树的深度过大时，容易出现过拟合现象。
为了解决这个问题，可以采用剪枝等方法来降低模型的复杂度。
决策树的应用非常广泛，例如在金融、医疗、工业等领域中，可以用于客户信用评估、疾病诊断、产品质量控制等方面。
在机器学习领域中，决策树也是一种常用的分类和回归算法，被广泛应用于数据挖掘、自然语言处理、图像识别等领域。
决策树基本原理
决策树基本原理1决策树简介决策树（Decision Tree）是一种通过将特征属性划分为若干类别，以用于决策的有监督学习算法。
决策树往往被用于分类与回归问题，比如预测一个样本是病人还是健康，以及估算一个样本的字段。
特征属性与特征值之间通过层级结构进行连接，构造出来的形式结构被称之为决策树。
2决策树的基本原理决策树的基本原理是人工智能估计技术，这种技术把一个复杂问题分割成以特征属性值为基础的可解决问题，从而实现这个复杂问题的求解。
它结合了决策处理、规则推导和数据挖掘技术，可以对大量复杂数据进行有效的监督处理。
为了了解决特定问题，决策树建立了一个模型，即基于特征属性值建立一颗树形结构，以表示该空间的分布情况。
通过大量的数据，模型会遍历每个可能的结果，并逐步进行归纳，从而构建出一个精准的决策树模型。
所有的结论其实都是来源于有监督学习算法所得的结果，一旦构建完成，该模型就可以用来预测新数据的结果。
3决策树的应用决策树是一种广泛应用于人工智能中构建模型的有效方法。
它把复杂的决策问题转换为一种简单易懂的模型，可以帮助不同领域的决策者有效预测结果。
特别是在面对数据量巨大，存在大量缺失值和噪声数据的情况时，决策树常常被当做精炼有效的模型。
用于分类预测的决策树常常用来构建企业管理系统，能够根据不同的特征属性，如客户背景，贷款条件，客户需求等，快速生成优化模型，用于决策和预测，以帮助企业更好地协调内部资源，实现精准营销。
4总结决策树是人工智能估计技术，运用决策处理、规则推导和数据挖掘技术，把复杂的决策问题拆解为简单易懂的模型，用于分类预测，进行企业管理和精准营销等方面，对于面对复杂问题的解决极具价值。
决策树ppt课件
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
決定權重
矩陣A決定後，就要將其標準化（normalize）而成矩 陣N。其作法是將各元素除以該行（column）所有元 素之總和：
aij aij
a
k 1
n
kj
權重即可求得如下：
wi
a
k 1
n
ik
n
p.10/43
作業研究 二版 Ch.15 決策分析
決定權重
範例15.2
因此可得權重如下：
wL 0.111, wP 0.556, wS 0.333
作業研究 二版 Ch.15 決策分析
p.11/43
比較矩陣的一致性（consistency）
若符合以下條件，則矩陣A具有一致性：
aij a jk aik , i, j, k
事實上，在標準化矩陣N中，對於任意兩行j與k，若 符合以下條件，則原矩陣A具有一致性：
pm 2
pmn
p.4/43
作業研究 二版 Ch.15 決策分析
15.2 分析層級程序法
Analytic Hierarchy Process (AHP)
由Thomas Saaty於1980年所提出 處理「複雜決策問題」的有效工具。
作法
將各影響要素建立層級架構 對同層級之各要素進行配對比較，決定其相對權重 檢定配對比較的一致性，以決定是否採用該權重之參考 若具一致性，即可求各影響要素總加權數，以做出最佳 決策
aij aik , i
例如在購屋問題中，矩陣N的各行完全相同，所以購 屋者對於各準則之權重的決定具有一致性。
p.12/43
作業研究 二版 Ch.15 決策分析
比較矩陣的一致性（consistency）
求導矩陣A符合一致性的條件
若矩陣A是一致的，則矩陣N的各行會完全相同，即
p.8/43
作業研究 二版 Ch.15 決策分析
決定權重
包括同層級各準則間的權重及各項選擇間的權重
AHP建立一個 n n 的配對比較矩陣（pairwise comparison matrix；或稱比較矩陣）矩陣A 若 aij 1，則i比j重要；若 aij 1，則i不及j重要； 若 aij 1，則 兩者同等重要。
p.5/43
作業研究 二版 Ch.15 決策分析
15.2 分析層級程序法
範例15.1（購屋問題）
三項主要考慮的準則：位置、價格、空間 權重分別為：0.111、0.556、0.333 考慮A、B、C三間房屋，其評分（即權重）為： 位置：A (0.099), B (0.374), C (0.527) 價格：A (0.353), B (0.275), C (0.372) 空間：A (0.395), B (0.342), C (0.263) 應選擇哪間房屋？
第十五章
決策分析 Decision Analysis
作業研究 二版 2009
© 廖慶榮
章節大綱
1. 2. 3. 4. 5. 6. 前言 分析層級程序法 在風險性下做決策 在不確定性下做決策 多階決策問題 效用函數
p.2/43
作業研究 二版 Ch.15 決策分析
15.1 前言
做決策的程序：
1. 在確定性下做決策（decision-making under certainty）：資料都是已知且確定的 2. 在風險性下做決策（decision-making under risk）： 資料是以機率分配的形式來描述 3. 在不確定性下做決策（decision-making under uncertainty）：資料是未知的，各項結果的發生機 率亦是未知的 本章討論2&3
因C的總相對權重最大，所以選擇C。
決策
購屋
準則
位置
價格
空間
選擇
房屋A
房屋B
房屋C
p.7/43
作業研究 二版 Ch.15 決策分析
15.2 分析層級程序法
使用AHP的步驟： 1. 將決策分解為一個或幾個層級（hierarchy） 2. 對同層級的各項準則（criterion）或選擇 （alternative）進行配對比較（pairwise comparison），以決定權重 3. 計算各項選擇對於決策的總加權數 4. 評估權重的決定是否具有一致性（consistency） 若符合一致性，則可以總加權數作為決策之依據； 若不一致，則回到步驟2。
p.6/43
作業研究 二版 Ch.15 決策分析
範例15.1
解答：
此問題有一個決策（decision）、三個準則（criterion）及三 個選擇（alternative）。可計算三間房屋的總加權數分別為：
A (.099)(.111) (.353)(.556) (.395)(.333) 0.339 B (.374)(.111) (.275)(.556) (.342)(.333) 0.308 C (.527)(.111) (.372)(.556) (.263)(.333) 0.353
p.3/43
作業研究 二版 Ch.15 決策分析
收益表（payoff table）
收益表（payoff table）
表內的數字代表不同方案 ai 在各種狀態 s j下的收益 亦可建立成本表（cost table）
s1
s2p12 p22ຫໍສະໝຸດ snp1n p2 n
a1 a2
am
p11
p21 pm1
aij aij 1 。因此，只 為符合一致性，若 aij k，則a ji 1/ k 要決定對角線右上方或左下方的數值即可
aij
1 3 5 7 9
作業研究 二版 Ch.15 決策分析
意義 i 與 j 同等重要 i 比 j 稍重要 i 比 j 重要 i 比 j 強烈重要 i 比 j 絕對重要
考慮購屋問題。假設各準則的相對重要性如下，計算此三 準則的權重。 L P S
L 1 1/ 5 1/ 3 AP 5 1 5 / 3 S 3 3 / 5 1
Sol：將矩陣A標準化如下：
L P S L .111 .111 .111 NP .556 .556 .556 S .333 .333 .333