决策树(详细易懂-很多例子)(2)
决策树——精选推荐
决策树
⼀句话描述：基于特征，逐步对实例进⾏分类，类似if-then规则集合的树形结构模型。主要包括特征选择、决策树的⽣成、决策树的修剪等
过程。
1 概述
决策树的学习是⼀个递归地选择最优特征，划分特征空间，构建决策树的过程。⾸先，构建根节点，即选择⼀个最优特征，按这⼀特征
分割后，各个⼦集有⼀个在当前条件下最好的分类。但并不是所有实例都能被正确分类，因此接着，继续选择剩下的特征中的最优特征，继
续划分特征空间，直到所有训练数据被正确分类或者没有合适的特征为⽌。最后所有的实例都被划分到叶节点。
决策树由于复杂度较⾼，容易出现过拟合的情况，可以提前选择具有分类能⼒的特征加⼊结点，同时需要对⽣成的树进⾏从下到上的剪
枝，提⾼其泛化能⼒。决策树的⽣成过程只考虑了局部最优，⽽剪枝则考虑了全局最优。
2 特征选择
特征选择在于选取对训练数据具有分类能⼒的特征，进⽽提⾼决策树学习的效率。特征选择的准则是信息增益或信息增益⽐。
2.1 熵
熵是对随机变量不确定性的度量，随机变量X的熵定义如下：
\[H(X)=-\sum_{i=1}^{n} p_{i} \log \left(p_{i}\right) \\ p_{i}=P\left(X=x_{i}\right), \cdots \cdots \cdot i=1,2, \ldots, n \\ \]
若 \(pi=0\)，定义\(0log0=0\)。变量X的熵只与其分布有关，与其取值⽆关。熵越⼤说明其不确定性越⼤。变量类别越多或概率分布越均
匀，其熵都会越⼤，即取值越不确定。
条件熵\(H(Y|X)\)表⽰给定X的条件下变量Y的不确定性。
\[\qquad \begin{aligned} H(Y \mid X) &=\sum_{i=1}^{n} p_{i} H\left(Y \mid X=x_{i}\right) \end{aligned} \\ p_{i} =P\left(X=x_{i}\right), \cdots
第四节决策树方法
第四节 决策树方法
第四节 决策树方法
一 决策树结构 利用决策树形图进行决策分析的方法称为决策树分析法。当决策涉及多
方案选择时，借助由若干节点和分支构成的树状图形，可形象地将各种可供选择
的方案、可能出现的状态及其概率，以及各方案在不同状态下的条件结果值简明地绘制在一张图标上，以便讨论研究。决策树形图的优点在于系统地、连贯地考
虑各方案之间的联系，整个决策分析过程直观易懂、清晰明了。决策树形图可分为单阶段决策树和多阶段决策树。单阶段决策树是指决策问题只需进行一次决策
活动，便可以选出理想的方案。单阶段决策树一般只有一个决策节点。如果所需
决策的问题比较复杂，通过一次决策不能解决，而是要通过一系列相互联系的决策才能选出最满意方案，这种决策就称为多阶段决策。多阶段决策的目标是使各
次决策的整体效果达到最优。 决策树分析法是进行风险型决策分析的重要方法之一。该方法将决策分
析过程以图解方式表达整个决策的层次、阶段及其相应决策依据，具有层次清晰、
计算方便等特点，因而在决策活动中被广泛运用。 决策树基本模型
决策树又称决策图，是以方框和圆圈及节点，并由直线连接而形成的一种像树枝形状的结构图。单阶段决策树如图 所示：
决策树所用图解符号及结构：
（1）决策点：它是以方框表示的节点。一般决策点位于决策树的最左端，即决策树的起点位置，但如果所作的决策属于多阶决策，则决策树图形的中间可
以有多个决策点方框，以决策树“根”部的决策点为最终决策方案。 （2）方案枝：它是由决策点起自左而右画出的若干条直线，每条直线表示
一个备选方案。方案枝表示解决问题的途径，通常是两枝或两枝以上。 （3）状态节点：在每个方案枝的末端画上一个“ ○”并注上代号叫做状态
节点。状态节点是决策分枝的终点，也是表示一个备选方案可能遇到的自然状态
的起点。其上方的数字表示该方案的期望损益值。 （4）概率枝：从状态节点引出的若干条直线叫概率枝，每条直线代表一种
自然状态及其可能出现的概率（每条分枝上面注明自然状态及其概率）。 （5）结果点：它是画在概率枝的末端的一个三角节点（△）。在结果点处列
决策树——精选推荐 2
决策树
决策树锁定
本词条由“科普中国”百科科学词条编写与应⽤⼯作项⽬审核。
决策树(Decision Tree）是在已知各种情况发⽣概率的基础上，通过构成决策树来求取净现值的期
望值⼤于等于零的概率，评价项⽬风险，判断其可⾏性的决策分析⽅法，是直观运⽤概率分析的
⼀种图解法。由于这种决策分⽀画成图形很像⼀棵树的枝⼲，故称决策树。在机器学习中，决策
树是⼀个预测模型，他代表的是对象属性与对象值之间的⼀种映射关系。Entropy = 系统的凌乱程度，使⽤算法ID3, C4.5和C5.0⽣成树算法使⽤熵。这⼀度量是基于信息学理论中熵的概念。
决策树是⼀种树形结构，其中每个内部节点表⽰⼀个属性上的测试，每个分⽀代表⼀个测试输出，每个叶节点代表⼀种类别。
分类树（决策树）是⼀种⼗分常⽤的分类⽅法。他是⼀种监管学习，所谓监管学习就是给定⼀堆
样本，每个样本都有⼀组属性和⼀个类别，这些类别是事先确定的，那么通过学习得到⼀个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。
中⽂名决策树外⽂名 Decision Tree
⽬录1 组成
2 画法
3 决策树的剪枝
4 优点
5 缺点
6 算法
C4.5
CART
7 实例
组成
□——决策点，是对⼏种可能⽅案的选择，即最后选择的最佳⽅案。如果决策属于多级决策，则
决策树的中间可以有多个决策点，以决策树根部的决策点为最终决策⽅案。[1]
○——状态节点，代表备选⽅案的经济效果（期望值），通过各状态节点的经济效果的对⽐，按照⼀定的决策标准就可以选出最佳⽅案。由状态节点引出的分⽀称为概率枝，概率枝的数⽬表⽰可能出现的⾃然状态数⽬每个分枝上要注明该状态出现的概率。[1]
△——结果节点，将每个⽅案在各种⾃然状态下取得的损益值标注于结果节点的右端。[1]
【概述来源】[2]
画法
机器学习中，决策树是⼀个预测模型；他代表的是对象属性与对象值之间的⼀种映射关系。树中每个节点表⽰某个对象，⽽每个分叉路径则代表的某个可能的属性值，⽽每个叶结点则对应从根节点到该叶节点所经历的路径所表⽰的对象的值。决策树仅有单⼀输出，若欲有复数输出，可以建⽴独⽴的决策树以处理不同输出。数据挖掘中决策树是⼀种经常要⽤到的技术，可以⽤于分析数据，同样也可以⽤来作预测。
第六讲——决策树
简单的决策树模型
人工智能发展到一定阶段的时候学者们就发现，这个智能不能靠我们人类完全告诉机器，因为这个世界上的知识和信息都是无止尽的，所以，我们需要让机器学会如何自己学习，于是就产生了机器学习这个研究方向，专门来研究如果让计算机通过数据来学习到知识。今天我们就来介绍一种非常经典的机器学习算法，叫做决策树算法。
我们回想一下我们自己的学习过程，我们学一些知识的时候会有很多例题，但我们考试的时候，老师经常会出一些我们没有见过的题型。我们如果好好学习了这些例题的话，就能解出那些没有见过的题目。这是因为我们人类有归纳的能力。中国人把这个能力叫做融会贯通，举一反三等等。所以，我们也希望机器具有这种能力，所以决策树算法就是一种典型的归纳学习。
决策树（Decision tree）是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策树对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。
我们来看一下决策树算法的定义，首先，我们说决策树算法是一种分类方法。这是我们这门课第一次提到分类这个概念，分类问题，这是人工智能里面一个非常重要的概念，我们之后会有一节课专门来讲分类问题的相关知识。在这里就不详细讲了，我们这里强调的是，决策树就是通过归纳，学习到的一种分类的能力。我们来看一个决策树的例子。
简单的决策树的模型
可以看出这副图很像一棵倒着的树，这个棵树用来分类所有有着X、Y两种属性的数据，可以把这些数据分为三类。我们可以看到类1，类2，类3. 怎么分类的呢，我们从最上面开始，首先判断这个数据的X属性是否等于1，就是最上面那个圆圈，如果不是的话，就直接判断为类1，是的话呢，我们再判断这个数据的Y的大小，我们看到第二个圆圈，它往下有三个分支，说明它不是一个判断是否的问题，而是看Y的数值的范围，所以，如果Y
这个图就非常鲜明了，这些同学每天呆在宿舍里，去不去上课首先判断这节课会不会点名，如果不会点名的话就不去了，非常的现实，如果点名了的话，他们就判断这个寝室到教室的距离，如果寝室到教室的距离在三分钟以下，那么就走着去。如果在需要多过三分钟，就跑着去，如果十分钟还到不了啊，就干脆不去了。这也是他们这个脑海中每天进行的一次分类，他们对于每天关于上不上课的信息主要考虑两个属性，一个是是否点名，一个是能否及时赶到，然后分类的结果，就有三种，一种是不去，一种是跑着去，一种是走着去。南开大一个老师啊，为了惩罚这些学生，在考卷前面加了这么一道选择题。
决策树原理和简单例子
决策树原理和简单例子
决策树是一种常用的机器学习算法，它可以用于分类和回归问题。决策树的原理是基于一系列的规则，通过对特征的判断来对样本进行分类或预测。下面将通过原理和简单例子来介绍决策树。
1. 决策树的原理
决策树的构建过程是一个递归的过程，它将样本集合按照特征的不同取值分割成不同的子集，然后对每个子集递归地构建决策树。构建决策树的过程是通过对特征的选择来确定每个节点的划分条件，使得信息增益或信息增益比最大。
2. 决策树的构建
假设有一个分类问题，样本集合包含n个样本，每个样本有m个特征。决策树的构建过程如下：
(1) 若样本集合中的样本都属于同一类别，则构建叶子节点，并将该类别作为叶子节点的类别标签。
(2) 若样本集合中的样本特征为空，或者样本特征在所有样本中取值相同，则构建叶子节点，并将该样本集合中出现次数最多的类别作为叶子节点的类别标签。
(3) 若样本集合中的样本特征不为空且有多个取值，则选择一个特征进行划分。常用的划分方法有信息增益和信息增益比。
(4) 根据选择的特征的不同取值将样本集合划分成多个子集，对每个子集递归地构建决策树。
(5) 将选择的特征作为当前节点的判断条件，并将该节点加入决策树。
3. 决策树的例子
假设有一个二分类问题，样本集合包含10个样本，每个样本有2个特征。下面是一个简单的例子：
样本集合：
样本1：特征1=0，特征2=1，类别=1
样本2：特征1=1，特征2=1，类别=1
样本3：特征1=0，特征2=0，类别=0
样本4：特征1=1，特征2=0，类别=0
样本5：特征1=1，特征2=1，类别=1
样本6：特征1=0，特征2=0，类别=0
样本7：特征1=1，特征2=0，类别=0
样本8：特征1=0，特征2=1，类别=1
样本9：特征1=1，特征2=1，类别=1
样本10：特征1=0，特征2=1，类别=1
首先计算样本集合的信息熵，假设正样本和负样本的比例都是1:1，信息熵为1。
决策树(decision tree)
决策树(decision tree)
又名：决策过程流程图，逻辑图，工作图
概述
决策树是指通过一系列的问题得出正确的决策或问题的解决方案。决策树是一种特殊的树图，但通常看起来像流程图。一般来说，决策树是由那些对可能重复发生情况的具有专业知识的人而绘制的，然后被那些没有专业知识并且需要独立作出决策的人所使用。
适用场合
·当需要作出决策或需要解决方案的问题重复出现时；
·当作出决策的思维过程已知，并且能够分解成一系列的问题时；
·决策树的典型应用包括排解纷争、紧急处理，以及对那些复杂的、关键的或很少使用的步骤进行文档化。
实施步骤
1明确使用决策树的场合，并陈述需要作出的决定或需要解决的问题，然后写在卡片上放在水平工作台的最左端。
2用头脑风暴法来找出问题的答案。对每个问题而言，找出所有可能的答案。通常，答案可能有“是非”选择或是一系列的选择。把每个问题和答案写在卡片上放在工作台上。如果顺序有帮助的话，就按顺序排列问题，但是不需太在意顺序的正确性。
3确定问题是否需要按特定的顺序提问。如果不需要，选择一组有效的顺序。在工作台上通过重排卡片将问题排序，在答案和旁边的问题之间用箭头连接。
4检查决策树是否有遗漏的问题或答案，并且确信问题能够清楚地被理解和被正确地回答。
5测试树。设想反映一系列不同状况的情景，运用决策树来解决。当发现有问题时，对树进行改进。
6给没有专业知识的人设置一些情景并让他们使用决策树来作决策。如果他们不能够得出正确的决策，识别出产生错误的问题并且对树进行改进。
示例
图表5.20控制图选择树和图表5.68图形方法的决策树都是决策树的应用例子。
注意事项
·通常情况下某些问题优先级高于其他问题。
·如果问题没有自然顺序，选择一个在大多数情况下能够迅速得出结论的顺序，使常见情况的问题排序优先于非常见情况的。
决策树
决策树
（Decision tree）
一、决策树的概念
决策树（decision tree）又称为分类树（classification tree），决策树是最为广泛的归纳推理算法之一，处理类别型或连续型变量的分类预测问题，可以用图形和if-then的规则表示模型，可读性较高。决策树模型透过不断地划分数据，使依赖变量的差别最大，最终目的是将数据分类到不同的组织或不同的分枝，在依赖变量的值上建立最强的归类。
分类树的目标是针对类别应变量加以预测或解释反应结果，就具体本身而论，此模块分析技术与判别分析、区集分析、无母数统计，与非线性估计所提供的功能是一样的，分类树的弹性，使得数据本身更加具吸引人的分析选项，但并不意谓许多传统方法就会被排除在外。实际应用上，当数据本身符合传统方法的理论条件与分配假说，这些方法或许是较佳的，但是站在探索数据技术的角度或者当传统方法的设定条件不足，分类树对于研究者来说，是较佳的建议技巧。
决策树是一种监督式的学习方法，产生一种类似流程图的树结构。决策树对数据进行处理是利用归纳算法产生分类规则和决策树，再对新数据进行预测分析。树的终端节点”叶子节点（leaf nodes）”，表示分类结果的类别（class），每个内部节点表示一个变量的测试，分枝（branch）为测试输出，代表变量的一个可能数值。为达到分类目的，变量值在数据上测试，每一条路径代表一个分类规则。
决策树是用来处理分类问题，适用目标变量属于类别型的变量，目前也已扩展到可以处理连续型变量，如CART模型；惟不同的决策树算法，对于数据类型有不同的需求和限制。
决策树在Data Mining领域应用非常广泛，尤其在分类问题上是很有效的方法。除具备图形化分析结果易于了解的优点外，决策树具有以下优点：
1. 决策树模型可以用图形或规则表示，而且这些规则容易解释和理解。容易使用，而且很有效。
2. 可以处理连续型或类别型的变量。以最大信息增益选择分割变量，模型显示变量的相对重要性。
决策树模型案例实例
- 1 - 决策树模型案例实例
决策树模型（DecisionTreeModel）是一种以单链接（即树的节点由每个分支的父节点连接）的方式组织属性的有归类类型的有监督学习模型。它是由一系列决策（非线性）和条件定义一个树结构，其中每个内部节点表示一个属性，每个分支表示一个值，而叶节点表示一个类（分类）或值（回归）。决策树模型的可视化形式是一棵树。
决策树模型的特点
决策树模型是一种简单而有效的有监督学习模型，它具有以下几个特点：
（1）决策树模型是可解释性强的，可以生成可视化的决策目录，结构清晰明确；
（2）决策树模型能够处理不确定性、模糊性和多属性决策；
（3）决策树模型可以在有限时间内进行查询，收集、存储和检索数据；
（4）决策树模型可以准确地预测数据样本的标记，具有良好的学习性能。
决策树模型的应用
决策树模型在实际应用中非常广泛，并能够帮助人们在实现复杂任务的情况下做出智能决策。应用领域涵盖推荐系统、决策分析、数据挖掘、机器学习、搜索引擎、社会网络等等。
例如，决策树模型可以用于对客户消费行为进行分析，以洞察客户行为特征，帮助企业了解消费者的需求，并进行更有针对性的营销； - 2 - 再如，在推荐系统中，决策树模型也可以用于帮助企业为用户推荐更适合他们的产品或服务，提高客户满意度；再如，在机器学习领域，决策树模型可以用来对复杂的数据进行分类，这对于分析各种复杂数据是非常有用的。
决策树模型的建立
建立决策树模型需要经过以下几个步骤：
（1）数据集准备：首先，准备一个训练集和一个验证集，其中训练集用于构建决策树模型，而验证集用于测试决策树模型的性能；
（2）特征选择：根据训练数据集，筛选出与结果有关的特征，并进行特征筛选；
（3）构建决策树：根据前几步的准备工作，使用决策树算法进行训练，构建决策树模型；
决策数求解算法
决策数求解算法
一、决策树到底是个啥？
大家好，今天我们来聊聊一个看似复杂，其实有点意思的东西——决策树。别看名字那么高大上，其实它就是一棵“树”而已，可能比你家院子里那棵老榆树还简单。你要是问我，这东西有啥用？那你得听我慢慢道来。决策树其实就是一个通过分支做选择的图形。简单来说，就像你在选择晚饭吃啥，站在十字路口徘徊：想吃火锅？左转；想吃汉堡？右转。这些“转”的选择就是树上的“分支”啦。你每走一步，都会走到一个新的选择点，最终，你就能找到适合自己的“答案”。就像是你选电影，先决定看动作片还是爱情片，然后再决定具体哪部电影。一步步走下去，最后得出结果——嗯，今天是看《流浪地球2》还是《那些年，我们一起追的女孩》？
决策树可不仅仅是一个简单的选择问题，它能帮我们处理很多复杂的决策问题。比方说，在很多应用中，我们用决策树来帮助我们判断某个问题的结果。就像是医生根据症状诊断病情，或者银行根据用户的信用记录评估贷款风险。树上的每个“节点”都是一个决策点，节点的分支代表了不同的选择路径，最后的“叶子”则是我们得出的结论。这就像你走进一个森林，每走一步，都会有新的路，最终能到达一个明确的目的地。
二、怎么建一棵决策树？
你肯定在想，这棵树到底怎么长出来的呢？别着急，咱们得一步一步来。我们需要数据。这就像是你要种一棵树，必须得有土壤。有了土壤，你才能撒下种子，才能有树苗。这些数据就像是树苗的根基。如果没有数据，那树就无法生长。比如说，想判断一个人是否适合贷款，那你得收集一大堆数据：年龄、收入、信用记录、借款历史等等。没有这些，你连树干都长不出来。
接下来呢，咱们得选分支的标准。这个标准就是我们决定从哪个节点分叉，哪个分叉更好。举个例子，就像你逛超市，想挑一瓶适合的酒，选择的标准可以是“价格”，可以是“酒精浓度”，也可以是“品牌”……这时候，决策树就像是在帮你做选择，它会根据不同的标准分出不同的路径，直到最终给你一个明确的答案。最重要的是，这个过程是逐步的，每一步都可以筛选掉不合适的选项，逐渐缩小范围，直到做出最合适的选择。你看，做决定是不是就像剁手买东西一样，越想越明白，最后突然灵光一闪，就选定了。
决策树DecisionTree学习
决策树DecisionTree学习
第三章 决策树
决策树(decision tree)是⼀种基本的分类与回归⽅法。适⽤于分类和回归，对应分类树和回归树。
适⽤数据类型：数值型和标称型。
决策树分类过程：从根节点开始，对实例的某⼀特征值进⾏测试，根据测试结果，将实例分配到其⼦节点，这时，每⼀个⼦节点对应着该特征的⼀个取值。如此递归
地对实例进⾏测试并分类，直⾄到达叶节点，最后将实例分到叶节点的类中。
决策树分割度量⽅法：信息增益（ID3）、信息增益率（C4.5）、基尼指数（CART）。下⾯⽤的ID3算法。
3.1 决策树构造
决策树构建过程包含3个步骤：
1. 特征选择
2. 决策树的⽣成
3. 决策树剪枝（后⾯章节说）
特征选择在于选取对训练数据具有分类能⼒的特征，也就是决定⽤哪个特征来划分特征空间。这样可以提⾼决策树学习的效率。通常特征选择的标准是信息增益
（information gain）或信息增益⽐，以下内容使⽤信息增益作为选择特征的标准。
3.1.1 信息增益
如下通过所给的训练数据学习⼀个贷款申请的决策树，⽤于对未来的贷款申请进⾏分类，即当新的客户提出贷款申请时，根据申请⼈的特征利⽤决策树决定是否批准贷款申请。
我们可以通过上⾯这个表，得到如下可能的决策树（不⽌这两个）,分别由两个不同特征的根节点构成。
如图，图(a)的根节点为年龄，有3个取值（青年，中年，⽼年）。图(b)根节点的特征为⼯作，对应2个取值。
问题：选择哪种特征作为根节点更好？
如果⼀个特征能够更好的分类，按照这个特征将训练数据分割成⼦集，使的各个⼦集在当前条件下有最好的分类，那么就更应该选择这个特征。信息增益就能很好的
表达这⼀直观的准则。
问题：什么是信息增益？
在划分数据集之后信息发⽣的变化称为信息增益。如果知道如何计算信息增益，我们就可以计算每个特征值划分数据集获得的信息增益。信息增益最⾼的 特征就是最
好的选择。
（1）⾹农熵
集合信息的度量⽅式称为⾹农熵或者熵（entropy）。熵定义为信息的期望值。在信息论与概率统计中，熵表⽰随机变量不确定性的度量。如果待分类的事物可能划分