《机器学习》章节学习报告——决策树学习
——决策树学习
姓 名： 学 号： 专 业： 教 师： 2014 应用统计
2014 年 11 月 12 日
目 录
一、决策树原理分析 .......................................................................................................3 1．ID3 算法 ...........................................................................................................................3 2．C4.5 算法 .........................................................................................................................4 3．CART 算法 ........................................................................................................................5 CART 树的分支过程 .........................................................................................................5 CART 树的剪枝过程 .........................................................................................................6 最优 CART 树的选择 .......................................................................................................7 CART 算法的优缺点 ..........................................................................................................8
二、优秀论文研究分析 .................................................................................................8
1．参考文献简介 ..................................................................................................................8 2．论文的研究背景及意义 ..................................................................................................8 3．CART 算法在电信业潜在客户识别模型的实证分析 ....................................................9
三、实战演练 ...................................................................................................................10
1．数据集来源 ....................................................................................................................10 2．数据集解释 ....................................................................................................................11 3．程序演示 .......................................................................................................................................................................................................................................17
2 / 17
一、决策树原理分析
决策树(Decision Tree)是一种根据提供的不同特征，以树型结构表示分类 或决策集合，从而产生规则和发现发展规律的机器学习方法。决策树起源于概念 学习系统 CLS(Concept Learning System)，其大体框架都是采用贪心方法以自 顶向下递归的方式构造决策树， 思路是找出最有分辨能力的属性把数据库划分为 多个子集(对应树的一个分枝)，构成一个分枝过程，然后对每一个子集递归调用 分枝过程，直到所有子集包含同一类型的数据,最后得到的决策树能对新的例子 进行分类。根据分类准则的不同，目前决策树算法可以分为两类：基于信息论的 方法和最小 GINI 指数方法。其中基于信息论的方法又包括 ID 系列算法、C4.5 算法等，最小 GINI 指数方法包括 CART、SLIQ 和 SPRINT 算法。为更好地学习， 本文在算法上分别介绍了 ID3 算法、C4.5 算法和 CART 算法以进行比较分析，而 在具体实例分析和程序演示部分，将以 CART 算法作为本文的重点介绍对象。
《机器学习（周志华）》笔记--决策树（3）--剪枝处理：预剪枝、后剪枝、预剪枝与后剪枝优缺点比较
《机器学习（周志华）》笔记--决策树（3）--剪枝处理：预剪枝、后剪枝、预剪枝与后剪枝优缺点⽐较五、剪枝处理 过拟合：在决策树学习过程中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分⽀过多，这时就可能会因训练样本学得太好，以致于把训练集⾃⾝的⼀些特点当作所有数据都具有的⼀般性质导致过拟合。
剪枝：对付过拟合的⼀种重要⼿段，通过主动去掉⼀些分⽀来降低过拟合的风险。
基本策略：预剪枝和后剪枝。
预剪枝：对每个结点划分前先进⾏估计，若当前结点的划分不能带来决策树的泛化性能的提升，则停⽌划分，并标记为叶结点。
后剪枝：现从训练集⽣成⼀棵完整的决策树，然后⾃底向上对⾮叶⼦结点进⾏考察，若该结点对应的⼦树⽤叶结点能带来决策树泛化性能的提升，则将该⼦树替换为叶结点。
如何评估：留出法，即预留⼀部分数据⽤作“验证集”以进⾏性能评估。
举例： 我们将西⽠数据集随机分成两部分，如图5.0.1所⽰： 图 5.0.1 假设我们采⽤信息增益准则来进⾏划分属性选择，则从图5.0.1的训练集中会⽣成⼀个决策树，如图5.0.2. 图5.0.2 划分前：5个正例，5个负例，拥有样本数最对的类别。
根据前⾯讲到的信息增益准则，得到了⼀个决策树。
进⾏了5次划分1、预剪枝 基于信息增益准则，我们会选取属性“脐部”来对测试集进⾏划分，并产⽣三个分⽀。
然⽽，是否应该进⾏这个划分呢？预剪枝要对划分前后的泛化性能进⾏估计。
划分之前，所有样例集中在根结点，如图5.1.1 图5.1.1 在⽤属性“脐部”划分之后，如图5.1.2 图5.1.2 基于预剪枝策略从表5.0.1数据所⽣成的决策树如图5.1.3 图5.1.32、后剪枝 后剪枝先从训练集中⽣成⼀棵完整的决策树，其验证集精度测得为 42.9%。
⾸先考虑结点⑥，若将其替换为叶结点，根据落在其上的训练样例{7，15}，将其标记为“好⽠”，测得验证集精度提⾼⾄ 57.1%，于是决定剪枝： 然后考虑结点⑤，若将其替换为叶结点，根据落在其上的训练样例{6，7，15}，将其标记为“好⽠”，测得验证集精度仍为 57.1%，可以不剪枝： 对结点②，若将其替换为叶结点，根据落在其上的训练样例{1，2，3，14}，将其标记为“好⽠”，测得验证集精度提升⾄ 71.4%，决定剪枝： 对结点③和①，先后替换为叶结点，均未测得验证集精度提升，于是不剪枝： 最终，后剪枝得到的决策树：3、预剪枝与后剪枝优缺点⽐较（1）时间开销 • 预剪枝：训练时间开销降低，测试时间开销降低 • 后剪枝：训练时间开销增加，测试时间开销降低（2）过/⽋拟合风险 • 预剪枝：过拟合风险降低，⽋拟合风险增加 • 后剪枝：过拟合风险降低，⽋拟合风险基本不变（3）泛化性能：后剪枝通常优于预剪枝。
决策树分类实习报告
实习报告：决策树分类实验一、实习背景随着人工智能和机器学习的不断发展，越来越多的任务需要使用机器学习算法进行数据分析和处理。
决策树作为一种常见的机器学习算法，在分类和回归任务中有着广泛的应用。
本次实习，我选择了决策树分类任务，并使用Python的sklearn库进行实验。
二、实习目的1. 熟悉决策树算法的基本原理和实现方式；2. 掌握决策树模型的训练、评估和改进方法；3. 应用决策树算法解决实际问题，提高对机器学习算法的理解和应用能力。
三、实习内容1. 数据集选取与预处理：本次实验选用OpenML的汽车数据集，包含214个样本，11个特征。
首先，对数据集进行加载和探索性分析，了解数据的分布和特点。
然后，进行数据预处理，包括缺失值填充、异常值处理和特征选择等。
2. 模型训练与评估：使用决策树分类器对预处理后的数据集进行训练。
通过调整模型参数，如最大深度、分裂准则等，评估不同模型在测试集上的性能。
评估指标包括准确率、召回率、F1分数等。
3. 改进模型：为了提高模型性能，采用GridSearchCV方法寻找最佳的超参数组合。
同时，针对过拟合问题，限制树的最大深度，并调整类别权重以应对数据集的不平衡。
4. 结果展示：最后，在使用最佳参数的决策树模型上，对测试集进行预测，并使用混淆矩阵、准确率评分和分类报告形式展示模型结果。
四、实习心得1. 决策树算法易于理解和实现，但模型性能受到参数设置的影响较大。
因此，在实际应用中，需要对参数进行调整和优化。
2. GridSearchCV方法是一种有效的参数调整工具，可以较大程度地提高模型性能。
3. 过拟合问题是决策树算法常见的问题之一。
通过限制树的最大深度、调整类别权重等方法，可以有效减轻过拟合现象，提高模型在实际任务中的表现。
4. 本次实习使我更深入地了解了决策树算法，提高了我在实际项目中应用机器学习算法的能力。
五、实习展望1. 进一步学习其他机器学习算法，如支持向量机、随机森林等，提高模型的泛化能力。
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
机器学习：决策树（二）——sklearn决策树调参
机器学习：决策树（⼆）——sklearn决策树调参参数解析参数DecisionTreeClassifier DecisionTreeRegressor特征选择标准criterion 可以使⽤"gini"或者"entropy"，前者代表基尼系数，后者代表信息增益。
⼀般说使⽤默认的基尼系数"gini"就可以了，即CART算法。
除⾮你更喜欢类似ID3, C4.5的最优特征选择⽅法。
可以使⽤"mse"或者"mae"，前者是均⽅差，后者是和均值之差的绝对值之和。
推荐使⽤默认的"mse"。
⼀般来说"mse"⽐"mae"更加精确。
除⾮你想⽐较⼆个参数的效果的不同之处。
特征划分点选择标准splitter 可以使⽤"best"或者"random"。
前者在特征的所有划分点中找出最优的划分点。
后者是随机的在部分划分点中找局部最优的划分点。
默认的"best"适合样本量不⼤的时候，⽽如果样本数据量⾮常⼤，此时决策树构建推荐"random"同划分时考虑的最⼤特征数max_features 可以使⽤很多种类型的值，默认是"None",意味着划分时考虑所有的特征数；如果是"log2"意味着划分时最多考虑log2N个特征；如果是"sqrt"或者"auto"意味着划分时最多考虑N−−√个特征。
如果是整数，代表考虑的特征绝对数。
如果是浮点数，代表考虑特征百分⽐，即考虑（百分⽐xN）取整后的特征数。
其中N为样本总特征数。
⼀般来说，如果样本特征数不多，⽐如⼩于50，我们⽤默认的"None"就可以了，如果特征数⾮常多，我们可以灵活使⽤刚才描述的其他取值来控制划分时考虑的最⼤特征数，以控制决策树的⽣成时间。
决策树算法实验总结
决策树算法实验总结
决策树算法是一种常用的机器学习算法，它通过对数据集进行递归划分，构建出一棵树状的决策模型。
在实验中，我们使用了决策树算法进行分类任务，并对实验结果进行总结。
首先，我们需要准备一个带有标签的训练数据集，其中包含了多个特征和对应的类别标签。
然后，我们可以使用决策树算法对训练数据集进行训练，构建出一棵具有判断条件的决策树。
在实验中，我们可以使用不同的指标来评估决策树算法的性能，例如准确率、精确率、召回率等。
这些指标可以帮助我们了解决策树算法在分类任务中的表现。
此外，我们还可以通过调整决策树算法的参数来提高其性能。
例如，可以通过限制树的最大深度、设置叶子节点的最小样本数等来控制决策树的复杂度，避免过拟合问题。
在实验总结中，我们可以描述决策树算法在实验中的表现，比较其与其他算法的优劣势，并提出进一步改进的方向。
此外，还可以讨论决策树算法在不同数据集上的适用性，并分析其在实际应用中可能遇到的问题和局限性。
总而言之，决策树算法是一种简单而有效的机器学习算法，可以用于分类任务。
通过实验总结，我们可以更好地理解决策树算法的原理和性能，为进一步的应用和改进提供指导。
机器学习-决策树 -ppt课件
取表达式规则。
编辑版pppt
4
例如：我们要对“这是好瓜吗”这样的问题进行决策时，通常 会进行一系列的判断：我们先看“它是什么颜色”，如果是“青 绿色”再看“它的根蒂是什么形态”，如果是“蜷缩”，我们在判 断“它敲起来是什么声音”，最后，我们得出最终的决策：这是 个好瓜，这个过程如下：
决策树的基本组成部分：决策结点、分支和叶子。
一般而言，信息增益越大，则意味着使用属性a来进行划分所 获得的“纯度”（即分支节点所包含的样本尽可能属于同一类 别）编辑版pppt9
以下表的西瓜数据为例
编辑版pppt
10
以属性“色泽”为例，它有三个可能取值{青绿，乌 黑，浅白}，记为：D1==青绿，D2=乌黑，D3=浅白算 D1包含{1，4，6,10,13,17}6个样例，其中正比例 P1=3/6，反比例P2=3/6；D2包含{2,3,7,8,9，15}6个 样例，其中正比例P1=4/6，反比例P2=2/6；D3包含 {5,11,12,14,16}5个样例，其中正比例P1=1/5，反比 例P2=4/5。
编辑版pppt
5
决策树算法
目前已有多种决策树算法：CLS、ID3、CHAID、C4.5、 CART、 SLIQ、SPRINT等。 著名的ID3（Iterative Dichotomiser3）算法是 J.R.Quinlan在1986 年提出的，该算法引入了信息论中的理论，是基于信息 熵的决策树分类算法。
编辑版pppt
3
基本流程
构造过程：
决策树是以实例为基础的归纳学习算法。它从一组无次
序、无规则的元组中推理出决策树表示形式的分类规则；
采用自顶向下递归方式，在决策树的内部节点进行属性
值的比较，并根据不同的属性值从该节点向下分支，而
《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程
《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程⼀、决策树模型 决策树(decision tree)是⼀种常⽤的机器学习⽅法，是⼀种描述对实例进⾏分类的树形结构。
决策树是⼀种常⽤的机器学习⽅法，以⼆分类为例，假设现在我们要对是否买西⽠进⾏判断和决策，我们会问⼀些问题，根据回答，我们决断是买还是不买，或者还拿补丁主意，这时会继续问问题，直到可以确定为⽌。
决策树基于“树”结构进⾏决策： （1）内部结点：属性 （2）分⽀：属性值 （3）p叶结点：分类结果 学习过程：通过对训练样本的分析来确定“划分属性”（即内部结点所对应的属性） 预测过程：将测试⽰例从根结点开始，沿着划分属性所构成的“判定测试序列”下⾏，直到叶结点 学习的过程就是通过划分属性构建决策树的过程，预测过程就是将测试样本从根节点开始，沿着划分属性构成的“判定序列”下⾏，直到叶结点。
结构举例： 从代码⾓度来看，决策树其实可以看成是⼀堆if-else语句的集合，例如引例中的决策树完全可以看成是如下代码：if isRed:if isCold:if hasSeed:print("buy")else:print("don't buy")else:if isCheap:print("buy")else:print("don't buy")else:print("don't buy") 由决策树的根结点(root node)到叶结点(leaf node)的每⼀条路径构建⼀条规则：路径上内部结点的特征对应着规则的条件，⽽叶结点的类对应着规则的结论。
决策树的路径或其对应的if-then规则集合具有⼀个重要的性质：互斥并且完备。
这就是说，每⼀个实例都被⼀条路径或⼀条规则所覆盖，⽽且只被⼀条路径或⼀条规则所覆盖。
决策树实验报告
决策树实验报告决策树实验报告引言决策树是一种常见的机器学习算法，被广泛应用于数据挖掘和预测分析等领域。
本文将介绍决策树的基本原理、实验过程和结果分析，以及对决策树算法的优化和应用的思考。
一、决策树的基本原理决策树是一种基于树形结构的分类模型，通过一系列的判断和决策来对数据进行分类。
决策树的构建过程中，首先选择一个特征作为根节点，然后根据该特征的取值将数据划分为不同的子集，接着对每个子集递归地构建子树，直到满足停止条件。
构建完成后，通过树的分支路径即可对新的数据进行分类。
二、实验过程1. 数据准备为了验证决策树算法的效果，我们选择了一个包含多个特征的数据集。
数据集中包含了学生的性别、年龄、成绩等特征，以及是否通过考试的标签。
我们将数据集分为训练集和测试集，其中训练集用于构建决策树模型，测试集用于评估模型的准确性。
2. 决策树构建在实验中，我们使用了Python编程语言中的scikit-learn库来构建决策树模型。
首先，我们导入所需的库和数据集，并对数据进行预处理，包括缺失值处理、特征选择等。
然后，我们使用训练集来构建决策树模型，设置合适的参数，如最大深度、最小样本数等。
最后，我们使用测试集对模型进行评估，并计算准确率、召回率等指标。
3. 结果分析通过实验，我们得到了决策树模型在测试集上的准确率为80%。
这意味着模型能够正确分类80%的测试样本。
此外，我们还计算了模型的召回率和F1值等指标，用于评估模型的性能。
通过对结果的分析，我们可以发现模型在某些特征上表现较好，而在其他特征上表现较差。
这可能是由于数据集中某些特征对于分类结果的影响较大，而其他特征的影响较小。
三、决策树算法的优化和应用1. 算法优化决策树算法在实际应用中存在一些问题，如容易过拟合、对噪声敏感等。
为了提高模型的性能，可以采取以下措施进行优化。
首先，可以通过剪枝操作减少决策树的复杂度，防止过拟合。
其次，可以使用集成学习方法，如随机森林和梯度提升树，来进一步提高模型的准确性和鲁棒性。
实验二决策树实验实验报告
实验二决策树实验实验报告
一、实验目的
本实验旨在通过实际操作，加深对决策树算法的理解，并掌握
决策树的基本原理、构建过程以及应用场景。
二、实验原理
决策树是一种常用的机器学习算法，主要用于分类和回归问题。
其基本原理是将问题划分为不同的决策节点和叶节点，通过一系列
的特征测试来进行决策。
决策树的构建过程包括特征选择、划分准
则和剪枝等步骤。
三、实验步骤
1. 数据收集：从开放数据集或自有数据中选择一个适当的数据集，用于构建决策树模型。
2. 数据预处理：对收集到的数据进行缺失值处理、异常值处理
以及特征选择等预处理操作，以提高模型的准确性和可靠性。
3. 特征选择：采用合适的特征选择算法，从所有特征中选择对
分类或回归任务最重要的特征。
4. 构建决策树模型：根据选定的特征选择算法，以及划分准则（如信息增益或基尼系数）进行决策树模型的构建。
5. 模型评估：使用交叉验证等方法对构建的决策树模型进行评估，包括准确率、召回率、F1-score等指标。
6. 模型调优：根据评估结果，对决策树模型进行调优，如调整模型参数、采用剪枝技术等方法。
7. 模型应用：将得到的最优决策树模型应用于实际问题中，进行预测和决策。
四、实验结果及分析
在本次实验中，我们选择了某电商网站的用户购买记录作为数据集，利用决策树算法构建用户购买意愿的预测模型。
经过数据预处理和特征选择，选取了用户地理位置、年龄、性别和购买历史等特征作为输入。
利用信息增益作为划分准则，构建了一棵决策树模型。
实验二-决策树实验-实验报告
决策树实验一、实验原理决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输入，而每个树叶结点代表类或类分布。
数的最顶层结点是根结点。
一棵典型的决策树如图1所示。
它表示概念buys_computer，它预测顾客是否可能购买计算机。
内部结点用矩形表示，而树叶结点用椭圆表示。
为了对未知的样本分类，样本的属性值在决策树上测试。
决策树从根到叶结点的一条路径就对应着一条合取规则，因此决策树容易转化成分类规则。
图1ID3算法：■决策树中每一个非叶结点对应着一个非类别属性，树枝代表这个属性的值。
一个叶结点代表从树根到叶结点之间的路径对应的记录所属的类别属性值。
■每一个非叶结点都将与属性中具有最大信息量的非类别属性相关联。
■采用信息增益来选择能够最好地将样本分类的属性。
信息增益基于信息论中熵的概念。
ID3总是选择具有最高信息增益（或最大熵压缩）的属性作为当前结点的测试属性。
该属性使得对结果划分中的样本分类所需的信息量最小，并反映划分的最小随机性或“不纯性”。
二、算法伪代码算法Decision_Tree(data,AttributeName)输入由离散值属性描述的训练样本集data;候选属性集合AttributeName。
输出一棵决策树。
（1）创建节点N；（2）If samples 都在同一类C中then（3）返回N作为叶节点，以类C标记；（4）If attribute_list为空then（5）返回N作为叶节点，以samples 中最普遍的类标记；//多数表决（6）选择attribute_list 中具有最高信息增益的属性test_attribute;（7）以test_attribute 标记节点N；（8）For each test_attribute 的已知值v //划分samples（9）由节点N分出一个对应test_attribute=v的分支；（10令S v为samples中test_attribute=v 的样本集合；//一个划分块（11）If S v为空then（12）加上一个叶节点，以samples中最普遍的类标记；（13）Else 加入一个由Decision_Tree(Sv,attribute_list-test_attribute)返回节点值。