决策树和随机森林
了解机器学习中的随机森林算法和决策树模型
了解机器学习中的随机森林算法和决策树模型一、介绍机器学习中的随机森林算法和决策树模型是常用的监督学习方法，被广泛应用于分类和回归问题。
本文将详细介绍这两个模型的原理以及它们在机器学习中的应用。
二、决策树模型1. 原理决策树是通过一系列的判断条件对数据进行分类或预测的模型。
其原理是基于对样本特征属性进行分割，直至得到能够完全分开不同类别的叶节点。
决策树模型具有易于理解、可解释性强等优点，适用于处理有离散特征和连续特征的数据集。
2. 构建过程决策树模型构建过程包括选择最佳划分属性、生成子节点以及递归构建子树等步骤。
通过计算划分属性的信息增益或其他指标，选择最佳属性作为当前节点的分裂条件。
然后将数据集按照该属性值进行划分，并递归地生成子节点，直到满足停止条件（如达到叶节点或深度限制）为止。
3. 应用领域决策树模型在多个领域都能得到广泛应用。
例如，在医学领域，可以利用决策树模型对患者的症状和各种检测指标进行分类，以辅助医生做出诊断决策。
在金融领域，可以通过构建决策树模型进行信用评分，帮助银行判断借款人的还款能力。
三、随机森林算法随机森林是一种基于集成学习思想的算法，它由多个决策树组成。
它通过对原始数据集进行有放回抽样（bootstrap）得到多个样本子集，并利用这些子集构建不同的决策树。
最后通过投票或平均等方式综合各决策树的结果来做出最终预测。
随机森林算法能够处理高维度数据和离群点，并且不容易过拟合。
2. 构建过程随机森林算法包括两个重要步骤：创建随机子集和构建决策树。
创建随机子集时，首先从原始数据集中进行有放回抽样得到训练集，然后再从每个特征子集中选择最佳划分属性。
构建决策树的过程与决策树模型相似，但在节点划分时只考虑随机子集中的一部分特征。
3. 应用领域随机森林算法被广泛用于文本分类、图像识别、推荐系统等领域。
在文本分类中，可以利用随机森林对文章或评论进行情感分析，帮助企业了解用户对其产品的态度。
在推荐系统中，可以利用随机森林对用户的历史行为进行分析，并给出个性化的推荐结果。
随机森林算法
随机森林算法引言随机森林（Random Forest）是一种经典的集成学习算法，它通过构建多个决策树并结合其结果来进行分类或回归任务。
随机森林算法的特点是能够处理高维数据、解决过拟合问题以及能够评估特征的重要性等。
随机森林算法由Tin Kam Ho于1995年提出，它集成了决策树和随机性的概念。
本文将对随机森林算法的原理、构建过程以及应用领域进行详细介绍。
随机森林的原理随机森林算法的原理主要包括两个方面：决策树和随机性。
决策树决策树是一种基本的分类和回归方法，它使用树形结构来对数据进行分类或预测。
决策树由根节点、内部节点和叶节点组成。
根节点代表整个数据集，内部节点代表一个属性以及它的取值，叶节点代表最终的分类或回归结果。
构建决策树的过程包括选择最佳的属性作为当前节点的划分标准，通过计算信息增益（或基尼指数）选择最佳划分属性。
决策树的构建过程通常涉及递归和剪枝等步骤。
随机性随机森林引入了随机性的概念。
在构建随机森林时，每次构建决策树时，从原始数据集中随机选择一部分样本作为训练集，并且从所有属性中随机选择一部分属性作为划分候选属性。
通过引入随机性，可以使得随机森林中的决策树具有多样性，减少了过拟合的风险。
构建随机森林的过程构建随机森林算法通常包括以下步骤：1.随机选择一部分样本作为训练集。
2.从训练集中随机选择一部分属性作为划分候选属性。
3.构建一棵决策树，并选择最佳的划分属性。
4.重复步骤1-3，构建多棵决策树。
5.对新数据进行预测时，将新数据带入每棵决策树中，并根据决策树的结果进行投票或取平均值来得到最终的分类结果或回归结果。
随机森林算法的重要参数包括决策树的数量、划分属性的数量等。
在构建过程中，可以通过交叉验证等方法选择最优的参数。
随机森林的应用领域随机森林算法在许多领域都有广泛的应用。
以下是随机森林算法的一些典型应用场景：•分类问题：随机森林算法可以用于分类问题，如垃圾邮件过滤、疾病诊断等。
决策树连续变量_决策树和随机森林
决策树连续变量_决策树和随机森林决策树和随机森林是常用的机器学习算法，用于解决分类和回归问题。
决策树是一种基本的模型，而随机森林则是由多个决策树组成的集成模型。
决策树是一种树形结构，由节点和边组成。
每个节点表示一个特征变量，边表示特征变量的取值。
从根节点开始，根据节点的特征变量值进行分支，直到叶节点，叶节点表示模型的输出。
决策树的生成过程基于特征选择和分裂准则，常用的特征选择准则包括信息增益、信息增益率和基尼指数。
决策树的优点是易于理解和解释，可以处理混合变量类型（离散和连续），但容易过拟合。
决策树在处理连续变量时，需要将连续变量离散化。
常用的方法有二分法（将连续变量划分为两个区间）、多分法（将连续变量划分为多个区间）和回归法（使用回归模型预测连续变量的取值）。
将连续变量离散化后，可以将其视为离散变量处理。
离散化的过程会对模型的性能产生一定的影响，因此需要根据问题的特点选择适当的离散化方法。
随机森林是由多个决策树组成的集成模型。
随机森林通过随机选择样本和特征进行训练，可以减少模型的方差和过拟合的风险。
随机森林的主要思想是通过多个决策树的投票或平均来得到最终的输出。
对于分类问题，随机森林采用投票的方式，每个决策树的输出作为一个投票。
对于回归问题，随机森林采用平均的方式，每个决策树的输出作为一个预测值。
随机森林在处理连续变量时，可以直接使用原始的连续变量进行训练，不需要进行离散化。
在每个节点的特征选择过程中，随机森林通过随机选择一部分特征变量来进行评估，从而减少了连续变量对决策的影响。
此外，随机森林还可以通过特征重要性评估来分析变量的重要程度。
总结起来，决策树和随机森林是常用的机器学习算法，用于解决分类和回归问题。
在处理连续变量时，决策树需要将连续变量离散化，而随机森林可以直接使用原始的连续变量进行训练。
在选择算法时，需要根据问题的特点和数据的属性选择适当的模型。
5决策树与随机森林
5决策树与随机森林决策树和随机森林是机器学习中常用的两种算法模型。
它们具有简单、易解释性好的特点，并且能够处理分类和回归问题。
在本文中，我将对决策树和随机森林进行详细介绍，并比较它们之间的差异。
1.决策树决策树的优点包括：-模型易理解和解释，可以以图形化的方式展示决策规则；-能够处理数据集中的离群值和缺失值；-具有快速的训练和预测速度。
然而，决策树也存在一些缺点：-容易过拟合，特别是当树的深度较大时；-对输入数据的变化敏感，可轻微的数据变化可能导致树的结构完全不同；-无法处理连续型特征，需要将其离散化。
2.随机森林随机森林是一种通过集成多个决策树来改进预测准确性的方法。
在随机森林中，每个决策树的训练数据都是通过采用有放回的随机抽样（bootstrap）从原始训练数据中选取的。
另外，在每个节点的划分过程中，随机森林通常只考虑一个随机选取的特征子集，而不是所有的特征。
最终的预测结果是通过对所有决策树的预测结果进行投票或平均得到。
随机森林的优点包括：-通过对多个决策树的集成，可以减少模型的方差，提高预测准确性；-能够处理高维数据和大量特征；-对于缺失值的处理相对鲁棒。
随机森林的缺点主要包括：-模型的解释性不如单棵决策树；-训练过程相对较慢，因为需要构建多个决策树；-在处理一些回归问题时，可能会出现预测结果过多集中于一部分数值的情况。
总结：决策树和随机森林在模型构建和应用方面有很多相似之处，都可以处理分类和回归问题。
但在实际应用中，可以根据具体情况选取适合的算法。
如果对模型的解释性要求更高，数据集样本量较小，可以选择决策树；如果需要更高的预测准确性，处理高维数据，可以选择随机森林。
同时，我们还可以通过调整决策树和随机森林的参数来提高模型性能，比如限制决策树的最大深度、调整随机森林中树的数量等。
《决策树与随机森林》课件
交叉验证
使用交叉验证来评估模型的泛化能力，以避 免过拟合。
随机森林的参数调整
1 2
决策树数量
调整决策树的数量，以找到最优的模型性能。
特征子集大小
调整在每一步分裂中选择的特征子集大小，以找 到最优的模型性能。
3
决策树深度
调整决策树的深度限制，以防止过拟合或欠拟合 。
05
决策树与随机森林的应用场景
分类问题
THANKS
感谢观看
随机森林的优缺点
可解释性强
每棵决策树都可以单独解释，有助于理解模型的工作原理。
鲁棒
对异常值和噪声具有较强的鲁棒性。
随机森林的优缺点
对参数敏感
随机森林中的参数如树的数量、特征选择比例等对模型性能影响较大。
可能产生过拟合
当数据集较小或特征过多时，随机森林可能产生过拟合。
04
随机森林算法
随机森林的生成
决策树的基本原理
特征选择
选择最能划分数据集的特征进行分裂，以减少决 策树的深度和复杂度。
剪枝
通过去除部分分支来降低过拟合的风险，提高模 型的泛化能力。
决策规则
将每个叶子节点映射到一个类别或值，根据该节 点所属类别或值进行预测。
决策树的优缺点
优点
易于理解和解释，分类效果好，对异常值和缺失值容忍度高 。
在构建每棵决策树时，随 机选择一部分特征进行划 分，增加模型的泛化能力 。
多样性
通过生成多棵决策树，增 加模型的多样性，降低过 拟合的风险。
集成学习
将多棵决策树的预测结果 进行汇总，利用投票等方 式决定最终输出，提高分 类任务的准确率。
随机森林的优缺点
高效
能够处理大规模数据集，计算效率高 。
python实现决策树、随机森林的简单原理
python实现决策树、随机森林的简单原理本⽂申明：此⽂为学习记录过程，中间多处引⽤⼤师讲义和内容。
⼀、概念决策树（Decision Tree）是⼀种简单但是⼴泛使⽤的分类器。
通过训练数据构建决策树，可以⾼效的对未知的数据进⾏分类。
决策数有两⼤优点：1）决策树模型可以读性好，具有描述性，有助于⼈⼯分析；2）效率⾼，决策树只需要⼀次构建，反复使⽤，每⼀次预测的最⼤计算次数不超过决策树的深度。
看了⼀遍概念后，我们先从⼀个简单的案例开始，如下图我们样本：对于上⾯的样本数据，根据不同特征值我们最后是选择是否约会，我们先⾃定义的⼀个决策树，决策树如下图所⽰：对于上图中的决策树，有个疑问，就是为什么第⼀个选择是“长相”这个特征，我选择“收⼊”特征作为第⼀分类的标准可以嘛？下⾯我们就对构建决策树选择特征的问题进⾏讨论；在考虑之前我们要先了解⼀下相关的数学知识：信息熵：熵代表信息的不确定性，信息的不确定性越⼤，熵越⼤；⽐如“明天太阳从东⽅升起”这⼀句话代表的信息我们可以认为为0；因为太阳从东⽅升起是个特定的规律，我们可以把这个事件的信息熵约等于0；说⽩了，信息熵和事件发⽣的概率成反⽐：数学上把信息熵定义如下：H(X)＝H(P1，P2，…，Pn)＝-∑P(xi)logP(xi)互信息：指的是两个随机变量之间的关联程度，即给定⼀个随机变量后，另⼀个随机变量不确定性的削弱程度，因⽽互信息取值最⼩为0，意味着给定⼀个随机变量对确定⼀另⼀个随机变量没有关系，最⼤取值为随机变量的熵，意味着给定⼀个随机变量，能完全消除另⼀个随机变量的不确定性现在我们就把信息熵运⽤到决策树特征选择上，对于选择哪个特征我们按照这个规则进⾏“哪个特征能使信息的确定性最⼤我们就选择哪个特征”；⽐如上图的案例中；第⼀步：假设约会去或不去的的事件为Y,其信息熵为H(Y）；第⼆步：假设给定特征的条件下，其条件信息熵分别为H(Y|长相)，H(Y|收⼊)，H(Y|⾝⾼)第三步：分别计算信息增益（互信息）：G(Y,长相) = I(Y,长相) = H(Y)-H(Y|长相) 、G(Y,) = I(Y,长相) = H(Y)-H(Y|长相)等第四部：选择信息增益最⼤的特征作为分类特征；因为增益信息⼤的特征意味着给定这个特征，能很⼤的消除去约会还是不约会的不确定性；第五步：迭代选择特征即可；按以上就解决了决策树的分类特征选择问题，上⾯的这种⽅法就是ID3⽅法，当然还是别的⽅法如 C4.5;等；⼆、决策树的过拟合解决办法若决策树的度过深的话会出现过拟合现象，对于决策树的过拟合有⼆个⽅案：1.剪枝-先剪枝和后剪纸（可以在构建决策树的时候通过指定深度，每个叶⼦的样本数来达到剪枝的作⽤）2.随机森林 --构建⼤量的决策树组成森林来防⽌过拟合；虽然单个树可能存在过拟合，但通过⼴度的增加就会消除过拟合现象三、随机森林随机森林是⼀个最近⽐较⽕的算法，它有很多的优点：在数据集上表现良好在当前的很多数据集上，相对其他算法有着很⼤的优势它能够处理很⾼维度（feature很多）的数据，并且不⽤做特征选择在训练完后，它能够给出哪些feature⽐较重要训练速度快在训练过程中，能够检测到feature间的互相影响容易做成并⾏化⽅法实现⽐较简单随机森林顾名思义，是⽤随机的⽅式建⽴⼀个森林，森林⾥⾯有很多的决策树组成，随机森林的每⼀棵决策树之间是没有关联的。
逻辑回归、决策树、随机森林模型
逻辑回归、决策树、随机森林模型摘要：一、引言二、逻辑回归模型1.定义与概念2.原理与计算方法3.应用场景与优缺点三、决策树模型1.定义与概念2.原理与计算方法3.应用场景与优缺点四、随机森林模型1.定义与概念2.原理与计算方法3.应用场景与优缺点五、总结正文：一、引言在机器学习领域，有许多算法可以帮助我们处理和分析数据。
本文将对逻辑回归、决策树和随机森林这三种常见的模型进行介绍和分析。
二、逻辑回归模型1.定义与概念逻辑回归是一种用于分类问题的线性模型，它的原理是利用逻辑函数（sigmoid 函数）将输入向量映射到0 和1 之间，从而实现二分类。
2.原理与计算方法逻辑回归的原理是通过最小化损失函数（如对数损失函数）来求解模型参数。
计算方法主要包括以下步骤：(1) 初始化参数(2) 计算预测概率(3) 计算损失函数(4) 参数更新(5) 重复(2)-(4) 直到收敛3.应用场景与优缺点逻辑回归广泛应用于二分类问题，如信用评级、垃圾邮件过滤等。
优点是简单易懂、易于实现，缺点是对于复杂非线性问题表现不佳。
三、决策树模型1.定义与概念决策树是一种树形结构的分类与回归模型，它通过一系列的问题对数据进行分割，并选择最佳特征进行决策。
2.原理与计算方法决策树的原理是通过递归地选择最优特征和最优分割点，构建一颗能够最大化信息增益的树。
计算方法主要包括以下步骤：(1) 特征选择(2) 划分数据集(3) 计算信息增益(4) 递归构建子树(5) 决策树生成3.应用场景与优缺点决策树广泛应用于分类和回归问题，如文本分类、房价预测等。
优点是易于理解和实现，缺点是容易过拟合，对于连续型特征处理能力较弱。
四、随机森林模型1.定义与概念随机森林是一种集成学习方法，它通过构建多个决策树并将它们的预测结果综合，以提高模型的预测性能。
2.原理与计算方法随机森林的原理是利用bootstrap 和随机特征选择方法，生成多个决策树。
计算方法主要包括以下步骤：(1) 数据集划分(2) 特征选择(3) 决策树生成(4) 预测结果综合3.应用场景与优缺点随机森林广泛应用于各种数据挖掘任务，如分类、回归、特征选择等。
决策树 随机森林 原理 与区别
决策树随机森林原理与区别
决策树和随机森林都是机器学习中常用的模型，它们都属于监督学习的范畴。
首先我们来看一下决策树的原理。
决策树是一种树形结构，用于决策分析。
它通过一系列的规则对数据进行分类或预测。
决策树的构建过程是一个递归地选择最优特征，并根据该特征对数据集进行划分的过程。
在构建决策树的过程中，通过对数据集进行划分，使得每个子集内的数据尽可能属于同一类别，从而实现对数据的分类和预测。
而随机森林是基于决策树构建的一种集成学习方法。
它通过构建多个决策树，并将它们进行组合来完成对数据的分类或预测。
随机森林的构建过程是通过对训练集进行有放回抽样，然后对每个子样本集构建一个决策树，最后将这些决策树进行组合，通过投票或取平均值的方式来进行分类或预测。
决策树和随机森林的区别在于，决策树是单个树形结构，它对数据进行分类或预测的能力受到树的深度和分裂规则的影响。
而随机森林是由多个决策树组成的集成模型，它通过对多个决策树的组合来提高整体模型的泛化能力和鲁棒性。
另外，随机森林在构建决策树的过程中引入了随机性，这样可以减小过拟合的风险，提高模
型的稳定性。
总的来说，决策树和随机森林都是常用的机器学习模型，它们都可以用于分类和预测任务。
决策树是单个树形结构，而随机森林是由多个决策树组成的集成模型，通过对多个决策树的组合来提高模型的性能。
在实际应用中，需要根据具体的问题和数据集的特点来选择合适的模型。
随机森林决策树训练过程
随机森林决策树训练过程
随机森林是一种集成学习方法，它由多个决策树组成，每棵树
都是独立训练的。
随机森林的训练过程可以分为以下几个步骤：
1. 数据准备，首先，需要准备训练数据集。
每个样本都包含多
个特征和一个标签，特征用来描述样本的属性，标签用来表示样本
的类别或者输出值。
2. 随机抽样，在训练每棵决策树时，从训练数据集中进行随机
抽样。
这种随机抽样的方法被称为自助采样法（bootstrap sampling），它可以保证每棵决策树的训练集都是有放回地从原始
训练集中抽取的，且大小与原始训练集相同。
3. 特征随机选择，在每个节点的决策过程中，随机选择一部分
特征进行考虑。
这样做的目的是为了降低各个决策树之间的相关性，增加随机性，提高模型的泛化能力。
4. 决策树训练，对于每棵决策树，使用随机抽样的训练集和随
机选择的特征集进行训练。
通常采用递归二分法构建决策树，选择
最佳的特征进行节点划分，直到满足停止条件（如节点样本数小于
阈值或树的深度达到预设值）为止。
5. 集成学习，训练多棵决策树后，将它们组合成随机森林。
在分类问题中，通常采用投票的方式确定最终的分类结果；在回归问题中，通常采用平均值的方式确定最终的预测结果。
总的来说，随机森林的训练过程就是通过构建多棵决策树，利用随机抽样和特征随机选择增加模型的多样性，然后通过集成学习将这些决策树组合起来，以取得更好的分类或回归性能。
这种方法能够有效地减少过拟合，提高模型的鲁棒性和泛化能力。
决策树和随机森林
决策树和随机森林
决策树和随机森林都是基于树的算法，他们都可以用来解决分类和回
归问题。
决策树是一种树状图数据结构，它以关于属性的条件分支形式存
储数据。
决策树的优势在于模型易于解释和理解，非常适合作为通过视觉
或可视化的方式表达和解释结果的模型。
它可以用于编码大量的属性关系，并能够有效的处理具有缺失值和噪声的数据集。
然而，决策树也有一些缺点，例如它的复杂性和过拟合的可能。
而随机森林是一种机器学习算法，它位于决策树和贝叶斯方法之间，
通过在大量决策树之间进行加权，来降低过拟合现象。
它可以建立一个由
多个决策树组成的森林，并且可以有效处理大量的数据。
随机森林算法改
善了决策树的过拟合现象，具有更高的分类准确性和鲁棒性。
另外它也可
以有效地处理各种类型的属性，处理大量的实例和多种样本分布。
决策树和随机森林在解决不同的问题时有所不同。
对于具有较少噪声
的数据集，决策树通常具有更高的准确性。
但是，对于有噪声的数据集，
随机森林通常可以更好地处理这些噪声，而且也不太可能出现过拟合的情况。
此外，随机森林也可以有效地处理具有多种样本分布的数据集。
总的来说。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
64 - 27
决策树的例子
对于下面的数据，希望分割成红色和绿色两个类
64 - 28
决策树的生成过程
64 - 29
决策树的生成过程
64 - 30
决策树的生成过程
64 - 31
决策树的生成过程
64 - 32
决策树的生成过程
64 - 33
CART决策树； 重复以上两步m次，即建立了m棵CART决策树 这m个CART形成随机森林，通过投票表决结果，决定数据属于哪
一类
64 - 44
思考
右图是实际B超拍摄的胎儿影像。完成头骨的自动检测算法，从而能 够进一步估算胎儿头骨直径、胎龄等信息。假定现在有已经标记的几 千张的不同胎儿的图像，对于新的一张图像，如何做自动检测和计 算？
如何用自然语言解释H(X)≥H(X|Y)？
64 - 13
强大的Venn图：帮助记忆
64 - 14
决策树的实例
64 - 15
注：Weka的全名是怀卡托智能分析环境(Waikato Environment for Knowledge Analysis)，是一款免费的，非 商业化(与之对应的是SPSS公司商业数据挖掘产品-Clementine )的，基于JAVA环境下开源的机器学习 (machine learning)以及数据挖掘(data minining)软件。它 和它的源代码可在其官方网站下载。
决策树的生成过程
64 - 34
决策树的生成过程
64 - 35
决策树的生成过程
64 - 36
决策树的生成过程
64 - 37
决策树的过拟合
决策树对训练属于有很好的分类能力，但对未知的测试数 据未必有好的分类能力，泛化能力弱，即可能发生过拟合 现象。
剪枝 随机森林
64 - 38
Bootstraping
决策树示意图
64 - 16
决策树 (Decision Tree)
决策树是一种树型结构，其中每个内部结点表示在一个属 性上的测试，每个分支代表一个测试输出，每个叶结点代 表一种类别。
决策树学习是以实例为基础的归纳学习。 决策树学习采用的是自顶向下的递归方法，其基本思想是
以信息熵为度量构造一棵熵值下降最快的树，到叶子节点 处的熵值为零，此时每个叶节点中的实例都属于同一类。
定义事件X发生的信息量： hx log2 x
思考：事件X的信息量的期望如何计算呢？
64 - 6
熵
对随机事件的信息量求期望，得熵的定义：
H X pxln px
xX
注：经典熵的定义，底数是2，单位是bit 本例中，为分析方便使用底数e 若底数是e，单位是nat(奈特)
64 - 7
信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的 程度。
定义：特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验 熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即：
g(D,A)=H(D) – H(D|A) 显然，这即为训练数据集D和特征A的互信息。
64 - 19
联合熵和条件熵
两个随机变量XY的联合分布形成联合熵，用H(X,Y)表示 H(X,Y) – H(Y)
(X,Y)发生所包含的熵，减去Y单独发生包含的熵：在Y发生的前 提下，X发生“新”带来的熵
该式子定义为Y发生前提下，X的熵：
条件熵H(X|Y)
64 - 8
推导条件熵的定义式
H ( X ,Y ) H (Y )
64 - 17
决策树学习的生成算法
建立决策树的关键，即在当前状态下选择哪个属性作为分 类依据。根据不同的目标函数，建立决策树主要有一下三 种算法。
ID3 C4.5 CART
64 - 18
信息增益
概念：当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到 时，所对应的熵和条件熵分别称为经验熵和经验条件熵。
输出y：该样本是否喜欢计算机游戏
64 - 3
随机森林
64 - 4
决策树：Levelቤተ መጻሕፍቲ ባይዱ
64 - 5
定义信息量
原则：
某事件发生的概率小，则该事件的信息量大。 如果两个事件X和Y独立，即p(xy)=p(x)p(y) ，假定X和Y的信息量
分别为h(X)和h(Y)，则二者同时发生的信息量应该为 h(XY)=h(X)+h(Y)。
y
px,
y
log
px
y
x
px,
y
log
p y
x,y
px,
y
log
px,
y
px, ylog px px, ylog py px, ylog px, y
x,y
x,y
x, y
px, ylog px, y log px log py
x,y
x,y
px,
y log
px, y
pxpy
随机选择若干特征和样本，得到a*b的小矩阵，建立决策 树；
重复K次得到随机森林。 投票方法选择少数服从多数。
64 - 46
应用实例：Kinect
64 - 47
Real-Time Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton etc,2001,
i1 2
N 2N i1
1 N
N 1 N
N
2N
i
i 1
i1
i 1
2N
i
i 1
i
i 1
1
1 N
2i 1
2N i1
0 0
N 1
gini系数：
gini
SA
1/ 2 SB
1 2SB
1
1
2
N
i
1
SA SB 1/ 2
N i1
64 - 26
三种决策树学习算法
ID3：使用信息增益/互信息g(D,A)进行特征选择
取值多的属性，更容易使数据更纯 ，其信息增益更大。 训练得到的是一棵庞大且深度浅的树：不合理。
C4.5：信息增益率 gr(D,A) = g(D,A) / H(A) CART：基尼指数 一个属性的信息增益(率)/gini指数越大，表明属性对样本的熵减少的
基本记号
设训练数据集为 D ，D 表示样本个数。 设有K个类 Ck , k 1,2K，Ck 为属于类 Ck 的样本个数，
有： Ck D
k
设特征A有n个不同的取值a1, a2 an，根据特征A的取值
将D划分为n个子集 D1, D2 Dn ， Di 为 Di 的样本个数，
有： Di D
64 - 12
条件熵与互信息的等式
互信息：I(X,Y)=H(X)+H(Y)-H(X,Y) 条件熵：H(X|Y)=H(X,Y)-H(Y) 带入，得：I(X,Y)=H(X)-H(X|Y)
条件熵：H(Y|X)=H(X,Y)-H(X) 带入，得：I(X,Y)=H(Y)-H(Y|X)
由I(X,Y)≥0，得H(X)≥H(X|Y)，H(Y)≥H(Y|X)
考察基尼指数的图像、熵、分类误差率三者之间的关系
将f(x)=-lnx在x=1处一阶展开，忽略高阶无穷小，得到f(x)≈1-x
K
H X pk ln pk
k 1 K
pk 1 pk
k 1
64 - 24
gini系数的其他定义
给定M个样本，计算样本最大值max和最小值min，等分成
N份，计算每份的样本数目xi(i=1,2,…,N)，则每份的近似
xy
p(x) p( y | x) log p( y | x)
x
y
p(
x)
p(
y
|
x)
log
p(
y
|
x)
x
y
p(x)H Y | X x
x
64 - 10
互信息
两个随机变量X，Y的互信息，定义为X，Y的信息熵减去 X，Y的联合熵。
I(X,Y)=H(X)+H(Y)-H(X,Y)
p(x, y)
x,y
p( y)
p(x, y) log p(x | y)
x,y
64 - 9
根据条件熵的定义式，可以得到
H ( X ,Y ) H ( X ) p(x, y) log p( y | x)
x, y
p(x, y) log p( y | x)
xy
p(x) p( y | x) log p( y | x)
64 - 39
Bagging的策略
bootstrap aggregation 从样本集中重采样(有重复的)选出n个样本 在所有属性上，对这n个样本建立分类器(ID3、C4.5、
CART、SVM、Logistic回归等) 重复以上两步m次，即获得了m个分类器 将数据放在这m个分类器上，最后根据这m个分类器的投
64 - 21
经验条件熵H(D|A)
H D | A pDk , Ai log pDk | Ai
i,k
pAi pDk | Ai log pDk | Ai
i,k
nK
pAi pDk | Ai log pDk | Ai
i1 k 1
n
K
pAi pDk | Ai log pDk | Ai
决策树和随机森林
牛客网 邹伟
2015年1月23日
64 - 1
目标任务与主要内容
掌握信息熵
熵、联合熵、条件熵、互信息
决策树学习算法
信息增益 ID3、C4.5、CART
Bagging与随机森林的思想