c5算法生成决策树的研究

C4.5算法生成决策树 1、基础知识 当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以称之为“大熵法”最大熵法在数学形式上很漂亮，但是实现起来比较复杂，但把它运用于金融领域的诱惑也比较大，比如说决定股票涨落的因素可能有几十甚至上百种，而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。 目前，针对分类问题已有了若干不同领域方法的算法，例如统计学、机器学习、神经网络和粗糙集理论等。其中从机器学习中引出的决策树方法是一种较为通用并被深入研究的分类方法，由于决策树分类算法是一种直观快速的分类方法，它的分类过程不需要背景知识、并且清晰、易于理解，因此有很大的实用价值。目前已经形成了多种决策树算法。如CLS、ID3、CHAID、CART、FACT、C4.5、Gini、SEE5、SLIQ、SPRINT等。 在决策树分类算法中，最常用的、最经典的是C4.5算法，它继承了ID3算法的优点并对ID3算法进行了改进和补充。C4.5算法采用信息增益率作为选择分支属性的标准，克服了ID3算法中信息增益选择属性时偏向选择取值多的属性的不足，并能够完成对连续属性离散化的处理，还能够对不完整数据进行处理。根据分割方法的不同，目前决策的算法可以分为两类：基于信息论（Information Theory）的方法和最小GINI指标（Lowest GINI index）方法。对应前者的算法有ID3、C4.5，后者的有CART、SLIQ和SPRINT。 C4.5算法是以信息论为基础，以信息熵和信息增益度为衡量标准，从而实现对数据的归纳分类。 2、算法 以下图数据为例，介绍用C4.5建立决策树的算法。 表1

ID3算法最初假定属性都是离散值，但在实际应用中，很多属性值都是连续的。C4.5对ID3不能处理连续型属性的缺点进行了改进。如果存在连续型的描述性属性，首先将连续型属性的值分成不同的区间，即“离散化”。 对上表中将实际耗电量分为10个区间（0—9） （300~320,320~340,340~360,360~380,380~400，400~420,420~440,440~460,460~480,480~500） 因为最终是要得到实际的耗电量区间，因此“实际耗电量”属于“类别属性”。“室外温

度”、“室内温度”、“室外湿度”、“风力大小”、“机房楼层”、“机房朝向”、“机房开启设备总额定功率”属于“非类别属性”。 表2

室外温度 室内温度 室外湿度 风力大小 机房楼层 机房朝向（0：阴，1：阳） 机房开启设备总额定功率（千瓦） 23 17 65 4 1 0 500 24 17 62 2 2 1 450 27 18 60 3 -1 0 300 24 19 58 3 2 0 300 25 18 52 2 1 1 450 26 18 50 5 -1 1 500 30 19 45 2 2 1 450 28 18 43 3 1 0 450 27 18 48 3 -1 0 500 29 18 40 4 1 0 500

室外温度 室内温度 室外湿度 风力大小 机房楼层 机房朝向（0：阴，1：阳） 机房开启设备总额定功率（千瓦） 实际耗电量 （区间） 23 17 65 4 1 0 500 5 24 17 62 2 2 1 450 7 27 18 60 3 -1 0 300 0 24 19 58 3 2 0 300 0 25 18 52 2 1 1 450 5 26 18 50 5 -1 1 500 4 通过表2知，实际耗电量区间的个数为： 表3 序号 区间值 个数 1 0 2 2 4 1 3 5 3 4 6 1 5 7 2 6 9 1 总计 10

定义1：若存在n个相同概率的消息(Massage)，则每个消息的概率p是1/n，一个消息传递的信息量为22log()log()pn。若有16个事件，则2log(16)4，则需4个比特来代表一个消息。 例如：表3中，区间为0的信息量为：22log2/10log10=3.322

定义2：若给定的概率分布12,,npppp，则由该分布传递的信息量称为P的熵。即 1212222log()log()log()nnIPpppppp

注意：概率分布越均匀，其信息量越大）。

定义3：若一个记录的集合T根据类别属性的值被分成互相独立的类12,,,kCCC则识别T的一个元素所属哪个类所需要的信息量是infoTIP，其中P是12,,kCCC的概率分布，即 12||/||,||/||,||/||,KPCTCTCT

例如：表3中，得到实际耗电量区间的信息量为（以下单位为比特，下同）： 222

222

2/10log(2/10)1/10log(1/10)3/10log(3/10)()1/10log(1/10)2/10log(2/10)1/10log(1/10)InfoTIP





=2.446

30 19 45 2 2 1 450 9 28 18 43 3 1 0 450 6 27 18 48 3 -1 0 500 5 29 18 40 4 1 0 500 7 非类别属性 类别属性 定义4：若我们先根据非类别属性X的值将T分成集合12,,nTTT，则确定T中一个元素类的信息量可通过确定iT的加权平均值来得到，即Info(iT)的加权平均值为： 1,||/||niiiInfoXTTTINFOT

例如：属性“室内温度”的值有“17、18、19”，分类见下表： 表4 序号 室内温度 个数 所属的区间（个数 1 17 2 5(1) 7(1) 2 18 6 0(1) 4(1) 5(2) 6(1) 7(1) 3 19 2 0(1) 9(1) 总计 10

P（17）=（1/2，1/2） P（18）=（1/6，1/6，2/6，1/6，1/6） P（19）=（1/2，1/2） 则每个温度的信息量为：

22(17)171/2*log(1/2)1/2*log(1/2)InfoIP=1.000

222

22

1/6*log(1/6)1/6*log(1/6)2/6*log(2/6)(18)181/6*log(1/6)1/6*log(1/6)InfoIP





=2.252

22(19)191/2*log(1/2)1/2*log(1/2)InfoIP=1.000

2/10(17)6/10(18)2/10(19)(,)InfoInfoInInffooT室内温度=1.751

定义5：将增益Gain（X，T）定义为： 。所谓增益，就是指在应用了某一测试之后，其对应的可能性丰富程度下降，不确定性减小，这个减小的幅度就是增益，其实质上对

应着分类带来的好处）。 上式的增益值为：,,GainXTInfoTInfoT室内温度=2.446-1.751=0.695 以上是ID3计算信息增益的方法，C4.5算法对此进行了改进。C4.5算法采用信息增益率作为选择分支属性的标准，克服了ID3算法中信息增益选择属性时偏向选择取值多的属性的不足。若我们一个属性D，据其取值将T分成集合T1、T2……Tn，当每一个集合中所有记录得出的结果相同，即同时取值为“是”或“否”时，Info(D，T) 为0，此时增益Gain（D,T）取最大值。因此用增益比值来代替，即： (,)(,)(,)GainDTGainRatioDTSplitInfoDT

由于T是以类型属性D的值为基准进行的分割，故SplitInfo（D，T） 是信息量。 举例：根据表4，得到： 

222,2/10*log(2/10)6/10*log(6/10)2/10*log(2/10)SplitInfoT室内温度

=1.371，则(,)GainRatioDT0.695/1.371=0.507 可利用函数Gain的定义将属性进行排列，并可构造一棵决策树，其中每一个节点都是属性中具有最大增益的属性，从而不必考虑来自于根的路径。 3、选择连续变量的阈值（测试条件） 到连续数据的分支的阈值点如何确定呢？很简单，把需要处理的样本（对应根节点）或样本子集（对应子树）按照连续变量的大小从小到大进行排序，假设该属性对应的不同的属性值一共有N个，那么总共有N-1个可能的候选分割阈值点，每个候选的分割阈值点的值为上述排序后的属性值链表中两两前后连续元素的中点，那么我们的任务就是从这个N-1个候选分割阈值点中选出一个，使得前面提到的信息论标准最大。在EXCEL中，对室外温度（第二步）详细介绍了如何分割阈值点并进行计算。 4、树的终止 树的建立实际上是一个递归过程，那么这个递归什么时候到达终止条件退出递归呢？有两种方式，第一种方式是如果某一节点的分支所覆盖的样本都属于同一类的时候，那么递归