(决策树算法)

人工智能技术报告

数据挖掘决策树经典算法

决策树算法简介

决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。

决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan 提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。

决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除

决策树的工作原理

决策树一般都是自上而下的来生成的。

选择分割的方法有多种，但是目的都是一致的，即对目标类尝试进行最佳的分割。

从根节点到叶子节点都有一条路径，这条路径就是一条“规则”。

决策树可以是二叉的，也可以是多叉的。

对每个节点的衡量：

1) 通过该节点的记录数；

2) 如果是叶子节点的话，分类的路径；

3) 对叶子节点正确分类的比例。

有些规则的效果可以比其他的一些规则要好。

决策树的算法类型分析

决策树的典型算法有ID3，C4.5，CART等。

国际权威的学术组织，数据挖掘国际会议ICDM （the IEEE International Conference on Data Mining）在2006年12月评选出了数据挖掘领域的十大经典算法中，C4.5算法排名第一。C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法。C4.5算法产生的分类规则易于理解，准确率较高。不过在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，在实际应用中因而会导致算法的低效。

决策树算法的优点如下：

（1）分类精度高；

（2）生成的模式简单；

（3）对噪声数据有很好的健壮性。

因而是目前应用最为广泛的归纳推理算法之一，在数据挖掘中受到研究者的广泛关注。

(1) ID3算法

1)概念提取算法CLS

○1初始化参数C={E}，E包括所有的例子，为根；

○2如果C中的任一元素e同属于同一个决策类则创建一个叶子节点YES终止；否则依启发式标准，选择特征Fi={V1, V2, V3,……, Vn}并创建判定节点，划分C为互不相交的N个集合C1，C2，C3，……，Cn；

○3对任一个Ci递归。

2) ID3算法

○1随机选择C的一个子集W (窗口)；

○2调用CLS生成W的分类树DT(强调的启发式标准在后)；

○3顺序扫描C搜集DT的意外(即由DT无法确定的例子)；

○4组合W与已发现的意外，形成新的W；

○5重复2)到4)，直到无例外为止。

启发式标准：

只跟本身与其子树有关，采取信息理论用熵来量度。

熵是选择事件时选择自由度的量度，其计算方法为：P=freq(Cj,S)/|S|；INFO(S)=-SUM(P*LOG(P))；SUM()函数是求j从1到n的和。Gain(X)=Info(X)-Infox(X)；Infox(X)=SUM( (|Ti|/|T|)*Info(X)；

为保证生成的决策树最小，ID3算法在生成子树时，选取使生成的子树的熵(即Gain(S))最小的特征来生成子树。

ID3算法对数据的要求：

○1所有属性必须为离散量；

○2所有的训练例的所有属性必须有一个明确的值；

○3相同的因素必须得到相同的结论且训练例必须唯一。

(2) C4.5算法

由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。

C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：

○1用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；

○2在树构造过程中进行剪枝；

○3能够完成对连续属性的离散化处理；

○4能够对不完整数据进行处理。

C4.5算法有如下优点：

产生的分类规则易于理解，准确率较高。

C4.5算法有如下缺点：

在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。

分类决策树算法：

C4.5算法是机器学习算法中的一种分类决策树算法，其核心算法是ID3算法。

分类决策树算法是从大量事例中进行提取分类规则的自上而下的决策树。

决策树的各部分是：

根：学习的事例集；

枝：分类的判定条件；

叶：分好的各个类。

(3) C4.5对ID3算法的改进

1) 熵的改进，加上了子树的信息。

Split_Infox(X)= -SUM( (|T|/|Ti|)*LOG(|Ti|/|T|))；

Gain ratio(X)= Gain(X)/Split_Infox(X);

2) 在输入数据上的改进

①因素属性的值可以是连续量，C4.5对其排序并分成不同的集合后按照ID3

算法当作离散量进行处理，但结论属性的值必须是离散值。

②训练例的因素属性值可以是不确定的，以?表示，但结论必须是确定的。

3) 对已生成的决策树进行裁剪，减小生成树的规模。

决策树在许多领域的应用

（一）基于决策树C4.5算法的我国商业银行信用风险评估模型实证分析

1.实证分析的样本来源

本文从某银行的信息系统中随机抽取了某行业( 2004 年) 100 个贷款企业的资料作为建模样本,其中有81 个企业的财务数据资料完整, 可以作为分析研究的

对象。在这81 个企业中有64 个企业贷款履约, 17 个企业贷款违约, 不良贷款率为20.1%, 与该行业的整体贷款不良率非常接近, 因此, 随机抽取的81 个企

业财务资料具有代表性, 可以用此样本对总体进行统计推断。

2.指标体系的建立

适当地选择财务指标建立反映企业信用风险的指标体系, 是信用风险评估的基础。依据全面性、有效性和可操作性的原则, 选择了5 个方面的9 项指标构建了信用风险评估指标体系。

( 1) 负债水平资产负债率X1。适度的资产负债率表明企业投资人、债权人的投资风险较小, 企业经营安全稳健, 具有较强的筹资能力。

( 2) 流动能力和偿债能力流动比率X2、总债务/ebitdaX3。流动比率越高, 表明企业流动资产周转越快, 偿还流动负债能力越强。但需要说明的是, 该指标过高, 表明企业的资金利用效率比较低下, 对企业经营发展不利。总债务/ebitda 是指总债务相对于当年的息、税、折摊前收益的大小。总债务与ebitda的比率反映以企业所创造的税前利润和留在企业内部的固定资产折旧费用、摊销费用在支付利息前对总债务的保障能力。该指标越小, 企业还债能力越强, 反之, 企业还债的能力就比较弱。

( 3) 赢利能力净资产收益率X4、销售( 营业)利润率X5。企业获利能力是企业信用的基础, 企业只有盈利, 才有可能按时偿还债务。

( 4) 经营效益和资金利用效率总资产周转率X6、流动资产周转率X7。企业的资产管理状况对于企业的信用风险水平有直接的影响。

( 5) 发展能力销售( 营业) 增长率X8、资本积累率X9。销售( 营业) 增长率越

大, 表明销售( 营业)收入增长速度越快, 企业发展形势较好, 企业的信用风险较小。资本积累率展示了企业的发展潜力。该指标值越高, 说明企业的资本积累越多, 投资者投入企业资本的保全性和增长性越强, 企业应付风险的能力越强, 企业的信用风险相对较小。

（二）决策树预测评价模型的构建

将决策树预测应用于农村信用合作社农户贷款信用评价问题中，基本思路是：根据已知的样本与原始信用评价状态，运用决策树发现贷款人信用状态与其某些特征属性之间的关系，使得能够通过对农户这些属性的具体观察值，对贷款人的信用情况进行预测。

信息增益的计算及属性评估分值的获得

在树的每个节点上使用信息增益度量选择测试属性，这种度量称为属性选择度量或分裂的优良性度量。选择具有最高信息增益的属性作为当前节点的测试属性。该属性是给定集合中具有最高区分度的属性。这种信息理论方法使得对一个对象分类所需的期望测试数目达到最小，并确保找到一棵简单的树。设S 是s 个数据样本的集合，假定类标号属性具有m 个不同类Ci （ i=1，…，m ）。设si 是类Ci 中的样本数。对一个给定的样本分类所需的期望信息由下式给出： ()121(,,,)lb m

m i i i I s s s p p =???=-∑ （1）

其中pi 是任意样本属于Ci 的概率，并用si/s 估计。设属性A 具有v 个不同值{a1，a2，…，av}。可以用属性A 将S 划分为v 个子集{S1，S2，…，SV}；其中，Sj 包含S 中这样一些样本，它们在A 上具有值aj 。设sij 是Sj 中类Ci 的样本数。根据由A 划分子集的熵由下式给出：

()()111,,v j mj j mj i s s E A I s s s =+???+=???∑ （2） 项1j mj

s s s +???+充当第j 个子集的权，并且等于子集（即A 值为aj ）中的样本个数除以S 中样本总数。熵值越小，子集划分的纯度就高。对于给定的子集Sj ：

()121(,,,)lb m

m ij ij i I s s s p p =???=-∑ （3）

其中，Pij=Sij/Sj 是Sj 中的样本属于类Ci 的概率。

（三）面向账户的决策树分类预测算法

第一步:计算面向账户的反洗钱决策树分类预测算法训练集S 划分前的熵。 数据集S 中的分类属性C = { 是否涉嫌洗钱}有2 个不同的离散属性值“ Y ”和“N ”, 将数据集S 中的所有记录分成2 个类别。假设该训练集S 中全部的记录数为s , 分类属性值为“ Y ”和“N ”的记录数分别为S Y 和S N 。数据集S 的总熵值在划分之前是属于不同类别的记录的信息量的加权平均, 权重以训练集中的发生概率衡量。那么划分之前,数据集S 的总熵值为:

()22,log log N N Y Y Y N S S S S E S S S S S S ????=-- ? ?????

第二步:计算数据集S 按照A 6 属性进行划分后的熵。非类别属性A 6 具有3 个不同的离散型属性值“高”、“中”、“低”,可以把整个数据集S 划分成3 个子集{ S 高} 、{ S 中} 、{ S 低} 。设这3 个子集中全部的记录数为S 高, S 中, S 低, 其中分类属性值为“ Y ”和“N ”的记录数分别为S Y 高, S N 高, S N 中, S Y 中, S Y 低,S N 低。则有子集S 高的熵值为:

22(,)log -log Y Y N N Y N S S S S E S S S S S S ????=- ? ? ? ?????

高高高高高高高高高高 同理可得子集S 中和S 低的熵值。

属性A 6 把数据集S 划分成3 个子集{ S 高} 、{ S 中} 、{ S 低} 后,数据集S 的总熵值为3 个子集的熵的加权平均。则有数据集S 划分后的总熵值为: ()()()()6,,+,Y N Y N Y N S S S E A E S S E S S E S S S S S

=?+??高

中低中中低低高高 第三步:计算数据集S 按照属性6A 进行划分前与划分后的熵差按照公式可得数据集S 按照属性6A 进行划分前与划分后的熵差为:

Gain (A 6) = E(S Y ,S N ) - E(A 6)最终得到了在面向账户的反洗钱决策树分类预测算

法训练集中按照非类别属性6A 进行划分的信息增益值Gain (6A ) 。决策树算

法会按照同样的步骤计算1A 、2A 、3A 、4A 、5A 这5 个非类别属性的信息增益

值Gain (1A ) 、Gain (2A ) 、Gain (3A ) 、Gain (4A ) 、Gain (5A ) ,然后比

较它们的大小,取其中值最大的非类别属性作为根节点划分的最佳选择

参考文献

[1] 武魏巍，王如燕，丁日佳.基于数据挖掘的银行客户管理信息系统的应用[J].金融理论与实践，2006（10）：35-37.

[2] 巩帅.交通流量数据的分类规则挖掘[J].计算机工程与应用，2006，42（6）：219-220．

[3] 张渝，周宗放.商业银行信用风险评价指标的熵权选择方法[J].电子科技大学学报，2006

（5）：857-860.

[4] 郭超峰, 李梅莲.基于ID3算法的决策树研究与应用[J]，

许昌学院学报，2007年第5期。

[5] 刘惟一, 李维华等. 智能数据分析, 北京科学出版社,

2007年。