数据仓库与挖掘课程设计报告

数据仓库与数据挖掘课程设计报告

设计课题：ID3算法与C4.5算法的比较分析

专业班级：086081-01

学生姓名：李小龙

学生学号：20071003550

指导教师：蒋良孝

成绩：

二○一○年十月二十日

1．背景知识：

决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根

据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那

么选择一些例外加入到训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。

决策树由决策结点、分支和叶子组成。决策树中最上面的结点为根结点，每个分支是一个新的决策结点，或者是树的叶子。每个决策结点代表

一个问题或决策，通常对应于待分类对象的属性。每一个叶子结点代表一

种可能的分类结果。沿决策树从上到下遍历的过程中，在每个结点都会遇

到一个测试，对每个结点上问题的不同的测试输出导致不同的分支，最后

会到达一个叶子结点，这个过程就是利用决策树进行分类的过程，利用若

干个变量来判断所属的类别。

2. ID3算法与C4.5算法介绍

2.1 ID3算法：

ID3算法是由Quinlan首先提出的。该算法是以信息论为基础，以信息熵和

信息增益度为衡量标准，从而实现对数据的归纳分类。

ID3算法计算每个属性的信息增益，并选取具有最高增益的属性作为给

定集合的测试属性。对被选取的测试属性创建一个节点，并以该节点的属

性标记，对该属性的每个值创建一个分支据此划分样本.ID3算法具体步骤

如下：

1.从训练集中随机选择一个既含正例又含反例的子集；

2.用“建树算法”对当前窗口形成一颗决策树；

3.用对训练集（窗口除外）中例子所得决策树进行类别判定，找出错

判的例子；

4.若存在错判的例子，把它们插入窗口，转步骤2，否则结束。

2.2 C4.5算法：

由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。具体算法步骤如下；

1.创建节点N

2.如果训练集为空，在返回节点N标记为Failure

3.如果训练集中的所有记录都属于同一个类别，则以该类别标记节点N

4.如果候选属性为空，则返回N作为叶节点，标记为训练集中最普通

的类；

5.for each 候选属性 attribute_list

6.if 候选属性是联系的then

7.对该属性进行离散化

8.选择候选属性attribute_list中具有最高信息增益的属性D

9.标记节点N为属性D

10.for each 属性D的一致值d

11.由节点N长出一个条件为D=d的分支

12.设s是训练集中D=d的训练样本的集合

13.if s为空

14.加上一个树叶，标记为训练集中最普通的类

15.else加上一个有C4.5（R-{D},C，s）返回的点

3. 实验分析比较

以下是用W AKE数据挖掘工具做的实验得到的数据（以weather.nominal.arff表为例），分别用了ID3, C4.5 ，NBTree算法对同一表做的实验，其中NBTree算法主要是作为ID3, C4.5算法结果的一个参考。

3.1 ID3算法得到的实验结果：

3.2 C

4.5算法得到的实验结果：

3.3 NBTree算法得到的实验结果：

4．总结：

通过对ID3,C4.5算法的学习与研究，我有以下收获：

严格上说C4.5算法只能是ID3的一个改进算法，并在以下几方面对ID3算法进行了改进：

1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；

2) 在树构造过程中进行剪枝；

3) 能够完成对连续属性的离散化处理；

4) 能够对不完整数据进行处理。

C4.5算法继承了ID3算法的优点。同时，与ID3算法相比较，C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。