基于信息增益法的决策树构造方法
决策树算法介绍（DOC）
决策树算法介绍（DOC）3.1 分类与决策树概述3.1.1 分类与预测分类是⼀种应⽤⾮常⼴泛的数据挖掘技术，应⽤的例⼦也很多。
例如，根据信⽤卡⽀付历史记录，来判断具备哪些特征的⽤户往往具有良好的信⽤；根据某种病症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。
这些过程的⼀个共同特点是：根据数据的某些属性，来估计⼀个特定属性的值。
例如在信⽤分析案例中，根据⽤户的“年龄”、“性别”、“收⼊⽔平”、“职业”等属性的值，来估计该⽤户“信⽤度”属性的值应该取“好”还是“差”，在这个例⼦中，所研究的属性“信⽤度”是⼀个离散属性，它的取值是⼀个类别值，这种问题在数据挖掘中被称为分类。
还有⼀种问题，例如根据股市交易的历史数据估计下⼀个交易⽇的⼤盘指数，这⾥所研究的属性“⼤盘指数”是⼀个连续属性，它的取值是⼀个实数。
那么这种问题在数据挖掘中被称为预测。
总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。
3.1.2 决策树的基本原理1.构建决策树通过⼀个实际的例⼦，来了解⼀些与决策树有关的基本概念。
表3-1是⼀个数据库表，记载着某银⾏的客户信⽤记录，属性包括“姓名”、“年龄”、“职业”、“⽉薪”、......、“信⽤等级”，每⼀⾏是⼀个客户样本，每⼀列是⼀个属性（字段）。
这⾥把这个表记做数据集D。
银⾏需要解决的问题是，根据数据集D，建⽴⼀个信⽤等级分析模型，并根据这个模型，产⽣⼀系列规则。
当银⾏在未来的某个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、⽉薪等属性，来预测其信⽤等级，以确定是否提供贷款给该⽤户。
这⾥的信⽤等级分析模型，就可以是⼀棵决策树。
在这个案例中，研究的重点是“信⽤等级”这个属性。
给定⼀个信⽤等级未知的客户，要根据他/她的其他属性来估计“信⽤等级”的值是“优”、“良”还是“差”，也就是说，要把这客户划分到信⽤等级为“优”、“良”、“差”这3个类别的某⼀类别中去。
基于决策树的推荐算法
基于决策树的推荐算法一、决策树算法介绍决策树是一种基于树型结构的分类与回归算法，将问题划分成树的节点和叶子节点，节点表示问题的判断或属性，叶子节点表示问题的结果或类别。
决策树通过选择最优的属性来划分数据，并递归地构建树，最终实现对待预测样本的分类。
决策树算法具有易理解、易实现、可处理各种数据类型和能够处理缺失值的优点。
二、决策树个性化推荐算法原理1.数据预处理：首先从用户历史行为数据中提取特征。
特征可以包括用户ID、物品ID、物品评分、物品类别等。
2.数据划分：将数据集划分为训练集和测试集。
训练集用于构建决策树模型，测试集用于评估模型的准确性。
3.特征选择：选择最优的特征作为划分标准。
常用的特征选择方法有信息增益、信息增益比、基尼指数等。
4.决策树构建：根据选择的特征，递归地构建决策树。
每个节点代表一个特征，叶子节点代表最终的推荐结果。
5.决策准则：选择适用的决策准则来判断决策树的生长停止条件，例如节点中的样本属于同一类别、节点中的样本数不超过阈值等。
6.决策树剪枝：对构建好的决策树进行剪枝处理，减少过拟合的风险。
常用的剪枝方法有预剪枝和后剪枝。
7.推荐结果：根据决策树模型，对待推荐的物品进行预测，并将预测结果作为推荐结果返回给用户。
三、基于决策树的推荐算法优势与应用场景1.优势：（1）易解释：决策树的结构非常直观，可以对模型的决策过程进行解释和理解。
（2）适用性强：决策树算法适用于离散型和连续型的特征，可以处理多分类和回归问题。
（3）能够处理缺失值：在决策树的构造过程中，可以通过合适的方式处理缺失值。
（4）灵活性高：决策树可以通过调整参数来控制树的生长与剪枝，具有较高的灵活性。
2.应用场景：（1）个性化推荐系统：基于用户历史行为和物品特征，进行物品的个性化推荐。
（2）文本分类：根据文本的特征来进行分类，例如垃圾邮件过滤、新闻分类等。
（3）医疗诊断：根据病人的症状特征来判断患病可能性，提供初步的诊断结果。
李航-统计学习方法-笔记-5：决策树
李航-统计学习⽅法-笔记-5：决策树基本模型简介：决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。
其主要优点是模型具有可读性，分类速度快。
决策树学习通常包括3个步骤：特征选择，决策树⽣成，剪枝。
决策树的内部结点表⽰⼀个特征或属性，叶结点表⽰⼀个类。
If-then：决策树路径或其对应的if-then规则集合具有⼀个重要的性质，互斥并且完备，也就是说，每⼀个实例都被⼀条路径或⼀条规则所覆盖，⽽且只被⼀条路径或者⼀条规则覆盖。
概率分布：决策树将特征空间划分为互不相交的单元，并在每个单元定义⼀个类的概率分布。
决策树的⼀条路径对应于划分中的⼀个单元，决策树所表⽰的条件概率分布由各个单元给定条件下类的条件概率分布组成，即P(Y | X)，叶结点（单元）上的条件概率往往偏向某⼀类。
决策树的学习：决策树学习本质上是从训练数据集中归纳出⼀组分类规则，找到⼀棵“与训练数据⽭盾较⼩，同时具有很好的泛化能⼒”的树。
另⼀个⾓度看，决策树学习是“由训练集估计的条件概率模型”，基于特征空间划分的类的条件概率模型有多个。
我们选择的条件概率模型应该不仅对训练数据有很好的拟合，⽽且对未知数据有很好的预测。
启发式⽅法：从所有可能的决策树中选取最优决策树是NP完全问题，所以现实中通常采⽤启发式⽅法，近似求解这⼀最优化问题。
这样得到的决策树是次优的（sub-optimal）。
通常的做法是递归地选择最优特征，并根据该特征对训练数据进⾏分割，使得对各个⼦数据集有⼀个最好的分类的过程。
剪枝：以上⽅法⽣成的树可能对训练集有很好的分类能⼒，但对未知的数据却未必，可能发⽣过拟合。
我们需要对已⽣成的树⾃下⽽上进⾏剪纸，将树变得更简单，从⽽使它具有更好的泛化能⼒。
具体地，就是去掉过于细分的叶结点，使其回退到⽗结点，甚⾄更⾼的结点，将⽗结点或更⾼的结点改为新的叶结点。
特征选择特征选择：特征选择在于选取对训练数据具有分类能⼒的特征。
决策树模型中的常见问题及解决方法(五)
决策树模型在数据挖掘和机器学习领域被广泛应用，它简单易懂，能够处理分类和回归问题。
然而，在实际应用中，决策树模型也会遇到一些常见的问题，本文将就这些问题进行探讨，并提出解决方法。
过拟合问题决策树模型在训练过程中容易出现过拟合的问题，即模型在训练集上表现良好，但在测试集上表现较差。
造成过拟合的主要原因是决策树的深度过大，导致模型过于复杂，对训练集中的噪声数据进行了拟合。
解决方法：1. 限制决策树的最大深度：通过设置决策树的最大深度，可以有效地控制模型的复杂度，避免过拟合的问题。
2. 剪枝处理：决策树剪枝是一种常用的减少过拟合的方法，它可以通过去掉一些不必要的节点和分支来简化决策树，提高模型的泛化能力。
特征选择问题在构建决策树模型时，选择合适的特征对模型的性能有着至关重要的作用。
然而，有时候我们面对的特征太多，如何选择合适的特征成为一个挑战。
解决方法：1. 信息增益：信息增益是决策树算法中常用的特征选择方法，它通过计算每个特征对训练集的信息增益来评估特征的重要性，从而选择出最优的特征进行划分。
2. 基尼指数：基尼指数是另一种衡量特征重要性的指标，它衡量了模型的不纯度，选择基尼指数较小的特征进行划分可以提高模型的性能。
连续值处理问题在实际应用中，很多特征是连续值，如何处理这些连续值成为了决策树模型中的一个难题。
解决方法：1. 分箱处理：将连续值特征进行分箱处理，将其转化为有序离散值特征，可以有效地解决连续值处理问题。
2. 基于信息增益和基尼指数的连续值处理方法：决策树算法中有专门的方法来处理连续值特征，如基于信息增益或基尼指数的连续值处理方法，可以根据特征的取值范围选择最优的划分点。
缺失值处理问题在真实的数据集中，经常会出现缺失值的情况，如何处理缺失值成为了决策树模型中的一个重要问题。
解决方法：1. 缺失值节点的处理：可以在构建决策树时，将缺失值的样本分别划分到不同的分支上，从而有效地利用缺失值信息。
决策树
预修剪技术
预修剪的最直接的方法是事先指定决策树生长的最 大深度, 使决策树不能得到充分生长。 目前, 许多数据挖掘软件中都采用了这种解决方案, 设置了接受相应参数值的接口。但这种方法要求 用户对数据项的取值分布有较为清晰的把握, 并且 需对各种参数值进行反复尝试, 否则便无法给出一 个较为合理的最大树深度值。如果树深度过浅, 则 会过于限制决策树的生长, 使决策树的代表性过于 一般, 同样也无法实现对新数据的准确分类或预测。
决策树的修剪
决策树学习的常见问题（3）
处理缺少属性值的训练样例 处理不同代价的属性
决策树的优点
可以生成可以理解的规则； 计算量相对来说不是很大； 可以处理连续和离散字段； 决策树可以清晰的显示哪些字段比较重要
C4.5 对ID3 的另一大改进就是解决了训练数据中连续属性的处 理问题。而ID3算法能处理的对象属性只能是具有离散值的 数据。 C4．5中对连续属性的处理采用了一种二值离散的方法，具体 来说就是对某个连续属性A，找到一个最佳阈值T，根据A 的取值与阈值的比较结果，建立两个分支A<=T (左枝)和 A>=T (右枝)，T为分割点。从而用一个二值离散属性A (只 有两种取值A<=T、A>=T)替代A，将问题又归为离散属性的 处理。这一方法既可以解决连续属性问题，又可以找到最 佳分割点，同时就解决了人工试验寻找最佳阈值的问题。
简介
决策树算法是建立在信息论的基础之上的 是应用最广的归纳推理算法之一 一种逼近离散值目标函数的方法 对噪声数据有很好的健壮性且能学习析取(命题 逻辑公式)表达式
信息系统
决策树把客观世界或对象世界抽象为一个 信息系统(Information System)，也称属性--------值系统。 一个信息系统S是一个四元组： S=(U, A, V, f)
如何对决策树进行剪枝
决策树剪枝是一种通过减少决策树的复杂度来提高其泛化能力的方法。
常见的决策树剪枝方法包括预剪枝和后剪枝。
1. 预剪枝（Pre-pruning）：
- 基于信息增益（或基尼系数）进行预剪枝：在决策树构建的过程中，每次划分前先计算该划分能够带来的信息增益（或基尼系数），如果划分后的信息增益（或基尼系数）小于一个预先设定的阈值，则停止划分并将当前节点标记为叶子节点；
- 基于验证集进行预剪枝：将原始数据集划分为训练集和验证集，构建决策树时，在每个节点上计算该划分在验证集上的性能指标（例如准确率），如果划分后的性能指标没有显著提升，则停止划分并将当前节点标记为叶子节点。
2. 后剪枝（Post-pruning）：
- 基于验证集进行后剪枝：在决策树构建完成后，自底向上地对决策树进行剪枝。
对每个节点进行考察，将其替换为叶子节点，并计算在验证集上的性能指标的变化（例如准确率），如果剪枝后的性能指标有所提升，则进行剪枝操作，否则保留当前节点。
- 基于不确定性度量进行后剪枝：利用统计学中的结构判断与不确定性（如卡方检验）来判断对应的剪枝操作。
需要注意的是，剪枝会牺牲一部分训练集上的准确率，但能够提高模型在未见样本上的泛化能力。
另外，剪枝操作还可以用于控制模型的复杂度，防止过拟合。
id3 使用手册
id3 使用手册
ID3（Iterative Dichotomiser 3）是一种决策树算法。
它是机器学习中的一种分类算法，主要用于数据挖掘和知识发现。
ID3算法采用信息增益来选择属性进行分裂，生成决策树，
以解决分类问题。
1.ID3算法的基本流程如下：
2.计算每个属性的信息增益；
3.选择信息增益最大的属性进行分裂；
4.递归地构建子树，直到满足停止条件。
以下是ID3算法的详细步骤：
1.初始化根节点；
2.如果样本都属于同一类别，则该节点为叶节点，返回
该类别；
3.如果属性集为空，则该节点为叶节点，返回样本中最
常见的类别；
4.计算每个属性的信息增益；
5.选择信息增益最大的属性进行分裂；
6.对选定的属性进行值的划分，为每个值创建一个子节点；
7.递归地构建子树，直到满足停止条件。
ID3算法的优点是简单、易于理解和实现，同时能够处
理连续属性和缺失值。
但是，它也存在一些缺点，例如对数
据集的大小和属性值的分布敏感，容易出现过拟合和欠拟合等问题。
在使用ID3算法时，需要注意以下几点：
1.数据集需要足够大，才能保证算法的准确性；
2.属性值需要均匀分布，避免出现极端情况；
3.需要考虑处理连续属性和缺失值的情况；
4.需要调整停止条件和剪枝策略，以避免过拟合和欠拟合等问题。
总之，ID3算法是一种经典的决策树算法，它能够帮助我们进行数据分类和知识发现。
在使用ID3算法时，需要注意一些细节问题，以保证算法的准确性和效率。
——信息增益和熵
——信息增益和熵在信息论中，信息增益和熵是两个重要的概念。
它们被广泛应用于数据挖掘、机器学习和决策树等领域。
本文将分别介绍信息增益和熵的概念、计算方法以及在实际问题中的应用。
一、信息增益信息增益是用来衡量一个特征对于分类问题的有用程度。
在决策树算法中，可以通过计算每个特征的信息增益来选择最优的划分特征。
信息增益的计算公式为：信息增益 = 原始熵 - 条件熵其中，原始熵指的是在没有任何划分的情况下，数据集的熵。
条件熵指的是在某个特征的条件下，数据集的熵。
信息熵是衡量数据集纯度的指标，熵越高表示数据集的纯度越低。
因此，信息增益越大表示用该特征进行划分后可以获得更高的纯度。
二、熵熵是信息理论中一个重要的概念，用来衡量一个随机变量的不确定性。
对于一个离散型随机变量，其熵的计算公式为：熵 = -∑(p(x) * log2(p(x)))其中，p(x)表示随机变量取某个取值的概率。
熵的值越大，表示随机变量的不确定性越高。
当所有取值的概率相等时，熵达到最大值，为log2(n)，其中n为取值的个数。
当某个取值的概率为1，其他取值的概率为0时，熵为0，表示随机变量的取值是确定的。
熵的计算方法可以扩展到连续型变量，只需将概率密度函数代替概率。
三、信息增益和熵的应用信息增益和熵在数据挖掘和机器学习中有广泛的应用。
它们常被用来选择最优的划分特征、构建决策树，并用于分类和预测问题。
在决策树算法中，通过计算每个特征的信息增益来选择最优的划分特征。
划分特征应该能将数据集划分为纯度更高的子集，从而提高分类的准确性。
另外，熵作为熵权重的概念也被广泛应用。
熵权重是一种对特征进行加权的方法，通过对特征的熵进行加权求和来计算样本的总熵。
在特征选择和特征加权中，可以根据特征的重要性对熵进行加权，从而更准确地描述样本的不确定性。
信息增益和熵还可以用于处理缺失值。
通过计算各个特征的信息增益或熵，可以选择最优的特征来填充缺失值，从而保持数据集的完整性和准确性。
决策树模型中的常见问题及解决方法
决策树模型是一种常用的机器学习算法，它能够对数据进行分类和预测。
然而，在实际应用中，我们常常会遇到一些问题，比如过拟合、欠拟合、特征选择等等。
本文将针对这些常见问题进行分析，并给出相应的解决方法。
### 决策树模型中的过拟合问题及解决方法过拟合是指模型在训练集上表现良好，但在测试集上表现较差的情况。
决策树模型容易出现过拟合的问题，尤其是在处理复杂的数据时。
解决过拟合问题的方法有以下几种：1. 剪枝：决策树剪枝是一种常见的防止过拟合的方法。
它通过去除一些不必要的叶节点来简化模型，从而提高模型的泛化能力。
2. 设置最大深度：限制决策树的最大深度可以有效地避免过拟合。
通过限制树的深度，可以防止模型学习过于复杂的规则，从而提高模型在未见过的数据上的表现。
3. 增加样本量：增加训练样本的数量可以减少过拟合的风险。
通过提供更多的数据，模型可以更好地学习真实的数据分布，从而提高泛化能力。
### 决策树模型中的欠拟合问题及解决方法与过拟合相反，欠拟合是指模型在训练集和测试集上表现都较差的情况。
决策树模型在处理简单的数据时容易出现欠拟合问题。
解决欠拟合的方法有以下几种：1. 增加树的深度：增加决策树的深度可以提高模型的表现。
通过增加树的深度，模型可以学习更复杂的规则，从而提高在训练集和测试集上的表现。
2. 增加特征数量：增加特征数量可以丰富模型的表达能力，从而提高模型的泛化能力。
通过增加特征数量，模型可以更好地学习数据之间的关系，减少欠拟合的风险。
3. 使用集成学习方法：集成学习方法如随机森林和梯度提升树可以有效地减少欠拟合的风险。
通过结合多个模型的预测结果，可以提高模型的表现。
### 决策树模型中的特征选择问题及解决方法在构建决策树模型时，选择合适的特征对模型的表现至关重要。
然而，在实际应用中，我们常常会遇到特征选择的问题。
解决特征选择问题的方法有以下几种：1. 信息增益：信息增益是一种常用的特征选择方法。
它通过计算每个特征对模型的贡献程度，从而选择对模型影响最大的特征。
《决策树例题》课件(2024)
基于信息增益的决策树
通过计算每个特征的信息增益来选择 最佳划分特征，构建决策树。例如， 在二分类问题中，可以使用ID3算法 来构建决策树。
基于基尼指数的决策树
通过计算每个特征的基尼指数来选择 最佳划分特征，构建决策树。例如， 在二分类问题中，可以使用CART算 法来构建决策树。
剪枝策略
针对决策树过拟合问题，可以采用预 剪枝或后剪枝策略来优化决策树性能 。
输入 欠标采题样
从多数类样本中随机选择一部分样本，减少其样本数 量，使得正负样本数量平衡。例如Random UnderSampler算法。
过采样
代价敏感学 习
通过集成多个基分类器的结果来提高整体性能。例如 Bagging和Boosting方法。
集成学习方 法
为不同类别的样本设置不同的误分类代价，使得模型 在训练过程中更加关注少数类样本。例如AdaCost算 法。
剪枝策略
通过预剪枝或后剪枝策略，可以优化决策 树的性能，减少过拟合。
19
过拟合问题解决方案讨论
增加训练数据
更多的训练数据可以让模型学习 到更多的模式，减少过拟合。
使用集成学习方法
去除不相关或冗余的特征，可以 减少模型的复杂度，降低过拟合
风险。
2024/1/30
特征选择
通过添加正则化项，可以惩罚模 型的复杂度，防止过拟合。
模型构建：选择合适的 模型优化：针对不平衡
决策树算法（如ID3、 数据集问题，可以采用
C4.5、CART等）构建分 过采样、欠采样或代价
类模型，并采用交叉验 敏感学习等方法优化模
证等方法评估模型性能 型性能。同时，也可以
。
通过调整决策树参数（
如最大深度、最小样本
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
性， 而不可能大于先验不定性 。如果后验不定性正好 等于先验不定性 ， 就表示信 宿根本没有收到信息 ； 如 果后验不定性等于零 ， 则表示信宿 收到 了全部信息。 由此可见 ， 信息是用来 消除 （ 随机） 不定性 的， 信息量 的大小 由所消除的不定性的大小来计量。 １信息论 中的几个重要概念和公式。 ． （） １互信息。Ｈ Ｖ 表示接收到输 出状态集 Ｖ以 （） 前， 关于输入状 态集 Ｕ的平 均不确定性 ； Ｈ Ｕ ｖ 而 （／ ） 表示收到输 出状态集 Ｖ以后 ， 关于输入状态 Ｕ的平 均不确定性 。通过信道传输消除了一些不确定性 ， 获 得一定 的信息量。互信息 Ｉｕ Ｖ 可定义为 ：（ ， ） （ ，） Ｉｕ Ｖ ＝ （） （ ／ ） Ｈ Ｕ 一Ｈ ｕ ｖ 。其 中，（ ， ） Ｕ和 Ｖ之 间的 ＩＵ Ｖ 是 平均互信息 ， 表示 接收到状 态集 ｖ后 获得 的关 于状 态 Ｕ的信息量。 （） ２信道模型。信道 的数 学模型用三元组 （ ， ＵＰ （ ／ ）Ｖ 表示。其中， ｖ， ， ） Ｕ Ｕ为信源输入状态集 ； Ｖ为信 宿输出状态集 ； 条件概率 Ｐ Ｕ Ｖ 称为信道的传输概 （／ ） 率， 反应信道的输入与输 出的关系 ， 它其实是一个 矩 阵， 称为传输概率矩阵［（ｉ ｉ 。 Ｐｖ ｕ ］ ／） （） ３信道容量。给定信道 的互 信息 ＩＵ ｖ 是 Ｐ （ ，）
１ 决策树的基本概念
决策树是一种可以进行预测分析的树状模型 ， 它 的每一个分枝 （ｒ ｃ） ｂ ｎｈ 都是对训练集 （ ａ ｉ ｔ的 ａ ｔｉｎ ｓ ） ｒｎ ｇ ｅ 个分类 （ｌ ｓ ｃｔｎ ， ｃ ｓｆａｏ） 而每 一个叶子 （ ａ， ａｉ ｉ ｉ １ ｆ也就是 ｅ 决策树的终点 ） 也都是对应分类 的数据集 （ａ ｔ ｄｔ ｓ ） ａｅ 。
ｔｅｓｌｔ ｎｏ ｈ ｒｂｅ ｆ ｏｓｓ ｕ － ｅ ｈ ｏｕｉ ｆｔｅｐｏ ｌｍｓ０ ｎ ｉ ，ｓ ｂｔ ｅｑ ｃｔ ｎ ａｄｆ ｇ ｎ ｒ ｅｖｓ ｏ ｅ ｒ ａ ｏ ｎ ｒ ｍｅ ￣ ｙｌａｅ ． ｉ ａ Ｋｅ ｒ ｓ ｄ ｔ ｉ ｇ ｅ ｉｏ ｅ ；ｉｆｒ ｔ ｎ ｏｉ ｙｗｏｄ ： ａａｍ ｍ ；ｄ ｃｓ ｎｔ ｅ ｎｏｍａ ｏ ｎ ｉ ｒ ｉ
计 算 机 与 现 代 化 Ｊ Ｕ ＮＩ Ｙ ＸＡ Ｄ ＩＵ Ｉ ＡＪ Ｓ Ｕ ｌＮ Leabharlann Ｈ Ａ总第 １ 期 ２ ７
基 于信息增益法 的决策树构造方法
胡智喜， 唐学忠
（ 常州工学院， 江苏 常州 ２３０） １０２
摘要 ： 决策树数据挖掘技术是 目前最有影响和使 用最多的一种数据挖掘技术。决策树构造的方法很 多 ， 文提 出一种基 本 于信 息增 益法的决策树 构造 方法。 出了相应的决策树构造 算法 ， 给 并通过一 个 实例对 其进行 了 明。最后 ， 文对噪 声 说 本
作者简介： 胡智喜（ ７－， 江苏常州人， １ ６ 男， ９ ） 常州工学院计算机信息工程学院硕士研究生， 研究方向： 计算机应用， 系统工程； 唐学忠（９９）男， １ －， 江苏常州人 ， ６ 硕士研究生， 研究方向： 计算机应用， 软件工程。
维普资讯
特征构造一般计算复杂度高为了降低特征构造的代价先是选取重要特征或去除不相关特征形成初始相关特征集再在该初始特征集的基础上构造新的复杂特征初始相关特征的各种组合
维普资讯
２Ｏ 年第 ３ Ｏ６ 期
文章 缩号 ：０６２７ （０６０ － ２ －３ １０－４５２ ０ ）３０ ８０ ０
一
２ 决策树方法的基本原理
数据挖掘的决策树方 法以信息论原理为基础。 在信息论中 ， 一个传递信息的系统 由发送端（ 信源） 、
接收端（ 信宿） 和连接两者的通道（ 信道） 三者组成。 信息论把通信过程看作在随机干扰的环境 中传递信 息的过程。在这个通信模型中， 信息源和干扰（ 噪声） 都被理解为某种随机过程或随机序列 。因此 ， 在进行 实际的通信之前 ， 收信者不可能确切了解信源究竟会 发出什么样 的具体信息 ， 不可能判断信源会处于什么 样 的状态。这种情况称为信宿对信源状态具有不 定 性， 而且这种不定性是存在于通 信之前 的。 因而又叫 作先验不定性。显然 ， 后验不定性总要小于先验不定
刖 Ｚ ｉ ｉＴ ＮＧ Ｘ ｅｚｏ ｇ ｈ－ ． Ａ ｕ －ｈ ｎ ｘ
（Ｉ Ｃｌ ａ
ｕＩ ｔｕ ｆ ｅｈｏ ｇ，Ｃ】】 叫 ２３０ ，ｈｎ） ｓｔ ｅ Ｔｃｎｌ ｙ ＩＩ小 ｎ ｉｔ ｏ ｏ ａｇ １０２ Ｃ ｉ ａ
ａｄ ｃ－ ｅ ｉ
Ａ ｓｒ ￣ ： ｅ ｉｏ ｒｅｍｅｈ ｄｉ ｏ ｅ０ ｈ ｈ ｔｓ Ｄ ｃｓ ｎｔ ｉ ｅ ｔｏ ｓ ｎ ｆｔｅｍｏｔｉ ｏｔ ｔ ｎ ｓｆｌｗ ｙ ｆ ａ Ｉｎｎ ｅｈ ｏｏｙ ｈｓｐ ｐ ｒ ｉｔ ｍｌ￣ ｓ ｍｐｒ ｎ ｄｕ ｅ ａ ａ ｕ ａｓｏ ｄ ｔ ｌ ｉｇｔｃ ｎ ｌｇ ．Ｔ ｉ ａ ｅ ｆ ｘ ａＩｉ ｌ ｐ ｎ
问题、 子树复制和碎叶等问题提 出了解决思路。 关键词： 数据挖掘； 决策树 ； 信息增益
中圈分类号 ：Ｐ １ Ｔ３１ 文献标识码 ： Ａ
Ａ ｄｓ ｎ Ｔ ｅ ． ｏ ｍ ｃｉｎ Ｍ ｅｈ ｄ Ｂ ｓｄ ｏ ｎ ｏ ｎ ｉｎ Ｇａｎ Ｄｅ ｉ ． ｒ ｅ Ｃ ｍｔ ｔ ｔｏ ａ ｅ ｎ Ｉ ｆ ｒ ｍｔ ｉ ｏ ｏ ｏ
ｓ ｎｔｅｃｎｔ ｃｏ ｅ ｏ ａ ｄ ｎｉｏｍ ｔ ｎ ｎ ｔ ｎ ｉ ｔｅ ｏ ｅｐｎｉｇ ｌ ｒ ｔ ｏ￣ ｏｅａａｌｅ ａｄａ ｌ ｔ ｒ ｅｔ ｉ －ｅ－ ｓ ｔｎｍ ｔ ｄｂｓ ｎ ｒ ａｏ ，ｈ 憎 ｈ ｒｓｏｄ ｇ ｉ ｈ ｕ ｎ 【 １ ， ｎ ａ ｅ ｎ ｏ ｒ －ｏ ｒ ｉ ｕ ｈ ｅｏ ｆ ｉ ｅｇ ｃｒ ｎ ａ ０ｔ ｒ “） ｌ ｔ ｓｐ ｓ ｓ