基于clementine的数据挖掘算法决策树
基于Clementine数据挖掘模型评估
基于Clementine的数据挖掘模型评估摘要：本文采用clementine数据挖掘工具生成了某商业银行的客户响应具体模型，并评估了所生成的模型。
通过分析报告和评估图的方式，最终比较了决策表、神经网络和决策树c5.0算法预测的效果。
关键词：数据挖掘；clementine；模型评估；c5.0中图分类号：tp311.13目前，银行的数据库和数据仓库中都收集和存储了大量有关客户的宝贵数据，它们涵盖了从客户基本资料、购买记录以及客户反馈等多个环节。
利用这些数据，进一步分析、挖掘出大量隐藏在其中的有用信息，可以帮助银行更好地做到客户关系管理，实现crm的功能和目标。
在分析当前客户关系管理中数据挖掘的应用的基础上，以某商业银行的crm系统开发为背景，建立客户响应预测模型，生成商业银行的客户响应具体模型，分析维度表中的相关变量对目标变量(客户是否响应)的影响。
最终对所生成的模型进行评估，比较不同算法预测的效果。
1clementine软件clementine（ibm spss modeler）最早属英国isl（integral solutions limited）公司的产品，后被spss公司收购。
2009年，spss被ibm公式收购。
自2000年以来，kdnuggets公司面向全球开展“最近12个月你使用的数据挖掘工具”的跟踪调查，clementine一直列居首位。
clementine具有分类、预测、聚类、关联分析等数据挖掘的全部分析方法。
这些分析方法经过组合，或单独使用，可用于研究客户响应问题。
其crisp-dm标准能够帮助用户规范数据挖掘的整个过程。
clementine的操作与数据分析的一般流程相吻合。
clementine 形象地将各个环节表示成若干个节点，将数据分析过程看作是数据在各个节点之间的流动，并通过图形化的“数据流”方式，直观表示整个数据挖掘。
操作使用clementine的目标：建立数据流，即根据数据挖掘的实际需要，选择节点，依次连接节点建立数据流，不断修改和调整流中节点的参数，执行数据流，最终完成相应的数据挖掘任务。
如何使用数据挖掘工具Clementine——以我国图书情报类期刊学术影响力评价为例
Ｔ ｋ ｎ ｈｎ ｓ ｉｒｒ ｎ ｎｏｍ ｄ ｎ Ｊｕ ａｓ Ａ ａ ｅ ｃ ａ ｉｇＣ ｉｅｅ Ｌｂａｙａ ｄＩｆｒ ａ ｏ ｏ ｒ ｌ ’ ｃ ｄ ｍｉ ｎ
Ｉ ａ ｔＥ ａｕ ｔ ｎ ａ ｎ Ｅｍｐｒｃ ｓａ ｃ ｍｐ ｃ ｖ ｌ ａｉ ｓ Ａ ｏ ｉ ａ Ｒｅ ｅ ｒｈ ｉｌ
以我 国图书情报 类期 刊学术 影 响力评 价 为例
李 许 扬 阳 培
（ 北京协 和 医学院 医学信 息研 究所 ，北 京 １０２） ０００
（ 摘 要）本文首 先简要介绍了数据挖掘工具 ｇｅｅｌ 的特 点及若干基本功能 （ ｌ ｎｎ ｍ ｔｅ 即若干模块） ，然后 以基 于 《 中国期刊 高
Ｄ ： ０．９ ９ ｉ ｎ．０ ８—０ ２ ．０ ２． １ ０ ５ ＯＩ１ ３ ６ ｓ １ ０ ｓ ８ １ ２ １ Ｏ ．３
［ 中图分类号］Ｇ５ ． （ ２１５ 文献标识码） ［ Ａ 文章编号］１０ — ８１（ １） １ ０４ ０ ０８ ０２ ２ ２ Ｏ — １ ０ ６— ４
Ｈｏ ｔ ｅ Ｃｌｍｅ ｔ ｅ ａ Ｄａ ａ ｌ ｎ ｎ ｏ ｗ ｏ Ｕｓ ｅ ｎ ｉ ｓＡ ｔ ｎ ｔ ｇ Ｔｏ ｌ ｎ ｖ
ｌｇ ｙｃｅ ｄ￣ ｏ ｈｎｓ ｕ ａ ２ １ ｅ ｉ ）ｐｂｓｅ ｙＩＴＣ ｈ ａｅ ｖｌ ｔ ｅ ｃｄｍｃｉｐｃ ｂ ｓ ｇ ＩＩ ｔ ｉ ｅ ｆ ｉ ｅ ｏｒ ｌ ００ｖｒｏ ｕｌｈｄｂ ／ ，ｔ ｐｐｒ ａ ａ ｄｔ ｉａａｅ ｉ ｍ ａｔ ｙｕｉ ｉｄ ｉｄ ｎ Ｃ ｅ ｊ ｎ ｓ（ ｓｎ ｉ Ｓ ｅ ｅ ｕｅ ｈｒ ｎ
该软件将一系列数据处理程序或技术整合成相互独立的模块例如将聚类决策树神经网络关联规则等多种数据挖掘技术集成在直观的可视化图形界面中并采用图形用户交互式界面因此对于不谙编程但又经常面临大量数据处理任务的用户来说它的确要比excel更易用更高效而且处理方法有重用性即这次构建的数据流经保存后可在下一个类似任务中稍做修改便可使用或者一条数据流可以支持相似数据的分析不需要再翻看复杂的编程手册在excel里频繁使用各种函数整理数据等
Clementine12中的数据挖掘算法
Clementine12中的数据挖掘算法SPSS 2010-03-31 08:39:10 阅读14 评论0 字号：大中小最近老有朋友问我Clementine12中都有哪些算法？感觉Clementine12中的算法很多，很齐全并且根据商业目的做了大体的分类（预测的、分类的、细分的、关联的），所以大家只要清楚自己的商业问题是哪类问题、用什么算法能达到自己想要的目的就可以根据Clementine12中的模型划分，迅速的找到自己想要的mode；下图是Clementine12中所有数据挖掘的算法：下面是谢邦昌教授的数据挖掘（Data Mining）十种分析方法，以便于大家对模型的初步了解，不过也是日常挖掘中经常遇到的算法，希望对大家有用！（甚至有数据挖掘公司，用其中的一种算法就能独步天下）1、记忆基础推理法（Memory-Based Reasoning；MBR）记忆基础推理法最主要的概念是用已知的案例（case）来预测未来案例的一些属性（attribute），通常找寻最相似的案例来做比较。
记忆基础推理法中有两个主要的要素，分别为距离函数（distance function）与结合函数（combination function）。
距离函数的用意在找出最相似的案例；结合函数则将相似案例的属性结合起来，以供预测之用。
记忆基础推理法的优点是它容许各种型态的数据，这些数据不需服从某些假设。
另一个优点是其具备学习能力，它能藉由旧案例的学习来获取关于新案例的知识。
较令人诟病的是它需要大量的历史数据，有足够的历史数据方能做良好的预测。
此外记忆基础推理法在处理上亦较为费时，不易发现最佳的距离函数与结合函数。
其可应用的范围包括欺骗行为的侦测、客户反应预测、医学诊疗、反应的归类等方面。
2、市场购物篮分析（Market Basket Analysis）购物篮分析最主要的目的在于找出什么样的东西应该放在一起？商业上的应用在藉由顾客的购买行为来了解是什么样的顾客以及这些顾客为什么买这些产品，找出相关的联想（association）规则，企业藉由这些规则的挖掘获得利益与建立竞争优势。
基于Clementine决策树的空间数据挖掘方法探讨
基于Ｃｌｅｍｅｎｔｉｎｅ决策树的空间数据挖掘方法探讨∗ ——以平阴县安城乡为例 郑新奇1、2 刘晓丽2 1、中国地质大学（北京）土地科学技术系，北京 1000832、山东师范大学人口・资源与环境学院，济南 250014摘要：土地利用现状数据库中隐含有大量的信息。
通常在完成数据库建设后，很少有人再对数据库中隐含的可用知识加以关注。
为扩大该类数据库应用面，需要对它进行数据挖掘。
本文借助Ｃｌｅｍｅｎｔｉｎｅ软件，以决策树Ｃ５．０和Ｃ＆Ｒ为数据挖掘的方法，以平阴县安城乡２００４年土地利用变更调查数据为挖掘对象，对该地区土地利用类型进行了初步的挖掘计算。
结果反映出安城乡土地利用的主导类型及其分布规律。
研究结果可作为土地利用优化配置等工作的借鉴。
关键词：空间数据挖掘，决策树，Ｃｌｅｍｅｎｔｉｎｅ，土地利用类型 Discussion on the methods of Spatial Data Mining based onDecision Tree of Clementine——A case of Ancheng of Pingyin countyZheng Xinqi1、2 Liu Xiaoli21、Department of Land science&Technology,China University of Geosciences (Beijing), 100083，China2、School of population,resources and environment,Shandong Normal University，Ji’nan 250014, China Abstract：There are plenty of implici t information in land use actuality databased. After finished database, peoples pay attention to the implicit knowledge in the database. To enlarge this database applied field, the data mining of this data database was needed to try. Based on Clementine software, the actuality database of land use in Ancheng in 2004 was calculated in Ancheng of Pingyin county in 2004. The mining methods were the C5.0 and C&D of decision tree.The results find the dominant types of the land use in this area and their distribution characteristics. Research results can offer reference such as optimum disposition of land use.Ｋｅｙｗｏｒｄｓ：spatial data mining; decision tree; Clementine; land use types１ 引言 当今我们正面临这样一个问题，一边是对知识的饥渴，另一边却是大量数据的闲置未被利用，“我们被淹没在信息里，但却感受到知识的饥饿”。
clementine算法原理
clementine算法原理Clementine算法原理Clementine算法是一种常用的数据挖掘算法，用于发现数据集中的隐含模式和关联规则。
它是一种基于决策树的分类算法，可以用于预测未知数据的类别。
本文将介绍Clementine算法的原理及其应用。
一、Clementine算法的基本原理Clementine算法的基本原理是通过对已知数据集的学习，构建一个决策树模型，然后利用该模型对未知数据进行分类。
算法的核心思想是将数据集划分为多个子集，每个子集对应一个决策树节点，通过比较不同特征的取值来划分数据。
在构建决策树的过程中，算法会根据某种准则选择最佳的特征作为划分依据，直到所有数据都被正确分类或无法继续划分为止。
二、Clementine算法的具体步骤1. 数据预处理：对原始数据进行清洗、去噪、缺失值处理等操作，保证数据的质量和完整性。
2. 特征选择：根据特征的重要性和相关性对数据进行特征选择，筛选出对分类结果有影响的特征。
3. 数据划分：将数据集划分为训练集和测试集，通常采用70%的数据作为训练集，30%的数据作为测试集。
4. 构建决策树：根据训练集的数据，利用信息增益、基尼系数等准则选择最佳的特征进行划分，递归地构建决策树。
5. 决策树剪枝：为了避免过拟合现象，需要对决策树进行剪枝操作，去除一些不必要的节点和分支。
6. 模型评估：使用测试集对构建好的决策树模型进行评估，计算分类准确率、召回率、F1值等指标，评估模型的性能。
三、Clementine算法的应用领域Clementine算法在数据挖掘领域有着广泛的应用。
它可以用于市场分析、客户分类、信用评估等多个领域。
1. 市场分析：通过对市场数据的分析，可以预测产品的销售情况、消费者的购买偏好等，为企业的市场决策提供依据。
2. 客户分类：通过对客户的个人信息、购买记录等进行分析，可以将客户划分为不同的类别，为企业的客户管理和营销活动提供指导。
3. 信用评估：通过对个人信用记录、收入状况等进行分析，可以评估个人的信用水平，为银行等金融机构的信贷决策提供参考。
数据挖掘中的决策树算法使用教程
数据挖掘中的决策树算法使用教程数据挖掘是一种从大量数据中提取模式和知识的过程，而决策树算法是数据挖掘中常用的一种方法。
决策树是一种基于树形结构来进行决策的算法，通过将数据集分割成不同的子集，并根据某些规则进行决策。
决策树算法具有简单、易于理解和解释等特点，因此广泛应用于数据挖掘和机器学习领域。
一、决策树的基本原理决策树的基本原理是通过对数据集进行划分来构建一个树形结构，使得在每个划分上都能使得目标变量有最好的分类结果。
通常情况下，我们使用信息增益或者基尼指数来选择最佳的划分特征。
信息增益是一种衡量划分有效性的度量，它计算了在划分前后目标变量的不确定度减少的程度。
基尼指数是另一种常用度量，它衡量样本集合中不确定性的程度。
二、决策树算法的步骤决策树算法的一般步骤如下：1. 收集数据：收集一组样本数据，包含目标变量和特征。
2. 准备数据：对收集到的数据进行处理和预处理，确保数据的质量和可用性。
3. 分析数据：使用可视化工具对数据进行分析和探索，获取对数据的基本认识和理解。
4. 训练算法：使用数据集训练决策树模型。
根据具体的算法选择划分特征和生成决策树的规则。
5. 测试算法：使用训练好的决策树模型对新样本进行预测，并评估模型的准确性和性能。
6. 使用算法：完成决策树模型的训练和测试后，可以使用该模型来进行实际决策。
三、常见的决策树算法决策树算法有很多种变种，包括ID3、C4.5、CART等。
以下介绍几种常见的决策树算法。
1. ID3算法：ID3算法是使用信息增益作为选择划分特征的准则，适用于离散的特征值和分类问题。
2. C4.5算法：C4.5算法是ID3算法的扩展，不仅可以处理离散的特征值，还可以处理连续的特征值，并且可以处理缺失值。
3. CART算法：CART算法是Classification And Regression Trees的缩写，既可以用于分类问题，也可以用于回归问题。
它使用基尼指数来选择划分特征。
基于clementine的数据挖掘算法决策树
从变量自身 考察
变量重要性分析方法
变量与输出变量
、变量间的相关 程度
变量值中缺失值所占比例 分类变量中，类别个数占样本比例 数值变量的变异系数 数值型变量的标准差
输入、输出变量均为数值型：做两个变量的相
关性分析
输入变量为数值型、输出变量为分类型：方差 分析（输出变量为控制变量、输入变量为观测变 量） 输入变量为分类型、输出为数值型：方差分析 （输入变量为控制变量、输出变量为观测变量） 输入、输出变量均为分类型：卡方检验
2、计算每个属性的熵。
（1）先计算属性“年龄”的熵。 • 对于年龄＝“<=30”：s11＝2，s21＝3，p11=2/5，p21=3/5， 对于年龄＝“31…40”：s12=4，s22=0，p12=4/4=1，p22=0， 对于年龄＝“>40”：s13=3，s23=2，p13=3/5，p23=2/5， •
s1 j s2
smj
pij
是 Sj 中的样本属于类 Ci 的概率。
sij sj
Gain( A) I ( S ) E ( A)
Gain A I
s1 , s2 ,
, sm
E A
C5.0算法应用场景
场景：利用决策树算法分析具有哪些特点的用户最可能流失：
用户 1 年龄 <=30 出账收入 智能机 信用等级 高 否 一般 类别：是否流失 否
核心问题
决策树的生长 决策树的减枝 树剪枝的原因：完整的决策树对训练样本特征的 捕捉“过于精确”--- 过拟和 常用的修剪技术： 预修剪：用来限制决策树的充分生长。
利用训练样本集完成决策树的建立
过程 分枝准则的确定涉及：
•第一，如何从众多的输入变量中
数据挖掘算法与clementine实践第3章
Gain( D, 年龄) I (s1 , s2 ) E( D, 年龄) 0.9406 0.6936 0.247
同理，若以“收入水平”为分裂属性：
E ( D, 收入水平) 4 2 2 2 2 6 4 4 2 2 ( log2 log2 ) ( log2 log2 ) 14 4 4 4 4 14 6 6 6 6 4 3 3 1 1 ( log2 log2 ) 0.2857 0.3936 0.2318 0.9111 14 4 4 4 4
按照这个方法，测试每一个属性的信
设S是s个样本组成的数据集。 若S的类标号属性具有m个不同的取值，即
定义了m个不同的类Ci（i=1,2,…,m）。设属 于类Ci的样本的个数为si
那么数据集S的熵为：
pi是任意样本属于类别Ci的概率，用si/s来估
计
根据属性A将数据集S划分
属性A具有v个不同值{ a1,a2,…,av}
决策树是指具有下列三个性质的树：
每个非叶子节点都被标记一个分裂属性Ai；
每个分支都被标记一个分裂谓词，这个分裂谓
词是分裂父节点的具体依据； 每个叶子节点都被标记一个类标号Cj∈C。
任何一个决策树算法，其核心步骤都是为
每一次分裂确定一个分裂属性，即究竟按 照哪一个属性来把当前数据集划分为若干 个子集，从而形成若干个“树枝”。
Gain( D, 收入水平) I (s1 , s2 ) E( D, 收入水平) 0.9406 0.9111 0.0295
若以“有固定收入”为分裂属性：
7 4 4 3 3 7 6 6 1 1 E ( D,固定收入) ( log2 log2 ) ( log2 log2 ) 14 7 7 7 7 14 7 7 7 7 0.4927 0.2959 0.7886
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
确定培训目标
模型 应用 步骤5
将数据挖掘结果形 成报告
落实培训成果
落实培训成果 模型评估
是否符合商业目的 选择算法 建立模型
设计培训方案
数据清洗 指标筛选
评估数据质量
商业目的 模型输出 模型定义
确定培训需求
数据准备—重要性分析
变量重要性分析，是去除变量冗余，是对变量的浓缩和提炼，保留对输出变量的预测有重要贡献的 变量和样本，剔除不重要的变量和样本。
组间方差/ 组内方差
学历
得分 27 93 60 28 90 56 87 32 58
组内 均值
组内 方差
组间 方差
组间方差/ 组内方差
29
14
60
2178
58
8
1862
46.55
中学生
2 3 1
58
1928
2
0.00036
90
18
大学生
2 3
59
1514
可以看出学历对做数学题的影响显著 但对做智力题的影响不明显
E
A
j 1
j
v
E( A ) s s
1 j
v
s1 j s2 j smj
s smj
j 1
2 j
s
I
p
m
s 1 i 1j , s2
ij
log2 pij
j
,
, smj
s1 j s2 j smj s 其中， 是第j个子集的权， s
则属性变量A带来的信息增益为
信息熵在C5.0算法中的应用
设S是s个数据样本的集合。目标变量C有m个不同值Ci（i＝1，2，…，m）。设si中S属于Ci类的样本数,则 集合S的信息熵定义为：
I ( S ) pi log2 ( pi )
i 1
m
其中
pi
si
是任意样本属于 Ci的概率。 s
设属性A具有v个不同值｛a1，a2，…，av｝。可以用属性A将S划分为v个子集｛S1，S2，…，SV｝；其中， 设 sij 是子集 Sj 中类 Ci 的样本数。根据由A划分成子集的熵为：
• 决策树(Decision Tree)模型，也称规则推理模型 – 通过对训练样本的学习，建立分类规则 – 依据分类规则，实现对新样本的分类 – 属于有指导(监督)式的学习方法，有两类变 量： • 目标变量(输出变量) • 属性变量(输入变量)
常用的算法有CHAID、CART、 Quest 和C5.0。 对每个决策都要求分成的组之间的“差异”最大。各 种决策树算法之间的主要区别就是对这个“差异”衡 量方式的区别。
核心问题
决策树的生长 决策树的减枝 树剪枝的原因：完整的决策树对训练样本特征的 捕捉“过于精确”--- 过拟和 常用的修剪技术： 预修剪：用来限制决策树的充分生长。
利用训练样本集完成决策树的建立
过程 分枝准则的确定涉及：
•第一，如何从众多的输入变量中
选择一个当前最佳的分组变量 •第二，如何从分组变量的众多取 值中找到一个最佳的分割点
s＝14，目标变量“是否流失”有两个不同值，
类C1对应于“是”，类C2对应于“否”。 则s1＝9，s2＝5，p1＝9/14，p2=5/14。 1、计算对给定样本分类所需的期望信息：
2 3
4 5 6 7 8 9 10 11 12 13 14
<=30 31…40
>40 >40 >40 31…40 <=30 <=30 >40 <=30 31…40 31…40 >40
s1 j s2
smj
pij
是 Sj 中的样本属于类 Ci 的概率。
sij sj
Gain( A) I ( S ) E ( A)
Gain A I
s1 , s2 ,
, sm
E A
C5.0算法应用场景
场景：利用决策树算法分析具有哪些特点的用户最可能流失：
用户 1 年龄 <=30 出账收入 智能机 信用等级 高 否 一般 类别：是否流失 否
(176 184) 2 (82 74) 2 (146 146) 2 (59 59) 2 184 74 146 59 2 2 2 (213 182) (42 73) (132 154) (84 62) 2 182 73 154 62 30.86
i
1 P(ui ) log2 P(ui ) P(ui ) i
信息熵等于0，表示只存在唯一的信息发送可能，P(ui)=1，没有发送的不确定性； 如果信源的k个信号有相同的发送概率，P(ui)=1/k，则信息发送的不确定性最大，信息熵达
到最大
P(ui)差别小，信息熵大，平均不确定性大；反之，差别大，信息熵小，平均不确定性小。
fe
RT CT CT * RT * *n n n n
RT指定单元格所在行的观测频数合计，CT指定单元格所在列的观测频数合计，n为观测频数总计。 3、确定临界值 显著性水平A，一般为0.05或0.01 卡方观测值大于卡方临界值，拒绝零假设，变量间不独立 卡方观测值小于卡方临界值，接受零假设，变量间独立
卡方检验
卡方检验的一般流程：
1、提出基本的无效假设：
行分类变量与列分类变量无关联 2、Pearson卡方统计量
r c
卡方检验两个分类变量的 关联性，其根本思想就是 在于比较理论频数和实际 频数的吻合程度
2 i 1 j 1
( f ij0 f ije ) 2 f ije
f0
其中r为列联表的行数，c为列联表的列数， 为观察频数，fe为期望频数。 其中，
由于 “年龄” 属性具有最高信息增益，它被选作测试属性。创建一个节点，用“年龄”标记，
并对每个属性值引出一个分支
C5.0算法应用场景
年龄
<=30 30…40 表1 出账收入 智能机信用等级 高 否 一般 高 否 良好 中等 否 一般 低 是 一般 中等 是 良好
>40
是否流失 否 否 否 是 是
出账收入 中等 低 低 中等 中等
基于clementine的数据挖掘算法
目录
1
数据挖掘概述
章 节 安 排
2
决策树C5.0算法
3
算法
数据挖掘方法论
CRISP-DM数据挖掘实施方法论帮助企业把注 意力集中在解决业务问题上，它包括了六个步 骤，涵盖了数据挖掘的整个过程。 模型 步骤5 评价 建立 步骤4 模型 数据 步骤3 准备 数据 步骤2 理解 业务 步骤1 理解
高 高
中等 低 低 低 中等 低 中等 中等 中等 高 中等
否 否
否 是 是 是 否 是 是 是 否 是 否
良好
一般 一般 一般 良好 良好 一般 一般 一般 良好 良好 一般 良好
否
是 是 是 否 是 否 是 是 是 是 是 否
9 9 5 5 I ( s1 , s2 ) log 2 log 2 0.94 14 14 14 14
标的同一水平（值）内部随机误差对结果的影响，如果某指标对目标总体结果没有影响则组内方差与组间方
差近似相等，而如果指标对目标总体结果有显著影响，则组间方差大于组内方差，当组间方差与组内方差的 比值达到一定程度，或着说达到某个临界点时就可做出待选指标对结果影响显著的判断。
F 组间方差 组内方差
ij
x 组内方差
方差分析
背景 方差分析（Analysis of Variance）是利用样本数据检验两个或两个以上的总体均值间是否有差异的一种方法。 在研究一个变量时，它能够解决多个总体的均值是否相等的检验问题；在研究多个变量对不同总体的影响时， 它也是分析各个自变量对因变量影响程度的方法。 原理与方法 方差分析主要是通过方差比较的方式来对不同总体参数进行假设检验。由于目标总体差异的产生来自两个方 面，一方面由总体组间方差造成即指标的不同水平（值）对结果的影响，另一方面由总；
组内离差平方和除以自由度 ni -1
2
2
xi ：表示第i组的均值；
ni 1
ni ：表示第i组数据个数；
x ：表示全体的均值；
xi x 组间方差 n 1
组内离差平方和除以自由度n-1
n ：表示全体分组个数；
方差分析应用场景
2、计算每个属性的熵。
（1）先计算属性“年龄”的熵。 • 对于年龄＝“<=30”：s11＝2，s21＝3，p11=2/5，p21=3/5， 对于年龄＝“31…40”：s12=4，s22=0，p12=4/4=1，p22=0， 对于年龄＝“>40”：s13=3，s23=2，p13=3/5，p23=2/5， •
从变量自身 考察
变量重要性分析方法
变量与输出变量
、变量间的相关 程度
变量值中缺失值所占比例 分类变量中，类别个数占样本比例 数值变量的变异系数 数值型变量的标准差
输入、输出变量均为数值型：做两个变量的相
关性分析
输入变量为数值型、输出变量为分类型：方差 分析（输出变量为控制变量、输入变量为观测变 量） 输入变量为分类型、输出为数值型：方差分析 （输入变量为控制变量、输出变量为观测变量） 输入、输出变量均为分类型：卡方检验
C5.0算法应用场景
如果样本按“年龄”划分，对一个给定的样本分类所需的期望信息为：
E (年龄 )
5 4 5 I (s11 , s21 ) I (s12 , s22 ) I (s13 , s23 ) 0.694 14 14 14
因此，这种划分的信息增益是 Gain(年龄)=I(s1,s2) - E(年龄)=0.246 （2）以相同方法计算其他属性的增益得到 Gain(出账收入)=I(s1,s2) - E(收入)=0.940-0.911＝0.029 Gain(智能机)=I(s1,s2) - E(学生)=0.940-0.789＝0.151 Gain(信用等级)=I(s1,s2) - E(信用等级)=0.940-0.892＝0.048 3、得到较优的分类变量