SPSS Modeler数据挖掘 第四讲
SPSS Modeler数据挖掘操作之数值型变量的基本分析
3
描述集中趋势的统计量一般有均值、中位数等 描述离散程度的统计量一般有方差、标准差和极差等 为分析数值型变量之间相关程度，还应该计算简单相关系数或者绘制散点图
等。
计算基本描述统计量
4
这里，对电信客户数据的分析目标是：计算基本服务累计开通月数、上月基 本费用的基本描述统计量，并分析上述变量与年龄、家庭月收入、家庭人口 之间，以及基本服务累计开通月数与基本费用之间输出内容
本例的计算结果
8
以开通月数为例，平均开通月数 为34.1，但由于数据的极差-71， 和数据的标准差-21.36都比较大， 说明开通月数的取值差异较大。
另外开通月数与年龄和收入都有 一定的正相关性，而与家庭人数 的相关性为极弱的负相关性
SPSS Modeler数据挖掘操作之
数值型变量的基本分析
版权说明
1
本文档操作案例选编自中国人民大学出版社《基于SPSS Modeler的数据挖掘》薛 薇编著，若作者对本资料持有异议，请及时与本网站联系，我们将第一时间妥善 处理。
数据的基本分析
2
数据的基本分析一般从简单变量的分析入手，到多变量的相关性研究。通常， 可通过描述性分析，计算关于数据分布特征的描述统计量，确切掌握数据的 分布特点。
选择【输出】选项卡中的【统计量】节点，连接到数据流的适当位置
5
在【编辑】选项进行节点的参数设置，如图所示
参数设置方法
6
检查：选择需要计算描述统计量的变量。 统计量：选择需要计算哪些描述统计量，可以包括图中所示的计数、均值、
总和、最小值、最大值等 相关：指定【检查】框中的变量与哪些变量进行相关性分析
SPSSModeler数据挖掘软件简介
SPSS Modele r 软件简介SPSS Modele r原名Cl ement ine，是一个业界领先的数据挖掘平台。
SPSS Modele r强大的数据挖掘功能将复杂的统计方法和机器学习技术应用到数据当中，帮助客户揭示了隐藏在交易系统或企业资源计划（ERP）、结构数据库和普通文件中的模式和趋势，让客户始终站在行业发展的前端，显著的投资回报率使得S P SS Modele r在业界久负盛誉。
同那些仅仅着重于模型的外在表现而忽略了数据挖掘在整个业务流程中的应用价值的其它数据挖掘工具相比，SPSS Modele r其功能强大的数据挖掘算法，使数据挖掘贯穿业务流程的始终，在缩短投资回报周期的同时极大提高了投资回报率。
SPSS Modele r 使您的企业在多方面受益。
例如，您可以：■改善客户获得和保持；■提高客户的生命周期价值；■识别并最小化风险和欺诈；■给不同的客户提供个性化服务；SPSS Modele r拥有直观的操作界面、自动化的数据准备和成熟的预测分析模型，结合商业技术可以快速建立预测性模型，进而应用到商业活动中，帮助人们改进决策过程。
应用SPSS Modele r获得的预测洞察力，引导客户与企业实时交互，并实现企业内共享这些洞察力。
SPSS Modele r以其卓越的分析能力、可视化的操作方式、高度可扩展性受到全世界数据挖掘人员和企业用户的青睐。
使用SPSS Modele r，您可以：■轻松获取、准备以及整合结构化数据和文本、网页、调查数据；■快速建立和评估模型，使用SPSS Modele r提供的最高级的统计分析和机器学习技术；■按照计划或者实时，把洞察力和预测模型有效地部署到系统中或者发送给决策者；SPSS Modele r具有许多独特的性能，这使得它成为当今企业预测分析的理想选择。
学习使用SPSS进行数据挖掘
学习使用SPSS进行数据挖掘第一章 SPSS简介SPSS（Statistical Package for the Social Sciences）是一种常用的统计分析软件，由IBM公司开发。
它提供了强大的数据分析和数据挖掘功能，被广泛应用于社会科学研究、商业决策分析等领域。
SPSS具备使用简便、功能强大、结果可靠等特点，成为数据挖掘工作者的首选工具。
第二章数据预处理在进行数据挖掘之前，首先需要对原始数据进行预处理。
数据预处理包括数据清洗、数据集成、数据转换和数据规约等步骤。
数据清洗是指通过识别和纠正数据中的错误、缺失、异常、重复等问题，确保数据质量的过程。
数据集成是将来自不同数据源的数据合并成一个一致的数据集的过程。
数据转换是将原始数据转换成适用于数据挖掘算法的形式，包括数值化、正规化、离散化等处理。
数据规约是对数据集进行降维处理，去除冗余信息，以提高数据挖掘效率。
第三章数据探索数据探索是通过可视化和统计分析等手段，对数据的特征和内在关系进行探索和发现。
在SPSS中，可以使用图表、频数分析、描述性统计等工具进行数据探索。
例如，可以通过绘制直方图、散点图等图表，观察数据的分布和趋势。
频数分析可以统计各类别的频数和频率，帮助理解数据的分布情况。
描述性统计可以计算各变量的均值、方差、标准差等统计指标，揭示数据的集中趋势和离散程度。
第四章数据挖掘算法SPSS提供了多种数据挖掘算法，如聚类分析、分类分析、关联规则等。
这些算法可以从不同角度解析数据，挖掘数据背后的隐藏信息。
聚类分析是将相似对象划分到同一类簇的过程，帮助识别数据中的类别。
分类分析是建立预测模型，根据已有特征对新数据进行分类。
关联规则分析是挖掘数据中的关联关系，发现项之间的频繁组合。
第五章模型评估与优化在使用SPSS进行数据挖掘时，需要对构建的模型进行评估和优化。
模型评估是通过一系列评估指标，对模型的精确度、鲁棒性、稳定性等进行评估。
常用评估指标包括准确率、召回率、F值、ROC曲线等。
数据挖掘导论第4课数据分类和预测
II.
Issues Regarding Classification and Prediction (1): Data Preparation
Data cleaning Preprocess data in order to reduce noise and handle missing values Relevance analysis (feature selection) Remove the irrelevant or redundant attributes Data transformation Generalize and/or normalize data
I.
Classification vs. Prediction
Classification predicts categorical class labels (discrete or nominal) classifies data (constructs a model) based on the training set and the values (class labels) in a classifying attribute and uses it in classifying new data Prediction models continuous-valued functions, i.e., predicts unknown or missing values Typical applications Credit approval Target marketing Medical diagnosis Fraud detection
Issues regarding classification and prediction (2): Evaluating classification methods
SPSS Modeler培训大纲
2.高级数据整理
1)合并多个数据源数据
2)抽取样本，选择和缓存数据
3)处理时序数据
4)文件操作技术
5)RFM汇总及RFM分析
6)分箱节点
3.SPSS Modeler数据建模
1)有监督学习数据建模概述：
神经网络模型概述；
传统回归模型概述(简介线性回归和logistic回归)
2)无监督学习数据建模概述：
聚类模型概述；
3)关联规则模型概述
4.SPSS自动建模技术
模型整合、自动建模；
5.模型评估、比较
评估图、评估表
6.主题Demo演示
目的及效果
培训人员能够使用SPSSModeler进行较为基础的数据挖掘建模操作。
SPSSModeler培训大纲
时间
2010年10月，共2天
培训对象
江西电信参训人员
第一天
1.数据挖掘简介
1)数据挖掘的概念
2)CRISP-DM方法论
2.SPSSModeler 13.0简介
1)SPSSModeler13.0的C/S架构
2)SPSSModeler13.0面板
3)SPSSModeler13.0可视化程序的使用基础
4)散点图节点----研究连续型字段间关系
5)直方图节点----研究连续型字段与字符型字段的关系
6.数据处理---简单数据整理
1)选择节点介绍
2)过滤节点介绍
3)导出节点介绍
7.数据建模---决策树数据建模(C5.0,C&RT, QUEST,CHAID)
8.案例分享
第二天
1.读取数据文件（高级）
1)读取SPSS数据
3.读取数据文件
SPSSModeler数据挖掘项目实战（数据挖掘、建模技术）
SPSSModeler数据挖掘项⽬实战（数据挖掘、建模技术）SPSS Modeler是业界极为著名的数据挖掘软件，其前⾝为SPSS Clementine。
SPSS Modeler内置丰富的数据挖掘模型，以其强⼤的挖掘功能和友好的操作习惯，深受⽤户的喜爱和好评，成为众多知名企业在数据挖掘项⽬上的软件产品选择。
本课程以SPSS Modeler为应⽤软件，以数据挖掘项⽬⽣命周期为线索，以实际数据挖掘项⽬为例，讲解了从项⽬商业理解开始，到最后应⽤Modeler软件实现的挖掘过程。
作为数据挖掘项⽬的重要⼲系⼈，数据挖掘专家需要对数据挖掘项⽬的⽣命周期、整体管理、挖掘技术等⽅⾯都有⼀定程度的理解。
当然，任何⼀个⼈都不可能独⽴完成整个挖掘过程，任何⼀个⼈都不可能深⼊地掌握所有建模算法细节。
虽然，这看起来遥不可及，但是掌握项⽬的管理思想，掌握算法的数学思想，并在实际项⽬中，结合项⽬的实际情况，灵活应对，持续改进优化，成功交付项⽬，则是经过⼀定学习和训练，经过⼀定经验积累，就可以达到的。
本课程深⼊浅出，揭开数据挖掘的神秘⾯纱，抛开繁琐枯燥的数学推导，注重对模型数学思想的解释与引导。
认真学习完本课程，掌握模型思想，在实际项⽬中举⼀反三，就能对数据挖掘项⽬在建模阶段的模型选择、评估等进⾏很好的把握。
同时，本课程全程贯穿项⽬管理思想，注重项⽬实际建设过程，是数据挖掘项⽬的项⽬经理、产品经理、项⽬指导等朋友的良好指导。
对于初次接触数据挖掘项⽬，或是有强烈意愿从事数据挖掘事业的朋友，更是⾮常好的⼊门教程。
您可以通过本课程的学习，对数据挖掘项⽬的实际建设过程有⼀定程度的理解和⼼得，结合您⾃⾝的兴趣和专业特点，找准您希望以后在数据挖掘项⽬团队中所担任的⾓⾊，并以该⾓⾊对能⼒素质的要求来指导⾃⼰，不断完善⾃我提升，逐步成为该领域的专家。
在这⼀点上，本课程更像是您的职业规划指导，希望能为您找准⾃⾝定位，实现⾃我规划，提供更多帮助。
SPSS Modeler数据挖掘操作之数据质量的评估
具体操作步骤
3
1.建立【Statistics】节点读入Telephone.sav数据 2.建立【类型】节点说明变量角色。 3.选择【输出】选项卡中的【数据审核】节点，将其添加到数据流的相应位
置上。右击鼠标，选择【编辑】选项进行节点的参数设置
具体操作步骤-【类型】节点设置
4
数据审核的数据流与【数据审核】节点设置
5
【数据审核】节点中【质量】选项设置与运行
6
【质量】选项运行结果说明
7
在【输出】结果中，可以看到分析表中包括审核、质量等三张选项卡
图中深色部分表示输出变量为流失的情况。可以看出流失客户在各变量不同 取值上都有分布。
离群质量分析
8
在数据质量评估中，可以看到，在所分析的 1000个数据中，收入和家庭人数两个变量，分 别在15和6个观测上去了无效值，在其他变量 上也存在无效样本。为此应进一步观察样本的 具体情况和Fra bibliotek据的整体质量。
SPSS Modeler数据挖掘操作之 数据质量的评估
版权说明
1
本文档操作案例选编自中国人民大学出版社《基于SPSS Modeler的数据挖掘》薛 薇编著，若作者对本资料持有异议，请及时与本网站联系，我们将第一时间妥善 处理。
数据说明
2
以一份电信客户数据为例，该数据为SPSS格式，文件名为Telephone.sav， 本节将对改数据的质量进行考察。
SPSS Modeler数据挖掘操作之变量说明
【类型】节点
6
选择【字段选项】选项卡中【类型】节点，添加到【追加】节点后面。
是否无偿献血变量调整
7
首先点击“读取值”按钮，将表中 数据读入【类型】节点
在是否无偿献血字段，对应的“缺 失”列选择“指定”具体操作设置 如下一页
缺失值设置
8
家庭年收入变量调整
数据读取
3
首先，选择【源】选项卡中的【Excel】节点，添加到数据流编辑区中。建 立两个数据节点，分别读入Students.xls文件中的老生数据和新生数据。
选择【字段选项】选项卡中【合并】节点，将其添加到数据流中与两个 Excel节点相连。
最后选择【输出】选项卡中【表】节点，浏览数据
数据读取
9
首先，在相应的变量行的【缺失】列中，选择【指定】选项，然后指定变量 值调整方法如下
输出效果
10
运行结果显示，Modeler将自动视999999和$null$值进行调整视为不合理取 值，并按照指定用户的强制方法进行调整。Fra bibliotek数据流图
4
读取数据图
数据问题
5
我们会发现数据存在如下问题：
家庭人均年收入变量，有些样本的取值为$null$，表示空缺；同时，还有一个样本取值 为999999，姑且认为他是一个明显的错误的数据，应该进行说明和调整。
是否无偿献血变量值填写不规范，规范值为Yes和No，但是有些样本却取了1和0，应该 进行替换
SPSS Modeler数据挖掘操作之 变量说明
简单说明
1
变量说明时确保数据高质量的有效途径，变量说明包括两个主要方面：
对数据流中变量取值的有效性进行限定、检查和调整； 对各个变量在未来数据建模中的角色进行说明
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
确定每一步特征空间划分标准时，都同时兼顾由此将 形成的两个区域，希望划分形成的两个区域所包含的 样本点尽可能同时“纯正”
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程 第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
P(u 2 | v1 ) P11 P21 P(u 2 | v2 ) P12 P22
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性 后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
分类预测：决策树（一）
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归 C5.0算法及应用 分类回归树及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
•根节点 •叶节点 •中间节点 •2叉树和多 叉树
决策树算法概述：特点
信息熵等于0，表示只存在唯一的信息发送可能， P(ui)=1，没有发送的不确定性； 如果信源的k个信号有相同的发送概率，P(ui)=1/k， 则信息发送的不确定性最大，信息熵达到最大 P(ui)差别小，信息熵大，平均不确定性大；反之
C5.0算法：信息增益
已知信号U的概率分布P(U)且收到信号V=vj，发出信 号的概率分布为P(U|vj)，信源的平均不确定性：
P(ui|vj)是信宿收到vj而信源发出ui的概率 ，且 P(ui | v j ) 1 (i 1,2,...,r) 信源也同样被看做是某种随机过程，有：
P(u ) 1(i 1,2,...,r)
i
C5.0算法：熵
例如：二元信道模型
P(u1 | v1 ) P(u | v ) 1 2
决策树算法概述：树剪枝
后修剪：待决策树生长完毕，根据一定规则，剪 去不具一般代表性的子树。策略：
事先指定允许的 最大误差值 通常依据测试样 本集剪枝
C5.0算法
C5.0是在ID3(J R Quinlan,1979)基础上发展起 来。C5.0是C4.5算法的商业化版本 特点： C5.0用于建立多叉分类树 输入变量是分类型或数值型，输出变量应为分 类型 以信息增益率确定最佳分组变量和分割点
C5.0算法：熵
信息熵是信息论(C.E.Shannon,1948)中的基本概 念。信息论主要用于解决信息传递过程中的问题 ，也称统计通信理论 信息论的基本出发点认为： 信息传递通过由信源、信道和信宿组成的传递 系统实现
信源(发送端) 信道 信宿(接收端)
C5.0算法：熵
信息论的基本出发点认为： 传递系统存在于一个随机干扰环境之中 将发送的信息记为U，接收的信息记为 V，那么 信道可看作为信道模型，记为P(U|V)
1 Ent(U | v j ) P(ui | v j ) log2 P(ui | v j ) log2 P(ui | v j ) P(ui | v j ) i i
称为后验熵。后验熵的期望(条件熵或信道疑义 1 度)： Ent(U | V ) P(v j ) P(ui | v j ) log2
决策树的生长是对训练样本集的不断分组
分枝准则的确定涉及：
•第一，如何从众多的输入 变量中选择一个当前最佳的 分组变量 •第二，如何从分组变量的 众多取值中找到一个最佳的 分割点
决策树算法概述：树剪枝
树剪枝的原因：完整的决策树对训练样本特征的 捕捉“过于精确”--- 过拟和（Overfitting） 常用的修剪技术： 预修剪（pre-pruning）：用来限制决策树的 充分生长。策略： 事先指定决策树生长的最大深度 事先指定树节点样本量的最小值 后修剪（post-pruning）：待决策树充分生长 完毕后再进行剪枝
体现了对样本数据的不断分组过程 决策树分为分类树和回归树 体现了输入变量和输出变量取值的逻辑关系 逻辑比较形式表述的是一种推理规则 每个叶节点都对应一条推理规则 对新数据对象的分类预测
决策树算法概述：几何理解
决策树建立的过程就是决策树各个分枝依次形成 的过程 决策树的每个分枝在一定规则下完成对n维特征 空间的区域划分 决策树建立好后，n维特征空间会被划分成若干 个小的边界平行或垂直于坐标轴的矩形区域
j i
P(u i | v j )
P(v j )( P(u i | v j ) log2 P(u i | v j ))
j i
信息增益 Gains(U ,V ) Ent(U ) Ent(U | V ) 信息消除随机不确定性的程度
信源(发送端) U u1,u2,..ur 信宿(接收端) V v1,v2,..vq
信道 P(U|V)
C5.0算法：熵
信道模型是一个条件概率矩阵P(U|V)，称为信道 传输概率矩阵 P(u1 | v1 ) P(u 2 | v1 ) .... P(u r | v1 )
P(u | v ) 1 2 ... P(u1 | v q ) P(u 2 | v 2 ) .... P(u r | v 2 ) ... ... . P(u 2 | v q ) ....P(u r | v q )
C5.0算法：熵
信息量的数学定义： 信息熵是信息量的数学期望，是信源发出信息前的 平均不确定性，也称先验熵。信息熵的数学定义：
Ent(U ) P(ui ) log2
i
I (ui ) log2
1 log2 P(ui ) P(P(ui ) P(ui ) i