SPSS Modeler数据挖掘操作之缺失值的调整
spss缺失值填补
缺失值的补充——SPSS一、均值替代法——连续数值型变量1.查看缺失值（可忽略）分析→描述统计→频率→输出结果2.操作步骤转换→替换缺失值→导入有缺失值的变量→方法：序列平均值（比其他的准确率较高些）注：1.缺失值要在变量的5%以内，数据过多缺失将无意义，应当放弃变量；2.缺点：存在序列数据波动性被低估的问题，且仅是单列变量内部估计的问题。
二、中位数填补法——等级变量（有序变量）1.查看缺失值分析→描述统计→频率→导入有缺失值的变量→统计→勾选：中位数→输出结果2.操作步骤对有缺失值的变量进行升序排列→手动填入输出结果注：进行升序排列是让缺失值排在最前边，方便数据处理。
三、众数填补法——分类变量（性别、专业）1.查看缺失值分析→描述统计→频率→导入有缺失值的变量→统计→勾选：众数→输出结果2.操作步骤对有缺失值的变量进行升序排列→手动填入输出结果注：进行升序排列是让缺失值排在最前边，方便数据处理。
四、回归估计法1.原理：以缺失值为因变量，其他变量为自变量进行回归分析，用得到的回归方程估算缺失值。
因变量与自变量之间要有一定的因果关系才能使用回归估计法。
2.操作步骤：分析→缺失值分析→导入变量→勾选：回归→点击：“回归”键→勾选：“保存完成的数据”→数据处理用保存后的数据注：1.可能存在低估方差的问题；2.回归估计法适用于自变量完整的数据。
五、期望最大化法1.操作步骤：分析→缺失值分析→导入变量→勾选：EM→变量→点击：“EM”键→迭代：25→勾选：“保存完成的数据”→数据处理用保存后的数据六、多重插补法——用STETA。
数据缺失值的4种处理方法
数据缺失值的4种处理方法数据缺失值的4种处理方法一、缺失值产生的原因缺失值的产生的原因多种多样，主要分为机械原因和人为原因。
机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集(对于定时数据采集而言)。
人为原因是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的，数据录入人员失误漏录了数据。
二、缺失值的类型缺失值从缺失的分布来讲可以分为完全随机缺失，随机缺失和完全非随机缺失。
完全随机缺失(missing completely at random,MCAR)指的是数据的缺失是随机的，数据的缺失不依赖于任何不完全变量或完全变量。
随机缺失(missing at random,MAR)指的是数据的缺失不是完全随机的，即该类数据的缺失依赖于其他完全变量。
完全非随机缺失(missing not at random,MNAR)指的是数据的缺失依赖于不完全变量自身。
从缺失值的所属属性上讲，如果所有的缺失值都是同一属性，那么这种缺失成为单值缺失，如果缺失值属于不同的属性，称为任意缺失。
另外对于时间序列类的数据，可能存在随着时间的缺失，这种缺失称为单调缺失。
三、缺失值的处理方法对于缺失值的处理，从总体上来说分为删除存在缺失值的个案和缺失值插补。
对于主观数据，人将影响数据的真实性，存在缺失值的样本的其他属性的真实值不能保证，那么依赖于这些属性值的插补也是不可靠的，所以对于主观数据一般不推荐插补的方法。
插补主要是针对客观数据，它的可靠性有保证。
1.删除含有缺失值的个案主要有简单删除法和权重法。
简单删除法是对缺失值进行处理的最原始方法。
它将存在缺失值的个案删除。
如果数据缺失问题可以通过简单的删除小部分样本来达到目标，那么这个方法是最有效的。
当缺失值的类型为非完全随机缺失的时候，可以通过对完整的数据加权来减小偏差。
SPSS Modeler 的数据理解和数据处理
SPSS Modeler 的数据理解和数据处理本文详细介绍了如何使用IBM SPSS Modeler 来进行数据挖掘工作中的数据理解工作，其中主要包括对缺失值的理解和处理，对异常值的理解和处理，以及如何利用Modeler 来观察和分析数据项之间的内在关系前言在数据挖掘项目中，数据理解常常不被重视。
但其实数据理解在整个数据挖掘项目中扮演着非常重要的角色，可以说是整个项目的基石。
在计算机领域有一句话，“Garbage in，garbage out.” 意思就是说，如果你的输入数据没有经过科学的预处理，你所得到的结果必将是错误的。
通过数据理解，我们可以理解数据的特性和不足，进而对数据进行预处理，使得将来得到的模型更加稳定和精确。
其次通过理解数据项之间的关系，我们可以为建模时输入数据项和模型的选择提供重要的信息首先，我们需要了解CRISP-DM 模型，从而了解数据理解在数据挖掘工作的位置和作用。
接着我们利用一个例子，分三个章节来介绍如何利用Modeler 来理解和处理原始数据中的缺失值，异常值和各个数据项之间的内在关系。
CRISP-DM 模型数据挖掘是一项复杂的工程，为了让整个项目便于控制和管理，我们必须遵从一定的标准流程。
而CRISP-DM 模型就是数据挖掘业界比较流行的一种模型。
图 1. CRISP-DM 模型图CRISP-DM，即跨行业数据挖掘标准流程，这是一种业界认可的用于指导数据挖掘工作的方法。
作为一种方法，它包含工程中各个典型阶段的说明、每个阶段所包含的任务以及这些任务之间的关系的说明；作为一种流程模型，CRISP-DM 概述了数据挖掘的生命周期。
图1 展示了CRISP-DM 中定义的数据挖掘生命周期中的六个阶段。
∙商业理解：了解进行数据挖掘的业务原因和数据挖掘的目标∙数据理解：深入了解可用于挖掘的数据∙数据准备：对待挖掘数据进行合并，汇总，排序，样本选取等操作∙建立模型：根据前期准备的数据选取合适的模型∙模型评估：使用在商业理解阶段设立的业务成功标准对模型进行评估∙结果部署：使用挖掘后的结果提升业务的过程下面，我们以某超市的市场推广活动为例，从商业理解开始，一起来学习如何利用Modeler 的强大功能来进行数据理解。
SPSS处理缺失数据
SPSS处理缺失数据缺失的数据或者无效的数据经常会被我们忽略，比如当我们要开始做一些问卷调查的统计时，会发现被调查者不愿意回到一些问题，此时就会产生统计错误或者数据格式的错误，有效的过滤和标识数据，可以使我们对数据的分析提供更加准确的结果。
数值数据的空数据字段或者包含无效输入的字段将转化为系统缺失值，系统缺失值可之用单个句点来标识。
值缺失的原因对于数据分析很重要，可能我们会发现区分拒绝回答问题的响应者与由于不用而未回答问题的响应者很有帮助。
数值变量的缺失值单击“数据编辑器”窗口地步的变量视图选项卡；单击age一行的缺失单元格，然后单击该单元格右侧的按钮打开“缺失值”对话框，在此对话框中，可以指定多达三个不同的缺失值，也可以指定值范围加上一个附加的离散值。
在第一个文本框中键入999，并将另外两个文本框保留为空。
单击确定保存更改并返回到数据编辑器。
现在已添加了缺失数据值，接下来可对该值应用标签。
单击age 一行的值单元格，然后单击该单元格右侧的按钮打开“值标签”对话框。
在“值”字段中键入999。
在“标签”字段中键入No Response。
单击添加将此标签添加到数据文件中。
单击确定保存更改并返回到数据编辑器。
字符串变量的缺失值字符串变量的缺失值与数值变量的缺失值的处理方法类似。
不过，与数值变量不同，字符串变量中的空字段未指定为系统缺失。
相反，它们被解释为空字符串。
单击“数据编辑器”窗口底部的变量视图选项卡。
单击sex 一行的缺失单元格，然后单击该单元格右侧的按钮打开“缺失值”对话框。
选择离散缺失值。
在第一个文本框中键入NR。
字符串变量的缺失值区分大小写。
因此，值nr 不会被视为缺失值。
单击确定保存更改并返回到数据编辑器。
现在可以为缺失值添加标签。
单击sex 一行的值单元格，然后单击该单元格右侧的按钮打开“值标签”对话框。
在“值”字段中键入NR在“标签”字段中键入No Response。
单击添加将此标签添加到您的项目中。
SPSS缺失值：缺失值分析
被误导。此外，缺失的数据还可能降低所计算的统计量的精度，因为计算时的信息比原计划的信息要少。另一个问题是，很多统计过
程背后的假设都基于完整的个案，而缺失值可能使所需的理论复杂化。
用于检验值是否完全随机丢失（MCAR）的Roderick J. A. Little卡方统计量作为EM矩阵的脚注印刷。对于此检验，原假设就是数 据完全随机缺失且0.05水平的p值显著。若值小于0.05，则数据将不会完全随机缺失。数据可能随机缺失（MAR）或不随机缺失 （NMAR）。您无法假设一个或其它数据缺失，而是需要分析数据以确定数据是如何缺失的。 4、回归法：此方法计算多个线性回归估计值并具有用于通过随机元素增加估计值的选项。对于每个预测值，其过程可以从一个随机选 择的完整个案中添加一个残差，或者从t分布中添加一个随机正态偏差，一个随机偏差（通过残差均值方的平方根测量）。
1、列表法：此方法仅使用完整个案。一旦任何分析变量具有缺失值，计算中将忽略该个案。 2、成对法：此方法参见分析变量对，并只有当其在两种变量中都具有非缺失值时才使用个案。频率、均值以及标准差是针对每对 分别计算的。由于忽略个案中的其它缺失值，两个变量的相关性与协方差不取决于任何其它变量的缺失值。
3、EM法：此方法假设一个部分缺失数据的分布并基于此分布下的可能性进行推论。每个迭代都包括一个E步骤和一个M步骤。在 给定观察值和当前参数估计值的前提下，E步骤查找“缺失”数据的条件期望值。这些期望值将替换“缺失”数据。在M步骤中，即使填写 了缺失数据，也将计算参数的最大似然估计值。“缺失”包含在引号中，因为缺失值不是直接填写的。而其函数用于对数似然。
18.2 缺失值分析的参数设置[共3页]
![18.2 缺失值分析的参数设置[共3页]](https://img.taocdn.com/s3/m/adddec518762caaedc33d428.png)
398 SPSS统计分析从入门到精通察到它们在哪些变量中出现，以及出现的比例有多少，还可以推断其出现是否与其他变量的取值有关。
通过这些信息，可以帮助用户判断这些缺失值的出现是否会影响到分析结论的准确性。
● 更精确的摘要统计量。
它提供了多种方法用于估计含缺失值数据的均值、相关矩阵和协方差距阵，通过这些方法计算出的统计量将更加可靠。
● 缺失值替换。
它可以使用EM 或回归算法，从无缺失数据的分布情况中，推导出缺失数据的估计值，从而能有效地使用所有数据进行分析，以此提高统计结果的可信度。
18.2 缺失值分析的参数设置缺失值分析过程可以处理任意类型的数据，但要求对非系统定义的缺失值，必须定义为用户缺失值。
依次单击菜单“分析→缺失值分析…”，打开如图18-1所示的主设置面板。
1．主界面设置在图18-1中，设置与分析变量、缺失值处理方法相关的选项。
（1）指定分析变量。
● “定量变量”列表：用于选入进行缺失值分析的定量变量（数值型变量）。
● “分类变量”列表：用于选入进行缺失值分析的分类变量。
“最大类别”输入框，指定分类变量允许的最多分类数，默认为25，超过此临界值的分类变量将不进入分析，因为太多的分类将大大减慢运算速度，并且对计算机内存有很高的需求。
● “个案标签”栏：用于选入对结果进行标识的标签变量。
没有选入“定量变量”列表和“分类变量”列表的变量将不会存储到结果数据文件中，如果希望附加一些变量到结果文件，可以将它们指定为分类变量。
（2）“使用所有变量”按钮。
单击它自动将左侧变量列表中的所有变量选入特定的分析列表框，数值型变量全部选入“定量变量”列表，字符型变量全部选入“分类变量”列表。
（3）“估计”子设置栏，用于选择计算均值、相关矩阵和协方差矩阵等统汁量时，对缺失值的处理方法。
● 按列表：只要分析中的任意一个因变量或分组变量中带有缺失值，则该记录将不被用来作任何分析。
● 成对：只有具体计算时用到的变量含缺失值时，该记录才不进入当前分析。
缺失值的处理方法
缺失值的处理方法缺失值是指在数据集中一些变量的观测值缺失或未被记录的情况。
缺失值的存在可能会对数据分析和建模造成严重的影响，因此需要选择适当的方法来处理缺失值。
在处理缺失值之前，首先需要对数据集进行缺失值的识别和理解。
常见的缺失值表示符号有：NA、NaN、NULL、-999、空白格等。
缺失值的原因可能包括数据采集的错误、数据损坏、数据没有被记录等。
在理解了缺失值的情况之后，可以选择以下方法来处理缺失值。
1.删除观测值或变量：如果缺失值的比例较小且随机分布，可以选择直接删除包含缺失值的观测值或变量。
但是，如果缺失值的比例较大或缺失值的分布与其他变量存在关联，删除观测值或变量可能会引入偏差，因此需要慎重考虑。
2.插补：插补是指通过一定的方法估计和填充缺失值。
常见的插补方法包括：均值插补、中位数插补、众数插补、回归插补、插值法等。
-均值插补：对于缺失的连续变量，可以使用该变量的均值来代替缺失值。
这种方法简单易行，但可能会引入随机误差。
-中位数插补：对于缺失的连续变量，可以使用该变量的中位数来代替缺失值。
与均值插补相比，中位数插补更稳健，对于存在离群值的变量更合适。
-众数插补：对于缺失的分类变量，可以使用该变量的众数来代替缺失值。
众数插补适用于缺失比例较低的分类变量，但可能会引入偏倚。
-回归插补：当存在与缺失变量相关的其他变量时，可以使用回归模型来预测缺失值。
这种方法能够较好地利用其他变量的信息，但可能会引入建模误差。
-插值法：插值法是指通过已有观测值的插值来估计缺失值。
常见的插值方法有线性插值、多项式插值、样条插值等。
插值方法适用于具有时间序列或空间分布特点的数据，但对于大规模数据集可能计算开销较大。
3.分类变量编码：对于缺失的分类变量，可以将缺失值作为一类进行编码。
这样可以保留缺失值的存在，并将其作为一个特征进行建模分析。
4.基于模型的方法：基于模型的方法是指根据已有数据的模式，通过建立模型来预测缺失值。
spss缺失值处理
spss数据录入时缺失值怎么处理录入的时候可以直接省略不录入分析的时候也一般剔除这样的样本。
但也有替换的方法，一般有：均值替换法(mean imputation)，即用其他个案中该变量观测值的平均数对缺失的数据进行替换，但这种方法会产生有偏估计，所以并不被推崇。
个别替换法(single imputation)通常也被叫做回归替换法(regression imputation)，在该个案的其他变量值都是通过回归估计得到的情况下，这种方法用缺失数据的条件期望值对它进行替换。
这虽然是一个无偏估计，但是却倾向于低估标准差和其他未知性质的测量值，而且这一问题会随着缺失信息的增多而变得更加严重。
多重替代法(multiple imputation)(Rubin, 1977) 。
ƒ它从相似情况中或根据后来在可观测的数据上得到的缺省数据的分布情况给每个缺省数据赋予一个模拟值。
结合这种方法，研究者可以比较容易地，在不舍弃任何数据的情况下对缺失数据的未知性质进行推断(Little and Rubin,1987; ubin,1987, 1996)。
（一）个案剔除法(Listwise Deletion)最常见、最简单的处理缺失数据的方法是用个案剔除法(listwise deletion)，也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。
在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。
如果缺失值所占比例比较小的话，这一方法十分有效。
至于具体多大的缺失比例算是“小”比例，专家们意见也存在较大的差距。
有学者认为应在5%以下，也有学者认为20%以下即可。
然而，这种方法却有很大的局限性。
它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。
在样本量较小的情况下，删除少量对象就足以严重影响到数据的客观性和结果的正确性。
因此，当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
缺失值的修整方法
1
缺失值的修整方法是在下图的“缺失插补”列和“方法”列中
缺失值修正的操作步骤
2
1）选中某个变量行，例如“基本费用”
缺失值修正的操作步骤
3
2）下拉对应行的【缺失插补】框选择调整对象，选项说明如下：
从不：表示不做调整 空值：表示将对空进行调整 无效值：表示对无效值进行调整 空值与无效值：对两者均进行调整 条件：对满足指定条件的变量值进行调整
将超节点自动放置在数据流编辑区中，用户只需要将所生成的超节点链接到数据流的适当 位置即可，如图所示
缺失值修正的操作步骤
4
3）在【插补设计】中选择【条件】，具体设置方法如下：
缺失值修正的操作步骤
5
设置结果显示如下：
缺失值修正的操作步骤
6
4）选择需要调整的变量行，选择窗口菜单【生成】下的【缺失值超节点】 选项，点击“确定”
缺失值修正的操作步骤
7
Modeler将自动生成一个包含若干必要节点的超节点，根据用户指定的方法进行相应调整。