数据预处理

数据预处理

在现代的科研和实际工作中，各行各业都需要对采集到的各种各样的数据进行处理。如何从这些海量的数据之中发现更深层次、更重要的信息，使之能够描述数据的整体特征，可以预测发展趋势，从而生成决策。这就需要进行数据挖掘。

在数据挖掘的过程中如果只着眼于数据挖掘算法的探讨，而忽视了对数据预处理的研究，在一定程度上往往会失去数据挖掘的某些重要意义。因为实际系统中的数据一般都具有不完整性、冗余性和模糊性，很少能直接满足数据挖掘算法的要求。另外，海量的数据中无意义的成分很多，严重影响了数据挖掘算法的执行效率，而且由于其中的噪音干扰还会造成挖掘结果的偏差。因此，对不理想的原始数据进行有效的预处理，已经成为数据挖掘系统实现过程中的关键问题。

数据挖掘与知识发现过程中的第一个步骤就是数据预处理。统计发现：在整个数据挖掘过程中，数据预处理要花费60%左右的时间，而后的挖掘工作仅占总工作量的10%左右。对数据进行预处理，不但可以节约大量的空间和时间，而且得到的挖掘结果能更好地起到决策和预测作用。目前数据预处理的常用步骤包括数据清理、数据集成和数据变换、数据归约。

1数据清理

数据清理（data cleaning）是数据准备过程中最花费时间、最乏味的，但也是最重要的一步。该步骤可以有效地减少学习过程中可能出现相互矛盾的情况。数据清洗的目的不只是要消除错误、冗余和数据噪音。其目的是要将按不同的、不兼容的规则所得的各种数据集一致起来。数据清理处理过程通常包括填补遗漏的数据值，平滑有噪声数据、识别或除去异常值，以及解决不一致问题。

1.1 空缺值处理

处理空缺值主要有以下几种方法：

①删除该记录。除非无法填补遗漏数据，一般不要轻易删除属性值缺失的记

录。

②手工填补。工作量大，可操作性差。

③采用默认值、平均值或者同类别平均值填补。这种方法有可能对数据挖掘

产生误导。

④使用最可能的值填充空缺值，比如通过回归分析、贝叶斯方法或决策树推

断该记录特定属性的最可能取值。

目前最常用的方法是使用最可能的值填充空缺值。这类方法依靠现有的数据信息来推测空缺值，使空缺值有更大的机会保持与其他属性之间的联系。如果空缺值很多，这些方法可能误导挖掘结果。

1.2 噪声数据处理

噪声是一个测量变量中的随机错误或偏差，包括错误的值或偏离期望的孤立点值。可以用以下的数据平滑技术来平滑噪声数据，识别、删除孤立点。

①分箱：将存储的值分布到一些箱中，用箱中的数据值来局部平滑存储数据

的值。具体可以采用按箱平均值平滑、按箱中值平滑和按箱边界平滑；

②回归：可以找到恰当的回归函数来平滑数据。线性回归要找出适合两个变量

的“最佳”直线，使得一个变量能预测另一个。多线性回归涉及多个变量，数据要适合一个多维面；

③计算机检查和人工检查结合：可以通过计算机将被判定数据与已知的正常值

比较，将差异程度大于某个阈值的模式输出到一个表中，然后人工审核表中的模式，识别出孤立点；

④聚类：将类似的值组织成群或“聚类”，落在聚类集合之外的值被视为孤立点。

孤立点模式可能是垃圾数据，也可能是提供信息的重要数据。垃圾模式将从数据库中予以清除。

1.3 不一致数据处理

通过数据与外部的关联手工处理，比如与原稿校对，或者采用软件工具来发现违反约束条件的数据。

2数据集成与变换

数据集成（data integration）就是将来至多个数据源的数据合并到一起，形成一致的数据存储，如将不同数据库中的数据集成入一个数据仓库中存储。之后，有时还需要进行数据清理以便消除可能存在的数据冗余。

数据变换（data transformation）主要是将数据转换成适合于挖掘的形式，如将属性数据按比例缩放，使之落入一个比较小的特定区间。这一点对那些基于距离的挖掘算法尤为重要。包括平滑处理、聚集处理、数据泛化处理、规格化、属性构造。

2.1 数据集成

数据集成需要解决的问题包括：

①模式集成。主要是实体识别，即如何将不同信息源中的实体相互匹配。通常

借助于数据库或数据仓库的元数据定义来帮助模式集成。在集成时应尽量选择占物理空间较小的数据，以节省系统存储开销。

②冗余问题。若一个属性可以从其它属性推演出来，那么它就是冗余属性。数

据集成往往导致数据冗余，如同一属性多次出现、同一属性命名不一致等。

利用数理统计中的相关性分析方法可以检测数值属性是否相关（正关联、负

关联或者相互独立）。除检查属性冗余之外，还要检测元组（记录）是否冗余。③数据冲突检测以及语义整合。现实世界中的同一实体，由于表示方式、度量

单位以及编码的不同，导致不同数据源的属性值可能有差异。数据语义上的模糊性、歧义性是数据集成的难点，比如：同名异义、异名同义等，目前还没有很好的自动解决办法。

2.2 数据变换

数据转换就是将数据转换成适合数据挖掘的形式。通过寻找数据的特征表示，用维变换方式减少有效变量的数目或找到数据的不变式。数据变换主要涉及如下容：

①光滑：去掉数据中的噪声。这种技术包括分箱、回归和聚类等。

②聚集：对数据进行汇总或聚集。例如，可以聚集日销售数据，计算月和年销

售量。通常，这一步用来为多粒度数据分析构造数据立方体。

③数据泛化：使用概念分层，用高层概念替换低层或“原始”数据。例如，分

类的属性，如街道，可以泛化为较高层的概念，如城市或国家。类似地，数值属性如年龄，可以映射到较高层概念如青年、中年和老年。

④规化：将属性数据按比例缩放，使之落入一个小的特定区间，如-1.0~1.0或

0.0~0.1。

⑤属性构造（或特征构造）：可以构造新的属性并添加到属性集中，以帮助挖掘

过程。

3数据归约

数据归约（data reduction）在不影响挖掘结果的前提下，通过数值聚集、删除冗余特性的办法压缩数据，提高挖掘模式的质量，降低时间复杂度。

数据归约技术可以用来得到数据集的归约表示，它接近于保持原数据的完整性，但数据量比原数据小得多。与非归约数据相比，在归约的数据上进行挖掘，所需的时间和存资源更少，挖掘将更有效，并产生相同或几乎相同的分析结果。下面介绍几种数据归约的方法。

3.1 维归约

通过删除不相关的属性（或维）减少数据量。不仅压缩了数据集，还减少了出现在发现模式上的属性数目。通常采用属性子集选择方法找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性的原分布。属性子集选择的启发式方法技术有：

①逐步向前选择：由空属性集开始，将原属性集中“最好的”属性逐步填加到

该集合中；

②逐步向后删除：由整个属性集开始，每一步删除当前属性集中的“最坏”属

性；

③向前选择和向后删除的结合：每一步选择“最好的”属性，删除“最坏的”

属性；

④判定树归纳：使用信息增益度量建立分类判定树，树中的属性形成归约后的

属性子集。

3.2 数据压缩

应用数据编码或变换，得到原数据的归约或压缩表示。数据压缩分为无损压缩和有损压缩。比较流行和有效的有损数据压缩方法是小波变换和主要成分分析。小波变换对于稀疏或倾斜数据以及具有有序属性的数据有很好的压缩结果。主要成分分析计算花费低，可以用于有序或无序的属性，并且可以处理稀疏或倾斜数据。

3.3 数值归约

数值归约通过选择替代的、较小的数据表示形式来减少数据量。数值归约技术可以是有参的，也可以是无参的。有参方法是使用一个模型来评估数据，只需存放参数，而不需要存放实际数据。有参的数值归约技术有以下2种：

①回归：线性回归和多元回归；

②对数线性模型：近似离散属性集中的多维概率分布。

无参的数值归约技术有3种：

①直方图：采用分箱技术来近似数据分布，是一种流行的数值归约形式。其中

V-最优和MaxDiff直方图是最精确和最实用的；

②聚类：聚类是将数据元组视为对象，它将对象划分为群或聚类，使得在一个

聚类中的对象“类似”，而与其他聚类中的对象“不类似”，在数据归约时用数据的聚类代替实际数据；

③选样：用数据的较小随机样本表示大的数据集，如简单选样、聚类选样和分

层选样等。

3.4 概念分层

概念分层通过收集并用较高层的概念替换较低层的概念来定义数值属性的一个离散化。概念分层可以用来归约数据，通过这种概化尽管细节丢失了，但概化后的数据更有意义、更容易理解，并且所需的空间比原数据少。

对于数值属性，由于数据的可能取值围的多样性和数据值的更新频繁，说明概念分层是困难的。数值属性的概念分层可以根据数据的分布分析自动地构造，如用分箱、直方图分析、聚类分析、基于熵的离散化和自然划分分段等技术生成数值概念分层。

分类数据本身是离散数据，一个分类属性具有有限个不同值，值之间无序。

一种方法是由用户专家在模式级显示地说明属性的部分序或全序，从而获得概念的分层；另一种方法是只说明属性集，但不说明它们的偏序，由系统根据每个属性不同值的个数产生属性序，自动构造有意义的概念分层。

4结语

在数据预处理的实际应用过程中，上述步骤有时并不是完全分开的。另外，应针对具体所要研究的问题通过详细分析后再进行预处理方法的选择，整个预处理过程要尽量人机结合，尤其要注重和客户以及专家多交流。预处理后，若挖掘结果显示和实际差异较大，在排除源数据的问题后则有必要需要考虑数据的二次预处理，以修正初次数据预处理中引入的误差或方法的不当，若二次挖掘结果仍然异常则需要另行斟酌。目前该模式已成功应用于水文数据的预处理，并达到了较好的预测效果。另外，对于动态数据，即数据流问题，它和普通数据的预处理有何区别以及如何更好地进行预处理，有待于以后加强研究。