数据挖掘——数据预处理
数据挖掘的关键技术
数据挖掘的关键技术数据挖掘是指通过大数据中寻找隐藏的、有用的模式和信息的过程。
在当今信息爆炸的时代，数据挖掘已经成为许多领域中不可或缺的关键技术。
本文将介绍数据挖掘的关键技术，包括数据预处理、特征选择、聚类分析、分类与预测、关联规则挖掘等。
一、数据预处理数据预处理是数据挖掘过程中的第一步，其目的是清理、集成和转换数据以供后续分析使用。
数据预处理技术包括数据清洗、数据集成、数据变换和数据归约。
数据清洗主要是对数据中的噪声和异常值进行处理，以保证数据的准确性和一致性。
在这一步骤中，可以使用各种统计学和数学方法来识别和处理异常值。
数据集成是将来自不同数据源的数据进行合并和统一，以便于后续的分析。
在进行数据集成时，需要考虑数据的冗余和一致性，采用适当的数据集成技术进行处理。
数据变换是将原始数据转换为适合进行分析的形式，常用的数据变换技术包括数据规范化、数据离散化、数据聚集和数据抽样等。
数据归约是对数据进行降维处理，以减少数据的维度和复杂性，并保持数据的有效性和信息完整性。
数据归约的常用方法包括主成分分析、因子分析和小波变换等。
二、特征选择特征选择是指从原始数据中选择最具有代表性和重要性的特征，以提高模型的性能和准确性。
特征选择技术主要包括过滤法、包装法和嵌入法。
过滤法是根据特征的某种准则进行选择，如信息增益、相关系数等。
通过计算特征与目标变量的关联性，选择与目标变量高度相关的特征。
包装法是将特征选择看作是一个搜索问题，通过训练具有不同特征子集的模型，并评估其性能来确定最佳特征子集。
嵌入法是在建立模型的同时进行特征选择，通过利用模型的学习能力选择最佳特征。
三、聚类分析聚类分析是一种无监督学习方法，将相似的数据对象进行分组，使得同一组内的对象相似度尽可能高，而不同组之间的相似度尽可能低。
聚类分析技术主要包括层次聚类、划分聚类和基于密度的聚类。
层次聚类是将数据对象逐步划分为不同的层次结构，形成一个聚类树，通过计算相似度来决定聚类的合并和划分。
第2章 数据预处理
二、数据预处理
3.数据集成和数据变换 3.1 数据集成 3. 数据值冲突的检测与处理 在一个系统中记录的属性的抽象层可能比另一个系统中“相同的”属性
低。数据集成时将一个数据库的属性与另一个匹配时，要考虑数据的结构用 来保证原系统中的属性函数依赖和参照约束与目标系统中的匹配。
二、数据预处理
3.数据集成和数据变换 3.2 数据变换 数据变换的目的是将数据转换或统一成适合于挖掘的形式。
数据挖掘算法、原理与实践
王振武
二、数据预处理
1.数据预处理的目的 数据预处理（Data Preprocessing）是指在对数据进行数据挖掘的主要处
理以前，先对原始数据进行必要的清理、集成、转换、离散和归约等一系列 的处理工作，以达到挖掘算法进行知识获取研究所要求的最低规范和标准。
数据挖掘的对象是从现实世界采集到的大量的各种各样的数据。
（l）分箱 分箱是一种基于箱的指定个数自顶向下的分裂技术。通过使用等宽或等
频分箱，然后用箱均值或中位数替换箱中的每个值，可以将属性值离散化， 就像分别用箱的均值或箱的中位数光滑一样。
二、数据预处理
4.数据规约 4.5 数值离散化与概念分层
1、数值数据的离散化和概念分层产生
（2）直方图分析 直方图分析是一种非监督离散化技术。 直方图可以递归地用于每个划分，自动地产生多级概念分层，直到达到
4.抽样
a) s个样本无放回简单随机抽样（SRSWOR）
b) s个样本有放回简单随机抽样（SRSWR）
c)
聚类抽样
d) 分层抽样
二、数据预处理
4.数据规约 4.5 数值离散化与概念分层
1、数值数据的离散化和概念分层产生 数值属性的概念分层可以根据数据离散化自动构造。通常，每种方法都
数据挖掘中的数据预处理问题分析
数据挖掘中的数据预处理问题分析数据挖掘是一种从大量数据中提取实用信息的过程，而数据预处理是数据挖掘过程中的重要步骤之一。
数据预处理的目标是清洗、转换和集成原始数据，以便为后续的数据挖掘任务做好准备。
然而，在进行数据预处理时，往往会遇到一些问题，本文将对数据挖掘中的数据预处理问题进行分析，并提供解决方案。
一、缺失值处理在实际的数据中，往往会浮现缺失值的情况。
缺失值可能是由于数据采集过程中的错误、设备故障或者数据丢失等原因导致的。
缺失值的存在会影响数据挖掘的结果，因此需要对缺失值进行处理。
常用的缺失值处理方法包括删除缺失值、用均值或者中位数填充缺失值、使用插值方法填充缺失值等。
具体的处理方法需要根据数据的特点和实际情况进行选择。
二、异常值处理异常值是指与其他观测值相比具有明显差异的数据点。
异常值的存在可能是由于数据采集过程中的错误、测量误差或者数据录入错误等原因导致的。
异常值会对数据挖掘的结果产生负面影响，因此需要对异常值进行处理。
常用的异常值处理方法包括删除异常值、用均值或者中位数替代异常值、使用插值方法替代异常值等。
选择合适的异常值处理方法需要综合考虑数据的特点和实际情况。
三、数据变换数据变换是将原始数据转换为适合数据挖掘算法使用的形式。
数据变换的目的是消除数据中的噪声、减小数据的偏度以及提高数据的可解释性。
常用的数据变换方法包括对数变换、平方根变换、归一化、标准化等。
选择合适的数据变换方法需要根据数据的分布情况和数据挖掘算法的要求进行选择。
四、特征选择特征选择是从原始数据中选择最相关的特征子集，以提高数据挖掘算法的性能和效果。
特征选择的目的是减少数据维度、降低计算复杂度和提高模型的泛化能力。
常用的特征选择方法包括过滤式方法、包裹式方法和嵌入式方法。
选择合适的特征选择方法需要根据数据的特点和数据挖掘任务的要求进行选择。
五、数据集成数据集成是将来自不同数据源的数据合并为一个一致的数据集的过程。
数据集成的目的是减少数据冗余、提高数据的完整性和一致性。
数据挖掘名词解释
数据挖掘名词解释数据挖掘（Data Mining）是指从大量的复杂、未经组织的数据中，通过使用各种算法和技术来挖掘出有用的、非显而易见的、潜藏在数据中的模式和知识的过程。
以下是对数据挖掘中常用的一些名词的解释：1. 数据预处理（Data Preprocessing）：指在进行数据挖掘之前，对原始数据进行清理、转换、集成和规约等操作，以获得适合挖掘的数据。
2. 特征选择（Feature Selection）：从原始数据中选择对于挖掘目标有意义的特征或属性，用于构建挖掘模型。
特征选择可以提高挖掘模型的准确性、有效性和可解释性。
3. 数据集成（Data Integration）：将不同数据源中的数据集成到一个统一的数据仓库或数据集中，以便进行分析和挖掘。
4. 数据降维（Dimensionality Reduction）：由于原始数据中可能包含大量的特征或属性，而这些特征可能存在冗余或不相关的情况，因此需要对数据进行降维，减少数据中的特征数目，提高挖掘效率和准确性。
5. 模式发现（Pattern Discovery）：通过对数据挖掘算法的应用，从数据中发现隐藏的、有意义的模式，如关联规则、序列模式、聚类模式等。
6. 关联规则挖掘（Association Rule Mining）：从大规模数据集中挖掘出频繁出现的项集和项集之间的关联规则。
关联规则挖掘常用于市场篮子分析、购物推荐、交叉销售等领域。
7. 分类（Classification）：根据已知的样本和样本的标签，训练分类模型，然后用于对未标注样本的分类预测。
分类是数据挖掘中的一项重要任务，常用于客户分类、欺诈检测、垃圾邮件过滤等场景。
8. 聚类（Clustering）：根据数据中的相似性或距离度量，将样本划分为若干个组或簇，使得同组内的样本更加相似，不同组之间的样本差异更大。
聚类可用于市场细分、用户群体划分、图像分析等领域。
9. 时间序列分析（Time Series Analysis）：针对按时间顺序排列的数据，通过挖掘数据中的趋势、周期性、季节性等模式，预测未来的走势和变化。
数据挖掘实验报告-数据预处理
数据挖掘实验报告-数据预处理数据挖掘实验报告数据预处理一、实验目的本次实验的主要目的是深入了解和掌握数据预处理在数据挖掘过程中的重要性及相关技术，通过对实际数据集的处理，提高数据质量，为后续的数据挖掘和分析工作奠定良好的基础。
二、实验背景在当今数字化时代，数据的规模和复杂性不断增加，而原始数据往往存在着各种问题，如缺失值、噪声、异常值、不一致性等。
这些问题如果不加以处理，将会严重影响数据挖掘算法的性能和结果的准确性。
因此，数据预处理成为了数据挖掘过程中不可或缺的重要环节。
三、实验数据集本次实验使用了一个名为“销售数据”的数据集，该数据集包含了某公司在过去一年中不同产品的销售记录，包括产品名称、销售日期、销售数量、销售价格、客户信息等字段。
四、数据预处理技术（一）数据清洗1、处理缺失值首先，对数据集中的缺失值进行了识别和分析。
通过观察发现，“客户信息”字段存在部分缺失。
对于这些缺失值，采用了两种处理方法：一是如果缺失比例较小（小于5%），直接删除含有缺失值的记录；二是如果缺失比例较大，采用均值填充的方法进行补充。
2、处理噪声数据数据中的噪声通常表现为数据中的错误或异常值。
通过对销售数量和销售价格的观察，发现了一些明显不合理的数值，如销售数量为负数或销售价格过高或过低的情况。
对于这些噪声数据，采用了基于统计的方法进行识别和处理，将超出合理范围的数据视为噪声并进行删除。
（二）数据集成由于原始数据集可能来自多个数据源，存在着重复和不一致的问题。
在本次实验中，对“销售数据”进行了集成处理，通过对关键字段（如产品名称、销售日期）的比较和合并，消除了重复的记录，并确保了数据的一致性。
（三）数据变换1、数据标准化为了消除不同字段之间量纲的影响，对销售数量和销售价格进行了标准化处理，使其具有可比性。
2、数据离散化对于连续型的数据字段，如销售价格，采用了等宽离散化的方法将其转换为离散型数据，以便于后续的数据挖掘算法处理。
数据挖掘实验报告-数据预处理
数据挖掘实验报告（一）数据预处理姓名：李圣杰班级：计算机1304学号：02一、实验目的1.学习均值平滑，中值平滑，边界值平滑的基本原理2.掌握链表的使用方法3.掌握文件读取的方法二、实验设备PC一台，dev-c++三、实验内容数据平滑假定用于分析的数据包含属性age。
数据元组中age的值如下（按递增序）：13, 15, 16, 16, 19, 20, 20, 21, 22, 22, 25, 25, 25, 25, 30, 33, 33, 35, 35, 35, 35, 36, 40, 45, 46, 52, 70。
使用你所熟悉的程序设计语言进行编程，实现如下功能（要求程序具有通用性）：(a) 使用按箱平均值平滑法对以上数据进行平滑，箱的深度为3。
(b) 使用按箱中值平滑法对以上数据进行平滑，箱的深度为3。
(c) 使用按箱边界值平滑法对以上数据进行平滑，箱的深度为3。
四、实验原理使用c语言，对数据文件进行读取，存入带头节点的指针链表中，同时计数，均值求三个数的平均值，中值求中间的一个数的值，边界值将中间的数转换为离边界较近的边界值五、实验步骤代码#include <>#include <>#include <>#define DEEP 3#define DATAFILE ""#define VPT 10//定义结构体typedef struct chain{int num;struct chain *next;}* data;//定义全局变量data head,p,q;FILE *fp;int num,sum,count=0;int i,j;int *box;void mean();void medain();void boundary();int main (){//定义头指针head=(data)malloc(sizeof(struct chain));head->next=NULL;/*打开文件*/fp=fopen(DATAFILE,"r");if(!fp)exit(0);p=head;while(!feof(fp)){q=(data)malloc(sizeof(struct chain));q->next=NULL;fscanf(fp,"%d",&q->num); /*读一个数据*/p->next=q;p=q;count++;}/* 关闭文件*/fclose(fp);//输出printf("源数据为:\n");printf("共%d箱%d个数据\n",count/DEEP,count);p=head->next;count=1;num=1;while(p!=NULL){if(count==1)printf("箱%d:",num);if(count==DEEP){printf("%d\n",p->num);num++;count=1;}else{printf("%d ",p->num);count++;}p=p->next;}mean();medain();boundary();scanf("%d",&i);return 0;}//均值void mean(){printf("均值平滑后为：");box=(int *)malloc(sizeof(int)*num);p=head->next;count=1;num=0;sum=0;while(p!=NULL){if(count==DEEP){count=1;sum=sum+p->num;box[num]=sum/DEEP;sum=0;num++;}else{sum=sum+p->num;count++;}p=p->next;}for (i=0;i<num;i++){printf("\n箱%d:",i+1);for (j=0;j<DEEP;j++)printf("%d ",box[i]);}p=head->next;printf("\n离群值为：");while(p!=NULL){for(i=0;i<num;i++){for (j=0;j<DEEP;j++){if(abs(p->num-box[i])>(int)VPT){printf("\n箱%d:",i+1);printf("%d ",p->num);}p=p->next;}}}}//中值void medain(){printf("\n中值平滑后为：");p=head->next;count=1;num=0;int mid;while(p!=NULL){if(count==DEEP){box[num]=sum;count=1;num++;}else {if(count==DEEP/2||count==DEEP/2+1) if(DEEP%2){if(count==DEEP/2+1)sum=p->num;}else{if(count==DEEP/2+1)sum=(p->num+mid)/2;elsemid=p->num;}count++;}p=p->next;}for (i=0;i<num;i++){printf("\n箱%d:",i+1);for (j=0;j<DEEP;j++)printf("%d ",box[i]);}}//边界值void boundary(){printf("\n边界值平滑后为：\n");p=head->next;count=1;box=(int *)malloc(sizeof(int)*num*2); num=0;while(p!=NULL){if(count==DEEP){box[2*num+1]=p->num;count=1;num++;}else{if(count==1) {box[2*num]=p->num;}count++;}p=p->next;}p=head->next;count=1;num=0;while(p!=NULL){if(count==1)printf("箱%d:",num);if((p->num-box[2*num])>(box[2*num+1] -p->num)){printf("%d ",box[2*num+1]);}elseprintf("%d ",box[2*num]);if(count==DEEP){printf("\n");count=0;num++;}count++;p=p->next;}}实验数据文件：用空格分开13 15 16 16 19 20 20 21 22 22 25 25 25 25 30 33 33 35 35 35 35 36 40 45 46 52 70六、结果截图。
数据挖掘数据预处理
数据挖掘数据预处理数据挖掘是一种从大量数据中提取有用信息的过程，而数据预处理是数据挖掘过程中的重要步骤之一。
数据预处理的目标是清洗、转换和集成数据，以便于后续的数据挖掘分析。
数据清洗是数据预处理的第一步，它主要是识别和处理数据中的错误、缺失值和异常值。
例如，我们可以使用数据清洗技术来处理缺失值，如使用均值、中位数或众数进行填充。
对于异常值，我们可以使用统计方法或离群点检测算法来识别并进行处理。
数据转换是数据预处理的第二步，它主要是将原始数据转换为适合数据挖掘算法处理的形式。
常见的数据转换包括标准化、归一化、离散化和编码。
标准化和归一化可以将不同尺度的数据统一到同一尺度，以避免某些特征对数据挖掘结果的影响过大。
离散化将连续型数据转换为离散型数据，方便进行频繁模式挖掘和分类。
编码则是将非数值型数据转换为数值型数据，以便于算法处理。
数据集成是数据预处理的第三步，它主要是将来自不同来源的数据集合在一起。
数据集成可以通过数据匹配和数据合并来实现。
数据匹配是识别和解决不同数据源中的冲突和不一致性问题，例如相同实体的命名不一致等。
数据合并则是将匹配后的数据集合在一起，形成一个完整的数据集。
除了上述步骤，数据预处理还包括特征选择和降维等技术。
特征选择是从原始数据中选择最具有代表性和区分性的特征，以减少数据挖掘过程中的计算复杂性和提高模型的泛化能力。
降维则是将高维数据转换为低维数据，以减少存储空间和计算开销，并提高数据挖掘算法的效率。
在实际应用中，数据挖掘数据预处理的具体方法和步骤会因不同的任务和数据特点而有所差异。
例如，在文本挖掘中，数据预处理可能包括分词、去除停用词和词干提取等步骤。
在图像挖掘中，数据预处理可能包括图像分割、图像增强和特征提取等步骤。
总之，数据挖掘数据预处理是数据挖掘过程中不可或缺的一环。
通过对原始数据进行清洗、转换和集成，可以提高数据的质量和可用性，为后续的数据挖掘分析提供可靠的基础。
数据挖掘数据预处理
数据挖掘数据预处理数据挖掘是一项重要的技术，它通过对大量数据进行分析和挖掘，发现其中的隐藏模式、关联规则和趋势，为决策和预测提供支持。
然而，在进行数据挖掘之前，数据预处理是必不可少的一步，它对原始数据进行清洗、转换和集成，以提高数据质量和挖掘效果。
数据预处理包括数据清洗、数据集成、数据转换和数据规约四个主要步骤。
首先，数据清洗是指对原始数据进行检查和处理，以去除数据中的错误、缺失值、重复值和异常值。
例如，对于一个销售数据集，数据清洗可以包括检查是否有缺失的销售记录，删除重复的销售记录，修正错误的销售数据等。
其次，数据集成是将多个数据源的数据进行合并，以便进行统一的分析。
在数据集成过程中，可能会遇到数据格式不一致、数据命名不统一等问题，需要进行数据转换和映射。
例如，将来自不同销售渠道的销售数据进行合并，需要将不同渠道的销售记录统一为相同的格式，并进行字段映射。
然后，数据转换是对数据进行变换，以适应数据挖掘算法的要求。
数据转换可以包括数值化、标准化、离散化等操作。
例如，对于一个客户满意度调查的数据集，可以将满意度评分转换为数值型数据，将文本型数据进行编码等。
最后，数据规约是对数据进行简化，以减少数据集的大小和复杂性，提高数据挖掘的效率。
数据规约的方法包括维度规约和数值规约。
例如，对于一个包含多个特征的数据集，可以通过主成分分析等方法进行维度规约，将数据转化为较少的特征。
在进行数据预处理时，需要考虑以下几个方面：首先，根据数据挖掘的目标和需求，确定数据预处理的步骤和方法。
不同的数据挖掘任务可能需要不同的数据预处理方法，例如，分类任务可能需要进行数据平衡处理，异常检测任务可能需要进行异常值处理。
其次，对于缺失值的处理，可以采用删除、插补或使用特殊值等方法。
删除缺失值可能会导致数据量减少，但可以避免对数据的偏差。
插补缺失值可以使用均值、中位数、众数等方法进行填充。
使用特殊值可以将缺失值作为一个新的类别进行处理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4.4 数据规约——基于粗糙集理论的约简法
概念树的基本思路 在数据库中，许多属性都是可以进行归类，各 属性值和概念依据抽象程度不同可以进行数据 归类并构成一个层次结构，概念的这种层次结 构通常称为概念树。 概念树一般由领域专家提供，它将各个层次的 概念按一般到特殊的顺序排列。
4.4 数据规约——基于概念树的数据浓缩
属性的划分如下图所示，对于类别属性和取值 范围不宽的离散型数值属性，可以将每个属性 值映射到相应语言变量的语言值，但是对于连 续型属性、或取值范围很宽的离散型属性，必 须将其分为若干区间，然后将每个区间映射为 一个相应的语言值。
有了以上的算法就可以得到语言值所映射的区间， 其关键是求临界点，然后再对真实数据库进行处 理，转换为挖掘数据库。令真实数据库为D，属 性集为(e1,e2,…,em)，属性ei所对应的数据精度 为Pi ，划分语言值的个数为Numi ，划分语言值 的标准样本点为aj,对应的ε-邻域的半径为rj，其 中j=1,2,…, Numi ，对应的临界点数值为Vk ， 其中k=1,2,…, Numi-1，则其算法描述如下：
预处理在知识发现中所占份量
预处理
各种不同的数据源和数据对象
数据的选择、集成与整合，对问题进行限定
数据库中的数据具有噪声、缺值、不易至
数据的去噪和规范化问题，提高挖掘精度
数据的变换
规范化、映射到不同的空间，提高挖掘效率
数据的规约
取出冗余、属性聚类来压缩数据
数据的预处理是KDD&DM的重要步骤
（L）语言变量
体温、疼痛
（N） 语言值
低烧1
正常n2
…… nm
数值区间：[a0 ，a1] am] (D) 基础变量 数值： 35 37
[a1 ，a2]…
[am-1 ，
……
tm
定义4.1：在语言变量相应的基础变量论域中， 各个被划分的交叉区间的中点连同ε-邻域（ε 通常为允许误差值）内的点，称为标准样本 （点），其取值邻域称为标准值；其余诸点均 称为非标准样本（点），其取值称为非标准值。 它们分别构成标准样本空间与非标准样本空间， 并统称为一般样本空间。
主要有两个途径：属性选择和数据抽样，分别 针对数据库中的属性和记录。 属性选择包括针对属性进行剪枝、并枝、找相 关等操作。 数据抽样是进行数据记录之间的相关性分析， 用少量的记录基底的线性组合来表示大量的记 录。它主要得用统计学中的抽样方法如简单随 机抽样、等距抽样、分层抽样等。
4.4 数据规约——基于粗糙集理论的约简法
4.2 数据清理
另一个重要内容是数据类型的转换，通常是指 连续属性的离散化 离散化方法有等距区间法、等频区间法和最大 熵法。 通过离散化，可以有效地减少数据1数据库与数据仓库 4.2数据选择与集成 4.3数据清理 4.4数据归约 4.5数据变换 4.6数据离散
预处理的基本功能
预处理主要是接受并理解KDD要求，确定发现 任务 抽取与发现任务相关的数据源，根据背景知识 中的约束性规则对数据进行合法性检查 通过清理和归约等操作，生成供挖掘核心使用 的目标数据。 它汇集了原始数据库中与发现有关的所有数据 的总体特征，是知识发现状态空间的基底。
4 数据挖掘的预处理
4 数据挖掘的预处理
4.1数据库与数据仓库 4.2数据选择与集成 4.4数据清理 4.4数据归约 4.5数据变换 4.6数据离散
数据变换
数据变换主要是找到数据的特征表示，用维变 换或转换方法减少有效变量的数目或找到数据 的不变式，包括规格化、归约切换、旋转和投 影等操作。
简单变换
4.4 数据规约——基于统计分析的属性选择
可以采用统计分析中的一些算法来进行 特征属性的选取，比如主成分分析、逐 步回归分析。这些方法的共同特征是用 少量的特征元组去描述的原始数据。
4.4 数据规约——基于统计分析的属性选择
主成分分析的思想是：对于给定的输入数据 矩阵X，计算其相关系数矩阵R=X· X，取与R 中最大的几个特征值相应的特征向量作为主 成分。其中数据准则是希望每次取得一个综 合变量的方差，在原变量的全部方差（或剩 下的全部方差）中所占的比例最大。
4.2 数据清理
数据清理要去除源数据集中的噪声和无关数据 处理遗漏数据和清洗脏数据 去除空白数据域和知识背景上的白噪声 考虑时间顺序和数据变化等，主要包括重复数 据处理和缺值数据处理 完成一些数据类型的转换。
4.2 数据清理
数据清理可以分为有监督和无监督 有监督过程是在领域专家的指导下，分析收集 的数据，去除明显错误的噪音数据和重复记录， 填补缺值数据； 无监督过程是用样本数据训练算法，使其获得 一定的经验，并在以后的处理过程中自动采用 这些经验完成数据清理工作。
连续属性也称实数的（real）、或有序的 （ordered）、或数值的（numerical）
连续属性离散化在KDD中是一个很重要的问题。很 多数据挖掘和知识发现算法要求连续属性数据必须预 先离散化之后才行。 离散化的任务是把连续属性的取值范围或取值区间划 分为若干个数目不太多的小区间，其中每个区间对应 着一个离散的符号。
4.4 数据规约——基于粗糙集理论的约简法
粗糙集（Rough Set, RS） 采用RS理论作为数据预处理方法具有许多的 优点：不需要预先知道额外信息；算法简单、 易于操作。应用RS的属性约简可以有效地去 除冗余现象，同样可以应用RS方法中的约简 技术删除 某些属性的多余值，从而使条件属 性的个数和取值得到约简。 但是，RS理论只能处理离散型属性。对于连续 的属性必须先进行离散化才能再运用RS理论 进行处理。
4.1 数据集成——冗余
冗余的原因：数据库设计，不同来源的数 据引起的数据的相关性 冗余检验：属性的相关性——属性A,B 其 相关性度量
rA , B
(A
A )( b B ）
B
（ n 1 ) A
4.2数据清理
4.1数据选择与集成 4.2数据清理 4.4数据归约 4.4数据变换 4.5数据离散
粗糙集（Rough Set, RS） 一种研究不精确、不确定性知识的数据学工具， 目前受到了KDD研究者的广泛重视，用RS理 论对数据时行处理是一种十分有效的精简数据 维数的方法。我们所处理的数据一般存在信息 的含糊性问题，含糊性有三种，术语的模糊性， 知识自身的不确定性；数据的不确定性。
4.4 数据规约——基于粗糙集理论的约简法
基于概念树的数据预处理方法是一种归纳方法， 其实是数据库中元组合并的处理过程，其基本 思路如下 ： 首先，一个属性的具体的值被该属性的概念树 中的父概念所代替，然后对相同元组进行合并， 构成更宏观的元组，并计算宏元组所覆盖的元 组数目仍然很大，那么用该属性的概念树中父 概念去替代或者根据另一个属性进行概念树的 提升操作，最后行成覆盖面更广、量更少的宏 元组。
数据挖掘与知识发现 （复杂数据对象的数据挖掘与知识发现）
4 数 据 挖掘的预处理
数据挖掘的困难所在
Noise Skewed distribution Missing values (incomplete info) Scalability High dimensionality Bias in data ...
4.4 数据规约——基于统计分析的属性选择
主成分方法的特点是将描述某一事物的 多个变量压缩成描述该事物的少数几个 合变量或称主成分（通常用原变量的线 性组合表示），旨在用新的少数几个综 合变量代替原始变量，并使这 种替代所 蒙受的损失最少。主成分分析法具有变 差最优性。信息损失最小性。相关最优 性和回归最优性，使它得以成为多元降 维的重要工具之一。
4.1数据选择与集成 4.2数据清理 4.4数据归约 4.4数据变换 4.5数据离散
4.1 数据选择
分析需求和应用，了解业务背景 确定分析主题 数据库或数据仓库中选择索要分析的数据 利用数据转换工具进行分析处理
4.1 数据集成
将多文件或多数据库运行环境中的异构数据 进行合并处理，解决语义的模糊性。解决数 据的冲突问题以及不一致数据的处理问题。
例如，设当前考察的属性是年龄，则一种可能的离散 化是[0...11] 小孩，[12...17] 少年，[18...44] 青壮年，[45-69]中年，[79...] 老年。
连续属性离散化
连续属性离散化的方法有很多种： ①是否自动离散化：完全由人手工离散化，完 全由机器自动离散化，机器辅助人离散化。一 般地，离散化是指机器自动离散化。 ②是否与分类或决策类别有关：一是考虑分类 类别；另一是不考虑分类类别，这种方法可用 于非监督学习或概念聚类学习，不过当用于带 有类别标记的分类学习时效果肯定不会好于上 面的方法。
平滑：去噪,方法：回归、聚类 聚集：不同估量单位的聚集，如日-月-年 数据概化：抽象和提升 规范化：将数据转化到一定区间，[0，1] 最小-最大规范化：
v v min max
A A A
min
( new _ max
A
new _ min
A
) new _ min
A
零均值规范化：
v v A
粗糙集（Rough Set, RS） RS理论的最大特点是无需提供问题所需处理 的数据集合之外的任何先验信息，其基本思路 是利用定义在数据集合U上等价关系对U进行 划分。对于数据表来说，这种等价关系可以是 某个属性，或者是几个属性的集合。因此按照 不同属性的组合就把数据表划分成不同的基本 类。在这些基本类的基础上进一步求得最小约 简集。