汕头大学数据挖掘期末复习

大学2019数据挖掘期末复习资料（浩军老师班）

考试围：数据预处理、数据关联分析、分类与预测、SVM、K-MEANS、聚类

考试题型：简答题，复习请以实验相关容为主

数据挖掘课程的主要容：

1.数据挖掘概述

2.数据预处理

3.数据挖掘算法－关联分析

4.数据挖掘算法－分类与预测

5.数据挖掘算法－聚类分析

一、数据挖掘概述

什么是数据挖掘？

数据挖掘概念：从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术（机器学习）的综合。

数据挖掘定义：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据的特征：大容量、含噪音（不完全、不正确）、异质数据（多种数据类型混合的数据源，来自互联网的数据是典型的例子）

数据挖掘有哪些步骤？

1.确定预测目标

2.统计数据特征

3.根据数据特征进行数据预处理

4.应用数据挖掘模型（分类、聚类、关联分析、离群点挖掘、标记等）

5.分析模型的准确率

6.找出影响模型准确率的因素，回到第3步迭代直到模型足够完美。

二、数据预处理

数据预处理有哪些步骤？

1.数据清理

2.数据集成

3.数据归约

4.数据变换与数据离散化

为什么要进行数据预处理？

现实世界的数据是不完整的、含有噪声的、不一致的、冗余的。低质量的数据将导致低质量的挖掘结果。

1)现实世界的数据一般是脏的、不完整的和不一致的。

2)数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。

3) 高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。

数据的质量涉及的三个要素是？

准确性，完整性和一致性。现实世界的数据一般是脏的不完整的不一致的。数据预处理技术可以改善数据的质量。

如何填充数据中存在的缺失值？

1.忽略元组（删除）

2.使用一个全局常量填充空缺值（例如NULL）

3.使用属性的平均值、众数、中位数来填充空缺值

4.人工填充空缺值

数据清理

补充缺失的属性值：使用属性的中心度量（如均值或者中位数或者众数（频率度量出现单峰）填充缺失值。使用最可能的值填充缺失值（可以用回归，使用贝叶斯形式化方法）光滑数据，去掉噪声：噪声是被测量的变量的随机误差或者方差。

数据光滑的技术：分箱法，把有序的数据数量等频地分到箱子中，可以用箱的均值光滑，用箱的边界值光滑，用箱的中位数光滑。

数据集成将数据由多个数据源合并成一个一致的数据存储，如数据仓库（集成多个数据库）。

数据归约可以通过如聚集、删除冗余特征或者聚类来降低数据的规模。（得到数据的简化表示）

简化数据、但产生相同或者相似的结果

通过选择替代的、“较小的”数据表示形式来减少数据量。

数据变换（例如，规化,离散化）可以把数据压缩到较小的区间，如0.0到1.0。这可以提高涉及距离度量的挖掘算法的准确率和效率。

规化和聚集

数据最小-最大规化

最小-最大规化：将原始数据v经线性变换，映射到区间[new_minA, new_maxA]

选择区间，找到数据最大值和最小值，进行区间规化

离群点可能影响规化

零族规化z-score规化（零均值规化）：属性A的值基于A的平均值和标准差规化。对离群点不敏感

A

A

v

v

σ

μ

-

='

离散化：通俗的说，离散化是在不改变数据相对大小的条件下，对数据进行相应的缩小。概念解释

离群点：与数据的一般行为或模型不一致的数据对象

数据错误不可避免

数据输入和获取过程出现的错误

数据集成表现出来的错误

数据传输过程所引入的错误

分箱：通过考察数据的“近邻”（周围的值）来光滑有序数据的值。局部光滑。

回归：（线性回归，多元线性回归）用一个函数（回归函数）拟合数据来光滑数据。

聚类：将类似的值聚集为簇。

可以识别并删除离群点、解决数据的不一致

基本描述数据汇总的图形显示（数据排序后使用）

盒图（需要先将数据进行有序排列）：

盒图可以用五数概括（上下四分位数、中位数、上下边缘）

四分位数是3个值，把排序的数据集分成4个相等的部分。盒的端点一般在四分位数上，使得盒的长度是四分位数的极差IQR（上四分位数75%，下四分位数25%）

中位数用盒的线标记。

盒外两条虚线(称为胡须)延伸到最小和最大的观测值（上边缘、下边缘）。

超过过四分位数1.5*IQR时，单独画出离群点，否则让胡须扩展到它们。

直方图：通常让一个桶代表给定属性的一个连续值域。概括给定属性分布的图形方法，每个矩形等宽。

分位数图：是一种观察单变量数据分布的简单有效的方法。分位数-分位数图可以查看一个分布到另外一个分布是否有漂移（确定间隔）

散布图（散点图）：是一种观察双变量数据的有用的方法，用于观察点簇和离群点，或考察相关联系的可能性。确定两个数值变量之间看上去是否存在联系、模式或者趋势的有效图形之一。两个变量属性的三个关系可以从散点图上看出来：正相关、负相关、不相关。

分布式度量、代数度量、整体度量的概念

1)分布式度量：可以通过如下方法计算度量（即函数）：将数据集划分成较小的子集，计算每个子集的度量，然后合并计算结果，得到原（整个）数据集的度量值。sum()、count()、min()、max()

2）代数度量：可以通过应用一个代数函数于一个或多个分布度量计算的度量（平均数sum/count）

3）整体度量：必须对整个数据集计算的度量。例如：中位数、众数

三、数据关联分析

关联规则挖掘(Association Rule Mining)是数据挖掘中最活跃的研究容之一。

一个典型的关联规则的例子：70%购买了牛奶的顾客将倾向于同时购买面包。

发现这样的关联规则可以为市场预测、决策和策划等方面提供依据。

技术用语解释：

频繁模式是频繁地出现在数据集中的模式（如项集、子序列、子结构）

频繁项集：例如，频繁地同时出现在交易数据集中的商品项目（如牛奶与面包）的集合是频繁项集。

序列模式：例如，先买PC，然后是数码相机，再后是存卡，如果它频繁地出现在历史数据库中，则称它为一个频繁的序列模式。

子结构：一个子结构可能涉及不同的结构形式，如子图、子树或者子格，它可能与项集或者子序列结合在一起。如果一个子结构频繁地出现，则称它为频繁的结构模式。

关联规则中的支持度和置信度？

规则的支持度和置信度是规则兴趣度的两种度量。它们分别反映所发现规则的有用性和确定性。

Computer=>antivirus_software[support = 2%;confidence =60%]

表示所分析的所有事物的2%显示计算机和杀毒软件被同时购买，置信度60%意味购买

计算机的顾客60%也购买了杀毒软件。

支持度（项集X在交易集中出现的概率）

可信度（置信度）

?关联规则的可信度(Confidence)是指包含X和Y的交易数与包含X的交易数之

比：

support(X)

Y)

support(X

Y)

(X

confidence

?

=

?

?关联规则的可信度反映了如果交易中包含X，则交易中同时出现Y的概率。

?例如：关联规则R

1

: {bread} ? {milk}的可信度为confidence(R

1

) = support({bread,milk}) / support({bread})= 0.5/0.7 = 5/7。

项目与项集

?设I={i

1

, i

2

, …, i

m

}是由m个不同项目构成的集合，其中的每个i

k

(k=1, 2, …, m)被称为一个项目(Item)。

?例如：在超市的关联规则挖掘中，项目就是顾客购买的各种商品，如：bread, milk等。

?项目的集合I被称为项目集合(Itemset)，简称项集。

?I中元素个数称为项集的长度；

?例如：超市出售6种商品，即：项集I中包含6个项目，则I的

长度为6。

?长度为k的项集称为k-项集(k-Itemset)。

?例如：对于项集{cake, milk}，可称为2-项集。

项集的最小支持度与频繁集

?用于发现关联规则的项集必须满足的最小支持度的阈值，称为项集的最小支持

度(Minimum Support)，记为sup

min

。

?从统计意义上讲，它表示用户关心的关联规则必须满足的最低重要性。

?只有满足最小支持度的项集才能产生关联规则。

?支持度大于或等于sup

min

的项集称为频繁项集，简称频繁集，反之则称为非频繁集。

?通常，k-项集如果满足sup

min

，可称为k-频繁集，记作L

k

。

强关联规则

?关联规则的最小支持度(Minimum Support)表示关联规则需要满足的最低支持

度，记为sup

min

。

?关联规则的最小可信度(Minimum Confidence)表示关联规则需要满足的最低可

信度，记为conf

min

。

?如果关联规则同时满足如下两个条件：

support(X?Y) ≥ sup

min

confidence(X?Y) ≥ conf

min

?称关联规则为强关联规则，否则称为弱关联规则。

?在挖掘关联规则时，产生的关联规则要经过sup

min 和conf

min

的衡量，筛选出来

的强关联规则才能用于指导决策。

关联规则的挖掘：

经典算法：Apriori算法

关联规则挖掘包含以下两个步骤：

?首先，找出所有频繁集；

?其次，由频繁集产生强关联规则。

Apriori算法通过多次扫描数据集，找出所有频繁集，然后用这些频繁集产生强关联规则

Apriori算法通过迭代来穷举出数据集中的所有频繁集。

?算法过程：

?输入数据集D，最小支持度阈值SUPmin

?首先，产生1-频繁集L

1

；

?其次，在L

1

上通过连接和修剪产生2-频繁集L2；

?依次类推，可在L

k

上通过连接和修剪产生(k+1)-频繁集L k+1；

?最后，直到无法产生新的频繁集为止。

?连接：只相差一个项目的两个项集才能进行连接（集合“并”操作）。

例如：由L

2生成C

3

的过程中，L

2

中的{A,C}和{B,C}只相差一个项目，因此它们

可以连接生成{A,B,C}。

但是，L

2

中的{A,C}和{B,E}无法进行连接。

?修剪：去除子集不是频繁集的项集。

Apriori算法的性质：频繁集的所有非空子集也一定是频繁的。

例如：虽然L

2

中的{A,C}和{B,C}可以连接生成{A,B,C}，但是由于{A,B,C}的子集

{A,B}不是频繁集(不在L

2中)，因此，需要从C

3

中删除{A,B,C} 。

描述算法过程：

1.输入：数据集D，最小支持度阈值sup

min

。

2.K=1

3.产生CK:K-候选频繁集

4.根据最小支持度筛选K-候选频繁集生成LK:K-频繁集

5.循环2~3步骤，直到无法生成新的频繁集为止

6.输出可以产生关联规则的所有频繁集L。

Apriori的挑战与改进思路

?挑战

?多遍事务数据库扫描

?候选频繁项集的数目巨大

?候选项集的计数工作量较大

?改进Apriori：思路

?减少事务数据库扫描次数

?减少候选项集数目

?有效支持候选项集的计数

提高Apriori的有效性

1.基于散列的技术

2.事务压缩

3.划分

4.抽样

5.动态项集技术

四、数据分类与预测

分类有那些方法，优缺点？

判定树归纳分类（缺失数据敏感）

-优点：

1．决策树易于理解和解释

2.能够同时处理数据型和常规型属性

3．在相对短的时间能够对大型数据源做出可行且效果良好的结果。

4.如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

-缺点：

一、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。

二、决策树处理缺失数据时的困难。

三、过度拟合问题的出现。

四、忽略数据集中属性之间的相关性。

朴素贝叶斯分类：（缺失数据不敏感）

-优点：易于实现,对缺失数据不太敏感，算法也比较简单，常用于文本分类。小规模数据表现好.

-缺点：需要知道先验概率，很多时候先验概率基于假设，假设类条件独立假设不一定总是成立。朴素贝叶斯分类无法对属性之间的依赖关系建模。

人工神经网络分类（缺失数据不敏感）

-优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。

缺点：神经网络需要大量的参数。不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。

SVM支持向量机（缺失数据敏感）

SVM的优点：

一、可以解决小样本情况下的机器学习问题。

二、可以提高泛化性能。

三、可以解决高维问题。

四、可以解决非线性问题。

五、可以避免神经网络结构选择和局部极小点问题。

SVM的缺点：

一、对缺失数据敏感。

二、对非线性问题没有通用解决方案，必须谨慎选择Kernelfunction来处理。

遗传算法的优点：

一、与问题领域无关切快速随机的搜索能力。

二、搜索从群体出发，具有潜在的并行性，可以进行多个个体的同时比较，鲁棒性好

三、搜索使用评价函数启发，过程简单。

四、使用概率机制进行迭代，具有随机性。

五、具有可扩展性，容易与其他算法结合。

遗传算法的缺点：

一、遗传算法的编程实现比较复杂,首先需要对问题进行编码,找到最优解之后还需要对问题进行解码,

二、另外三个算子的实现也有许多参数,如交叉率和变异率,并且这些参数的选择严重影响解的品质,而目前这些参数的选择大部分是依靠经验.没有能够及时利用网络的反馈信息,故算法的搜索速度比较慢，要得要较精确的解需要较多的训练时间。

三、算法对初始种群的选择有一定的依赖性，能够结合一些启发算法进行改进。

K-最临近分类KNN

优点

简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归；

可用于数值型数据和离散型数据；

训练时间复杂度为O(n)；无数据输入假定；

对异常值不敏感。

缺点：

计算复杂性高；空间复杂性高；

样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；

一般数值很大的时候不用这个，计算量太大。但是单个样本又不能太少，否则容易发生误分。

最大的缺点是无法给出数据的在含义。

聚类分析有哪些方法？它们的优缺点是什么？

k-means：是一种典型的划分聚类算法，它用一个聚类的中心来代表一个簇，即在迭

代过程中选择的聚点不一定是聚类中的一个点，该算法只能处理数值型数据。

优点：k 均值聚类法快速高效,特别是大量数据时,准确性高一些,但是需要你自己指定聚类的类别数量

均值漂移聚类

高斯混合模型最大期望聚类

什么是分类、什么是预测？

?分类

?预测类标识（离散的）

?基于带类标识的数据构建分类模型，然后使用分类模型对未知类标识的

数据分类

?预测

?对连续值函数建模，即预测未知或丢失的值

分类——一个两步的过程

?建立模型：描述数据中的类

?每个元组/样本都属于由其类标识所确定的类

?用于构建模型的数据集被称为训练数据集

?模型的表现形式有分类规则，判定树，和数学公式

?使用模型进行分类：将未知类标识的数据分类

?评估模型的预测准确率

?将模型预测的测试样本的类与测试样本的类标识进行比较

?模型的预测准确率等于被模型正确分类的测试样本在测试数据

集中所占的比例

?测试数据集应该与训练数据集相互独立，否则将会产生过拟合问

题

?如果模型的预测准确率可以接受，就可用模型对未知类标识的数据对象

进行分类

有指导的学习（分类）

?指导：训练数据（度量，观察）带有类标识，即训练数据集中的每个数

据对象所属的类已知

无指导的学习（聚类）

?训练数据的类标识未知

?对给定的一组观察数据或度量数据，识别数据中存在的类（簇）

-信息熵指的是系统的混乱程度

小结

?分类是一个被广泛研究的问题（主要在统计学，机器学习和神经网络）

?分类是数据挖掘中用得最多的技术之一

?判定树归纳、朴素贝叶斯分类、贝叶斯信念网络、后向传播、关联挖掘等算法

?评估模型的准确率；提高模型的准确率；其他度量模型准确性的量

支持向量机SVM(一种对线性和非线性数据进行分类的方法)

1.SVM从线性可分情况下的最优分类面发展而来。

2.最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。

3.SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。