数据挖掘研究现状综述

数据挖掘

引言

数据挖掘是一门交叉学科，涉及到了机器学习、模式识别、归纳推理、统计学、数据库、高性能计算等多个领域。

所谓的数据挖掘（Data Mining）指的就是从大量的、模糊的、不完全的、随机的数据集合中提取人们感兴趣的知识和信息，提取的对象一般都是人们无法直观的从数据中得出但又有潜在作用的信息。从本质上来说，数据挖掘是在对数据全面了解认识的基础之上进行的一次升华，是对数据的抽象和概括。如果把数据比作矿产资源，那么数据挖掘就是从矿产中提取矿石的过程。与经过数据挖掘之后的数据信息相比，原始的数据信息可以是结构化的，数据库中的数据，也可以是半结构化的，如文本、图像数据。从原始数据中发现知识的方法可以是数学方法也可以是演绎、归纳法。被发现的知识可以用来进行信息管理、查询优化、决策支持等。而数据挖掘是对这一过程的一个综合性应用。

目录

引言 (1)

第一章绪论 (3)

1.1 数据挖掘技术的任务 (3)

1.2 数据挖掘技术的研究现状及发展方向 (3)

第二章数据挖掘理论与相关技术 (5)

2.1数据挖掘的基本流程 (5)

2.2.1 关联规则挖掘 (6)

2.2.2 .Apriori算法：使用候选项集找频繁项集 (7)

2.2.3 .FP-树频集算法 (7)

2.2.4.基于划分的算法 (7)

2.3 聚类分析 (7)

2.3.1 聚类算法的任务 (7)

2.3.3 COBWEB算法 (9)

2.3.4模糊聚类算法 (9)

2.3.5 聚类分析的应用 (10)

第三章数据分析 (11)

第四章结论与心得 (14)

4.1 结果分析 (14)

4.2 问题分析 (14)

4.2.1数据挖掘面临的问题 (14)

4.2.2 实验心得及实验过程中遇到的问题分析 (14)

参考文献 (14)

第一章绪论

1.1 数据挖掘技术的任务

数据挖掘技术并不是仅仅面向特定数据库的简单检索查询，而是对大量的数据从宏观、微观的角度进行统计、分析、综合和推理，进而来指导现实生活中实际问题的解决，有时还要根据已有的数据展开推理预测。数据挖掘的主要任务是分类、聚类、关联、序列等。

分类就是在数据中找出一个类别的概念描述，这个概念代表了这类数据的基本信息，即该类概念的内涵描述，然后根据这种描述建立模型。常用的分类构造方法主要有统计方法、机器学习方法、神经网络方法等。其中统计方法包括贝叶斯法和非参数法，机器学习方法包括决策树法和规则归纳法，神经网络法主要是以BP算法为主。

聚类就是把具有相似性的数据归纳成若干类别，同一类别的数据相似，不同类别的数据相异，聚类分析可以在分类的基础上进一步建立宏观的概念，进而发现数据的分布模式。

当两个或者两个以上变量的取值直接存在某种规律性时，我们就可以称之为关联。

序列和关联类似，只是把关联中一起发生的项目间关系扩展成一段时间的项目集间的关系，因此，序列常常被看作由时间变量连起来的关联。序列的主要作用是分析长时间的相关记录，进而发现经常发生的模式。

1.2 数据挖掘技术的研究现状及发展方向

近年来，随着计算机科学领域的快速发展，数据挖掘技术作为一种新兴的学科，其研究热度正在逐渐升温，研究的水平也在逐步提高，同时由于国家政府的政策支持与资金支持，越来越多的数据专业研究者被吸引加入其中。在数据挖掘技术未来的研究过程中，其主要方向应包括以下几点：（1）参照于SQL 语言的标准化的研究成果，对数据挖掘技术进行形式化的描述，即发现数据语言。（2）为实现关于数据额挖掘技术人机交互工作的顺利开展，应满足用户对知识发现过程的可视化进程。（3）研究在计算机领域的数据挖掘技术的发展，可以通过数据

挖掘服务器的有效配合的方式实现。

数据挖掘技术是面向应用的。数据挖掘的研究有利地促进了数据挖掘技术应用的发展与推广。在当今，数据的信息量是非常的庞大的，因为我们所获得的大量的实验数据的观测如果仅仅是去依靠一些比较传统的分析数据的工具，是非常的不靠谱的。所以，对一些具有强大功能且具有自动化的工具的需要就越来越迫切了，这很显然的推动了数据挖掘技术的发展，并还在一定的程度之上取得了重要的成果。随着研究的深入，数据挖掘技术的应用越来越广泛。主要集中在以下几方面：

（1）医学领域，随着医院信息系统和健康网站的发展，医疗活动、医学研究和健康信息行为中的数据被存储下来，形成了海量的健康医疗大数据。这类数据的数据量大，存储形式多样，难以用传统数据处理方法进行处理数据挖掘由于能够分析海量异构数据，越来越多地被应用于健康医疗领域。针对相关的生物医学与DNA的数据所分析的数据进行挖掘。数据挖掘技术在基因工程中的染色体、基因序列的识别分析、基因表达路径分析、基因表达相似性分析、以及制药、生物信息和科学研究等方面都有广泛应用。

（2）金融领域，针对其金融的分析因为一些金融的投资一般都存在着很大的风险，所以我们在进行投资和决策的时候，就需要去对各种各样的投资方向相关的数据进行分析，我们现在不但可以对所获取的一些信息进行加工和处理，还可以对市场进行预测。此外，数据挖掘技术广泛应用于银行的存款贷款趋势预测，优化存款贷款策略和投资组合。

（3）零售业，在零售业当中，运用数据挖掘技术不但可以在一定的程度之上了解相关消费者的消费倾向，从而迎合消费者的口味，制定出更加接地气的市场政策，以提高销售额。当然，还可以适当的预测行业状况。例如，数据挖掘技术被用来进行分析购物篮来协助货架设置，安排促销商品组合和促销时间商业活动。（4）保险业，当中数据挖掘的应用我们知道，保险业是一种风险性十分巨大的业务。相关的研究表明，数据挖掘技术的运用不但可以预测相关风险性，还可以在一定的程度之上为保险业务工作者提供正确的方向。很明显，这是非常的有利于保险业的持续性发展的。

（5）商务管理，数据挖掘技术被用于分析客户的行为，分类客户，以此进一

步针对客户流失、客户利润、客户响应等方面进行分析，最终改善客户关系管理。

第二章数据挖掘理论与相关技术

2.1数据挖掘的基本流程

在数据挖掘领域中使用率较高的是跨行业标准数据挖掘流程CRISP-DM(Cross-Industry Standard Process for Data Mining)，它是欧盟机构于1999 年联合起草的。CRISP-DM 流程可以简单分为如图2-2 所示的围绕被挖掘数据展开的六个步骤：

1.商业理解

理解数据来源业务的目标，也就是说通过数据想要挖掘到什么信息，想要达到或者实现什么样的结果。这一步骤是通过CRISP-DM 基本流程进行数据知识获取的“目标和方向”。

2.数据理解

了解可以进行数据挖掘的数据概况，包括数据源、数据内容、数据类型、数据完整性等等。这一步骤与上一步骤是一个迭代关系，在进行数据理解的时候要结合商业理解来判断和检查数据，筛选出与商业理解有关联的可用数据，剔除掉无关和无用的数据。同时在进行数据理解的时候也是对商业理解的融会贯通和横纵扩展，能进一步明确和丰富挖掘目标。

3.数据准备

这一步骤是将通过第一二步骤初步确定出的源数据进行萃取(Extract)—转制(Transform)—加载(Load)后的提炼过程，简称ETL过程。当数据源的数据数量越庞大、数据的转换规则越复杂时，ETL的过程就越困难。但这一过程完成的好坏也直接决定进行分析的数据质量，从而影响分析和挖掘结果的准确性和可靠性。

4.建立模型

当数据准备完成后，当然就是根据数据情况和业务目标特征，选择合适的算法模型，对数据进行建模。运行合适的模型能够有效的达到挖掘目标，提炼出有意义的知识模式。

5.评估模型

挖掘出什么样的结果才是真正有趣的知识模式？对模型进行评估就是通过检测结果的可信度、精确度等，从而判定结果是否达到了挖掘目标。如果评估后发现建模结果并不理想，那就需要再返回第三步或第四步，认真检查数据是否符合需求，以及模型是否需要进行修正或变更等。

6.发布模型

当确认分析和挖掘结果达到要求了，需要将结果进行发布。，通过简洁的文字描述，或者转化为多维表格、时间序列折线图、散列图、饼状图等这些直观、形象的可视化图表，展示最终结果。

2.2关联规则挖掘主要算法

2.2.1 关联规则挖掘

从数据库中发现关联规则近几年研究最多。目前，已经从单一概念层次关联规则的发现发展到多个概念层次的关联规则的发现。关联分析包括数据属性间关联关系的分析和数据属性间关联规则的发现两部分。关联关系主要有简单关系、时序关系、因果关系等多种类型，关联分析的目的在于发现数据之间是否存在相互关联相互影响的情况，从而组建数据属性之间的关系网。关联关系的确定和强弱可以通过协方差来衡量，协方差在数学统计和概率学中是标识两个随机变量相互关系的一种统计测度。

关联规则数据挖掘中最经典的案例就是沃尔玛的啤酒和尿布的故事。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”

2.2.2 .Apriori算法：使用候选项集找频繁项集

该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。使用了递推的方法, 生成所有频繁项目集。

2.2.3 .FP-树频集算法

FP-树频集算法针对Apriori算法的固有缺陷。采用分而治之的策略，不产生候选挖掘频繁项集，在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树(FP-tree)，同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。当原始数据量很大的时候，也可以结合划分的方法,使得一个FP-tree可以放入主存中。实验表明，FP-growth对不同长度的规则都有很好的适应性，同时在效率上较之Apriori算法有巨大的提高。

2.2.4.基于划分的算法

算法先把数据库从逻辑上分成几个互不相交的块，每次单独考虑一个分块并对它生成所有的频集，然后把产生的频集合并，用来生成所有可能的频集，最后计算这些项集的支持度。这里分块的大小选择要使得每个分块可以被放入主存，每个阶段只需被扫描一次。而算法的正确性是由每一个可能的频集至少在某一个分块中是频集保证的。该算法是可以高度并行的，可以把每一分块分别分配给某一个处理器生成频集。产生频集的每一个循环结束后，处理器之间进行通信来产生全局的候选k-项集。通常这里的通信过程是算法执行时间的主要瓶颈；而另一方面，每个独立的处理器生成频集的时间也是一个瓶颈。

2.3 聚类分析

2.3.1 聚类算法的任务

数据挖掘的重要任务之一就是发现大型数据中的积聚现象，并加以定量化描述。聚类分析就是基于“物以类聚”的朴素思想，根据事物的特征对其进行聚类

或分类即按照某种相似性度量，具有相似特征的样本归为一类，使得类内差异相似度较小，而类间差异较大。这里给出Everitt 在1974 年关于聚类所下的定义：一个类簇内的实体是相似的，不同类簇的实体是不相似的；一个类簇是测试空间中点的会聚，同一类簇的任意两个点间的距离小于不同类簇的任意两个点间的距离；类簇可以描述为一个包含密度相对较高的点集的多维空间中的连通区域，它们借助包含密度相对较低的点集的区域与其他区域（类簇）相分离。

聚类算法的目的是寻找数据中潜在的自然分组结构和感兴趣的关系。聚类分析则是用数学方法研究和处理所给对象的分类以及各类之间的亲疏程度，是在对数据不作任何假设的条件下进行分析的工具。

2.3.2 BIRCH 算法

BIRCH 是一个综合的层次聚类方法。它用聚类特征和聚类特征树（CF ）来概括聚类描述。描述如下：

对于一具有N 个d 维数据点的簇{i x

}(i=1,2,3,…,N)，它的聚类特征向量定义为：

CF = (N , S L , SS)

其中N 为簇中点的个数；S L 表示N 个点的线性和(∑=i N i o 1)，反映了簇的重

心，SS 是数据点的平方和(∑=N i i o 12 )，反映了类直径的大小。 此外，对于聚类特征有如下定理：

定理１ 假设),,(1111SS S L N CF =与),,(2222SS S L N CF =分别为两个类的聚类

特征，合并后的新类特征为

),,(21212121SS SS S L S L N N CF CF +++=+

该算法通过聚类特征可以方便地进行中心、半径、直径及类内、类间距离的运算。CF 树是一个具有两个参数分支因子B 和阈值T 的高度平衡树，它存储了层次聚类的聚类特征。 分支因子定义了每个非叶节点孩子的最大数目，而阈值给出了存储在树的叶子节点中的子聚类的最大直径。CF 树可以动态的构造，因此不要求所有的数据读入内存，而可在外存上逐个读入数据项。一个数据项总是被插入到最近的叶子条目（子聚类）。如果插入后使得该叶子节点中的子聚类的直径大于阈值，则该叶子节点及可能有其他节点被分裂。新数据插入后，关于该

数据的信息向树根传递。可以通过改变阈值来修改CF 树的大小来控制其占内存容量。BIRCH 算法通过一次扫描就可以进行较好的聚类，故该算法的计算复杂度是O(n),n 是对象的数目。

2.3.3 COBWEB 算法

概念聚类是机器学习中的一种聚类方法，大多数概念聚类方法采用了统计学的途径，在决定概念或聚类时使用概率度量。COBWEB 以一个分类树的形式创建层次聚类，它的输入对象用分类属性—值对来描述。

分类树和判定树不同。分类树中的每个节点对应一个概念，包含该概念的一个概率描述，概述被分在该节点下的对象。概率描述包括概念的概率和形如P(Ai=Vij|Ck)的条件概率，这里Ai=Vij 是属性-值对，Ck 是概念类。在分类树某层次上的兄弟节点形成了一个划分。COBWEB 采用了一个启发式估算度量——分类效用来指导树的构建。分类效用定义如下：

n V A P C V A P C P n k i j i j

ij i k ij i k ∑∑∑∑∑==-=122])()|()[(

n 是在树的某个层次上形成一个划分{n C C C ,,,21 }的节点、概念或“种类”的数

目。分类效用回报类内相似性和类间相异性：

概率P(Ai=Vij|Ck)表示类内相似性。该值越大，共享该属性-值对的类成员比例就越大，更能预见该属性-值对是类成员；概率P(Ck|Ai=Vij)表示类间相异性。该值越大，在对照类中的对象的共享该属性-值对就越少，更能预见该属性-值对是类成员。给定一个新的对象，COBWEB 沿一条适当的路径向下，修改计数，寻找可以分类该对象的最好节点。该判定基于将对象临时置于每个节点，并计算结果划分的分类效用。产生最高分类效用的位置应当是对象节点的一个好的选择。

2.3.4模糊聚类算法FCM

聚类可以引入模糊逻辑概念。对于模糊集来说，一个数据点都是以一定程度属于某个类，也可以同时以不同的程度属于几个类。常用的模糊聚类算法是模糊C 平均值FCM （Fuzzy C -Means ）算法。该算法是在传统C 均值算法中应用了模糊技术。FCM 算法中，用隶属度函数定义的聚类损失函数可以写为：

2

11||||)]([j i c j n i b i j f m x x J -=∑∑==μ

其中，b>1是一个可以控制聚类结果的模糊程度的常数。要求一个样本对于各个聚类的隶属度之和为1，即

∑==c j i j x 11)(μ

在条件式（6-2）下求式（6-1）的极小值，令f J 对i m 和)(i j x μ的偏导数为0，可得必要条件：

∑∑===n

i b

i j n

i i b i j j x x x m 11

)]([)]([μμ， ,,,2,1c j =

∑=----=

c k b k i b j i i j m x m x x 1)1/(12)1/(12)||||/1()||||/1()(μ， n i ,,2,1 = c j ,,2,1 =。 用迭代法求解式（6-3）和式（6-4），就是FCM 算法。

当算法收敛时，就得到了各类的聚类中心和各个样本对于各类的隶属度值勤，从而完成了模糊聚类划分。

2.3.5 聚类分析的应用

（1）聚类分析可以作为其他算法的预处理步骤，这些算法再在生成的簇上进行处理。可作为特征和分类算法的预处理步骤，也可将聚类结果用于进一步关联分析。

（2）可以作为一个独立的工具来获得数据分布的情况，观察每个簇的特点，集中对特定的某些簇做进一步分析。

第三章数据分析

3.1数据挖掘软件平台RapidMiner介绍

RapidMinder提供的实验由大量的算子组成，使用图形化的用户接口可以将这些算子以积木块的方式搭建成系统。有着先进技术，提供世界领先的数据挖掘解决方案。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

RapidMinder是一款开源的软件平台，专为机器学习、数据挖掘、文本分析、预测和业务分析等提供一个综合的、统一的研究环境。这款软件不仅可以在商业、工业领域使用，还可以应用在科研、教育、培训、快速成型、应用开发等方向，并且支持 CRISP-DM 的主要步骤，对于不了解挖掘算法但是又希望通过挖掘算法发现数据中知识的用户来说是一款非常实用的数据挖掘软件。它有超过三千个操作符（Operatiors），每个操作符封装了不同的功能或者算法。

例如RapidMiner中对聚类算法提供了包括“K-Means ，K-Means(Kernel) ，

K-Medoids”在内的 4 种算法模型，用户可以通过RapidMiner 导入或直接读取多种类型的数据文件，自由组合各种操作符进行简单的或者复杂的数据挖掘处理。

图3-1 RapidMiner软件界面

3.2 K-近邻算法（KNN）分析

KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

图3-7 KNN算法流程图

在KNN中，通过计算对象间距离来作为各个对象之间的非相似性指标，避免了对象之间的匹配问题，在这里距离一般使用欧氏距离或曼哈顿距离。

图3-8 KNN算法分析结果

其算法的描述为：

(1）计算测试数据与各个训练数据之间的距离；

(2）按照距离的递增关系进行排序；

(3）选取距离最小的K个点；

(4）确定前K个点所在类别的出现频率；

(5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

如图3-8所示，经过算法的分析，最终预测2012年的开河时间为44天。3.3.4决策树分析

决策树分类算法相对简单，只要训练样本集合能够使用特征向量和类别进行表示，就可以考虑构造决策树分类算法。预测分类算法的复杂度只与决策树的层数有关，是线性的，数据处理效率很高，适合于实时分类的场合。

决策树算法包括训练和测试两个阶段：在训练阶段，需要采用一定的标准和规则分割训练样本集为几个子集，然后再以相同的规则去分割每个子集，递归这个过程，直到每个子集只含有属于同一类的样本时停止。训练过程中，每个分割节点需要保存好分类的属性号。在测试阶段中，将测试样本从根节点开始进行判别，看该样本属于哪个子节点，同样递归地执行下去，直到该样本被分到叶节点中为止，而此时该样本就属于当前叶节点的类别。

3.3.4神经网络分类结果

使用神经网络的方法对开河天数进行预测，与KNN算法和决策树算法预测出的最终结果进行对比。

三层神经网络的组成主要分为三个部分：输入层、隐含层、输出层。其中层与层之间的连接是全连接。其数学原理主要分为三个部分：(1)正向传播过程；

(2)误差反向传递过程；(3)权重更新。训练过程中需要为模型指定一个“学习率”。学习率是更新参数时乘上的系数。它决定参数的变动有多快。如果学习率很低，训练将花更多时间；然而，如果学习率太高，就可能错过极小值。

第四章结论与心得

4.1 结果分析

4.2 问题分析

4.2.1数据挖掘面临的问题

(1)挖掘方法与人机交互问题。我国数据挖掘技术的发展受限制于挖掘方法，不管是知识类型的限制，还是维度上的限制，都是影响其发展的重要因素。(2)性能问题。能够有效的解决数据挖掘技术算法中的问题是解决其性能问题的关键，应对其有效性、可伸缩性等问题进行研究，保证其算法能够满足用户的性能要求。

(3)数据类型多样性问题。对于算法内容复杂的，多维度的数据类型，现有的研究水平很难去解决此类问题，同时对于多跨度的全球化信息技术的挖掘水平仍然落后。

4.2.2 实验心得及实验过程中遇到的问题分析

刚开始写实验报告时，对法不够了解，总是写着写着不知道要实现什么，同时对K最近邻算法(KNN)的伪代码不了解，不知道用什么结构什么方法。之后去看书，熟悉KNN算法的流程图，通过理解伪代码，找思路，自己推结果，去网上找例子，找博客，手写代码，一点一点学习，直到可以运行。然后去用Rapidminer 软件进行分析和处理数据，对软件的整体了解和掌握程度还有待提高。

通过这次课程作业的撰写，我对数据挖掘技术有了一个整体的认识既复习了以前的旧知识，又学到了一些新的知识。当然我们也遇到了各种问题，这些问题，又都是课本上很少提到的、更深一层的实践与知识相结合的问题，这并不是我们平时只靠课本，就可以轻易解决的。所以，锻炼了我们面对难题，学会用已掌握的知识去解决具体问题的能力，进一步培养了独立思考问题和解决问题的能力。参考文献

[1]Shamila Nasreen，Muhammad Awais Azam，Khurram Shehazad，etal． Frequent pattern mining algorithms for finding associated frequent patterns for data streams: a survey［C］． Proceedings of the5th International Conference on Emerging Ubiquitious Systems and Pervasive Networks(EUSPN-2014),Procedia Computer Science，Canada，2014: 109-116．

[2]Gan Min,Dai Hong-hua.Detecting and monitoring abrupt emer-gences of episodes over data streams[J].Infor-mation Systems，2014，39( ) : 277-289．

[3]Zhang Peng,Zhou Chuan.E-tree: efficient in-dexing structure for ensemble models on data streams［J］.IEEE Transactions on Knowledge and Data Engineering，2015，27(2)461-474．

[4]Adel Ghazikhani，Ｒeza Monsefi，Hadi Sadoghi Yazdi. Ensemble ofonline neural netw orks for non-stationary and imbalanced datastreams［J］.Neurocomputing，2013，122( 5) : 535-544．

[5]Wang Chang-dong,Huang Dong.SVStream:a support vector based algorithm for data streams[J].IEEE Transactions on Knowledge and Data Engineering,2013,25(6): 1410-1424．

[6]Su Qiang，Chen Lu.A method for discovering clusters of ecommerce interest patterns using click-stream data [J]．Neurocomputing，2014，122( 5) : 535-544．

[7]厉颖.计算机网络数据安全策略探究[J].网络安全技术与应用,2014(2)：82.

[8]刘莹.基于数据挖掘的商品销售预测分析[J].科技通报.2014(07)

[9]姜晓娟,郭一娜.基于改进聚类的电信客户流失预测分析[J].太原理工大学学报.2014(04)

[10]李欣海.随机森林模型在分类与回归分析中的应用[J].应用昆虫学报.2013(04)

[11]高丽,王丽伟. 数据挖掘技术在国内图书馆应用领域的研究[J]. 数字技术与应用. 2015(12)

[12]梁雪霆. 数据挖掘技术的计算机网络病毒防御技术研究[J]. 科技经济市场. 2016(01)

[13]阳馨. 高校管理中应用数据挖掘技术的途径研究[J]. 数字技术与应用. 2016(01)

[14] 曹军. 数据挖掘技术在银行客户关系管理中的应用研究[D].湖南大学,2013

[15] 陶惠．数据挖掘技术在医保中的研究与应用[D].合肥：中国科学技术大学,2015