数据挖掘噪声数据处理综述.doc

噪声数据处理综述

摘要：噪声数据是指数据中存在着错误或异常(偏离期望值)的数据,不完整数据是指感兴趣的属性没有值.不一致数据则是数据内涵出现不一致的情况。

为了更好的论述什么是噪声数据处理,给出了两种噪声数据处理的算法：在属性级别上处理噪声数据的数据清洗算法和一种改进的应用于噪声数据中的KNN算法。

关键词：噪声数据噪声数据处理数据清洗KNN算法

1.概述

噪声数据（noisy data）就是无意义的数据（meaningless data）。这个词通常作为损坏数据（corrupt data）的同义词使用。但是,现在它的意义已经扩展到包含所有难以被机器正确理解和翻译的数据,如非结构化文本。任何不可被创造它的源程序读取和运用的数据,不管是已经接收的、存储的还是改变的,都被称为噪声。

噪声数据未必增加了需要的存储空间容量,相反地,它可能会影响所有数据挖掘（data mining）分析的结果。统计分析可以运用历史数据中收集的信息来清除噪声数据从而促进数据挖掘。

引起噪声数据（noisy data）的原因可能是硬件故障、编程错误或者语音或光学字符识别程序（OCR）中的乱码。拼写错误、行业简称和俚语也会阻碍机器读取。

噪声数据处理是数据处理的一个重要环节,在对含有噪声数据进行处理的过程中,现有的方法通常是找到这些孤立于其他数据的记录并删除掉,其缺点是事实上通常只有一个属性上的数据需要删除或修正,将整条记录删除将丢失大量有用的、干净的信息。在数据仓库技术中,通常数据处理过程应用在数据仓库之前,其目的是提高数据的质量,使后继的联机处理分析(OLAP)和数据挖掘应用得到尽可能正确的结果。然而,这个过程也可以反过来,即利用数据挖掘的一些技术来进行数据处理,提高数据质量。

2.噪声数据处理

2.1在属性级别上噪声数据处理的数据清洗算法

2.1.1 数据清洗和聚类分析介绍

数据清洗包括许多的内容,文献【l】给出了详尽的介绍,其中噪声数据(包含错误或存在偏离期望的孤立点值)的处理是其中重要的一部分。数据含噪声(包含错误或存在偏离期望的孤立点值)可能有多种原因：收集数据本身难以得到精确的数据,收集数据的设备可能出现故障, 数据输入时可能出现错误,数据传输过程中可能出现错误,存储介质有可能出现损坏等。根据决策系统中“garbage

in ,garbage out“(如果输入的分析数据是垃圾,那么输入的分析结果也将是垃圾)这条原理,必须处理这些噪声数据。去掉噪声、平滑数据的技术主要有：分箱(binning) ,聚类(clustering) ,同归(regression)等。

聚类(clustering)就是将数据对象分组成为多个类或簇(cluster) ,在同一个簇中的对象之间具有较高的相似度,而不同的簇间的对象差别较大。聚类分析可以用来进行孤立点挖掘。孤立点挖掘可以发现噪声数据,因为噪声本身就是孤立点、聚类分析发现孤立点的方法有：基于统计的孤立点检测,基于距离的孤立点检测和基于偏离的孤立点检测。

2.1.2算法介绍

下面是一个利用聚类算法来发现关系数据库中孤立点数据的例子：

输入：数据集S ,包括N条记录,属性集D：{年龄、收入}；本文称一条记录为一个数据点(Data Point) ,一条记录上的每个属性上的值为一个数据单元格(Data Cel1)。S有N×D个数据单元格,其中某些数据单元格是噪声数据。输出：孤立数据点如图1所示。

图1通过聚类发现噪声数据的例子

孤立点A是一个孤立点数据,我们认为它是噪声数据,很明显它的噪声属性足收入,剩下的干净信息即年龄属性上的数据仍然可以用于预测或其他应用,同时可以利用年龄属性上的干净数据来矫正A在收入上的值。进一步,数据点B也是一个噪声数据,但是很难判定它在哪个属性上的数据出现错误。本方法试图确定噪声点B的噪声属性(即产生噪声的具体属性) ,并对其进行矫正。

算法思想：首先通过聚类识别噪声数据,并考察它们在各个属性上的值与其期望之间的距离以判定引起噪声的属性；然后,对于能够判定噪声属性的记录,寻找它所属的分类,并利用它所属分类中噪声属性上的值进行矫正；对于不能判定噪声属性的记录,因为噪声记录去除非噪声属性后的仍然是噪声记录,同样可以通过聚类判定其噪声属性并进行矫正；整个过程记录噪声记录在属性上的分布情况。。几个定义如下：

噪声数据矩阵(Noise Matrix ,NM)：通过聚类算法得到的孤立数据点集合矩阵,NM(i,j)的值对应孤立点集合P中第i条记录在属性j上的值,即NM(i,j)=P 污染矩阵(Corruption Matrix ,CM)：NM 对应的一个0—1布尔矩阵,NM(i,j)为噪声=>CM（ij)=1；否则,CM(i,j)=0。

基本算法描述：

输入：含噪声数据的数据集S ,S有N个数据对象,S的属性集合D={D1 ,D2 ,?,D k }。

输出：噪声数据矫正后的数据集合S ,污染矩阵CM

方法：

(1)P=GetNo1seByClustering(S、D);/* 属性集合D上对S进行聚类,得到孤立点数据集台P*/

(2)If (P!=Nul1)Then{

For i=O to length(P){

For j=0 to k{

NM(i ,j)=P(i ,j);/* NM(i ,j)为P中第i条,记录在属性D1上的值*/ If(Distance(NM(i,j)、E(S,D1)) > 阈值A) Then

CM(i ,j)=1：/* 替NM(i ,j)与S中D1上的期望之间的距离大于某个阈值,则判定D1上产生了噪声*/

Else CM(i ,j)=0

} } }

(3)For EachD1 (1<=i<=k){

P’=Ge tNoiseByClustering(S．D-{D} });/*在D＝D{D}上对S聚类；*/

For m=1 to length(P){

if(CM (m ,i)=1)Then

NM(m ,i)用行m所对应的记录r m所在的聚集D1上的(平均)值替换；/*对于能够划定噪声属性的记录,用干净数据中D1上的(期望)值矫正*/

Else 1f(CM(m ,j)=0)(1<=j<=k)Then

If行m所对应的记录r m所在新的聚类P中不是孤立点then{ NM(m ,i)用行m所对应的纪录r m所在的聚集中D1上的(期望)值替换；/*对于不能判定噪声属性,并矫正*/

CM(m, i)=l：

} } }}

(4)For m=1 to length(P){/*矫正原始数据S;*/

Forj=0 to k{

If(CM=1)Then{

用NM(m ,j)替换S中对应的记录属性D1上的值．

} }}

(5)返回S和NM：

其中,过程GetNoiseByCIustering(S,D)是对数据求S在属性集D上进行聚类返回的噪声数据集合。它可以通过聚类算法如k-means(k-平均值) ,k-medoids(k-中心点)实现,这里不作具体介绍。这个算法在判定噪声属性的时候采用与其期望值进行比较的方法。

这个算法能在属性的级别上发现噪声数据,并且根据剩余的干净数据来矫正噪声而无需事先了解数据的结构。它还能为噪声的产生过程建模,即得到了噪声在属性上的分布规律统计。它的时间复杂度为O(kf) ,其中k为数据集合的属性数,f所选的聚类算法的时间复杂度.

2.2改进的用于噪声数据中的KNN算法

2.2.1 相关知识

1. 相关处理方法

K－近邻算法是一种非常简单直观且有效的分类方法,广泛应用于模式识别的各个领域。顾名思义,该方法就是找出未知样本x的k个近邻,根据k个近邻中多数实例所属类别,把x归为该类。具体地说,假设有L个类c1 ,c2 ,?,cL ,第i 个类的训练样本集L为wi ,整个训练样本集为U ,样本总数Ω,yi(i=1,2,…Ω)表示第i个训练样本。给定未知样本x和距离测试,首先从Q个训练样本中找出X的k个近

邻,k i(1<=i<=L)表示这k个近邻中属于第i类的样本数,那么把X归为类cL ,其中I=argmaxk ,这就是所谓的K－近邻规则(分类方法)。我们用向量表示样本或者样本的特征向量,分类中采用Euclidean距离。

2．KNN算法中的噪声处理。

噪声数据是永远存在于机器学习领域的研究之中。现在很多工作成果是关于如何处理噪声数据以及噪声数据对分类学习算法的影响。在前人的工作中,大多没有使用噪声数据模型来有效地增强学习算法的分类效果。然而很少有工作研究如何充分利用噪声模型来建立更优的分类算法。

K－近邻算法是基于距离的局部最优的算法。不可否认的是,当数据中存在噪声时,局部最优的基于距离的算法会受到明显的影响。虽然合适的参数k能够减弱突发性的噪声数据对分类效果的影响。但当数据服从稳定的噪声模型时,其很难能够从实质上解决此问题。在前人的工作中,一种普遍被接受的观点是,如果训练数据集与测试数据集中存在相同的噪声模型,则噪声数据将会在训练数据和测试数据中起到相同的作用,因而可以忽略输入数据中的不确定性。然而,文献明确指出考虑输入数据的不确定性,可以提高分类器的预测准确性。

如果对于类标签来说,所有条件属性是同等重要的,那么将条件属性值规范化于[0 ,1]区间后,欧基里德距离在计算对象之间的距离时是相当成功的。然而这种假设也不尽然,数据集中的条件属性与类标签之问不一定都是相关,且即使是与类标签之问是相关的,相关程度也不尽相同。朴素的K－近邻算法中,每一个数据所起到的作用是等价的明显存在漏洞。因而很多专家提出了用权重的方法来强调相关性强的属性或减弱不相关的属性在计算距离时的作用。权重的获得有很

多种方法,如信息熵、互信息或各属性在相同类标签或不同类标签的实例之间所起的作用来决定等等。

2.2.2 改进算法

1．K－近邻算法。

尽管有很多种计算实例之间距离的方法,但大多算法仍旧使用欧基里德距离引。一个实例(a1 (1) ,a2(1) ,?,a k (1))和另一个实例((a1 (2) ,a2(2) ,?,a k (2))之间距离为：

(1)

其中,k为条件属性个数。

2．噪声模型。

真实数据中的噪声数据永远都是存在的。但噪声数据产生的原因有很多种,如手工的误操作、机器本身存在的误差、传输过程中发生的错误等等。

(1)系统误差。

实验系统的组成包括：实验仪器、环境、实验的理论和方法以及实验人员。由这四种组成所引起的有规律的误差称之为系统误差。

①仪器误差：又以其本身的固有缺陷、较正不完善或使用不当引起的。

②环境误差：仪器所处的外界环境如：温度、湿度、电磁场等环境的变化引发的误差。

③方法误差：由于计算公式的近似,没有完全满足理论公式所给定的条件。例如,单摆测重力加速度的实验中,采用了sin0~0的近似条。

④人员误差：由测量者的个人因素造成的误差。例如：按秒表时总是超前或滞后,读数时头总是向一边偏等。

(2)随机误差。

由某些偶然的、不确定的因素所造成的误差称之为随机误差。若从一次测量来看,随机误差是随机的,没有确定的规律,也不能预测。但当测量次数足够多时,随机误差遵从一定的统计分布。因此,增加测量的次数,可以明显地减少随机误差。

其中一部分误差是随机的,没有规律可循,如手工误操作、传输错误等；而另外一类,是有一定规律可循的,也就是说这类噪声往往有一点的范围,服从一

数据挖掘毕业论文题目

数据挖掘毕业论文题目数据挖掘毕业论文题目本文简介：数据挖掘技术已成为计算机领域的一个新的研究热点，其应用也渗透到了其他各大领域。以下是我们整理的数据挖掘毕业论文题目，希望对你有用。数据挖掘毕业论文题目一： 1、基于数据挖掘的方剂配伍规律研究方法探讨 2、海量流数据挖掘相关问题研究 3、基于MapReduce 的大规模数据挖掘数据挖掘毕业论文题目本文内容：数据挖掘技术已成为计算机领域的一个新的研究热点，其应用也渗透到了其他各大领域。以下是我们整理的数据挖掘毕业论文题目，希望对你有用。数据挖掘毕业论文题目一： 1、基于数据挖掘的方剂配伍规律研究方法探讨 2、海量流数据挖掘相关问题研究 3、基于MapReduce的大规模数据挖掘技术研究 4、地质环境数据仓库联机分析处理与数据挖掘研究 5、面向属性与关系的隐私保护数据挖掘理论研究 6、基于多目标决策的数据挖掘方法评估与应用 7、基于数据挖掘的煤矿安全可视化管理研究 8、基于大数据挖掘的药品不良反应知识整合与利用研究 9、基于动态数据挖掘的电站热力系统运行优化方法研究 10、基于支持向量机的空间数据挖掘方法及其在旅游地理经济分析中的应用 11、移动对象轨迹数据挖掘方法研究 12、基于数据挖掘的成本管理方法研究 13、基于数据挖掘技术的财务风险分析与预警研究 14、面向交通服务的多源移动轨迹数据挖掘与多尺度居民活动的知识发现 15、面向电信领域的数据挖掘关键技术研究 16、面向精确营销基于数据挖掘的3G用户行为模型及实证研究 17、隐私保护的数据挖掘算法研究 18、造纸过程能源管理系统中数据挖掘与能耗预测方法的研究 19、基于数据挖掘的甲肝医疗费用影响因素与控制策略研究 20、基于特征加权与特征选择的数据挖掘算法研究 21、基于数据挖掘的单纯冠心病与冠心病合并糖尿病的证治规律对比研究 22、基于数理统计与数据挖掘的《伤寒论》温里法类方方证辨治规律研究 23、大规模数据集高效数据挖掘算法研究24、半结构化数据挖掘若干问题研究 25、基于数据挖掘与信息融合的瓦斯灾害预测方法研究 26、基于数据挖掘技术的模糊推理系统 27、基于CER模式的针

数据挖掘研究现状综述

数据挖掘引言数据挖掘是一门交叉学科，涉及到了机器学习、模式识别、归纳推理、统计学、数据库、高性能计算等多个领域。所谓的数据挖掘（Data Mining）指的就是从大量的、模糊的、不完全的、随机的数据集合中提取人们感兴趣的知识和信息，提取的对象一般都是人们无法直观的从数据中得出但又有潜在作用的信息。从本质上来说，数据挖掘是在对数据全面了解认识的基础之上进行的一次升华，是对数据的抽象和概括。如果把数据比作矿产资源，那么数据挖掘就是从矿产中提取矿石的过程。与经过数据挖掘之后的数据信息相比，原始的数据信息可以是结构化的，数据库中的数据，也可以是半结构化的，如文本、图像数据。从原始数据中发现知识的方法可以是数学方法也可以是演绎、归纳法。被发现的知识可以用来进行信息管理、查询优化、决策支持等。而数据挖掘是对这一过程的一个综合性应用。

目录引言 (1) 第一章绪论 (3) 1.1 数据挖掘技术的任务 (3) 1.2 数据挖掘技术的研究现状及发展方向 (3) 第二章数据挖掘理论与相关技术 (5) 2.1数据挖掘的基本流程 (5) 2.2.1 关联规则挖掘 (6) 2.2.2 .Apriori算法：使用候选项集找频繁项集 (7) 2.2.3 .FP-树频集算法 (7) 2.2.4.基于划分的算法 (7) 2.3 聚类分析 (7) 2.3.1 聚类算法的任务 (7) 2.3.3 COBWEB算法 (9) 2.3.4模糊聚类算法 (9) 2.3.5 聚类分析的应用 (10) 第三章数据分析 (11) 第四章结论与心得 (14) 4.1 结果分析 (14) 4.2 问题分析 (14) 4.2.1数据挖掘面临的问题 (14) 4.2.2 实验心得及实验过程中遇到的问题分析 (14) 参考文献 (14)

毕业设计数据挖掘技术开题报告精品

毕业设计（论文）开题报告基于数据挖掘技术的WWW推荐系统设计

摘要在Internet飞速发展的今天，人们已经将互联网作为一个日常沟通，生活不可或缺的平台。随之而生的网上购物这一电子商务的具体模式之一，自然而然地便成为一种时尚、流行的购物方式。一个好的网上购物系统除了基本的商品浏览、搜索、购买和评价等功能外，还要具备一些数据挖掘的功能，这是在系统后台运行中实现的功能，能够从日常的客户资料，交易数据中得到挖掘分析的结果，给客户提供与他们选购的商品相关联的商品信息，给购物系统的经营者提供商业分析的决策支持，从而提高购物系统的交易量和客户的光顾频率。本文从关联规则和聚类分析这两种数据挖掘技术中得到启示，将商品之间按照一定的规则进行匹配连接，将用户按照层层条件进行分类，从而实现了商品推荐和目标用户群邮件投递的功能。在购物系统这个主体功能实现的基础上，加以修饰，完善系统功能。数据挖掘思路与B/S结构的网页设计的相结合，是这个网上购物系统的核心技术。关键词：网上购物系统；数据挖掘；决策支持 Abstract Nowadays, with the rapid development of Internet, people have regarded WEB as an indispensable platform for everyday communication and life. Thus, on-line shopping, one concrete pattern of E-business is becoming a fashionable and popular way of shopping naturally. Except for searching for, purchasing, evaluating goods, an advanced on-line shopping system should have the function of data mining. Data mining is implemented at background, which can produce an analysis result on the basic of the clients’ information and the data of transaction. It provide s clients with the information of goods, which are related to the goods they are purchasing; it supplies decision support to the on-line shopping system’s manager. All these are in order to bring up the transaction and increase the frequency of shopping for clients. Based on the thought of rule induction and cluster analysis, it makes connection with goods according some rule and divides clients into different clusters in this paper. Thus, the functions of recommending goods and sending email come true and the whole system’s functions are improved. Data mining and B/S structure designing are the two key techniques of this on-line shopping system. Key words: on-line shopping system; data mining; decision support

文献综述_数据挖掘

数据挖掘简介数据挖掘的任务数据挖掘的任务就是从实例集合中找出容易理解的规则和关系。这些规则可以用于预测未来趋势、评价顾客、评估风险或简单地描述和解释给定的数据。通常数据挖掘的任务包括以下几个部分: 数据总结目的是对数据进行浓缩，给出它的紧凑描述。传统的也是最简单的数据总结方法是计算出数据库的各个字段上的求和值、平均值、方差值等统计值，或者用直方图、饼图等图形方式表示。数据挖掘主要关心从数据泛化的角度来讨论数据总结。数据泛化是一种把数据库中的有关数据从低层次抽象到高层次上的过程。数据泛化目前主要有两种技术:多维数据分析方法和面向属性的归纳方法。多维数据分析方法是一种数据仓库技术，也称作联机分析处理(OLAP，onLineAnalysisProeess)。数据仓库是面向决策支持的、集成的、稳定的、不同时间的历史数据集合。决策的前提是数据分析。在数据分析中经常要用到诸如求和、总计、平均、最大、最小等汇集操作，这类操作的计算量特别大。因此一种很自然的想法是，把汇集操作结果预先计算并存储起来，以便于决策支持系统使用。存储汇集操作结果的地方称作多维数据库。多维数据分析技术已经在决策支持系统中获得了成功的应用，如著名的SAS数据分析软件包、Businessobject公司的决策支持系统Businessobjeet，以及IBM公司的决策分析工具都使用了多维数据分析技术。采用多维数据分析方法进行数据总结，它针对的是数据仓库，数据仓库存储的是脱机的历史数据。为了处理联机数据，研究人员提出了一种面向属性的归纳方法。它的思路是，直接对用户感兴趣的数据视图(用一般的SQL查询语言即可获得)进行泛化，而不是像多维数据分析方法那样预先就存储好了泛化数据。方法的提出者对这种数据泛化技术称之为面向属性的归纳方法。原始关系经过泛化操作后得到的是一个泛化关系，它从较高的层次上总结了在低层次上的原始关系。有了泛化关系后，就可以对它进行各种深入的操作而生成满足用户需要的知识，如在泛化关系基础上生成特性规则、判别规则、分类规则，以及关联规则等。数据挖掘的分类数据挖掘所能发现的知识有如下几种: .广义型知识，反映同类事物共同性质的知识; .特征型知识，反映事物各方面的特征知识; .差异型知识，反映不同事物之间属性差别的知识; .关联型知识，反映事物之间依赖或关联的知识; .预测型知识，根据历史的和当前的数据推测未来数据; .偏离型知识。揭示事物偏离常规的异常现象。所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。例如，从一家超市的数据仓库中，可以发现的一条典型关联规则可能是“买面包和黄油的顾客十有八九也买牛奶”，也可能是“买食品的顾客几乎都用信用卡”，这种规则对于商家开发和实施客户化的销售计划和策略是非常有用的。数据挖掘的方法数据挖掘并非一个完全自动化的过程。整个过程需要考虑数据的所有因素和其预定的效用，然后应用最佳的数据挖掘方法。数据挖掘的方法很重要。在数据挖掘的领域里.有一点已经被广泛地接受，即不管你选择哪种方法，总存在着某种协定。因此对实际情况，应该具体分析，根据累积的经验和优秀的范例选择最佳的方法。数据挖掘中没有免费的午餐，也没

Data-mining-clustering数据挖掘—聚类分析大学毕业论文外文文献翻译及原文

毕业设计（论文）外文文献翻译文献、资料中文题目：聚类分析文献、资料英文题目：clustering 文献、资料来源：文献、资料发表（出版）日期：院（部）：专业：自动化班级：姓名：学号：指导教师：翻译日期： 2017.02.14

外文翻译英文名称：Data mining-clustering 译文名称：数据挖掘—聚类分析专业：自动化姓名：**** 班级学号：**** 指导教师：****** 译文出处：Data mining：Ian H.Witten, Eibe Frank 著

Clustering 5.1 INTRODUCTION Clustering is similar to classification in that data are grouped. However, unlike classification, the groups are not predefined. Instead, the grouping is accomplished by finding similarities between data according to characteristics found in the actual data. The groups are called clusters. Some authors view clustering as a special type of classification. In this text, however, we follow a more conventional view in that the two are different. Many definitions for clusters have been proposed: ●Set of like elements. Elements from different clusters are not alike. ●The distance between points in a cluster is less than the distance between a point in the cluster and any point outside it. A term similar to clustering is database segmentation, where like tuple (record) in a database are grouped together. This is done to partition or segment the database into components that then give the user a more general view of the data. In this case text, we do not differentiate between segmentation and clustering. A simple example of clustering is found in Example 5.1. This example illustrates the fact that that determining how to do the clustering is not straightforward. As illustrated in Figure 5.1, a given set of data may be clustered on different attributes. Here a group of homes in a geographic area is shown. The first floor type of clustering is based on the location of the home. Homes that are geographically close to each other are clustered together. In the second clustering, homes are grouped based on the size of the house. Clustering has been used in many application domains, including biology, medicine, anthropology, marketing, and economics. Clustering applications include plant and animal classification, disease classification, image processing, pattern recognition, and document retrieval. One of the first domains in which clustering was used was biological taxonomy. Recent uses include examining Web log data to detect usage patterns. When clustering is applied to a real-world database, many interesting problems occur: ●Outlier handling is difficult. Here the elements do not naturally fall into any cluster. They can be viewed as solitary clusters. However, if a clustering algorithm attempts to find larger clusters, these outliers will be forced to be placed in some cluster. This process may result in the creation

数据挖掘算法综述

数据挖掘方法综述 [摘要]数据挖掘（DM，DataMining）又被称为数据库知识发现（KDD,Knowledge Discovery in Databases）,它的主要挖掘方法有分类、聚类、关联规则挖掘和序列模式挖掘等。 [关键词]数据挖掘分类聚类关联规则序列模式 1、数据挖掘的基本概念数据挖掘从技术上说是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。这个定义包括好几层含义: 数据源必须是真实的、大量的、含噪声的、发现的是用户感兴趣的知识, 发现的知识要可接受、可理解、可运用, 并不要求发现放之四海皆准的知识, 仅支持特定的发现问题, 数据挖掘技术能从中自动分析数据进行归纳性推理从中发掘出潜在的数据模式或进行预测, 建立新的业务模型帮助决策者调整策略做出正确的决策。数据挖掘是是运用统计学、人工智能、机器学习、数据库技术等方法发现数据的模型和结构、发现有价值的关系或知识的一门交叉学科。数据挖掘的主要方法有分类、聚类和关联规则挖掘等 2、分类分类（Classification）又称监督学习（Supervised Learning）。监

督学习的定义是：给出一个数据集D，监督学习的目标是产生一个联系属性值集合A和类标（一个类属性值称为一个类标）集合C的分类/预测函数，这个函数可以用于预测新的属性集合（数据实例）的类标。这个函数就被称为分类模型（Classification Model），或者是分类器（Classifier）。分类的主要算法有：决策树算法、规则推理、朴素贝叶斯分类、支持向量机等算法。决策树算法的核心是Divide-and-Conquer的策略，即采用自顶向下的递归方式构造决策树。在每一步中，决策树评估所有的属性然后选择一个属性把数据分为m个不相交的子集，其中m是被选中的属性的不同值的数目。一棵决策树可以被转化成一个规则集，规则集用来分类。规则推理算法则直接产生规则集合，规则推理算法的核心是Separate-and-Conquer的策略，它评估所有的属性-值对（条件），然后选择一个。因此，在一步中，Divide-and-Conquer策略产生m条规则，而Separate-and-Conquer策略只产生1条规则，效率比决策树要高得多，但就基本的思想而言，两者是相同的。朴素贝叶斯分类的基本思想是：分类的任务可以被看作是给定一个测试样例d后估计它的后验概率，即Pr（C=c j︱d），然后我们考察哪个类c j对应概率最大，便将那个类别赋予样例d。构造朴素贝叶斯分类器所需要的概率值可以经过一次扫描数据得到，所以算法相对训练样本的数量是线性的，效率很高，就分类的准确性而言，尽管算法做出了很强的条件独立假设，但经过实际检验证明，分类的效果还是

数据挖掘课程论文综述

海南大学数据挖掘论文题目：股票交易日线数据挖掘学号：20100602310002 姓名：专业：10信管指导老师：分数：

目录目录 (2) 1. 数据挖掘目的 (3) 2.相关基础知识 (3) 2.1 股票基础知识 (3) 2.2 数据挖掘基础知识 (4) 2.2.2数据挖掘的任务 (5) 3.数据挖掘方案 (6) 3.1. 数据挖掘软件简介 (6) 3.2. 股票数据选择 (7) 3.3. 待验证的股票规律 (7) 4. 数据挖掘流 (8) 4.1数据挖掘流图 (8) 4.2规律验证 (9) 4.2.2规律2验证 (10) 4.2.3规律三验证 (12) 4.3主要节点说明 (14) 5.小结 (15)

1.数据挖掘目的数据挖掘的目的就是得出隐藏在数据中的有价值的信息，发现数据之间的内在联系与规律。对于本次数据挖掘来说，其目的就是学会用clementine对股票的历史数据进行挖掘，通过数据的分析，找出存在股票历史数据中的规律，或者验证已存在的股票规律。同时也加深自己对股票知识的了解和对clementine软件的应用能力。为人们决策提供指导性信息，为公司找出其中的客户为公司带来利润的规律，如二八原则、啤酒与尿布的现象等。 2.相关基础知识 2.1 股票基础知识 2.1.1 股票是一种有价证券，是股份公司在筹集资本时向出资人公开或私下发行的、用以证明出资人的股本身份和权利，并根据持有人所持有的股份数享有权益和承担义务的凭证。股票代表着其持有人（股东）对股份公司的所有权，每一股同类型股票所代表的公司所有权是相等的，即“同股同权”。股票可以公开上市，也可以不上市。在股票市场上，股票也是投资和投机的对象。对股票的某些投机炒作行为，例如无货沽空，可以造成金融市场的动荡。 2.1.2 开盘价开盘价又称开市价，是指某种证券在证券交易所每个交易日开市后的第一笔买卖成交价格。世界上大多数证券交易所都采用成交额最大原则来确定开盘价。 2.1.3 收盘价收盘价是指某种证券在证券交易所一天交易活动结束前最后一笔交易的成交价格。如当日没有成交，则采用最近一次的成交价格作为收盘价，因为收盘价是当日行情的标准，又是下一个交易日开盘价的依据，可据以预测未来证券市场行情；所以投资者对行情分析时，一般采用收盘价作为计算依据。

毕业设计论文--数据挖掘技术

目录摘要 (iii) Abstract (iv) 第一章绪论 (1) 1.1 数据挖掘技术 (1) 1.1.1 数据挖掘技术的应用背景 (1) 1.1.2数据挖掘的定义及系统结构 (2) 1.1.3 数据挖掘的方法 (4) 1.1.4 数据挖掘系统的发展 (5) 1.1.5 数据挖掘的应用与面临的挑战 (6) 1.2 决策树分类算法及其研究现状 (8) 1.3数据挖掘分类算法的研究意义 (10) 1.4本文的主要内容 (11) 第二章决策树分类算法相关知识 (12) 2.1决策树方法介绍 (12) 2.1.1决策树的结构 (12) 2.1.2决策树的基本原理 (13) 2.1.3决策树的剪枝 (15) 2.1.4决策树的特性 (16) 2.1.5决策树的适用问题 (18) 2.2 ID3分类算法基本原理 (18) 2.3其它常见决策树算法 (20) 2.4决策树算法总结比较 (24) 2.5实现平台简介 (25) 2.6本章小结 (29) 第三章 ID3算法的具体分析 (30) 3.1 ID3算法分析 (30) 3.1.1 ID3算法流程 (30) 3.1.2 ID3算法评价 (33) 3.2决策树模型的建立 (34) 3.2.1 决策树的生成 (34) 3.2.2 分类规则的提取 (377) 3.2.3模型准确性评估 (388) 3.3 本章小结 (39)

第四章实验结果分析 (40) 4.1 实验结果分析 (40) 4.1.1生成的决策树 (40) 4.1.2 分类规则的提取 (40) 4.2 本章小结 (41) 第五章总结与展望 (42) 参考文献 (44) 致谢 (45) 附录 (46)

数据挖掘技术及应用综述

作者简介：韩少锋，男，１９８０年生，中北大学在读硕士研究生。研究方向：人工智能技术。引言 “人类正被信息淹没，却饥渴于知识．”这是１９８２年趋势大师ＪｏｈｎＮａｉｓｂｉｔｔ的首部著作《大趋势》（Ｍｅｇａ－ｔｒｅｎｄｓ）中提到的。随着数据库技术的迅速发展，如何从含有海量信息的数据库中提取更有价值、更直观的信息和知识？人们结合统计学﹑数据库﹑机器学习﹑神经网络﹑模式识别﹑模糊数学﹑粗糙集理论等技术，提出‘数据挖掘’这一新的数据处理技术来解决这一难题。数据挖掘（ＤａｔａＭｉｎｉｎｇ）就是从大量的﹑不完全的﹑有噪声的﹑模糊的﹑随机的数据中，提取隐含在其中的﹑人们事先不知道的﹑但又是潜在的有用的信息和知识的过程。这些数据可以是：结构化的，半结构化的，分布在网络上的异构性数据。数据挖掘在许多领域得到了成功的应用，使数据库技术进入了一个更高级的发展阶段，很多专题会议也把数据挖掘和知识发现列为议题之一。１数据挖掘技术概述１．１数据挖掘的概念数据挖掘的概念有多种描述，最常见的有两种：（１）Ｇ．ＰｉａｔｅｔｓｋｙＳｈａｐｉｏｒ，Ｗ．Ｊ．Ｆｒａｗｌｅｙ数据挖掘定义为：从数据库的大量数据中揭示出隐含的、先进而未知的、潜在有用信息的频繁过程。（２）数据挖掘的广义观点：数据挖掘是从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程。数据挖掘的特点有：１）用户需要借助数据挖掘技术从大量的信息中找到感兴趣的信息；２）处理的数据量巨大；３）要求对数据的变化做出及时的响应；４）数据挖掘既要发现潜在的规则，也要管理和维护规则，规则的改变随着新数据的不断更新而更新；５）数据挖掘规则的发现基于统计规律，发现的规则不必适用于全部的数据。数据挖掘要面对的是巨大的信息来源；通过数据挖掘，有价值的知识、规则或高层次的信息就能从数据库的相关数据集合中抽取出来，并从不同角度显示，从而使大型数据库作为一个丰富可靠的资源为知识归纳服务。１．２数据挖掘的简史从数据库中知识发现（ＫＤＤ）一词首先出现在１９８９年举行的第十一届国际联合人工智能学术会议上。目前为止，由美国人工智能协会主办的ＫＤＤ国际研讨会已经召开了８次，规模由原来的专题讨论会发展到国际学术大会，研究重点也从发现方法转向系统应用。１９９９年，亚太地区在北京召开的第三届ＰＡＫＤＤ会议收到１５８篇论文，研讨空前热烈。目前，数据挖掘技术在零售业的购物篮分析﹑金融风险预测﹑产品质量分析﹑通讯及医疗服务﹑基因工程研究等许多领域得到了成功的应用。１．３数据挖掘的对象数据挖掘的对象包含大量数据信息的各种类型数据库。如关系数据库，面向对象数据库等，文本数据数据源，多媒体数据库，空间数据库，时态数据库，以及Ｉｎｔｅｒｎｅｔ等类型数据或信息集均可作为数据挖掘的对象。１．４数据挖掘的工具许多软件公司和研究机构，根据商业的实际需要开发出许多数据挖掘工具。例如：有多种数据操控和转换特点的ＳＡＳＥｎｔｅｒｐｒｉｓｅＭｉｎｅｒ；采用决策树、神经网络和聚类技术综合的数据挖掘工具集－ＩＢＭＩｎｔｅｒｌｌｉｇｅｎｔＭｉｎｅｒ；可以提供多种统计分析、决策树和回归方法，在Ｔｅｒａｄａｔａ数据库管理系统上原地挖掘的ＴｅｒａｄａｔａＷａｒｅｈｏｕｓｅＭｉｎｅｒ；以及同时具有数据管理和数据概括能力，能够用于多种商业平台的ＳＰＳＳＣｌｅｍｅｎｔｉｎｅ。以上主流数据挖掘工具都能提供常用的挖掘过程和挖掘模数据挖掘技术及应用综述韩少锋陈立潮（中北大学计算机科学与技术系山西太原０３００５１）【摘要】介绍了数据挖掘技术的背景、概念、流程、数据挖掘算法，并阐述了数据挖掘技术的应用现状。【关键词】数据挖掘知识发现人工智能数据仓库【中图分类号】ＴＰ３１１．１３８【文献标识码】Ｂ【文章编号】１００３－７７３Ｘ（２００６）０２－００２３－０２第２期（总第８９期）机械管理开发２００６年４月Ｎｏ．２（ＳＵＭＮｏ．８９）ＭＥＣＨＡＮＩＣＡＬＭＡＮＡＧＥＭＥＮＴＡＮＤＤＥＶＥＬＯＰＭＥＮＴＡｐｒ．２００６２３??

基于数据挖掘的校园社交网络用户行为分析毕业设计论文

1 绪论 1.1 选题背景社交网络，简称SNS（social network service），在Web2.0浪潮中已发展为社会化媒体中一个主要平台。据最新的中国互联网络信息中心(CNNIC)2013年1月15 日发布的第31次《中国互联网络发展状况统计报告》，截至2012年12月底，我国网民规模达5.64亿，互联网普及率为42.1%，较2011年底提升3.8个百分点。同时报告显示，社交网络应用持续呈现增长趋势，截止2012年12月，国内社交网络用户总数已达2.75亿，占到了全部网民人数的48.8%，增速保持在10%以上。与此同时在2010年之后社交网络又出现两大新增长点：其一微博用户持续增长，微博用户规模在2012年达到3.09亿，较2011年底增长了5873万。虽然微博急速扩张的阶段已经结束，但年增幅仍能达到23.5%；其二用户逐渐移动化成为了社交网络用户增长的又一亮点，截至2012年12月底，我国手机网民规模为4.2亿，较上年底增加约6440万人，网民中使用手机上网的人群占比由上年底的69.3%提升至74.5%，随着手机智能化，相当一部分用户访问和发送微博的行为发生在手机终端上，为社交网站的进一步发展提供了可能。此外“社交化”已经作为一种重要的功能元素，正在全面融合到各类互联网应用中。一方面，2012年涌现出大批具备社交基因的新应用，包括图片社交、私密社交、购物分享等，尤其在移动互联网领域，由于手机天生的通讯功能，2012年许多热门移动应用都具备社交功能；另一方面，搜索、网购、媒体等互联网应用正在融合社交因素，以丰富自身的功能、提升用户体验，创新服务和盈利模式。在整个互联网都走向社交化的大趋势下，传统的实名制社交网站也不断增加平台功能，在原

大数据时代的空间数据挖掘综述

第37卷第7期测绘与空间地理信息 GEOMATICS ＆SPATIAL INFOＲMATION TECHNOLOGY Vol．37，No．7收稿日期：2014－01－22 作者简介：马宏斌（1982－），男，甘肃天水人，作战环境学专业博士研究生，主要研究方向为地理空间信息服务。大数据时代的空间数据挖掘综述马宏斌1 ，王柯1，马团学 2（1．信息工程大学地理空间信息学院，河南郑州450000；2．空降兵研究所，湖北孝感432000）摘要：随着大数据时代的到来，数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题，介绍了国内外研究中利用大数据处理工具和云计算技术，在空间数据的存储、管理和挖掘算法等方面的做法，并指出了该类研究存在的不足。最后，探讨了空间数据挖掘的发展趋势。关键词：大数据；空间数据挖掘；云计算中图分类号：P208 文献标识码：B 文章编号：1672－5867（2014）07－0019－04 Spatial Data Mining Big Data Era Ｒeview MA Hong －bin 1，WANG Ke 1，MA Tuan －xue 2 （1．Geospatial Information Institute ，Information Engineering University ，Zhengzhou 450000，China ； 2．Airborne Institute ，Xiaogan 432000，China ） Abstract ：In the era of Big Data ，more and more researchers begin to show interest in data mining techniques again．The paper review most unresolved problems left by traditional spatial data mining at first．And ，some progress made by researches using Big Data and Cloud Computing technology is introduced．Also ，their drawbacks are mentioned．Finally ，future trend of spatial data mining is dis-cussed． Key words ：big data ；spatial data mining ；cloud computing 0引言随着地理空间信息技术的飞速发展，获取数据的手段和途径都得到极大丰富，传感器的精度得到提高和时空覆盖范围得以扩大，数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子显微镜、CT 成像等各种宏观与微观传感器或设备，也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、地图数字化、统计图表等空间数据获取手段，还可能是来自计算机、网络、GPS ，ＲS 和GIS 等技术应用和分析空间数据。特别是近些年来，个人使用的、携带的各种传感器（重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等），具备定位功能电子设备的普及，如智能手机、平板电脑、可穿戴设备（GOOGLE GLASS 和智能手表等），使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息（Volunteer Geographic Information ）的出现，使这些普通民众也加入到了提供数据者的行列。以上各种获取手段和途径的汇集，就使每天获取的数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ，并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间，平均每年获取8．6万景影像，每天获取67GB 的观测数据。而2012年发射的资源三号（ZY3）卫星，每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫星、飞机等飞行平台上，未来10年，全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来，那就是大数据时代。大数据具有 “4V ”特性，即数据体量大（Volume ）、数据来源和类型繁多（Variety ）、数据的真实性难以保证（Veracity ）、数据增加和变化的速度快（Velocity ）。对地观测的系统如图1所示。在这些数据中，与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限，受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识，这就需要利用强有力的数据分析工具来将

数据挖掘中的软计算方法及应用综述

摘要文章对数据挖掘中软计算方法及应用作了综述。对模糊逻辑、遗传算法、神经网络、粗集等软计算方法，以及它们的混合算法的特点进行了分析，并对它们在数据挖掘中的应用进行了分类。关键词数据挖掘；软计算；模糊逻辑；遗传算法；神经网络；粗集 1 引言在过去的数十年中，随着计算机软件和硬件的发展，我们产生和收集数据的能力已经迅速提高。许多领域的大量数据集中或分布的存储在数据库中[1][2]，这些领域包括商业、金融投资业、生产制造业、医疗卫生、科学研究，以及全球信息系统的万维网。数据存储量的增长速度是惊人的。大量的、未加工的数据很难直接产生效益。这些数据的真正价值在于从中找出有用的信息以供决策支持。在许多领域，数据分析都采用传统的手工处理方法。一些分析软件在统计技术的帮助下可将数据汇总，并生成报表。随着数据量和多维数据的进一步增加，高达109的数据库和103的多维数据库已越来越普遍。没有强有力的工具，理解它们已经远远超出了人的能力。所有这些显示我们需要智能的数据分析工具，从大量的数据中发现有用的知识。数据挖掘技术应运而生。数据挖掘就是指从数据库中发现知识的过程。包括存储和处理数据，选择处理大量数据集的算法、解释结果、使结果可视化。整个过程中支持人机交互的模式[3]。数据挖掘从许多交叉学科中得到发展，并有很好的前景。这些学科包括数据库技术、机器学习、人工智能、模式识别、统计学、模糊推理、专家系统、数据可视化、空间数据分析和高性能计算等。数据挖掘综合以上领域的理论、算法和方法，已成功应用在超市、金融、银行[4]、生产企业 [5]和电信，并有很好的表现。软计算是能够处理现实环境中一种或多种复杂信息的方法集合。软计算的指导原则是开发利用那些不精确性、不确定性和部分真实数据的容忍技术，以获得易处理、鲁棒性好、低求解成本和更好地与实际融合的性能。通常，软计算试图寻找对精确的或不精确表述问题的近似解[6]。它是创建计算智能系统的有效工具。软计算包括模糊集、神经网络、遗传算法和粗集理论。 2 数据挖掘中的软计算方法目前，已有多种软计算方法被应用于数据挖掘系统中，来处理一些具有挑战性的问题。软计算方法主要包括模糊逻辑、神经网络、遗传算法和粗糙集等。这些方法各具优势，它们是互补的而非竞争的，与传统的数据分析技术相比，它能使系统更加智能化，有更好的可理解性，且成本更低。下面主要对各种软计算方法及其混合算法做系统性的阐述，并着重强调它们在数据挖掘中的应用情况。 2.1 模糊逻辑模糊逻辑是1965年由泽德引入的，它为处理不确定和不精确的问题提供了一种数学工具。模糊逻辑是最早、应用最广泛的软计算方法，模糊集技术在数据挖掘领域也占有重要地位。从数据库中挖掘知识主要考虑的是发现有兴趣的模式并以简洁、可理解的方式描述出来。模糊集可以对系统中的数据进行约简和过滤，提供了在高抽象层处理的便利。同时，数据挖掘中的数据分析经常面对多种类型的数据，即符号数据和数字数据。nauck[7]研究了新的算法，可以从同时包含符号数据和数字数据中生成混合模糊规则。数据挖掘中模糊逻辑主要应用于以下几个方面：（1）聚类。将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。聚类分析是一种重要的人类行为，通过聚类，人能够识别密集的和稀疏的区域，因而发现全局的分布模式，以及数据属性之间有趣的关系。模糊集有很强的搜索能力，它对发现的结构感兴趣，这会帮助发现定性或半定性数据的依赖度。在数据挖掘中，这种能力可以帮助

文本数据挖掘综述

文本数据挖掘综述陈光磊（专业:模式识别与智能系统）摘要:作为从浩瀚的信息资源中发现潜在的、有价值知识的一种有效技术，文本挖掘已悄然兴起，倍受关注。目前,文本挖掘的研究正处于发展阶段，尚无统一的结论，需要国内外学者在理论上开展更多的讨论。本文首先引出文本挖掘出现的缘由,再对文本挖掘的的概念、组成及其具体实现过程。着重分析了文本挖掘的预处理、工作流程与关键技术。关键词: web挖掘，文本挖掘 1引言面对今天浩如烟海的文本信息，如何帮助人们有效地收集和选择所感兴趣的信息，如何帮助用户在日益增多的信息中自动发现新的概念，并自动分析它们之间的关系，使之能够真正做到信息处理的自动化，这已经成为信息技术领域的热点问题。有数据表明，一个组织80%的信息是以文本的形式存放的，包括WEB页面、技术文档、电子邮件等。由于整个文本集合不能被方便地阅读和分析，而且由于文本经常改变，要跟上变化的节奏，就要不停地回顾文本的内容，处理数量巨大的文本变得越来越来困难。人们迫切需要能够从大量文本集合中快速、有效地发现资源和知识的工具。在这样的需求驱动下，文本挖掘的概念产生了。 2文本挖掘的概述 2.1文本挖掘的定义文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。1998年底，国家重点研究发展规划首批实施项目中明确指出，文本挖掘是“图像、语言、自然语言理解与知识挖掘”中的重要内容。

文本挖掘是数据挖掘的一个研究分支，用于基于文本信息的知识发现。文本挖掘利用智能算法，如神经网络、基于案例的推理、可能性推理等，并结合文字处理技术，分析大量的非结构化文本源（如文档、电子表格、客户电子邮件、问题查询、网页等），抽取或标记关键字概念、文字间的关系，并按照内容对文档进行分类，获取有用的知识和信息。文本挖掘是一个多学科混杂的领域，涵盖了多种技术，包括数据挖掘技术、信息抽取、信息检索，机器学习、自然语言处理、计算语言学、统计数据分析、线性几何、概率理论甚至还有图论。文本挖掘(Text Mining)是一个从非结构化文本信息中获取用户感兴趣或者有用的模式的过程，文本挖掘涵盖多种技术,包括信息抽取,信息检索,自然语言处理和数据挖掘技术。它的主要用途是从原本未经使用的文本中提取出未知的知识，但是文本挖掘也是一项非常困难的工作,因为它必须处理那些本来就模糊而且非结构化的文本数据,所以它是一个多学科混杂的领域,涵盖了信息技术、文本分析、模式识别、统计学、数据可视化、数据库技术、机器学习以及数据挖掘等技术。 2.2文本挖掘的组成文本挖掘可以通过下图有个大致理解。它由三部分组成：底层是文本挖掘的基础领域，包括机器学习、数理统计、自然语言处理；在此基础上是文本挖掘的基本技术，有五大类，包括文本信息抽取、文本分类、文本聚类、文本数据压缩、文本数据处理；在基本技术之上是两个主要应用领域，包括信息访问和知识发现，信息访问包括信息检索、信息浏览、信息过滤、信息报告，知识发现包括数据分析、数据预测。如图2.1。

数据挖掘在教学系统中的应用毕业论文

数据挖掘在教学系统中的应用毕业论文第1章数据挖掘基本理论 1.1 数据挖掘技术早期文献中，数据挖掘，也称为数据库中的知识发现，是从数据库中的数据抽取隐含的、未知的和潜在有用的信息(如知识规则、约束和规律等)的非平凡的过程。确切地讲，数据挖掘(简记为DM)是一种决策支持过程，它主要基于AI、机器学习、统计学等技术，高度自动化地分析各组织原有的数据，做出归纳的推理，从中挖掘出潜在的模式，为管理人员决策提供支持。从功能上可以将DM的分析方法划分为以下四种(根据IBM的划分方法)：关联分析；序列模式分析；分类分析；聚类分析。关联规则挖掘算法是一种重要的数据挖掘方法。 DM系统不是多项技术的简单组合，而是一个完整的整体，它还需要其他辅助技术的支持，才能完成数据准备、数据挖掘、结果表述、算法评价这一系列任务。根据功能，整个DM系统可以大致划分为三级结构(如图1.1所示) 图1.1 DM系统结构图 DM的数据分析过程可以分成数据准备、数据挖掘、结果表述及评价四个步骤。数据准备阶段主要是准备适合分析的数据；数据挖掘阶段是最关键的阶段，主要是选定合适的挖

掘算法，对数据进行分析，以得出真正合理有用的知识；结果表述阶段是把挖掘阶段得出的知识以便于用户理解的方式进行描述；评价阶段是用户根据已有的知识对挖掘的结果进行合理性分析，若有不合理的方面，再重复上述三个步骤，以保证挖掘结果的合理性。 DM与其他数据库工具既存在区别又存在联系。查询工具、验证型工具、发掘型工具各自的侧重点不同，因此适用围和针对的用户也各不相同。发掘型的应用主要负责从大量数据中发现数据模式，预测趋势和行为，与验证型工具一个很大的不同在于，用户在整个信息的挖掘过程中无需或只需很少的指导。数据挖掘就是一种发掘型工具，与验证型工具不同，数据挖掘是一种展望和预测的工具，它能挖掘数据间潜在的模式，发现经营者可能忽略的信息，并为企业作出前摄的、基于知识的决策。查询工具、验证型工具和发掘型工具是相互补充的，只有很好的结合起来，才能达到最好的效果。数据挖掘被信息产业界视为数据库技术的前沿，数据库技术的新应用领域。它在数据仓库、决策支持、市场策略和金融预测等领域具有广泛的应用前景。全世界排名前列的大型和超大型公司95％以上都建立了数据仓库和应用了数据挖掘技术。 1.2 关联规则挖掘算法 1.2.1频繁集的发现寻找频繁子集的方法是根据所有频繁发生的集合的子集也是频繁发生的。为了生成频繁项目集，首先遍历数据库，收集每个项目集的支持度，取其支持度不低于最低支持度的项目集构成频繁项目集的集合L1；然后两两连接L1中的项目集，形成二维项目集的集合，再次遍历数据库，收集每个侯选二维项目的支持数，取其支持数不低于最低支持项目集构成频繁二项集的集合I2；如此迭代，直到新的侯选集n维集合为空时为止。 1.2.2 关联规则的发现假设每个频繁集的支持度都得到，记作P( )，∈频繁集，那么可信度Confidence(Ll ／L2)=P( 1nL2)／p( 1)。如果Confidence(L1／L2)满足最低信任度，那么这条规则存在，是有意义的。在已经提出的许多算法中，R．Agrawal等人在文献中提出的Apriori算法是最有影响的。除了最初提出的性能较Apriori差的AIS算法及其面向SQL的变体SETM，目前已知的大多数算法都是以Apriori为核心，或是其变体，或是其扩展。Apriori是一种宽度优先算法，通过对数据库D的多趟扫描来发现所有的频繁项目集，在每一趟k中只考