数据挖掘技术

数据挖掘技术

一．数据挖掘的含义和作用

数据仓库的出现，带来了"数据丰富，但信息贫乏"的状况。因此迫切需要一种新技术实现从企业海量的数据中发现有用的信息或知识，从而出现了数据挖掘（Data Mining）技术。

数据挖掘(Data Mining)就是应用一系列技术从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。提取的知识表示为概念（Concepts）、规则(Rules)、模式(Patterns)等形式。这些数据可以是结构化的,如关系数据库中的数据，也可以是半结构化的，如文本，图形，图像数据，甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的，可以是演绎的，也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以进行数据自身的维护。数据挖掘借助了多年来数理统计技术和人工智能以及知识工程等领域的研究成果构建自己的理论体系，是一个交叉学科领域，可以集成数据数据库、人工智能、数理统计、可视化、并行计算等技术。

还有一个定义：数据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。这些信息是可能有潜在价值的，支持决策，可以为企业带来利益，或者为科学研究寻找突破口。

二、数据挖掘的目的

它的目标是将大容量数据转化为有用的知识和信息。

数据挖掘并不专用于特定领域，它需要凝结各种技术和创造力去探索可能隐藏在数据中的知识。在很多情况下，应用数据挖掘技术是为了实现以下三种目的：

。发现知识：知识发现的目标是从数据库存储的数据中发现隐藏的关系、模式和关联例如,在商业应用中数据挖掘可用于发现分割、分类、关联、喜好四种知识。发现分割知识可以将客户记录分组，策划为客户度身定做的推销活动。发现分类知识可以将输入的数据分配到预定义的类别中，发现和理解趋势以及对文本文档的进行分类等。发现交叉销售的机会是一种关联知识，以及发现大部分客户的喜好的知识[4]。

。使数据可视化：分析人员需搞清楚数据库中存储的大量信息的含意。在做任何分析之前，需先将待处理的数据人性化，并寻找显示数据的好方法。

。纠正数据：在结合大规模的数据库时，数据库的数据常常是不完整的，而且通常包含错误和自相矛盾的信息。数据挖掘需要以最稳定的方法识别和纠正这些问题[5]。

三、主要功能

数据挖掘综合了各个学科技术，有很多的功能，当前的如下：

1．分类：按照分析对象的属性、特征，建立不同的组类来描述事物。例如：银行部门根据以前的数据将客户分成了不同的类别，现在就可以根据这些来区分新申请贷款的客户，以采取相应的贷款方案。

2．聚类：识别出分析对内在的规则，按照这些规则把对象分成若干类。例如：将申请人分为高度风险申请者，中度风险申请者，低度风险申请者。

3．关联规则和序列模式的发现：关联是某种事物发生时其他事物会发生的这样一种联系。例如：每天购买啤酒的人也有可能购买香烟，比重有多大，可以通过关联的支持度和可信度来描述。与关联不同，序列是一种纵向的联系。例如：今天银行调整利率，明天股市的变化。

4．预测：把握分析对象发展的规律，对未来的趋势做出预见。例如：对未来经济发展的判断。

5．偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。例如：在银行的100万笔交易中有500例的欺诈行为，银行为了稳健经营，就要发现这500例的内在因素，减小以后经营的风险。

四、数据挖掘的常用工具

SAS研究所认为数据挖掘是对数据进行选择，探索，调整和建模来揭示数据中未知的模式，开发了图形界面的SAS/EM来进行数据挖掘：(1)Sample——抽样：从大量的数据中抽取与探索问题有关的数据子集，这个样本应该包含足够的信息，又易于处理。(2)Explore ——探索：对数据子集进行探索，寻找出与期望的关系和未知的模式。(3)Modify ——调整：对数据进行探索后，有了初步的了解，就必须对数据进行增减，选择，转化，量化，保证有效进行。(4)Model ——建模：应用分析工具，建立模型，进行预测。(5)Assess ——评价：评价数据挖掘结果的有效性和可靠性SPSS公司提出了5A的模型，进行数据挖掘，认为任何数据挖掘方法学都由5个基本元素组成：(1) Assess ——正确、彻底的了解业务需求及数据。(2) Access ——获取数据，做适当的调整。(3) Analyze ——选择适当的分析、验证方法和工具(4) Act ——推荐性、有说服力的原型演示(5) Automate ——提供优秀的自动化软件。

数据挖掘工具的市场一般分为三个组成部分：通用型工具、综合／DSS／OLAP数据挖掘工具和快速发展的面向特定应用的工具。

通用型工具占有最大和最成熟的那部分市场。从定义上说，它们是非面向特定应用的适合于各种需要的情况，其中包括的主要工具有SAS Enterprise Miner、IBM Intelligent Miner、Oracle Darwin、SPSS Clementine、Unica PRW、SGI MineSet等软件。

综合数据挖掘工具这一部分市场反映了商业对具有多功能的决策支持工具的真实和迫切的需求。商业要求该工具能提供管理报告、在线分析处理和普通结构中的数据挖掘能力。这些综合工具包括Cognos Scenario和Business Objects等。面向特定应用工具这一部分工具正在快速发展，在这一领域的厂商设法通过提供商业方案而不是寻求方案的一种技术来区分自己和别的领域的厂商。这些工具是纵向的、贯穿这一领域的方方面面，其常用工具有重点应用在零售业的KD1、主要应用在保险业的Option＆Choices和针对欺诈行为探查开发的HNC软件[12]。

五、丰富的数据挖掘方法和算法

1．算法：

关联规则：关联规则是形式如下的一种蕴含或规则，XÞY，其中X和Y分别是两个物品集合，这两个物品集中没有共同的物品。用于关联规则发现的对象主要是事务型数据库（transactional databases），其中针对的应用则是售货数据，也称货篮数据。一个事务一般由如下几个部分组成：事务处理时间，一组顾客购买的物品（items），有时也有顾客标识号（如信用卡号）。

由于条形码技术的发展，零售部门可以利用前端收款机收集存储大量的售货数据。因此，如果对这些历史事务数据进行分析，则可对顾客的购买行为提供极有价值的信息。例如，可以帮助如何摆放货架上的商品（如把顾客经常同时买的商品放在一起），帮助如何规划市场（怎样相互搭配进货）。由此可见，从事务数据中发现关联规则，对于改进零售业等商业活动的决策非常重要。

我们对电信行业的客户电话记录事实表作为测试数据，利用关联规则进行分析，得到较为有意义的规则。

决策树是一种非常有效的机器学习分类算法。决策树方法的起源是概念学习系统CLS，然后发展到ID3方法而为高潮，最后又演化为能处理连续属性的C5.0。有名的决策树方法还有CART和Assistant。

决策树学习着眼于从一组无次序、无规则的事例中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较并根据不同的属性值判断从该结点向下的分支，在决策树的叶结点得到结论。所以从根到叶结点的一条路径就对应着一条合取规则，整棵决策树就对应着一组析取表达式规则。基于决策树的学习算法的一个最大的优点就是它在学习过程中不需要使用者了解很多背景知识(这也同时是它最大的缺点)，只要训练例子能够用属性－结论式的方式表达出来，就能使用该算法来学习。

考虑到递归算法对大数据量而言，系统的开销较大，我们设计了非递归且能处理连续属性的决策树算法。同时，为了能使用户能清楚直观的理解产生的决策规则树，我们设计了

m-叉树的画法，这两个算法在广东地税稽查案例应用中，收到良好效果。

粗糙集：波兰的Z.Pawlak针对G.Frege的边界线区域思想提出了Rough集。他把那些无法确认的个体都归属于边界线区域，而这种边界线区域被定义为上近似集和下近似集之差集。由于它有确定的数学公式描述，所以含糊元素数目是可以计算的，即在真假二值之间的含糊度是可以计算的。

我们对粗糙集中的一种重要表示方法－差别矩阵进行了拓广，提出了广义差别矩阵的表示和可变属性度量的概念。可变属性度量用于属性选取的启发式评价函数时较好地克服了粗糙集中的属性重要度方法的一个限制：由于只考虑异类对象之间的差别致使偏向于选取不同值个数多的属性。实验结果表明，在采用粗糙集技术的分类规则发现方法中使用可变属性度量方法与属性重要度方法相比，能得到更高的预测准确度和更简洁的规则。

统计分析：本课题中，我们主要研究多个的统计模型的综合。通过对不同的统计模型的比较和组合，可以得到更为理想的结果，同时，我们的系统中包括了常用的统计模型，应用范围方面受到的限制要少一些。我们包括的统计模型有：线性回归模型、非线性回归模型、确定型时间序列模型、随机型时间序列模型、自回归－移动平均模型（ARMA）、相关分析。

神经网络：是指一类新的计算模型，它是模仿人脑神经网络的结构和某些工作机制而建立的一种计算模型。这种计算模型的特点是，利用大量的简单计算单元（即神经元）连成网络，来实现大规模并行计算。神经网络的工作机理是通过学习，改变神经元之间的连接强度。常用的神经计算模型有多层感知机、反传网络、自适应映射网络等。在神经网络中，由权重和网络的拓扑结构决定了它所能识别的模式类型。一个学习算法是用于发现给定任务的权值的程序。最流行的神经网络学习算法是BP算法（Back-propagation algorithm）。

支持向量机（SVM）是一种建立在统计学习理论基础上的机器学习方法。通过学习算法，SVM可以自动寻找那些对分类有较好区分能力的支持向量，由此构造出的分类器可以最大化类与类的间隔，因而有较好的推广性能和较高的分类准确率。SVM主要思想是针对两类分类问题，在高维空间中寻找一个超平面作为两类的分割，以保证最小的分类错误率。而且SVM 一个重要的优点是可以处理线性不可分的情况。用SVM实现分类，首先要从原始空间中抽取特征，将原始空间中的样本映射为高维特征空间中的一个向量，以解决原始空间中线性不可分的问题。

模糊聚类通常使用基于传递闭包的方法, 该方法是否失真最小在理论上缺乏保障，为解决这一问题, 我们提出了基于摄动的模糊聚类方法,简称FCMBP模糊聚类。FCMBP模糊聚类比传递闭包法失真小, 而且在基于模糊相似阵的模糊聚类方法中, FCMBP方法是失真最小的。FCMBP方法不仅失真最小, 而且有时与传递闭包法的聚类结果还有本质差异。FCMBP方法比传递闭包法计算复杂, 但聚类层次丰富。

基于范例的推理(Case-Based Reasoning 简称CBR)：为了解决一个新问题（目标范例Target Case），CBR进行回忆, 从记忆或范例库(Case Base)中找到一个与新问题相同或相似的源范例（Source Case）, 然后把该范例的有关信息和知识进行修改就复用到新问题

的求解之中，得到问题的解答。因此，这种由源范例来指导目标范例求解的方法，具有简化知识获取，通过直接复用提高求解效率，求解质量较高，适用于非计算推导的优点。

考虑到存储和检索（空间和时间）的开销，CBR对海量数据是不适合的。因此，我们研究了利用Lattice、Moment理论对原始数据进行压缩、降维，改变消极学习中推迟处理的策略，积极地对数据进行综合总结，形成不同层次的不同粒度的模型。在测试的阶段，用这些模型代替原始的数据/实例，提高分类和预测的性能。

贝叶斯预测：贝叶斯网络是用来表示变量集合连接概率的图形模式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。在数据挖掘中具有以下优点：可以处理不完整和带有噪声的数据集。它用概率测度的权重来描述数据间的相关性，从而解决了数据间的不一致性，甚至是相互独立的问题；用图形的方法描述数据间的相互关系，语义清晰、可理解性强，这有助于利用数据间的因果关系进行预测分析。

可视化技术：信息可视化和数据挖掘是两个可互为补充利用的相关研究领域。当信息可视化作为数据挖掘的技术之一时，同其它技术相比，它有一个独特之处：能极大地发挥用户的主动参预性。由于对数据进行了可视化，用户愿意进行探索（Explore），在探索过程中有可能发现意外的知识。

2数据挖掘的方法

数据挖掘方法分为统计方法、机器学习方法、可视化技术、神经网络方法和数据库方法。

〃统计学的方法是数据挖掘的经典方法。①抽样技术：我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。②多元统计分析：因子分析，聚类分析等。③统计预测方法，如回归分析，时间序列分析等。统计方法中包括回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析( 主元分析法、相关分析法等)等。

〃机器学习中包括归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法、粗糙集等。粗糙集能够对不确定、不完整信息的进行处理，而遗传算法具有全局最优搜索的能力。

〃神经网络方法模拟人的神经元功能，经过输入层，隐藏层，输出层等，对数据进行调整，计算，最后得到结果，用于分类和回归。具有处理非线性数据和含噪声数据的能力。神经网络的常用算法包括前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。

〃数据库方法主要是多维数据分析或OLAP方法。OLAP系统的数据库为高效存储静态数据构建。其存储结构的设计是为了高效检索数据，尤其是聚合数据，比如求总和或是其他运算。

〃可视化技术用图表等方式把数据特征用直观地表述出来，如直方图等，这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。

〃决策树：利用一系列规则划分，建立树状图，可用于分类和预测。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。

〃遗传算法：基于自然进化理论，模拟基因联合、突变、选择等过程的一种优化技术。

〃关联规则挖掘算法：关联规则是描述数据之间存在关系的规则，形式为“A1∧A2∧…An→B1∧B2∧…Bn”。一般分为两个步骤：①求出大数据项集。②用大数据项集产生关联规则。

除了上述的常用方法外，还有粗集方法，模糊集合方法，Bayesian Belief Netords ,最邻近算法（k-nearest neighbors method(kNN)）等。

表1 常用数据挖掘工具及其比较

说明：NN=Neural Net（神经网络）; DT=Decision Tree（决策树）;B=Bayes（贝叶斯方法）; kM=k-Means（动态聚类）; kNN=k-Nearest Neighbor（最邻近算法）; S=Traditional Statistical Techniques（传统统计技术）; P=Prediction（预测）; TS=Time Series（时间序列）; C=Clustering（聚类方法）; A=Association（关联方法）; W32=Windows 95/98/NT; U=UNIX; P=Parallel Scalability (in at least one OS)（并行方式）; A-S=API or SDK available（API或SDK方法可用）; SQL=Uses Special SQL Extensions

六、数据挖掘的实施步骤

数据挖掘是一个复杂的过程，它的一般步骤是：

（1）分析问题: 源数据数据库必须经过评估确认其是否符合数据挖掘标准。以决定预期结果，也就选择了这项工作的最优算法。

（2）提取、清洗和校验数据：提取的数据放在一个结构上与数据模型兼容的数据库中。以统一的格式清洗那些不一致、不兼容的数据。一旦提取和清理数据后，浏览所创建的模型，以确保所有的数据都已经存在并且完整。

（3）创建和调试模型：将算法应用于模型后产生一个结构。浏览所产生的结构中数据，确认它对于源数据中"事实"的准确代表性，这是很重要的一点。虽然可能无法对每一个细节做到这一点，但是通过查看生成的模型，就可能发现重要的特征。

（4）查询数据挖掘模型的数据：一旦建立模型，该数据就可用于决策支持了。在微软的数据挖掘解决方案中，该过程通常使用VB或ASP通过OLE DB for Data Mining Provider 编写前端查询程序[11]。

（5）维护数据挖掘模型：数据模型建立好后，初始数据的特征，如有效性，可能发生改变。一些信息的改变会对精度产生很大的影响，因为它的变化影响作为基础的原始模型的性质。因而，维护数据挖掘模型是非常重要的环节]。

另外，一种数据挖掘的步骤是：

1．问题理解和提出：在开始数据挖掘之前最基础的就是理解数据和实际的业务问题，在这个基础之上提出问题，对目标有明确的定义。

2．数据准备：获取原始的数据，并从中抽取一定数量的子集，建立数据挖掘库，其中一个问题是如果企业原来的数据仓库满足数据挖掘的要求，就可以将数据仓库作为数据挖掘库。

3．数据整理：由于数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，就要对数据进行初步的整理，清洗不完全的数据，做初步的描述分析，选择与数据挖掘有关的变量，或者转变变量。

4．建立模型：根据数据挖掘的目标和数据的特征，选择合适的模型。

5．评价和解释：对数据挖掘的结果进行评价，选择最优的模型，作出评价，运用于实际问题，并且要和专业知识结合对结果进行解释。

以上的步骤不是一次完成的，可能其中某些步骤或者全部要反复进行。

七. 数据挖掘的应用领域

数据挖掘技术从一开始就是面向应用的，它不仅可用于特定数据库的简单检索查询调

用，而且要对这些数据进行统计、分析、综合和推理，以指导实际问题的求解，发现事件间相互关联关系和进行预测。商业上通过使用面向CRM数据挖掘技术使公司可以快速的对顾客的需求做出反应，并且可以检验商业策略的成效[13]。在科学研究方面，一个天文学上的著名应用系统SKICAT就是相当成功的数据挖掘应用，利用该系统，天文学家已发现16个新的极其遥远的星群。在生物医学和DNA数据分析上，数据挖掘可以完成异构、分布式基因数据库的语义集成，用关联规则分析同时出现的基因序列，用路径分析发现在疾病不同阶段的致病基因等[14]。NBA教练就运用Advanced Scout来挖掘信息，安排阵型，提高了获胜的机率；在金融投资方面，FALCON系统是信用卡欺诈估测系统，已被相当数量的银行采用，FAIS 是一个用于识别与洗钱有关的金融交易系统，LBS Capital Management则使用了专家系统、神经网络和基因算法技术来辅助管理多达6亿美元的有价证券；在电信业，利用数据挖掘可以确定潜在的盗用者和他们的非典型使用模式，检测想侵入用户账户的企图以及发现需要引起注意的异常模式，从而保证电信业的正常运转。在电力系统中，应用于数据挖掘技术的数据有电力系统的范围特征（包括是时间和空间上的）与统计特征，通常有几千个状态变量；混合存在的离散信息（如网络拓扑结构的改变或保护动作等）和连续信息（如某些连续变化的状态变量）；对某些不确定量的掌握和处理（如噪声和不完整信息等）[15]。在Internet，利用数据挖掘技术可以Web后台数据库进行分类处理，从而向用户提供更快、更准、更有效的信息。同时，也可通过对Web日志进行挖掘，发现Web用户访问模式，在高度相关的站点提供快速有效的访问通道，帮助更好地设计Web主页，改善市场营销决策[16]。

八、数据挖掘中存在的问题

尽管数据挖掘有如此多的优点，但数据挖掘也面临着许多的问题，这也为数据挖掘的未来的发展提供了更大的空间。

1．数据挖掘的基本问题就在于数据的数量和维数，数据结构也因此显的非常复杂，如何进行探索，选择分析变量，也就成为首先要解决的问题。

2．面对如此大的数据，现有的统计方法等都遇到了问题，我们直接的想法就是对数据进行抽样，那么怎么抽样，抽取多大的样本，又怎样评价抽样的效果，这些都是值得研究的难题。

3．既然数据是海量的，那么数据中就会隐含一定的变化趋势，在数据挖掘中也要对这个趋势做应有的考虑和评价。

4．各种不同的模型如何应用，其效果如何评价。不同的人对同样的数据进行挖掘，可能产生不同的结果，甚至差异很大，这就涉及到可靠性的问题。

5．当前互联网的发展迅速，如何进行互联网的的数据挖掘，还有文本等非标准数据的挖掘，都引起了极大的兴趣。

6．数据挖掘涉及到数据也就碰到了数据的私有性和安全性。

7．数据挖掘的结果是不确定的，要和专业知识相结合才能对其做出判断。