数据挖掘复习资料

第1章数据挖掘概述 (1)第2章数据采集集成与预处理技术 (3)第3章多维数据分析与组织 (7)第4章预测模型研究与应用 (9)第5章关联规则模型及应用 (12)第6章聚类分析方法与应用 (13)第7章粗糙集方法与应用 (14)第八章 (15)第九章 (16)第十章 (16)第十一章 (17)第1章数据挖掘概述数据仓库（Data Warehouse, DW）属于一种高层管理的新型数据库技术。

数据仓库通常是一个面向主题的、集成的、相对稳定的、反映历史变化的数据的集合，用以支持经营管理中的决策制定过程。

1.1.2 数据挖掘的定义与解释数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

1.2 数据仓库系统的相关技术数据仓库系统中主要包括：数据仓库、数据挖掘、联机分析处理、KDD和相关的数据集成、数据标准化、数据仓库建模技术、数据挖掘技术与方法、数据集市、可视化技术、自然语言解释、人机交互、知识发现与知识推理、网络集成技术等研究内容。

1.4.2 数据挖掘的相关技术与工具数据挖掘的相关技术预测技术人工智能技术关联规则技术决策树技术聚类分析技术统计分析方法粗糙集技术知识获取、知识表示、知识推理和知识搜索技术进化计算技术决策与控制理论灰色系统技术可视化技术模糊逻辑技术并行计算技术和海量存储1.4.3 数据挖掘应用及发展针对特定领域的应用，人们开发了许多专用的数据挖掘工具，包括天文学、生物医学、医疗保健、DNA分析、银行、金融、零售业和电信业等。

评价数据挖掘工具的标准产生模式种类的数量解决复杂问题的能力扩展性和与其他产品的接口并行计算数据存取能力数据处理能力模型算法多样性和完备性自动建模能力易操作性和可视化技术第2章数据采集集成与预处理技术2.1 数据采集的对象1.时序数据所谓时间序列类型数据就是按照时间先后顺序排列各个观测记录的数据集。

2.Web数据Web挖掘与传统的数据挖掘相比有许多独特之处：Web挖掘的对象是大量异质分布的Web文档。

Web在逻辑上是一个由文档节点和超链接构成的图，因此Web挖掘所得到的模式可能是关于Web内容的，也可能是关于Web结构的。

由于Web文档本身是半结构化或无结构的且缺乏机器可理解的语义，而传统数据挖掘的对象局限于数据库中的结构化数据并利用关系表格等存储结构来发现知识，因此有些数据挖掘技术并不适用于Web挖掘。

即使可用也需要建立在对Web文档进行预处理的基础之上。

Web挖掘可分为三类：Web内容挖掘：是从文档内容或其描述中抽取知识的过程。

Web结构挖掘：是从WWW的组织结构和链接关系中推导知识的过程。

用户访问模式挖掘。

2.1 数据采集的对象3.多媒体数据多媒体数据挖掘（Multimedia Data Mining, MDM）是目前国际上数据库、多媒体技术和信息决策领域最前沿的研究方向之一，是数据挖掘的一个新兴且富有挑战性的领域。

4.空间数据空间数据挖掘（Spatial Data Mining, SDM）是指从空间数据库中提取出用户感兴趣的空间模式与特征、空间与非空间数据的普遍关系及其他的一些隐含在数据库中的普遍的数据特征。

2.2 数据集成技术与方法数据集成是将多个数据源中的数据（如数据库、数据立方体或一般文件）结合起来存放到一个一致的数据存储（如数据仓库）中的一种技术和过程。

2.2 数据集成技术与方法2.2.1 3G与MIS的集成模式2.2.2 异构数据集成的设计与实现2.2.1 3G与MIS的集成模式2.3 数据预处理技术与方法数据预处理流程如图所示2.3 数据预处理技术与方法数据清理是数据准备过程中最花费时间、最乏味的，但也是最重要的一步。

初始获得的数据主要有以下几种情况需要处理：含噪声数据错误数据缺失数据冗余数据2.3.2 数据融合的方法数据融合，即把数据融合的思想引入到数据预处理的过程中，加入数据的智能化合成，产生比单一信息源更准确、更完全、更可靠的数据进行估计和判断，然后存入到数据仓库或数据挖掘模块中。

常见的数据融合方法见下表2.3.3 数据变换的方法数据变换是采用线性或非线性的数学变换方法将多维数据压缩成较少维数的数据，消除它们在时间、空间、属性及精度等特征表现方面的差异。

常见数据变换方法见下表。

常用的规范化方法有最小-最大规范化、Z-score规范化（零-均值规范化）、小数定标规范化等。

应用主成分分析方法计算模型中的数据变换矩阵的方法。

2.3.4 数据归约的方法数据规约就是在减少数据存储空间的同时尽可能保证数据的完整性，获得比原始数据小得多的数据，将数据以合乎要求的方式表示。

常见的数据归约方法见下表2.4 基于样本数据划分的通用数据挖掘模型系统将样本数据分为三类：完备的样本数据的数据挖掘模型不完备的样本数据的数据挖掘模型混合类型数据的数据挖掘模型2.5 中间件技术2.5.1 中间件技术的定义与作用1. 中间件（Middleware）的定义、特点与解释目前还没有一个确切的中间件的定义，但是根据诸多中间件的应用实例，大多数专家们将中间件定义为：中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。

中间件的主要特点包括：满足大量的、多用途应用的需要；运行于多种硬件和多操作系统的公共平台；支持分布式计算，提供跨网络、硬件和OS平台的透明性的应用或服务的交互功能；中间件往往介于数据仓库系统中间层；支持标准的协议和标准的接口。

2.通用中间件类型包括：企业服务总线（Enterprise Service Bus, ESB）分布式计算环境中间件事务处理（Transaction Processing, TP）中间件远程过程调用（Remote Procedure Call, RPC）中间件面向对象请求代理（Object Request Broker, ORB）中间件数据库访问中间件（Database Access Middleware, DCM）面向消息中间件（Message-Oriented Middleware, MOM）基于XML 的中间件（XML-Based Middleware）第3章多维数据分析与组织3.1 多维数据分析概述3.1.1 联机分析处理的定义和特点联机分析处理（On-Line Analysis Processing, OLAP）:OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。

联机分析处理技术的特点：多维性（Multi-dimensional）快速性（Fast）可分析性（Analyzability）信息性（Information）3.1.2 联机分析处理的评价准则E.F.Codd同时提出了关于OLAP的12条准则来描述OLAP系统。

准则1：OLAP模型必须提供多维概念模型。

准则2：透明性准则。

准则3：存取能力准则。

准则4：稳定的报表性能。

准则5：客户/服务器体系结构。

准则6：维的等同性准则。

准则7：动态稀疏矩阵处理准则。

准则8：多用户支持能力准则。

准则9：非受限的跨维操作。

准则10：直观的数据处理。

准则11：灵活的报表生成。

准则12：非受限的维与维的层次。

3.4 从联机分析处理到联机分析挖掘3.4.1 联机分析挖掘形成原因3.4.2 联机分析挖掘概念及特征3.4.1 联机分析挖掘形成原因OLAP与DM虽同为数据库或数据仓库分析工具，但两者的侧重点不同。

同时，随着OLAP 与DM技术的应用和发展，数据库领域在OLAP基础上对深层次分析的需求与人工智能领域的数据挖掘技术的融合最终促成了联机分析挖掘技术。

3.4.2 联机分析挖掘概念及特征联机分析挖掘将联机分析处理与数据挖掘以及在多维数据库中发现的知识集成在一起，提供在不同的数据子集和不同的抽象层上进行数据挖掘的工具。

联机分析挖掘（OLAM）＝数据仓库（DW）+联机分析处理（OLAP）+数据挖掘（DM）。

OLAM融合了三种技术，兼有OLAP和DM的优点，在DW上的数据挖掘和分析更具有灵活性和交互性。

其功能特征包括：相对OLAP和DW技术，OLAM具有较高的执行效率和较快的响应速度。

OLAM能对任何它想要的数据进行挖掘。

在OLAM中，用户可以动态选择或添加挖掘算法，并可以动态切换挖掘任务。

OLAM中挖掘任务具有多样性，算法具有复杂性，因此应具有标签和回溯的功能。

OLAM具有灵活的可视化工具。

良好的扩展性。

友好的人际交互能力。

第4章预测模型研究与应用4.1预测模型的基础理论4.1.1预测方法的分类按预测目标范围不同，可分为宏观预测和微观预测，宏观经济预测是指对整个国民经济或一个地区、一个部门的经济发展前景的预测。

而微观经济预测是以单个经济单位的经济活动前景作为考察的对象；按预测期限长短不同，可分为长期预测、中期预测和短期预测；按预测结果的性质不同，可分为定性预测与定量预测。

定性预测主要是根据事物的性质和特点以及过去和现在的有关数据，对事物做非数量化的分析，然后根据这种分析对事物的发展趋势做出判断和预测。

定量预测定量预测主要利用历史统计数据并通过一定的数学方法建立模型，以模型为主对事物的未来做出判断和预测的数量化分析，也称客观预测。

4.1.2 预测方法的一般步骤（1）预测目标分析和确定预测期限（2）进行调研，收集资料（3）选择合适的预测方法（4）考虑模型运行平台（5）对预测的结果进行分析和评估（6）模型的更新4.2 回归分析预测模型以影响预测的各因素作为自变量或解释变量x 和因变量或被解释变量y 有如下关系：称为一元线性回归模型(One Variable Linear Regression Model)，其中：u 是一个随机变量称为随机项；a, b 是两个常数，称为回归系数（参数）；i 表示变量的第i 个观察值，共有n 组样本观察值。

1,2,...,i i i y a bx u i n=++=4.4 时间序列预测模型4.4.1 移动平均预测模型4.4.2 指数平滑预测模型4.4.3 季节指数预测模型4.4.1移动平均预测模型一次移动平均法一次移动平均法是在算术平均法的基础上加以改进，其基本思想是每次取一定数量周期的数据平均，按时间顺序逐次推进。

每推进一个周期，舍去前一个周期的数据，增加一个新周期的数据，再进行平均。

一次移动平均法一般只应用于一个时期后的预测（即预测第t+1期）。

二次移动平均法当序列具有线性增长的发展趋势时，用一次移动平均预测会出现滞后偏差，表现为对于线性增长的时间序列预测值偏低。

这时，可进行二次移动平均计算，二次移动平均就是将一次移动平均再进行一次移动平均来建立线性趋势模型。