数据仓库与数据挖掘复习资料

数据挖掘功能
• Concept description概念描述: Characterization and discrimination特征化和区分
– Generalize归纳, summarize汇总, and contrast data characteristics, e.g., dry vs. wet regions
–数据钻取就是从较高的维度层次下降到较低的 维度层次上来观察多维数据。
概念：数据挖掘
– 相关属性
• 挖掘过程中要考虑的感兴趣的属性 – 模式模板：给定挖掘任务，除说明要挖掘的知识类型，可进一步 说明和提供所发现模式匹配的元模式、元规则、元查询：——— —可以用于指导发现过程
– 概念分层：定义一个映射序列，将低层概念映射到更 一般的高层概念。 • Schema hierarchy模式分层
概念
• OLAP：粒度就是对数据仓库中数据综合程 度的一个度量。它既影响数据仓库中的数 据量的多少，也影响数据仓库所能回答询 问的种类。 • DM:粒度的第二种形式是指抽样率，即以一 定的抽样率对数据仓库中的数据进行抽样 后得到一个样本数据库，数据挖掘将在这 个样本数据库上进行。
概念
• 维代表了用户观察数据的特定视角，如时 间维、地区维、产品维等。 • 度量是数据的实际意义，描述数据“是什 么”，即一个数值的测量指标，如人数、 单价、销售量等。 • 数据切片、切块、上卷、下钻、转轴
• Set-grouping hierarchy集合分组分层
• Operation-derived hierarchy操作导出的分层 • Rule-based hierarchy基于规则的分层
概念：数据挖掘
– 强关联规则（strong association rule） • 同时满足用户定义的最小置信度阈值和最小支持度 阈值的关联规则。
雪花型结构 • 实际应用需求并不像标准星型结构描述的那么简 单，当问题涉及的维度很多时，事实表中的条目 数将迅速增长。 • 假定原来的事实表条目数为m，增加一个具有n个 条目的维表，通常，事实表的条目数将变成mn条， 这样事实表所占用的存储空间将迅速增大。 • 在这种情况下，可以考虑使用“雪花型”的结构。
数据仓库与数据挖掘
复习
数据仓库
数据仓库基本原理、OLAP基本原理 数据仓库的模型设计和OLAP建模 数据仓库的规划和开发 SQL Server 2005与数据仓库的实现
数据挖掘
• 数据挖掘概念 • 数据挖掘基础 • 数据挖掘支柱：
–数据、技术、模型
• 数据挖掘的应用
概念
• W.H.Inmon对数据仓库所下的定义：数据 仓库是面向主题的、集成的、稳定的、随 时间变化的数据集合，用以支持管理决策 的过程。 • 数据挖掘：企业角度
系统实施
SDLC方法
CLDS方法
数据仓库的开发方法
瀑布式开发 螺旋式开发
数据仓库
• 应用
– OLAP – DM
OLAP
DM
• 在何种数据上进行数据挖掘
– – – – Relational database 关系数据库 Data warehouse 数据仓库 Transactional database 事务数据库 Advanced database and information repository
• Outlier analysis孤立点分析
– 孤立点: 与数据的一般行为或模型不一致的数据对象。 – Noise or exception? 噪声或例外
• No! useful in fraud detection, rare events analysis
• Trend and evolution analysis趋势和演变分析
数据仓库体系结构
数据仓库的数据组织结构
– 不同于一般的数据库系统，需要将从原 有的业务数据库中获得的基本数据和综 合数据分成一些不同的级别。在数据仓 库中，采用分级的方式进行组织。
星型结构和雪花型结构
• 星型结构
–通过将事实表和维表进行连接，我们就可以得 到“星型结构”(Star-Scheme)。
数据仓库部分
• 要解决“蜘蛛网”问题，必须将用于事务 处理的数据环境和用于数据分析的环境分 离。 • 这样，数据处理被分为两大类：
–操作型处理(事务型处理)
• 操作型处理以传统的数据库为中心进行企业的日常 业务处理。
–分析型处理
分析型处理以数据仓库为中心分析数据背后的关联 和规律，为企业决策提供可靠有效的依据。
– Trend and deviation: regression analysis – Sequential pattern mining, periodicity analysis – Similarity-based analysis
• Other pattern-directed or statistical analyses
数据挖掘实施控制self
• 挖掘环境得以成功的要素
– 五个要素：
• 由一人来专职负责——建立团队 • 团队由各个学科的人员组成
– 分成技术的和商业的 – 范围广：企业用户到数据所有者，从统计人员到经理
• 各个事业单位一开始就参与进来
– 数据挖掘的目的，是将结果发布给各事业单位去执行，一开始参与进来， 可以从商业角度推动这项工作。
• Cluster analysis 聚类分析
– Class label类标记 is unknown: Group data to form new classes, e.g., cluster houses to find distribution patterns – Maximizing intra-class类内 similarity & minimizing interclass类间 similarity
添 加 新 的 衍 生 变 量 可 以 改 变 执 行 效 果
பைடு நூலகம்
检查模型的执行效果 选择最好的模型
Data Mining: A KDD Process

Data mining—core of knowledge discovery process
Task-relevant Data Data Warehouse Selection
分类
• General functionality 一般功能性
– Predictive data mining 预测式 – Descriptive data mining 描述式
• Different views, different classifications
– Kinds of data to be mined 挖掘的数据类型 – Kinds of knowledge to be discovered 发现的 知识类型 – Kinds of techniques utilized 根据使用的技术 – Kinds of applications adapted 根据应用
– 定义：模式是一个用语言L表示的表达式E，它 可用来描述数据集F中的数据的特征，E所描述 的数据是集合F的一个子集FE。
概念
• ―清洗”就是将错误的、不一致的数据在进 入数据仓库之前予以更正或删除，以免影 响DSS决策的正确性。 • 元数据：是用来描述数据的数据。它描述 和定位数据组件、它们的起源及它们在数 据仓库进程中的活动；关于数据和操作的 相关描述(输入、计算和输出)。元数据可用 文件存在元数据库中。
• 几乎只含一种值的列
– 一般规则：如果某一列中95% —99%的值相同，这一列很可能没 用
• Association关联 (correlation and causality相关性和因果 关系)
– Diaper à Beer [0.5%, 75%]
• Classification and Prediction 分类和预测
– 分类：找出描述或区分数据类或概念的模型（或函数），以便能 够使用模型预测类标记未知的对象类。
Pattern Evaluation
Data Mining
Data Cleaning Data Integration Databases
A5
预处理：对数据列的基本处理
– 对于数据挖掘十分重要的一些特例的分布情况：
• 只有一种值的列
– 缺乏任何信息内容，忽略。 – 例如：1. null，no，0 – 2. 如建立一个模型预测新泽西州的汽车客户损失率，关 于州 名将都是“NJ‖，忽略这个字段
• 信息技术部门一开始也要参与进来
– 数据挖掘是一项技术，与组织内的其它技术应协调、一致，因为用于挖 掘的数据可能来自任何其它不同的系统。
• 示范项目可以展现数据挖掘的能力
– 示范项目的成功，推动数据挖掘的开展。 – 此项目需要数据挖掘团队精心挑选，并与软件供应商和拥有丰富经验的 顾问门亲密合作。
数据挖掘过程
数据挖掘过程——B.将数据转换成可执行的结果
数 据 不 太 准 确
得 不 到 数 据
明确所需的数据
获得数据
添加衍生变量 创建建模数据集 选择建模方法
新 的 数 据 分 割 或 重 抽 样 可 以 改 进 模 型 的 效 果
数 据 不 准 确
生成有效数据 探索、清洁数据 转换数据
训练模型
另 一 方 法 或 参 数 可 改 进 效 果
• 数据挖掘的互动循环过程将数据挖掘定位于企业的需求。 包括下面几个阶段： Michael J.A. Berry的四阶段过程
A.理解业务问题 数据挖掘人员广泛听取业内专家意见，确定关键业务问题，明确所需数据。 另一方面，业内专家意见需要通过数据验证。 B.将数据转换成可执行的结果 构建模型是一个反复循环的过程，需要知道结果被如何使用。 C.结果实施过程 挖掘目的是将生成的决策付诸行动。存在不同的表现方式：如有的结果帮助 企业深入了解自己；有的结果只能使用一次；有的需要保存，放进数据仓库 D.评价结果的实施 评测结果将给数据挖掘互动循环系统提出新的问题和新的数据，同时，指出 数据挖掘的努力方向。