数据仓库实施步骤与关键成功因素

SQL, C, Sh
2) 在加载服务器上进行
C, Sh
清洗（数据析取后、
加载前）
数据仓库
SQL
3) 在数据仓库里进行清
洗（数据加载后）
3/16/2002
17
3/16/2002
2.7 数据转换常用手段
▪ 析取 Extracting ▪ 条件 Conditioning ▪ 剔除 Scrubbing ▪ 合并 Merging ▪ 浓缩 Enrichment ▪ 确认 Validating ▪ 加载 Loading ▪ 评分 Scoring ▪ 家庭关系识别 Householding
数据仓库实施步骤与关键成功因素
一、数据仓库实施方法论
规划
现成解决方案规划
业务 探索
数 据 仓
?库
策 略 开 发
业务 探索
修改
验证 逻辑
解决 数据
方案 模型
解解
详决 决
细方 方
数案 案
据准 实
分备 施
析就 建
解决 方案 定义
逻辑 数据 模型 设计
绪议
定制解决方案规划3/16源自2002设计与实现支持与增强
3/16/2002
6
业务探索
项
目
前
信息探索
期
准
备
逻辑数据
模型
2.4 逻辑数据模型设计
主要任务：
– 进行原始数据分析 – 建立实体模型 – 建立实体间依赖关系 – 完善并填入所有属性 – 建立数据库逻辑模型
利用工具：
➢ ERWin
交付项目：
➢ 数据仓库逻辑数据模型LDM ➢ 《逻辑数据模型说明书》
3/16/2002
• 主要实体和它们的关系 （Major Entities and Their Relationships）
逻辑数据模型 （ LDM - Logical Data Model ）
• 业务模型加（CDM Plus） : • 所有的表及简单的数据（All Tables with Sample Data） • 辅助的表及简单的数据（ Minor Tables with Sample Data ） • 主键与外键的关系（ PK & FK Relationships ） • 数据约束（ Constraints ） • 属性（ Attributes ）
交付项目：
➢ 《 数据转换加载设计说明书》 ➢ 《数据映射 （Data Mapping）说明书 》 ➢ 数据转换加载脚本 （ ETL Scripts) ➢ 加载流程控制（ ETL Process Control)
3/16/2002
16
2.7 数据清洗方法
源系统 ETL服务器
1) 在源系统上进行清洗 （数据析取前）
3/16/2002
3
2.1 项目前期准备
业务探索
项
目
前
信息探索
期
准
备
逻辑数据
模型
主要任务：
– 项目启动会议(Kick-off Meeting) – 确认项目范围和主要目标 – 确认项目阶段性验收及总体验收标准 – 确认项目实施计划 – 成立项目组 – 确定各项目小组的成员及各自的工作职责 – 确定各项目小组的阶段性工作目标 – 确定教育训练计划 – 确定服务流程及方式
使用工具：
• ERWwin
交付项目：
➢ 物理数据模型（LDM） ➢ 《物理数据模型说明书》 ➢ 《数据库描述语言DDL》
建模方法：
• 第三范式 3NF • 星型结构 • 雪花状结构
3/16/2002
12
3/16/2002
2.6 数据模型的演变
概念数据模型（ CDM – Conceptual Data Model ）
系 统 体 系 结 构
元解
数据转换 数
决
据方
应用开发 管
案
理集
数据挖掘
成
设
服务
计 数据仓库管理
主要任务：
• 数据源及其特性定义 • 数据析取、转换和加载策略设计 • 构建和测试初始加载的程序和处理流程 • 构建和测试日常加载的程序和处理流程 • 40%的工作量在数据转换与加载上
使用工具：
• Teradata Builder、C、Shell、Perl
19
2.9 数据挖掘服务
1. 知识发现 (Knowledge Discovery): 发现将数据转变成信息的潜在模式
数据
知识
信息
决策 与行动
2. 知识应用(Knowledge Deployment): 将发现的知识应用于某种目标，例如进行预测
3/16/2002
20
2.9 数据挖掘方法
TeraMiner
Income>$40K
Yes
NO
Debt<10% of Income
Yes
NO
Debt=0%
NO
Yes
Good Credit Risks
Bad Credit Risks
Good Credit Risks
Teradata
Database
Data Mining & OLAP Assists
SQL
项目管理
2. 定义业务驱动力 3. 定义数据仓库成功的关键因素 4. 定义数据仓库的实施原则 5. 对系统体系结构各个组件进行详细设计
交付项目：
➢ 《系统体系结构设计说明书》
3/16/2002
10
3/16/2002
2.5 体系结构设计组件
▪ 用户类型 ▪ 拓扑结构 ▪ 网络存取与互连 ▪ 组织机构 ▪ 安全性 ▪ 数据体系结构
扩展逻辑数据模型 （ELDM - Extended Logical Data Model ）
• 逻辑数据模型加（LDM Plus） : • 存取详细描述（Access Demographics） • 数据详细描述（Data Demographics）
物理数据模型 （ PDM - Physical Data Model ）
使用工具：
• Teradata Metadata Service
❖ 逻辑非正则化
• 视图 （Views） • 逻辑星型结构 （Logical Star Schemas）
物理非正则化对模型的灵活性会有影响 逻辑非正则化是一个优选的方法（OLAP实现）
3/16/2002
14
2.6 物理数据模型（PDM）
3/16/2002
15
2.7 数据转换与加载（ETL）
物理数据 模型
物理数据库
设计 解
决 方 案 体 系 结
数据转换 元 解
数决
据方
应用开发
管案 理集
成
数 据 仓 库 评
构
设
数据挖掘
估
计
服务
数据仓库管理 (处理流程与操作)
解决方案支持
应用增强
逻辑数据 模型回顾 物理数据 库回顾
性能调整
容量规划
数据仓库的循环过程 2
二、项目具体实施步骤
物理数据模型
业务探索
系
元解
项 目
使用工具：
• 查询报表工具 • OLAP工具（Brio,Cognos,MicroStrategy…) • 基于Web的开发工具(InterDev,ColdFusion…) • 其他开发工具,如: Portal
交付项目：
➢ 《前端应用体系结构设计说明书》 ➢ 《应用模块设计说明书 》 ➢ 《用户使用手册 》
统 体
数据转换
数决 据方
前 期 准
信息探索
系 结 构
应用开发
管案 理集
成
备
设
逻辑数据
计
数据挖掘 服务
模型
数据仓库管理
项目具体实施步骤
1. 项目前期准备 2. 业务探索（Business Discovery) 3. 信息探索（Information Discovery) 4. 逻辑数据模型设计 5. 系统体系结构设计 6. 物理数据库设计 7. 数据转换加载ETL 8. 前端应用开发 9. 数据挖掘服务 10.元数据管理 11.数据仓库管理（处理流程与操作） 12.解决方案集成（测试验收与试运行）
交付项目：
➢ 《项目组织机构》 ➢ 《项目人员组成》
3/16/2002
4
2.2 业务探索（Business Discovery)
业务探索
项
目
前
信息探索
期
准
备
逻辑数据
模型
主要任务：
– 确定重点用户与数据源 – 用户需求调研与确认 – 数据源确认 – 用户需求和数据源的筛选和分析
交付项目：
➢ 《业务需求说明书BRL ( Business Requirement List )》 ➢ 《概念数据模型CDM （ Conceptual Data Model )》
18
物理数据 模型
系 统 体 系 结 构
元解
数据转换 数
决
据方
应用开发 管
案
理集
数据挖掘
成
设
服务
计 数据仓库管理
3/16/2002
2.8 前端应用开发
主要任务：
• 前端应用体系结构设计 • OLAP应用设计(Summary/Fact表及Cub的产生） • 前端应用开发（随机查询、预定义报表、 OLAP应用） • 撰写用户使用手册 • 用户测试验收
• 客户细分 • 市场细分
关联分析 Association
• 市场组合分析 • 套装产品分析 • 目录设计 • 交叉销售
神经网络 Neural Networks