数据仓库培训
数据仓库开发培训(1)-DB2基础
-2-
数据仓库开发系列培训
DB2 基础
阅读说明 本文主要面向数据库设计和开发人员、部署人员和性能调优人员。 杭州滨江 2013 年 7 月 3 日
-3-
数据仓库开发系列培训
DB2 基础
目录
培训介绍...................................................................................................................................... - 2 本文内容...................................................................................................................................... - 2 阅读说明...................................................................................................................................... - 3 第一篇 基础理论........................................................................................................................ - 6 1 DB2 数据库基本概念 ........................................................................................................
数据仓库开发培训(1)-DB2基础 - AIX系统上DB2安装使用手册
DB2安装使用手册——数据仓库开发系列培训讲师：赵坚密日期：2013年7月26日目录1.DB2服务器安装 (4)1.1.前提条件 (4)1.2.DB2软件安装 (4)1.3.创建数据库管理服务器 (8)1.4.创建实例 (8)1.5.修改/etc/services文件 (8)1.6.设置环境变量 (8)1.6.1.修改.bash_profile (8)1.6.2.设置服务名称 (8)1.6.3.设置注册变量 (9)1.7.启动实例 (9)2.创建数据库 (10)2.1.创建数据库 (10)2.2.创建缓冲池（8K） (10)2.3.创建系统临时表空间（8K） (10)2.4.创建数据表空间（8K） (10)2.5.创建数据库用户 (11)2.6.设置数据库参数 (11)3.创建Schema (12)3.1.创建表格 (12)3.2.创建视图 (12)4.初始化数据导入 (13)4.1.公共数据导入 (13)4.2.用户数据导入 (13)5.DB2数据库日常操作 (14)5.1.启动和关闭数据库实例 (14)5.2.启动和关闭DAS (14)5.3.连接和断开数据库实例 (14)5.4.连接和断开数据库 (14)5.5.客户端连接配置 (14)5.6.查看数据库字符集 (14)5.7.断开所有用户连接 (15)5.8.执行批处理脚本 (15)5.9.导入导出数据 (15)5.10.查看数据库版本 (15)5.11.显示当前活动数据库 (15)5.12.显示当前用户拥有的表和视图 (15)6.DB2卸载 (16)6.1.删除所有数据库 (16)6.2.停止管理服务器 (16)6.3.停止所有DB2实例 (16)6.4.除去管理服务器 (17)6.5.除去所有DB2实例 (17)6.6.卸载DB2安装文件 (17)6.7.删除DB2所有用户 (17)6.8.删除DB2所有用户组 (18)6.9.删除/HOME目录下DB2用户目录 (18)6.10.重新引导服务器 (18)1.DB2服务器安装1.1. 前提条件123、查看/etc/hosts文件，确认主机名和IP已经设置。
《数据仓库基础培训》课件
数据仓库的安全性和保密性
1 权限管理
数据仓库中的数据应根据用户角色和权限进行精确的管理，保证敏感数据的安全性。
2 数据加密
对敏感数据进行加密处理，防止未授权的访问和数据泄露。
3 备份与恢复
定期备份数据仓库，以确保数据的可靠性和可恢复性。
数据仓库的性能优化
索引优化
通过合理的索引设计和优化， 提高数据仓库的查询性能。
易用性
数据仓库的设计应简化用户的操作和查询过程， 使其能够轻松获取所需的信息。
数据仓库的建设流程与方法
1
需求分析
根据业务需求和数据源确定数据仓库的
数据建模
2
规模、范围和功能。
设计数据仓库的逻辑模型，包括维度模
型和事实表的建立。
3
ETL开发
进行数据抽取、转换和加载的开和完整。
数据仓库建设的经验与案例分享
成功案例
分享一些数据仓库建设的成功案例，探讨其经验和 最佳实践。
挑战与解决方案
讨论数据仓库建设过程中可能遇到的挑战，以及如 何解决和应对。
数据仓库的未来发展与挑战
1 大数据时代
随着大数据技术的不断发展，数据仓库将面临更大的数据规模和复杂性。
2 实时数据分析
实时数据分析需求的增加，将对数据仓库的实时性和性能提出更高要求。
分区与分片
将数据仓库的数据进行分区和 分片，以提高查询和加载的效 率。
缓存管理
使用缓存技术，预先加载常用 的数据，减少查询时间。
数据仓库的容错机制
数据复制
通过数据复制技术，将数据仓库的副本存储在不同 的地点，提高系统的容错能力。
灾难恢复
制定灾难恢复计划，确保在系统故障或灾难情况下 能够及时恢复数据仓库。
(2024年)ETL培训教程
实时数据处理需求
随着实时数据流的应用场景增多 ，ETL需要支持实时数据处理和
分析。
2024/3/26
25
AI技术在ETL中应用前景展望
智能数据清洗
利用AI技术自动识别并清洗脏数据，提高数据质 量。
自动化流程优化
AI可分析ETL流程性能瓶颈，提出优化建议，实现 流程自动化调优。
智能数据映射
通过机器学习算法学习数据映射规则，实现自动 数据转换和映射。
ETL作用
ETL在数据仓库构建中占据重要地位，它能够将不 同来源、格式、特点性质的数据在逻辑上或物理上 有机地集中，从而为企业提供全面的数据共享。通 过ETL过程，企业可以更加有效地管理和使用数据 ，提高决策效率和准确性。
4
数据仓库与ETL关系
数据仓库概念
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合 ，用于支持管理决策。
2024/3/26
选择高性能数据库
01
如Oracle、MySQL、PostgreSQL等，确保数据处理速度和数
据安全性。
合理配置数据库参数
02
根据硬件资源和业务需求，调整数据库缓存、连接池等参数，
提高数据处理效率。
建立索引和分区
03
针对查询频繁的字段建立索引，对大表进行分区，提高查询速
度和数据管理效率。
2024/3/26
12
批量传输与实时传输对比
2024/3/26
批量传输
适用于大量数据的定期或不定期 传输，如每日、每周的数据备份 或迁移。优点为传输效率高，缺 点为实时性差。
实时传输
适用于对数据实时性要求高的场 景，如实时监控、实时分析等。 优点为实时性强，缺点为传输效 率相对较低。
2024年史上最强Kettle培训教程
配置环境变量
将Kettle的bin目录添加到 系统环境变量PATH中
2024/2/29
启动服务
在命令行中输入kettle.bat （Windows）或kettle.sh （Linux/MacOS）启动服 务
服务端口
默认端口为8080，可通过 配置文件进行修改
6
常见问题解决方案
问题1
无法启动服务
解决方案
作有很大的帮助。
2024/2/29
30
行业发展趋势分析
2024/2/29
大数据时代下的数据处理需求
随着大数据时代的到来，数据处理需求越来越大，Kettle作为一种高效的数据处理工具， 将会得到更广泛的应用。
Kettle在数据仓库建设中的地位和作用
数据仓库是企业级数据集成和存储的重要平台，Kettle在数据仓库建设中扮演着重要的角 色，能够实现数据的快速集成和转换。
2024/2/29
27
06
总结回顾与未来展望
2024/2/29
28
关键知识点总结回顾
Kettle工具介绍和使用场景：包括Kettle的基本概 念、特点、使用场景等，让学员对Kettle有一个 全面的了解。
Kettle组件和功能介绍：介绍了Kettle中的各种组 件和功能，如输入/输出组件、转换组件、脚本组 件等，以及如何使用这些组件完成复杂的数据处 理任务。
2024/2/29
数据抽取、转换和加载（ETL）过程详解：详细讲 解了ETL过程中的各个环节，包括数据抽取、清洗 、转换、加载等，以及如何使用Kettle实现这些 操作。
Kettle性能优化技巧：分享了在使用Kettle过程中 如何优化性能，提高数据处理效率的方法和技巧 。
数据库技术培训教程(ppt 31页)
2.对于E-R图中联系，联系方式不同，处理方法不同。
1：1联系：联系本身无属性，在任意方关系 中加入对方主键均可。
厂长（厂长号，厂号，姓名，年龄） 工厂（厂号，厂名，地点） 或：厂长（厂长号，姓名，年龄） 工厂（厂号，厂长号，厂名，地点）
据处理后将结果输出，最后数据和程序占据的内存空间被 一起释放。 只有程序文件的概念，数据的组织方式由程序自行设计和 安排。 问题：数据不保存、应用程序管理数据、数据不共享、数 据没有独立性。
应用程序 A 应用程序 B 应用程序 C
文件A 文件B 文件C
1.数据库发展史——发展阶段——文件系统阶段
2.数据——文件
文件：为了某一特定目的形成的同类记录的集合。 是数据库的基础：数据库太大，主存有限——某一特定时
间，只需要数据库的一小部分数据，为了某个特定应用目 的才会被程序存取。
1 数据库发展史
2 数据
3
数据库设计
数据库技术
3.数据库设计——设计步骤
需求分析 概念结构设计 逻辑结构设计 物理结构设计
• 数据完整性：实体完整性、参照完整性、 用户自定义完整性。
• 三范式：1971 codd 提出的。
3.数据库设计——物理结构设计
物理结构设计是为数据模型在设备上选定合适的存储结构 和存取方法，以获得数据库的最佳存取效率。
库文件的组织形式 存储介质的分配 存取路径的选择
文件管理阶段 50s中期到60s中期 当时条件：出现了磁盘、磁鼓等。操作系统提供了文件系
统管理数据，数据以文件方式存储，对数据操作就是对相 应文件操作。 优点：数据可以保存，以文件系统管理数据:数据不属于 某个特定程序，可以重复使用，即具有共享性:具有一定 的独立性，对程序的依赖减弱。 缺点：数据冗余大:独立性不好，编程不方便:不支持并发 访问。
数据管理培训心得
数据管理培训心得数据管理培训心得（精选16篇）数据管理培训心得篇18月16日至19日，我有幸参与了在哈尔滨举办的数据集成与数据分析的高级培训班。
报完名后，工作人员给我发放了本次培训教材。
拿到培训教材后，我抓紧扫瞄了一遍，对本次培训的全部学问点有了大致了解，这次培训内容主要包括如下内容：商业智能、数据集成实战、数据仓库与多维数据建模、数据分析方法以及OLAP分析演示。
本次培训方式实行老师在每介绍完相关学问后，再介绍微软在该方面的解决方案，如：SQL数据库中的SSAS、SSRS等。
通过三天紧急的培训，主要的心得体会是商业智能核心技术数据仓库的功能特别强大，具有数据抽取、清洗、加载、集成、分析以及将快速得出的分析结果进行各种图形化展现功能，可以通过MS Excel将数据库中的图形效果直接展现给用户，也可以通过Servlet和FLASH技术在门户或决策支持系统进行展现。
一、数据仓库与主数据管理的关系(一)共同之处：削减数据冗余和不全都性，提升对数据的洞察力，都是跨业务系统的。
依靠许多相同的技术手段，都涉及到 ETL 技术、都强调数据质量。
建设方法类似，都需要数据规范作指导，都需要统一的平安策略。
(二)不同之处：处理类型不同：主数据管理 (MDM) 系统是偏实时交互的应用，为各个业务系统供应联机交易服务;而数据仓库是面对是分析型的应用，是在大量历史数据的基础上进行多维分析。
实时性不同：主数据管理在运行中要大量依靠实时整合的方式来进行主数据的集成和同步，对实时性要求高，而数据仓库存储的是历史数据，对实时性要求较低。
数据量不同：数据仓库存储的是海量的历史数据和各个维度的汇总数据，而主数据管理存储的仅仅是组织机构、项目工程等基本信息，存储的数据量较小。
服务对象不同：主数据管理的服务对象是服务对象是OA、人力资源、供应链、财务等业务系统，而数据仓库的服务对象是各层领导和业务分析、业务决策人员等。
二、数据仓库与数据集市、ODS(操作数据仓库)的关系数据仓库：存储历史的业务处理明细数据和维度的汇总数据。
2024年数据库基础知识培训(多应用)
数据库基础知识培训(多应用)数据库基础知识培训一、引言随着信息技术的快速发展，数据已经成为企业的重要资产。
数据库作为存储、管理和处理数据的系统，其重要性不言而喻。
为了提高员工对数据库基础知识的理解和应用能力，特举办本次数据库基础知识培训。
通过本次培训，参训人员将掌握数据库的基本概念、类型、结构、设计方法以及数据库管理的基本技能，为实际工作提供有力支持。
二、数据库基本概念1.数据库（Database，DB）数据库是长期存储在计算机内的、有组织的、可共享的大量数据的集合。
数据库中的数据按照一定的数据模型组织、描述和存储，具有较小的冗余度、较高的数据独立性和易扩展性。
2.数据库管理系统（DatabaseManagementSystem，DBMS）数据库管理系统是一种用于建立、使用和维护数据库的大型软件。
它对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。
常见的数据库管理系统有Oracle、MySQL、SQLServer等。
3.数据模型数据模型是描述数据、数据联系、数据操作、数据语义以及一致性约束的概念工具。
常见的数据模型有层次模型、网状模型、关系模型和面向对象模型等。
其中，关系模型是最为广泛应用的数据模型，它采用二维表来表示实体及其之间的关系。
4.关系数据库（1）数据结构化：关系数据库中的数据以表格的形式组织，便于用户理解和使用。
（2）数据共享：关系数据库中的数据可以被多个用户和应用程序共享，提高了数据利用率。
（3）数据独立性：关系数据库中的数据具有较高的逻辑独立性和物理独立性，使得用户在不了解数据库内部结构的情况下，也能方便地使用数据。
（4）数据安全性：关系数据库提供了完善的数据安全机制，保证了数据的安全性。
三、数据库类型与结构1.数据库类型（1）按数据模型分类：层次数据库、网状数据库、关系数据库、面向对象数据库等。
（2）按用途分类：事务处理数据库、数据仓库、实时数据库、空间数据库等。
（3）按规模分类：小型数据库、中型数据库、大型数据库等。
BW基础知识(介绍)专题培训课件
主数据管理(MDM) 跨系统的主数据同步
SAP 集成平台（XI） 与其它 SAP系统紧密集成 信息映射 多种接口实现方式
SAP Web Application Server 稳定的系统运行平台
ETL工具
BW是SAP系统整体报表工具一部分
结论性分析
BW
BW
LIS – FIS - HIS
标准报表 Report Writer Report Painter
R/3 ABAP Query
ABAP SAP R/3 数据字典 & 表格
交易性分析
BW将提供更深层次的分析报表，但是不会取代所有 通过R3产生的报表。
数据仓库系统实施背景
背景介绍
ERP系统上线后，随着日常业务的开展，将产生大量的业务 交易数据，如何充分利用这些数据，为各层经营管理人员提供有效 的帮助，是一个即将面临的问题。
数据仓库系统实施背景 成功实施R/3之后…
业务终于通过R/3规范了
库存准了
订单管起来了
财务结帐快了
业务和财务数据一致了
业务情景二 执行层
？没有一个好的信息决策能预警销售数据就好了 ？我们有5年的销售数据，应该好好利用利用才
对,可是怎么整理这些数据好呢 ？怎么比较我的销售和竞争对手的销售
数据仓库系统实施背景 业务情景三 操作层
业务人员 技术人员
？为什么现在系统速度变慢了 ？为什么有些报表运行要这么长时间
BW系统的整体定位
是面向企业中、高级管理进行业务分析和绩效考核的数据 整合、分析和展现的工具；
是主要用于历史性、综合性和深层次数据分析； 数据来源是ERP（SAP R/3）系统或其他业务系统； 能够提供灵活、直观、简洁和易于操作的多维查询分析; 不是日常交易操作系统，不能直接产生交易数据；
数据库技术培训计划方案
一、培训目标1. 使学员掌握数据库的基本概念、原理和常用技术。
2. 使学员熟练使用数据库进行数据存储、管理和查询。
3. 使学员具备解决实际数据库问题的能力。
二、培训对象1. 对数据库技术感兴趣的人员。
2. 需要使用数据库进行数据管理的相关人员。
3. 从事数据库开发、维护、管理等相关岗位的人员。
三、培训时间1. 总共为期4周，每周2天，共计8天。
2. 周一至周五，每天上午9:00-12:00，下午14:00-17:00。
四、培训内容1. 第一周：数据库基础知识（1）数据库基本概念：数据模型、数据库系统、数据库管理系统等。
（2）关系型数据库：关系模型、SQL语言、数据库设计等。
（3）数据库管理系统：Oracle、MySQL、SQL Server等。
2. 第二周：关系型数据库应用（1）数据库设计原则：范式设计、E-R图、数据库规范化等。
（2）SQL语言应用：数据查询、数据插入、数据更新、数据删除等。
（3）数据库安全与优化：用户权限管理、SQL语句优化、数据库备份与恢复等。
3. 第三周：非关系型数据库介绍（1）非关系型数据库概述：NoSQL、文档型数据库、键值存储等。
（2）MongoDB：数据模型、查询语言、索引、聚合等。
（3）Redis：数据结构、命令、事务、持久化等。
4. 第四周：大数据技术与应用（1）大数据概述：数据量、数据类型、数据处理技术等。
（2）Hadoop生态圈：HDFS、MapReduce、YARN等。
（3）Hive：数据仓库、HiveQL、数据查询、调优等。
五、培训方式1. 理论讲解：由资深讲师进行数据库技术理论讲解。
2. 实践操作：学员在实验室进行实际操作，巩固所学知识。
3. 案例分析：结合实际案例，讲解数据库技术在项目中的应用。
4. 互动交流：学员之间、学员与讲师之间进行互动交流，解决实际问题。
六、培训考核1. 理论考核：考试形式，占总成绩的30%。
2. 实践考核：实际操作，占总成绩的40%。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
OLAP基本操作
上卷操作：通过维层次，在数据立方体上进 行聚集。 下钻操作：是上卷操作的逆操作，由不太详 细的数据到更详细的数据。 切片和切块：切片在给定的数据立方体的一 个维上进行选择，切块则是在两个或两个以 上的维进行选择。 旋转操作：是改变维度的位置关系，使最终 用户可以从其他视角来观察多维数据。
日期
一季度 二季度 三季度 四季度
ALL
南京 苏州 常州
TV PC
VCD ALL
产 品
地 区
ALL
数据仓库的主要应用
信息处理
支持查询和基本的统计分析，并使用表或图进行报告.
分析处理
支持基本的OLAP操作，在汇总的和细节的历史数据上操作.
数据挖掘
支持知识发现，包括找出隐藏的模式和关联，构造分析模型， 进行分类和预测，并用可视化工具提供挖掘结果.
一次处理的数据量小
面向应用，事务驱动
一次处理的数据量大
面向分析，分析驱动
面向操作人员，支持日常操作 面向决策人员，支持管理需要
OLTP和OLAP的区别
用户和系统的面向性:
OLTP是面向顾客的,用于事务和查询处理； OLAP是面向市场的,用于数据分析。
数据内容:
OLTP系统管理当前数据； OLAP系统管理大量历史数据,提供汇总和聚集机制。
Data Mart（数据集市）
小型的，面向部门或工作组级数据仓库.
数据仓库中的几个重要概念 (续)
Operation Data Store
操作数据存储 — ODS是能支持企业日常的全局应 用的数据集合，是不同于DB的一种新的数据环境, 是DW 扩展后得到的一个混合形式。 四个基本特点：面向主题的(Subject -Oriented)、集 成的、可变的、 当前或接近当前的。
ProductID ProductNa me ClassID ClassName
地区维表
类别表 ClassID Category ID CategoryName
RegionID City Province
省份表 Province Country
基本数据模式（续2）
多维模型
Cube（D1,D2,…, Dn , M1 , M2 , …, Mm ）
OLAP发展背景
60年代，关系数据库之父E.F.Codd提出了关系模型， 促进了联机事务处理(OLTP)的发展(数据以表格的 形式而非文件方式存储)。
1993年，E.F.Codd提出了OLAP概念，认为OLTP已 不能满足终端用户对数据库查询分析的需要，SQL 对大型数据库进行的简单查询也不能满足终端用户 分析的要求。用户的决策分析需要对关系数据库进 行大量计算才能得到结果，而查询的结果并不能满 足决策者提出的需求。因此，E.F.Codd提出了多维 数据库和多维分析的概念，即OLAP。
混合OLAP(HOLAP)服务器
结合ROLAP和MOLAP技术，得宜于ROLAP 的可伸缩性和MOLAP的快速计算。
数据组织形式
RDB数据组织
产品名称 冰箱 冰箱 冰箱 彩电 彩电 彩电 空调 空调 空调 地区 东北 西北 华北 东北 西北 华北 东北 西北 华北 销售量 50 60 100 40 70 80 90 120 140
MDDB数据组织
东北 西北 华北 冰箱 彩电 空调 50 40 90 60 70 120 100 80 140
关系表中综合数据的存放
产品名称 冰箱 冰箱 冰箱 冰箱 彩电 彩电 彩电 彩电 空调 空调 空调 空调 总和 总和 总和 总和 地区 东北 西北 华北 总和 东北 西北 华北 总和 东北 西北 华北 总和 东北 西北 华北 总和 销售量 50 60 100 210 40 70 80 190 90 120 140 350 180 250 320 750
访问模式:
OLTP系统的访问主要由短的原子事务组成，这种系统需要并行 和恢复机制。 OLAP系统的访问大部分是只读操作。
什么是OLAP？
定义1 ：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。 通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互 性的存取，允许管理决策人员对数据进行深入观察。 定义2 ：OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能 够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、 并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得 对数据的更深入了解的一类软件技术。(OLAP委员会的定义)
OLAP特性
快速性:用户对OLAP的快速反应能力有很高的要求。系统应能 在5秒内对用户的大部分分析要求做出反应。
可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统 计分析。 多维性:多维性是OLAP的关键属性。系统必须提供对数据的多 维视图和分析,包括对层次维和多重层次维的完全支持。
信息性:不论数据量有多大，也不管数据存储在何处，OLAP系 统应能及时获得信息，并且管理大容量信息。
操作数据库与数据仓库的区别
操作数据库系统的主要任务是 联机事务处理OLTP
数据仓库在数据分析和决策方 面为用户提供服务，这种系统 称为联机分析处理OLAP
OLTP v.s. OLAP
OLTP 原始数据 细节性数据 当前值数据 可更新 导出数据 综合性和提炼性数据 历史数据 不可更新，但周期性刷新 OLAP
多维数据库中综合数据的存放
东北 冰箱 彩电 空调 总和 50 40 90 180 西北 60 70 120 250 华北 100 80 140 320 总和 210 190 350 750
数据展现及决策
数据仓库项目流程管理及系统性能管理和监控
数据仓库中的几个重要概念
ETL
ETL（Extract/Transformation/Load）用户从数据 源抽取出所需的数据，经过数据清洗、转换,最终 按照预先定义好的数据仓库模型，将数据加载到 数据仓库中去。
元数据
关于数据的数据，指在数据仓库建设过程中所产 生的有关数据源定义、目标定义、转换规则等相 关的关键数据。同时元数据还包含关于数据含义 的商业信息。
数据库设计:
OLTP采用实体-联系ER模型和面向应用的数据库设计； OLAP采用星型或雪花模型和面向主题的数据库设计。
OLTP和OLAP的区别(续)
视图:
OLTP主要关注一个企业或部门内部的当前数据,不涉及历史数 据或不同组织的数据； OLAP则相反，不仅关注本企业或组织内部的当前数据，而且更 多地涉及到历史数据和其他组织的数据。
日期维表
TimeID Day Month Year
销售事实表 TimeID ProductID RegionID Sales Quantity
基本数据模式（续1）
雪花模式
产品维表
日期维表 月表 Month Year TimeID day Month
销售事实表
TimeID ProductID RegionID Sales Quantity
以读为主的
数据仓库中的数据主要是提供决策进行查询， 一般不一定都需要即时更新，可以定期刷新或 按需刷新。
数据仓库体系结构
OLTP 数据源
生产
财务 结算
数据集市
数据仓库 E T L
地区 分析 总量 分析
数据分析、DM
终端用户
外部
市场 分析
终端用户
数据的映射规则、模型 数据据仓库
航天五院测试中心软件组 向永清
基本概念
数据仓库定义
数据仓库是一个面向决策主题的、集成的、时变的、 非易失、以读为主的数据集合。
数据仓库系统的分类
Web数据仓库； 并行数据仓库； 多维数据仓库； 压缩数据仓库等。
数据仓库基本特性
面向决策主题的
数据仓库围绕一些主题,排除对于决策无用的数 据,提供特定主体的简明视图。
OLAP的分析方法(一)切片、切块
OLAP的分析方法(二)钻取
按 时 间 维 上 卷
60
按 时 间 维 下 钻
OLAP的分析方法(三)旋转
OLAP服务器类型
关系OLAP(ROLAP)模型
使用关系或扩充关系DBMS存放并管理数据仓 库。
多维OLAP(MOLAP)服务器
这些服务器通过基于数组的多维存储，支持 数组的多维视图。
粒度
数据仓库的数据单元中保存数据的细化或综合程度 的级别。细化程度越高，粒度级就越小；相反，细 化程度越低，粒度级就越大。
分割
结构相同的数据可以被分成多个数据物理单元。任 何给定的数据单元属于且仅属于一个分割。
基本数据模式
星型模式
产品维表 ProductID ProductName ClassID ClassName CategoryID CategoryName 地区维表 RegionD City Province Country
集成的
构造数据仓库是将多个异种数据源集成在一起, 确保命名约定,编码结构,属性度量等一致性。
时变的
数据存储从历史的角度提供信息.在数据仓库,隐 式或显式地包含时间元素。
数据仓库基本特性
非易失的
数据仓库总是物理地分离存放数据；由于这种 分离，数据仓库不需要事务处理，恢复和并发 控制。通常数据仓库只需要两种数据访问:数据 的初始化装入和数据访问。
OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的 技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具 的集合。
OLAP相关基本概念
维：是人们观察数据的特定角度，是考虑问题时的一类属 性，属性集合构成一个维(时间维、地理维等)。 维的层次(粒度)：人们观察数据的某个特定角度(即某个维) 还可以存在细节程度不同的各个描述方面(时间维：日期、 月份、季度、年)。 维的成员：维的一个取值。是数据项在某维中位置的描述。 (“某年某月某日”是在时间维上位置的描述) 多维数组：维和变量的组合表示。一个多维数组可以表示 为：(维1，维2，…，维n，变量)。(时间，地区，产品，销 售额) 数据单元(单元格)：多维数组的取值。(2000年1月，上海， 笔记本电脑，$100000)