数据仓库的体系结构
数据仓库与数据挖掘技术 第二章 数据仓库
第2章数据仓库2.1数据仓库的基本概念1. 数据仓库的数据是面向主题的数据仓库与数据挖掘技术图2-1主题间的重叠关系2. 数据仓库的数据是集成的3. 数据仓库的数据是不可更新的数据仓库与数据挖掘技术4. 数据仓库的数据是随时间不断变化的图2-2数据仓库体系结构2.2数据仓库的体系结构数据仓库与数据挖掘技术图2-3数据仓库数据组织结构2.2.1元数据1. 元数据在数据仓库中的作用2. 元数据的使用3. 元数据的分类4. 元数据的内容2.2.2粒度的概念1. 按时间段综合数据的粒度2. 样本数据库2.2.3分割问题1. 分割的优越性2. 数据分割的标准3. 分割的层次2.2.4数据仓库中的数据组织形式1. 简单堆积结构图2-4简单堆积结构数据组织形式2. 轮转综合结构数据仓库与数据挖掘技术图2-5轮转综合结构数据组织形式3. 简单直接结构图2-6简单直接结构数据组织形式4. 连续结构图2-7连续结构数据组织形式数据仓库与数据挖掘技术2.3数据仓库的数据模型2.3.1概念数据模型图2-8商品、顾客和供应商E-R图2.3.2逻辑数据模型2.3.3物理数据模型2.3.4高层数据模型、中间层数据模型和低层数据模型1. 高层数据模型2. 中间层数据模型3. 低层数据模型数据仓库与数据挖掘技术2.4数据仓库设计步骤图2-9数据仓库设计步骤2.4.1概念模型设计1. 界定系统边界2. 确定主要的主题域3. 实例2.4.2技术准备工作2.4.3逻辑模型设计1. 分析主题域2. 划分粒度层次3. 确定数据分割策略4. 定义关系模式5. 定义记录系统2.4.4物理模型设计1. 确定数据的存储结构数据仓库与数据挖掘技术2. 确定索引策略3. 确定数据存放位置4. 确定存储分配2.4.5数据仓库的生成1. 接口设计2. 数据装入2.4.6数据仓库的使用和维护1. 开发DSS应用图2-10DSS应用开发步骤2. 进一步理解需求，改善系统，维护数据仓库图2-11William H.Inmon数据仓库设计步骤数据仓库与数据挖掘技术2.5利用SQL Server 2005构建数据仓库图2-12使用Visual Studio 2005系统新建项目图2-13新建Analysis Services项目图2-14新建数据源数据仓库与数据挖掘技术图2-15新建数据源向导图2-16选择如何连接数据源图2-17连接管理器图2-18连接管理器连接测试成功窗口图2-19选择已经连接的数据库作为数据源图2-20选择连接数据源的凭证图2-21新建数据源向导完成图2-22右击新建数据源视图图2-23新建数据源视图向导图2-24选择视图的数据源图2-25选择表和视图图2-26完成新建数据源视图向导图2-27新建多维数据集图2-28多维数据集向导图2-29选择生成多维数据集的方法图2-30选择多维数据集的数据源视图图2-31检测事实数据表和维度表图2-32标示事实表和维度表图2-33选择度量值图2-34扫描维度图2-35查看维度结构图2-36完成多维数据集向导图2-37创建完成数据仓库界面习题21. 如何理解数据仓库是面向主题的、集成的、不可更改的和是随时间不断变化的。
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
数据仓库体系结构
数据仓库体系结构数据仓库是一个用于集成、管理和分析大量数据的系统。
在数据仓库中，数据从不同的源系统中提取、转换和加载，然后存储在一个统一的、可供分析的数据存储中。
为了实现这一目标，数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。
数据仓库体系结构由以下几个主要组成部分组成：1. 数据源：数据源是数据仓库的基础，它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。
数据源可以包括结构化数据（如关系型数据库中的表）和非结构化数据（如文本文件、图像文件等）。
2. 数据提取：数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。
数据提取可以通过批处理、定时任务或实时流式传输等方式进行。
3. 数据转换：数据转换是将提取的数据进行清洗、集成和转换的过程。
在这个阶段，数据被清理、去重、标准化和转换为统一的格式和结构，以便在数据仓库中进行分析。
4. 数据加载：数据加载是将转换后的数据加载到数据仓库中的过程。
数据加载可以分为全量加载和增量加载两种方式，全量加载是将所有数据加载到数据仓库中，而增量加载是只加载发生变化的数据。
5. 数据存储：数据存储是数据仓库中数据的物理存储方式。
常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。
数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。
6. 元数据管理：元数据是描述数据仓库中数据的数据，它包括数据的结构、定义、来源、质量等信息。
元数据管理是对元数据进行收集、存储、管理和查询的过程，它是数据仓库管理的重要组成部分。
7. 数据访问：数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。
数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘和数据可视化等。
8. 安全性和权限管理：安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。
数据仓库应具备完善的安全措施，包括身份认证、权限控制、数据加密和审计等功能。
数据仓库四层结构体系
所谓的数据仓库架构，我也是第一次听说，改改一些概念，干脆一起来分享一下吧，没准还能成为行业标准，呵呵！该架构主要分为四层结构体系：> ODS层主要负责采集业务系统并保存一定期限内的相关业务数据。
当然也可以满足用户对明细数据的查询要求，姑且也可以算作明细数据仓库。
> 数据仓库层将ODS层经过质量检查、清洗、转换后，形成符合质量要求的公共数据中心。
实际上与ODS层差别不大，都是建立以ER为中心的数据关系，方便以后的数据的聚合。
> 明细数据集市层即前面所说的事实层按主题及KPI指标对数据仓库层数据进行进一步转换，将指标与维度组成数据集市。
这是OLAP 的数据基础。
> 聚合数据集市层即OLAP在明细数据集市层的基础上，提供基于联机分析处理(OLAP)引擎的多维分析能力，解决联机分析功能和决策支持要求。
> 数据展现层按照用户报表要求，提供用户报表界面及预警分发机制。
其中前3层都是属于ETL层的，问题是层次出来了我的疑问也出来了，都是属于那种别人不操心我瞎操心的事。
毕竟算是搞数据库出身的(搞过一些索引和简单的SQL调优)，最关心的还是性能问题。
数据仓库是企业级的数据中心，每天上G的数据的企业不在少数，那么多的层次，使用工具能抽的完数据吗？说实话我实在不信任ETL工具，总感觉他没我写的SQL语句效率高；即使抽的完数据，那么多的层次转换能处理的完吗；即使处理完，如果万一一个环节出现问题，能回退或重新处理吗；处理完后那OLAP该怎么调度啊；数据质量（清洗转换）到底在哪个环节处理；数据质量到底包括哪些东西(除了主外键缺失和NULL值)，兄弟比较愚笨，一直想不明白；不合质量要求的数据如何处理；入库的数据在业务库发生更改怎么办；业务数据没有时间戳怎么办；数据核对和校验工作如何进行；不管工具也好代码也好，到底有没有通用的处理流程(比如维度数据处理，原始业务数据抽取，事实表日结处理)；还有就是到现在也没搞到合适的需求设计文档的模板(如果哪位兄弟有可以帮忙提供一下)。
数据仓库系统体系结构及相应构建策略研究
之上 的 联 机 分 析 处 理 （ ｎ—Ｌｎ ｎ ｌ ｉａ Ｐｏ Ｏ ｉｅＡ ａ ｔ ｌ ｒ— ｙｃ
析 了传统 Ｄ 系统 的体 系 结构 ， 出 了两 种新 的 Ｗ 提 体 系结构 ， 针对 不 同体 系结构 ， 出 了建 设 Ｄ 并 给 Ｗ
Ｆｂ２Ｏ ｅ．Ｏ ７ ｒ
Ｖ０ ． ４ Ｎ ． １２ ｏ １
文章编号 ：０ ７ ３ ５ ２０ ） １ ０ ４ ０ １０ —１８ （ ０ ７ ０ — ０４— ３
数 据仓 库 系统 体 系结 构及 相 应 构 建 策 略研 究
安 云哲
（． １ 沈阳航空工业学院 计算机学院 ， 辽宁 沈阳 辽宁 沈阳 １０ ４ ） １０ ５
从技术实现角度提出了同构 系统 、 异构系统 、 数据仓库 的技术平台结构。 关键词 ： 数据仓库 ； 系结构 ； 体 松散耦合 ； 紧密耦合 ； 同构 系统 ； 异构系统
中图分类号 ：Ｐ １ Ｔ３ １ 文献标识码 ： Ａ
数据仓库 （ ａ ａ ｈｕｅ简记为 Ｄ 是一 Ｄ ｔ Ｗ ｒ ｏｓ， ａ ｅ Ｗ） 个 用 以更 好 地 支 持 企 业 或 组 织 的 决 策 分 析 处 理
在实 际实施 过 程 中 ， 列 四种 构 建 策 略 都 是 下 可 以存在 的 。
１ １ 直接 报表 系统 ．
现这 样 的局 面 ， 业 和 组 织不 能 根据 自身信 息 化 企
建设 的基础和对信息分析处理需求的估计存在误 区 ， 而不能 正确 选择 Ｄ 系统 的体 系 结构 是 非 从 Ｗ
某个部门应用的独立数据集市 ； 还有一些企业信 息化建设开展较早 ， 遗留系统 （ ｅａｙＳｓ ｍ） Ｌｇｃ ｙ ｅ 和 ｔ Ｏ Ｔ （ ｎＬｎ ｒ ｓｃ ｏ ｒｃｓｉ ， 机事 务处 Ｌ Ｐ Ｏ ｉ Ｔａ ａｔ ｎＰ ｅｓ ｇ 联 ｅ ｎ ｉ ｏ ｎ
数据仓库的概念和体系结构概述
数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储，以满足企业决策分析和业务需求的信息系统。
数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。
它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。
1.数据源层：数据仓库的数据源可以来自企业内部的各个部门和业务系统，也可以来自外部的合作伙伴和第三方数据提供商。
数据源的选择和集成是数据仓库建设的关键环节，需要确定数据的提取方式、频率、粒度和格式等。
2.数据提取层：数据提取层负责从各个数据源中提取数据，并进行初步的清洗和转换。
数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。
在数据提取过程中，需要解决数据一致性、完整性和准确性等问题。
3. 数据集成层：数据集成层是将从各个数据源提取的数据进行整合和合并的地方。
这里的数据整合包括数据清洗、数据转换和数据聚合等操作。
数据集成层可以使用ETL（Extract、Transform、Load）工具进行数据的清洗和转换。
在数据集成层，还需要对数据进行一致性校验和冲突解决。
4.数据存储层：数据存储层是数据仓库最核心的组成部分，它负责存储整合后的数据。
数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。
在设计数据存储层时，需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。
6. 数据访问层：数据访问层是用户直接访问数据仓库的接口，它提供了用户对数据仓库的查询、分析和报表生成等功能。
数据访问层可以使用OLAP（Online Analytical Processing）工具、报表工具、数据挖掘工具和BI（Business Intelligence）平台等进行实现。
7.数据安全层：数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。
数据仓库面试题
数据仓库面试题一、简介数据仓库是一个用于存储和管理大量数据的系统，被广泛应用于数据分析和决策支持领域。
在数据仓库领域的面试中，涉及到的题目通常围绕数据仓库的架构、设计、模型、ETL流程、性能优化等方面展开。
本文将针对数据仓库面试常见的题目进行一一解答。
二、题目解答1. 请介绍数据仓库的架构。
数据仓库的架构通常包括三层：数据源层、集成层和展示层。
数据源层是指数据仓库的原始数据来源，可以是各种业务系统中的数据库、文件、API等。
集成层负责对数据进行抽取、转换和加载（ETL）的过程，将原始数据转化为适合分析和查询的形式。
展示层是数据仓库最终呈现给用户的部分，一般使用OLAP数据模型，支持多维分析和报表功能。
2. 请介绍数据仓库的设计原则。
数据仓库的设计原则主要包括可理解性、稳定性、高性能和易扩展性。
可理解性要求数据仓库的模型和数据应该能够被用户清晰地理解和操作，遵循一致的命名规范和约定。
稳定性要求数据仓库的结构和数据应该是可靠的，能够保证数据的完整性和准确性。
高性能要求数据仓库在查询和分析时能够快速响应，通常通过索引、分区等技术来实现。
易扩展性要求数据仓库能够方便地扩展和增加新的数据源，以适应业务发展和数据增长的需求。
3. 什么是星型模型和雪花模型？星型模型和雪花模型是常见的数据仓库设计模型。
星型模型以一个中心的事实表（Fact Table）为核心，与多个维度表（Dimension Table）关联。
事实表中包含了事实（例如销售量、金额等）以及用于关联维度表的外键。
维度表包含了与事实表相关的维度（例如时间、产品、地区等），每个维度表都有一个与之关联的主键。
星型模型简单、直观，易于理解和查询。
雪花模型在星型模型的基础上进行了拓展，将维度表进一步规范化，使得维度间可以建立更多层级的关联。
即维度表可以再次分解成更小的维度表。
这样做可以提高数据的一致性和准确性，但同时也增加了模型的复杂性。
4. 请解释OLAP和OLTP的区别。
数据仓库 Chapter 8 数据仓库的基础构造
硬件
操作系统
数据库管理系统
网络软件
计算机平台
Chapter 8 数据仓库的基础构造
Contents
支持体系结构的基础构造 硬件与操作系统 数据库软件 工具收集
硬件与操作系统
硬件系统和软件系统构成了数据仓库的计算环境。 硬件选择方针
可扩展性 支持性 对厂商的鉴定 厂商的稳定性 可扩展性 安全性 可靠性 有效性：非正常结束后能继续工作 优先多任务处理 多线程：多处理器中分配线程
操作系统选用原则（NT 或者 Unix）
硬件与操作系统
平台的选择
一个计算平台就是硬件部分和软件部分 如何选用平台以支持数据仓库的体系结构
数据获取：数据抽取、数据转换、数据清洗、数据整合、数据准 备 数据存储：数据装载、存档、数据管理 信息传递：报表生成、查询处理、复杂分析
硬件与操作系统
方案1:共享磁盘 计算 平台 计算 平台
方案2:大规模数据传递
源平台
方案3:实时连接
目标平台
方案4:手动
(1)共享磁盘：回到了大型机的时代，数据的安全性受到挑战 (2)大规模数据传递：需要硬件、软件、网络（足够的带宽）的支持 (3)可行，但耗时 (4)简约
硬件与操作系统
平台的选择策略
桌面客户机 应用服务器
桌面客户机 应用服务器 应用服务器
应用服务器 数据准备 开发 数据仓库 数据集市 数据准备 数据集市 数据仓库 数据集市 开发
数据仓库 数据准备
数据集市
阶段1：最初
阶段2：成长
阶段3：成熟
硬件与操作系统
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10/16/2018 12:07 AM
数据仓库的实质与价值
• 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决 策支持（Decision-Support）。其实数据仓库本身并不“生产”任 何数据，同时自身也不需要“消费”任何的数据，数据来源于外部 ，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂 ”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的 过程，可以分为三层——源数据、数据仓库、数据应用：
火龙果 整理
数据仓库建模
• ①概念建模
• 概念建模为数据仓库的设计提供了一个高层次的抽象， 从各个方面描述了数据仓库的过程和体系结构，从而完成 数据仓库的实施。通常，借助于图形表示法能让设计者和 商业用户更方便的对概念模式进行表达、理解和管理。现 有的方法可以分为三类:扩展ER模型;扩展UML模型;特殊 的模型。当前概念模型存在的问题有以下： • 缺乏标准 • 概念模型安全问题 • Mining-aware design
火龙果 整理
10/16/2018 12:07 AM
数据仓库新的应用领域
随着数据仓库的技术的发展和普及，将来 可能在以下俩方面提出新的发展瓶颈和挑 战: 首先，是对新数据类型的出现，提出新的 数据仓库技术对其支持 非传统的系统架构和新的需求，在数据仓 库技术中可以找到好的解决办法
1. 2. 3. 4. 5. 6.
10/16/2018 12:07 AM
火龙果 整理
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理
本体数据仓库
火龙 整理
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库体系结构及其改进 数据仓库的操作问题 展望
火龙果 整理
10/16/2018 12:07 AM
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
火龙果 整理
数据仓库新的应用环境
• 业务流程数据仓库 • 数据流，实时动态数据仓库 • 数据仓库与云计算
10/16/2018 12:07 AM
火龙果 整理
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 新的挑战
10/16/2018 12:07 AM
火龙果 整理
逻辑建模
• ②逻辑建模
• 逻辑建模的总体任务是将概念模型转换成逻辑模型。在数 据仓库领域，目标数据库系统通常要么是关系型的，要么 是多维的。对于关系型的而言，人们普遍采用所谓的星型 、星座和雪花模型来处理数据立方体，并且各个厂商也对 这些模型提供支持。关于多维模型的实施，人们提出几种 有效的多维数据结构，如浓缩数据立方体来管理数据立方 体。当前逻辑模型最大的存在问题： • 概念数据模型与关系或者数据立方多维实现的语义差别的 问题
火龙果 整理
10/16/2018 12:07 AM
空间数据仓库
• 随着移动互联网和基于位置服务的发展， 同时卫星遥感，GPS，医药成像以及其他 空间可计算工具获得数据的普及，我们获 取了大量的关于时空的数据。但是，这些 数据的结构复杂，数据量大的特点，对其 处理和分析的技术还有一定的欠缺，近年 来，提出了空间数据仓库的概念，现在已 经存在了几个大型的空间数据仓库。例如 美国的联合国环境规划署（EP)
火龙果 整理
10/16/2018 12:07 AM
数据仓库模型与设计方法
• 数据仓库建立模型的过程实际上是一个从 关系型、规范式的数据模型向多维模型转 换的过程。其中数据仓库建模和数据仓库开
发方法是数据仓库的构建过程中最为关键的技 术环节，它直接决定数据仓库构建的成败。
10/16/2018 12:07 AM
10/16/2018 12:07 AM
火龙果 整理
本体数据仓库
10/16/2018 12:07 AM
火龙果 整理
其他领域数据仓库
• 生命科学数据仓库 • 模式数据仓库
10/16/2018 12:07 AM
火龙果 整理
10/16/2018 12:07 AM
10/16/2018 12:07 AM
火龙果 整理
空间数据仓库
空间数据仓库是融合了数据仓库跟空间数据 库技术，利用这两种技术提高了对大量空间 数据的处理、分析、管理的能力，但是现在 还是存在一下几种挑战： 空间数据粒度的划分 空 间数据的分割 空间数据的集成 当前数据仓库的数据模型标准化推广 空间DW对决策系统的支持 对空间DW的多维度表示
10/16/2018 12:07 AM
火龙果 整理
数据仓库的价值
高效的数据组织形式 时间价值 集成价值 历史数据
10/16/2018 12:07 AM
火龙果 整理
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
10/16/2018 12:07 AM
火龙果 整理
数据仓库的实质与价值
• 从图中可以看出数据仓库的数据来源于不同的源数据， 并提供多样的数据应用，数据自下而上流入数据仓库后 向上层开放应用，而数据仓库只是中间集成化数据管理 的一个平台。 • 数据仓库从各数据源获取数据及在数据仓库内的数据转 换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以 认为是数据仓库的血液，它维系着数据仓库中数据的新 陈代谢，而数据仓库日常的管理和维护工作的大部分精 力就是保持ETL的正常和稳定。