第一章数据仓库基本概念及通用框架
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
数据仓库的概念和体系结构概述
数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储，以满足企业决策分析和业务需求的信息系统。
数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。
它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。
1.数据源层：数据仓库的数据源可以来自企业内部的各个部门和业务系统，也可以来自外部的合作伙伴和第三方数据提供商。
数据源的选择和集成是数据仓库建设的关键环节，需要确定数据的提取方式、频率、粒度和格式等。
2.数据提取层：数据提取层负责从各个数据源中提取数据，并进行初步的清洗和转换。
数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。
在数据提取过程中，需要解决数据一致性、完整性和准确性等问题。
3. 数据集成层：数据集成层是将从各个数据源提取的数据进行整合和合并的地方。
这里的数据整合包括数据清洗、数据转换和数据聚合等操作。
数据集成层可以使用ETL（Extract、Transform、Load）工具进行数据的清洗和转换。
在数据集成层，还需要对数据进行一致性校验和冲突解决。
4.数据存储层：数据存储层是数据仓库最核心的组成部分，它负责存储整合后的数据。
数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。
在设计数据存储层时，需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。
6. 数据访问层：数据访问层是用户直接访问数据仓库的接口，它提供了用户对数据仓库的查询、分析和报表生成等功能。
数据访问层可以使用OLAP（Online Analytical Processing）工具、报表工具、数据挖掘工具和BI（Business Intelligence）平台等进行实现。
7.数据安全层：数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。
数据仓库的基本架构
数据仓库的基本架构引言概述：数据仓库是一个用于集中存储和管理企业数据的系统，它可以匡助企业更好地理解和分析数据，从而支持决策和业务发展。
数据仓库的基本架构是构建数据仓库的基础，了解数据仓库的基本架构对于设计和维护数据仓库至关重要。
一、数据仓库的概念1.1 数据仓库的定义：数据仓库是一个用于集中存储和管理企业数据的系统，它包含了来自不同数据源的数据，并经过清洗、转换和加载等过程，用于支持企业的决策和分析需求。
1.2 数据仓库的特点：数据仓库具有数据集中、主题导向、面向主管和决策者、时间一致性等特点，能够提供高质量、一致性和易于访问的数据。
1.3 数据仓库的作用：数据仓库可以匡助企业更好地理解和分析数据，支持决策和业务发展，提高企业的竞争力和效率。
二、数据仓库的架构2.1 数据源层：数据仓库的数据源层包括了来自不同业务系统、数据库、文件等数据源的数据，这些数据需要经过抽取、清洗和转换等过程后才干加载到数据仓库中。
2.2 数据存储层：数据仓库的数据存储层包括了数据仓库数据库或者数据仓库服务器，用于存储经过处理和清洗后的数据，并提供数据访问和查询功能。
2.3 数据访问层：数据仓库的数据访问层包括了报表、查询工具、OLAP工具等，用于匡助用户访问和分析数据，支持决策和业务发展。
三、数据仓库的建模3.1 维度建模：维度建模是数据仓库中常用的建模方法，通过定义维度和事实表来描述业务过程和数据关系，匡助用户更好地理解和分析数据。
3.2 星型模式：星型模式是一种常用的维度建模方法，它将数据仓库中的事实表和维度表以星型结构进行组织，便于查询和分析数据。
3.3 雪花模式：雪花模式是星型模式的一种扩展，它将维度表进一步规范化，使数据仓库的结构更加灵便和规范。
四、数据仓库的ETL过程4.1 抽取（Extract）：抽取是ETL过程的第一步，它从数据源中提取需要的数据，进行数据清洗和转换，以满足数据仓库的需求。
4.2 转换（Transform）：转换是ETL过程的第二步，它对抽取的数据进行清洗、转换和整合等处理，以确保数据的质量和一致性。
数据仓库的概念与体系结构PPT课件
组织机构的日常操作和事务处理。 – 排除对于决策无用的数据，提供特定主题的简
明视图。
可编辑课件PPT
7
数据仓库关键特征二——数据集成
• 一个数据仓库是通过集成多个异种数据源 来构造的。
• 关系数据库，一般文件，联机事务处理记录
• 衡量联机事务处理系统的一个重要性能指标是系 统性能，具体体现为实时响应时间(Response Time)
• 特点
– OLTP支持大量并发用户定期添加和修改数据
– 反映随时变化的单位状态，但不保存其历史记录
– 具有复杂的结构。
可编辑课件PPT
33
OLTP系统 VS. OLAP系统比较 (1)
2
什么是数据仓库?
• 数据仓库（Data Warehouse，简写为DW或DWH）
• 数据仓库的定义很多，但却很难有一种严格的定义 – 数据仓库是一个数据库，它与公司的操作数据库分开 维护。 – 允许将各种应用系统集成在一起，为统一的历史数据 分析提供坚实的平台，对信息处理提供支持
• 数据仓库区别于其他数据存储系统 – “数据仓库是一个面向主题的、集成的、随时间而变 化的、不容易丢失的数据集合，支持管理部门的决策 过程.”—W. H. Inmon
13
数据仓库数据库
– 数据仓库系统中的数据库是整个数据仓库系统 的核心，是数据信息存放的地方，对数据提供 存取和检索支持。相对于传统数据库来说，它 突出的特点是对海量数据的支持和快速的检索 技术。
可编辑课件PPT
14
数据抽取工具
– 数据抽取工具把数据从各种各样的存储环境中 提取出来，进行必要的转化、整理，再存放到 数据仓库中。对各种不同的数据存储方式的访 问能力是数据抽取工具的关键，数据转换通常 包括：
数据仓库：介绍数据仓库的基本概念、特点和设计
数据仓库：介绍数据仓库的基本概念、特点和设计引言在当今信息时代，数据的重要性不言而喻。
随着企业和组织的迅速发展，数据量的不断增长，有效地管理和分析数据变得至关重要。
为此，数据仓库作为一种集成和存储大量数据的解决方案被广泛应用。
本文将介绍数据仓库的基本概念、特点和设计，帮助读者更好地了解和应用数据仓库。
第一部分：基本概念H1: 什么是数据仓库？数据仓库可以被理解为一种集成和存储多源、多结构、大容量数据的系统。
它是一个专门用于支持决策分析和业务智能的数据平台。
数据仓库通过把分散的数据整合到一个统一的存储中，提供了一个一致、准确、可靠的数据来源，以便进行各种分析和报告。
H2: 数据仓库的功能数据仓库的主要功能是数据整合、数据存储和数据分析。
数据整合包括从不同的数据源中提取数据，并进行清洗、转换和集成，以保证数据的一致性和准确性。
数据存储是指将整合的数据持久化到数据仓库中，提供高性能的数据访问和查询。
数据分析是数据仓库的核心功能，它可以通过各种分析工具和技术，帮助用户深入挖掘数据，探索数据之间的关联和模式，发现潜在的业务机会和问题。
H3: 数据仓库的架构数据仓库的架构包括数据源层、数据集成层、数据存储层和数据使用层。
数据源层是指各种数据源，如关系数据库、文件、日志等。
数据集成层是负责将数据源中的数据提取、清洗和转换，以满足数据仓库的需求。
数据存储层是指存储整合后的数据的位置，通常采用关系数据库。
数据使用层包括数据访问接口和报表工具，用于用户对数据进行分析和报告。
第二部分：特点和优势H1: 数据仓库的特点数据仓库具有以下几个特点：1.面向主题：数据仓库根据业务需求，将数据组织成主题，提供便于分析的数据模型。
2.集成性：数据仓库整合了不同来源的数据，消除了数据冗余和不一致性。
3.非易失性：数据仓库中的数据一般是只读的，不会因为操作或事务而发生变化。
4.完整性：数据仓库保持历史数据的完整性，记录了过去的业务活动和状态变化。
数据仓库基础知识
数据仓库基础知识数据仓库是一种用于存储和管理大量数据的系统，它通过整合和转换来自不同数据源的数据，并提供分析和报告功能，帮助企业做出更明智的决策。
本文将详细介绍数据仓库的基础知识，包括定义、架构、设计原则和常见的数据仓库工具。
一、数据仓库的定义数据仓库是一个面向主题的、集成的、稳定的、可变的数据集合，用于支持企业决策制定过程。
它是一个专门用于分析和报告的数据库，可以存储大量的历史数据，并将其转化为有用的信息。
数据仓库的主要特点包括：1. 面向主题：数据仓库以主题为中心，将相关的数据进行整合，便于分析和报告。
2. 集成性：数据仓库从不同的数据源中提取数据，并进行转换和加载，以便于统一管理和使用。
3. 稳定性：数据仓库的数据一般是静态的，不会频繁变动，保证数据的一致性和可靠性。
4. 可变性：数据仓库可以根据需求进行更新和改变，以适应企业的发展和变化。
二、数据仓库的架构数据仓库的架构由几个关键组件组成，包括数据源、数据抽取、转换和加载（ETL）、数据存储和数据访问。
1. 数据源：数据源是数据仓库的原始数据来源，可以包括企业内部的各种业务系统、数据库、文件等，也可以包括外部数据源，如供应商、合作伙伴等。
2. 数据抽取、转换和加载（ETL）：ETL是数据仓库中最重要的组件之一，它负责从数据源中抽取数据，并进行清洗、转换和加载到数据仓库中。
ETL过程包括数据抽取、数据清洗、数据转换和数据加载。
3. 数据存储：数据存储是数据仓库中用于存储数据的组件，常见的数据存储方式包括关系型数据库和多维数据库。
关系型数据库适用于存储结构化数据，而多维数据库适用于存储多维数据。
4. 数据访问：数据访问是数据仓库中用于查询和分析数据的组件，常见的数据访问方式包括在线分析处理（OLAP）、数据挖掘和报表工具等。
三、数据仓库的设计原则在设计数据仓库时，需要考虑以下原则，以确保数据仓库的高效性和可用性。
1. 明确的业务需求：在设计数据仓库之前，需要明确业务需求，确定需要分析和报告的主题和指标，以及数据的粒度和频率。
数据仓库的基本概念
本
概
…….
念
主题域的特征：独立性，完备性
编辑ppt
15
1.主题是抽象的。即在较高层次上将企业信息系统中的 数据综合、归类并进行分析利用的抽象。是对应企业中 某一宏观分析领域所涉及的分析对象。
面向主题的数据组织方式：是在较高层次上对分析对象 数据的一个完整、一致的描述，能完整、统一的刻画各 个分析对象所涉及的企业各项数据，以及数据之间的联 系。 2.DM中的数据是面向主题进行组织的。
编辑ppt
13
数据仓库的基本结构（续）
４．可视化用户界面(Visualization) 可视化前端服务：需求的分析结果 显示给用 户。 前端服务的主要内容：用户指定分析主题，确 定分析粒度与维度，对DW中的主题数据进一 步汇总集成，以同步数据表、分析报告、折线 图、直方图、雷达图、圆饼图等方式将分析结 果 用户。
较低 几秒—几十分钟
念
编辑ppt
10
1-3 数据仓库的基本结构
操作型事物处理系统设计目的：简单检 索（少量记录的日常操作）
复杂的分析型数据仓库设计目的：复杂 查询（大量数据汇总和分类）
技术人人使用角度分：体系结构 用户使用角度分：
数据仓库的基本结构由四部分组成：
编辑ppt
11
数据仓库的基本结构（续）
的
（2）维层次级别的确定
基
如：地区维的级别关系是国家地区省城市四个层次。
本
注意：数据综合时，要在同一维层次上进行求和操作。
概
念
编辑ppt
20
第
数据立方体：
一
章
数据立方体是指由两个或更多个属性即两个
数
或更多个维来描述或者分类的数据。
数据仓库数据仓库概述
31.social(adj.)
32.seem(v.)
33.back(adj.)
Proper Names
1.Elwood N. Chapman
Useful Expressions
1.look ahead
2.at the beginning of
3.plenty of
4.have time on one’s hands
能力；才智
(考试或作业的)分数
获得
灵活的
重新计划
基础；根据
课题；科研项目
期中的
扎实的
业
活动
社交的；交谊的
似乎；好像
以前的；过去的
埃尔伍德.N.查普曼(人名)
看前面；考虑未来
在......的开始
大量的
有许多时间
即将结束时
6.work for
7.work against
17.run out (of)
18.take...some time to do...
19.depend on
20.so that
21.catch up on
22.the more...the more...
为......效力
对......不利
充分利用......的机会
付诸实践
考虑到
至少
在......情况下
5.towards the end of
要旨，要点
(工作、问题等)微妙的，棘手的；(人)狡猾的
开始；起初
(尤指美国大专院校的)学期
处理
任务
管理
最重要的；头号的
认真地，当真地；认真地，严肃地
一旦......(就......)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为了有助于 理解，并给出DW 实现过程中所需 的更为详细的信 息，对上述框架 进行了进一步细 化。
CH1
因例此如：，数据仓库的该特性要求： ① 抽取主题 根据销售管理要考虑的问题（如：哪些产品销量大/利润高？哪
些客户采购量多？竞争对手的哪些产品对本企业构成威胁？），可
以抽取—出—“产品按”决、“策客户分”析为主过题程； 进行。 为了描述产品的销售活动，销售业务处理系统中一般包含以下
②数据界：产定品数订单据、产品销售明细、产品库存、客户等——在进行决 策分析过程中（如，哪些客户采购量多？ ）， 上述数据只有客户 数据是—可—用的，确其定它数所据仅抽用取于业的务主操作题；包含哪些数据。 然而，仅有“客户”数据还不足以完成对客户的分析，还要围
第一章 数据仓库基本概念及通用框架
MIS的应用→海量信息→产生了与传统数 据库有很大差异的数据环境→ 如何从这些海 量数据中获取专门的知识→……
§1 基本概念 §2 数据仓库的通用框架
参考书
ቤተ መጻሕፍቲ ባይዱ
CH1
§1 基本概念 1.数据仓库的定义
数据仓库（DW，Data Warehouse）是 “一个面向主题的、集成的、随时间变化的、 非易失性数据的集合，用于支持管理层的决策 过程”。[William H.Inmon,1993] ➢ 面向主题的：对应某一个宏观分析领域，
数据仓库的数据主要源于各个业务处理 系统，由于其用途各不相同，因此需上述处 理工作。
清理——把各个数据源的单位、内容、字长 等统一起来，消除字段名的同名异义、异名 同义等现象。
CH1
➢ 随时间变化的（时变性）
数据仓库中的数据，虽然不像业务处理 系统那样记载的是实时数据，但也要随着时 间的推移补充与主题相关的、变化了的数据 （快照），快照的时间间隔根据决策需求而 定（年/月/天）。此外还有：
数据访问量 每个事务只访问少量记录
对响应时间的 要求
以秒为单位计量
有的事务可能要访问大 量记录 以秒、分钟、甚至小时 为计量单位
CH1
3.数据仓库的概念结构 数据仓库的概念结构包含：数据源、数
据准备区、数据仓库数据库、数据集市/知识 挖掘库以及各种管理工具和应用工具。
业务系统 数据源
外部数 据源
数据准备区
数据仓库查 询管理服务
器
CH1
5.数据集市结构
数据集市，或称为主题结构的数据仓库 是按照主题进行构思所形成的数据仓库，它 没有一个独立的数据仓库。系统的数据不存 储在同一数据仓库中，每个主题有自己的物 理存储区。[思考：优、缺点？]
业务系统数 据库
主题1 主题2
数据仓库 查询管理
服务器
CH1
6.单一数据仓库结构 将所有的主题都集中到一个大型数据库中
CH1
2.DW与传统DB的比较
数据库
数据仓库
数据内容 数据目标
当前值 面向业务操作程序、重复处理
历史的、存档的、归纳 的、计算的数据。 面向主题域、管理决策 分析应用
数据特性 动态变化、按字段更新
静态、不能直接更新、 只定时添加
数据结构
高度结构化、复杂、适合操作计 算
简单、适合分析
使用频率 高
中到低
站点A 局部数 据仓库
站点C 局部数 据仓库
全局数 据仓库
局部数 站点B 据仓库
局部数 站点D 据仓库
CH1
§2 数据仓库的通用框架 框架——把复杂的事物分为若干细小的易 于理解的构件的形式。 数据仓库研究中，常称为通用框架，或参
考框架。
最初，DW的通用框架被描述为： ⑴ 数据集合（从运行的DB中抽取）； ⑵ 软件环境（供用户存取数据）； ⑶ 应用程序及工具集合（用于复杂查
数 数据集
据 市/ 知
仓 识挖掘 应用工具
库库
数
据 数据集
库
市/ 知 识挖掘
应用工具
库
管理工具
CH1
4.虚拟数据仓库结构 虚拟数据仓库利用（描述了业务系统中
数据位置和抽取数据算法的）元数据直接从 业务系统中抽取查询的数据进行概括、聚合 操作后，将最终结果提供给用户。 [思考：优、缺点？]
业务系统数 据库
的体系结构。数据源中数据被按照同一标准抽 取到独立的数据仓库中，用户在使用时再根据 主题将数据仓库中的数据发布到数据集市中。 [思考：优、缺点？]
业务系统 数据库
数据 仓库
数据集 市1
数据集 市2
数据仓库查询 管理服务器
CH1
7.分布式数据仓库结构 各分公司具有相当大的独立性时，企业总
部设置一个全局数据仓库，分公司设置各自的 局部数据仓库。局部数据仓库主要存储各自的 未经转换的细节数据，全局数据仓库中主要存 储经过转换的综合数据。[思考：优缺点？]
如，销售。
CH1
上述概念中涉及到的“主题”： 在一个较高管理层次上，对信息系统中
的数据按照某一具体的管理对象进行综合、 归类所形成的分析对象——基于信息管理的 角度；
是一些数据的集合，这些数据集合对分 析对象进行了比较完整的、一致的描述，这 种描述不仅涉及到数据自身，还涉及到数据 间的联系——基于数据组织的角度。
删除过了时的数据；及时更新DW中的那 些概括数据。
为满足时变性进行的所有操作统称为数 据仓库的刷新。
CH1
➢ 非易失的 DW的非易失性指的是，数据一旦进入数
据仓库后，便不进行更新处理（但可以追加 新数据），并且将保持一个相当长的时间。
数据仓库→查询、分析 业务处理系统→随时记录发生的业务 因此，DW中，可以可以通过索引、预计 算等方式来提高查询效率。
CH1
➢ 集合性 事实上，“面向主题的”便要求DW以主
题的某种数据集合的形式存储数据，其形式 为以下三种之一：
多维数据库方式 关系数据库方式 多维数据库与关系数据库组合方式 显然，DW中，“集合”是否全面决定了 数据仓库应用范围的大小。
CH1
➢ 支持决策 建立数据仓库的目的就是支持决策，其
用户可以是高层/中层/基层管理者，他们可 以利用所提供的分析工具，发现DW数据中隐 含的商机，使得管理决策更加科学化。
③绕客组户进织一数步组据织所有相关数据——如，客户产品采购量、最后一 次（采落购在—时财—间务、系采统如购中何竞）争等组对 。手织产上品量述（数落在据外部（系往统中往）使、客用户多信誉维
数据库或关系数据库的方式进行组织）。
CH1
➢ 集成的
对分散在各处的数据源进行抽取、筛选、 清理、综合等加工工作，然后存放在数据仓 库中，可见，集成是建立DW的关键步骤。