数据仓库部分
数据仓库的介绍（数据仓库和数据库的区别）
数据仓库的介绍（数据仓库和数据库的区别）数据仓库的介绍⼀、数据仓库的基本概念数据仓库，英⽂名称为Data Warehouse，可简写为DW或DWH。
数据仓库顾名思义，是⼀个很⼤的数据存储集合，出于企业的分析性报告和决策⽀持⽬的⽽创建，对多样的业务数据进⾏筛选与整合。
它为企业提供⼀定的BI（商业智能）能⼒，指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库的输⼊⽅是各种各样的数据源，最终的输出⽤于企业的数据分析、数据挖掘、数据报表等⽅向。
⼆、数据仓库的主要特征数据仓库是⾯向主题的（Subject-Oriented ）、集成的（Integrated）、稳定的（Non-Volatile）和时变的（Time-Variant ）数据集合，⽤以⽀持管理决策。
1.主题性不同于传统数据库对应于某⼀个或多个项⽬，数据仓库根据使⽤者实际需求，将不同数据源的数据在⼀个较⾼的抽象层次上做整合，所有数据都围绕某⼀主题来组织。
这⾥的主题怎么来理解呢？⽐如对于城市，“天⽓湿度分析”就是⼀个主题，对于淘宝，“⽤户点击⾏为分析”就是⼀个主题。
2.集成性数据仓库中存储的数据是来源于多个数据源的集成，原始数据来⾃不同的数据源，存储⽅式各不相同。
要整合成为最终的数据集合，需要从数据源经过⼀系列抽取、清洗、转换的过程。
3.稳定性数据仓库中保存的数据是⼀系列历史快照，不允许被修改。
⽤户只能通过分析⼯具进⾏查询和分析。
这⾥说明⼀点，数据仓库基本上是不许允许⽤户进⾏修改，删除操作的。
⼤多数的场景是⽤来查询分析数据。
4.时变性数据仓库会定期接收新的集成数据，反应出最新的数据变化。
这和稳定特点并不⽭盾。
三、数据仓库与数据库区别1、数据库数据库是⾯向交易的处理系统，它是针对具体业务在数据库联机的⽇常操作，通常对记录进⾏查询、修改。
⽤户较为关⼼操作的响应时间、数据的安全性、完整性和并发⽀持的⽤户数等问题。
传统的数据库系统作为数据管理的主要⼿段，主要⽤于操作型处理，也被称为联机事务处理 OLTP（On-Line Transaction Processing）。
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
数据仓库体系结构
数据仓库体系结构数据仓库是一个用于集成、管理和分析大量数据的系统。
在数据仓库中，数据从不同的源系统中提取、转换和加载，然后存储在一个统一的、可供分析的数据存储中。
为了实现这一目标，数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。
数据仓库体系结构由以下几个主要组成部分组成：1. 数据源：数据源是数据仓库的基础，它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。
数据源可以包括结构化数据（如关系型数据库中的表）和非结构化数据（如文本文件、图像文件等）。
2. 数据提取：数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。
数据提取可以通过批处理、定时任务或实时流式传输等方式进行。
3. 数据转换：数据转换是将提取的数据进行清洗、集成和转换的过程。
在这个阶段，数据被清理、去重、标准化和转换为统一的格式和结构，以便在数据仓库中进行分析。
4. 数据加载：数据加载是将转换后的数据加载到数据仓库中的过程。
数据加载可以分为全量加载和增量加载两种方式，全量加载是将所有数据加载到数据仓库中，而增量加载是只加载发生变化的数据。
5. 数据存储：数据存储是数据仓库中数据的物理存储方式。
常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。
数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。
6. 元数据管理：元数据是描述数据仓库中数据的数据，它包括数据的结构、定义、来源、质量等信息。
元数据管理是对元数据进行收集、存储、管理和查询的过程，它是数据仓库管理的重要组成部分。
7. 数据访问：数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。
数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘和数据可视化等。
8. 安全性和权限管理：安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。
数据仓库应具备完善的安全措施，包括身份认证、权限控制、数据加密和审计等功能。
数仓的标准层
数仓的标准层
数仓的标准层通常分为以下四层：
1.ODS层（临时存储层）：为接口数据的临时存储区域，为后一步的数据处理做准备。
一般来说，ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。
2.PDW层（数据仓库层）：数据应该是清洗后、准确且一致的数据。
这层的数据一般遵循数据库第三范式，其数据粒度通常和ODS的粒度相同。
3.MID层（数据集市层）：这层数据是面向主题来组织数据的，通常是星形或雪花结构的数据。
从数据粒度来说，这层的数据是轻度汇总级的数据，已经不存在明细数据了。
4.APP层（应用层）：这层数据是完全为了满足具体的分析需求而构建的数据，也是星形或雪花结构的数据。
从数据粒度来说是高度汇总的数据。
数仓的标准分层只是一个建议性质的标准，实际实施时需要根据实际情况确定数据仓库的分层，不同类型的数据也可能采取不同的分层方法。
简述数据仓库的组成简答题
简述数据仓库的组成简答题数据仓库是一个重要的数据管理和分析系统，它能够帮助组织或企业收集、存储、管理和分析各种类型的数据，以便更好地了解客户、业务运营和市场走势。
以下是关于数据仓库的一些常见问题及其回答:1. 什么是数据仓库？它的作用是什么？答：数据仓库是一个集中式的数据存储系统，它主要用于收集、存储、管理和分析各种类型的数据，包括结构化数据和非结构化数据，如文本、图像、音频和视频等。
数据仓库的作用是帮助组织或企业更好地了解客户、业务运营和市场走势，以便更好地做出决策。
2. 数据仓库的组成部分是什么？答：数据仓库的组成部分包括:- 数据源：数据源是指从各种数据来源收集的数据，如数据库、文件、网络等。
- 数据清洗和转换：数据清洗和转换是指对数据进行清洗和标准化，以便更好地存储和访问数据。
- 数据集成：数据集成是指将清洗和转换后的数据集成到一个数据仓库中。
- 数据存储：数据存储是指将数据仓库中的数据存储到磁盘或其他存储设备中。
- 数据分析和挖掘：数据分析和挖掘是指使用机器学习和数据挖掘技术对数据进行分析和挖掘，以便更好地了解客户和市场。
3. 数据仓库的优缺点是什么？答：数据仓库的优点包括:- 集中数据存储和管理：数据仓库可以将各种类型的数据集中存储和管理，以便更好地管理和访问数据。
- 支持业务分析和决策：数据仓库可以使用数据分析和挖掘技术，支持组织或企业进行业务分析和决策。
- 提高数据质量和准确性：数据仓库可以使用数据清洗和转换技术，提高数据质量和准确性。
数据仓库的缺点包括:- 需要大量的存储和计算资源：数据仓库需要占用大量的存储和计算资源，需要大量的投资。
- 难以扩展和维护：数据仓库需要仔细的规划和设计，以便易于扩展和维护，需要大量的时间和精力。
- 难以清洗和转换：数据仓库中可能存在大量的数据清洗和转换问题，需要花费大量的时间和精力来处理。
数据仓库规范
数据仓库规范一．数据仓库层次结构规范1.1 基本分层结构系统的信息模型从存储的内容方面可以分为，STAGE接口信息模型、ODS/DWD信息模型，MID信息模型、DM信息模型、元数据信息模型。
在各个信息模型中存储的内容如下描述：1) SRC接口层信息模型：提供业务系统数据文件的临时存储，数据稽核，数据质量保证，屏蔽对业务系统的干扰，对于主动数据采集方式，以文件的方式描述系统与各个专业子系统之间数据接口的内容、格式等信息。
与该模型对应的数据是各个专业系统按照该模型的定义传送来的数据文件。
STAGE是生产系统数据源的直接拷贝，由ETL过程对数据源进行直接抽取，在格式和数据定义上不作任何改变。
与生产系统数据的唯一不同是，STAGE层数据具有时间戳。
STAGE层存在的意义在于两点：（1）对数据源作统一的一次性获取，数据仓库中其他部分都依赖于STAGE层的数据，不再重复进行抽取，也不在生产系统上作运算，减小生产系统的压力；（2）在生产系统数据已经刷新的情况下，保存一定量的生产系统的历史数据，以便在二次抽取过程中运算出错的情况下可以进行回溯。
2) ODS/DWD层（对应原模型的ODS和DW层）信息模型：简称DWD层是数据仓库的细节数据层，是对STAGE层数据进行沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进行集中。
为企业进行经营数据的分析，系统将数据按分析的主题的形式存放，跟STAGE层的粒度一致，属于分析的公共资源。
3) MID 信息模型：轻度综合层是新模型增加的数据仓库中DWD层和DM层之间的一个过渡层次，是对DWD层的生产数据进行轻度综合和汇总统计。
轻度综合层与DWD的主要区别在于二者的应用领域不同，DWD的数据来源于生产型系统，并为满足一些不可预见的需求而进行沉淀；轻度综合层则面向分析型应用进行细粒度的统计和沉淀。
4) DM信息模型：为专题经营分析服务，系统将数据按分析的专题组织成多维库表的形式存放，属于分析目标范畴的数据组织与汇总，属于分析的专有资源。
数据仓库的基本架构
数据仓库的基本架构数据仓库是一个用于集成、存储和管理企业中各种数据的系统。
它的设计和架构对于数据的有效管理和分析至关重要。
在本文中，我们将详细介绍数据仓库的基本架构，包括数据仓库的组成部分、数据仓库的层次结构和数据仓库的实施步骤。
一、数据仓库的组成部分1. 数据源：数据仓库的数据源可以包括企业内部的各种数据库、文件、日志等。
数据源的选择和数据提取的方法取决于企业的需求和数据的特点。
2. 数据提取和转换：数据提取和转换是将数据从数据源中提取出来并进行清洗、转换的过程。
这个过程包括数据的抽取、清洗、转换和加载等步骤，以确保数据的质量和一致性。
3. 数据存储：数据存储是数据仓库的核心组成部分，用于存储从数据源中提取出来的数据。
常见的数据存储方式包括关系型数据库、多维数据库和分布式文件系统等。
4. 元数据管理：元数据是描述数据的数据，用于帮助用户理解和使用数据仓库中的数据。
元数据管理包括元数据的收集、存储和维护等过程。
5. 数据访问和查询：数据仓库的用户可以通过各种方式访问和查询数据，包括SQL查询、OLAP分析、报表生成等。
数据访问和查询的方式取决于用户的需求和技术的支持。
二、数据仓库的层次结构数据仓库的层次结构包括三个主要层次：操作型数据层、集成型数据层和决策型数据层。
1. 操作型数据层：操作型数据层是数据仓库的最底层，用于存储企业内部各种操作型数据，包括交易数据、日志数据等。
这些数据通常以原始的、细粒度的形式存储。
2. 集成型数据层：集成型数据层是数据仓库的中间层，用于将操作型数据进行整合和转换，以满足用户的查询和分析需求。
在这一层次上，数据会进行清洗、聚合和转换等处理。
3. 决策型数据层：决策型数据层是数据仓库的最上层，用于存储已经经过整合和转换的数据，供用户进行决策分析和业务报告等。
在这一层次上，数据会根据用户的需求进行汇总、计算和分析等操作。
三、数据仓库的实施步骤1. 确定需求：在实施数据仓库之前，首先需要明确企业的需求和目标。
数据仓库 的名词解释
数据仓库的名词解释数据仓库的名词解释数据仓库（Data Warehouse）是指一个用于存储、整合和管理企业各个部门产生的大规模数据的集中式数据库系统。
它主要用于支持企业决策制定、战略规划以及业务分析。
数据仓库的设计和构建需要考虑数据的采集、转换、加载以及存储等多个方面，以确保数据的准确性和可用性。
一、数据仓库的基本概念数据仓库是一个面向主题的、集成的、时间一致的、非易失的数据集合，用于支持企业决策制定和业务分析。
它将来自不同数据源的数据进行抽取、转换和加载，形成一个统一的、易于查询和分析的数据源。
数据仓库的特点：1. 面向主题：数据仓库以主题为中心，将数据按照主题进行组织和存储，以满足不同部门和用户的信息需求。
2. 集成：数据仓库将来自不同数据源的数据进行整合，消除了数据冗余和不一致性。
3. 时间一致性：数据仓库中的数据是按照一致的时间标准进行存储和管理的，以支持历史数据分析和趋势预测。
4. 非易失性：数据仓库中的数据一旦存储，不会轻易被删除或修改，以确保数据的可追溯性和可靠性。
二、数据仓库的架构和组成部分数据仓库的架构通常包括数据采集、数据转换、数据加载、数据存储和数据查询等几个关键组成部分。
1. 数据采集：数据仓库的数据采集涉及到从各个数据源中提取和抽取数据的过程。
这些数据源可以是企业内部的关系型数据库、操作型数据源，也可以是外部的数据源，如Web数据、日志数据等。
数据采集可以通过ETL（Extract、Transform、Load）工具进行，在此过程中可以对数据进行清洗、转换和加工。
2. 数据转换：数据采集后，需要进行数据转换的操作，将采集到的数据进行整合和规范化。
这包括数据清洗、数据集成、数据变换等一系列处理，以确保数据的一致性和质量。
3. 数据加载：数据加载是将经过转换的数据加载到数据仓库中的过程。
数据加载可以是全量加载，也可以是增量加载。
在加载过程中，还可以对数据进行校验和验证，以确保数据的准确性和完整性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1什么事数据仓库：
数据仓库是作为DSS服务基础的分析性DB，用来存放大容量的只读数据，为制定决策提供所需的信息。
数据仓库是与操作型系统相分离的、基于标准企业模型集成的，带有时间属性的，即与企业定义的时间区段相关、面向主题及不可更新的数据集合。
数据仓库的定义就是数据仓库是一个更好的支持企业或者组织的决策分析，处理的、面向主题的、集成的、不可更新的、随时间不断变化的数据集合。
2 数据仓库的四个特征
数据仓库的数据是面向主题的
数据仓库的数据是集成的
数据仓库的数据是不可更新的
数据仓库的数据是随时间不断变化的
3 OLTP和OLAP
联机事务处理OLTP（on-line transaction processing）主要是执行基本日常的事务处理，比如数据库记录的增删查改。
比如在银行的一笔交易记录，就是一个典型的事务。
OLTP的特点一般有：
1.实时性要求高。
我记得之前上大学的时候，银行异地汇款，要隔天才能到账，而现在是分分钟到账的节奏，说明现在银行的实时处理能力大大增强。
2.数据量不是很大，生产库上的数据量一般不会太大，而且会及时做相应的数据处理与转移。
3.交易一般是确定的，比如银行存取款的金额肯定是确定的，所以OLTP是对确定性的数据
进行存取
4.高并发，并且要求满足ACID原则。
比如两人同时操作一个银行卡账户，比如大型的购物网站秒杀活动时上万的QPS请求。
联机分析处理OLAP（On-Line Analytical Processing）是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
典型的应用就是复杂的动态的报表系统。
OLAP的特点一般有：
1.实时性要求不是很高，比如最常见的应用就是天级更新数据，然后出对应的数据报表。
2.数据量大，因为OLAP支持的是动态查询，所以用户也许要通过将很多数据的统计后才能得到想要知道的信息，例如时间序列分析等等，所以处理的数据量很大;
3.OLAP系统的重点是通过数据提供决策支持，所以查询一般都是动态，自定义的。
所以在OLAP中，维度的概念特别重要。
一般会将用户所有关心的维度数据，存入对应数据平台。
4操作型数据和分析型数据的区别
5 粒度与数据分割
粒度分为两种形式：
1）对数据仓库中的数据的综合成都高低的一个度量
粒度越小，细节成都越高，综合成都越低。
粒度大小影响数据仓库效率，能回答询问的种类
数据仓库是多粒度的，不同粒度回答不同的查询
2）样本数据库
根据采样率的高低来划分粒度：以一定采样率从细节数据或轻度综合数据中抽取一个子集
用处：代替元数据进行模拟分析
抽样方法：随机抽取
优点：高效率、元数据量很大的情况下，抽样数据可以大大下降，分析结果误差极小、有助于抓住主要因素可主要矛盾。
分割
分割：将数据分散到各自的物理单元中去以便能分别独立处理数据
分片：数据分割后的数据单元
分割的目的：提高效率
分割标准：根据实际情况确定
1）易于重构、索引、重组、恢复、监控和顺序扫描
2）按日期、地域或业务领域
3）按多个分割标准的组合
6 数据仓库体系架构
数据仓库系统由如下几部分组成：
数据仓库的后台工具
数据仓库服务器
OLAP服务器
前台工具
后台工具：包括数据抽取、清洗、转换、装载和维护工具
功能：负责报企业或组织中各部门的操作型数据进行转换，装载到数据仓库系统中，同时维护数据仓库和操作型数据源数据的一致性。
数据仓库服务器一般是关系DBMS或扩展DBMS
OLAP服务器透明地为用户提供多维数据，用户不必关心数据到底存储在什么地方。
但物理上必须考虑数据存储问题。
7 数据仓库提高性能的方法八个方面
1）合并表
2）建立数据序列
3）引入冗余
4）表的物理分割
5）生成导出数据
6）建立广义索引
7）粒度划分
8）数据分割
8 数据仓库数据追加的四种方法
数据追加：数据仓库的数据初装完成后，再向数据仓库输入数据的过程
1）时标方法：如果数据含有时标，对新插入或更新的数据记录，加更新是的时标问题：许多数据库中的数据并不含有时标
2）DELTA文件方法
由应用生成DELTA文件，记录应用所改变的所有内容
优点：避免了扫描整个数据库，效率比较高
问题：生成DELTA文件的应用不普遍、更改应用代码，应用在生成新数据时可自动将其记录下来、应用成千上万，且修改代码十分繁琐，很难实现
3）前后映像文件的方法
抽取数据到数据库之后，本次将抽取数据之前，对数据分别做一次快照，比较两幅快照的不同，确定追加的数据。
问题：占用大量资源，影响系统性能
4）日志文件
优点：利用DB的固有机制，数据只限于日志文件，不用扫描整个数据库
缺点：原来的日志文件格式是依据DB系统的要求设计的，要进行改进。
9 三种不同类型的聚集函数
1）5个标准聚集函数：
Sum, Count , Max, Min, Ave
2）在group by的基础上还可以使用“Having” clause
3）可以在维层次上做聚集
Average by region (with store)
Maximum by month (with date)
10 五种常用OLPA的分析操作
1）上卷（Roll-up）
上卷标识沿着某一维度按照一定的规则对数据进行聚合操作，沿着某一维度，按照层级关系从子类维度想父类维度做聚合。
2）下钻（Drill-down）
下钻和上卷相反，允许用户从已聚合的数据中提取所有的细节，
3）切片（slice）
切片表示通过选择某个维度的单一值，从OLAP cube中抽取一个分片的过程。
4）切块（Dice）
切块表示通过选择多个维度的某些值（或区间）
5）旋转（pivot）旋转操作允许用户通过旋转OLAP cube，重新选择目标分析维度，通常表现为交换坐标轴操作。
11 ods处理的两种功能
ODS（operational Data Store）操作型数据存储，是面向主题、集成的、当前或接近当前的不断变化的数据。
通过统一规划，规范框架和数据，ODS可以实现操作型数据整合和各个系统之间的数据交换，能够提供实时的操作类型表，减轻数据仓库的负担，建设ODS还
可以为后期数据仓库建设做好准备。
ODS进行企业级的全局应用划分为两类
1）进行企业级的联机事务处理
企业级OLTP一个事务车技多个部门的数据，ODS的建立克服了原来面向应用的数据库组织过于分散的缺点。
ODS与DB之间双向映射关系：ODS从DB中抽取数据的关系，各DB记录系统上所做的认可修改操作都需要反映在ODS记录中
ODS系统中的参考表：ODS全局更新时必须反应到所有DB中相关记录的信息
维护ODS与DB的一致性：应用程序完成，采用数据库复制服务器
2）即时OLAP数据处理
企业的一些非战略性的中层决策：对企业的日常管理和控制；参考可存取当前的和接近的数据；较快的响应速度
信息（分析）型处理模式：只有查询操作的工作模式（非排它型的）；即时OLPA 操作型处理模式：有更新操作的工作模式（排它型）
动态切换思想：
状态切换开关ODS系统在操作型环境和分析型环境进行动态切换。