操作数据存储和数据集市
数据仓库与数据挖掘考试习题汇总 3
1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。
2、元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。
3、数据处理通常分成两大类：联机事务处理和联机分析处理。
4、多维分析是指以“维”形式组织起来的数据（多维数据集）采取切片、切块、钻取和旋转等各种分析动作，以求剖析数据，使拥护能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。
5、ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。
6、数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储于管理和数据表现等。
7、数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库。
8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。
9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则。
10、从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主。
1、调和数据是存储在企业级数据仓库和操作型数据存储中的数据。
2、抽取、转换、加载过程的目的是为决策支持应用提供一个单一的、权威数据源。
因此，我们要求ETL过程产生的数据（即调和数据层）是详细的、历史的、规范的、可理解的、即时的和质量可控制的。
3、数据抽取的两个常见类型是静态抽取和增量抽取。
静态抽取用于最初填充数据仓库，增量抽取用于进行数据仓库的维护。
4、粒度是对数据仓库中数据的综合程度高低的一个衡量。
粒度越小，细节程度越高，综合程度越低，回答查询的种类越多。
操作数据存储ODS和数据集市详解ppt课件
在这个阶段，将把第一步生成的每个ER图中的实体进行分解，分解 的结果仍以ER表示为佳。
13
3 建立ODS 3.1 ODS数据模型设计
数据延迟时间越短，ODS建设难度越高。 其中I 类ODS的建设难度最高，建设成本也是最高的。而且由于I 类
ODS的实时性，对于技术的要求与其它类型ODS也有所不同，一般 来讲需要用到EAI技术，但随着当前企业对数据仓库的实时性要求越 来越高，相信I 类ODS会变得越来越重要。 通常在企业应用架构中，ODS是一个可选件，但一旦需要用到ODS 的功能，那么ODS本身就将变得极为重要。 目前应用的比较多的是IV 类ODS，因为一旦将决策分析结果加载到
定义主题
主题名称和含义，说明该主题主要包含哪些数据，用 于什么分析；
主题所包含的维和度量；
主题的事实表，以及事实表的数据。
定义粒度
主题中事实表的数据粒度说明，这种粒度可以通过对 维的层次限制加以说明，也可以通过对事实表数据的 业务细节程度进行说明。
定义存储期限
主题中事实表中的数据存储周期。
7
ODS中，重要决策信息的高性能联机支持将成为可能。
2 DB-ODS-DW体系结构 2.1 简单结构
DB 应用
DB DB 操作型环境
ODS
特点：1)ODS的记录在DB中； 2)DW的记录在ODS中。
DW 分析型环境
8
2 DB-ODS-DW体系结构 2.2 复杂结构
ODS
Relational
Appl. Package
数据仓库的逻辑模型
数据仓库的逻辑模型介绍
数据仓库是一种面向主题的、集成的、稳定的、不同时间的数据集合，用于支持管理决策过程。
逻辑模型是数据仓库的核心，它描述了数据仓库中数据的组织和存储方式，以及数据仓库的结构和功能。
本文将介绍数据仓库的逻辑模型，包括数据仓库的数据源、数据存储、数据集市和数据访问。
一、数据源
数据仓库的数据源可以是多种类型的，包括关系数据库、OLAP 数据库、文件系统、外部数据源等。
不同的数据源具有不同的特点和优势，需要根据实际情况选择合适的数据源。
二、数据存储
数据仓库的数据存储是指将数据源中的数据加载到数据仓库中，并对数据进行处理和转换，以满足数据仓库的需求。
数据存储通常采用分布式存储架构，以支持大量数据的存储和查询。
三、数据集市
数据集市是数据仓库中面向特定主题的数据集合，它将数据仓库中的数据按照业务需求进行分类和组织。
数据集市通常包括多个表，每个表代表一个主题，例如销售、客户、产品等。
数据集市中的数据可以根据业务需求进行查询和分析。
四、数据访问
数据访问是指数据仓库中的数据如何被访问和使用。
数据仓库的数据访问通常采用OLAP（联机分析处理）和数据挖掘技术。
OLAP技术支持用户对数据仓库中的数据进行快速查询和分析，数据挖掘技术则可以帮助用户从大量数据中发现有价值的信息和规律。
总之，数据仓库的逻辑模型是数据仓库的核心，它描述了数据仓
库中数据的组织和存储方式，以及数据仓库的结构和功能。
数据仓库的数据源、数据存储、数据集市和数据访问是数据仓库逻辑模型的重要组成部分，它们共同构成了一个完整的数据仓库系统。
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念
![[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念](https://img.taocdn.com/s3/m/fdddbd730a1c59eef8c75fbfc77da26924c59650.png)
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念前⾔：不是做数仓的，但是也需要了解数仓的知识。
其实分层好多因⼈⽽异，问了同事好多分层的区别也不是很清晰。
所以后续有机会还是跟数仓的同事碰⼀下吧~⼀. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进⾏etl，⽐如mysql 映射到hive，那么到了hive⾥⾯就是ods层。
ODS 全称是 Operational Data Store，操作数据存储.“⾯向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的⼀层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装⼊本层。
本层的数据，总体上⼤多是按照源头业务系统的分类⽅式⽽分类的。
但是，这⼀层⾯的数据却不等同于原始数据。
在源数据装⼊这⼀层时，要进⾏诸如去噪(例如有⼀条数据中⼈的年龄是300 岁，这种属于异常数据，就需要提前做⼀些处理)、去重(例如在个⼈资料表中，同⼀ ID 却有两条重复数据，在接⼊的时候需要做⼀步去重)、字段命名规范等⼀系列操作。
1.2 数据仓库层DW？数据仓库层(DW)，是数据仓库的主体.在这⾥，从 ODS 层中获得的数据按照主题建⽴各种数据模型。
这⼀层和维度建模会有⽐较深的联系。
细分：1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）1.2.1 DWD明细层?明细层(ODS, Operational Data Store,DWD: data warehouse detail)概念：是数据仓库的细节数据层，是对STAGE层数据进⾏沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进⾏集中，明细层跟stage层的粒度⼀致，属于分析的公共资源数据⽣成⽅式：部分数据直接来⾃kafka，部分数据为接⼝层数据与历史数据合成。
大数据：数据仓库和数据集市的比较
大数据：数据仓库和数据集市的比较随着科技的发展，数据成为了当下最热门的话题之一。
随着互联网的普及和各行各业的信息化建设与发展，数据规模与数据类型也日益增加。
面对如此巨大的数据量，如何正确地处理和分析数据，如何从中发现有价值的信息，也日益成为了各个企业必须面对的挑战。
在处理这些大数据时，数据仓库和数据集市是两种常见的数据存储和分析方式。
本文将详细比较数据仓库和数据集市的优缺点。
一、数据仓库数据仓库是指将企业内部不同系统中的数据进行收集和汇总，形成一个一致且具有高性能的数据存储库，并且保证数据的一致性、可更新性和可查询性。
数据仓库的主要特点：1、定期批量更新数据：数据仓库通常会对企业内部的数据进行定期批量的更新，而且一般是在业务量相对较小时进行。
2、面向历史：数据仓库主要面向数据的历史信息，针对的是过去的数据。
3、专注于查询：在数据仓库中，主要对数据进行查询操作。
4、主题导向：数据仓库是围绕着业务主题进行组织的，它包含了企业整个业务的各个方面。
数据仓库的优点：1、高效性：基于数据仓库的数据分析拥有更高的业务性能，用于大量数据处理时更加简单、高效。
2、数据一致性好：由于数据仓库的数据集中存储，因此能够保证数据的一致性。
3、适用于大型企业：数据仓库的搭建需要较高的成本，会考虑到企业经营的全局信息。
数据仓库的缺点：1、对实时更新的需求差：数据仓库的数据一般是较为静态的，更新时延相对较高。
2、对数据的一致性要求高：数据仓库在数据插入、更新、删除等操作上的成本相对更高，因此数据的一致性也更加重视。
3、可变性不强：数据仓库在建库时便需要考虑到全局信息，所以数据的构建相对比较稳定。
二、数据集市数据集市是指将企业内部不同系统中的数据进行收集，然后根据需要进行分类、整合、清洗、分析等操作，组成具有相同语义的业务数据集合，提供给业务部门，以支持各个业务部门的分析需求和决策需要。
数据集市的主要特点：1、实时更新：数据集市需要及时更新数据，这样业务部门才能随时获取到最新的数据信息。
数据仓库与数据集市的区别与选择
数据仓库与数据集市的区别与选择随着信息技术的发展和数据量的快速增长，企业对数据的需求也越来越高。
为了更好地利用和管理企业的数据资产，数据仓库和数据集市成为了常用的解决方案。
本文将探讨数据仓库与数据集市的区别，并给出在不同场景下的选择建议。
一、数据仓库的定义与特点数据仓库是指将企业各个业务系统产生的数据进行整合、清洗和转换，形成一个统一、集中、一致的数据存储空间。
数据仓库通常采取面向主题的建模方式，将业务数据按照主题进行组织，例如按照销售、客户、产品等主题进行存储。
数据仓库的特点包括：1. 面向主题：数据仓库关注企业的关键主题，将数据按照主题进行组织。
2. 集成的：数据仓库整合来自不同业务系统的数据，形成一张全面的数据模型。
3. 非易失的：数据仓库中的数据一般是只读的，不可修改，保证了数据的一致性和稳定性。
4. 历史的：数据仓库中保存了历史数据，可以进行时间序列分析和趋势预测。
二、数据集市的定义与特点数据集市是面向具体业务需求的数据存储和处理环境，它是数据仓库的一种延伸和扩展。
不同于数据仓库的集中式架构，数据集市通常采用分散式的架构，根据业务需求构建多个独立的数据集市。
数据集市的特点包括：1. 面向业务需求：数据集市根据不同的业务需求构建，可以为不同的部门和角色提供定制化的数据视图。
2. 高度灵活：数据集市采用分散式架构，每个集市可以独立定义数据模型和数据存储方式，实现灵活性和快速响应业务变化的能力。
3. 实时性需求：某些业务场景下，对于数据的实时性要求较高，数据集市可以针对这些需求提供实时数据。
4. 可扩展性：数据集市可以根据业务扩展的需要，灵活添加或删除数据集市，以适应业务的发展和变化。
三、数据仓库与数据集市的区别1. 架构设计：数据仓库采用集中式的架构，将各个业务系统的数据整合到一个统一的存储空间中；而数据集市采用分散式的架构，根据业务需求构建多个独立的数据集市。
2. 数据模型：数据仓库通常采用面向主题的数据建模方式，按照主题进行数据整合和存储；而数据集市根据具体的业务需求，可以采用不同的数据模型，如关系型模型、多维模型等。
数据仓库概念汇总
MDD 多维数据库（Multi-Dimensional Database ，MDD）可以简单地理解为：将数据存放在一个 n 维数组中，而
不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人们可以通过多维视图来观察数据。多维 数据库增加了一个时间维，与关系数据库相比，它的优势在于可以提高数据处理速度，加快反应时间，提高查询 效率。
库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的、潜在有用的、易被理解的模式。
KPI 企业关键业绩指标(KPI：Key Process Indication)是通过对组织内部流程的输入端、输出端的关键参数进行设
置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目 标的工具，是企业绩效管理的基础。
效指标(KPIs)等先进信息技术和管理理论为基础的战略管理的工具，在财务、客户、内部流程和学习与发展四个维 度上进行综合绩效评测，帮助企业从整体上实现对战略实过程的贯彻和控制。
BPR 业务流程重整（Business Process Reengineering），指利用数据仓库技术，发现并纠正企业业务流程中的弊
严格遵照 Codd 的定义，自行建立了多维数据库，来存放联机分析系统数据的 Arbor Software，开创了多维数 据存储的先河，后来的很多家公司纷纷采用多维数据存储。被人们称为 Multi-Dimension OLAP，简称 MOLAP，代 表产品有 Hyperion(原 Arbor Software)Essbase、Showcase STRATEGY 等。 ODS
对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理， 它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了 重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。
数据仓库
23
数据仓库的数据模型
面向用户的需求
概念模型
细 化层 次
信息包图 逻辑模型
星型图模型
物理数据模型 更详细的 技术细节
物理模型
24
概念模型
由于大多数商务数据是多维的， 但传统的数据模型表示三维以 上的数据有一定困难。概念模 型简化了这个过程并且允许用 户与开发者和其他用户建立联 系：
源数据 数据准备区
数据仓库
18
数据净化
当数据从源数据库中提取到数据准备区后，必须先进行数 据净化才可以装载到数据仓库中去。数据净化主要指对数 据字段的有效值检验。有效值的检验通常包括：范围检验、 枚举字段取值和相关检验。范围检验要求数据保证落在预 期的范围之内，通常对数据范围和日期范围进行检验，如 对任何在指定范围之外的日期的发票都应删除。枚举字段 取值指对一个记录在该字段的取值，若不在指定的值中， 则应该删除。相关检验要求将一个字段中的值与另外一个 字段中的值进行相关检验，即在数据库中某个字段应与另 一个字段形成外键约束。
3
事务型处理数据和分析型处理数据的区别
特性 OLTP 计 数据 汇总 视图 工作单位 存取 关注 操作 访问记录数 用户数 DB规模 优先 度量
操作处理 事务 办事员、DBA、数据库专业人员 日常操作 基于E-R，面向应用 当前的；确保最新 原始的，高度详细 详细，一般关系 短的、简单事务 读/写 数据进入 主关键字上索引/散列 数十个 数千 100MB到GB 高性能，高可用性 事务吞吐量
数据仓库
Data Warehouse
1
事务型处理
事务型处理：即操作型处理，是指对数据库的联机操作 处理OLTP。事务型处理是用来协助企业对响应事件或 事务的日常商务活动进行处理。它是事件驱动、面向应 用的，通常是对一个或一组记录的增、删、改以及简单 查询等（大量、简单、重复和例行性）。 在事务型处理环境中，数据库要求能支持日常事务中的 大量事务，用户对数据的存取操作频率高而每次操作处 理的时间短。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
操作数据存储和数据集市
一、操作数据存储（ODS）
操作数据存储（Operational Data Store，简称ODS）是一种介于数
据库和数据仓库之间的存储系统，它可以储存操作数据库中的中间性结果，即经过处理后的原始数据，用于了解组织的运营情况来优化决策，解决实
时的问题。
ODS的核心组件是关系型数据库，它储存可用于组织决策的经过结构
化的数据。
它包含数据仓库，控制系统状态和数据流的应用，以及实时报告。
它以数据库的形式管理整个组织的数据，可以替代数据仓库和数据库
的功能，可以节省时间和成本，是一个很好的存储体系。
操作数据存储模式可以让您保存最新的数据，同时可以更有效地运行
和分析数据，以收集更多的信息。
ODS可以提供实时计算，因此它们可以
推理错误，例如超额支出，产品停产，销售情况的变化，以及客户支持和
客户服务等内容。
ODS提供了一种实时访问的方式，用户可以根据自己的实际需求随时
查询数据。
ODS允许实时导入和导出数据，并且允许快速的查询和更新数据，使用户能够根据他们的需求获得最新的数据。
二、数据集市
数据集市（Data Mart）是一种数据仓库，它可以迅速获取个性化数据，可用于支持组织的决策。