三种数据仓库的类型
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念
![[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念](https://img.taocdn.com/s3/m/fdddbd730a1c59eef8c75fbfc77da26924c59650.png)
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念前⾔：不是做数仓的，但是也需要了解数仓的知识。
其实分层好多因⼈⽽异，问了同事好多分层的区别也不是很清晰。
所以后续有机会还是跟数仓的同事碰⼀下吧~⼀. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进⾏etl，⽐如mysql 映射到hive，那么到了hive⾥⾯就是ods层。
ODS 全称是 Operational Data Store，操作数据存储.“⾯向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的⼀层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装⼊本层。
本层的数据，总体上⼤多是按照源头业务系统的分类⽅式⽽分类的。
但是，这⼀层⾯的数据却不等同于原始数据。
在源数据装⼊这⼀层时，要进⾏诸如去噪(例如有⼀条数据中⼈的年龄是300 岁，这种属于异常数据，就需要提前做⼀些处理)、去重(例如在个⼈资料表中，同⼀ ID 却有两条重复数据，在接⼊的时候需要做⼀步去重)、字段命名规范等⼀系列操作。
1.2 数据仓库层DW？数据仓库层(DW)，是数据仓库的主体.在这⾥，从 ODS 层中获得的数据按照主题建⽴各种数据模型。
这⼀层和维度建模会有⽐较深的联系。
细分：1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）1.2.1 DWD明细层?明细层(ODS, Operational Data Store,DWD: data warehouse detail)概念：是数据仓库的细节数据层，是对STAGE层数据进⾏沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进⾏集中，明细层跟stage层的粒度⼀致，属于分析的公共资源数据⽣成⽅式：部分数据直接来⾃kafka，部分数据为接⼝层数据与历史数据合成。
数据仓库与数据挖掘教程(第2版)课后习题答案 第二章
数据仓库与数据挖掘教程(第2版)课后习题答案第二章1. 什么是数据仓库？它与传统数据库有什么不同？答：数据仓库是一个面向主题、集成、稳定、可学习的数据集合，用于支持企业决策制定和决策支持系统。
与传统数据库相比，数据仓库更注重数据的整合和大数据的处理能力，以支持更高级别的数据分析和决策。
2. 什么是元数据？有哪些类型？答：元数据指描述数据仓库中数据的数据，用于描述数据的含义、格式、内容、质量、来源、使用和存储等方面的信息。
元数据有三种类型：技术元数据、业务元数据和操作元数据。
3. 数据仓库的架构有哪些组成部分？请简述各组成部分的作用。
答：数据仓库的架构主要包括数据源、数据抽取、清理和转换、存储和管理、元数据管理、查询和分析等几个组成部分。
- 数据源：指数据仓库的数据来源，可以是事务处理系统、外部数据源、第三方提供商等。
- 数据抽取、清理和转换：将数据从各种不同的来源抽取出来并转化为简单、标准的格式，以便进行加工和分析。
- 存储和管理：将经过抽取、转换和清洗后的数据存储在数据仓库中并进行管理，查找、更新和删除等操作。
- 元数据管理：对数据仓库中的元数据进行管理，并将其存储在元数据存储库中。
- 查询和分析：通过各种查询和分析工具来进行数据挖掘、分析和报告。
4. 请列出数据仓库中的三种主要数据类型。
答：数据仓库中的三种主要数据类型包括事实数据、维度数据和元数据。
5. 请列出数据仓库的三种不同的操作类型。
答：数据仓库的三种不同的操作类型包括基础操作、加工操作和查询操作。
6. 数据挖掘的定义是什么？答：数据挖掘是一种通过分析大量数据来发现有意义模式、趋势和关联的过程。
它是既包含统计学、机器学习和数据库技术的交叉学科，又包含更广泛的知识和业务领域。
7. 请列出数据挖掘中的四个主要任务。
答：数据挖掘中的四个主要任务包括描述性数据挖掘、预测性数据挖掘、关联数据挖掘和分类和聚类。
8. 数据仓库中经常使用OLAP分析方式，您了解OLAP是什么吗？答： OLAP是一种面向主题的数据分析方式，可以帮助用户对快速变化的数据进行多维分析和决策支持。
数据仓库的源数据类型
数据仓库的源数据类型引言概述：数据仓库是企业中用于存储和管理各种类型数据的集中式数据库系统。
数据仓库的设计和构建是基于不同的源数据类型。
本文将详细介绍数据仓库中常见的源数据类型及其特点。
一、结构化数据1.1 关系型数据库- 关系型数据库是最常见的结构化数据源，采用表格形式存储数据。
- 关系型数据库具有严格的数据模型和数据完整性，支持事务处理和复杂的查询操作。
- 关系型数据库适用于存储和管理结构化数据，如用户信息、订单数据等。
1.2 数据表格- 数据表格是一种结构化数据源，类似于关系型数据库，但不同于关系型数据库的严格数据模型。
- 数据表格通常用于存储大量的结构化数据，如日志文件、电子表格数据等。
- 数据表格的数据可以进行简单的查询和分析，但不支持复杂的关系查询操作。
1.3 XML文件- XML（可扩展标记语言）是一种用于描述和存储数据的标记语言。
- XML文件可以存储结构化数据，并且具有良好的可读性和可扩展性。
- XML文件适用于存储和传输具有复杂结构的数据，如配置文件、文档数据等。
二、半结构化数据2.1 日志文件- 日志文件是一种半结构化数据源，记录了系统、应用程序或网络设备的操作和事件信息。
- 日志文件通常以文本文件的形式存储，具有一定的格式和规则。
- 日志文件可以用于故障排查、性能分析和安全审计等领域。
2.2 JSON文件- JSON（JavaScript对象表示法）是一种轻量级的数据交换格式。
- JSON文件以文本的形式存储，具有良好的可读性和易于解析的特点。
- JSON文件适用于存储和传输半结构化数据，如API响应、配置文件等。
2.3 NoSQL数据库- NoSQL数据库是一种非关系型数据库，适用于存储半结构化数据。
- NoSQL数据库具有灵活的数据模型和高度可扩展性，适用于大规模数据存储和分布式计算。
- NoSQL数据库适用于存储和处理半结构化数据，如社交媒体数据、日志数据等。
三、非结构化数据3.1 文本文件- 文本文件是一种非结构化数据源，存储了人类可读的文本信息。
数据仓库的源数据类型
数据仓库的源数据类型引言概述：数据仓库是一个用于存储和管理企业数据的重要工具。
而数据仓库的源数据类型则是构建数据仓库的基础，它决定了数据仓库的内容和质量。
本文将从五个大点来阐述数据仓库的源数据类型，为读者提供相关的知识和理解。
正文内容：1. 结构化数据1.1 表格数据：表格数据是最常见的结构化数据类型，它以表格形式存储，每一列代表一个属性，每一行代表一个记录。
表格数据可以通过SQL查询语言进行查询和分析，是数据仓库中最常见的源数据类型。
1.2 XML数据：XML数据是一种用于表示和传输结构化数据的标记语言。
它具有良好的扩展性和可读性，可以用于描述各种不同类型的数据。
在数据仓库中，XML数据常用于存储和交换复杂的结构化数据。
2. 半结构化数据2.1 JSON数据：JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它以键值对的形式存储数据。
JSON数据具有良好的可读性和灵活性，常用于Web应用程序中的数据交换。
在数据仓库中，JSON数据可以用于存储和分析半结构化的数据。
2.2 日志数据：日志数据是记录系统运行情况和用户操作的数据。
它通常以文本文件的形式存储，每条日志记录都包含了时间戳、事件类型和详细描述等信息。
在数据仓库中，日志数据可以用于分析系统性能和用户行为。
3. 非结构化数据3.1 文本数据：文本数据是最常见的非结构化数据类型，它包括文章、报告、电子邮件等文本形式的数据。
文本数据通常以文本文件的形式存储，无法通过传统的关系型数据库进行查询和分析。
在数据仓库中，文本数据可以通过文本挖掘和自然语言处理等技术进行分析和挖掘。
3.2 图像数据：图像数据是以图像形式存储的数据，包括照片、图表、地图等。
图像数据通常以二进制文件的形式存储，无法直接进行查询和分析。
在数据仓库中，图像数据可以通过图像处理和计算机视觉等技术进行分析和识别。
4. 多媒体数据4.1 音频数据：音频数据是以声音形式存储的数据，包括音乐、语音、环境声音等。
数据仓库的源数据类型
数据仓库的源数据类型数据仓库是一个用于存储、管理和分析大量数据的系统。
在构建数据仓库时，源数据类型的选择非常重要，它决定了数据仓库中可以存储的数据种类和结构。
下面将介绍一些常见的数据仓库源数据类型。
1. 结构化数据：结构化数据是指具有固定格式和明确定义的数据，通常以表格形式存储，每一个字段都有特定的数据类型。
例如，关系型数据库中的表格数据就是一种结构化数据。
结构化数据易于处理和分析，适适合于数据仓库。
2. 半结构化数据：半结构化数据是指具有一定结构但不符合严格定义的数据。
它通常以XML、JSON等格式存储，并且可以包含嵌套的层级结构。
半结构化数据适合于存储具有复杂关系的数据，如日志文件、配置文件等。
3. 非结构化数据：非结构化数据是指没有明确结构和格式的数据，通常以文本、图象、音频、视频等形式存在。
非结构化数据具有高度的灵便性，但也更加难以处理和分析。
在数据仓库中，可以将非结构化数据转化为结构化或者半结构化数据，以便进行分析和挖掘。
4. 时间序列数据：时间序列数据是指按照时间顺序记录的数据，如传感器数据、股票价格等。
时间序列数据具有时间维度，可以用于分析趋势、周期性和相关性等。
在数据仓库中，时间序列数据通常以表格形式存储，每一行代表一个时间点的数据。
5. 多媒体数据：多媒体数据包括图象、音频、视频等形式的数据。
多媒体数据通常很大且复杂，需要专门的处理和存储方式。
在数据仓库中，可以将多媒体数据存储在特定的存储系统中，并通过索引和元数据管理。
6. 元数据：元数据是描述数据的数据，它包括数据的结构、定义、来源、格式等信息。
在数据仓库中，元数据非常重要，它可以匡助用户理解和使用数据。
元数据可以存储在数据仓库中的特定表格中，也可以使用元数据管理工具进行管理。
7. 外部数据：外部数据是指来自于数据仓库外部的数据源，如外部数据库、文件系统、API等。
外部数据可以通过ETL（抽取、转换、加载）过程导入到数据仓库中，以便与其他数据进行整合和分析。
数据仓库
23
数据仓库的数据模型
面向用户的需求
概念模型
细 化层 次
信息包图 逻辑模型
星型图模型
物理数据模型 更详细的 技术细节
物理模型
24
概念模型
由于大多数商务数据是多维的， 但传统的数据模型表示三维以 上的数据有一定困难。概念模 型简化了这个过程并且允许用 户与开发者和其他用户建立联 系：
源数据 数据准备区
数据仓库
18
数据净化
当数据从源数据库中提取到数据准备区后，必须先进行数 据净化才可以装载到数据仓库中去。数据净化主要指对数 据字段的有效值检验。有效值的检验通常包括：范围检验、 枚举字段取值和相关检验。范围检验要求数据保证落在预 期的范围之内，通常对数据范围和日期范围进行检验，如 对任何在指定范围之外的日期的发票都应删除。枚举字段 取值指对一个记录在该字段的取值，若不在指定的值中， 则应该删除。相关检验要求将一个字段中的值与另外一个 字段中的值进行相关检验，即在数据库中某个字段应与另 一个字段形成外键约束。
3
事务型处理数据和分析型处理数据的区别
特性 OLTP 计 数据 汇总 视图 工作单位 存取 关注 操作 访问记录数 用户数 DB规模 优先 度量
操作处理 事务 办事员、DBA、数据库专业人员 日常操作 基于E-R，面向应用 当前的；确保最新 原始的，高度详细 详细，一般关系 短的、简单事务 读/写 数据进入 主关键字上索引/散列 数十个 数千 100MB到GB 高性能，高可用性 事务吞吐量
数据仓库
Data Warehouse
1
事务型处理
事务型处理：即操作型处理，是指对数据库的联机操作 处理OLTP。事务型处理是用来协助企业对响应事件或 事务的日常商务活动进行处理。它是事件驱动、面向应 用的，通常是对一个或一组记录的增、删、改以及简单 查询等（大量、简单、重复和例行性）。 在事务型处理环境中，数据库要求能支持日常事务中的 大量事务，用户对数据的存取操作频率高而每次操作处 理的时间短。
产品经理-10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系(一)
10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系（一）作为一名数据小白，在日常讲授和杂务工作中经常会接触到数据。
随着用户数据与金融业务数据的不断累加，数据管理与处理愈发重要。
本篇文章中，无名氏将一文说明数据库、数据仓库、数据湖、数据中台的区别与联系。
作为数据相关的产品小白，在日常学习工作中经常能或者听到大家在讨论数据库，数据仓库，数据集市，数据库数据湖还有最近比较火的数据中台，似乎这些名词都与数据存在着联系，查阅各类相关书籍，大部分书籍中的内容过于专业晦涩难懂。
那么这结合我积累的相关方面知识，向大家介绍一下上述这些名词的与联系，以及在各类企业及业务范围上的适用范围，如有不准确的地方，希望大家进行指正。
相信大部分有些许技术背景的都对数据库有一定的了解，数据库是“按照数据结构来组织、存储和管理数据的仓库”，一般分为“关系型数据库”与“非关系型数据库”。
1.关系型数据库实际上回顾过去的数据库一共有三种模型，即层次模型，网状模型，关系模型。
（1）首先层次模型的数据结构为树状结构，即是一种上下级的社团组织层级关系组织数据的一种方式：（2）带状模型的数据结构为网状网状结构，即将每个数据节点与其他很多节点都连接起来：（3）关系模型的数据结构可以看做是一个二维表格，任何数据都可以通过行号与列号来唯一确定：由于相比于层次模型和网状模型，关系模型理解和使用最简单，最终基于关系型最后数据库在各行各业应用了起来。
关系模型的数学方法第一卷涉及到关系，元组，属性，笛卡尔积，域等等令人头秃的高等数学术语，这里大家如果感兴趣可以看看相关的文献，我就不放出来催眠大家了，尽管数学原理比较复杂，但如果用事务平时学习工作的具体事务举例，就相对容易理解。
我们以某公司的员工信息表为例，该公司的员工信息可以用一个表格存起来。
并且定义如下：同时部门ID对应这另一个职能部门表：我们可以通过给定一个政府部门部门名称，查到一条部门的记录，根据部门ID，又可以记述查到该部门下的员工记录，这样三维的表格就通过ID映射建立了“一对多”的关系。
数据仓库的源数据类型
数据仓库的源数据类型数据仓库是一个用于存储和管理大量结构化和非结构化数据的系统。
它是一个用于支持企业决策和分析的重要工具。
源数据是构建数据仓库的基础，它们包含了组织内各个部门和系统产生的原始数据。
在设计和构建数据仓库时，了解和定义不同的源数据类型是至关重要的。
以下是常见的数据仓库源数据类型：1. 事务性数据：事务性数据是指记录了组织内各个业务活动的数据，如销售订单、采购记录、客户交易等。
这些数据通常以关系型数据库的形式存在，可以通过结构化查询语言（SQL）进行访问和分析。
例如，一个电子商务公司的数据仓库可能包含了大量的销售订单数据，这些数据可以用于分析产品销售趋势、客户购买行为等。
2. 日志数据：日志数据是记录了系统或应用程序运行过程中的各种事件和操作的数据。
它们通常以文本文件或数据库日志的形式存在。
日志数据可以提供有关系统性能、错误和异常情况的重要信息。
例如，一家互联网公司的数据仓库可以包含服务器日志数据，这些数据可以用于分析网站流量、用户访问行为等。
3. 传感器数据：传感器数据是由各种传感器设备收集的数据，如温度、湿度、压力等。
这些数据通常以时间序列的形式存在，可以用于分析和预测各种物理现象和事件。
例如，一个工业制造公司的数据仓库可以包含从生产线上收集的传感器数据，这些数据可以用于分析设备故障率、生产效率等。
4. 文本数据：文本数据是包含了大量自然语言文本的数据，如电子邮件、社交媒体帖子、新闻文章等。
这些数据通常以无结构或半结构化的形式存在，需要进行文本挖掘和自然语言处理的技术来提取有价值的信息。
例如，一个市场调研公司的数据仓库可以包含从社交媒体平台收集的用户评论数据，这些数据可以用于分析产品口碑、用户满意度等。
5. 图像和视频数据：图像和视频数据是包含了图像和视频内容的数据，如照片、监控摄像头录像等。
这些数据通常以二进制文件的形式存在，需要使用图像和视频处理技术来提取有用的信息。
例如，一个安防公司的数据仓库可以包含从监控摄像头收集的视频数据，这些数据可以用于分析异常事件、行人识别等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、Oracle
产品特点：Oracle公司的数据仓库解决方案包含了业界领先的数据库平台、开发工具和应用系统，它能够提供一系列的数据仓库工具集和服务。
它具有多用户数据仓库管理能力，多种分区方式，较强的与OLAP 工具的交互能力，及快速和便捷的数据移动机制等特性。
主要工具：Oracle公司提供了一系列的数据仓库工具： Oracle 8I 是数据仓库的核心。
Oracle Warehouse Builder 集成数据建模、数据抽取、数据转移和装载、聚合、元数据的管理等功能。
Oracle Developer Server 使企业级的应用系统开发工具，支持面向对象和多媒体，可同时生成Client/Server及Web下的应用，具有极高的开发效率及网络伸缩性。
Oracle Discoverer 是最终用户查询、报告、深入、旋转和WEB 公布工具，能够帮助用户迅速访问关系型数据仓库，从而使他们作出基于充分信息的决策。
Oracle Darwin 使基于数据仓库的数据挖掘工具，简单易用的图形化界面，提供决策树、神经网络等多种数据挖掘方法，支持海量数据的并行处理，分析结果可以和现有系统集成。
应用提示：Oracle的数据转移工具需手工编写SQL脚本，在处理复杂的数据转换需求时困难很多。
Oracle的前端工具易用性较差，需较多地依赖第三方产品。
二、Microsoft
主要特点：Microsoft公司的SQL Server 2000已经在性能和可扩展性方面确立了世界领先的地位，是一套完全的数据库和数据分析解决方
案，使用户可以快速创建下一代的可扩展电子商务和数据仓库解决方案。
Microsoft将OLAP功能集成到Microsoft SQL Server中，提供可扩充的基于COM的OLAP接口。
Microsoft Office 2000套件中的Access 和Excel可以作为数据展现工具，另外SQL Server还支持第三方数据展现工具。
主要工具：Sql server通过一系列服务程序支持数据仓库应用。
数据传输服务DTS（Data Transformation Services）提供数据输入/输出和自动调度功能，在数据传输过程中可以完成数据的验证、清洗和转换等操作，通过与Microsoft Repository集成，共享有关的元数据；Microsoft Repository 存储包括元数据在内的所有中间数据； SQL Server OLAP Services 支持在线分析处理； PivotTable Services 提供客户端OLAP数据访问功能，通过这一服务，开发人员可以用VB或其他语言开发用户前端数据展现程序，PivotTable Services还允许在本地客户机上存储数据； MMC（Microsoft Management Console）提供日程安排、存储管理、性能监测、报警和通知的核心管理服务。
应用提示：数据仓库是Microsoft公司刚刚进入的一个全新领域，与该公司的传统产品差别较大。
同时，Microsoft也缺少在数据仓库实施方面的咨询经验。
三、CA
CA于1999年收购Platinum Technology公司后，得到了完整的数据仓库解决方案，它具有丰富的行业知识和经验，能够向用户提供完善的数
据仓库构造咨询服务、全面的数据仓库产品系列。
产品特点：CA能够提供以“元数据”为核心的，结构化的，包容构造数据仓库各项技术的全面解决方案。
它具有独特的“元数据”管理与应用特性，具有用三维可视化技术解析处理的功能。
CA解决方案提供ODBC 接口，并将数据存储在第三方关系数据库(如Oracle、Sybase、SQL Server、Informix和IBM DB2等)中，其性能虽要打一些折扣，但提高了开放性。
主要工具： Erwin 是数据库/数据仓库模型设计工具； DecisionBase 是图形界面的元数据管理和数据转移工具； InfoPump 是可编程控制的双向数据转移工具； InfoBeacon 是OLAP服务器； Forest&Trees DSS/EIS开发工具； Repository 是企业环境下元数据的集中管理工具；ProVision 是数据库性能和操作系统性能管理工具。
应用提示：CA提供的数据仓库解决方案能够满足不同企业的需要，能够集成完全不同的技术解决方案。
适合于航空、电信、零售业、股票交易、证券等各行业的数据综合性分析处理，为其提供全面的数据仓库解决方案。