操作数据存储(ODS讲义)和数据集市(详解)
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念
![[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念](https://img.taocdn.com/s3/m/fdddbd730a1c59eef8c75fbfc77da26924c59650.png)
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念前⾔：不是做数仓的，但是也需要了解数仓的知识。
其实分层好多因⼈⽽异，问了同事好多分层的区别也不是很清晰。
所以后续有机会还是跟数仓的同事碰⼀下吧~⼀. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进⾏etl，⽐如mysql 映射到hive，那么到了hive⾥⾯就是ods层。
ODS 全称是 Operational Data Store，操作数据存储.“⾯向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的⼀层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装⼊本层。
本层的数据，总体上⼤多是按照源头业务系统的分类⽅式⽽分类的。
但是，这⼀层⾯的数据却不等同于原始数据。
在源数据装⼊这⼀层时，要进⾏诸如去噪(例如有⼀条数据中⼈的年龄是300 岁，这种属于异常数据，就需要提前做⼀些处理)、去重(例如在个⼈资料表中，同⼀ ID 却有两条重复数据，在接⼊的时候需要做⼀步去重)、字段命名规范等⼀系列操作。
1.2 数据仓库层DW？数据仓库层(DW)，是数据仓库的主体.在这⾥，从 ODS 层中获得的数据按照主题建⽴各种数据模型。
这⼀层和维度建模会有⽐较深的联系。
细分：1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）1.2.1 DWD明细层?明细层(ODS, Operational Data Store,DWD: data warehouse detail)概念：是数据仓库的细节数据层，是对STAGE层数据进⾏沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进⾏集中，明细层跟stage层的粒度⼀致，属于分析的公共资源数据⽣成⽅式：部分数据直接来⾃kafka，部分数据为接⼝层数据与历史数据合成。
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS01数据流向02应用示例03何为数仓DWData warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
目前行业比较流行的有：AWS Redshift，Greenplum，Hive等。
数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包含：清洗、转义、分类、重组、合并、拆分、统计等主要特点•面向主题▪操作型数据库组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。
▪主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
•集成▪需要对源数据进行加工与融合，统一与综合▪在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。
（关联关系）•不可修改▪DW中的数据并不是最新的，而是来源于其他数据源▪数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询•与时间相关▪处于决策的需要数据仓库中的数据都需要标明时间属性与数据库的对比•DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势•数据库：用于捕获和存储数据04为何要分层数据仓库中涉及到的问题：1.为什么要做数据仓库？2.为什么要做数据质量管理？3.为什么要做元数据管理？4.数仓分层中每个层的作用是什么？5.…...在实际的工作中，我们都希望自己的数据能够有顺序地流转，设计者和使用者能够清晰地知道数据的整个声明周期，比如下面左图。
但是，实际情况下，我们所面临的数据状况很有可能是复杂性高、且层级混乱的，我们可能会做出一套表依赖结构混乱，且出现循环依赖的数据体系，比如下面的右图。
操作数据存储ODS和数据集市详解
转移一部分业务系统细节查询的功能
在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的， 在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大 的压力。
实际中往往会有实时决策的需求，上述两者都不能满足要求， 因此产生了ODS
ODS数据环境：一方面提供全局一致的、细节的、当前的数据， 可进行联机事务操作型处理。另一方面是一种面向主题的集成 的数据环境。数据量小，可辅助完成日常决策的数据分析处理，
同时可以保护投资，保留现有的应用系统。
1 ODS的定义和特点
另一方面，在DB－ODS－DW三层结构中，中间件也是 将ODS中的信息与DW系统中的信息相关联的一条途径。
3 建立ODS
3.2 ODS系统设计
物理实现
定义每个主题的数据抽取周期、抽取时间、抽取方式、 数据接口，抽取流程和规则。
物理设计不仅仅是ODS部分的数据库物理实现，设计数 据库参数、操作系统参数、数据存储设计之外，有关数 据抽取接口等问题必须清晰定义。
Data Mart
RDBMS
Metadata Exchange
Local Metadata
Local Metadata
Data Mart
RDBMS
MidTier
OLTP Tools
MidTier
MDB
End-User DW Tools
Source Hub - Data Extraction, Central Data Ware-
XX银行操作型数据存储ODS项目方案介绍
数据服务体系
客户关系管理；精准营销管理；数据挖掘及建模
基于银行的现有数据仓库或数据平台系统、呼叫中心及电子银行等的电销营销历史数据，互联网数据，以客户为中心，从基本信息、资产信息、交易行为信息、客户关系以及营销历史几大方面反映客户在银行的全貌。采用SAS分析工具对客户进行分析并分层，探索具有营销价值的客户群体，并建立各种预测模型从而提升营销成功率；实现营销目标客户名单、推荐产品的精准推送、执行、结果反馈与评估的闭环管理。
中间业务平台、金融产品代理平台、资产管理平台
资金类
内部资金管理、资金交易系统
渠道类
客户信息交互平台、移动银行、柜面系统
创新类
电子账户综合管理平台、实时营销平台
案例分享
典型客户
BRM
银行资源管理BRM（Bank Resources Management），以“一切皆资源”为理念（人、财、产品、渠道、客户、供应商、合作伙伴） 为银行构建真正“资源管理与调度型”新一代银行整体架构与模型；使得银行的经营理念回归到： 利润 = 收益（销售为核心）- 成本（高效运营） – 风险（有效管控）
核心团队
骨干团队
技术团队
20年+的行业领军人物； 15年+的从业工作经验； 10年+软件服务从业经验； 主体具有海外工作经验；
业务知识丰富的行业技术专家； 丰富项目管理经验的骨干团队； 市场反应迅捷的高层次商务人才； 多数骨干成员拥有海外工作背景；
拥有海外工作背景的员工超过10%， 大学本科及以上技术团队成员构成；
银行资源管理BRM（Bank Resources Management）为银行业务系统建设提供咨询规划、模型设计、系统开发、 维护升级等全方位服务，他将银行内部资源（人力资源、财务资源、产品资源、渠道资源）和外部资源（客户、供应商、合作伙伴）整合统一管理，提高银行整体运营&营销效率，最大程度上满足客户需求。
产品经理-10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系(一)
10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系（一）作为一名数据小白，在日常讲授和杂务工作中经常会接触到数据。
随着用户数据与金融业务数据的不断累加，数据管理与处理愈发重要。
本篇文章中，无名氏将一文说明数据库、数据仓库、数据湖、数据中台的区别与联系。
作为数据相关的产品小白，在日常学习工作中经常能或者听到大家在讨论数据库，数据仓库，数据集市，数据库数据湖还有最近比较火的数据中台，似乎这些名词都与数据存在着联系，查阅各类相关书籍，大部分书籍中的内容过于专业晦涩难懂。
那么这结合我积累的相关方面知识，向大家介绍一下上述这些名词的与联系，以及在各类企业及业务范围上的适用范围，如有不准确的地方，希望大家进行指正。
相信大部分有些许技术背景的都对数据库有一定的了解，数据库是“按照数据结构来组织、存储和管理数据的仓库”，一般分为“关系型数据库”与“非关系型数据库”。
1.关系型数据库实际上回顾过去的数据库一共有三种模型，即层次模型，网状模型，关系模型。
（1）首先层次模型的数据结构为树状结构，即是一种上下级的社团组织层级关系组织数据的一种方式：（2）带状模型的数据结构为网状网状结构，即将每个数据节点与其他很多节点都连接起来：（3）关系模型的数据结构可以看做是一个二维表格，任何数据都可以通过行号与列号来唯一确定：由于相比于层次模型和网状模型，关系模型理解和使用最简单，最终基于关系型最后数据库在各行各业应用了起来。
关系模型的数学方法第一卷涉及到关系，元组，属性，笛卡尔积，域等等令人头秃的高等数学术语，这里大家如果感兴趣可以看看相关的文献，我就不放出来催眠大家了，尽管数学原理比较复杂，但如果用事务平时学习工作的具体事务举例，就相对容易理解。
我们以某公司的员工信息表为例，该公司的员工信息可以用一个表格存起来。
并且定义如下：同时部门ID对应这另一个职能部门表：我们可以通过给定一个政府部门部门名称，查到一条部门的记录，根据部门ID，又可以记述查到该部门下的员工记录，这样三维的表格就通过ID映射建立了“一对多”的关系。
数据仓库与数据分析-第一-至第三章
数据仓库与数据分析第一、二、三章一、数据处理的类型：1、操作型处理：操作型处理主要完成数据的收集、整理、存储、查询和增、删改操作等，主要由一般工作人员和基层管理人员完成。
2、分析型处理：分析型处理是对数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析，从中获取信息，因此也称为信息型处理，主要由中高级管理人员完成。
操作型数据处理：二、联机事务处理系统（OLTP）的主要功能：对事务进行处理，快速地响应客户的服务要求，使企业的业务处理自动化。
其主要性能指标是事务处理效率和事务吞吐率，每个事务处理的时间越快越好，单位时间能完成的事务数量越多越好。
三、dbms：数据库管理系统。
Dwms:数据仓库管理系统。
OLAP：联机分析处理。
Oltp基于db,olap基于dw。
四、事务：用户定义的一个数据库操作序列，这些操作要么全做、要么全不做，是一个不可分割的工作单元。
在关系数据库中，一个事务可以是一条SQL语句、一组SQL语句或整个程序。
五、事务的ACID性质：1、原子性：事务是一个逻辑工作单元，是一个整体，是不可分割的。
2、一致性：事务在完成时，必须使所有的数据都保持一致状态。
3、隔离性：事务并发执行也能保持原子性和一致性，则是事务的隔离性。
4、持久性：一旦事务成功完成，该事务对数据库所施加的所有更新都是永久的。
六、决策支持系统（DSS）：分析型数据处理的典型。
决策支持系统需要具备的基本功能是建立各种数学模型，对数据进行统计分析，得出有用的信息作为决策的依据和基础。
DSS对数据集成的迫切需要是数据仓库技术出现的最重要动因。
分析型数据处理需要访问大量的当前和历史数据，进行复杂的计算，即需要本部门的数据也会需要其他部门的数据，甚至是竞争对手的数据。
七：操作型数据和分析型数据的区别：操作型数据分析型数据细节的综合的，或提炼的当前数据历史数据可更新（可以update）不更新（不可update，但可insert）操作需求事先可知道操作需求事先不知道完全不同的生命周期生命周期符合SDLC（软件开发生命周期）对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向业务处理面向分析一次操作数据量大，计算复杂一次操作数据量小，计算简单支持日常操作支持管理需求八、数据分散的原因：1、事务处理应用的分散：OLTP系统一般只需要与本部门业务有关的当前数据，没有包括企业范围内的集成应用。
数据存储与管理18数据库数据仓库数据中台数据湖数据集市的区别
数据存储与管理18数据库数据仓库数据中台数据湖数据集市的区别数据仓库vs.数据集市数据集市和数据仓库经常会被混淆，但两者的用途明显不同。
数据集市通常是数据仓库的子集;它等数据通常来自数据仓库– 尽管还可以来自其他来源。
数据集市的数据专门针对特定的用户社区(例如销售团队)，以便他们能够快速找到所需的数据。
通常，数据保存在那里用于特定用途，例如财务分析。
数据集市也比数据仓库小得多– 它们可以容纳数十千兆字节，相比之下，数据仓库可以存储数百千兆字节到PB级数据，并可用于数据处理。
数据集市可从现有数据仓库或其他数据源系统构建，你只需设计和构建数据库表，使用相关数据填充数据库表并决定谁可以访问数据集即可。
数据仓库vs.ODS操作数据存储(ODS)是一种数据库，用作所有原始数据的临时存储区域，这些数据即将进入数据仓库进行数据处理。
我们可以将其想象成仓库装卸码头，货物在此处交付、检查和验证。
在ODS中，数据在进入仓库前可以被清理、检查(因为冗余目的)，也可检查是否符合业务规则。
在ODS中，我们可以对数据进行查询，但是数据是临时的，因此它仅提供简单信息查询，例如正在进行的客户订单状态。
ODS通常运行在关系数据库管理系统(RDBMS)或Hadoop平台。
关系型数据库vs.数据仓库和数据湖数据仓库、数据湖与关系数据库系统之间的主要区别在于：关系数据库用于存储和整理来自单个来源(例如事务系统)的结构化数据，而数据仓库则用于存储来自多个来源的结构化数据。
数据湖的不同之处在于它可存储非结构化、半结构化和结构化数据。
关系数据库创建起来相对简单，可用于存储和整理实时数据，例如交易数据等。
关系数据库的缺点是它们不支持非结构化数据库数据或现在不断生成的大量数据。
这使得我们只能在数据仓库与数据湖间做出选择。
尽管如此，很多企业仍然继续依赖关系数据库来完成运营数据分析或趋势分析等任务。
内部或云端可用的关系数据库包括Microsoft SQL Server、Oracle数据库、MySQL和IBM Db2、以及Amazon Relational Database Service、Google Cloud Spanner等。