EDW_(DM数据仓库数据建模)模型设计


Oracle DB2
运营型业务系统
数据仓库
数据集市
报表 分析型应用
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
Hash code字段组成规则

带anchor的实体


带status表的实体(Commercial agreement、Group agreement、Individual agreement、 Claim folder、Elementary claim) 不带status表的实体

除表的主键、type id、Partition key、Status、Status date、Status reason、 Valid from date、Valid to date、 Effective from date、Effective to date、 Population timestamp之外的所有字段 除表的主键、 type id、 Partition key、 Valid from date、Valid to date、Effective from date、Effective to date、 Population timestamp之外的所有字段
BI.Insurance i.DWM for P&C 模型设计说明
Product | Application | Solution | Professional Services | Business Consulting | Outsourcing
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
1.逻辑模型 2.物理模型 3 逻辑物理数据元 素对照表
设计文档: 1.Mapping流程图 2.数据元素Mapping 文档
1.目前的报表 2.想做的报表 3.想做的功能
A:数据源报告: 1.主要功能 2.历史数据情况 3.与其它系统关系 4.联系人 B:数据质量报告: 1.数据类型 2.值分布 3.关联情况
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
Partition key

问题的提出:

在进行多表关联时,所涉及的关联表行数巨大,关联速度达不到要求。

解决方案:在所有大表中建立 Partition key, 按照该键的键值对表进行
物理分 区。Partition key 从Partition config 表中获得。分区策略是 按照分公司进行分区。
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
日程
地理位置
地理区域,物理的 或电子的地址信息
渠道
与客户交易或接触 的渠道信息
理赔
与理赔相关的活动 及各理赔环节
事件
与当事人或协议相 关的一系列事件
资源
保险公司的有形资 产和无形资产信息
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM for P&C
日程
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
Hash code


问题的提出:

进行增量加载时无法快速判断对表的原有记录是否新插入。例如:
解决方案:

使用示例:表 A 与表 B 进行关联时,如下进行 select A.column1, B.column2 from A, B where A.foreign_key=B.Primary_key
and A.partition_key in (select Storage partition from
CP R 204
3
Party 041
Place Label
823
P Label CP R 927
P Name CP R 926
Party Name 366
映射
数据集市
财务报表数据集市 中介绩效分析数据集市
健康险盈利性管理数据集市
营销管理快速入门 潜在客户管理
客户细分和管理
保险盈利性分析
© 2007 FEnet Software Co., Ltd. All Rights Reserved.

1. 理赔案件发生的时候,增量文件会把保单数据也传来 2. 保单增量过来,可能只是投保人的信息改了,而目标保单表所需信息并没有改变

使用示例:

使用增量的比较字段生成 Hash code。在对表进行增量加载时,对增量文件中的每一条记录生成 Hash code 将生成完的 Hash code 与原表中同一anchor id并且最新的记录的 Hash code 进行比较 如果一致的话,即不动作;如果不一致的话,即新插入。 在 individual agreement 表中使用各个需要保留历史信息的字段生成 hash code。 在增量加载时,使用业务增量文件中的字段生成 hash code。 与 Individual agreement 表中同一agreement id的最新记录的hash code 进行比较。
车险承保分析 通用承保分析
核心业务 财务系统 再保险系统 人意险系统 精算系统 aCRM 数据集市 客户关系 管理OCRM ALM 客户讯息 ECIF 财务分析 数据集市 外部数据 财务分析 应用 ALM应用 业务持续性 分析数据集市 风险管理 应用
监管报表
管理报表
“数据和信息集成平台” “统一的分析平台” “唯一的信息出口”
需求划分 多维建模 使用模型、产生报表
数据筛选
客户提供需求
字段映射
数据质量分析
需求整理
Mapping程序开 发测试 数据加载
代码整理
产出: 原则:
需求文档:
1.报表需求 2.功能需求 3. 非功能需求
1.数据筛选清单 2.数据源报告: 3.数据质量分析报告 4.代码清单
Mapping文档: 源-模型对应关系
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Agreement
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Claim
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
EDW体系架构
源系统层
手工数据
ETL层
数据仓库层
ETL层
数据集市层
应用层 企业统一分析平台
展现层
数据仓库
业务量分析 数据集市

底层数据模型主题域说明:

Agreement:保单、批单申请及管理;
Claim:理赔
Financial Transaction:应收应付、实收实付以及交易关联 Party:当事方,包括当事方的组织结构、角色结构及类型 Money Provision:资金管理 Specification And Product:规范及产品管理 Place:地点 Code:标准代码 Activity:活动管理 Physical Object:实物、标的管理



不带anchor的实体

关联实体
原则上不需要保留历史,一般执行Update操作。如果有需要的,ETL Mapping特别指明 对于需要保留历史的关联类型,除Identifier、Partition key、Nature id、 Left anchor identifier、 Right anchor identifier、 Left entity identifier、Left entity type id、Right entity identifier、Right entity type id、Valid from date、Valid to date、Effective from date、 Effective to date、Population timestamp之外的所有字段
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Physical Object
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型
如果一致,即不动作 如果不一致,则插入新记录。


备注:

relationship表是要根据业务去判断是否关系已经存在,然后,如果有其他属性(如:Role player - Physical object age),才需要用hashcode判别是否重复。
合集下载

数据仓库中的多维数据模型设计与实现教程

数据仓库中的多维数据模型设计与实现教程

数据仓库中的多维数据模型设计与实现教程在数据仓库中,多维数据模型设计与实现是一项关键任务。

它不仅可以帮助企业组织和分析庞大的数据量,还能提供决策支持和洞察力。

本文将介绍数据仓库中多维数据模型的概念、设计原则以及实现方法,帮助读者全面了解和掌握这一重要主题。

一、多维数据模型的概念多维数据模型是基于数据的特征和关联性来组织数据的一种模型。

它通过将数据按照不同的业务维度进行分组和分类,将数据以多维方式呈现,从而提供了更加直观和灵活的数据分析能力。

多维数据模型主要由维度、度量和层次结构组成。

1. 维度:维度是描述业务问题的属性,它可以是时间、地理位置、产品、客户等。

维度用来描述数据的特征,例如销售额可以按照时间、地理位置和产品维度进行分析。

2. 度量:度量是可以进行数值计算和分析的数据,例如销售额、利润、数量等。

度量用来描述数据的量度,便于进行各种统计分析。

3. 层次结构:层次结构是维度之间的关系,它描述了维度之间的层次结构和上下级关系。

例如时间维度可以由年、月、日等层次结构组成。

二、多维数据模型的设计原则在设计多维数据模型时,需要遵循一些原则,以确保模型的合理性和有效性。

1. 简单性:多维数据模型应该尽可能简单,避免过于复杂的维度和层次结构。

简单的模型易于理解和维护,提高数据分析效率。

2. 一致性:多维数据模型中的维度和度量应该保持一致性,避免冗余和重复。

一致的模型有助于提高查询效率和数据一致性。

3. 可扩展性:多维数据模型应该具有良好的扩展性,能够容纳未来的需求变化和数据增长。

设计时需要考虑到未来可能发生的维度扩展和度量变化。

4. 性能优化:多维数据模型的设计也要考虑到查询性能的优化。

根据实际需求和查询模式,合理设计维度的层次结构、聚集表和索引等,以提高查询效率。

三、多维数据模型的实现方法在实现多维数据模型时,需要选择合适的工具和技术来支持模型的构建和数据的加载。

1. 数据抽取和转换:多维数据模型的实现通常需要进行数据抽取和转换,将源系统的数据转化为可用于多维模型的格式。

范式建模和维度建模的区别

范式建模和维度建模的区别

范式建模和维度建模的区别不同点⾸先最⼤的不同就是企业数据仓库的模式不同,inmon是采⽤第三范式的格式,⽽kimball则采⽤了多维模型–星型模型,并且还是最低粒度的数据存储。

其次是,维度数据仓库可以被分析系统直接访问,当然这种访问⽅式毕竟在分析过程中很少使⽤。

最后就是数据集市的概念有逻辑上的区别,在kimball的架构中,数据集市有维度数据仓库的⾼亮显⽰的表的⼦集来表⽰。

有的时候,在kimball的架构中,有⼀个可变通的设计,就是在ETL的过程中加⼊ODS层,使得ODS层中能保留第三范式的⼀组表来作为ETL过程的过度。

但是这个思想,Kimball看来只是ETL的过程辅助⽽已。

最后维度建模⾃底向上,范式建模⾃顶向下相同点Kimball和Inmon是两种主流的数据仓库⽅法论,分别由 Ralph Kimbal⼤神和 Bill Inmon⼤神提出,在实际数据仓库建设中,业界往往会相互借鉴使⽤两种开发模式,这两种的相同点如下:1. 都是假设操作型系统和分析型系统是分离的;2. 数据源(操作型系统)都是众多;3. ETL整合了多种操作型系统的信息,集中到⼀个企业数据仓库。

范式建模Inmon提出的集线器的⾃上⽽下(EDW-DM)的数据仓库架构。

操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原⼦数据的数据仓库EDW,EDW不是多维格式的,不⽅便上层应⽤做数据分析,所以需要通过汇总建设成多维格式的数据集市层。

优势:易于维护,⾼度集成;劣势:结构死板,部署周期较长⼀个符合第三范式的关系必须具有以下三个条件:1. 每个属性的值唯⼀,不具有多义性;2. 每个⾮主属性必须完全依赖于整个主键,⽽⾮主键的⼀部分;3. 每个⾮主属性不能依赖于其他关系中的属性,因为这样的话,这种属性应该归到其他关系中去。

但是由于EDW的数据是原⼦粒度的,数据量⽐较⼤,完全规范的3范式在数据的交互的时候效率⽐较低下,所以通常会根据实际情况在事实表上做⼀些冗余,减少过多的数据交互。

EDW数据仓库项目策划方案

EDW数据仓库项目策划方案

XX银行EDW/数据仓库项目方案目录第一章系统总体架构............................. 51.1总体架构设计概述........................... 51.1.1总体架构的设计框架..................... 51.1.2总体架构的设计原则..................... 71.1.3总体架构的设计特点..................... 81.2EDW执行架构................................ 81.2.1执行架构概述........................... 91.2.2执行架构设计原则....................... 91.2.3执行架构框架......................... 111.3EDW逻辑架构.............................. 221.3.1逻辑架构框架......................... 221.3.2数据处理流程......................... 331.4EDW运维架构.............................. 341.4.1运维架构概述......................... 341.4.2运维架构的逻辑框架................... 361.5EDW数据架构.............................. 421.5.1数据架构设计原则..................... 421.5.2数据架构分层设计..................... 441.6EDW应用架构.............................. 491.6.1应用架构设计原则..................... 491.6.2数据服务............................. 501.6.3应用服务............................. 51第二章 ETL体系建设............................ 522.1ETL架构概述.............................. 522.2ETL设计方案.............................. 552.3ETL关键设计环节.......................... 552.3.1接口层设计策略....................... 552.3.2 Staging Area设计策略................. 562.3.3数据加载策略......................... 572.3.4增量ETL设计策略...................... 582.3.5异常处理............................. 612.3.6作业调度和监控....................... 622.3.7元数据治理........................... 622.3.8 ETL模块设计.......................... 622.3.9 ETL流程设计.......................... 672.3.10动态资源分配........................ 702.3.11数据接口设计........................ 72第一章系统总体架构1.1 总体架构设计概述1.1.1 总体架构的设计框架XX银行EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。

数据仓库模型的设计

数据仓库模型的设计

数据仓库模型的设计数据仓库模型的设计大体上可以分为以下三个层面的设计151:.概念模型设计;.逻辑模型设计;.物理模型设计;下面就从这三个层面分别介绍数据仓库模型的设计。

2.5.1概念模型设计进行概念模型设计所要完成的工作是:<1>界定系统边界<2>确定主要的主题域及其内容概念模型设计的成果是,在原有的数据库的基础上建立了一个较为稳固的概念模型。

因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合,所以数据仓库的概念模型设计,首先要对原有数据库系统加以分析理解,看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等,然后再来考虑应当如何建立数据仓库系统的概念模型。

一方面,通过原有的数据库的设计文档以及在数据字典中的数据库关系模式,可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面,数据仓库的概念模型是面向企业全局建立的,它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。

概念模型的设计是在较高的抽象层次上的设计,因此建立概念模型时不用考虑具体技术条件的限制。

1.界定系统的边界数据仓库是面向决策分析的数据库,我们无法在数据仓库设计的最初就得到详细而明确的需求,但是一些基本的方向性的需求还是摆在了设计人员的面前:. 要做的决策类型有哪些?. 决策者感兴趣的是什么问题?. 这些问题需要什么样的信息?. 要得到这些信息需要包含原有数据库系统的哪些部分的数据?这样,我们可以划定一个当前的大致的系统边界,集中精力进行最需要的部分的开发。

因而,从某种意义上讲,界定系统边界的工作也可以看作是数据仓库系统设计的需求分析,因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。

2,确定主要的主题域在这一步中,要确定系统所包含的主题域,然后对每个主题域的内容进行较明确数据仓库建模技术在电信行业中的应用的描述,描述的内容包括:. 主题域的公共码键;. 主题域之间的联系:. 充分代表主题的属性组。

专题数据库建设方案

专题数据库建设方案

一,数据仓库的数据模型1. 数据源数据源,顾名思义就是数据的来源,互联网公司的数据来源随着公司的规模扩张而呈递增趋势,同时自不同的业务源,比如埋点采集,客户上报等。

2. ODS层数据仓库源头系统的数据表通常会原封不动地存储一份,这称为ODS(Operation Data Store)层, ODS层也经常会被称为准备区(Staging area),它们是后续数据仓库层(即基于Kimball维度建模生成的事实表和维度表层,以及基于这些事实表和明细表加工的汇总层数据)加工数据的来源,同时ODS层也存储着历史的增量数据或全量数据。

3. DW层据仓库明细层(Data Warehouse Detail ,DWD)和数据仓库汇总层(Data Warehouse Summary, DWS)是数据仓库的主题内容。

DWD和DWS层的数据是ODS 层经过ETL清洗、转换、加载生成的,而且它们通常都是基于Kimball的维度建模理论来构建的,并通过一致性维度和数据总线来保证各个子主题的维度一致性。

4. DWS层应用层汇总层主要是将DWD和DWS的明细数据在hadoop平台进行汇总,然后将产生的结果同步到DWS数据库,提供给各个应用。

二,数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上,期间有可能会做一些简单的清洗。

比较常见的就是用户行为数据的采集先做sdk埋点,通过kafka实时采集到用户的访问数据,再用spark做简单的清洗,存入hdfs作为数据仓库的数据源之一。

三,数据存储随着公司的规模不断扩张,产生的数据也越来越到,像一些大公司每天产生的数据量都在PB级别,传统的数据库已经不能满足存储要求,目前hdfs是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。

在离线计算方面,也就是对实时性要求不高的部分,Hive还是首当其冲的选择,丰富的数据类型、内置函数;压缩比非常高的ORC/PARQUET文件存储格式;非常方便的SQL 支持,使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多,一句SQL可以完成的需求,开发MR可能需要上百行代码;而在实时计算方面,flink是最优的选择,不过目前仅支持java跟scala开发。

数据建模目前有两种比较通用的方式

数据建模目前有两种比较通用的方式

数据建模目前有两种比较通用的方式,分别是?()
A、通用建模
B、专属建模
C、范式建模
D、维度建模
C和D
一般常规的数据仓库层级结构可分为:ods、dw(默认为汇总数据层,也可在细分为dwd(明细)与dw(汇总)两层)、dm共三层:
ods层:称为接口层或近源数据层,表结构与源系统表结构高度相似,通常在ods 层主要会做字段的筛选,枚举值转换,编码统一,异常&缺失数据处理等操作。

dw层:称为中间层,按主题建模(域->主题)的明细数据层,数据粒度与ods 层一致。

dm层:称为数据集市层,集市层是按照业务主题、分主题构建出来的、面向特定部门或人员的数据集合。

维度建模源于Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。

特点:
1.模型结构简单,星型模型为主;
2.开发周期短,能够快速迭代;
3.维护成本较高;
范式建模源于Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。

特点:
1.同一份数据只存放在一个地方,因此只能从一个地方获取,没有数据冗余,保证了数据一致性;
2.解耦(系统级与业务级),方便维护;
3.开发周期较长,开发成本较高;
当下的数据仓库模型架构设计中,dw层通常会采用范式建模,并且可以根据实际情况允许存在一些冗余。

dm层通常会采用维度建模,因为采用维度建模构建出来的数据模型更加符合普通人的认知、易于被普通人所理解,从而有利于数据的推广使用。

EDW_(DM数据仓库数据建模)模型设计

aCRM 报告 aCRM 引擎 随机查询 多维分析
大客户分析管理系统

运营报表 仪表盘


息 门 户 数据挖 掘引擎 数据挖 掘应用
保险数据模型
数据集市
元数据库
为什么需要企业模型?
数据集市之间数据一致性
包含全部历史的核心数据
一致的事实表和维度
EDW 数据模型在项目实施中的作用
DWM 数据仓库模型
业务量分析 数据集市
车险承保分析 通用承保分析
核心业务 财务系统 再保险系统 人意险系统 精算系统 aCRM 数据集市 客户关系 管理OCRM ALM 客户讯息 ECIF 财务分析 数据集市 外部数据 财务分析 应用 ALM应用 业务持续性 分析数据集市 风险管理 应用
监管报表
管理报表
“数据和信息集成平台” “统一的分析平台” “唯一的信息出口”

带anchor的实体


带status表的实体(Commercial agreement、Group agreement、Individual agreement、 Claim folder、Elementary claim) 不带status表的实体

除表的主键、type id、Partition key、Status、Status date、Status reason、 Valid from date、Valid to date、 Effective from date、Effective to date、 Population timestamp之外的所有字段 除表的主键、 type id、 Partition key、 Valid from date、Valid to date、Effective from date、Effective to date、 Population timestamp之外的所有字段

经分数据模型层级

分层特征
报表 KPI 指标 焦点 应用 集市 应用 ……
业 务 应 用 数 据 集 市
在线存储周期 (省分参考)
支撑应
数据集市 (DM)
面向经分应用构建数据模型 具有独立的存储区域,支撑经分应用开发 固化成熟经分应用数据模型 部门和地市级数据集市 数据获取时间间隔:天/月 统一数据模型,按分析主题域划分 数据按分析主题域进行多维度汇总 扩展核心业务实体的衍生信息,如客户视 图、产品视图、渠道视图、流失预测等 统一数据标准(维度/指标) 轻度汇总数据的长期存储,满足用户粒度 的查询需要 数据获取时间间隔:天/月 明细数据,与ODS粒度相同 统一数据模型 统一数据标准(维度/指标等) 明细数据的长期存储,满足最细粒度的查 询需要 数据获取时间间隔:天/月 数据整合:统一数据模型、统一数据标准 、统一数据视图 数据共享:统一准实时共享数据接口、对 外数据提供 数据质量:数据稽核、质量管控 数据获取时间间隔:准实时/天/月 与业务系统保持一致 临时存储从源系统抽取的数据
Billing
OCS
ODS 源 系 统 STAGE
综合缴费 客服 卡系统 系统
集成定单 服务开 管理系统 通系统
客户资料永久 详单1~3个月( 如果承担详单查询 ,则需6个月) 其他12+1月 日:7+1日 月:1+1月
支撑DW的明 支撑准实时的 与统计 支撑跨系统数 算
…….
数据架构—数据分层说明-Modified
信 息 DW 层
收入类 结算类
市场营销 主题域
客户视图 产品视图
渠道 主题域 网络/资源 主题域
客户分群 渠道视图
合作伙伴 主题域流失预测 ……企业管理 主题域 事件 主题域

数据仓库中的数据模型设计与优化

数据仓库中的数据模型设计与优化数据仓库是指将企业的各种数据进行整合、清洗和加工,形成供决策支持和分析的统一数据源。

而数据模型设计是数据仓库开发的重要环节,它决定了数据仓库的结构、组织方式和性能优化。

一、数据仓库的设计原则1.1 单一事实表数据仓库通常由事实表和维度表组成,事实表记录了业务中的主要事实和指标,而维度表则用于描述事实所处的背景信息。

在数据模型设计中,一个明确的原则是尽量将事实表设计为单一的,即每个事实表只包含一种类型的事实。

这样可以避免冗余的数据和复杂的关联关系,提高查询性能。

1.2 星型模型和雪花模型在数据模型设计中,常用的两种模型是星型模型和雪花模型。

星型模型采用了以一个或多个事实表为中心,周围围绕着多个维度表构成的星形结构,简洁明了,易于理解和查询。

而雪花模型在星型模型的基础上进一步标准化了维度表,将其拆分成多张表,从而减少数据冗余。

选择采用哪种模型需要根据具体业务需求和数据特点做出合理的判断。

1.3 维度的层次结构维度表是数据仓库中最重要的组成部分,它用于描述事实所处的背景信息,如时间、地理位置、产品等。

在维度表的设计中,一个重要的考虑因素是维度的层次结构。

比如时间维度可以按照年、季度、月等层次进行划分,产品维度可以按照品类、品牌、型号等层次进行划分。

合理的维度层次结构可以提高数据仓库的查询效率和用户体验。

二、数据模型设计的优化技巧2.1 行列存储在数据仓库中,数据通常以行为单位进行存储和查询。

然而,当数据量达到一定规模时,行存储方式会造成大量的IO操作和数据冗余。

为了提高查询效率和节省存储空间,可以采用列存储的方式,即将相同列的数据连续存储在一起,从而减少IO操作和数据冗余。

2.2 分区和分桶数据仓库中的数据量通常非常庞大,为了提高查询效率,可以采用分区和分桶的技术。

分区是指将数据按照某个规则划分成多个逻辑部分,如按照时间、地理位置等划分。

而分桶是指在每个分区中将数据再划分成多个小的数据块,从而减小每次查询的数据量。

EDW_模型设计

EDW_模型设计EDW模型设计过程一般包括以下几个步骤:1.确定业务需求:在设计数据模型之前,需要充分了解和分析业务需求。

这包括对业务流程的理解、业务规则的掌握和数据需求的明确化等。

2. 收集数据:根据业务需求,确定需要收集的数据。

这些数据可以来自于内部的业务系统、外部的数据源(如第三方数据供应商)以及各种类型的数据文件(如文本文件、Excel文件等)。

3.组织数据层次:根据业务需求和数据之间的关系,将数据进行分层组织。

常见的层次包括:源数据层、清洗数据层、集成数据层和用户数据层。

4.设计数据模型:根据业务需求和数据层次,设计数据模型。

常见的数据模型包括:维度模型、事实模型和概念模型。

维度模型用于描述业务过程和维度之间的关系,事实模型用于描述事实和维度之间的关系,概念模型用于描述数据的概念和关系。

5.建立关系:在设计数据模型时,需要明确不同数据对象之间的关系。

这些关系可以是一对一、一对多或多对多的关系。

通过建立关系,可以方便地进行数据查询和分析。

6.设计数据元数据:数据元数据描述了数据模型中各个数据对象的属性和约束。

设计数据元数据可以提高数据模型的可理解性和可维护性。

7.编写SQL脚本:根据数据模型设计,编写SQL脚本用于创建数据库和表,以及插入、查询和更新数据。

8.数据建设与维护:根据数据模型设计,进行数据建设和维护。

数据建设包括数据清洗、数据集成和数据转换等操作,数据维护包括数据备份、数据恢复和数据更新等操作。

EDW(DM数据仓库数据建模)模型设计是数据仓库开发过程中的关键环节。

只有合理地设计数据模型,才能保证数据仓库的可用性和灵活性。

同时,数据模型设计也决定了数据仓库是否能够支持决策分析和业务发展。

因此,企业在进行数据仓库开发时,要重视EDW模型设计,遵循规范和最佳实践进行数据模型设计,以提高数据仓库的质量和价值。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
相关文档
最新文档