数据仓库建模
通俗易懂数仓建模—Inmon范式建模与Kimball维度建模
通俗易懂数仓建模—Inmon范式建模与Kimball维度建模在数据仓库领域，有两位大师，一位是“数据仓库”之父B i l l I n m o n，一位是数据仓库权威专家R a l p h K im ba l l，两位大师每人都有一本经典著作，I n m o n大师著作《数据仓库》及K im ba l l大师的《数仓工具箱》，两本书也代表了两种不同的数仓建设模式，这两种架构模式支撑了数据仓库以及商业智能近二十年的发展。
今天我们就来聊下这两种建模方式——范式建模和维度建模。
本文开始先简单理解两种建模的核心思想，然后根据一个具体的例子，分别使用这两种建模方式进行建模，大家便会一目了然！一、两种建模思想对于In mo n和K i m ba l l两种建模方式可以长篇大论叙述，但理论是很枯燥的，尤其是晦涩难懂的文字，大家读完估计也不会收获太多，所以我根据自己的理解用通俗的语言提炼出最核心的概念。
范式建模范式建模是数仓之父In mo n所倡导的，“数据仓库”这个词就是这位大师所定义的，这种建模方式在范式理论上符合3N F，这里的3N F与O L T P中的3N F还是有点区别的：关系数据库中的3N F是针对具体的业务流程的实体对象关系抽象，而数据仓库的3N F是站在企业角度面向主题的抽象。
I n m o n模型从流程上看是自上而下的，自上而下指的是数据的流向，“上”即数据的上游，“下”即数据的下游，即从分散异构的数据源-> 数据仓库-> 数据集市。
以数据源头为导向，然后一步步探索获取尽量符合预期的数据，因为数据源往往是异构的，所以会更加强调数据的清洗工作，将数据抽取为实体-关系模型，并不强调事实表和维度表的概念。
维度建模K i m b al l模型从流程上看是自下而上的，即从数据集市-> 数据仓库-> 分散异构的数据源。
K i mb a l l是以最终任务为导向，将数据按照目标拆分出不同的表需求，数据会抽取为事实-维度模型，数据源经E T L转化为事实表和维度表导入数据集市，以星型模型或雪花模型等方式构建维度数据仓库，架构体系中，数据集市与数据仓库是紧密结合的，数据集市是数据仓库中一个逻辑上的主题域。
数据仓库设计与建模的事实表与维度表设计原则(四)
数据仓库设计与建模的事实表与维度表设计原则随着信息技术的发展，数据的规模越来越大，对于企业来说，如何更好地管理和利用这些数据成为了一个重要的课题。
数据仓库作为一种专门用于存储和分析大量数据的系统，扮演着关键角色。
而数据仓库的设计与建模则是构建一个高效、可靠的数据仓库的核心。
一、事实表的设计原则事实表是数据仓库中存储实际事务和业务过程中的重要信息的表格。
在设计事实表时，需要考虑以下原则：1. 粒度：事实表的粒度应该是我们分析的最小维度，也就是不可再分割的最小数据单元。
例如，如果我们要统计一个商店的每日销售额，那么事实表的粒度就是每日，而不是每小时或每分钟。
2. 正交性：不同的事实应该是正交的，也就是说，一个事实在不同的维度下应该是独立的。
例如，在一个销售事实表中，销售额和销售数量是两个正交的事实，它们可以在不同的维度下进行分析。
3. 简洁性：事实表应该是简洁的，不应该包含重复的数据。
重复的数据会增加存储空间和查询时间，并降低数据仓库的性能。
4. 可测量性：事实表的数据应该是可测量的，也就是说，我们应该能够对事实表中的数据进行加、减、乘、除等运算，以便进行更复杂的分析。
二、维度表的设计原则维度表用于描述事实表中的各种维度，例如时间、地点、产品等。
在设计维度表时，需要考虑以下原则：1. 唯一性：维度表中的每个维度应该是唯一的，并且应该具有明确的标识符。
例如，在一个时间维度表中，每个日期应该有唯一的标识符，并且可以通过这个标识符进行关联。
2. 层级性：维度表中的维度应该具有层级结构。
例如，在一个地点维度表中，可以有国家、省份、城市等不同的层级。
3. 描述性：维度表中的维度应该具有足够的描述性信息，以便于用户理解和分析数据。
例如，在一个产品维度表中，可以包含产品名称、产品描述、产品类别等信息。
4. 可变性：维度表中的维度数据应该是可变的，可以根据业务需求进行更新。
例如，如果一个产品的价格发生变化，我们应该能够更新维度表中的价格信息。
数据仓库的设计和构建
数据仓库的设计和构建数据仓库（Data Warehouse）是指将组织机构内部各种分散的、异构的数据整合起来，形成一个共享的、一致的、易于查询和分析的数据环境。
数据仓库的设计和构建是数据管理和分析的重要环节。
本文将结合实践经验，介绍数据仓库的设计与构建过程。
一、需求分析数据仓库的设计与构建首先需要进行需求分析。
在需求分析阶段，我们需要明确以下几个问题：1. 数据来源：确定数据仓库所需要的数据来源，包括内部系统和外部数据源。
2. 数据维度：确定数据仓库中需要关注的维度，如时间、地理位置、产品等。
3. 数据粒度：确定数据仓库中的数据粒度，即需要对数据进行何种程度的聚合。
4. 数据可用性：确定数据仓库中数据的更新频率和可用性要求。
5. 分析需求：明确数据仓库所需满足的分析需求，如报表查询、数据挖掘等。
二、数据模型设计在数据仓库设计过程中，数据模型的设计尤为重要。
常用的数据模型包括维度建模和星型模型。
维度建模是基于事实表和维度表构建的，通过定义事实和维度之间的关系，建立多维数据结构。
星型模型则将事实表和各个维度表之间的关系表示为星型结构，有助于提高查询效率。
根据具体需求和数据特点，选择合适的数据模型进行设计。
三、数据抽取与转换数据仓库的构建过程中，需要从各个数据源中抽取数据，并进行清洗和转换。
数据抽取常用的方法包括全量抽取和增量抽取。
全量抽取是指将数据源中的全部数据抽取到数据仓库中，适用于数据量较小或变动频率较低的情况。
增量抽取则是在全量抽取的基础上，只抽取发生变动的数据，提高了数据抽取的效率。
数据在抽取到数据仓库之前还需要进行清洗和转换。
清洗的目标是去除数据中的错误、冗余和不一致之处，保证数据的准确性和完整性。
转换的目标是将数据格式进行统一，并进行必要的计算和整合，以满足数据仓库的需求。
四、数据加载与存储数据加载是指将抽取、清洗和转换后的数据加载到数据仓库中的过程。
数据加载的方式可以分为批量加载和实时加载。
数据仓库建模
数据仓库建模数据仓库建模是指根据业务需求和数据分析目标，对数据仓库进行设计和构建的过程。
它包括数据仓库的架构设计、数据模型设计、ETL（提取、转换和加载）流程设计等方面。
以下是关于数据仓库建模的详细介绍。
1. 数据仓库架构设计：数据仓库架构设计是数据仓库建模的第一步，它确定了数据仓库的整体结构和组织方式。
常见的数据仓库架构包括星型模型、雪花模型和星座模型等。
在架构设计中，需要考虑数据仓库的数据来源、数据存储方式、数据访问方式等因素，以确保数据仓库的高效性和可扩展性。
2. 数据模型设计：数据模型设计是数据仓库建模的核心环节，它定义了数据仓库中的数据结构和关系。
常用的数据模型包括维度模型和事实模型。
维度模型主要用于描述业务维度和维度之间的关系，而事实模型主要用于描述业务事实和事实之间的关系。
在数据模型设计中，需要根据具体业务需求，确定维度和事实的属性，并建立它们之间的关联关系。
3. ETL流程设计：ETL流程设计是数据仓库建模的关键环节，它负责将源系统中的数据提取、转换和加载到数据仓库中。
ETL流程包括数据抽取、数据清洗、数据转换和数据加载等步骤。
在ETL流程设计中，需要考虑数据抽取的频率、数据清洗的规则、数据转换的逻辑和数据加载的方式等因素，以确保数据仓库中的数据质量和一致性。
4. 数据仓库建模工具：数据仓库建模通常使用一些专业的建模工具，如PowerDesigner、ERwin等。
这些工具提供了丰富的建模功能，可以帮助数据仓库建模人员快速设计和构建数据仓库。
在使用建模工具时，需要熟悉工具的操作流程和功能，以提高建模效率和质量。
5. 数据仓库建模的最佳实践：在进行数据仓库建模时，需要遵循一些最佳实践，以确保数据仓库的高效性和可维护性。
首先，需要与业务人员紧密合作，深入了解业务需求和数据分析目标，以确保数据仓库的建模结果能够准确满足业务需求。
其次，需要遵循一致性和标准化的建模规范，以确保数据仓库中的数据结构和关系的一致性和可理解性。
数据库建模技术方案
数据库建模技术方案1.引言1.1 概述数据库建模技术是指通过对现实世界中的数据进行抽象和建模，设计出数据库的结构和关系，以实现数据的存储、管理和处理。
在信息化时代，数据库建模技术成为了一项基础而重要的工作，对于实现企业数据化管理和决策支持具有重要意义。
本文将从数据库建模技术的概述、方案以及未来发展等方面进行详细介绍和分析。
在进行数据库建模时，需考虑到数据的实体、属性、关系等因素，以及数据之间的联系和约束关系。
通过对现实世界的实体进行建模，我们可以将数据划分为不同的实体集合，并定义实体的属性和关系。
通过这样的抽象和建模工作，数据的结构和关系得以清晰地展示出来，为实现高效的数据管理和应用提供了基础。
数据库建模技术方案的选择与设计是数据库建模过程中的重要环节。
不同的数据库建模技术方案适用于不同的场景和需求。
常见的数据库建模技术方案包括关系模型、层次模型、网络模型等。
关系模型是最为常见和广泛应用的数据库建模技术方案，通过表格的形式展现数据之间的关系，具有较好的可扩展性和灵活性。
而层次模型和网络模型则适用于较为特殊的数据结构和应用场景。
在未来，随着大数据、云计算和人工智能等技术的快速发展，数据库建模技术也将不断创新和演进。
比如，随着数据量的增大，分布式数据库建模技术将得到更广泛的应用；随着数据的多样化和复杂化，图数据库建模技术将具备更大的发展空间。
此外，数据库建模技术还应与其他技术进行整合，如面向对象技术、数据挖掘技术等，以提高数据库的性能和功能。
综上所述，数据库建模技术是现代信息管理的重要组成部分，通过对现实世界的数据进行抽象和建模，实现数据的存储、管理和处理。
不同的数据库建模技术方案适用于不同的场景和需求，而未来的发展则需要与其他相关技术相结合。
对于企业和个人而言，熟练掌握和应用数据库建模技术，将有助于提高数据管理和决策支持的效率和质量。
文章结构部分的内容可以包括以下几个方面：1. 文章主题：介绍文章的主要内容和讨论的问题，确保读者能够在阅读前了解文章的目的和意义。
EDW_(DM数据仓库数据建模)模型设计
大客户分析管理系统
企
运营报表 仪表盘
业
信
息 门 户 数据挖 掘引擎 数据挖 掘应用
保险数据模型
数据集市
元数据库
为什么需要企业模型？
数据集市之间数据一致性
包含全部历史的核心数据
一致的事实表和维度
EDW 数据模型在项目实施中的作用
DWM 数据仓库模型
业务量分析 数据集市
车险承保分析 通用承保分析
核心业务 财务系统 再保险系统 人意险系统 精算系统 aCRM 数据集市 客户关系 管理OCRM ALM 客户讯息 ECIF 财务分析 数据集市 外部数据 财务分析 应用 ALM应用 业务持续性 分析数据集市 风险管理 应用
监管报表
管理报表
“数据和信息集成平台” “统一的分析平台” “唯一的信息出口”
带anchor的实体
带status表的实体（Commercial agreement、Group agreement、Individual agreement、 Claim folder、Elementary claim） 不带status表的实体
除表的主键、type id、Partition key、Status、Status date、Status reason、 Valid from date、Valid to date、 Effective from date、Effective to date、 Population timestamp之外的所有字段 除表的主键、 type id、 Partition key、 Valid from date、Valid to date、Effective from date、Effective to date、 Population timestamp之外的所有字段
4种数据仓库建模方法
引言概述在数字化时代，数据成为企业运营和决策的重要驱动力。
为了更好地管理和利用企业数据，很多企业采用数据仓库来集成和存储数据。
数据仓库建模是数据仓库设计的核心环节，它决定了数据在仓库中的组织结构和查询方式。
本文将介绍四种常见的数据仓库建模方法，包括维度建模、实体关系模型、标准化模型以及主题建模。
维度建模维度建模是一种以事实表和维度表作为核心的建模方法。
事实表是存储数值型数据的表，维度表则存储描述性属性的表。
在维度建模中，事实表和维度表通过共享主键来建立关联。
小点详细阐述：1.事实表的设计：事实表应选择合适的粒度，并包含与业务流程相关的度量。
例如，销售事实表可以包含销售额、销售数量等度量。
2.维度表的设计：维度表应包含与业务流程相关的描述性属性，例如时间、产品、地理位置等。
维度应具有层次结构，以便支持多维分析。
3.关系型数据库实现：维度建模通常使用关系型数据库来实现，它通过表和关联键来表示维度和事实之间的关系。
实体关系模型实体关系模型是一种基于关系代数和数据库范式的建模方法。
它通过实体、属性和关系来描述数据的结构。
实体关系模型适用于较复杂的数据仓库场景，其中数据具有多层级和复杂的关系。
小点详细阐述：1.实体的建模：实体是数据仓库中的核心对象，它代表了业务流程中的实际对象。
实体的属性描述了实体的特征。
2.关系的建模：关系描述了实体间的关联和依赖关系。
在实体关系模型中，关系通过外键建立。
3.数据库范式：实体关系模型追求高度的数据规范化，以减少数据冗余和不一致性。
标准化模型标准化模型是一种以消除冗余数据为核心的建模方法。
在标准化模型中，数据被拆分为多个表，并通过关系建立关联。
小点详细阐述：1.数据拆分：标准化模型通过将数据拆分为多个表，将重复的数据存储在一个地方，并通过外键建立关联。
2.数据插入和查询：标准化模型在数据插入和查询时需要进行多表关联操作，对性能有一定影响。
3.适用场景：标准化模型适用于事务性场景，如订单管理、库存管理等。
MySQL中的数据仓库建模与OLAP分析
MySQL中的数据仓库建模与OLAP分析1. 引言随着大数据时代的到来，数据分析成为企业决策和发展的重要依据。
而数据仓库和OLAP（联机分析处理）技术则成为数据分析的核心工具之一。
本文将重点讨论MySQL中的数据仓库建模和OLAP分析的相关知识。
2. 数据仓库建模数据仓库是一个面向主题、集成、稳定、随时间变化而演化的数据集合。
数据仓库建模是构建数据仓库的关键步骤之一。
在MySQL中，常用的数据仓库建模方法有维度建模和实体关系建模。
2.1 维度建模维度建模是一种以业务维度为基础的建模方法。
它通过对业务过程中的维度进行抽象和建模，将复杂的业务过程简化成简单的维度模型。
维度建模主要包括维度表和事实表两部分。
维度表是描述业务过程中的维度属性的表，例如时间、产品、地区等。
事实表是描述业务过程的事实指标的表，例如销售额、订单数量等。
通过将维度表和事实表进行关联，可以方便地进行多维度的OLAP分析。
2.2 实体关系建模实体关系建模是一种以实体关系为基础的建模方法。
它通过对业务过程中的实体和实体之间的关系进行建模，将数据存储在多个表中。
实体关系建模主要包括实体表和关系表两部分。
实体表是描述业务过程中的实体属性的表，例如客户信息、产品信息等。
关系表是描述实体之间关系的表，例如客户和订单之间的关系、产品和订单之间的关系等。
通过对实体表和关系表的查询，可以获取业务过程中的多个维度数据，从而进行OLAP分析。
3. OLAP分析OLAP（联机分析处理）是一种多维、快速、交互式的数据分析方法。
通过对数据仓库中的多维数据进行切片、挖掘和透视等操作，可以获取到多个维度之间的关系和趋势。
在MySQL中，OLAP分析可以通过使用SQL语言和OLAP函数来实现。
3.1 切片和钻取切片和钻取是OLAP分析中常用的操作方式之一。
切片通过选择一个或多个维度进行过滤，从而获取到特定维度下的数据。
例如，通过选择时间维度为2019年，在数据仓库中获取到2019年的数据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
背景介绍
熟悉社保行业的读者可以知道，目前我们国家的社保主要分为养老，失业，工伤，生育，医疗保险和劳动力市场这6 大块主要业务领域。
在这6 大业务领域中，目前的状况养老和事业的系统已经基本完善，已经有一部分数据开始联网检测。
而，对于工伤，生育，医疗和劳动力市场这一块业务，有些地方发展的比较成熟，而有些地方还不够成熟。
1.业务建模阶段
基于以上的背景介绍，我们在业务建模阶段，就很容易来划分相应的业务。
因此，在业务建模阶段，我们基本上确定我们本次数据仓库建设的目标，建设的方法，以及长远规划等。
如下图：
图8. 业务建模阶段
在这里，我们将整个业务很清楚地划分成了几个大的业务主线，例如：养老，失业，工伤，生育，医疗，劳动力等着几个大的部分，然后我们可以根据这些大的模块，在每个业务主线内，考虑具体的业务主线内需要分析的业务主题。
因此，业务建模阶段其实是一次和业务人员梳理业务的过程，在这个过程中，不仅能帮助我们技术人员更好的理解业务，另一方面，也能够发现业务流程中的一些不合理的环节，加以改善和改进。
同时，业务建模阶段的另一个重要工作就是确定我们数据建模的范围，例如：在某些数据准备不够充分的业务模块内，我们可以考虑先不建设相应的数据模型。
等到条件充分成熟的情况下，我们可以再来考虑数据建模的问题。
2.领域概念建模阶段领域概念建模阶段是数据仓库数据建模的一个重要阶段，由于我们在业务建模阶段已经完全理清相应的业务范围和流程，因此，我们在这个领域概念建模阶段的最主要的工作就是进行概念的抽象，整个领域概念建模的工作层次如下图所示：
图9. 领域概念建模阶段
从上图我们可以清楚地看到，领域概念建模就是运用了实体建模法，从纷繁的业务表象背后通过实体建模法，抽象出实体，事件，说明等抽象的实体，从而找出业务表象后抽象实体间的相互的关联性，保证了我们数据仓库数据按照数据模型所能达到的一致性和关联性。
从图上看，我们可以把整个抽象过程分为四个层次，分别为：
∙抽象方法层，整个数据模型的核心方法，领域概念建模的实体的划分通过这种抽象方法来实现。
∙领域概念层，这是我们整个数据模型的核心部分，因为不同程度的抽象方法，决定了我们领域概念的不同。
例如：在这里，我们可以使用“参与方”这个概念，同时，你也可以把他分成三个概念：“个人”，“公司”，和“经办机构”这三个概念。
而我们在构建自己的模型的时候，可以参考业务的状况以及我们自己模型的需要，选择抽象程度高的概念或者是抽象程度低的概念。
相对来说，抽象程度高的概念，理解起来较为复杂，需要专业的建模专家才能理解，而抽象程度低的概念，较适合于一般业务人员的理解，使用起来比较方便。
笔者在这里建议读者可以选用抽象概念较低的实体，以方便业务人员和技术人员之间的交流和沟通。
∙具体业务层，主要是解决具体的业务问题，从这张图我们可以看出，具体的业务层，其实只是领域概念模型中实体之间的一些不同组合而已。
因此，完整的数据仓库的数据模型应该能够相应灵活多变的前端业务的需求，而其本身的模型架构具有很强的灵活性。
这也是数据仓库模型所具备的功能之一。
∙业务主线层，这个层次主要划分大的业务领域，一般在业务建模阶段即已经完成这方面的划分。
我们一般通过这种大的业务主线来划分整个业务模型大的框架。
通过领域概念建模，数据仓库的模型已经被抽象成一个个的实体，模型的框架已经搭建完毕，下面的工作就是给这些框架注入有效的肌体。
3.逻辑建模阶段
通过领域概念建模之后，虽然模型的框架已经完成，但是还有很多细致的工作需要完成。
一般在这个阶段，我们还需要做非常多的工作，主要包括：
∙实例话每一个抽象的实体，例如：在上面的概念模型之后，我们需要对“人”和“公司”等这些抽象实体进行实例化。
主要是，我们需要考虑“人”的属性包括那些，在业务模块中，用到的所有跟“人”相关的属性是哪些，我们都需要将这些属性附着在我们数据模型的“人”这个实体上，例如“人”得年龄，性别，受教育程度等等。
同理，我们对其他属性同样需要做这个工作。
∙找出抽象实体间的联系，并将其实例话。
这里，我们主要考虑是“事件”这个抽象概念的实例话，例如：对于养老金征缴这个“事件”的属性得考虑，对于失业劳动者培训这个“事件”的属性得考虑等等。
∙找出抽象事件的关系，并对其进行说明。
在这里我们主要是要针对“事件”进行完善的“说明”。
例如：对于“事件”中的地域，事件等因素的考量等等。
总而言之，在逻辑建模阶段，我们主要考虑得是抽象实体的一些细致的属性。
通过逻辑建模阶段，我们才能够将整个概念模型完整串联成一个有机的实体，才能够完整的表达出业务之间的关联性。
在这个阶段，笔者建议大家可以参考3NF 的建模方法，表达出实体的属性，以及实体与实体之间的联系。
例如：在这个阶段，我们可以通过采用ERWIN 等建模工具等作出符合3NF 的关系型数据模型来。
4.物理建模阶段
物理建模阶段是整个数据建模的最后一个过程，这个过程其实是将前面的逻辑数据模型落地的一个过程。
考虑到数据仓库平台的不同，因此，数据模型得物理建模过程可能会稍微有一些不同，在这个阶段我们主要的工作是：
∙生成创建表的脚本。
不同的数据仓库平台可能生成不同的脚本。
∙针对不同的数据仓库平台，进行一些相应的优化工作，例如对于DB2 数据仓库来说，创建一些MQT 表，来加速报表的生成等等。
∙针对数据集市的需要，按照维度建模的方法，生成一些事实表，维表等工作。
∙针对数据仓库的ETL 车和元数据管理的需要，生成一些数据仓库维护的表，例如：日志表等。
经过物理建模阶段，整个数据仓库的模型已经全部完成，我们可以按照自己的设计来针对当前的行业创建满足自己需要的数据模型来。