数据仓库的逻辑模型
数据仓库逻辑模型介绍
9
一、概念 -4
(4)数据加载策略
更新(Upsert、delete/insert) 拉链(时间拉链/自拉链, 历史) 追加(直接insert，防止重复加载先delete当天) ✓ 当前表、历史表、流水表
10
一、概念 -5 (5)元数据
元数据：是描述数据仓库内数据的结构和建立方法的数据。 可将其按用途的不同分为两类，技术元数据和商业元数据。
业务元数据从业务的角度描述了数据仓库中的数据。它提供 了介于使用者和实际系统之间的语义层，使得不懂计算机技 术的业务人员也能够“读懂”数据仓库中的数据。使用者的 业务术语所表达的数据模型、对象名和属性名；访问数据的 原则和数据的来源；系统所提供的分析方法以及公式和报表 的信息。
元数据为访问数据仓库提供了一个信息目录（information directory），这个目录全面描述了数据仓库中都有什么数据、 这些数据怎么得到的、和怎么访问这些数据。它是数据仓库 运行和维护的中心，数据仓库服务器利用他来存贮和更新数 据，用户通过他来了解和访问数据。
(1)为什么要建设数据仓库?
统一数据源 统一数据标准
5
一、概念 -2
(2) ODS、数据仓库、数据集市
操作数据存储(Operational Data Store)是一个面向主题的、 集成的、可变的、当前的细节数据集合，用于支持企业对于 即时性的、操作性的、集成的全体信息的需求。常常被作为 数据仓库的过渡，也是数据仓库项目的可选项之一。
技术元数据是数据仓库的设计和管理人员用于开发和日常管 理数据仓库时用的数据。包括：数据源信息；数据转换的描 述；数据仓库内对象和数据结构的定义；数据清理和数据更 新时用的规则；源数据到目标的数据映射；用户访问权限， 数据备份历史记录，数据导入历史记录，信息发布历史记录 等。
3-3数据仓库设计-逻辑模型
……
… …
……
……
数据概括表与事实表对应关系
概括表表.列 名 是否 导出 事实表.列 名 SPGYB.SP 商品编号 _ID SPGYB.G YS_ID 供应商编号 备注 SPGKB.SP_I 否 D SPGKB.GYS _ID SPGKB.SPG YZSL SPGKB.SPG YZJE …… 否 是 是
商 品
商品号
销 售 客 户
销售单号
客户号
数据仓库的实体定义
实体 容量 更新频率 每月对客户情况进行一次分析，更 新频率也为每月一次 大约有500种商品，商品的更新是每 月一次，数据更新也照此。 Customer 中等容量，有100个重点客户， 2000个跟踪客户 Product 小容量，500种商品
确定粒度的循环和反复
提高粒度的方法
当源数据置入数据仓库时，对它进行汇总。 当源数据置入数据仓库时，对它求平均或进行 计算。 把最大/最小的设定值置入数据仓库。 只把显然需要的数据置入数据仓库。 用条件逻辑选取记录的一个子集置入数据仓库。 对于数据怎样轻度汇总是没有限制的(限制只 存在于设计者的脑海里)。
Windows/Acces RSGL s …… ……
数据源抽取规则表
表.列名 过滤与连接 条件 比较值 50000 500 ‘AB’ …… 复合条件 AND AND OR …… 备注 采购商品数量 小于50000 采购商品数量 大于500 商品前两位 非’AB’ …… KHCG.CGSL < KHCG.CGSL > SPQK.SPID …… ≠ ……
第一次作业题目
请详细描述数据库应用系统与数据仓库 之间的区别。（越详细越好，越全面越 好） 下星期三以前交。
数据仓库设计——逻辑模型内Leabharlann 提要数据仓库的逻辑模型设计
金融业逻辑数据模型-数仓十大主题-LDM_当事人主题
金融业逻辑数据模型FS-LDM 当事人PARTY主题1 定义/准入原则当事人（Party）是指银行所服务的任意对象和感兴趣进行分析的各种对象。
如：个人或公司客户、同业客户、潜在客户、代理机构、雇员、分行、部门等，一个当事人可以同时是这当中的许多角色。
当事人是一个独立的人或者一组人组成的机构、团体等，可分为个人、机构和家庭，他们是和银行有往来或者出于市场营销、分析管理等各种需要而希望关心和分析的个体或人群。
从数据仓库模型角度考虑，可以包括以下当事人信息：⏹在银行登记注册开立账户的单位/企业客户⏹在银行登记注册开立账户的个人普通客户⏹和银行有业务往来的其他金融机构（如国内同业、海外代理行等）⏹登记注册使用某项特殊服务的客户（如基金注册登记机构、基金交易客户、银行卡特约单位、联名认同单位、电子银行缴费单位/个人、网银集团客户/贵宾企业/商户/学校、航空公司等）⏹机构的内部组织（如分支机构、部门、团队等）⏹机构的员工（如柜员、客户经理等）⏹外部机构提供清单（如人行征信系统、国家统计局等）上银行感兴趣的各种对象⏹为银行提供某项专业服务的当事人（如咨询公司、设备提供商、法律顾问等）2 唯一标识当事人的唯一标识是“当事人编号”，该字段可以直接取自原业务系统中的唯一客户编号（可能需要加工，区分对公、个人和机构等），也可以由数据仓库系统按照一定的规则自行编制一个唯一编号。
3 当事人分类当事人分为个人当事人、机构当事人、家庭三类，机构当事人又分为内部机构和外部机构，外部机构又细分成“商业组织机构（企业）”和“非盈利组织机构（协会）”。
此外，“当事人”实体还可以通过“潜在客户标志”、“提供商标志”等字段实现其他口径不排他的分类。
⏹提供商信息：记录提供商的信息，如法律顾问、咨询家、财务顾问等和银行往来的历史记录等；⏹潜在客户信息：该实体记录银行所感兴趣的各种潜在客户的信息；⏹机构名称历史：记录机构的名称的变更历史，包括过去的、现在的正式名称、简称等。
数据库逻辑模型
数据库逻辑模型数据库逻辑模型，又叫做逻辑数据模型，是数据库技术中一种重要的基本模型。
它处于物理数据存储和用户使用之间，它表示数据库信息和关系模型之间的映射。
它支持用户定义更通用的视图，可以分解成较低级别的视图，来支持与特定数据库之间的映射，从而扩展应用程序的功能，它可以使应用程序开发者更充分地表达自己的需求，以实现更丰富的应用。
数据库逻辑模型的构建是一种结构的设计，它是一种用于描述数据之间的关系以及如何从数据库中获取和整理信息的技术。
它包含了定义系统的属性，以及确定数据之间的关系的规则。
逻辑模型的最大特点在于它将数据从物理存储中分离出来，因此，在模型中可以实现复杂的关系，并可以更有效地持久化数据，并将其存储在指定的数据库中。
数据库逻辑模型分为三个基本结构，分别为实体，关系和属性。
实体表示一个可以创建或改变的独立的物理对象，它可以包括一个或多个概念或元素，以及可以定义实体之间的关系。
关系是一种映射关系，它定义了不同实体之间的联系，这样，数据库就可以实现数据之间的连接和查询。
最后，属性是实体的描述，可以定义实体的特性和特征，以及特定实体所具有的属性。
在实际应用中，数据库逻辑模型有很多优点。
它极大地提升了灵活性，可以大大降低维护成本，因为可以拆分数据，从而使其可以更容易地更新和维护，可以节省存储空间，减少重复存储的数据，并可以有效提高关系数据库的性能。
在数据库技术中，数据库逻辑模型是一种非常重要的模型，它把数据从物理存储中分离出来，提供了一种方便的方式来实现复杂的关系，有效利用存储空间，提高性能，降低维护成本，从而给企业应用和管理带来更大的便利，可以有效地支持企业更好地进行管控，降低企业的日常管理成本，产生更大的价值。
3-3数据仓库设计-逻辑模型
数据的行数 数据所占存储设备空间 数据所需要的索引空间
只能做数据级上的估算 从一方或多方收集信息进行合理估算
粗略估算数据量算法
双重粒度和单一粒度
表的行数是影响粒度划分主要的因素 将数据库的总行数与下表进行比较
确定粒度的循环和反复
选择合适的粒度级别是体系结构设计环境成功 的关键。 选择粒度级别的一般方法，是利用常识，建立 数据仓库的一小部分，并让用户去访问这些数 据。然后仔细聆听用户的意见，根据他们的反 馈意见适当调整粒度的级别。 最坏的想法是想要事先设计好所有的粒度级别， 再进行数据仓库的建造。 即使在最好的情况下，能使设计的5 0 %是正 确的就已经很不错的了。数据仓库环境的特点 就是只有当决策支持系统分析员实际看到了报 告之后，才能想像哪些是真正需要的。
……
… …
……
……
数据概括表与事实表对应关系
概括表表.列 名 是否 导出 事实表.列 名 SPGYB.SP 商品编号 _ID SPGYB.G YS_ID 供应商编号 备注 SPGKB.SP_I 否 D SPGKB.GYS _ID SPGKB.SPG YZSL SPGKB.SPG YZJE …… 否 是 是
例： 银 行 粒 度 设 计
例： 银 行 粒 度 设 计
数据分割
数据分片概念
水平分片 垂直分片 混合分片 导出分片
按时间进行数据分割是最普遍的 分割标准
数据量 数据分析处理的实际情况 简单易行 粒度划分策略
数据仓库的数据抽取模型
F2 KHCG F3 SPQK F4 ZGYJ
F1 数据抽取规则
确定粒度的循环和反复
提高粒度的方法
当源数据置入数据仓库时，对它进行汇总。 当源数据置入数据仓库时，对它求平均或进行 计算。 把最大/最小的设定值置入数据仓库。 只把显然需要的数据置入数据仓库。 用条件逻辑选取记录的一个子集置入数据仓库。 对于数据怎样轻度汇总是没有限制的(限制只 存在于设计者的脑海里)。
数据库数据模型中逻辑模型的定义
数据库数据模型中逻辑模型的定义
在数据库设计过程中，逻辑模型是指对实际需求进行抽象和建模的过程，用于描述数据的组织结构、关系和约束。
逻辑模型的特点：
•逻辑模型更接近于真实世界的需求，而不是数据库管理系统的具体实现细节。
•逻辑模型使用概念和实体之间的关系来描述数据的逻辑结构。
•逻辑模型可以独立于数据库管理系统的特性进行设计和分析。
逻辑模型的常见类型：
1.关系模型：使用表格和关系来表示数据之间的关系。
2.层次模型：使用树形结构表示数据之间的层次关系。
3.网状模型：使用复杂的链接结构表示数据之间的关系。
通过使用逻辑模型，数据库设计者可以更好地理解和组织数据，从而提高数据库的可维护性和可扩展性。
注意：逻辑模型是数据库设计过程中重要的一步，需要详细考虑实际需求和数据之间的关系。
数据库逻辑模型
数据库逻辑模型数据库是一个存放和管理信息的系统，由于计算机技术发展，数据库应用变得越来越广泛，被大量使用。
这就需要一个更为完善的模型来支撑数据库应用，这就是数据库逻辑模型。
数据库逻辑模型是一种结构性体系，它以复杂的数据组织形式来表示现实世界的结构和实体，并且能够把细节的数据的表示转换成更加合理的数据结构。
数据库逻辑模型通常分为三种不同的基本模型，它们分别是关系模型、网状模型和层次模型。
三种基本模型的定义及它们之间的联系如下：关系模型：关系模型把信息作为表格表示，把相互关联的关系以表格的形式表达出来，每个表有几个列来表示信息，每一行表示一条记录，每一列表示一个属性。
网状模型：网状模型用网络元素表示信息，形成网络模型，并且实现程序开发以及数据管理。
网状模型包含两个概念：节点和链接。
节点是数据的物理存储单元，用节点的集合表示数据的物理结构，链接用来表示数据之间的逻辑关系。
层次模型：层次模型是由父子层构成的数据结构，描述了信息中联系关系和隶属关系，树形结构也是层次模型的一种特殊表示方式。
层次模型因为它的易用性，而被广泛的使用。
数据库的物理机构可能不同，但是它们的逻辑结构是相同的，因此需要数据库逻辑模型。
数据库逻辑模型的最终目的是确保数据的一致性，实现数据的有效管理。
相较于其它模型，数据库逻辑模型有很多优点。
首先它可以把细节的数据表示转换成更加完善的数据库模型，其次它可以实现数据的有效管理以及更高效的处理，最后它也能够有效支撑现实世界的复杂数据组织。
数据库逻辑模型被广泛的使用在许多不同的领域，它可以用于客户关系管理，可以用于网上购物，也可以用于媒体，教育等等。
其实数据库逻辑模型正成为一种不可或缺的部分，它对各种不同领域的数据库应用起到越来越重要的作用。
总之，数据库逻辑模型是一种高效、灵活、实用的模型，它已经成为今天不同领域数据库应用的重要组成部分，未来它也将发挥更加重要的作用。
数据仓库的概念模型的概念
数据仓库的概念模型的概念数据仓库是一种用于支持决策分析和业务报告的数据存储和管理系统。
它的主要目标是将来自不同数据源的大量数据集成到一个统一的、结构化的、易于查询和分析的数据集中，以便帮助企业进行决策制定和战略规划。
数据仓库的概念模型是数据仓库设计的核心基础，它描述了数据仓库中存储的数据以及数据之间的关系和属性。
概念模型体现了数据仓库的逻辑结构，为数据仓库的建立、使用和维护提供了指导和便利。
数据仓库的概念模型通常采用星型模型或雪花模型。
星型模型是以事实表为核心，围绕事实表构建多个维度表。
事实表存储了事实数据，如销售量、收入等，而维度表包含了与事实数据相关的各种维度，如时间、地区、产品等。
事实表和维度表通过外键关联起来，形成一个星形的数据结构。
星型模型简单直观，易于理解和查询，适用于较为简单的数据仓库场景。
雪花模型在星型模型的基础上进一步细化了维度表，将维度表再次分解成更小的表。
这种模型可以更好地表达维度之间的关系，但也带来了更复杂的查询和维护操作。
通常情况下，星型模型适用于规模较小、数据结构相对简单的数据仓库，而雪花模型适用于规模较大、数据结构复杂的数据仓库。
在数据仓库的概念模型中，一般还包括以下几个关键元素：1. 数据源：数据仓库的数据源包括各种数据库、文件、应用系统等，数据从这些源中抽取、清洗和转换后存储到数据仓库中。
2. ETL过程：ETL（抽取、转换、加载）是数据仓库的重要组成部分。
在ETL过程中，数据从各个源系统中抽取出来，经过一系列的转换操作，最后加载到数据仓库中。
ETL过程的设计和实现对数据仓库的性能和质量有着重要影响。
3. 元数据：元数据是数据仓库中的数据描述信息，包括数据定义、数据源、数据转换规则、数据质量、数据字典等。
元数据的管理对于数据仓库的正确理解和有效使用至关重要。
4. 查询和报告：数据仓库的主要目标是提供给决策者和业务用户一个易于查询和分析的数据集。
因此，数据仓库的概念模型需要考虑查询和报告的需求，提供适当的数据结构和查询接口。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据仓库的逻辑模型介绍
数据仓库是一种面向主题的、集成的、稳定的、不同时间的数据集合，用于支持管理决策过程。
逻辑模型是数据仓库的核心，它描述了数据仓库中数据的组织和存储方式，以及数据仓库的结构和功能。
本文将介绍数据仓库的逻辑模型，包括数据仓库的数据源、数据存储、数据集市和数据访问。
一、数据源
数据仓库的数据源可以是多种类型的，包括关系数据库、OLAP 数据库、文件系统、外部数据源等。
不同的数据源具有不同的特点和优势，需要根据实际情况选择合适的数据源。
二、数据存储
数据仓库的数据存储是指将数据源中的数据加载到数据仓库中，并对数据进行处理和转换，以满足数据仓库的需求。
数据存储通常采用分布式存储架构，以支持大量数据的存储和查询。
三、数据集市
数据集市是数据仓库中面向特定主题的数据集合，它将数据仓库中的数据按照业务需求进行分类和组织。
数据集市通常包括多个表，每个表代表一个主题，例如销售、客户、产品等。
数据集市中的数据可以根据业务需求进行查询和分析。
四、数据访问
数据访问是指数据仓库中的数据如何被访问和使用。
数据仓库的数据访问通常采用OLAP（联机分析处理）和数据挖掘技术。
OLAP技术支持用户对数据仓库中的数据进行快速查询和分析，数据挖掘技术则可以帮助用户从大量数据中发现有价值的信息和规律。
总之，数据仓库的逻辑模型是数据仓库的核心，它描述了数据仓
库中数据的组织和存储方式，以及数据仓库的结构和功能。
数据仓库的数据源、数据存储、数据集市和数据访问是数据仓库逻辑模型的重要组成部分，它们共同构成了一个完整的数据仓库系统。