数据仓库主题设计及元数据设计
明确仓库的对象：主题和元数据大多数商务数据都是多维的，所以采集和表示三维以上的数据不能完全借用业务数据库设计中的方法，必须有一种新的方法来表达多维数据。
现阶段流行的有2种方法，一是面向对象方法，即把商务数据抽象为对象，再使用Rational Rose等对象建模工具来表达这些对象；另一种方法就是使用信息包图，这是一种简便且高效的方法，在项目中使用的普及率很高。
信息包图实际上是自上而下数据建模方法的一个很好的工具。
自上而下的建模技术从用户的观点开始设计。
用户的观点是通过与用户交流得到的，可以进一步明确用户的信息需求。
自上而下的方法几乎考虑了所有的信息源，以及这些信息源影响商务活动的方式，它使得设计者可以围绕着一个通常的主题或商务领域进行信息包的开发。
下面就详述如何通过信息打包技术建立信息包图，从而确定数据仓库中的主题和元数据。
3.4.1 信息打包技术1．信息打包技术的基本使用信息打包法是一种自顶向下的设计方法，它从管理者的角度出发把焦点集中在企业的一个或几个主题上，着重分析主题所涉及数据的多维特性。
此法具体分4个阶段：（1）采用自顶向下的方法对商务数据的多维特性进行分析，用信息打包图表示维度和类别之间的传递和映射关系，建立概念模型。
其中类别是按一定的标准对一个维度的分类划分，如产品可按颜色、质地、产地和销地等不同标准分类。
（2）对企业的大量的指标实体数据进行筛选，提取出可利用的中心指标。
其中指标也称为关键性能指标和关键商务测量的值，是在维度空间衡量商务信息的一种方法。
比如产品收入金额、原材料消耗、补充新雇员或设备运行时间等都可以叫做指标。
（3）在信息打包图的基础上构造星形图，对其中的详细类别实体进行分析，进一步扩展为雪花图，建立逻辑模型。
（4）在星形图和雪花图的基础上，根据所定义数据标准，通过对实体、键标、非键标、数据容量、更新频率和实体特征进行定义，完成物理数据模型的设计。
信息包图可以帮助用户完成以下工作：定义某一商务中涉及的共同主题范围，例如：时间、顾客、地理位置和产品。
设计可以跟踪的、确定一个商务事件怎样被运行和完成的关键商务指标。
决定数据怎样被传递给数据仓库的用户。
确定用户怎样按层次聚合数据和移动数据。
决定在给定的用户分析或查询中实际包含了多少数据。
定义怎样访问数据，它的进入点是什么。
用户想访问哪里，以及怎样引导进入信息包。
估计数据仓库大小。
确定一个数据仓库里数据的更新频率。
制定信息怎样被打包才能更好地提供给用户。
图3-24是一个空白的信息包图。
注意信息包图上面的横线，这里要写上信息包的说明。
可以有选择地填上概括说明和详细说明或者说明信息包图描述的是什么信息。
而阴影部分就是代表在一定的维度和类别下的度量指标，这部分体现的就是数据分析的主要任务，在制作信息包图时需要和用户一起完成。
在以后对AdventureWorksDW数据仓库的分析中，主要是对Adventure Works Cycles公司的销售情况进行分析，根据前面对需求的分析，结合信息打包法的4个阶段，可以通过如下的方法建立信息包图。
图3-24 一个空白的信息包（1）获取各个商务部门对商务数据的多维特性分析结果，确定影响销售的维度，这里可以提炼出日期、区域、产品、客户年龄和客户状况等5个维度。
（2）对每个维度进行分析，确定它与类别之间的传递和映射关系，如在AdventureWorks 业务数据库中，日期有年、季度和月甚至更小的级别，而区域一般就分为国家、地区、城市和具体的商店。
（3）确定用户需要的指标体系，这里以销售情况作为事实依据确定相关的销售指标，如实际销售、计划销售、预测销售、计划偏差和预测偏差等。
有了以上的分析，就可以画出销售分析的信息包图，如图3-25所示，其他分析需求的信息包图可以用类似的方法表示。
图3-25 销售分析的信息包图（4）这一步可以在信息打包图的基础上构造星形图，如图3-26所示。
然后根据实际情况，把详细类别实体连接到星形图中就可以得到企业数据仓库的雪花模型。
如在这里的AdventureWorks业务数据库中，已经通过表“ProductCategory”、“ProductSubcategory”和“Product”对产品进行了层次分类，把它们挂到图3-26的星形图中可以形成图3-27所示的雪花架构图。
图3-26 信息包图的基础上构造的星形图图3-27 在星形图基础上构建的雪花架构图注意，按照设计惯例，指标实体、维度实体和详细类别实体分别用矩形、菱形和六角形表示。
通过以上技术，实际上建立起了数据仓库的概念模型和逻辑模型。
如图3-25所示的信息包图是在最终用户和技术人员共同完成的，通过它数据的构成便由客观世界转换到了主观世界。
而图3-26则属于逻辑模型，因为它在信息包图的基础上将信息转换成了关系模型。
对比最终数据仓库的架构（在，这时离构建完整的数据仓库数据库已经很近了。
2．信息动态打包信息打包图中涉及的维度及其对应的类别是事先固定的。
这种将维度和类别固定所带来的最直接的问题是，所设计的数据仓库不仅对一些特定的查询分析操作的适应能力差，而且当查询或分析的要求发生变化时根本无法适应。
解决该问题的方法是允许维度和类别进行自由改变，这就是信息动态打包的方法。
信息动态打包包括2方面的内容：与该指标分析对应的维度的动态组合及与维度关联的类别的动态组合。
参考南京大学李雪梅等人的《一种基于信息动态打包的数据仓库的设计方法》一文，可以得到信息动态打包方法的7步大法。
（1）采用自顶向下的方法，通过与企业的领导和管理人员交谈挖掘出尽可能多的主题，然后根据这些主题找出对应的指标实体，进一步对每个指标实体采用基本信息打包法分析出其中包含的最明显的维度实体。
图3-28和图3-29分别是对销售分析和顾客人口统计分析得到的两个星形图，其中前者包括时间、地区和产品3个维度实体，后者包括时间、地区和顾客3个维度实体。
图3-28 从销售分析的星形图图3-29 从顾客统计分析的星形图（2）综合考虑所有的主题，采用指标实体矩阵对定义的信息包和维度实体进行统一和标准化处理。
利用图3-30所示的统一实体矩阵来消除实体定义中的歧异和不一致，从而保证数据仓库中实体定义的一致性。
矩阵中交叉点的‘X’表示相关。
图3-30 统一实体矩阵（3）对于单个指标实体（信息包）找出所有的与该指标实体相关的但属于其他信息包的维度实体，再根据其与该信息包的相关程度进行排序，得到该指标实体的一个所有相关维度指标的一个有序集。
需要特别指出的是，由于维度定义的相对性，当某些详细类别实体中的单个类别与指标实体的查询或分析密切相关时也可以将它作为单独的维度实体。
如顾客细节实体中包括年龄组、性别、收入组、职业、教育和婚姻状况等，而其中年龄组、性别、收入组和职业与销售分析密切相关，故可以将它们分别作为销售的不同的维度实体。
这样我们就可以得到与销售分析相关的维度实体集Dim销售={时期,地区,产品,年龄组,性别,收入组,职业}。
这里我们定义前3者的相关度为1，其他维度实体的相关度为0.5。
（4）对于每个维度实体，进行类别划分，找出所有可行类别。
然后对这些类别的划分条件根据其粒度从大到小进行排序，得到该维度实体的类别指标的一个有序集。
（5）创建指标实体的动态维。
可以把维度实体分为2类，一类是指对该指标实体的分析必不可少的维度实体，称之为必需维；另一类则可以根据需要自由选择，称为可选维。
如DIM销售集合中，时期、地区和产品是必需维，其余的则是可选维。
（6）创建与维度实体对应的动态类别实体。
不同于维度实体，类别实体均设为可选的，类别实体可以根据具体情况自行确定。
（7）建立数据仓库中各个指标的概念模型（信息打包图）和逻辑模型（星形图或雪花图）。
信息动态打包的数据仓库设计方法采用了维度和类别动态重组技术，提供可以修改的数据存储方式，从而使所设计的数据仓库具有真正自适应的数据结构，较好地满足企业未来查询和分析的需要。
3.4.2 理解数据仓库中的主题通过信息包图实际上确定了数据仓库的主题和大部分元数据。
这一节先讲数据包图和主题的关系。
1．主题的概念主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。
在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。
例如在前面信息包图使用的例子中，“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”。
面向主题的数据组织方式，就是在较高层次上对分析对象数据的一个完整并且一致的描述，能刻画各个分析对象所涉及的企业各项数据，以及数据之间的联系。
所谓较高层次是相对面向应用的数据组织方式而言的，是指按照主题进行数据组织的方式具有更高的数据抽象级别。
与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行组织的。
例如，一个生产企业的数据仓库所组织的主题可能有产品订货分析和货物发运分析等。
而按应用来组织则可能为财务子系统、销售子系统、供应子系统、人力资源子系统和生产调度子系统。
主题是根据分析的要求来确定的。
这与按照数据处理或应用的要求来组织数据是不同的。
如在生产企业中，同样是材料供应，在操作型数据库系统中，人们所关心的是怎样更方便和更快捷地进行材料供应的业务处理；而在进行分析处理时，人们就应该关心材料的不同采购渠道和材料供应是否及时，以及材料质量状况等。
数据仓库面向在数据模型中已经定义好的公司的主要主题领域。
典型的主题领域包括顾客、产品、订单和财务或是其他某项事务或活动。
2．主题域的获取主题域是对某个主题进行分析后确定的主题的边界。
分析主题域，确定要装载到数据仓库的主题是信息打包技术的第一步。
而在进行数据仓库设计时，一般是一次先建立一个主题或企业全部主题中的一部分，因此在大多数数据仓库的设计过程中都有一个主题域的选择过程。
主题域的确定必须由最终用户和数据仓库的设计人员共同完成。
比如，对于Adventure Works Cycle这种类型的公司管理层需要分析的主题一般包括供应商主题、商品主题、客户主题和仓库主题。
其中商品主题的内容包括记录超市商品的采购情况、商品的销售情况和商品的存储情况；客户主题包括的内容可能有客户购买商品的情况；仓库主题包括仓库中商品的存储情况和仓库的管理情况等，如图3-31所示。
图3-31 根据业务情况确定的分析主题确定主题边界实际上需要进一步理解业务关系，因此在确定整个分析主题后，还需要对这些主题进行初步的细化才便于获取每一个主题应该具有的边界。
对于图3-31的4个主题及其在企业中的业务关系可以确定边界如图3-32所示。
图3-32 主题域的划分3．确定主题的内容主题虽然在信息包图中只占据标题的位置，但是却是信息打包方法中最重要的部分，当主题定义好之后，数据仓库中的逻辑模型也就基本成形了。
数据仓库主题设计及元数据设计
数据仓库主题设计及元数据设计3.4 明确仓库的对象：主题和元数据大多数商务数据都是多维的，所以采集和表示三维以上的数据不能完全借用业务数据库设计中的方法，必须有一种新的方法来表达多维数据。
现阶段流行的有2种方法，一是面向对象方法，即把商务数据抽象为对象，再使用Rational Rose等对象建模工具来表达这些对象；另一种方法就是使用信息包图，这是一种简便且高效的方法，在项目中使用的普及率很高。
信息包图实际上是自上而下数据建模方法的一个很好的工具。
自上而下的建模技术从用户的观点开始设计。
用户的观点是通过与用户交流得到的，可以进一步明确用户的信息需求。
自上而下的方法几乎考虑了所有的信息源，以及这些信息源影响商务活动的方式，它使得设计者可以围绕着一个通常的主题或商务领域进行信息包的开发。
下面就详述如何通过信息打包技术建立信息包图，从而确定数据仓库中的主题和元数据。
3.4.1 信息打包技术1．信息打包技术的基本使用信息打包法是一种自顶向下的设计方法，它从管理者的角度出发把焦点集中在企业的一个或几个主题上，着重分析主题所涉及数据的多维特性。
此法具体分4个阶段：（1）采用自顶向下的方法对商务数据的多维特性进行分析，用信息打包图表示维度和类别之间的传递和映射关系，建立概念模型。
其中类别是按一定的标准对一个维度的分类划分，如产品可按颜色、质地、产地和销地等不同标准分类。
（2）对企业的大量的指标实体数据进行筛选，提取出可利用的中心指标。
其中指标也称为关键性能指标和关键商务测量的值，是在维度空间衡量商务信息的一种方法。
比如产品收入金额、原材料消耗、补充新雇员或设备运行时间等都可以叫做指标。
（3）在信息打包图的基础上构造星形图，对其中的详细类别实体进行分析，进一步扩展为雪花图，建立逻辑模型。
（4）在星形图和雪花图的基础上，根据所定义数据标准，通过对实体、键标、非键标、数据容量、更新频率和实体特征进行定义，完成物理数据模型的设计。
数据仓库元数据管理
数据仓库元数据管理数据仓库元数据管理是指对数据仓库中的元数据进行管理和维护的过程。
元数据是描述数据的数据，它提供了关于数据的定义、结构、属性、关系以及数据的来源和用途等信息。
数据仓库中的元数据包括数据表、字段、索引、视图、存储过程等对象的描述信息，以及数据质量、数据血统、数据变化等相关信息。
数据仓库元数据管理的目标是保证数据仓库中的元数据准确、完整、一致和可靠。
通过对元数据的管理，可以提高数据仓库的可维护性、可扩展性和可重用性，进而提高数据仓库的价值和效用。
数据仓库元数据管理的主要任务包括元数据收集、元数据存储、元数据维护和元数据使用等。
1. 元数据收集：- 根据数据仓库的设计和需求，收集相关的元数据信息。
- 可以通过手工录入、自动抽取、数据字典等方式进行元数据的收集。
- 收集的元数据包括数据表、字段、索引、视图、存储过程等对象的描述信息，以及数据质量、数据血统、数据变化等相关信息。
2. 元数据存储：- 将收集到的元数据存储到元数据仓库中，以便后续的管理和使用。
- 元数据仓库可以使用关系型数据库、NoSQL数据库、文件系统等进行存储。
- 存储的元数据需要按照一定的结构进行组织和管理，以方便后续的检索和使用。
3. 元数据维护：- 对元数据进行定期的维护和更新，以保证其准确、完整、一致和可靠。
- 可以通过手工维护、自动抽取、数据字典同步等方式进行元数据的维护。
- 维护的内容包括元数据的新增、修改、删除等操作，以及元数据的版本管理和权限管理等。
4. 元数据使用：- 利用元数据提供的信息，支持数据仓库的各项管理和运维工作。
- 可以通过元数据进行数据质量管理、数据血统分析、数据变化跟踪等工作。
- 元数据还可以支持数据仓库的数据集成、数据查询、数据分析等应用。
数据仓库元数据管理的实施需要借助相应的工具和技术。
常用的工具包括元数据管理工具、数据建模工具、数据字典工具等。
常用的技术包括数据抽取、数据转换、数据加载（ETL）技术、数据建模技术、数据质量管理技术等。
元数据技术架构设计方案
元数据技术架构设计方案一、引言元数据是指描述数据的数据，它包含了数据的定义、结构、属性及关系等信息，对于数据管理、数据集成、数据分析等应用非常重要。
为了更好地利用和管理元数据，需要建立稳定、高效的元数据技术架构。
本文将从元数据管理系统的功能需求、技术方案选择、系统架构设计等方面进行设计方案的阐述。
二、功能需求分析在设计元数据技术架构之前，首先需要明确系统的功能需求，具体包括以下方面：1.元数据采集和录入：支持从多种数据源中自动采集元数据，并提供手动录入功能，包括元数据的基本信息、属性和关系等。
2.元数据存储和管理：将采集或录入的元数据存储到元数据仓库中，并提供完整的管理功能，包括元数据的导入、导出、版本控制、权限管理等。
3.元数据查询和检索：提供基于关键字、分类、属性等方式的元数据检索功能，支持快速定位所需的元数据信息。
4.元数据分析和挖掘：支持对元数据进行统计分析和挖掘，发现数据间的关系和规律，辅助数据管理和决策。
5.元数据与数据集成：与数据管理系统和数据集成工具进行集成，实现元数据与实际数据的关联和映射，提供全局视图和数据流程分析。
6.元数据共享和协作：支持多用户、多团队之间的元数据共享和协作，提供实时的通知和权限控制，确保数据的一致性和安全性。
三、技术方案选择根据功能需求分析，我们可以选择以下技术方案来实现元数据技术架构：1.元数据采集和录入：可以采用自动化的爬虫技术从数据源中抓取元数据，并通过界面化的表单来进行手动录入。
2.元数据存储和管理：可以选择关系型数据库或者图数据库来存储元数据，并采用相应的权限管理和版本控制机制。
3.元数据查询和检索：可以利用全文索引技术对元数据进行索引和检索，提高查询效率和准确性。
4.元数据分析和挖掘：可以使用各种数据挖掘和机器学习算法来分析元数据，发现潜在的关系和规律。
5.元数据与数据集成：可以采用ETL工具或者数据集成平台来实现元数据与实际数据的关联和映射。
数据仓库的设计与构建研究
数据仓库的设计与构建研究随着互联网技术的发展，数据量的快速积累和每天不断增长的数据趋势，数据管理变成了日益复杂的任务。
数据仓库便应运而生，成为了企业管理和数据分析的必然选择。
在企业的决策和战略制定中，数据仓库所扮演的角色越来越重要，也越来越值得重视。
一、数据仓库的概念数据仓库是指将企业各种分散的数据源汇集起来，进行预处理、汇总、加工、再分析处理等操作后进行存储的一个系统。
其目的是为了利用大数据环境下的企业数据，将其变成决策支持的信息，从而为企业决策提供可靠的数据支撑。
数据仓库结构主要包含以下几个重要组成部分：1. 数据源数据源是数据仓库的来源，包括操作性数据库、文件系统、网络、接口等等。
通过提取不同来源的数据，并将其汇总到仓库中进行统一存储、管理和维护，实现数据的集成化管理。
2. 数据加工处理数据加工处理是数据仓库中最为复杂的一部分，包括数据清洗、数据挖掘、数据转换、数据整合等等。
这一过程要求数据仓库管理员具有一定的数据处理能力，并且需要考虑多种因素的影响，例如数据量、类型、格式、质量等等。
3. 元数据元数据是指描述数据仓库的数据，包括数据类型、数据来源、数据转换规则、质量检验规则等等。
元数据的作用是对数据进行管理、维护、分发和使用，为数据共享和商业决策提供支持。
4. 多维分析多维分析是指对数据仓库中的数据进行分析、整理和处理，以便更好地展现数据的特征和规律。
多维分析可通过OLAP（联机分析处理）的方式对数据进行分析，再根据分析结果制定企业针对性的业务决策。
二、数据仓库的设计思路数据仓库的设计与构建需要全面考虑企业的业务需求和数据特点，通过规范化、标准化的方式来进行设计，使其能够满足企业需求，并为企业的决策提供支持。
1. 初步分析通过初步分析了解企业的业务场景和数据来源，以及研究需求和决策支持信息的种类、格式等，以便进一步确定数据仓库的设计。
2. 数据建模数据建模是数据仓库的核心，它需要根据不同的业务需求和对数据的认识，对数据进行分类、构建数据模型，以便完成数据转化的目标。
3-3数据仓库设计-逻辑模型
数据的行数 数据所占存储设备空间 数据所需要的索引空间
只能做数据级上的估算 从一方或多方收集信息进行合理估算
粗略估算数据量算法
双重粒度和单一粒度
表的行数是影响粒度划分主要的因素 将数据库的总行数与下表进行比较
确定粒度的循环和反复
选择合适的粒度级别是体系结构设计环境成功 的关键。 选择粒度级别的一般方法，是利用常识，建立 数据仓库的一小部分，并让用户去访问这些数 据。然后仔细聆听用户的意见，根据他们的反 馈意见适当调整粒度的级别。 最坏的想法是想要事先设计好所有的粒度级别， 再进行数据仓库的建造。 即使在最好的情况下，能使设计的5 0 %是正 确的就已经很不错的了。数据仓库环境的特点 就是只有当决策支持系统分析员实际看到了报 告之后，才能想像哪些是真正需要的。
……
… …
……
……
数据概括表与事实表对应关系
概括表表.列 名 是否 导出 事实表.列 名 SPGYB.SP 商品编号 _ID SPGYB.G YS_ID 供应商编号 备注 SPGKB.SP_I 否 D SPGKB.GYS _ID SPGKB.SPG YZSL SPGKB.SPG YZJE …… 否 是 是
例： 银 行 粒 度 设 计
例： 银 行 粒 度 设 计
数据分割
数据分片概念
水平分片 垂直分片 混合分片 导出分片
按时间进行数据分割是最普遍的 分割标准
数据量 数据分析处理的实际情况 简单易行 粒度划分策略
数据仓库的数据抽取模型
F2 KHCG F3 SPQK F4 ZGYJ
F1 数据抽取规则
确定粒度的循环和反复
提高粒度的方法
当源数据置入数据仓库时，对它进行汇总。 当源数据置入数据仓库时，对它求平均或进行 计算。 把最大/最小的设定值置入数据仓库。 只把显然需要的数据置入数据仓库。 用条件逻辑选取记录的一个子集置入数据仓库。 对于数据怎样轻度汇总是没有限制的(限制只 存在于设计者的脑海里)。
数仓分层设计方案
数仓分层设计方案一、ODS层（原始数据层，Original Data Store）这层就像是数据的大仓库，不管是从哪儿来的数据，什么格式的，是数据库里导出来的，还是从文件里读出来的，一股脑儿全放在这儿。
就好比是把外面世界各种各样的原材料都堆到一个大院子里，先不管乱不乱，反正先存起来再说。
比如说从各个业务系统像销售系统、库存系统、客户管理系统里直接拉过来的数据，就原封不动地放在这儿，这个时候数据可能是各种各样的脏数据，就像刚从地里挖出来带泥的萝卜，但是没关系，这是第一步嘛。
二、DWD层（明细数据层，Detail Data Warehouse）从ODS层拿到数据之后，就开始在这层清理数据了。
把那些脏东西去掉，就像把萝卜上的泥洗干净一样。
对数据进行一些简单的处理，像数据格式的统一啊，把日期格式都搞成一样的，把一些明显错误的数据给修正或者标记出来。
这里的数据是按照业务主题来组织的，比如说销售相关的数据就放在一块儿，库存相关的放一块儿。
这层就像是把原材料初步加工分类，让数据变得稍微整齐一点，这样后面用起来就方便多啦。
三、DWS层（轻度聚合层，Data Warehouse Summary）到了这层，就开始做一些小的聚合操作了。
就像是把洗好切好的萝卜、青菜啥的，做一些简单的搭配组合。
比如按照地区统计销售总额、按照时间段统计库存的变化量。
这层的数据是从DWD层的数据聚合来的，它能让我们从更宏观一点的角度去看数据，但是还没有特别汇总，还保留了一定的明细信息，就像我们做的是几个小菜的拼盘，还能看到每个菜的大概样子。
四、ADS层（应用数据层，Application Data Store）这是最上面一层啦，这层的数据就是专门为了各种应用场景准备的。
比如说给领导看的报表数据，或者是给某个特定业务部门用的数据。
这层的数据就像是把前面那些加工好的菜，做成了精致的套餐，直接端到顾客（也就是使用数据的人）面前。
这个数据就是根据具体的需求高度定制的，比如说领导想要看每个季度不同产品线的利润情况，那在这层就把相关的数据按照要求整理好，让领导一眼就能看到他想看的东西。
数据仓库的设计与开发
02
在物理设计时，我们常常要按数据的重要程度、使用频率以及对响应时间的要求进行分类，并将不同类的数据分别存储在不同的存储设备中。
01
重要程度高、经常存取并对响应时间要求高的数据就存放在高速存储设备上，如硬盘；
02
存取频率低或对存取响应时间要求低的数据则可以放在低速存储设备上，如磁盘或磁带。
03
10
主键
Product-Name
char
25
产品名称
Product-SKu
char
20库存单位ຫໍສະໝຸດ 销售员维表包括不同地区的所有销售员信息
Salpers-Key
integer
15
主键
Salpers-Name
char
30
销售员姓名
Territory
char
20
销售员所在区域
Region
char
20
所在地区
订单事实表
销售数据和维
销售数据
商品
促销
时间
部门
城市
地区
商店
图4.2 销售业务的多维数据
（4）确定数据汇总水平
（5）设计事实表和维表
按使用的DBMS和分析用户工具，证实设计方案的有效性 根据系统使用的DBMS，确定事实表和维表的具体实现。由于不同的DBMS对数据存储有不同的要求，因此设计方案是否有效还要放在DBMS中进行检验
包括公司收到的所有订单
Order-Key
integer
10
订单键
Order-Name
char
20
订单名称
Product-ref
integer
10
参考产品主键
数据仓库设计步骤
数据仓库设计步骤数据仓库是一个用于集中存储、管理和分析大量数据的系统。
它的设计过程是一个复杂的任务，需要经历多个步骤。
下面是数据仓库设计的主要步骤：1.需求分析：首先，需要与业务用户和利益相关者合作，了解业务需求和目标。
这包括理解他们的数据分析需求、业务流程和决策支持要求。
这一步骤有助于确定数据仓库应该包含哪些数据和所需的数据分析功能。
2.数据源分析：在这一步骤中，需要识别和分析所有可用的数据源，包括内部和外部系统。
需要评估这些数据源的数据质量、结构和可用性，以确定应该选择哪些数据源。
3.数据抽取、转换和加载（ETL）：在这个步骤中，需要确定如何从不同的数据源中提取数据，并将其转换为适合数据仓库的格式。
这包括数据清洗、数据集成和数据转换等过程。
ETL过程还应该能够处理数据的增量更新和历史数据的保留。
4.数据模型设计：在这一步骤中，需要设计数据仓库的逻辑模型和物理模型。
逻辑模型通常使用维度建模技术，包括维度表和事实表来描述数据。
物理模型则定义了如何将逻辑模型映射到实际的存储结构，包括数据库表和索引设计等。
5.数据仓库架构设计：在这一步骤中，需要确定数据仓库的整体架构。
这包括确定数据仓库的结构、数据存储和访问机制。
需要考虑到数据仓库的可伸缩性、性能和可用性等方面。
6.数据仓库实施：在这个步骤中，需要根据设计的数据模型和架构来实施数据仓库。
这包括创建数据库表、索引、视图等。
还需要实施ETL过程和相关的数据访问工具。
7.数据质量管理：数据质量是数据仓库设计中一个重要的方面。
在这一步骤中，需要定义数据质量规则和度量，并实施数据质量管理的过程。
这包括数据清洗、数据验证和数据监控等活动。
8.元数据管理：在数据仓库中，元数据是描述数据的数据。
在这一步骤中，需要定义和管理元数据，以便用户能够理解数据的含义和含义。
这包括建立元数据仓库、元数据标准和元数据管理工具等。
9.安全和访问控制：在这一步骤中，需要制定数据仓库的安全策略和访问控制机制。
数据仓库设计作业指导书
数据仓库设计作业指导书一、背景介绍数据仓库是一种面向主题的、集成的、相对稳定的、不可操作的数据集合，用于支持业务分析和决策制定。
在数据仓库设计作业中，我们需要按照一定的步骤和方法，将原始数据进行抽取、转换和加载，构建一个适合分析和查询的数据仓库模型。
本指导书将引导您完成数据仓库设计作业，并提供相应的步骤和要点。
二、数据仓库设计步骤1. 需求分析在设计数据仓库之前，首先需要进行需求分析。
通过与业务用户的交流和调研，明确数据仓库的目标和用途，确定数据仓库要解决的问题，并明确需要提供的报表和查询需求。
2. 数据抽取与清洗在数据仓库设计中，数据抽取和清洗是非常重要的环节。
从各个数据源中抽取所需数据，并进行清洗，包括去重、去除空值、数据格式转换等，以确保数据的质量和准确性。
3. 数据转换与集成在数据仓库设计中，数据转换和集成是将原始数据转化为适合分析的形式，同时将来自不同数据源的数据整合在一起。
这一步骤包括数据规范化、数据合并、数据聚合等操作，以得到一致的数据模型。
4. 维度建模在数据仓库设计中，维度建模是一种常用的设计方法。
通过定义维度和事实表，建立维度模型，以支持灵活的数据分析和查询。
在维度建模过程中，需要定义维度表中的属性和层次，并与事实表进行关联。
5. 数据加载数据加载是将经过转换和整合的数据加载到数据仓库中的过程。
这一步骤包括数据加工和数据加载两个环节。
数据加工是对数据进行清洗和处理，数据加载是将清洗后的数据加载到数据仓库中的操作。
6. 数据访问数据访问是数据仓库设计的最终目标，通过各种工具和技术，实现数据的查询和分析。
数据访问可以通过数据仓库工具、OLAP工具、报表工具等方式进行。
三、数据仓库设计要点1. 主题导向：数据仓库的设计要以业务主题为导向，按照业务需求进行设计和建模，以支持相关业务的决策和分析。
2. 一致性和准确性：设计过程中需要确保数据的一致性和准确性，对于抽取的数据进行清洗和转换，去除重复值和不合法数据。
数据仓库元数据管理
数据仓库元数据管理简介：数据仓库是一个用于存储和管理组织内各种数据的集中式存储系统。
元数据是数据仓库中存储的关于数据的描述信息。
数据仓库元数据管理是指对数据仓库中的元数据进行有效和高效的管理和维护，以确保数据仓库的可靠性和一致性。
一、数据仓库元数据管理的重要性1.数据仓库元数据是数据仓库的核心组成部分，它提供了对数据仓库中数据的全面和准确的描述。
2.数据仓库元数据管理可以帮助用户更好地理解和使用数据仓库中的数据，提高数据分析和决策的质量和效率。
3.数据仓库元数据管理可以减少数据仓库中的数据冗余和不一致，提高数据仓库的数据质量和一致性。
4.数据仓库元数据管理可以提高数据仓库的可维护性和可扩展性，便于数据仓库的日常管理和维护工作。
二、数据仓库元数据管理的内容和方法1.元数据收集和录入- 收集数据仓库中各个数据对象的元数据，包括数据表、字段、索引、视图等。
- 录入元数据到元数据管理系统中，包括元数据的基本信息、定义、属性、关系等。
- 可以使用自动化工具进行元数据的收集和录入，提高工作效率和准确性。
2.元数据存储和管理- 将元数据存储在元数据管理系统中，建立元数据的存储结构和关系模型。
- 设计和实现元数据的管理功能，包括元数据的查询、修改、删除、备份和恢复等。
- 定期对元数据进行维护和更新，确保元数据的准确性和完整性。
3.元数据检索和使用- 提供元数据的查询和检索功能，方便用户查找和使用元数据。
- 支持元数据的多维度查询和组合查询，提高查询的灵活性和效率。
- 提供元数据的可视化展示功能，以图表、报表等形式展示元数据的相关信息。
4.元数据版本控制和变更管理- 对元数据进行版本控制，记录元数据的变更历史和变更信息。
- 提供元数据的变更管理功能，包括元数据的审核、审批和发布等。
- 确保元数据的变更过程可追溯和可控，防止错误的变更对数据仓库的影响。
5.元数据安全和权限管理- 设计和实现元数据的安全和权限管理机制，保护元数据的机密性和完整性。