元数据管理-实用讲课稿
数据仓库与元数据管理.doc
数据仓库与元数据管理1. 前言在事务处理系统中的数据，主要用于记录和查询业务情况。
随着数据仓库（DW）技术的不断成熟，企业的数据逐渐变成了决策的主要依据。
数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。
解决这一问题的关键是对元数据进行科学有效的管理。
本文首先介绍了元数据的定义、作用和意义；然后讨论了数据仓库系统中元数据管理的现状和关于元数据的标准化情况；最后提出了建立元数据管理系统的步骤和实施方法。
2. 元数据2.1 元数据的概念按照传统的定义，元数据（Metadata）是关于数据的数据。
在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：●数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；●业务系统、数据仓库和数据集市的体系结构和模式●汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；●由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。
业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：●企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。
关于元数据、资源目录、主数据、数据元、元数据管理、主数据管理解释ppt课件
元数据管理 元数据管理的范围
技术元数据
• 描述系统中技术领域相关概念、关系和规则的数据，主要包括 对数据结构、数据处理方面的特征描述，覆盖系统数据源接口、 数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等 全部数据处理环节
业务元数据
• 描述系统中业务领域相关概念、关系和规则的数据，主要包括 业务术语、信息分类、指标定义和业务规则等信息
管理元数据
• 描述系统中管理领域相关概念、关系和规则的数据，主要包括 人员角色、岗位职责和管理流程等信息
元数据管理 元数据管理的功能点
应用层 对元数据管理的实际问题提供应用解决方 案，主要包括指标库管理、业务术语自助 学习、维表库管理、接口管理、数据仓库 软件各层元数据互通、辅助应用优化、辅 助安全管理、基于元数据的开发管理和数 据质量管理等。
可再分的最小的数据单元。
• [MSA-S-PT-4：海事云数据中心技术标准-平台数据标准,4.1.2.1 数据基本定义] • 数据元一般来说由三部分组成：对象、特性、表示
举例
• “船舶种类代码”为数据元，“0205”为数据元的值，“船舶种类名称”为数据元，“集装 箱船”为数据元的值
• “船舶种类代码”中，“船舶”为对象词，“种类”是该数据元的特性词，“代码”是该数 据元的表示词。
是
未指定 任意实体和层 级
最低
四个领域(Domain)的 是 业务实体：参与人、
产品、账卢、位置
中等
甲 骨 文 主 数 据 管 理 功 能 列 表
目录
数据元 元数据 主数据 元数据管理 主数据管理
数据服务资源目录
目录
数据元 元数据 主数据 元数据管理 主数据管理
数据服务资源目录
数据库元数据管理
数据库元数据管理数据库元数据管理是指在组织中采集、存储、维护和交换各种数据库元数据的过程。
元数据是描述数据的数据，它包括各种关于数据的信息，例如数据的定义、结构、关系、使用、存储和安全性等方面。
数据库元数据管理的目的是提高数据质量、数据共享和数据重用，同时促进信息系统的标准化和集成化。
随着数据量的增加和数据类型的多样化，元数据管理已经成为管理信息系统不可或缺的一环。
元数据管理的基本任务是采集和记录元数据信息，并建立相应的元数据存储结构。
元数据信息可以来自于不同的数据源，例如数据仓库、数据字典、应用程序、数据模型和数据定义等。
在建立元数据存储结构时，需要考虑到元数据的组织方式、存储位置、安全性和数据共享等因素，以保证元数据的可管理性和使用价值。
元数据管理的具体内容包括：1. 元数据采集和录入元数据采集和录入是元数据管理的关键环节之一。
在此过程中，需要收集各种与数据相关的信息，并将其记录在元数据存储结构中。
元数据采集和录入可以通过手工输入、自动化工具或数据字典等方式进行。
2. 元数据存储元数据存储是指将采集和录入的元数据信息存储在指定的位置，并建立相应的存储结构。
元数据存储可以使用各种数据库管理系统，例如关系型数据库、NoSQL数据库和XML 数据库等。
关系型数据库常用于存储元数据的结构信息，NoSQL数据库通常用于存储非结构化的元数据信息，而XML数据库则常用于存储元数据的文档类型信息。
3. 元数据维护和更新元数据管理是一个持续性过程，因此需要对元数据进行维护和更新。
在此过程中，需要定期检查元数据信息的正确性和完整性，并及时修正错误和补充缺漏。
还需要对元数据信息进行版本控制和备份管理，以确保数据的安全性和可追溯性。
4. 元数据查询和分析元数据查询和分析是指根据用户需求，通过查询元数据存储结构，获取相关的元数据信息。
在此过程中，需要借助于各种查询工具和分析工具，例如SQL查询语言、ETL工具和数据挖掘工具等。
数据仓库元数据管理
数据仓库元数据管理数据仓库元数据管理是指对数据仓库中的元数据进行有效管理和维护的过程。
元数据是描述数据的数据，它包含了数据的定义、结构、属性、关系以及数据之间的联系等信息。
通过对数据仓库元数据的管理，可以提高数据仓库的可维护性、可扩展性和可重用性，同时也能够提高数据仓库的查询效率和数据质量。
一、元数据管理的重要性1. 提高数据仓库的可维护性：通过对元数据的管理，可以清晰地了解数据仓库中各个数据表的含义、结构和关系，从而更好地进行数据仓库的维护和更新工作。
2. 提高数据仓库的可扩展性：元数据管理可以帮助我们了解数据仓库中的数据模型和数据结构，从而更好地进行数据仓库的扩展和升级。
3. 提高数据仓库的可重用性：通过对元数据的管理，可以清晰地了解数据仓库中的数据定义和数据结构，从而更好地进行数据仓库的重用和共享。
4. 提高数据仓库的查询效率：通过对元数据的管理，可以清晰地了解数据仓库中的数据模型和数据结构，从而更好地进行查询优化和索引设计，提高数据仓库的查询效率。
5. 提高数据仓库的数据质量：通过对元数据的管理，可以清晰地了解数据仓库中的数据定义和数据结构，从而更好地进行数据质量的监控和管理，提高数据仓库的数据质量。
二、元数据管理的主要内容1. 元数据定义和分类：对数据仓库中的元数据进行定义和分类，建立元数据的标准和规范，确保元数据的一致性和准确性。
2. 元数据采集和录入：通过采集工具和手工录入的方式，将数据仓库中的元数据进行采集和录入，包括数据表的定义、字段的定义、数据类型、数据长度、数据格式等信息。
3. 元数据存储和管理：将采集和录入的元数据存储到元数据仓库中，并进行管理和维护，包括元数据的更新、删除、备份和恢复等操作。
4. 元数据查询和检索：通过元数据查询和检索工具，可以根据需要查询和检索数据仓库中的元数据，包括数据表的定义、字段的定义、数据类型、数据长度、数据格式等信息。
5. 元数据共享和发布：将元数据共享给数据仓库的用户和开发人员，使其能够更好地了解数据仓库中的数据定义和数据结构，从而更好地进行数据仓库的开发和使用工作。
数据仓库与元数据管理
数据仓库与元数据管理1. 前言在事务处理系统中的数据，主要用于记录和查询业务情况。
随着数据仓库（DW）技术的不断成熟，企业的数据逐渐变成了决策的主要依据。
数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。
解决这一问题的关键是对元数据进行科学有效的管理。
本文首先介绍了元数据的定义、作用和意义；然后讨论了数据仓库系统中元数据管理的现状和关于元数据的标准化情况；最后提出了建立元数据管理系统的步骤和实施方法。
2. 元数据2.1 元数据的概念按照传统的定义，元数据（Metadata）是关于数据的数据。
在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：●数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；●业务系统、数据仓库和数据集市的体系结构和模式●汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；●由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。
业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：●企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。
数据仓库元数据管理
数据仓库元数据管理余友波数据仓库之路原创资料1.1.1 第一章元数据概论企业的计算机系统每年会产生很多数据，很多企业面临着这样的困境，难以有效的管理大量的、繁杂的、不一致的数据，并方便地访问、利用这些数据进行辅助决策。
建立数据仓库提供一个方法，把数据转化为有用的、可信赖的信息，支持商业决策。
建立数据仓库一个重要的工作是元数据管理。
元数据（Metadata）就是数据的数据，用于建立、管理、维护和使用数据仓库。
元数据管理是企业级数据仓库中的关键组件，贯穿于建立数据仓库的整个过程。
元数据使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。
在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。
通常把元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
技术元数据是描述关于数据仓库技术细节的数据，这些元数据应用于开发、管理和维护数据仓库；业务元数据从商业和业务的角度描述数据仓库的数据，提供了良好的语义层定义，业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。
元数据贯彻于建立数据仓库的整个过程，不只是ETL过程需要元数据的支持。
图1 元数据的应用在使用元数据的同时，随着数据仓库市场的发展，业界出现许多数据仓库管理和分析的工具，各种工具使用不同的元数据标准来表示和处理，不同系统之间的迁移、数据交换变得困难。
于是，我们希望用一种单一的元数据标准，使得各种组织的元数据具有单一的元模型（MetaModel），因此，需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。
1.1.2 第二章元数据标准1.1.2.1 一、元数据标准CWMOMG于2001年颁布元数据标准CWM 1.0（Common Warehouse Metamodel Version 1.0）。
元数据管理是指标管理与知识管理的基石
元数据管理是指标管理与知识管理的基石引言在信息时代的今天，企业和组织面临着海量的数据和信息的挑战。
为了更好地利用这些数据和信息，提高决策的准确性和效率，元数据管理成为了一项非常重要的任务。
元数据管理是指标管理和知识管理的基石，它为企业和组织提供了数据和信息的全面把控和高效利用的能力。
本文将从元数据管理的概念和重要性、元数据管理与指标管理的关系以及元数据管理与知识管理的关系等方面进行详细的讨论，旨在揭示元数据管理在现代企业和组织中的重要性和作用。
元数据管理的概念和重要性元数据管理的定义元数据是描述数据和信息的数据，它包括对数据和信息的定义、属性、结构、关系等方面的描述。
元数据管理则是对元数据进行有效组织、存储、维护和利用的过程。
元数据管理的目标是实现对数据和信息的准确理解、全面把控和高效利用。
元数据管理的重要性元数据管理在现代企业和组织中具有重要的作用和意义：1.数据和信息的准确理解：通过对元数据的管理，可以准确理解数据和信息的含义、属性、结构等，从而避免了对数据和信息的错误解读和误用。
2.数据和信息的全面把控：元数据管理可以帮助企业和组织全面了解数据和信息的来源、质量、更新时间等信息，从而更好地把握数据和信息的可靠性和权威性。
3.数据和信息的高效利用：通过元数据管理，企业和组织可以快速、准确地查找、访问和利用所需的数据和信息，提高了决策的准确性和效率。
元数据管理与指标管理的关系指标管理的定义和概念指标管理是指对企业和组织的关键指标进行有效管理和利用的过程。
关键指标是企业和组织实现战略目标的重要参考指标，如销售额、利润率、客户满意度等。
元数据管理与指标管理的关系元数据管理和指标管理有着密切的关系和相互依赖的性质。
首先，元数据管理为指标管理提供了数据和信息的基础。
指标管理需要依赖准确、及时、完整的数据和信息才能进行有效的分析和评估，而元数据管理则提供了对这些数据和信息的准确理解和全面把控的能力。
其次，元数据管理还可以帮助指标管理建立数据和信息的关联性。
数据仓库元数据管理
数据仓库元数据管理简介：数据仓库是一个用于存储和管理组织内各种数据的集中式存储系统。
元数据是数据仓库中存储的关于数据的描述信息。
数据仓库元数据管理是指对数据仓库中的元数据进行有效和高效的管理和维护，以确保数据仓库的可靠性和一致性。
一、数据仓库元数据管理的重要性1.数据仓库元数据是数据仓库的核心组成部分，它提供了对数据仓库中数据的全面和准确的描述。
2.数据仓库元数据管理可以帮助用户更好地理解和使用数据仓库中的数据，提高数据分析和决策的质量和效率。
3.数据仓库元数据管理可以减少数据仓库中的数据冗余和不一致，提高数据仓库的数据质量和一致性。
4.数据仓库元数据管理可以提高数据仓库的可维护性和可扩展性，便于数据仓库的日常管理和维护工作。
二、数据仓库元数据管理的内容和方法1.元数据收集和录入- 收集数据仓库中各个数据对象的元数据，包括数据表、字段、索引、视图等。
- 录入元数据到元数据管理系统中，包括元数据的基本信息、定义、属性、关系等。
- 可以使用自动化工具进行元数据的收集和录入，提高工作效率和准确性。
2.元数据存储和管理- 将元数据存储在元数据管理系统中，建立元数据的存储结构和关系模型。
- 设计和实现元数据的管理功能，包括元数据的查询、修改、删除、备份和恢复等。
- 定期对元数据进行维护和更新，确保元数据的准确性和完整性。
3.元数据检索和使用- 提供元数据的查询和检索功能，方便用户查找和使用元数据。
- 支持元数据的多维度查询和组合查询，提高查询的灵活性和效率。
- 提供元数据的可视化展示功能，以图表、报表等形式展示元数据的相关信息。
4.元数据版本控制和变更管理- 对元数据进行版本控制，记录元数据的变更历史和变更信息。
- 提供元数据的变更管理功能，包括元数据的审核、审批和发布等。
- 确保元数据的变更过程可追溯和可控，防止错误的变更对数据仓库的影响。
5.元数据安全和权限管理- 设计和实现元数据的安全和权限管理机制，保护元数据的机密性和完整性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Metadata Object Browser and Graphical Reports
Role based dashboards and Metadata Reports
16
Informatica Metadata Manager
Metadata Sources
SG Console Win NT, 2000, XP
4
技术元数据
5
业务元数据
6ห้องสมุดไป่ตู้
谁需要元数据
业务专家
业务定义
如：某销售指标不正确，找出
销售指标的计算方法及计算项
来源……
架构师
元数据
项目经理
分析人员
开发人员
业务经理
7
谁需要元数据
业务专家 分析人员
架构师
元数据
需求分析定义 如：分析指标定义、报表 定义、数据来源定义
开发人员
项目经理
业务经理
8
谁需要元数据
17
Informatica Metadata Manager
Metadata XConnects
Metadata Sources
PowerCenter Integration Server
SuperGlue Warehouse
Presentation Server
Metadata Object Browser and Graphical Reports
PA 4.1.1 Apps Server
[Browser IE 6.0 using : iPlanet 6.0, IIS 6.0 OR Apache 1.3]
PC 7.1.1 on : NT, SOLARIS HP Unix, IBM AIX (PC supported versions)
BEA WL 6.1 SP4 on : - NT 4.0 SP5, NT 2000 SP2, Win 2003 - SOLARIS 7.0, 8.0 - HP Unix 11.0, 11i - IBM AIX 4.3, 5.1
▪ OMG组织的CWM模型
• UML • MOF（元对象设施） • XMI（XML元数据交换）
3
元数据的重要性
▪ 及时发现系统变化 ▪ 找出需要调整的ETL程序 ▪ 给出仓库中数据和指标的来源及规则 ▪ 调整仓库的数据模型 ▪ 促进项目组成员的沟通 ▪ 监控数据质量 ▪ 采用元数据跟用户确认新的需求
元数据管理-实用
元数据管理工具
Informatica MetaManager DAG MetaCenter IBM MetaStage Oracle OWB CA Decisionbase Transformer ……
2
元数据
▪ MDC的开放信息模型
• 分析与设计（Analysis and Design） • 对象与组件（Object and Component） • 数据库与数据仓库（Database and Warehousing） • 业务工程（Business Engineering） • 知识管理（Knowledge Management）
PowerCenter Integration Server
SuperGlue Warehouse
Presentation Server
SG Console Win NT, 2000, XP
SG Integration Repository
CWM Class MetaModel
Warehouse Integration Repo
业务经理
10
谁需要元数据
业务专家
数据仓库项目管理控制
架构师
如：定义项目范围、控制 项目风险、评估不同系统 集成时产生的影响（影响 分析）……元数据
项目经理
分析人员
开发人员
业务经理
11
谁需要元数据
业务人员
架构师
项目架构设计
元数据 如：了解多个业务系统的结 构、关联关系，数据转换规 则设计…..
分析人员
Websphere 5.1 on : - NT 4.0 SP5, NT 2000 SP2, Win 2003 - SOLARIS 7.0, 8.0 - IBM AIX 4.3, 5.1
Metadata Object Browser and Graphical Reports
Role based dashboards and Metadata Reports
业务专家
不同开发小组之间的交流
架构师
如：DBA工程师与ETL工程师
DBA工程师与BI工程师
…..
元数据
项目经理
分析人员
开发人员
业务经理
9
谁需要元数据
业务专家
业务管理与信息消费
如：数据分析、业务决策、 给前系统提出架改构师进建议，对 数据仓库系统二期、三期提 出更多的业务需求
元数据
项目经理
分析人员
开发人员
Metadata XConnects
PowerCenter Integration Server
SuperGlue Warehouse
Presentation Server
SG Integration Repository
CWM Class MetaModel
SERVERS
PC 7.1.1 Integration Server
REPOSITORIES
- Oracle 8.1.7, 9.2.0.1 and above, 10g - SQL Server 2000 SP3 - DB2 UDB 8.x EE/EEE
- Oracle 8.1.7, 9.2.0.1 and above, 10g - SQL Server 2000 SP3 - DB2 UDB 7.x EE/EEE and above
开发人员
项目经理
业务经理
12
元数据的存储区
13
数据仓库元数据结构图
14
元数据管理示意图
元数据 数据库
源数据
暂存区
EDW
（ODS+DW+DM）
connections
前端工具
15
Informatica Metadata Manger
Metadata XConnects
Metadata Sources
SG Console
SG Integration Repository
CWM Class MetaModel
Win NT, 2000, XP
XCONNECTS
Databases
Design Tools
- Oracle 8.1.7, 9i, 10g - SQL Server 2000 - Sybase 12.x - TERADATA V2 R5 - DB2 UDB 7.1,7.2,8.1 EE/EEE - IBM Informix 9.2