第12章元数据管理-DAMA-DMBOK：数据管理知识体系(第二版)

第十二章

元数据管理

1.简介

元数据的最常见定义，“关于数据的数据”，很容易引起误解。可以归类为元数据的信息种类繁多。元数据包括有关技术和业务流程，数据规则和约束以及逻辑和物理数据结构的信息。它描述了数据本身（例如，数据库，数据元素，数据模型），数据表示的概念（例如，业务流程，应用程序系统，软件代码，技术基础结构）以及数据和概念之间的连接（关系）。元数据可帮助组织了解其数据，系统和工作流程。它可以进行数据质量评估，并且是数据库和其他应用程序管理的组成部分。它有助于处理，维护，集成，保护，审核和管理其他数据。

要了解元数据在数据管理中的重要作用，请想象一个大型图书馆，其中有成千上万的书籍和杂志，但没有卡片目录。没有卡片目录，读者甚至可能不知道如何开始寻找特定的书甚至特定的主题。卡片目录不仅提供必要的信息（图书馆拥有的书籍和材料以及在何处被搁置），还使读者可以使用不同的起点（主题区域，作者或标题）来查找材料。没有目录，很难甚至不可能找到一本书。没有元数据的组织就像没有卡片目录的图书馆。

元数据对于数据管理和数据使用都是必不可少的（请参阅DAMA-DMBOK中对元数据的多个引用）。所有大型组织都会产生和使用大量数据。在整个组织中，不同的个人将具有不同级别的数据知识，但是没有一个人会了解有关数据的所有知识。此信息必须记录在案，否则组织可能会失去有关自身的宝贵知识。元数据提供了捕获和管理有关数据的组织知识的主要方法。

但是，元数据管理不仅是知识管理方面的挑战，而且还存在许多挑战。这也是风险管理的必要。元数据对于确保组织可以识别私有数据或敏感数据以及为自己的利益管理数据生命周期以及满足合规性要求并使风险最小化是必不可少的。

没有可靠的元数据，组织将不知道它拥有什么数据，数据代表什么，它起源于何处，它如何在系统中移动，谁可以访问它，或者对高质量数据意味着什么。没有元数据，组织就无法将其数据作为资产进行管理。确实，没有元数据，组织可能根本无法管理其数据。

随着技术的发展，生成数据的速度也提高了。技术元数据已经成为数据移动和集成方式不可或缺的一部分。ISO的元数据注册标准（ISO / IEC 11179）旨在基于数据的精确定义，在异构环境中启用元数据驱动的数据交换。以XML和其他格式显示的元数据可以使用数据。其他类型的元数据标记允许在交换数据的同时保留所有权，安全要求等指示符（请参见第8章）。

像其他数据一样，元数据也需要管理。随着组织收集和存储数据的能力的增强，元数据在数据管理中的作用越来越重要。要以数据驱动，组织必须以元数据驱动。

图84上下文图：元数据

1.1业务驱动因素

没有元数据就无法管理数据。另外，必须管理元数据本身。可靠，管理良好的元数据有助于：通过提供上下文并启用数据质量度量来增强对数据的信心

通过实现多种用途来增加战略信息（例如主数据）的价值

通过识别冗余数据和流程来提高运营效率

防止使用过时或不正确的数据

减少面向数据的研究时间

改善数据使用者与IT专业人员之间的沟通

创建准确的影响分析，从而降低项目失败的风险

通过减少系统开发生命周期时间来缩短产品上市时间

通过全面记录数据上下文，历史记录和来源，降低培训成本并降低人员流动的影响

支持合规

元数据有助于一致地表示信息，简化工作流功能并保护敏感信息，尤其是在需要遵守法规的情况下。

如果组织的数据质量高，则组织可以从其数据资产中获得更多价值。质量数据取决于治理。因为元数据解释了使组织能够运行的数据和流程，所以元数据对于数据治理至关重要。如果元数据是组织中数据的指南，则必须对其进行良好的管理。元数据管理不善会导致：

冗余数据和数据管理流程

复制和冗余字典，存储库和其他元数据存储

数据元素的定义不一致以及与数据滥用相关的风险

竞争和冲突的元数据的源和版本降低了数据使用者的信心

怀疑元数据和数据的可靠性

执行良好的元数据管理可以使人们对数据资源保持一致的理解，并实现更有效的跨组织开发。

1.2目标与原则

元数据管理的目标包括：

记录和管理与数据相关的业务术语的组织知识，以确保人们理解数据内容并可以一致地使用数据

从不同来源收集和集成元数据，以确保人们了解组织不同部分的数据之间的相似性和差异

确保元数据的质量，一致性，时效性和安全性

提供使元数据使用者（人员，系统和流程）可访问元数据的标准方法

建立或强制使用技术性元数据标准以实现数据交换

成功的元数据解决方案的实现遵循以下指导原则：

组织承诺：作为元数据管理整体策略的一部分，确保对元数据管理的组织承诺（高级管理支持和资金）。

策略：制定元数据策略，说明将如何创建，维护，集成和访问元数据。该策略应推动需求，这些需求应在评估，购买和安装元数据管理产品之前定义。元数据策略必须与业务优先级保持一致。

企业角度：以企业角度确保未来的可扩展性，但通过迭代和增量交付实现以带来价值。

社会化：传达元数据的必要性和每种元数据的目的；元数据价值的社会化将鼓励企业使用，更重要的是，企业专业知识的贡献。

访问：确保工作人员知道如何访问和使用元数据。

质量：认识到元数据通常是通过现有流程（数据建模，SDLC，业务流程定义）产生的，并使流程所有者对元数据的质量负责。

审核：设置，执行和审核元数据标准，以简化集成并启用使用。

改进：创建一种反馈机制，以便消费者可以将不正确或过时的元数据通知元数据管理团队。

1.3基本概念

1.3.1元数据与数据

如本章引言中所述，元数据是一种数据，因此应对其进行管理。一些组织面临的一个问题是，在不是元数据的数据和是元数据的数据之间划界线。从概念上讲，此行与数据表示的抽象级别有关。例如，在报告美国国家安全局（National Security Administration）对美国境内电话使用情况的监视时，电话号码和通话时间通常称为“元数据”，这意味着“真实”数据仅包含电话对话的内容。常识认为电话号码和电话通话时间也只是纯数据。70

根据经验，一个人的元数据就是另一个人的数据。即使是看起来像元数据的内容（例如，列名列表）也可能只是纯数据-例如，如果此数据是旨在理解不同组织中数据内容的分析的输入。

为了管理其元数据，组织不必担心哲学上的区别。相反，他们应该根据需要的元数据来定义元数据需求（创建新数据，理解现有数据，实现系统之间的移动，访问数据，共享数据）和源数据以满足这些需求。

1.3.2元数据的类型

元数据通常分为三类：业务，技术和运营。这些类别使人们能够理解属于元数据总体范围的信息范围以及产生元数据的功能。也就是说，类别也可能导致混乱，尤其是当人们陷入有关元数据集属于哪个类别或应该使用谁的问题时。最好将这些类别与元数据的起源而不是其使用方式联系起来。关于用法，元数据类型之间的区别并不严格。技术和运营人员使用“业务”元数据，反之亦然。

在信息技术之外，例如在图书馆或信息科学领域，元数据是使用不同的类别集来描述的：

描述性元数据（例如，标题，作者和主题）描述资源并启用标识和检索。

结构元数据描述了资源及其组成部分之内和之间的关系（例如，页面数，章节数）。

管理元数据（例如，版本号，存档日期）用于在其生命周期内管理资源。

这些类别有助于确定元数据需求的过程。

1.3.

2.1业务元数据

业务元数据主要关注数据的内容和条件，并包括与数据治理相关的详细信息。业务元数据包括概念，主题领域，实体和属性的非技术名称和定义；属性数据类型和其他属性属性；范围说明；计算；算法和业务规则；有效的域值及其定义。业务元数据的示例包括：

数据集，表和列的定义和描述

业务规则，转换规则，计算和派生

资料模型

数据质量规则和测量结果

数据更新时间表

数据来源和数据沿袭

数据标准

数据元素记录系统的名称

有效值约束

利益相关者的联系信息（例如，数据所有者，数据管理员）

数据的安全/隐私级别

数据已知问题

数据使用说明

1.3.

2.2技术元数据

技术元数据提供有关数据技术细节，存储数据的系统以及在系统内部和系统之间移动数据的过程的信息。技术元数据的示例包括：

物理数据库表和列名

列属性

数据库对象属性

存取权限