新版数据元、元数据概念及管理工具.pdf
数据元与元数据
数据元与元数据数据元定义：⽤⼀组属性描述定义、标识、表⽰和允许值的数据单元。
数据的基本单元。
每个数据元的确切含义需要通过⼀系列属性来说明，包括数据的定义、标识、表⽰⽅法和管理等通过定义、标识、表⽰以及允许值等⼀系列属性（元数据）描述的数据单元，被认定为是不可再分的最⼩的数据单元。
数据元⼀般来说由三部分组成：对象、特性、表⽰。
⽐如：⼈的性别，“⼈”为对象词，“性别”为该数据元的特性词，“男/⼥”为数据元的表⽰词 完整的数据元名称=对象类术语+特征类术语+表⽰类术语+（限定类术语） 数据元⼀般由对象类、特性和表⽰3部分组成(特征：有且仅有⼀个)1. 对象类(Object Class)。
是现实世界或抽象概念中事物的集合，有清楚的边界和含义，并且特性和其⾏为遵循同样的规则⽽能够加以标识。
2. 特性(Property)。
是对象类的所有个体所共有的某种性质，是对象有别于其他成员的依据。
3. 表⽰(Representation)。
是值域、数据类型、表⽰⽅式的组合，必要时也包括计量单位、字符集等信息。
对象类是我们所要研究、收集和存储相关数据的实体，例如⼈员、设施、装备、组织、环境、物资等。
特性是⼈们⽤来区分、识别事物的⼀种⼿段，例如⼈员的姓名、性别、⾝⾼、体重、职务，坦克的型号、⼝径、⾼度、长度、有效射程等。
表⽰是数据元被表达的⽅式的⼀种描述。
表⽰的各种组成成分中，任何⼀个部分发⽣变化都将产⽣不同的表⽰，例如⼈员的⾝⾼⽤“厘⽶”或⽤“⽶”作为计量单位，就是⼈员⾝⾼特性的两种不同的表⽰。
数据元的表⽰可以⽤⼀些具有表⽰含义的术语作标记，例如名称、代码、⾦额、数量、⽇期、百分⽐等。
数据元作⽤1. 数据元本⾝也是数据单元，即也是数据。
2. 它就是⼀个⽤来对各⾏业的数据进⾏⾃⾝规范化的⼀个⽅法或⼀套指导的理论。
3. ⽤这⼀套⽅法对⾏业数据进⾏统⼀的名、型、值规范及分类。
4. 规划好⾏业数据元之后，可以为⾏业构建出统⼀、集成的、稳定的数据模型奠定基础，同时它也为数据交换奠定基础。
第12章元数据管理-DAMA-DMBOK：数据管理知识体系（第二版）
第12章元数据管理-DAMA-DMBOK：数据管理知识体系（第⼆版）第⼗⼆章元数据管理1.简介元数据的最常见定义，“关于数据的数据”，很容易引起误解。
可以归类为元数据的信息种类繁多。
元数据包括有关技术和业务流程，数据规则和约束以及逻辑和物理数据结构的信息。
它描述了数据本⾝（例如，数据库，数据元素，数据模型），数据表⽰的概念（例如，业务流程，应⽤程序系统，软件代码，技术基础结构）以及数据和概念之间的连接（关系）。
元数据可帮助组织了解其数据，系统和⼯作流程。
它可以进⾏数据质量评估，并且是数据库和其他应⽤程序管理的组成部分。
它有助于处理，维护，集成，保护，审核和管理其他数据。
要了解元数据在数据管理中的重要作⽤，请想象⼀个⼤型图书馆，其中有成千上万的书籍和杂志，但没有卡⽚⽬录。
没有卡⽚⽬录，读者甚⾄可能不知道如何开始寻找特定的书甚⾄特定的主题。
卡⽚⽬录不仅提供必要的信息（图书馆拥有的书籍和材料以及在何处被搁置），还使读者可以使⽤不同的起点（主题区域，作者或标题）来查找材料。
没有⽬录，很难甚⾄不可能找到⼀本书。
没有元数据的组织就像没有卡⽚⽬录的图书馆。
元数据对于数据管理和数据使⽤都是必不可少的（请参阅DAMA-DMBOK中对元数据的多个引⽤）。
所有⼤型组织都会产⽣和使⽤⼤量数据。
在整个组织中，不同的个⼈将具有不同级别的数据知识，但是没有⼀个⼈会了解有关数据的所有知识。
此信息必须记录在案，否则组织可能会失去有关⾃⾝的宝贵知识。
元数据提供了捕获和管理有关数据的组织知识的主要⽅法。
但是，元数据管理不仅是知识管理⽅⾯的挑战，⽽且还存在许多挑战。
这也是风险管理的必要。
元数据对于确保组织可以识别私有数据或敏感数据以及为⾃⼰的利益管理数据⽣命周期以及满⾜合规性要求并使风险最⼩化是必不可少的。
没有可靠的元数据，组织将不知道它拥有什么数据，数据代表什么，它起源于何处，它如何在系统中移动，谁可以访问它，或者对⾼质量数据意味着什么。
数据仓库元数据管理
数据仓库元数据管理一、概述数据仓库是企业中存储和管理各种数据的重要组成部分，为企业决策提供了有力的支持。
而数据仓库元数据管理则是对数据仓库中的元数据进行有效管理和维护，以确保数据仓库的可靠性和准确性。
本文将详细介绍数据仓库元数据管理的标准格式，包括元数据定义、元数据分类、元数据管理流程等。
二、元数据定义元数据是描述数据的数据，它包含了数据的属性、结构、关系以及数据的来源、格式、质量等信息。
在数据仓库中，元数据是对数据仓库中各个数据对象的描述和定义，如表、列、索引等。
元数据定义应包括以下内容：1. 元数据名称：每个元数据对象应具有唯一的名称，以便于标识和查找。
2. 元数据类型：元数据可以分为不同的类型，如表、列、索引等。
3. 元数据描述：对元数据对象进行详细的描述，包括其用途、含义等信息。
4. 元数据属性：对元数据对象的属性进行定义，如数据类型、长度、精度等。
5. 元数据关系：描述元数据对象之间的关系，如表与表之间的关联关系、列与表之间的关系等。
三、元数据分类根据元数据的不同用途和功能，可以将元数据进行分类。
常见的元数据分类包括：1. 技术元数据：描述数据仓库的物理结构和实现方式，如表空间、索引、分区等。
2. 业务元数据：描述数据仓库中的业务对象和业务规则，如维度表、事实表、业务规则等。
3. 数据质量元数据：描述数据仓库中数据的质量指标和质量规则，如数据完整性、数据准确性等。
4. 数据血缘元数据：描述数据仓库中数据的来源和传递关系，如数据抽取、数据转换、数据加载等。
5. 安全元数据：描述数据仓库中数据的安全性和权限控制，如用户权限、角色权限等。
四、元数据管理流程元数据管理是一个持续的过程，包括元数据的采集、存储、维护和使用等环节。
下面是一个常见的元数据管理流程：1. 元数据采集：通过数据仓库建模工具、ETL工具等方式，采集数据仓库中各个对象的元数据信息，并将其导入元数据管理系统中。
2. 元数据存储：将采集到的元数据信息存储在元数据管理系统中，以便于后续的管理和查询。
(完整版)关于元数据、资源目录、主数据、数据元、元数据管理、主数据管理解释
主数据、元数据、分级数据、非结构化数据、交易数据
Master Data Service(MDS)
主数据、元数据 变易数据、分析数据
InfoSphere MDM server
支持SOA 支持的业务实体 实施成本
是 SAP的所有业备实体
最高
三类业务实体中心
是 (Hub)客户、产品、位 中等 置 类似于IBM 的领域
值域
数据元名称
数据库表中不展示内容， 英文名称
用于理解
中文全拼
同义名词
相关环境
定义
注册机构
提供者
数据库表中不展示内容， 源系统
用于管理
维护者
限制项
属性定义
CY010100001：CY 01 0100 001
船员 基本信息 登记 登记号
CrewRegNum 字符型 an9 代码结构如 C+9位整数数字，C表示船员， 数字表示编号。
人
身份证件号码
PAT01_100026
Number of identify 表示个人的身份证件的号码。 card
人
籍贯名称 （籍贯）
PAT010101_100030
Person-native place
表示人的籍贯。
人
国籍代码
PAT010101_100051 Pcoedrseon-nationality,表示人的国籍代码。
数据元
数据元作用
目录
数据元 元数据 主数据 元数据管理 主数据管理
数据服务资源目录
主数据
定义
• 主数据 Master Data • 指在整个企业/单位范围内各个系统间要共享的、高价值的核心业务实体数
据
• 主数据是指具有广泛共享性的全局型数据。主数据的共享性由根据其数据 性质分为长期共享和定期共享。
元数据的概念
元数据的概念概述：元数据是指描述数据的数据，它提供了关于数据的信息，帮助用户理解和使用数据。
元数据可以包括数据的结构、属性、格式、来源、关系等信息，它为数据管理、数据分析和数据应用提供了基础。
一、元数据的定义：元数据是指描述数据的数据，它提供了关于数据的信息，帮助用户理解和使用数据。
元数据可以包括数据的结构、属性、格式、来源、关系等信息。
二、元数据的作用：1. 数据管理：元数据可以帮助管理数据资源，包括数据的存储、访问、更新、备份等操作。
通过元数据，用户可以了解数据的存储位置、访问权限、数据质量等信息，从而更好地管理数据。
2. 数据分析：元数据可以提供数据的结构和属性信息，帮助用户进行数据分析。
通过元数据，用户可以了解数据的字段含义、数据类型、数据范围等信息，从而更好地进行数据分析和挖掘。
3. 数据应用：元数据可以提供数据的格式和来源信息，帮助用户进行数据应用。
通过元数据，用户可以了解数据的格式要求、数据来源、数据更新频率等信息，从而更好地进行数据应用和集成。
三、元数据的分类：1. 技术元数据：技术元数据描述数据的物理属性和技术特性，包括数据的存储格式、数据的访问方式、数据的传输协议等信息。
2. 业务元数据：业务元数据描述数据的业务含义和业务规则，包括数据的字段含义、数据的业务规则、数据的业务流程等信息。
3. 行为元数据：行为元数据描述数据的使用情况和数据的访问权限，包括数据的使用频率、数据的访问权限、数据的更新历史等信息。
四、元数据的管理：1. 元数据采集：元数据可以通过手工录入、自动抽取、数据字典等方式进行采集。
采集的元数据需要经过验证和清洗，确保元数据的准确性和一致性。
2. 元数据存储：元数据可以存储在元数据仓库、数据字典、元数据管理系统等工具中。
存储的元数据需要进行版本控制和备份，确保元数据的安全性和可用性。
3. 元数据维护：元数据需要进行定期的维护和更新，包括元数据的补充、修改、删除等操作。
数据仓库元数据管理
数据仓库元数据管理一、概述数据仓库是一个用于集成、管理和分析企业数据的关键系统。
其中，元数据管理是数据仓库的重要组成部分，它涉及到对数据仓库中各种数据对象的定义、描述和管理。
本文将详细介绍数据仓库元数据管理的标准格式。
二、元数据定义1. 元数据是指描述数据的数据，它包括数据的结构、属性、关系、来源、用途等信息。
2. 元数据可以分为三个层次：物理层、逻辑层和业务层。
物理层描述数据的存储方式和物理结构，逻辑层描述数据的逻辑结构和关系，业务层描述数据的业务含义和用途。
三、元数据管理流程1. 元数据采集：通过自动化工具或手动方式，采集数据仓库中的各种对象的元数据信息。
2. 元数据存储：将采集到的元数据信息存储在元数据仓库中，以便后续的查询和管理。
3. 元数据维护：对元数据进行维护和更新，包括新增、修改和删除元数据信息。
4. 元数据查询：提供用户查询元数据的功能，以便快速定位和了解数据仓库中的各种对象。
5. 元数据使用：将元数据与数据仓库的实际数据进行关联，实现对数据的分析和挖掘。
四、元数据管理要求1. 元数据一致性：保证元数据的一致性和准确性，避免数据仓库中的数据对象存在冲突或重复。
2. 元数据可追溯性：对元数据的变更进行记录和追踪，以便进行审计和回溯。
3. 元数据权限管理：对元数据的访问权限进行控制，确保只有授权用户可以查询和修改元数据。
4. 元数据文档化：对元数据进行文档化和说明，以便用户理解和使用数据仓库中的各种对象。
5. 元数据标准化：制定统一的元数据标准和规范，确保元数据的一致性和可维护性。
五、元数据管理工具1. 元数据管理工具是用于支持元数据管理的软件系统，它提供元数据采集、存储、维护、查询和使用等功能。
2. 常见的元数据管理工具有PowerDesigner、Erwin等，它们可以根据用户需求进行配置和定制。
六、元数据管理的价值1. 提高数据仓库的可维护性和可管理性，减少数据仓库的维护成本和风险。
关于元数据、资源目录、主数据、数据元、元数据管理、主数据管理解释ppt课件
船员主题/违规违法/记分 信息
我们将要在共享数
据库项目中面对的 元数据
元数据
元数据作用
数据描述： 对信息对象的内容属性等的描述能力是元数据最基本的功能。
支持用户发现资源的能力即利用元数据来更好地组织信息对象建立它们之间
数据检索： 的关系为用户提供多层次多途径的检索体系从而有利于用户便捷快速地发现 其真正需要的信息资源
的信息。 • 是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，
目标定义，转换规则等相关的关键数据。 • 描述数据的内容（what）、覆盖范围（where, when）、质量、管理方式、数据
的所有者（who）、数据的提供方式（how）等信息，是数据与数据用户之间的 桥梁；
以一个船员培训为例
TABLE_XXX 内部_核心
*.*.*.* sysbase
TABLE_XXX 内部_核心
数据抽取转换方面
抽取方式 目标表 目标字段 源表
源字段
ቤተ መጻሕፍቲ ባይዱ
计算公式
ETL 目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=源头_字段+目标_字段
WS 目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=目标_字段
可再分的最小的数据单元。
• [MSA-S-PT-4：海事云数据中心技术标准-平台数据标准,4.1.2.1 数据基本定义] • 数据元一般来说由三部分组成：对象、特性、表示
举例
• “船舶种类代码”为数据元，“0205”为数据元的值，“船舶种类名称”为数据元，“集装 箱船”为数据元的值
• “船舶种类代码”中，“船舶”为对象词，“种类”是该数据元的特性词，“代码”是该数 据元的表示词。
元数据管理用法
元数据管理用法元数据管理是指对数据进行有效组织、分类和描述，以便更好地利用和管理数据的过程。
它涉及到数据的收集、整理、存储以及搜索和检索，是数据管理领域中的重要部分。
在当今的信息化时代，大量的数据被不断产生和积累，对这些数据进行有效的管理和利用成为了各种组织和企业的重要课题。
本文将重点介绍元数据管理的基本定义、作用、方法以及用法，以便读者更好地理解和应用元数据管理。
一、元数据管理的基本定义元数据是描述数据的数据，它是对数据的信息进行描述和解释的数据。
元数据管理就是对元数据进行有效的管理和利用。
在实际应用中，元数据通常包括数据的来源、格式、结构、关系、使用规则等信息，通过元数据管理，可以更好地理解和利用数据，提高数据的价值和效用。
二、元数据管理的作用1. 数据组织和分类：元数据管理可以帮助对数据进行有效的组织和分类，使得数据更易于管理和利用。
2. 数据描述和解释：通过元数据，可以对数据进行详细的描述和解释，让用户更好地理解数据的含义和特性。
3. 数据检索和利用：通过元数据管理，可以实现对数据的快速检索和有效利用，提高数据的使用效率。
4. 数据质量控制：通过对元数据的管理，可以对数据的质量进行监控和控制，确保数据的准确性和完整性。
三、元数据管理的方法1. 元数据收集和整理：通过各种手段对数据的元数据进行收集和整理，构建起完整的元数据库。
2. 元数据存储和管理：建立元数据的存储和管理系统，对元数据进行有效的管理和维护。
3. 元数据搜索和检索：提供元数据搜索和检索功能，实现对元数据的快速查找和获取。
4. 元数据更新和维护：对元数据进行定期更新和维护，确保元数据的及时性和准确性。
四、元数据管理的用法1. 数据库管理：在数据库管理中，元数据管理是不可或缺的一部分，通过对数据库表结构、索引、关系等元数据的管理，可以更好地对数据库进行管理和优化。
2. 数据分析和挖掘：在数据分析和挖掘中，通过对数据的元数据进行分析，可以更好地理解数据的特性和规律，发现隐藏在数据中的有价值信息。