元数据管理与CWM标准解析
元数据的标准
元数据的标准引言概述：元数据是指描述数据的数据，它包含了关于数据的各种属性和特征。
在信息时代，元数据的标准化变得尤其重要，因为它可以提高数据的可理解性、可管理性和可重用性。
本文将从四个方面详细阐述元数据的标准。
一、元数据标准的定义和意义1.1 元数据标准的定义：元数据标准是一套规范或者约定，用于描述和组织元数据的结构、内容和格式。
它可以确保元数据的一致性和可互操作性。
1.2 元数据标准的意义：元数据标准化可以匡助组织和管理大量的元数据，使其更易于查找和使用。
同时，它还可以提高数据的可信度和可靠性，促进数据共享和集成。
1.3 元数据标准的作用：元数据标准化可以提高数据的质量和价值，减少数据冗余和错误。
它还可以促进数据的交流和共享，为数据分析和决策提供支持。
二、元数据标准的制定和应用2.1 元数据标准的制定过程：制定元数据标准需要明确标准的范围和目标，采集和分析现有的元数据，制定元数据的结构和内容，最后进行标准的评审和发布。
2.2 元数据标准的应用场景：元数据标准可以应用于各种领域，如数据管理、数据集成、数据分析和数据共享等。
它可以匡助用户快速准确地理解和使用数据。
2.3 元数据标准的实施策略：实施元数据标准需要建立元数据管理系统，培训和指导用户使用标准，监控和评估标准的使用效果，并进行必要的调整和改进。
三、元数据标准的关键要素3.1 元数据标准的结构：元数据标准应包括元数据的基本信息、关系信息和业务信息等。
它应该具有一定的层次结构，以便于组织和管理元数据。
3.2 元数据标准的内容：元数据标准的内容应包括元数据的定义、命名规则、数据类型、数据格式、数据范围和数据约束等。
它应该能够满足不同用户的需求。
3.3 元数据标准的管理：元数据标准的管理包括元数据的采集、存储、更新和维护等。
它应该建立合理的元数据管理流程和机制，确保元数据的有效性和一致性。
四、元数据标准的挑战和未来发展4.1 元数据标准的挑战：元数据标准化面临着标准的多样性、应用的复杂性和变化的快速性等挑战。
元数据管理系统的研究与设计
元数据管理系统的研究与设计容会;于勇涛;陈震霆;王晓亮;周绍景;严敏【摘要】随着计算机技术和GIS技术的发展,管理和访问大型数据集的复杂性已成为数据生产者和用户共同面临的突出问题,数据生产者需要有效的办法来组织、管理和维护海量数据.元数据作为描述数据的内容、质量、状况和其他特性的信息的作用已变得越来越重要,成为信息资源的有效管理和应用的重要手段.该文主要是研究元数据的管理,并根据现实社会需要设计一个适用在通信领域方面的元管理系统.%With the development oi computer technology and GIS technology, the complexity of managing and accessing large data sets has become a prominent problem of data producers and users, data producers need effective way to organize, manage and maintain amounts of data. The role of information of metadata as describing the data content, quality, condition and other characteristics has become increasingly important, and become an important means of effective management and applications of information resources. In this paper, the management of metadata is studied, metadata management system which is applied in communications field according to the needs of real world is designed.【期刊名称】《价值工程》【年(卷),期】2012(031)013【总页数】2页(P171-172)【关键词】元数据;DSS;CWM【作者】容会;于勇涛;陈震霆;王晓亮;周绍景;严敏【作者单位】昆明冶金高等专科学校,昆明650033;云南师范大学商学院,昆明650106;昆明冶金高等专科学校,昆明650033;昆明理工大学国土资源工程学院,昆明650093;昆明冶金高等专科学校,昆明650033;昆明冶金高等专科学校,昆明650033;昆明冶金高等专科学校,昆明650033【正文语种】中文【中图分类】TP3150 引言元数据就是描述数据的数据，随着信息技术的快速向前发展，元数据在地理空间信息资源共享过程中起着关键的作用。
公共仓库元模型（CWM）学习（一）
公共仓库元模型（CWM）学习（⼀）⼀、什么是CWM？在我们学习⼀个新东西时，⾸先得弄懂明⽩它是⽤来⼲什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel,很明显翻译过来时公共仓库元模型，CWM的提出主要基于以下背景：从数据仓库开发者的⾓度：单⼀⼯具很少能完全满⾜⽤户不断变化的需求，但同时⼜很难对各种产品进⾏集成；从数据仓库⽤户的⾓度：⾯对的信息量太⼤，⽆法轻易找到⾃⼰真正需要的，⽽且把这些信息完整正确地表⽰出来也是个挑战；从数据仓库供应商的⾓度：⽬前信息的共享还没有标准格式，元数据集成的代价太⼤；现在有很多数据仓库产品，它们对元数据都有⾃⼰的定义和格式，百家争鸣，都不愿与其他⼚商共享，然后最终的客户往往⼜不会选择⼀家公司为其建设数据仓库，其主要原因我想还是怕在⼀棵树上吊死， 因此创建、管理和共享元数据很耗时⽽且容易出错。
要解决上⾯这些问题，就必须得⽤标准的语⾔描述数据仓库元数据的结构和语义，并提供标准的元数据交换机制。
CWM就是满⾜这些条件的⼀个规范。
OMG（对象管理组织）在2000年发布了CWM规范，旨在推动数据仓库、智能商务和知识管理⽅⾯元数据的共享和交换。
和OMG合作提出CWM 规范的公司有：IBM，Unisys，NCR，Hyperion Solutions，Oracle，UBS AG，Genesis Development，Dimension EDI。
还有⼀些公司明确表⽰⽀持CWM，包括：Deere & Company，Sun，HP，Data Access Technologies，InLine Software，Aonix，Hitachi, Ltd。
说⽩了，CWM其实就是⼀个元数据交换的标准，为各种数据仓库产品提出的⼀个标准。
⼆、CWM组成元素？CWM主要基于以下三个⼯业标准：UML（Unified Modeling Language）：统⼀建模语⾔，是OMG的⼀个建模标准；MOF（Meta Object Facility）：元对象⼯具，是OMG关于元模型和元数据库的⼀个标准；XMI（XML Metadata Interchange），XML元数据交换，是OMG关于元数据交换的标准；咋⼀看，是不是很熟悉，尤其是UML 、 XML ⼤家应该很明⽩这是⼲什么的吧，这三个标准是OMG元数据库体系结构的核⼼，UML定义了表⽰模型和元模型的语法和语义。
上海期交所统计信息系统的设计与实现
上海期交所统计信息系统的设计与实现统计信息是上海期货交易所的重要信息资源，它不仅包含大量的内部业务信息，而且还包括各类与周边市场、交易品种相关的辅助信息。
随着市场竞争日趋激烈，上海期交所期望能够充分的利用这些散落在各个业务系统的统计信息，实现信息的充分共享，并挖掘其内在价值。
由于原有的业务系统报表无法应对期交所快速变化的数据需求，也无法提供进一步分析挖掘的手段和方法，因此，上海期交所迫切需要构建一个统一集成又能满足多层次分析需求的数据中心。
基于数据仓库技术的统计信息共享平台正是满足这种需求的合适而可行的解决方案。
论文对系统的总体需求和设计做了描述，其中包括系统目标、业务需求、技术需求以及总体的设计架构。
并对如下作者参与的三个方面进行了重点的设计与实现。
数据建模。
数据模型是数据仓库系统的核心部分，它的好坏直接影响到系统的应用效果以及未来扩展性能。
在系统的实施过程中，作者采用主题分析的方法对用户需求和业务数据进行分类、归并、提炼，得到期货交易主题、期货行情主题、交割主题、库存主题、国内供需主题和现货交易主题等六大类主题，并根据多维模型的一些思想和策略进行模型设计工作，得到基于主题域的多个事实表和维表。
ETL过程管理。
ETL是数据仓库系统的关键部分，它连通了业务系统与数据仓库系统，是操作型应用向分析型应用过渡的桥梁。
本系统的ETL过程和管理是采用手工编码实现的，具有较大的灵活性和较强的适应性。
依据ETL的实施策略和方法，作者针对期交所业务系统源数据和数据仓库模型的特点设计了ETL处理流程和运行管理的功能模块。
元数据管理。
元数据是数据仓库系统的必要的组成部分，它不仅能够促进系统合理有序的开发，而且能够帮助用户更好的理解系统。
本系统采用国际标准的CWM模型作为元数据的模型，因此具有良好的扩展性和交互性。
本文描述了系统所涉及元数据的内容，并通过一个ETL过程的例子说明了基于CWM模型的元数据管理的实现过程。
元数据的标准
元数据的标准引言概述：元数据是描述数据的数据，它提供了关于数据的信息，使得数据更易于理解和管理。
元数据的标准化对于数据的有效利用和共享至关重要。
本文将介绍元数据标准的重要性以及其在数据管理中的应用。
一、元数据标准的定义和作用1.1 元数据标准的定义：元数据标准是对元数据进行描述和组织的一套规范，它定义了元数据的结构、属性和关系。
1.2 元数据标准的作用：元数据标准化可以提高数据的一致性和可理解性，促进数据的共享和交换，减少数据管理的复杂性。
二、元数据标准的分类2.1 结构化元数据标准：结构化元数据标准定义了元数据的结构和属性，如数据类型、长度、关系等。
2.2 描述性元数据标准：描述性元数据标准提供了对数据的描述和解释，如数据的含义、用途、来源等。
2.3 技术元数据标准：技术元数据标准描述了数据的技术特性和存储方式，如数据格式、编码方式、存储位置等。
三、元数据标准的制定和应用3.1 制定元数据标准的步骤：确定标准的目标和范围，采集和分析现有元数据，定义元数据的结构和属性，制定标准的规范和文档。
3.2 元数据标准的应用：元数据标准可以应用于数据管理、数据集成、数据质量控制等方面，提高数据管理的效率和准确性。
3.3 元数据标准的更新和维护：元数据标准需要根据数据的变化和需求进行更新和维护，确保标准的持续有效性。
四、元数据标准的挑战和解决方案4.1 多样性和复杂性：不同组织和领域的元数据具有差异性和复杂性，需要制定灵便的标准和适应不同需求。
4.2 数据一致性和互操作性：元数据标准需要解决数据一致性和互操作性的问题，确保数据的有效共享和交换。
4.3 技术支持和培训：制定和应用元数据标准需要技术支持和培训，提高组织和个人的能力和意识。
五、元数据标准的未来发展趋势5.1 语义化和智能化：元数据标准将更加注重数据的语义化和智能化，提供更多的语义信息和智能功能。
5.2 开放和共享：元数据标准将更加开放和共享，促进不同组织和系统之间的数据交换和共享。
工业互联网平台建设方案
工业互联网平台建设方案采购人名称： ____________项目名称： ____________系统项目编号： ____________供应商名称： ____________目录第一章工业互联网平台门户 (5)1.1. 整体框架说明 (5)1.2. 站点搭建区块 (5)第二章工业互联网平台共享中心 (8)2.1. 系统介绍 (8)2.2. 接入方式 (8)第三章工业互联网平台数字工厂服务 (9)3.1. 元数据管理 (9)3.2. 工厂建模 (9)3.3. 权限管理 (10)3.4. 站点管理 (10)3.5. 资产管理 (10)3.6. 条形码管理 (11)3.7. 资产管理 (11)3.7.1. 资产台账管理 (11)3.7.2. 资产增加管理 (12)3.7.3. 领用出库管理 (12)3.7.4. 领用退库管理 (12)3.7.5. 资产挑唆管理 (12)3.7.6. 资产盘点 (12)3.8. 租借管理 (13)3.8.1. 资产借用 (13)3.8.2. 资产归还 (13)3.9. 资产动态管理 (13)3.9.1. 资产故障登记 (13)3.9.2. 资产修理 (13)3.9.3. 资产报废 (14)3.9.4. 低耗材用品管理 (14)3.10. 统计分析 (14)3.10.1. 资产报表 (14)3.10.2. 盘点报表 (14)3.11. 资质管理 (15)3.12. 外部系统账号买通 (15)3.13. 消息中心 (16)3.14. 日志中心 (17)3.15. 物联管理 (17)3.16. 项目管理 (18)3.17. 安全管理 (18)3.18. 数据钻取 (19)第四章工业互联网平台数字工厂运用 (19)4.1. 主数据管理 (19)4.2. 生产数据追溯 (20)4.3. 经营管理驾驶舱 (20)4.4. 工厂日历 (21)第五章工业互联网平台设备可视化模块 (21)5.1. 现状痛点 (21)(1) 监控工具散管控难度高 (21)(2) 生产系统多兼顾管理难 (21)(3) 巡检工作繁运维压力大 (21)(4) 仓储物料多批次追朔难 (21)5.2. 生产管理可视化 (22)5.3. 综合管理可视化 (22)5.4. 巡检管理可视化 (23)5.5. 仓储管理可视化 (23)第一章工业互联网平台门户1.1.整体框架说明门户站点搭建-提供标准化的门户模板框架，简化建站进程。
元数据管理与CWM标准.88页PPT
谢谢！
88
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
▪பைடு நூலகம்
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
元数据管理与CWM标准.
56、死去何所道，托体同山阿。 57、春秋多佳日，登高赋新诗。 58、种豆南山下，草盛豆苗稀。晨兴 理荒秽 ，带月 荷锄归 。道狭 草木长 ，夕露 沾我衣 。衣沾 不足惜 ，但使 愿无违 。 59、相见无杂言，但道桑麻长。 60、迢迢新秋夕，亭亭月将圆。
▪
读懂元数据管理
读懂元数据管理01什么是元数据元数据（metadata）是关于数据的组织、数据域及其关系的信息，简言之，元数据就是描述数据的数据。
概念总是生涩，对于没有IT背景的人来说比较抽象，不容易理解，下面举几个例子。
示例1：歌词中的元数据有一首很多80后耳熟能详的歌曲叫《小芳》，歌词中有这么一句：“村里有个姑娘叫小芳，长得好看又善良。
”我们对这句歌词做一下分析。
姓名：小芳；性别：姑娘（女）；长相：好看；性格：善良；住址：村里。
歌词里面，“小芳”是被描述的对象，而“姓名”“性别”“长相”“性格”“住址”就是描述“小芳”的元数据。
示例2：户口本中的元数据户口本中除了有姓名、身份证号、出生日期、住址、民族等信息外，还有家庭关系，如夫妻关系、父子关系、兄弟关系等。
这些信息就是描述一个人的元数据，通过户口本中的元数据，我们不仅能够了解一个人的基本信息，还能够了解其家庭关系。
示例3：图书馆中的元数据图书馆都会用一个叫作“图书目录”的文件夹来管理藏书，图书目录包含图书名称、编号、作者、主题、简介、摆放位置等信息，用来帮助图书管理员管理和快速查找图书。
元数据就如同图书馆的图书目录一样，能够帮助数据管理员管理数据。
示例4：元数据好比字典字典包含一个字的注音、含义、组词、举例等基本信息及其字体结构、相关引用、出处等。
另外，我们可以通过拼音或偏旁部首查到这个字。
所有这些信息都是对这个字的详细描述，它们就是描述这个字的元数据。
示例5：元数据就像地图地图是按一定比例运用线条、符号、颜色、文字注记等描绘显示地球表面的自然地理、行政区域、社会经济状况的图。
通过地图，你能够找到自己所处的地理位置，了解你从哪里来，到哪里去，途中要路过哪些地方。
元数据也具备这样的特点，它能够帮助企业了解自己有哪些数据，这些数据存放在哪里，数据的来源、去向及加工路径等。
元数据与数据的不同之处在于：元数据描述的不是特定的实例或记录，IT部门和业务部门都需要高质量的元数据来理解现有数据；元数据是比一般意义上的数据范畴更加广泛的数据，不仅表示数据的类型、名称、值等信息，还提供数据的上下文描述，比如数据的所属业务域、取值范围、数据间的关系、业务规则、数据来源等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
OLAP产品
产品名称 是否支持 CWM
支持Metadata Interchange Specification (MDIS).
元数据互换其 他形式
通过API输入/输出
Essbase/DB2 OLAP Server
Cognos Oracle 9i OLAP
支持
通过API输入/输出
是
数据仓库元数据管理产品
• 成为OMG提出的 基于模型驱动的 体系结构（MDA） 的核心之一（其 它是MOF和UML）
CWM标准概述
• CWM标准是基于以下工业标准制定的：
– UML：它对CWM模型进行建模。 – MOF（元对象设施）：为CWM提供元模型的体系 结构和元模型语言的语义；MOF反射接口为存取 CWM元数据提供通用的API接口；MOF到IDL的映 射为存储CWM元数据提供了一种产生CWM IDL 接 口的机制。 – XMI（XML元数据交换）：它可以使元数据以XML 文件流的方式进行交换。 – CORBA IDL(CORBA 接口定义语言)
ETL产品
产品名称 IBM DB2 Warehouse Manager 是否支持CWM 支持Metadata Interchange Specification (MDIS). 是 不能确定 是 支持 是 通过API输入/输出 通过API输入/输出 元数据互换其他形式 通过API输入/输出
Oracle Warehouse Builder Sagent Informatica PowerCenter Cognos Decision Stream TeraData ETL组件
产品名称
IBM DB2 Information Catalog
是否支持 CWM
支持Metadata Interchange Specification (MDIS).
元数据互换其他 形式
通过API输入/输出
Warehouse Control Center CA PLATINUM Repository TeraData Meta Data Services Oracle Warehouse Builder Repository
经营分析系统关心的元数据
• 技术元数据包含关于经营分析系统数据 技术层面的信息
– – – – – – – 数据源元数据 ETL元数据 数据仓库元数据 数据集市元数据 OLAP SERVER元数据 前端展现元数据 其它类型元数据（挖掘模型，数据质量分析 结果等）
经营分析系统关心的元数据
• 管理元数据主要是指经营分析日常建设 过程中，涉及开发、运维等管理流程的 基本信息。
XML DTD
XMI接口实现建模Fra bibliotek验证CWM模型
映射2
通过接口实现元数据交换
XMI文件
通过接口进行访问
生成
关系存储物理模型
关系型数据库
存储到
注：(1)映射1为单向映射，实现由CWM元模型到各种接口的单向映射。 (2)映射2为双向映射，实现CWM模型和XMI文件之间的双向映射。
CWM的发展状况
• 绝大多数数据仓库和元数据管理工具已 经支持CWM，或已经宣布在下一版本的 产品中支持CWM。 • 已经被JAVA标准化组织着手扩展到J2EE 体系结构当中，形成JMI（JAVA Metadata Interchange）规范、用于OLAP 分析的JOLAP规范和用于数据挖掘的 JDMAPI规范。
业务信息包 （Business Information）
• 业务信息元模型给所有CWM包提供了面 向业务的信息 • 这里面向业务指的是支持数据仓库和商 业智能
– – – – 核心包 (Core) 行为包(Behavioral) 关系包(Relationship) 实例包(Instance)
核心包(Core)
• 包含所有的其他CWM包使用的基本类和 关联 • 不依赖于其他任何包
行为包(Behavioral)
• 描述其他CWM包中类的行为特征，提供 一个记录特定行为请求的基础 • 包括操作，方法，接口，事件等
中央元数据存储
所有存取必须通过中央存储 元数据交换不方便 中央元数据存储必须对每一 个系统有转换接口
基于标准的 中央元数据管理
有利于元数据的交换 屏蔽系统内部变化 中央元数据只需要统一接口
元数据管理工具
• 元数据浏览、展示和管理的平台 • 知名的元数据管理工具包括：
– – – – Meta Center Meta Matrix Meta Integration DB2, Teradata,Oracle等数据仓库中的元数据 管理模块 –…
• OMG组织制定的标准 • 得到IBM，NCR，SAS，Hyperion等公司支持 • 利用XMI文件进行交换
元数据库
• 元数据库就是一个逻辑上的统一存储元 数据的地点 • 元数据存储常见的形式
– 分散存储 – 统一存储，提供不同接口 – 统一存储，统一接口
不同系统 各自提供元数据接口
实现复杂 元数据不统一 易成为”蜘蛛网”
OMG元数据体系结构
OMG元数据体系结构实例
M0层
PRODUCT ID 1001 2002 2002 4034 5035 NAME Widget Gizmo Sproget Thingamgiger Gadget COLOR Red Blue Teal Gray Yello
PRODUCT表和它的记录
是
是 通过API输入/输出 通过API输入/输出
是
是
提纲
• 元数据管理基本概念
– 元数据定义 – 元数据管理
• CWM元数据标准
– – – – – – CWM标准概述 对象模型层 基础层 资源层 分析层 管理层
CWM标准包及其分层
管理
仓库过程
分析
仓库操作 数据 挖掘 记录型 键 索引
转换
资源
OLAP 分析 关系型资源 数据 类型
业务术语
对象 (UML) 关系型资源 数据 类型
记录型 键 索引
多维
XML
基础
业务信息
表达式
类型映射
软件发布
对象模型
UML 1.3 (基础，行为元素，模型管理)
基础层（Foundation）
• 提供为驻留在更高层次的其他包提供CWM特定的 服务的包 • 包括6个包
– – – – – – 业务信息包（Business Information） 数据类型包（Data Types） 表达式包（Expression） 键和索引包（keys and indexes) 软件部署包（Software Deployment） 类型映射包（Type Mapping）
+table 1
+column *
<<metaclass>> Column +name:String +dataType:String
简单关系型表元模型
CWM元数据存储和接口实现
输入
CORBA IDL接口 添加接口实现代码 CORBA IDL接口实现 添加接口实现代码
CWM元模型
映射1
JMI接口
JMI接口实现
CWM的合作伙伴
• • • • • • • • IBM Unisys NCR Hyperion Oracle UBS Genesis Dimension EDI
CWM的支持者
• • • • • • • • • • Deere SUN HP Data Access Inline Aonix Hitachi SAS Meta Integration Adaptive
信息可视化
业务术语
对象 (UML)
多维
XML
基础
业务信息
表达式
类型映射
软件发布
对象模型
UML 1.3 (基础，行为元素，模型管理)
对象模型层 （Object Model）
• CWM对象模型提供了描述其他所有包中 元数据模型的类的基本结构和相应的类 型属性 • 定义基本元模型的概念，关系和约束 • 包括4个基本包：
CWM标准的意义
• 在形成标准以前，要进行集成的情况如 下图所示：
数据建模工 具 抽取与转换 工具
前端访问工 具
数据质量评 估工具
CWM标准的意义
• 在形成标准以后的情况如下图所示：
数据建模工具
抽取与转换 工具
元数据 存储与 管理 数据质量评 估工具 数据仓库与元 数据管理员
前端访问工 具
CWM的发展状况
元数据定义
THE BUSINESS
PEOPLE PROCESS
Transformation
Relational
GOALS
Meta Data
ROLES
PROJECTS INFORMATION SYSTEMS
PRODUCTS
经营分析系统关心的元数据
• 业务元数据
– 业务名称、定义、描述和别名来表示数据仓 库和业务系统中的各种属性，直接供业务分 析人员使用 – 业务元数据使经营分析系统使用人员能够更 好理解、使用数据仓库，成为经营分析系统 使用人员在数据仓库中的业务向导
管理元数据的意义
• • • • • 理解企业内部的信息资源 动态的数据字典 数据的浏览和归纳 数据在企业内部横向与纵向传递 保持整个企业的标准（保证企业内部统 一的商业定义和商业规则） • 数据生命周期的管理
元数据管理的几个概念
• 元模型（meta model） • 元数据库（metadata repository） • 元数据管理工具
元数据管理与CWM标准
中国移动业务支撑系统部 2008-04
提纲
• 元数据管理基本概念
– 元数据定义 – 元数据管理