元数据管理平台

元数据管理平台

技术白皮书

北京亿信华辰软件责任有限公司

2018年4月

目录

1.前言 (1)

1.1.关于本白皮书 (1)

1.2.背景介绍 (1)

1.3.产品定位 (1)

2.产品架构 (2)

2.1.概述 (2)

2.2.数据源层 (2)

2.3.采集层 (2)

2.4.数据层 (3)

2.5.功能层 (3)

2.6.访问层 (3)

3.产品功能特色 (4)

3.1.规范的元模型管理 (4)

3.2.端到端的自动化采集 (5)

3.3.全面的采集适配器 (5)

3.4.可灵活定制的采集模板 (6)

3.5.便捷的元数据检索 (7)

3.6.完善的元数据管理 (7)

3.7.强大的元数据版本管理 (8)

3.8.实时的元数据变更监控 (8)

3.9.数据地图鸟瞰全局 (9)

3.10.丰富的元数据分析应用 (9)

3.10.1.血缘分析 (9)

3.10.2.影响分析 (10)

3.10.3.全链分析 (10)

3.10.4.关联度分析 (11)

3.10.5.属性差异分析 (11)

3.11.出色的元数据检核机制 (12)

3.11.1.一致性检核 (12)

3.11.2.属性填充率检核 (12)

3.11.3.组合关系检核 (12)

3.12.自助式门户 (13)

3.13.丰富的服务接口 (13)

4.产品技术优势 (13)

4.1.系统设计原则 (13)

4.1.1.先进性 (14)

4.1.2.可维护性 (14)

4.1.3.可靠性 (14)

4.1.4.易用性 (15)

4.1.5.安全性 (15)

4.1.6.扩展性 (15)

4.2.可扩展采集适配器设计 (16)

4.3.采用MOF规范 (16)

4.4.支持基于XMI的数据交换 (17)

4.5.运用REST FUL架构 (18)

5.软硬软件环境 (19)

5.1.服务器配置推荐 (19)

5.2.客户端配置 (20)

5.2.1.客户端(建议配置) (20)

5.2.2.客户端浏览器 (20)

1.前言

1.1.关于本白皮书

本白皮书对应产品版本为：元数据管理技术白皮书V2.1。

最后修订日期：2018年05月。

本白皮书将在阐述元数据产品的背景介绍之后，详细介绍元数据管理平台在技术和功能上的特点。

1.2.背景介绍

随着数字化加速，数据量成指数增长，大数据相关技术的出现，让大家看到了新机遇的同时，大家对数据治理的需求也在增加。尤其是大型企业业务数据、政府政务数据、行业标准数据，往往由于数据分散、质量参差不齐、数据存储结构差异大，虽然数据中蕴含大量有价值信息，但想要挖掘出来，往往需要做大量的数据治理工作，成本十分高昂。Gartner分析师在2017年预测，到2020年，50％的信息治理举措将通过基于元数据的政策制定。就国内而言，目前完备成熟的元数据产品较少，市场正处于上升期，是抢占市场份额的好时机。

1.3.产品定位

亿信元数据管理平台致力于处理技术元数据、业务元数据、管理元数据，帮助各行各业用户获得更多的数据洞察力，进而挖掘出隐藏在资源中的价值。

对技术人员而言，元数据管理平台通过对将分散、存储结构差异大的资源信息进行描述、定位、检索、评估、分析，实现了信息的描述和分类的结构化，从而为机器处理创造了可能，大大降低数据治理人工成本。正因如此，元数据已经成为了很多大型数据治理项目的核心。

对业务人员而言，元数据管理平台通过对业务指标、业务术语、业务规则、业务含义等业务信息进行描述、定位、检索、评估、分析，协助业务人员了解业务含义、

行业术语和规则、业务指标取数据口径和影响范围等。

2.产品架构

2.1.概述

元数据管理平台架构分为5层，数据源层、采集层、数据层、功能层和访问层，下图为元数据管理产品的整体架构图。

图1产品架构图

2.2.数据源层

数据源层是指元数据管理平台所支持的元数据来源的方式。提供直连多种不同类型的数据源，包括：数据库类型、ETL类型、文件类型、业务系统类型等。

2.3.采集层

采集层针对不同数据源提供丰富的适配器，实现端到端的自动化采集。具体包括：sqlserver、oracle、mysql、postgresql、petabase、ODI、Excel、亿信BI等。

同时支持适配器扩展，实现最大限度的自动化采集。

2.4.数据层

元数据数据层是基于关系数据库的元数据存储，用于实现元数据和元模型的数据的物理存储。元模型存储了元数据的属性要求和存储格式要求。元数据存储了从各个系统中采集而来的元数据信息。

2.5.功能层

元数据功能层提供了元数据管理产品的基本功能，包括元模型增删改查及版本发布功能、元数据增删改查及版本管理、元数据变更管理、元数据分析应用、元数据检核以及产品的系统管理功能。

其中元模型管理模块用于操作元模型，元模型是对各个种类元数据以及元数据之间关系的定义，元模型包括两部分：一部分由元数据管理平台产品内置的标准元模型,另一部分是用户根据管理需求自定义的元模型。元模型管理还设计了发布功能，只有在发布之后才会生效，使用户在设计元模型时，不会影响到元数据的使用。

元数据管理主要包括了元数据增删改查日常维护，版本管理，元数据全文检索。

元数据分析应用主要包括了血缘分析、影响分析、关联度分析、数据地图等多种图形化分析应用，并提供导出和收藏功能，将分享结果进行留档。

元数据检核包括一致性检核、属性填充率检核和组合关系检核，是保障元数据质量的重要手段之一

系统管理功能包括了机构用户角色的权限管理、系统备份恢复、门户应用、日志管理、系统监控等系统运维相关的功能。

2.6.访问层

元数据访问层用于给用户提供访问控制服务。元数据产品面向的主要用户群有三类：技术设计人员、业务分析人员、以及系统的运维人员。通过门户访问和后台访问，可以实现多种角色的访问控制。同时访问层还提供了多种形式的接口服务，可以很方便的与其它IT系统进行集成。