元数据管理项目工程实施方案

xx移动

元数据管理项目工程实施方案

2012年5月

目录

1建设目标 ------------------------------------------------------------------------------------------------------ 3 2系统环境配置------------------------------------------------------------------------------------------------ 3

2.1客户端环境配置------------------------------------------------------------------------------------- 3

2.2服务器端环境配置---------------------------------------------------------------------------------- 4

2.3网络配置 ---------------------------------------------------------------------------------------------- 4 3元数据管理范围--------------------------------------------------------------------------------------------- 5 4项目实施计划------------------------------------------------------------------------------------------------ 6

4.1建设规划 ---------------------------------------------------------------------------------------------- 6

4.2时间安排 ---------------------------------------------------------------------------------------------- 7

4.3产品部署 ---------------------------------------------------------------------------------------------- 7

4.4元模型定制 ------------------------------------------------------------------------------------------- 7

4.5元数据存储 ------------------------------------------------------------------------------------------- 8

4.5.1技术类元数据存储-------------------------------------------------------------------------- 8

4.5.1.1关系型数据库元数据 ------------------------------------------------------------ 8

4.5.1.2OLAP元数据 ------------------------------------------------------------------------ 8

4.5.1.3ETL元数据-------------------------------------------------------------------------- 9

4.5.1.4模型元数据 ------------------------------------------------------------------------ 10

4.5.2业务元数据存储 ---------------------------------------------------------------------------- 10

4.5.2.1业务指标元数据------------------------------------------------------------------ 10

4.5.2.2业务规则&术语元数据---------------------------------------------------------- 11

4.5.2.3维度&基础编码元数据---------------------------------------------------------- 11

4.5.3管理类元数据存储------------------------------------------------------------------------- 11

4.6建立日常管理流程--------------------------------------------------------------------------------- 12

4.6.1元数据权限管理 ---------------------------------------------------------------------------- 12

4.6.2通过元数据变更流程进行维护管理 --------------------------------------------------- 12

4.6.3元数据同步维护 ---------------------------------------------------------------------------- 12

4.6.3.1业务元数据同步维护 ----------------------------------------------------------- 12

4.6.3.2管理元数据同步维护 ----------------------------------------------------------- 13

4.6.3.3元数据同步维护------------------------------------------------------------------ 14

4.6.3.4库表结构元数据同步维护 ----------------------------------------------------- 14

4.6.3.5Erwin元数据同步维护 --------------------------------------------------------- 15

4.7元数据交付、培训--------------------------------------------------------------------------------- 15

4.8元数据管理应用定制------------------------------------------------------------------------------ 15 5元数据建设中需要的配合工作------------------------------------------------------------------------- 16 6备份策略 ----------------------------------------------------------------------------------------------------- 16

1建设目标

依据《中国移动通信集团xx有限公司经营分析系统元数据管理项目采购书》所制定的项目目标，本项目致力于解决现有经分系统中元数据管理的问题，即经营分析系统核心元模型的建立、两级经营分析系统元数据互通、扩充元数据服务接口、提升基础元数据支撑能力，并能满足移动集团总部NG2-BASS3.5元数据管理相关规范的要求。

具体而言，通过本次项目实现如下目标：

●实现元数据基本管理功能

提供方便、友好的图形化元数据管理工具，实现对元数据的获取、维护、查询、变更、统计、导入等基本功能。

●实现一二级元数据互通功能

生成一级经营分析系统重点接口的数据处理过程元数据的管理，基于互通元数据接口标准实现重点接口元数据的下发和重点接口数据处理过程元数据的上传，促进两级系统对重点接口统一理解和数据处理过程规范化。

●实现元数据的分析功能

实现元数据的血缘分析及影响分析功能，实现元数据的数据地图展现功能，以拓扑图的形式对经营分析系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。

2系统环境配置

系统环境配置包括客户端和服务器端的平台软件、硬件配置和网络配置要求。这些配置要求与系统负荷有关。

2.1客户端环境配置

2.2服务器端环境配置

注：1、数据库服务器和应用服务器可共用一台主机

2、元数据管理终端用于进行MIB-Client、MOConsole等元数据管理客户端的操作

2.3网络配置

以下是元数据管理系统的网络配置图，其中的服务器是按逻辑功能划分的，可以分别部署在两台主机上，或者共用一台主机。

元元元元元元元元元元元元元元元元

元

3元数据管理范围

在项目建设过程中，我们将针对xx移动现场情况。管理技术，业务，管理类3大类元数据。

●技术元数据主要包括：外部数据源接口，数据仓库DB（Teradata/Oracle），ETL，存储

过程，建模元数据等。

●业务元数据包括：维度，基础编码，指标，业务术语，业务规则，业务描述等。

●管理元数据包括：系统资源、人员管理，任务管理，需求流程管理、文档管理等。

详细范围分类如下表：

4

项目实施计划

福建元数据工程实施方案201205.mpp

4.1 建设规划

xx 移动元数据项目建设，按照项目分4个阶段进行： ? 第一阶段：需求调研阶段，预计10个工作日； ? 第二阶段：建设阶段，预计40个工作日； ? 第三阶段：上线阶段，预计15

个工作日； ? 第四阶段：运维阶段，预计200个工作日。 项目规划及人员安排列表

4.2时间安排

?第一阶段：2012年6月11日至6月22日；

?第二阶段：2012年7月2日至8月24日；

?第三阶段：2012年8月27日至9月14日；

?第四阶段：2012年9月17日至2013年6月21日；

备注：时间安排以项目启动时间为准

4.3产品部署

项目正式启动后，皓竹公司安排工程师到场按照产品模式进行产品部署、产品介质交付。根据产品安装步骤进行完整部署。

对部署好的产品进行现场基础数据导入，参数配置，联调，启动运行，确保产品正常运行。

4.4元模型定制

xx移动元数据项目建设前期，根据系统需求文档以及前期与客户进行的需求调研来确定各类信息资源标准，然后根据确定的信息资源标准来进行分类，并确定各类标准的元模型。相关调研过程由厂商，客户协助，元模型的定制由皓竹主导完成。

元模型，即定义元数据的模型，元模型的定义遵循标准化、国际化的CWM模型（Common Warehouse Metamodel），并且元模型具有可完全扩展、主流开放性（100%JAVA)的特点，最终形成《xx移动元数据模型设计》，需由xx移动、厂商、皓竹三方最终评审确定。

元模型基本包括以下几大类：

●管理类（包括系统资源、人员管理、任务管理、需求流程管理、运行环境管理、文

档管理）；

●技术类（关系型数据库、OLAP、接口模型、ETL模型、erwin模型）；

●业务类：指标、KPI、报表等元模型；

●编码模型：信息分类及编码模型

视建设过程中如有需要扩展的，可进行元模型的扩展。

最终形成由皓竹元数据软件生成的符合CWM规范的XML元数据模型。

4.5元数据存储

按照标准项目实施步骤，在需求调研后，皓竹根据与集成商、客户协商约定的元模型标准定制好元模型后，接下来的工作是现场各类元数据的存储。

元数据存储过程流图

4.5.1技术类元数据存储

对于元数据的存储，皓竹目前成熟的方式为：

●工具接口自动抽取;

●模板整理批量导入；

技术元数据包括：关系型数据库DB、OLAP、接口模型、ETL模型、erwin模型。4.5.1.1关系型数据库元数据

皓竹已经有对主流数据库元数据的自动获取方式，此部分元数据可以直接获取。

皓竹能自动获取的数据库为：Oracle，DB2，Teredata,Sql server，sybase等库。

●实现前提：

?RDB元模型制定完成；

?相关厂商提供读取数据库或者表结构的视图权限，提供相关的连接方式。

?皓竹对MIB工具相应接口进行读取参数配置。

●实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成数据仓库

DB实体元数据。

4.5.1.2OLAP元数据

皓竹已经有对主流OLAP工具的自动获取方式，如Cognos工具的OLAP元数据，此部

分元数据可以自动获取实现。

●实现前提：

?OLAP元模型制定完成；

?相关厂商提供读取Cognos数据源链接方式，相关权限。

?皓竹对MIB工具相应接口进行读取参数配置。

●实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成OLAP相关

元数据。

●备注：如现场使用的是Cognos之外的多维分析工具，皓竹采用导出模板，指导

厂商按照整理模板梳理OALP元数据，批量导入元数据库。

●以上方式除存储元数据实体外，关系维护也同时生成。

4.5.1.3ETL元数据

皓竹能提供对ETL主流工具datastage，Informatica的自动解析获取元数据功能。

1．ETL工具元数据实现部分

●实现前提：

?ETL元模型制定完成；

?相关厂商提供读取数据源的链接方式，或者提供ETL工具转换生成的xml格式的设计文件。

?皓竹对MIB工具相应接口进行读取参数配置。

●实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成ETL元数

据。实体以及关系同步生成。

●如果自动解析实现效果不佳，根据现场情况考虑模板补充整理，批量导入的方

式实现。

2. 数据处理过程ETL元数据实现部分（存储过程）

●实现前提：

?ETL元模型制定完成；

?皓竹与相关厂商约定存储过程执行Sql日志，厂商按照要求给出。

?皓竹对MIB工具相应接口进行读取参数配置。

●实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成ETL元数

据。实体和关系同步生成。

4.5.1.4模型元数据

皓竹能提供对建模主流工具Erwin，PowerDesigner建模元数据的自动获取元数据功能。

1．Erwin或者PowerDesigner工具元数据实现部分

●实现前提：

?ER元模型制定完成；

?相关厂商提供通过以上提到的两类建模工具建模后，通过工具转换导出的xml 格式文件。

?皓竹对MIB工具相应接口进行读取参数配置。

●实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成建模元数

据。

4.5.2业务元数据存储

对于业务元数据的存储，皓竹目前成熟的方式为：

●工具接口自动抽取；

●模板整理批量导入；

业务元数据包括：业务类指标、维度、基础编码，业务规则，术语等。

自动获取的业务指标工具：皓竹支持arcplan，Cognos_Report，MSTR等报表工具元数据自动获取。

说明：由于业务指标，以及业务类的规则，维度，编码，术语等业务元数据都是跟业务紧密相连，都是在建设和业务提升中不断积累所得，所以此块的元数据一般都不规则化，一般都是使用根据调研确定的信息资源分类，提炼出特定的元模型，然后皓竹提供导入模板。厂商按照模板整理相关元数据，然后批量导入元数据库中。

实体和关系同步生成。

4.5.2.1业务指标元数据

业务指标工具设计类的存储实现方式如下：

●实现前提：

?指标元模型制定完成。

?皓竹从元数据系统生成指标整理模板。

?皓竹对对应系统厂商进行整理培训。

?厂商按照要求梳理指标元数据。

●实现方式：通过MIB配置XLS数据源，作业，执行作业将梳理好的指标元数据

批量导入系统。

其他工具（不支持自动提取）实现的报表指标，都采用模板批量整理，批量导入元数据库。实体和关系同步生成。

4.5.2.2业务规则&术语元数据

业务规则，术语元数据存储实现方式如下：

●实现前提：

?根据调研信息资源分类规则，业务规则、术语元模型制定完成。

?从元数据系统导出整理模板。

?相关厂商按照模板要求梳理业务规则，术语元数据。

?皓竹对MIB工具XLS接口进行读取参数配置。

●实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成业务规则，

术语相关元数据。

4.5.2.3维度&基础编码元数据

维度，基础编码元数据存储实现步骤如下：

●实现前提：

?根据调研信息资源分类规则，维度，基础编码元模型制定完成。

?从元数据系统导出整理模板。

?相关厂商按照模板要求梳理维度，基础编码元数据。

?皓竹对MIB工具XLS接口进行读取参数配置。

●实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成维度，基

础编码相关元数据。

4.5.3管理类元数据存储

由于管理类元数据都是根据每个企业自身管理制度以及管理方式产生的元数据，所以此块的元数据一般都是文档化的，一般都是使用根据调研确定的信息资源分类，提炼出特定的元模型，然后皓竹提供导入模板。厂商按照模板整理相关元数据，然后批量导入元数据库中。实体和关系同步生成。

管理类元数据包括系统资源、人员管理，任务管理，需求流程管理、文档管理等。

此块元数据的存储实现步骤为：

●调研定制元模型，与客户确认。

●在元数据中生成元数据整理模板。

●厂商和客户根据模板要求整理相关元数据和关系。

●皓竹将相应元数据通过MIB工具批量导入。

4.6建立日常管理流程

项目在初期进行了产品部署，元数据的存储后。在试运行稳定的情况下，需要根据客户项目的管理制度流程以及实际情况，摸索出一套符合xx移动的日常元数据管理流程办法。

在本章节中提供一套皓竹实施的元数据维护流程方案供参考。

元数据的日常管理流程，主要结合客户的管理习惯结合元数据系统中用户的使用权限以及元数据中变更影响管理的功能，来实现对元数据管理系统中，元数据的增加，删除，修改等操作的维护流程。

4.6.1元数据权限管理

元数据管理系统中的用户，在元数据的操作都有严格的的限制，这个是通过创建用户的时候，赋予不同的角色，来实现对不同用户的权限的限制，例如：当一个用户的登录元数据的管理系统的角色是系统浏览者的时候，那么此用户对系统只有浏览的权限，而没有修改的权限等等。又如：当此用户只有对指标部分的操作权限的时候，他只能对元数据管理系统中的指标部分数据进行操作，而对其他接口等部分数据就没有操作权限。通过这种赋予不同权限，来实现对元数据的维护的一个管理。

4.6.2通过元数据变更流程进行维护管理

元数据管理系统中，除了可以使用权限来控制元数据的维护之外，还有通过元数据管理系统中的变更影响功能来进行元数据维护管理。其主要实现步骤如下：首先，元数据管理系统中，已经分配了相关的主要维护人。如果需要修改元数据管理系统中的元数据，必须得到这些维护人的审核才可以进行，当操作者需要对元数据管理系统中的某个元数据进行修改的时候，会提交一个申请给相关的维护人，维护人通过元数据管理系统中的血统分析，影响分析等功能，来判断所提交的申请变更的元数据，是否会对别的元数据产生重大的影响。然后，根据判断结果，返回给操作者，是否可以对此元数据进行修改。

4.6.3元数据同步维护

4.6.3.1业务元数据同步维护

业务元数据的同步，主要指手工录入的方式，对元数据管理系统的业务元数据，例如：KPI指标，业务规则等数据进行更新。通过我们提供的规定的业务元数据整理模板，然后根据模板来填写相应的数据，可以批量的对指标的数据的录入与更新。

当数据仓库中的相关业务元数据发生变化的时候，那么元数据管理系统中的数据也要随之同步更新。

建议分以下步骤走：

?业务人员提出业务元数据发生变化。

?需求评审，确认，设计。

?厂商在生产系统中实现。

?厂商相关人员提交元数据变更申请。

?局方确认。

?元数据梳理，客户对梳理内容确认。

?变更元数据入库。

业务元数据同步维护流程图

4.6.3.2管理元数据同步维护

管理元数据同步，与业务元数据的同步过程很一样，也是从通过填写导入模板来实现接口文件的数据的批量的录入。

当相关的管理元数据发生变化的时候，那么元数据管理系统中的数据也要随之同步更新。

4.6.3.3 元数据同步维护

ETL 程序的同步，工具部分的ETL 发生变化后，此部分元数据可以通过集成商或者客户确认更新后，元数据维护工程师接到变更要求后，由维护工程师执行MIB ，将相应变更元数据通过MIB 自动解析入库。

数据处理过程中的相关ETL （存储过程），此部分在元数据建设调研期，就需要和厂商约定好存储过程执行时输出符合解析要求的sql 日志。然后皓竹配置MIB 数据源，作业，定期执行即可保持与生产系统的元数据同步。

ETL 元数据变更维护流程图 4.6.3.4 库表结构元数据同步维护

库表结构元数据的同步维护，我们实现的主要的方式是通过我们的库表抽取程序，

管理元数据发生变更 供局方确认

元数据导出整理模板

增加/修改元数据内容

导入元数据系统

来对库表中的结构进行抽取，而且也是可以根据实际的需要，自动的对数据库表中的结构进行抽取。

当数据仓库中的相关库表结构发生变化的时候，可以以定期同步的方式，通过自动调度任务来实现库表结构元数据的同步维护。

4.6.3.5Erwin元数据同步维护

Erwin数据同步，主要是通过向元数据管理系统中导入Erwin工具生成的xml文件，从而实现对元数据的Erwin的数据的更新。

4.7元数据交付、培训

在项目完成产品部署，以及现场客户使用需求完成元模型定制，元数据的基础存储后。按照项目产品稳定运行要求后。皓竹进行元数据项目实施后的交付。

项目交付包括以下工作：

●元数据项目实施阶段成果汇报。

●元数据产品培训，功能培训。

●元数据日常维护培训。

4.8元数据管理应用定制

根据xx移动前期元数据的建设和使用情况，进行元数据应用定制开发，使得元数据融入xx移动项目开发生产过程。促使元数据项目与数据仓库项目结合更紧密，充分发挥元数据建设价值。

说明：具体的元数据管理应用定制开发，视项目情况和现场应用需求而定。

5元数据建设中需要的配合工作

为保证元数据项目建设过程中的效率，以及实施质量，需要集成商以及移动进行以下配合工作。

6备份策略

元数据管理系统有单独的存储库，存储库类型为oracle。为确保数据安全，防止数据丢失，元数据管理系统每周日自动备份存储库，将存储库数据全备为dmp文件。导出oracle 数据库文件的同时，将文件多备份一份到其它服务器。为节约磁盘空间,每半年系统自动清理dmp文件，只保留最新的备份文件。当发生数据误删或灾难性事故，通过最近的dmp文

件来恢复元数据管理系统的数据。

导出dmp文件命令：exp user/password@db_name file=xxx/metaone.dmp ；

导入dmp文件命令：imp user/password@db_name file=xxx/metaone.dmp ；