主数据管理介绍

主数据管理

随着用户IT系统的建设，信息孤岛现象越来越严重，为了实现信息的共享，软

件厂商提供了各种解决方案，主数据管理即是其中之一，在2008年的Oracle Openworld大会上，Oracle就有很多关于主数据管理的讨论。

那么什么是主数据？什么是主数据管理？

根据IDC的定义，主数据（Master Data）主要指系统间共享数据（例如，客户、供应商、账户和组织部门相关数据）。DMReview专栏作家Jane Griffin将主数据定义为“...用于为核心业务实体创建和维护全企业‘记录系统’，以记录业

务交易并评定这些实体的业绩所需的信息。”

由于当时IT系统的建设水平限制，当前的主数据跨越几乎所有的组织业务部门，分布在多个不同的系统中，如企业资源计划(ERP)、客户关系管理(CRM)、商业智能(BI)系统；遗留系统和大型机系统；合作伙伴和供应商系统；以及单个电子数据表、文档、.pdf文件和桌面数据库。

主数据管理简称MDM(Master Data Management)的官方定义一般采用：

A set of disciplines, applications, and technologies for harmonizing and managing the system of record and system of entry for the data and metadata associated with the key business entities of an organization.

主数据管理是一系列的规则、应用和技术，目的是为了协调和管理与企业的核心业务实体相关的系统记录和系统登录中的数据和元数据。

主数据管理一般需要支持以下六大功能：

1.指定每个特定主数据域的业务职责，例如，产品、客户、供应商和组织结

构。严格履行职责可保证接入共享资源的系统始终保持高质量主数据。

2.提取分散在各个应用系统中的主数据集中到主数据存储库,主数据存储库一般采用二维数据库存储主数据。。

3.根据企业业务规则和企业数据质量标准对收集到的主数据进行加工清理，从而形成符合企业需求的主数据。

4.制定主数据变更的流程审批机制，从而保证主数据修改的一致性和稳定性。

5.实现各个数据利用系统与主数据存储库的数据同步，从而保证每个系统使用的主数据相同。

6.随着IT系统的建设，主数据的修改动作必然从现有分散的各个系统转移到主

数据存储库集中进行，因此必须保证当前主数据管理系统的灵活性，方便修改、

监控、更新关联系统主数据的变化。

那么一个主数据管理系统如何建设才能满足上述业务需求呢，前几天学习openworld2008的资料，发现一张讲Oracle主数据管理的图篇，本人觉得总结

的比较好：

一个完善的主数据管理系统一般至少包好以下五个部分：

主数据存储模型：主要用户存储整合后主数据，当前的实际情况是在一个企业内部，主数据的不同部分分布在不同的业务系统中，比如一个call center系统需要保存客户的所有联系信息，但是一个计费系统可能只需要保留客户的与计费相关

的信息，如何将客户信息形成一条完整的记录并进行存储供应，当然是需要概括所有这些系统的需求，提供一个完整的数据模型。

数据整合系统：主数据分散在不同的业务系统中，要进行数据整合，第一步是实现这些异构系统的互联互通，然后通过一定的触发机制将各个系统针对主数据的

修改同步到主数据存储库。

数据清洗系统：从各个业务系统收集到的主数据一般都不是完整的，存在这样或者那样的数据质量问题，在对这些数据使用前，需要对其进行更正和清洗。

主数据管理监控系统：主要负责对主数据的修改变更实现监控、实现主数据系统的安全性。

主数据共享系统：将更新后的主数据发布到已经订阅该信息的别的系统里，它可以和数据整合系统共享底层一套IT架构，如采用SOA架构或者ETL架构实现的底层数据同步、触发和订阅架构。

当前各个IT厂商象Oracle,IBM,Teradata,Informatic等等都推出了自己的主数据管理系统，但如果分析一下这些厂商的解决方案，不外乎三类：一类是原来从制造业主数据管理演变过来的传统产品、客户资料管理系统；二是原来的ETL厂商基于自己的ETL工具建立的主数据管理系统；三是基于现有的SOA技术实现的主数据管理系统，从功能架构上比较相似。

为了实现主数据管理系统，首先我们应该各个分散的业务系统连接起来，实现各个业务系统与主数据存储的互联互通，目前的主数据管理解决方案主要采用两种方式来实现：基于ETL工具的方式和基于SOA体系架构的方式。

1.基于ETL工具的主数据应用互联

如上图所示，一般的ETL工具本身就具有连接各种异构数据源和变化捕捉的能力，采用它来实现MDM中异构系统的数据触发、整合和发布应该是顺理成章的事情，当前Oracle,IBM,Informatica等许多具有自己ETL工具的厂商都推出了基于ETL工具的主数据管理解决方案，当某个主数据的源发生变化时，ETL的CDC(变化数据捕捉)功能就会捕获到变化，进而将变化的数据传输到主数据管理

系统的临时存储区，然后ETL工具根据定义的数据转化规则对数据进行清洗转化，形成主数据，进而ETL调用审批监管流程，一旦获得审批，ETL即可将主数据同步到主数据存储系统，同时分发给各个订阅该主数据的业务系统。这里要注意的是主数据的审批监管流程，如果ETL本身自带流程引擎最好，可以支撑流程的设计、运行、监控，否则ETL工具必须可以调用其它的工作流引擎，当

前主流的ETL工具一般都可以实现与SOA的无缝集成，既可以将数据或者转化封装为web服务，也可以调用外部的web服务。

基于ETL工具设计的架构好处是效率高，毕竟ETL是以处理数据见长，缺点是该架构最好不要跨越广域网，因为一般来讲，ETL工具都是在局域网内使用，如果网络不稳定，有可能造成数据的不一致。

2.基于当前流行的SOA架构搭建主数据管理系统，如下图：