为什么需要主数据管理

主数据管理的概念、技术和应用

主数据管理的定义

我们从定义MDM是什么开始，关于这个问题有两种观点，分别对应于MDM 这个词组的重音位置的不同。

1．主数据管理－或者称为管理主数据。这包括建立和维护主数据的一些管理性的应用。例如，客户数据整合（CDI，customer data integration），产品信息管理（PIM，product information management），以及用来管理类似数据主题的其他应用。

2．主数据管理－或者称为数据管理之后的一系列管理过程。这包括整合企业数据（包括主数据）所需要的基础结构和技术。例如ETL（extraction, transformation, and load）和EII（enterprise information integration）等技术。

MDM的官方定义为：

A set of disciplines, applications, and technologies for harmonizing and managing the system of record and system of entry for the data and metadata associated with the key business entities of an organization.

主数据管理是一系列的规则、应用和技术，目的是为了协调和管理与企业的核心业务实体相关的数据和元数据的系统记录和系统项。

简单的说，主数据是企业内关于核心业务实体的参照数据。这些业务实体包括：

1．人员－例如，客户，雇员（人力资本），供应商，合伙人等。

2．事物－包括产品，财务（分类帐），资产等。

3．场所－企业感兴趣的位置和地点。

4．其他关键实体－企业感兴趣的其他数据。每个企业都会有自己特有的关键实体。

MDM应用包括一系列的处理过程，这些处理过程包括整合、存储、维护企业内业务实体的特定实例，如将企业内地理位置数据、产品数据和客户数据等做标准化处理。完整的维护后，主数据就成为了这些实体的系统记录（SOR，system of record），也就是说，对于每一个实体，MDM中提供的数据就是该数据的完美的最终版本。这些数据也是企业内参照数据的最终版本。

讨论一下哪些数据不包括在我们对MDM的定义内，也同样是非常重要的事情。MDM应用不会保存那些和业务实体相关的特定业务处理数据（BTx，business transaction），例如与客户实体相关的帐户余额信息、取款信息。这

些业务处理系统产生的数据会被整合到操作数据存储（ODS，operational data store）中。而BTx的历史数据会保存在商业智能（BI，business intelligence）部件中，如数据仓库和数据集市。

没有一个强制规定所有的主数据必须保存在MDM系统中。有些主数据的维护必须保留在业务处理应用（BTx）中，或者保留在外购应用，如前端的CRM 中。这使企业的IT环境变得复杂，也给主数据的质量和准确性带来了挑战。

在传统IT环境中的关于主数据的问题

在今天的大多数企业里，没有一个单一的MDM环境来管理主数据，主数据被分散在多个业务处理系统（BTx）中，这些业务系统关于主数据都有自己的业务模型、规则和定义。不同业务系统中的数据、业务模型、规则等经常出现重叠和冲突的情况，这使得在企业内获得一致、准确的操作型主数据变得非常困难。

为了在商业智能环境中解决主数据的一致性问题，很多企业整合并维护了主数据的历史记录，并将它们和事务数据一起保存在数据仓库之中。有很多建立数据仓库方法，但是通常来说，对当前的主数据和事务数据进行整合、合并及传播等处理，并将结果保存在存储低延迟数据的ODS之中，而历史的细节数据和汇总数据则保存在企业的数据仓库或者数据集市之中。

MDM的业务目的

通过对没有MDM的IT环境进行分析，我们可以很容易的理解MDM的业务目的。分析结果可以总结为下面的四个主要问题：

1．数据冗余

没有MDM功能，企业内的每一个系统、应用、甚至业务部门都会收集自己版本的核心业务实体数据。最好的例子就是对客户数据的收集。客户的关键属性如客户名称和地址信息在企业内各个角落都被重复的记录着。非常遗憾的是，在这个收集客户信息的过程中，很少会产生相同或者一致的结果。这导致了一个很严重的问题（除了存储成本之外），数据冗余导致数据质量过差。

根据The Data Warehousing Institute的一份报告（Data Quality and the Bottom Line, by Wayne Eckerson）显示，由于数据质量过差，企业每年的总共损失超过$600 billion，而且其中的大部分成本是因为冗余、低质量的主数据引起的。这也引起了下面提到的第二个主要问题。

2．数据不一致

由于企业内主数据的不一致，导致企业大量的资源浪费，包括时间、金钱和人力资源等的浪费。判断企业内一个客户的真正地址或姓名是到底什么并不能增加企业的收入。而且非常不幸的是，因为没有一个存储机制用来保存比对过的客户数据，这种对客户数据进行一致处理的过程需要重复出现。

3．业务低效

凌乱的主数据会导致各种业务低效的情况发生，如低生产力，低效的供应链管理，不一致的客户待遇，客户不满意，浪费市场部门的努力等。一个客户服务代表需要综合几个操作型系统去判断一个客户的真正状态，这不仅是低效的，而且有可能会由于信息的不全使客户产生不满意而逐渐失去这个客户。企业内的各种工作都显示出，凌乱的主数据管理严重降低了企业的效率。

4．业务变化

企业内经常发生各种变化，如引入新的产品和服务，公司合并与吞并，新技术出现并成熟。这些企业内的各种变化都会导致企业主数据的变化，如果没有一套机制来管理这些变化，企业在数据冗余、数据不一致和业务低效等方面的问题就会不断加剧。

MDM在IT基础结构中的角色

MDM系统、应用及服务经常作为已存在的业务处理系统和商业智能系统在战术上的扩展。但是，为了企业的发展，一个从战略层面上考虑的MDM方案应该被单独的提出来，这个方案应该是全企业范围的，应该有企业的高层支持。这个MDM系统应该作为主数据的有效资源，给其他IT系统提供主数据。它不应该只在已有的IT应用上进行调整，也不应该为了解决一些问题而建立成分散的主数据管理应用。

MDM不应该是一个自底向上的战术项目，企业必须要有一套战略的MDM 计划。企业应该建立一个全企业范围的主数据管理，真正去解决主数据问题，而不应该为了减小企业主数据问题而在原有系统上修修改改。

MDM的技术挑战

很多与MDM相关的技术问题在前面都讨论过了，下面是主要技术问题的一个总结。

第一个挑战是要建立一个灵活的MDM业务及数据模型。这个模型是我们走向成功的路线图。我们永远也不能收集全企业内需要的所有的主数据。这个对主数据的需求会随着时间而发生变化，如随着业务的改变、市场方向的变化及企业文化的变化等发生变化。因为，对于主数据模型的设计者来说，必须要建立一个灵活的模型，当一些变化发生时，不能对以后的模型产生较大的影响。有些MDM 供应商可以提供可定制的行业模板及数据模型，这对我们开始MDM项目很有帮助。

第二个挑战是关于主数据质量的管理问题。数据质量包括标识和定义所有的主数据属性，对这些属性的质量进行评估并更正存在的问题。这是一个非常重要的任务，尤其是对于企业内各个部门之间的数据出现不一致的定义及使用方式时，这时需要对数据进行一致性处理。数据质量处理有两种方案，第一种是在

MDM方案开始实施时，所有的数据源都先进行数据质量清洗；第二种方案是在MDM方案中一个一个的清洗来自各个数据源的数据。当数据源的数据发生变化时，同样的数据质量清洗操作也需要进行。市场上有很多数据质量和数据概况分析工具可以为我们提供帮助。对于一些特殊类型的主数据实体，也有特殊的工具可以帮助我们进行数据处理，如地址模式匹配，对产品进行语义分析等。

第三个挑战是由于主数据发生变化而引起的。就像主数据模型需要保持灵活性来接受新的主数据属性一样，MDM应用也必须具有处理复杂变化的能力，这种变化不光包括数据内容的变化，还包括数据的层级结构、数据之间的关联关系以及在数据之间建立新业务规则等内容的变化。变化是不可避免的，因此，当我们选择一个MDM技术时，要确定当发生变化时，这个技术的处理不应该很复杂。

第四个挑战是如何将SOE从操作型系统中迁移到MDM系统中，这需要同时面对文化和技术上的挑战。技术上的挑战是要保证将SOE从操作型系统迁移到MDM的过程要顺畅，不要出现各种问题。当越来越多的SOE迁移到MDM 环境时，相应的操作型系统中的录入功能要禁止掉，否则会出现重复录入的问题。如果一个SOR不能迁移到MDM系统中，要保证有一个简单的方式将外部的主数据迁移入MDM系统中，来保证SOR是最新的。

MDM面临的第五个挑战是对标识的管理，尤其是对客户主数据来说。因为客户可能是全球范围的，客户之间有着复杂的关联关系，而且这些关联关系还在不断的变化中。MDM环境必须能够建立对这些客户建立唯一的标识来适应这种复杂的情况。在很多情况下，这也是文化上的问题。企业必须能够同意建立这些全球内唯一的标识来鉴别不同的客户，这样才能确保MDM维护主数据的更新和变化的功能。

MDM面临的最后一个挑战是关于MDM整个基础结构的挑战。不论MDM 这个概念是新的还是旧的，都需要一套技术体系来支撑它。有很多公司都建立了部分的或者不完善的MDM解决方案。这些对供应商来说也许是好事。这些供应商一般会关注于MDM环境中的某个特定技术，对此进行研究和开发，例如进行数据质量管理等。所以，这些供应商一般都是对MDM的某个一个特定部分可以提供完善的解决方案。而企业必须要保证这些不同供应商提供的技术可以整合成一套完善的MDM基础机构。而且，由于在MDM环境中包含了大量的、复杂的、分散的数据环境和系统，这就使得MDM解决方案能提供通用的主数据整合基础结构变得至关重要。这个MDM基础结构必须要和企业的数据整合策略及方案保持一致。

有些供应商会提供包含MDM环境各个部分的完善的解决方案。在很多案例中，这些供应商都合并或者收购了提供专门技术的公司，来组成完整的解决方案。这些完整的解决方案不一定在每一个环节都是最好的，他们的优势在于可以减少由于供应商的不同而产生的数据接口和数据交互。企业需要自己来决定什么样的解决方案是适合自己的。

MDM对传统IT环境的影响

在传统的IT环境中，主数据是分散到不同的业务处理应用中的。使用数据联邦技术可以创建主数据的一个虚拟视图。当前的主数据可以被合并到ODS之中，或者合并入数据仓库之中，作为分析的基础。

在传统的IT环境中增加一个主数据标识登记系统并不会影响主数据在企业内的流转方式。通过主数据的全局标识及数据联邦技术可以使位于不同业务系统中的操作型主数据互相关联。这些主数据的全局标识也可以保存在ODS之中或者数据仓库之中，这样可以使主数据的访问变得简单一些。

建立一个主数据整合中心可以增强传统处理中的主数据传播能力，主数据整合中心会将变化的主数据在操作型业务处理应用中传播。一个主数据整合中心的建立也会对ODS的设计产生影响。主数据存储在整合中心中，剩下的事务数据存储在ODS之中。主数据整合中心和ODS一起将历史数据传播到数据仓库之中。

企业主数据管理对企业内主数据流动的影响相当的大，因为企业主数据管理将当前的及历史的主数据都维护在主数据存储（MDS）之中。这就意味着主数据不再需要维护在ODS或者数据仓库之中。MDS就可以用来为数据仓库信息处理提供维度数据。MDS中存储的历史主数据可以为进行当前信息和历史信息比较的BI应用提供数据。举例来说，MDS中保存的历史主数据可以支持按照2005年的销售区域划分来对比分析2005年及2006年的销售情况，尽管在2006年已经将销售区域进行了重新划分。在财务报告中，这种分析能力尤其有用。

企业MDM也可以针对数据仓库中信息提供主数据变化的模型，通过这个模型可以预测主数据变化对业务操作系统的影响。

关于MDM的误解

由于MDM是一个相对较新的领域，业内对于MDM是什么、在企业内应该如何来实现等问题有一些不同的观点。下面列出了我们在研究中遇到的一些关于MDM的误解：

1．MDM是一个数据仓库或商业智能项目。

这是不正确的，MDM既不是BI/DW项目，也不是操作型项目。MDM是另一类实现方式，它的建立对前面的两种环境都很有利。MDM可以使用操作型环境作为自己的数据源，但是一旦数据被清洗、整合、加载入MDM知识库后，这些数据就成为数据仓库、ODS、数据集市等的数据源或者SOR。

2．MDM仅仅为了维护企业内业务处理应用中数据的一致性。

这也是不正确的。当然主数据可以维护这些系统中数据的一致性，但是它的作用不仅仅如此。作为SOR，主数据知识库可以作为各种系统、应用和环境的标准数据源。

3．MDM只是另一个数据整合项目。

这是不正确的，MDM项目除了数据整合之外，还需要业务用户的参与并制定MDM的原则和政策等内容。MDM功能是全企业的事情，企业内的每一个应用都会和主数据的设计、配置和使用有关。数据专员和数据管理员都需要进入MDM项目之中，来解决全企业的主数据统一视图的问题。

4．MDM整合并管理了所有的企业数据。

这是不正确的。MDM仅为核心业务实体提供SOR。其他的事务数据必须被维护到其他地方，如操作型系统、ODS或者具有混合负载的数据仓库环境中。