ESB项目主数据管理
集团主数据管理平台解决方案

集团主数据管理解决方案1. 基本概念主数据:是用来描述企业核心业务实体的数据,例如客户、供应商、物料、产品、员工、组织等。
主数据是具有高业务价值的,应在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。
主数据管理:包含一整套用于生成和维护主数据的规范、技术,完整的平台包括元数据管理,信息系统集成、ETL技术、数据仓库/分析、ESB 等组件和技术。
ESB (企业服务总线):将不同系统的业务抽象成事件或服务,以基于消息内容的形式,通过协议转换、消息过滤、事件路由,对多个系统不同的事件进行整合。
2. 需求概述为满足集团业务发展,提高集团信息化管理水平,为核心业务系统搭建基础的主数据管理平台,有效解决异构系统间的主数据唯一性、一致性和共享性问题。
3. 现状描述现目前公司的核心业务主数据存储于多套不同的业务系统中,包括AJX、HR、金蝶财务等等,导致的问题主要有以下几个方面:1)没有规范的管理要求:导致不同系统使用时达不到管理要求,甚至重复管理同一数据(组织,客户、人员等);2)没有标准的规则定义:主数据到了不同的系统可能就变了名字或编码,直接导致不同业务系统的数据无法共享;3)没有统一的共享平台:系统与系统间建立点对点的连接,当系统增多的时候,这样的关系结构会更加混乱,如下图:以上3点,直接影响新建信息系统时,没有统一的接口标准可以调用主数据,而新系统要么手工维护多个系统相同的数据,要么单独为每套系统开发接口去适配4. 解决方案4.1.实现思路基于现状分析,可通过搭建主数据仓库,利用ESB平台建立各业务系统间的连接,实现主数据的CRUD管理。
主数据仓库:主要涉及以下几方面作用1) 汇总、存储分公司AJX 主数据;2) 建立分公司AJX 主数据的对应关系;3) 建立系统间主数据的对应关系;仓库中存储的主数据并不涉及其它业务系统的主数据,此处仅汇总分公司AJX 系统的主数据,并建立与其它业务系统的主数据对应关系。
ESB集成平台项目实施方案-基于IBM中间件

项目角色 行业专家
项目经理 实施经理 技术专家 咨询顾问
简历
硕士,汽车工程专业,重庆XX信息技术有限公司总经理,首席SOA咨询师、架构师 ; 20多年的制造业信息化系统建设和经验,经历了我国制造业从甩图板工程的 CAD/CAM/CAE系统建设到PDM、ERP等系统的信息化建设过程;联合撰写的《自主 变革的基石-制造业管理技术及SOA实践》和《面向服务的应用架构》两本专著,由电 子工业出版社出版;
工信部认证高级项目经理,擅长于ESB、MDM等解决方案的落地,成功管理多个ESB 项目,如三一重工、长安铃木、吉利汽车、威孚集团、敏实集团等
精通各种软件技术和IBM中间件产品,成功管理多个SOA项目,如广汽乘用车、佛山 公资办、神华准能等项目
精通IBM SOA相关中间件:Portal、BPM、ESB、WSII、CDC、TAM/TIM等软件产品的 开发、配置及使用
曾在东南汽车有限公司、长安铃木汽车有限公司、中集集团信息部门任职,参与过东 南汽车、中集集团、重庆长安铃木汽车有限公司ERP、PDM、SOA整合等众多项目, 拥有丰富的制造行业业务背景知识和实际工作经验;
项目实斲规范
服务识别
系统层面 共享数据
业务层面 协同流程
服务定义
业务定义 数据内容 数据流向 服务提供斱 服务使用斱
• 四、接口迁移 包括:现有XX个接口的服务化封装不接入,共15个应用系统
• 五、服务生命周期管理 包括:服务的开发、测试、发布、运维等管理流程
未来扩展目标
ESB+BPM实现工程变更协同流程、产 品开发协同流程、主数据管理协同流程
ESB+BPM实现企业系统间以业务流 程为驱动的数据交换
13
主数据与编码

主数据编码相关问题解析1、什么是主数据,什么是主数据管理,什么是主数据编码?主数据是指在整个企业范围内各个系统间要共享的数据,如客户、供应商、帐户、组织单位等相关数据。
需要注意的是,主数据不是企业内所有的业务数据,只是有必要在各个系统间共享的数据才是主数据,是企业内能够跨业务重复使用的高价值的数据。
主数据通常需要在整个企业范围内保持一致性、完整性、可控性,为了达成这一目标,就需要进行主数据管理(Master Data Management,MDM)。
主数据管理是一套方法论来保证系统间的协调和重用通用、正确的业务数据(主数据)。
通常,我们会把主数据管理作为应用流程的补充,通过从各个操作/事务型应用以及分析型应用中分离出主要的信息,使其成为一个集中的、独立于企业中各种其他应用核心资源,从而使得企业的核心信息得以重用并确保各个操作/事务型应用以及分析型应用间的核心数据的一致性。
通过主数据管理,改变企业数据利用的现状,从而更好地为企业信息集成做好铺垫。
信息化标准体系建设的重点内容就是信息编码建设。
信息编码(Information Coding)是为了方便信息的存储、检索和使用,在进行信息处理时赋予信息元素以代码的过程。
即用不同的代码与各种信息中的基本单位组成部分建立一一对应的关系。
信息编码必须标准、系统化,设计合理的编码系统是关系信息管理系统生命力的重要因素。
2、主数据和ESB是什么关系,主数据和编码是什么关系?2.1 主数据和ESB是相互协作的关系:主数据为ESB提供数据管理中心,进行数据整合、清洗、规范化、统一化;ESB为主数据提供传输通道,解决数据异构传输、松耦合集成等问题。
两者的目标都在于数据共享,主数据侧重于数据层管理,ESB侧重于服务接口层管理。
2.2 主数据和信息编码关系3、主数据能给我们带来什么,为什么要使用主数据编码?3.1 通过主数据管理项目的建设,将在多个方面促进企业信息化水平提升:o建设企业级的数据标准,在企业全局的范围内定义主数据、管理主数据、应用主数据;o形成企业的权威数据源与基准数据;o实现数据共享,一次录入全局使用,避免数据重复不一等问题;o基于企业级主数据进行业务集成,消除各系统“方言”,打通业务流程;o为企业的数据中心建设、大数据应用提供支撑。
ESB多系统集成项目综合看板解决方案

• 112•ELECTRONICS WORLD ・技术交流1.前言1.1 名词解释ESB 系统:企业服务总线(Enter -prise Service Bus )平台,本方案采用IBM WMB 平台。
1.2 项目背景本方案的设计和实施是构建在ESB 基础平台已经全部实施完成和应用之后的。
为了使接口异常的信息更好的展现,因此希望能通过ESB 综合看板来实现异常信息、数据流转信息的快速查看,便于业务人员和接口维护人员快速维护业务。
ESB 综合看板的功能需求有以下几点:1)界面清爽简单,便于业务人员快速了解所需数据。
2)对于接口异常数据,支持直接检索异常报文中的内容(面向接口维护人员)。
3)可以展现数据的流转状态信息,并非基于报文,而是业务系统实时提供。
另外,该ESB 综合看板也需要考虑到人员账户登录和权限分配的基本功能,并支持快速的配置和开发,可以同时调用多数据源支持,并且自身以服务方式可注册在ESB 平台之上,用于订阅接收业务异常发来的报文数据,并对其进行解析处理。
2.ESB综合看板架构2.1 ESB综合看板技术架构ESB 综合看板的技术框架选用的是SpringBoot 框架,其设计目的是用来简化新Spring 应用的初始搭建以及开发过程。
该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。
目前在快速开发领域,SpringBoot 框架技术是最为普遍和领先的,并且其本身也兼容传统的Spring -MVC 的框架内容,便于原有的技术框架的迁移。
另外在持久层的处理上,考虑到多数异常看板、数据流转看板、统计汇总模块这四个基本的模块功能。
其主要目的是方便业务人员和系统的维护管理人员从多个角度或维度来查看业务数据的流转状况和发生的异常状况。
中间模块是整个系统的基础架构的功能模块,出于实际业务要求和当前的应用场景,当前并未在前端实现其具体的业务功能操作,但在后端数据库可通过插入数据后直接实现相应的功能,例如人员和账户信息以及授权信息,都可在数据库中直接配置好。
ESB-百度百科

ESB目录1)服务的MetaData管理:在总线范畴内对服务的注册命名及寻址管理功能。
2)传输服务:必须确保通过企业总线互连的业务流程间的消息的正确交付,传输还包括基于内容的路由功能。
3)中介:提供位置透明性的服务路由和定位服务;多种消息传递形式;支持广泛使用的传输协议。
4)多种服务集成方式:如JCA,Web服务,Messaging ,Adaptor等.5)服务和事件管理支持:如服务调用的记录、测量和监控数据;提供事件检测、触发和分布功能;编辑本段二、ESB的八个扩展功能:1)面向服务的元数据管理:他必须了解被他中介的两端,即服务的请求以及请求者对服务的要求,以及服务的提供者和他所提供的服务的描述;2) Mediation :它必须具有某种机制能够完成中介的作用,如协议转换;3)通信:服务发布、订阅,响应请求,同步异步消息,路由和寻址等;4) 集成:遗留系统适配器,服务编排和映射,协议转换,数据变换,企业应用集成中间件的连续等。
5)服务交互:服务接口定义,服务实现的置换,服务消息模型,服务目录和发现等。
6)服务安全:认证和授权、不可否认和机密性、安全标准的支持等;7)服务质量:事务,服务的可交付性等;8)服务等级:性能、可用性等。
ESB 中最常提到的两个功能是消息转换和消息路由。
编辑本段三、ESB的出现改变了传统的软件架构ESB 是传统中间件技术与XML、Web服务等技术相互结合的产物,ESB 的出现改变了传统的软件架构,可以提供比传统中间件产品更为廉价的解决方案,同时它还可以消除不同应用之间的技术差异,让不同的应用服务器协调运作,实现了不同服务之间的通信与整合。
从功能上看,ESB提供了事件驱动和文档导向的处理模式,以及分布式的运行管理机制,它支持基于内容的路由和过滤,具备了复杂数据的传输能力,并可以提供一系列的标准接口。
编辑本段四、企业服务总线(ESB)的用处ESB 不是万能的,他不是一个应用程序框架,也不是一个企业应用的解决方案.它只是一个基于消息的调用企业服务的通信模块!你可以把它嵌入到你的应用程序框架中,例如嵌入到spring容器里面,或者嵌入到工作流系统中.它的作用是对企业里面的SOA服务的调用提供一个框架和简便的方法.编辑本段五、企业服务总线(ESB)的应用特征大规模分布式的企业应用需要相对简单而实用的中间件技术来简化和统一越来越复杂、繁琐的企业级信息系统平台。
主数据介绍

主数据管理系统与数据仓库系统的关系
主数据管理系统与数据仓库系统是相辅相成的两个系统,但二者绝不是重复的,也不是互斥的。 它们有很多共同之处:
首先二者对企业都具有相同的价值,可以减少数据冗余和不一致性、提升对数据的洞察 其次二者都依赖很多相同的技术手段,都会涉及到 ETL 技术、都需要元数据管理、都 第三就是二者建设手段类似,都需要数据治理的规范作为指导、都需要不同系统、不同
除了这两部分之外, 我们还可以从数据仓库系统中提取相关的信息, 作为客户主数据的衍生信息 部分,从而更好地、全方位地描述客户特征,这些可以包括:
衍生信息:
o o o o o o o o o o
本月飞行里程 年度飞行里程(最近 12 个月内) 提前预订倾向 习惯预订模式 使用自主服务倾向 上次预订使用的信用卡号 累计 / 本月转签 / 取消航班次数 转签航班倾向 取消航班倾向 No Show 倾向等。
主数据管理系统和 ODS 的关系
在某些情况下,主数据管理系统和 ODS 系统可能容易被混淆,的确,从实时上来看,主 数据管理系统和 ODS 系统存储的都是实时数据,但是二者存储的数据内容是全然不同的,主 数据管理系统中不存储交易数据, 比如银行客户的交易流水信息是不应该放在主数据管理系统中 进行管理的,这与 MDM 与 ODS 的一个很大区别。举一个航空公司的例子,比如某个客户在 电子商务网站上定了一张机票,产生一个订单,然后他又通过呼叫中心要求改签,这个场景中, 两个系统之间要实现客户信息和订单信息的共享,其中客户信息共享通过 MDM 系统来实现, 而订单信息则需要采用 ODS 或其它手段进行共享,我们是不推荐把此类信息交由 MDM 系统 来管理的。
主数据管理和实施
娄丽军 (loulj@), 软件架构师, EMC
浅析基于ESB智能制造信息系统集成设计方法

浅析基于ESB智能制造信息系统集成设计方法刘三平;龚伟;王辉【摘要】智能制造信息系统主要包括PLM、ERP、MES、WMS、QMS、主数据管理、数据采集和控制等多个信息系统,多个信息系统的数据准确实时交换是实现智能制造的前提.作为SOA核心技术的ESB提供了综合、灵活而且一致的集成方法.随着企业智能制造信息系统应用的深入,如何做好系统集成成为信息化建设的关键点.通过对集成以及ESB集成平台的讨论,阐述了构建智能制造ESB集成设计的方法,并形成构建ESB平台的顶层设计.【期刊名称】《技术与市场》【年(卷),期】2016(023)006【总页数】4页(P17-20)【关键词】智能制造;ESB;软件构件;SOA【作者】刘三平;龚伟;王辉【作者单位】中车株洲电力机车有限公司信息管理部,湖南株洲412001;中车株洲电力机车有限公司信息管理部,湖南株洲412001;中车株洲电力机车有限公司信息管理部,湖南株洲412001【正文语种】中文SOA(service oriented architecture),是以服务为导向的软件开发思想。
它要实现的是服务和技术的完全分离,从而达到服务的可重用性。
随着ESB(enterprise service bus)技术的成熟,为基于SOA架构的整合应用的实现提供了基础。
智能制造信息系统可基于esb集成技术,可根据各系统的业务情况将数据在不同系统间流转起来,使之能够协同工作。
基于智能制造的业务系统功能范围分析,可将信息系统的功能区分为九大功能域。
1)销售预研:主要负责销售过程的管理;预研项目的设计。
销售预研的过程暂时没有信息化系统支持。
2)项目、计划管理:主要负责项目的全过程管理,项目工作的拆分;项目时间、成本、质量的全程管理。
在智能制造部署后,项目管理主要由ERP系统来提供信息化支持。
3)技术研发:主要负责产品技术研发项目的执行,按照研发项目的要求,进行技术研发设计。
技术研发主要由PLM系统来提供信息化支持。
ESB+主数据的双中心建设模式

前面曾经有文章谈到过,企业信息化发展到一定阶段后,最容易出现的问题就是业务系统间的交互困难和数据多头管理和不一致。
而这里面一方面设计到ESB的服务集成,一方面涉及到MDM主数据管理系统的建设。
对于企业来讲,往往更加关心主数据平台的建设,因为对于企业而言,首先仍然是关心的是业务问题,其次才是关心数据或业务如何集成的问题。
对于主数据管理重点是解决数在企业总体应用集成架构中,这么多年来一直比较推荐的模式仍然是主数据管理和ESB平台同时建设,即双中心的建设模式,对于主数据管理重点是解决数据不一致,提供数据总线和完整数据视图的能力;而对于ESB服务总线则重点解决业务实时服务集成和协同。
同时两者之间又密切关联和协同,形成一个完整的整体。
对于主数据平台的建设,实际在我前面的博客文章已经谈到过了,这里面重点谈下关键点,已经主数据平台和ESB平台之间的一些关键衔接点。
主数据不落地,随时用的时候实时查,那么所有的基对于主数据我们最关心的还是主数据是否落地的问题,按现在的组件化和微服务架构思想可以看到,主数据不落地,随时用的时候实时查,那么所有的基础主数据只需要提供标准的数据查询服务接口就可以了。
在这种场景下不存在数据的同步,更加不存在数据的不一致问题。
但是这种模式对应用功能的开础主数据只需要提供标准的数据查询服务接口就可以了发会带来巨大的变化(这个在我博客文章,谈数据库拆分后应用开发影响里面也谈到过)。
基础主数据的分发,完全符合1对多的消息发布订阅模式,可以启用ESB的功能来实现这因此传统业务系统做法往往数据仍然会进行同步和分发,而对于基础主数据的分发,完全符合种异步实时场景,也可以说成是事件驱动架构的应用。
即主数据在有新增或变更的时候,实时通过WS服务接口将数据分发给ESB,而ESB则根据JMS消种异步实时场景,也可以说成是事件驱动架构的应用息发布订阅情况,进行实际的消息分发。
整个过程可以实现业务系统间彻底的解耦,同时实现更高的故障隔离和容错性。