经分系统

作业调度在经分系统中的应用作者：何朝民更新日期：2007-11-21随着市场变化的节奏越来越快，企业与竞争对手的争夺日趋激烈，企业决策层对决策的准确性和及时性的要求也越来越迫切，决策支持系统在这种情况下应运而生。

在运营商的IT建设中，最主要的决策支持系统是经营分析系统，简称经分系统。

经分系统不同于运营商的其他IT生产系统，它本身并不产生基础数据，而是经过一系列的ETL处理，将来源于各个IT生产系统中的基础数据标准化、统一化，并据此生成分析数据，根据这些分析数据来为运营商的决策提供支持。

（数据仓库是经分系统的基础，ETL是形成数据仓库中各类数据的过程。

）在早期经分系统建设中，数据从各个数据源，即各个IT生产系统进入数据仓库，形成周期一般以月为单位的分析数据。

在这种情况下，数据源不是很多，运营商的分析需求也比较少，IT人员完全凭手工或者通过定时机制来处理ETL过程中的各个任务就完全可以满足实效性和正确性的需求。

但是随着数据分析周期的不断缩短（从一个月缩短到一周、一天，甚至一个小时），接入数据仓库数据源的不断增加，以及ETL过程中各个任务之间关联的复杂度的不断增加，原有的处理机制已经远远不能满足需要了。

以中国联通全国增值业务经分系统为例，该系统用来分析中国联通全国增值业务的营销情况，数据源涉及到多个业务系统和业务网关。

这些业务系统和网关分布在全国各省，涉及到多个平台和厂商的网关设备。

该经分系统需要每天或每小时从各个数据源采集数据，经过一系列的处理形成分析数据，供联通的业务人员使用。

同时，整个ETL过程涉及到的作业多达几千个，各个作业之间的关系错综复杂。

这种复杂度主要表现在以下几个方面：1、接入数据仓库系统的各个数据源平台的多样性，包括Windows平台、Unix平台、Linux平台。

针对每种平台，IT人员需要有针对性的开发采集程序并在这些系统上执行这些采集程序。

2、数据源跨地域性。

这些系统和网关分布在全国各省、市，即接入数据仓库的IT生产系统不在一个位置，有可能分布在机房的不同楼层，分布在一个地区的不同的机房，甚至分布在不同的地区。

3、一个作业流内部跨多个平台系统。

由于分析需求的深入，一个分析需求的数据需要来源于多个数据源，并关联处理，这样在一个作业流中就会涉及到从Windows平台、Unix平台、Linux平台的作业，这些作业可能是串行的，也可能是并行的，或者是串行与并行相结合。

4、作业流内部和作业流之间的依赖关系复杂化。

这些依赖关系包括：上个作业执行完成，无论成功与否都会触发下一个作业、上个作业成功后才能触发下一个作业、上个作业失败后才能触发下一个作业等。

5、作业执行方式的多样化。

多样化的执行方式包括：按照预先制定的时间计划来触发执行、按照预先设定的一个事件来触发执行、通过人为操作即时执行等。

鉴于上述ETL过程的日趋复杂，必须有一个自动化的作业调度系统来统一管理整个ETL的作业，组织各个作业之间的关系，实时监控作业的执行情况。

完善的作业调度系统应该具有以下功能：1、跨平台性。

作业调度系统的客户端可以部署在不同平台上，并且各个平台之间的调度客户端可以相互通信。

2、集中监控。

作业调度系统是分布式的，客户端分布在各个数据源上，但却是在一个控制终端上集中操作和监控。

3、支持多种作业执行方式，可以定义多种作业依赖关系。

4、高可视化的GUI操作界面。

所有的操作都是通过图形界面来完成的，包括作业的定义、作业流的定义、依赖关系的定义、启动作业、停止作业等。

5、监控的实时性，能够实时向控制台返回作业的执行情况。

6、屏蔽底层物理设备、网络的复杂性。

一个作业流可能跨多个系统，分布在不同的地域中，但是对于操作人员或监控人员来说，他们不需要关心这些，只关注作业的逻辑关系就可以了。

7、提供异常通知功能。

用户可以定义作业的异常条件和异常通知方式，如通过Email、通过手机短信等。

8、提供异常处理功能，如可以定义当一个失败的作业后可以重新执行等。

有了一个完善的作业调度系统，就可以将整个ETL过程中的每个任务有机地组织和管理起来，不但减轻了IT人员的工作负担，提高了工作效率，同时也能即时了解整个作业的执行情况，即时知道其中发生的异常，从而可以快速反应，将由此导致的损失降低到最小。

而且自动化的作业流处理机制也大大减少了每个作业之间的停顿时间，缩短了整个ETL的处理时间，从另一个层面解决了ETL的处理效率问题。

中国联通在采用作业调度系统后，系统维护人员可以通过图形界面方便地定义作业、作业的执行方式、作业之间的关系，直观地了解作业处理的情况，即时获得作业处理的异常情况，从而可以快速解决问题，使分析数据可以及时被业务人员使用。

这样不但节约了IT维护成本，提高了工作效率，而且由于分析数据能够及时生成，使业务人员可以及时了解业务发展情况，快速做出业务决策，提高竞争力。

市场上的作业调度软件除了国外的产品，国产的作业调度软件也逐渐成熟起来，如神州泰岳软件股份有限公司自主研发的作业调度软件Ultra-Flow Organizer。

该产品是神州泰岳结合多年数据仓库的开发实施经验，汲取其他调度产品的优点而开发出来的一套专业作业调度平台。

它能够处理复杂的作业依赖关系，可以实现实时作业监控，具有良好的人机操作界面，以直观、简单的图形界面显示作业的定义内容、依赖关系和执行情况。

神州泰岳的作业调度系统具有跨平台、跨系统的特点，屏蔽了复杂的系统环境，很方便地在一个统一、直观的界面中实现管理和维护。

目前已经在运营商的数据仓库项目中发挥了很好的作用。

上海企业老总深度体验BI支持决策12月26日，神州数码管理系统有限公司在尊品咖啡举办了“提升决策力睿智大管家”高阶用户茶座交流会，此次会议主要面向公司管理高层，进行新产品BI的推广和演示。

随着经济全球化的不断深入，技术的不断革新及需求多样化，企业竞争日趋激烈。

在残酷竞争的环境下，企业普遍面临毛利、获利下滑的威胁，为维持竞争力，企业开始回头反视作业流程，期望现有的各种e化系统能发挥更好的效益，从各个经营环节来找到节省成本的空间，从中挤出利润。

巨大的压力使我们的领导心力交瘁、疲惫不堪。

面对密密麻麻的表格堆砌了大量数据，到底有多少业务人员仔细看过每一个数据？到底这些数据代表了什么信息、什么趋势？数据是否太多，信息是否太少？海量数据深处潜在含有哪些规则呢？什么客户对我们价值最大，产品之间相互关联的程度如何？越是深层的规则，对于决策支持的价值越大，但是，也越难挖掘出来！神州数码(DCMS)易拓(TIPTOP),易飞(WorkFlow),易助,企明星,工作流(EasyFlow),PDM,CRM,SCM,BPM,BI,OA L/ a4 n! @8 f. e!p( f, R面对上述重重疑问，神州数码同样做出了自己的解答。

“工欲善其事，必先利其器”，BI现场演示，给现场所有的老总一个强烈的震撼，强大的功能，精美的画面，所有的数据都以图表的形式呈现，并且能动态的显示以及分析。

呈现过程中，所有来宾都表现出极大的兴趣，问题不断。

整个过程分为四个部分，分别介绍了以赢利为核心，揭示企业经营的奥妙；销售EIS，挖掘销售提升的玄机；财务EIS，为企业打开财务分析之门以及KPI，建立企业战略与执行力的通道。

最后神州数码ERP副总林宪奇为来宾分享了神州数码在KPI考核方面的经验和体会，揭开神州数码管理的神秘面纱。

神州数码(DCMS)易拓(TIPTOP),易飞(WorkFlow),易助,企明星,工作流(EasyFlow),PDM,CRM,SCM,BPM,BI,OA, I. R$建设以动态数据仓库技术和工作流管理为基础的经分系统作者：河南移动业务支援中心崔洪涛时间：2008年01月29日中移动的经营分析系统建设从起步到现在已经过了5年多了，其建设和应用速度是令人惊奇的，短时间内走过了数据仓库发展史上较长时间的历程，虽仍存在各个省份之间发展的不均衡现象，但总体的发展层次较为清晰。

而下一步向那里发展，中移动集团公司虽有定论，但上个月公司老总来我们业务支援中心调研，提出个使我们倍感压力的要求——“成为精细营销的缔造者”。

这和今年3月集团公司沙跃家副总在杭州提出的由“支撑者”向“使能者”转变的要求差不多，都是需要及其艰辛的努力选择。

我从个人角度结合业界的一些看法描述一下自己的认识。

经营分析系统的存在和发展受两方面的制约，一个是企业的决策结构化程度，另一个是数据仓库技术的发展。

企业的决策结构化程度分为三个层次：第一层是结构化决策，是根据固定的规则和定义利用IT系统快速进行判断，追求的是效率和速度。

如计费用户的识别。

第二层是半结构化决策，是短期、不定时、触发式的根据结构化决策得到的信息而进行的行为调整。

如部门经理或者主管根据计费用户数的增长，判断是属于正常情况，还是市场潜力有限，还是在发展用户的过程中存在“杀鸡取卵”的行为，而做出下一步计划。

第三层是非结构化决策，其决策过程复杂，没有规律可循，外部环境影响较大。

如企业战略定位。

第一、二层属于战术层面，其在经营分析系统的应用推广中具决定地位。

而数据仓库技术的发展和演进变迁决定着我们的应用水平，但从我们所处的情况来看，应用水平低于技术水平的变迁。

就中移动现有经营分析系统的位置来讲，已经过了第一阶段“批处理－信息整合”也就是“报表阶段”，实现了从“发生了什么”向“为什么发生”的进化，即第二阶段“分析阶段”；并对的第三阶段“预测阶段”“将要发生什么”方面进行了预测模型的尝试，但目前还没形成大规模应用。

第四阶段是动态数据仓库阶段，即实时决策阶段，要准确了解“正在发生什么”，这是07年数据仓库领域普遍发展共识。

第五阶段是“事件触发的自动决策阶段”，实现“希望发生什么”。

目前还处于实践初步。

第一到第三阶段侧重于企业内部的战略性决策，第四阶段及以后是战术性决策支持，重点则在为执行公司战略的员工提供支持。

这一点无论是和集团公司“支撑一线”的要求，还是业务部门的要求，以及我们对于业务的支撑目标都是一致的。

企业的决策结构化程度和数据仓库技术的发展对照如图1所示。

图1 企业的决策结构化程度和数据仓库技术的发展对照从表中可以看出来很有意思的事情，经营分析从一开始建设就是“一把手”工程，这个是和数据仓库技术的发展相对应的，但若使其发挥效益，就必须在应用上向基层倾斜，在技术手段上向半结构化决策倾斜，并把部分半结构化决策转变为结构化决策加以实现。

基于这些我觉得下一步发展有两个方面：从结构化决策的程度来说继续加强现有的结构化应用，并将一部分半结构化的决策加以固化，以外设条件和流程的方式向结构化决策迁移，提升IT系统的效率。

从数据仓库技术发展来说，继续加强对数据的预测能力建设，加强动态数据仓库的建设，实现决策的实时化和营销的动态化。