SAP商业智能数据增量更新模式的实现

SAP商业智能数据增量更新模式的实现
青岛海信网络科技股份有限公司丁建德
摘要
数据ETL是商业智能应用的一个重要环节，数据增量抽取和更新可以提高系统的性能和降低数据存储空间，但大部分外部数据源均无法直接实现增量抽取，利用SAP BW产品的特性并通过编程可以实现数据的增量抽取和更新。

关键词
商业智能SAP ETL 源系统数据源信息包增量抽取
1 引言
随着时代的发展，信息化正在成为一股潮流影响到世界的各个角落，二十一世纪也在朝着一个信息化的世纪而不断迈进。

信息化就意味着大量的数据的采集，这些大量的数据除了反映各种业务状况的基本信息外，如果不被深层次地加工和进一步地利用，将会成为垃圾数据而逐步被删除和遗弃。

而数据只有进行加工后才能转化为信息和知识。

商业智能作为进行数据分析的一个重要知识体系，已经在各行各业发挥着重要的作用，著名的“啤酒与尿布”故事作为商业智能的一个典型案例已经被广泛传颂，不管该故事的真实性如何，但至少已经体现出了商业智能的强大力量与作用。

除了商业智能的效果之外，具体到商业智能的技术实现，其实现方法与机制的好坏则直接影响到系统的性能，并影响到系统的应用效果。

2 商业智能的应用
2.1 商业智能的概念
商业智能的技术体系主要有数据仓库、联机分析处理（OLAP）以及数据挖掘三部分组成。

数据仓库中的数据是根据历史数据整合而成的，数据整合的核心工作是通过抽取、转换和加载（ETL，Extract-Transformation-Load）操作实现数据仓库的建立，其本质是实现从操作型数据源到分析型数据变换。

数据整合的结果为数据仓库和面向主题的数据集市，具体体现为数据立方体等。

数据立方体（Data Cube）是数据集市的一种表现形式，也是数据仓库的一种应用模式。

数据立方体的技术核心是“维（Dimension）”和“事实（Fact）”的概念，通过把一个实体的多项重要属性定义为多个维，使用户能够针对不同维上的数据进行比较。

数据立方体是OLAP进行各种操作以实现各种类型分析的对象和依据，数据立方体的数据来源于数据仓库，数据粒度较粗，数据量较小，便于实现快速查询。

对于数据仓库的数据OLAP分析方法一般包括钻取、切片和旋转技术。

利用这些方法，可以从不同的角度对数据仓库中的数据进行展现，从而为分析者提供决策的依据。

2.2 SAP商业智能
SAP是当今全球最大的应用软件供应商，其产品除了在ERP、CRM等领域占有巨大的市场份额外，在商业智能领域，其产品SAP BW（Business Data Warehouse）也具有一定的影响。

SAP BW在技术实现上，遵行标准的数据仓库技术规范，除此之外，还有一定的扩展。

如在数据立方体星型结构的基础上，通过设置特性的属性对特性的信息进行扩充，并可以参与到OLAP的数据分析中，另外，增加除数据立方体外新的数据存储方式——数据存储对象DSO（DataStore Object）等。

通过对标准规范的扩展，使得SAP系统不仅符合规范，同时，其应用的灵活度更高，实现方法更灵活，应用更广泛。

2.3 商业智能的应用
商业智能的应用已经有很多成功的案例。

零售商业企业可以分析商品的进货、销售、库存等业务及其相关的指标；客户服务企业可以分析客户和VIP用户的满意度、客户消费偏好、客户贡献度等指标；酒店企业可以分析客房状态、营业收入、翻台率、平均房价等指标。

通过这些指标的分析，可以掌握一定时间范围内的指标趋势变化，以及指标同比或环比的变化情况，企业决策者可以根据此发现影响企业经营的制约因素，从而对企业的经营过程进行调整，以期达到改善经营、增长利润的目的。

3 数据增量抽取的实现
3.1 数据抽取存在的问题
在商业智能的应用中，数据仓库是基础，数据的ETL是数据仓库的核心工作内容。

整个ETL过程实现了从数据源读取数据、对数据进行转换、把数据加载到信息包中等过程。

通过ETL过程，源系统中的数据传输到了数据仓库中。

在SAP BW系统中，源系统中的数据在加载到数据仓库后，首先存储在PSA（Persistent Staging Area）中，而PSA是以信息包的形式存在的。

PSA中的数据可以根据需要传输到信息立方体或DSO中。

对于数据量大的系统，必须考虑增量抽取。

增量抽取的优点在于：
（1）可以缩短数据抽取的时间，最大限度地降低数据抽取过程对源系统得影响；
（2）可以缩短数据在网络中的传输时间及数据加载到数据仓库中的时间，避免在一个工作周期内无法完成所有数据项目的抽取，这在大型应用中尤其重要；
（3）可以减少数据在PSA中的数据存储量，最大限度地降低数据占用空间；
（4）提高系统数据处理的性能。

如果源系统是SAP系统本身，因SAP本身存在数据标识，数据仓库系统可以根据标识自行解决数据增量问题，而如果源系统是非SAP系统的第三方系统，数据增量问题则需要特殊的技术处理才能实现。

在源系统中，需要增量抽取的数据源一般存在两种情况：
（1）数据源中记录有业务发生或数据变化的时间，可以用作增量的标志，每次抽取时根据这个时间去确定需要抽取的记录。

（2）数据源中未记录数据业务发生或数据变化的时间，无数据字段可以判断变化的数据。

在这两种情况下，数据增量处理则是数据仓库建模的一项重要任务。

3.2 数据源具有增量特征字段的抽取实现
数据源中的增量特征字段一般为日期字段，日期字段记录了数据库记录发生的日期或时间，日期字段可以作为增量抽取的依据。

如：零售企业中的销售数据，销售日期可以作为增量字段。

首先要建立数据源，确定所读取的源系统中的表或视图。

然后建立该数据源的信息包，作为PSA存储读取的源系统中的数据。

在数据源的属性中，设置日期字段为增量抽取字段。

在信息包的数据选择中，通过编写代码实现增量抽取。

ABAP代码如下：
l_data = sy-datum.
l_data1 = sy-datum - 10.
l_t_range-low = l_data1.
l_t_range-high = l_data.
l_t_range-sign = 'I'.
l_t_range-OPTION = 'BT'.
modify l_t_range index l_idx.
p_subrc = 0.
在本例代码中，sy-datum表示当天的日期，通过本段代码可以实现每天抽取数据时抽取最近10天的数据。

如果抽取当天数据不会出现数据遗漏的可能，也可以每天抽取当天的数据，此时，l-data1=sy-datum-1。

这样，在设置完成后，执行信息包，则SAP系统从源系统中按指定的增量日期字段读取日期范围内的数据，并加载到PSA信息包中。

源系统中的数据加载到信息包后，可以进行后续的处理，如加载到信息立方体或DSO 中。

3.3 数据源无增量特征字段的抽取实现
在源系统中，如果没有可供使用的增量字段，可以考虑采用SAP BW中的DSO的特性来模拟实现数据增量抽取。

DSO是SAP系统对标准数据仓库技术规范的扩展，它主要适用于存储比较明细的数据，它的特点是加载到DSO中的数据可以按关键字段进行覆盖或累加更新，而不象Cube那样只能进行累加更新。

实现数据增量抽取正是利用该特性：源系统中的数据每次都采用完成抽取的模式加载到PSA中，再从PSA中加载到DSO中，因DSO的覆盖特性，重复抽取的数据在DSO中仅出现一次，不存在数据重复，这样就确保了DSO中的数据与源系统中的数据
是一致的。

这样从DSO向Cube进行数据加载时，系统就采用内部的增量机制进行数据加载了。

具体实现的步骤如下：
首先，在SAP系统中建立数据源，并为该数据源建立信息包，确定所读取的源系统中的表或视图，执行数据完全抽取。

然后，建立DSO及PSA与DSO的数据转换关系，设置数据字段的更新方式为“覆盖”。

执行数据加载，则PSA中的数据传输到DSO中。

最后，利用DSO中的数据进行其它的后续处理，如加载到信息立方体或其它DSO中。

4 结论
商业智能是一个技术性比较强的应用，海量数据存储的数据仓库是商业智能的数据基础，强大数据分析的OLAP是商业智能的数据分析引擎，改善数据存储和提高数据处理和分析性能是商业智能工程的一项重要工作。

因第三方源系统数据的差异性较大，无法进行增量抽取的情况普遍存在，给商业智能的信息化工作产生了一定的影响。

通过这两种数据增量抽取方式的实现，避免了数据存储和系统性能可能存在的隐患，为商业智能的广泛应用创造了条件。

参考文献
[1] 李东等，决策支持系统与知识管理系统，中国人民大学出版社，2005年出版
[2] 苏新宁等，数据仓库和数据挖掘，清华大学出版社，2006年出版
[3] 陈永杰，SAP商务智能完全解决方案，机械工业出版社，2008年出版
[4] 艾格，SAP业务信息仓库（专业版），东方出版社，2005年出版
[5] 黄佳，SAP程序设计，机械工业出版社，2005年出版。