基于数据仓库的商业银行反洗钱系统的架构

基于数据仓库的商业银行反洗钱系统的架构

摘要：主要阐述了银行搭建统一基础数据平台的必要性和深度挖掘“客户效益”所起的作用，对构建企业级数据仓库平台及实现银行反洗钱系统按层作了的详细的设计。

关键词：数据仓库；反洗钱；ETL；Business Intelligence

1 反洗钱系统的构建

1.1 构建目标

构建商业银行企业级数据仓库系统的总体目标分为以下2点：①构建统一的数据平台；②集成现有的核心业务系统、外围业务系统、管理业务系统、前置系统等数据，并进行一致性和完整性整合处理，按主题进行数据重组和格式转换，为银行管理层提供一个真正涵盖全部业务的统一视图，从物理和逻辑上满足数据仓库的建设要求。

构建统一的应用平台。通过完整的系统规划和设计，构造完善的系统体系结构和技术框架，保证系统的可扩充性和稳定性。按照用户的分析需求，使用报表、随机查询、多维分析和数据挖掘和门户集成等多种方式进行数据展现。

1.2 目标定位

商业银行反洗钱工作的主要目标定位在：通过检查确认银行在反洗钱内部控制制度的制定、执行等各个环节存在的缺陷，

促进银行加强管理、降低经营风险；通过对银行交易数据的检查，发现洗钱等金融犯罪活动的线索，联合其他监管机构对此类范围活动进行打击，以维护公众利益，保障金融安全。

反洗钱系统平台作为开展反洗钱信息监控报告工作的核心，并保证反洗钱系统的稳定性、可靠性、安全性及可扩展性。具备特点如下：①商业的全辖业务、反洗钱监控报告信息的ETL；

②本外币、大额与可疑交易的统一平台；③可疑交易量化模型；

④集中的信息数据存储；⑤灵活的计算引擎；⑥可扩展的规则引擎；⑦自动化的流程引擎；⑧完整的反洗钱工作处理过程；⑨丰富的反洗钱监测、调查与报告功能；⑩灵活的数据报送接口；

B11

基于J2EE体系架构的系统平台。

2 系统设计方案

根据反洗钱系统的功能需求和上级监管机构对反洗钱工作的要求以及银行的内部反洗钱工作机制管理的需要，系统从逻辑机构上按以下5个层次进行设计开发，各层次采用灵活的接口设计进行衔接，分别实现不同层面的功能和业务需求。逻辑层次划分如下：

数据采集层、数据存储层、数据处理层、信息管理层、信息报送层

2.1 数据采集层

本系统面向银行的各数据源，提供了灵活的接口进行数据采

集。

此外，数据采集层提供了一整套数据采集服务，实现了自动化流程的数据采集、Excel文件导入等功能。通过各种的加载策略，完成数据抽取、数据转换、数据装载等一系列过程。数据采集逻辑结构如图1所示：

考虑数据安全性，ETL过程的复杂性、合理性等方面，反洗钱系统的ETL过程分为两部分：①将外部数据源（数据仓库数据缓冲区或核心平台区）中的数据经过第一次ETL过程，加载到反洗钱的数据缓冲区（临时区）；②将反洗钱数据缓冲区（临时区）中的数据，经过转换和处理，

加载到反洗钱数据集市中。

在上述过程中，数据在逻辑上划分为外部数据源，反洗钱缓冲区和反洗钱数据集市3个数据区域。外部数据源可以是数据仓库的数据缓冲区，也可以是其核心平台数据区，即经过数据路径1或数据路径2，但两条路径互斥。当反洗钱数据库和数据仓库在物理上是统一，外部数据源允许，且提供出错处理机制的情况下，也可以将外部数据源直接做为反洗钱的数据缓冲区，从而减少物理存储空间占用，减少ETL环节，提高ETL时间效率。具体处理过程如图2所示：

为了保证反洗钱系统的顺利实施，满足监管机构的监管要

求，配合银行内部IT建设整体规划，反洗钱系统的初次建设以数据仓库的缓冲区（类源业务系统数据模型）作为数据源，ETL 过程经过路径1；待数据仓库核心模型建设完成后，反洗钱系统进行改造，将数据源迁移至数据仓库核心数据区，ETL过程经过路径2。

2.1.1 数据的抽取

在将数据从数据仓库抽取出来的过程，以非实时的数据采集方式实现，主要有以下几种方式，如下图所示：①第一种方式，是数据仓库将数据“推”出来（出于系统安全性、数据安全性、系统性能等因素），形成数据文件，再使用加载工具读取数据文件。多适用于数据仓库和反洗钱数据库物理上是独立的情况；

②第二种方式，是ETL工具通过各数据库连接方式（驱动），访问数据源，读取数据；③第三种方式，加载工具/应用程序通过ODBC/JDBC直接访问数据仓库，将数据直接从数据仓库中抽取出来，对于数据量不大的情况适用。

考虑我行的数据环境，软硬件环境，以及效率等因素，建议采用第二种方式。

2.1.2 数据的转换、分布及存储

作为反洗钱数据库的源数据的数据格式通常是相异于反洗钱数据模型的。因此数据在进入反洗钱数据集市之前都要经历一定的清洗和转化的过程。数据采集服务提供给用户丰富的转化程序以确保其可以满足各种对数据进行净化、重组、关联、标准化

和求和的需要，从而使数据更为准确和有用。这些转换方式包括：SQL函数、计算监控数据库转换程序、统计算法以及自定义函数。

2.1.3 数据装载

数据采集服务充分利用目标数据库的快速数据装载功能，将数据装入到反洗钱数据库的目标数据库中。数据采集服务中提供的数据装载功能可以和其它数据抽取、转换功能结合在一起被统一调度执行。

一般地，在反洗钱数据集市的具体构建中，可以在反洗钱数据集市中直接对数据进行加工处理。对于比较大的数据量，往往采用将数据库中表的处理结果写入硬盘，然后再利用快速数据装入功能装入数据库的方法来提高反洗钱数据库的处理速度。

2.1.4 流程的自动化

数据采集服务的定时调度功能有效地减少了在建立反洗钱数据库以及日常的抽取数据时所需要的人为的干预工作，可以保证所有流程的自动化。

数据采集服务的引擎调度对每一个采集流程支持如下流程控制：①成功时：指示一个采集流程将在它前面的流程运行成功时才开始运行；②完成时：指示一个采集流程将在它前面的流程运行完成后开始运行，无论前一个采集流程是否成功；③失败时：指示一个采集流程将仅在它前面的流程运行失败时才开始运行。