数据交换平台功能白皮书

数字校园系列软件产品

数据交换平台

功能白皮书

目录

1 产品概述............................................................................................................................... - 3 -

1.1 产品简介................................................................................................................... - 3 -

1.2 应用范围................................................................................................................... - 3 -

2 产品功能结构....................................................................................................................... - 4 -

3 产品功能............................................................................................................................... - 5 -

3.1 数据源适配器........................................................................................................... - 5 -

3.1.1 数据源类型................................................................................................... - 5 -

3.1.2 数据获取方式............................................................................................... - 5 -

3.2 数据抽取................................................................................................................... - 6 -

3.2.1 抽取全量、增量数据................................................................................... - 6 -

3.2.2 数据过滤....................................................................................................... - 6 -

3.2.3 数据关联....................................................................................................... - 7 -

3.2.4 数据分包....................................................................................................... - 8 -

3.2.5 数据加密....................................................................................................... - 8 -

3.2.6 数据压缩....................................................................................................... - 8 -

3.2.7 数据备份、删除........................................................................................... - 8 -

3.3 数据传输................................................................................................................... - 9 -

3.4 数据映射、转换....................................................................................................... - 9 -

3.5 数据同步................................................................................................................... - 9 -

3.5.1 数据同步方式.............................................................................................- 10 -

3.5.2 数据同步异常.............................................................................................- 10 -

3.6 服务调度.................................................................................................................- 10 -

3.7 运维监控.................................................................................................................- 11 -

3.7.1 告警监控.....................................................................................................- 11 -

3.7.2 流程监控.....................................................................................................- 11 -

3.7.3 资源监控.....................................................................................................- 12 -

3.7.4 日志管理.....................................................................................................- 13 -

4 产品特点.............................................................................................................................- 13 -

4.1 支持多种数据交换方式.........................................................................................- 13 -

4.2 服务调度时间多种选择.........................................................................................- 13 -

4.3 进行可视化的数据交换过程监控.........................................................................- 14 -

4.4 提供多种数据个性化业务处理.............................................................................- 14 -

4.5 支持海量数据处理.................................................................................................- 14 -

4.6 先进的体系结构.....................................................................................................- 14 -

4.7 完善的安全设计.....................................................................................................- 15 -

5 运行环境.............................................................................................................................- 15 -

5.1 服务器配置.............................................................................................................- 15 -

5.2 客户端配置.............................................................................................................- 15 -

6 典型客户.............................................................................................................................- 15 -

1产品概述

1.1产品简介

在校园信息化趋势日益高涨的同时，暴露出很多问题：

信息化建设缺乏统一指导和总体规划，各部门独自为战，信息孤岛现象日益严重

由于建设时期不同，采用的技术架构和建设情况各有差异，各系统之间的运行管理维护等也相对独立

缺少统一应用平台，不能提供基于全面准确的标准数据及基于此的决策分析等深层次的增值服务

数据交换平台正是立足于解决以上问题，通过对现有的系统进行数据整合，尤其是对相关的数据资源进行整合，消除“信息孤岛”，实现校园内各种信息系统的互通互连和数据共享，形成统一的数据服务层，为上层应用提供数据服务，为校园综合信息服务的便利、完善和高效提供可靠的数据基础。

数据交换平台采用星型拓扑结构，有效的简化了网络结构，实现了数据交换智能路由功能，根据交换数据内容，能够方便实现一点对多点，多点对一点，以及发送、转换、转发、接收等多种交换流程。

通过采用中间件机制，很好的屏蔽了应用系统直接的耦合程度，实现了数据的无缝交换和共享访问，保证了各应用系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提高了系统运作效率和可靠性。

1.2应用范围

2产品功能结构

数据交换平台功能结构图

3产品功能

3.1数据源适配器

3.1.1数据源类型

数据交换平台支持各种主流、非主流的数据源，通过数据适配器可以灵活扩展。

●支持多种主流关系型数据库，包括：Oralce（9i、10g、11g）、Microsoft SQL

Server（2000、2005、2008）、IBM DB2、Sybase

●支持多种ODBC数据类型，包括：Microsoft Access（.mdb）、Microsoft Excel

（.xls）、VisualFoxpro（.dbf）

●支持XML文件

●支持Webservice

●支持纯粹的文件类型，例如：照片、Word文件

3.1.2数据获取方式

数据交换平台支持多种数据获取方式：

数据库视图

可以从指定数据库的视图中提取数据。

数据表

可以从指定数据库的表中提取数据。

自定义SQL

可以用自定义SQL从指定数据库中提取数据。

Webservice

可以从指定Webservice提供的方法中提取数据。

文件

可以从指定XML、Excel、Access、Dbf文件中提取数据；可以把任意类

型的文件从一个地方交换到另一个地方。

3.2数据抽取

数据交换的第一个环节是要进行数据抽取，根据特定的业务规则进行抽取，例如：抽取全量数据、抽取增量数据、数据过滤、数据关联、数据分包、数据加密、数据删除、数据备份、数据压缩等。

3.2.1抽取全量、增量数据

根据实际业务需要，数据交换平台需要获取全量或者只提取有变化的数据，即增量数据。

全量、增量数据

3.2.2数据过滤

对于业务系统提供的数据，有些数据不是实际需要的，那么可以通过设置数据过滤条件和选择数据字段，对数据源进行过滤。

选择字段

设置过滤条件

3.2.3数据关联

业务系统提供的数据中，缺少某些字段，需要关联其他系统的数据后才能得到，通过数据关联可以轻松解决此问题，要关联的数据源类型和源数据一样都支持所有数据类型

数据关联

3.2.4数据分包

针对大数据量的抽取，一下子读取所有数据，对系统压力比较大，通过数据分包，按照数据条数可以把数据分成多个包，分包进行交换，大大减轻系统的承受压力。

3.2.5数据加密

针对一些机密数据，在数据抽取过程中，会对数据进行加密，即使在交换过冲被截获，也无法获取数据的真实内容。

3.2.6数据压缩

针对大数据量的抽取，可以采用数据压缩，缩小数据文件的大小。

3.2.7数据备份、删除

针对增量数据源的数据，数据抽取完需要删除原数据，为保证数据的完整性，在删除前，需要对数据进行备份。

3.3数据传输

数据抽取完成后，下一步就是数据传输，传输时可以通过Http协议和Ftp 协议进行传输。

3.4数据映射、转换

数据映射、转换环节是数据交换平台中的重中之重，主要提供了以下支持： 字段关联合并

多个字段可以合并到一个目标字段，字段首尾可以连接自定义字符 大小写转换

对字段进行大小写转换

首尾空格删除

对字段首尾空格进行删除

字段长度计算

获取字段内容长度

映射配置

数据映射关系的配置，可以通过拖曳式的操作，建立源和目标之前的对应关系

3.5数据同步

经过数据抽取、数据映射转换后的数据，就可以给目标数据源进行同步了。

3.5.1数据同步方式

数据同步支持的方式有：

数据表

目标数据源为数据表，需要指定数据表的主键，同步过程中根据主键来

判断数据插入、更新。

存储过程

存储过程提供输出参数，在目标数据源配置中指定预期输出，在同步过

程中，判断预期输出值和输入值是否一致，同时记录异常数据和异常原

因。

Webservice

通过判断Webservice调用后的返回结果和预期是否一致，判断同步是否

成功，记录成功的记录数和失败的记录数。

文件

把转换后的数据同步成文件，文件类型可以是任意文件类型

3.5.2数据同步异常

数据同步过程中的异常数据，系统会自动记录下来，包括数据和错误原因，在监控平台上，可以下载异常数据和异常记录，供系统维护人员进行分析处理。

3.6服务调度

每一个源数据源和目标数据源之间的数据交换频率是不尽相同的，可以为每一个流程设置运行周期调度：

●流程在启动状态时执行，满足轮询策略

●具体到某一时刻执行

●设置时间段运行

●周期运行，周期可以设置为分钟、小时、天、周、月、年

服务调度

3.7运维监控

数据交换平台提供了多种监控，实时反映各个数据交换流程的运行情况，服务器资源的使用情况，交换平台的整体接入情况。所有的流程都可以进行启动、停止操作。

3.7.1告警监控

提供平台运行过程中的异常信息。

告警监控

3.7.2流程监控

对每一个流程中的各个环节进行监控，针对出错的环节通过下载错误数据和

错误原因分析问题具体的原因。

流程监控

3.7.3资源监控

实时监控服务器CPU、内存、硬盘的使用情况。

资源监控

整体情况监控

3.7.4日志管理

平台记录了数据交换各个环节的日志。

日志管理

4产品特点

4.1支持多种数据交换方式

数据库表（支持ORACLE、SQLSERVER、SYBASE、DB2等） 视图、存储过程

数据文件（EXCEL文件、XML文件、TXT文件）

WebService接口

4.2服务调度时间多种选择

固定时间

设定周期循环（年、月、周、日、时、分）

指定时间段（如：每年8、9月等）

4.3进行可视化的数据交换过程监控

整个数据交换流程的运行状态

各个客户端代理的运行环境

异常状况的告警提醒

4.4提供多种数据个性化业务处理

字段内容组合、格式转换

数据验证、过滤、关联

文件、图片等大字段处理

支持相同架构数据源的订阅

4.5支持海量数据处理

全量数据增量收取

海量数据自定义分包

4.6先进的体系结构

基于先进的SOA体系结构设计。

采用B/S结构，使得用户通过浏览器就可以完成各种信息处理，简单易用，提高了工作效率。

基于J2EE开发规范，跨平台、跨数据库、支持多种应用服务器

三层体系的结构设计，使得各部分的独立性和互联性能力更强，便于扩充和维护

4.7完善的安全设计

敏感信息的加密处理

数据传输的加密，可以支持https协议的访问 完善的数据备份机制和网络安全认证机制

5运行环境

5.1服务器配置

5.2客户端配置

6典型客户