高校数据集成整体规划方案

高校数据集成整体规划方案作者：杜伟来源：《信息安全与技术》2012年第02期【摘要】数据库的集成是高校信息化建设的基石，随着高校信息化建设与数字化校园的快速发展，高校中原有的数据集成方式已无法满足其要求。

以下内容从数据库集成的三种模式入手，分析各个方式的优缺点，最终找到以“中心结点”的数据集成方式为基础的数据库集成方式，从而满足高校信息化建设发展的需要。

【关键词】数据库架构；全局数据库；中心数据库；数据清洗；数据转换The Overall Planning of University Data IntegrationDu Wei( Southwest University of Science and Technology Network Information Center SichuanMianyang 621010 )【 Abstract 】 database integration is the cornerstone of University information, as the University information system and the rapid development of digital campus, university data integration approach can not meet its requirements. The following three models from the start database integration, itemized analysis of the advantages and disadvantages of each method, and data from which to seek consistent development model integrated university program.【 Keywords 】 database structure;global database;center database;data cleaning;data conversion目前很多高校的数据集成仍旧停留在“按需集成、自下而上”的单点工作模式。

随着高校业务系统逐渐增加，系统间的数据关系也日趋多元化。

如果仍然使用原有的构架对数据进行集成显然是不科学的，同时也无法满足信息化校园建设的需求。

因此从整体上重新规划数据的集成构架，设计出符合高校信息化建设要求的数据集成环境，已成为当务之急。

1 高校数据库集成现状分析1.1 架构分析现行高校的业务系统，一般采用相互独立的业务系统，如：财务系统、人事系统都有其相对独立的数据系统。

这种单一的存储方式虽然简化了各个部门的管理，提高了独立部门的工作效率，但是就整个校园的数据架构而言，数据之间并没有构成相互的连接通道，每个部门都是一个单独的信息源。

换言之各个部门的数据形式存在方式为孤岛点。

另一方面，就实际的系统搭建环境而言，其环境可能在时间、存储格式、存储形式上也是不统一的。

1.2 工作环境关系分析毕竟，学校是一个整体，每个部门之间存在着相互的工作关系，其数据是需要交互的。

例如：财务系统需要从人事系统中提取新招聘教工的相关信息；教务系统需要从财务系统获取学生的缴费情况等。

目前很多高校都是从“需要到实现”，并没有从整个的工作环境去分析，只是单纯的从工作需要去进行被动的数据交互，其弊端所显现的杂、乱是显而易见的。

综上所述，如何对高校的数据库进行科学、合理的集成设计尤为重要。

2 数据库集成框架讨论2.1 网状架构网状架构是数据库集成的最初雏形，它是一个点对点的结构，在高校信息化建设的初期，各个部门的的业务系统刚刚使用，数据集成是一种自发的“按需集成”。

当某个部门需要某数据时才会进行数据的提取、交换、集成。

方式多采用的是邮件传输、磁盘拷贝等方式。

集成周期也不确定通常是“即用即采”。

数据集成在点对点架构中存在着：集成范围小、质量差、周期混乱、方式落后等弊端，从根本上就满足不了快速增长的高校信息化建设。

2.2 星形架构所谓的星形架构就是每两个业务系统之间互有关联，从而形成一个大的星形结构。

在星形架构下，任意两点间需要数据交换、集成；另一方面，操作方式，开始使用ETL（Extract、Transform、Load）等工具对数据进行抽取、转换、集成、清洗等工作，当然对异构的数据结构集成也做到了相应的加强。

这里要特别强调的是，星形结构使高校数据集成彻底了告别了“信息孤岛”。

但是星形结构下还是存在着以下问题：虽然星形结构解决了单点问题，但是在可扩展性、抗干扰、数据统一、安全等方面还是存在着不足的地方。

试想如果在星形结构中添加一个中心节点，类似于在多个计算机之间加一个集线器以完成它们之间的通信。

以上星形结构中所显现的问题是否可以解决呢？2.3 中心节点结构通过设计一个中心节点，使得星形结构成为辐射状。

也就是说，在核心节点做一个数据的集成，使得各个系统对于其自身感兴趣的数据进行集成，其工作的具体流程如下：(1)所有的业务系统按照统一的模型将自己的数据加载到中心节点；(2)按照各个部门所感兴趣的数据，集成到各个业务系统中去。

中心节点的数据结构充分的解决了星形结构中的问题，是较为先进的一种数据集成方式。

以上我们分析了数据库集成的三种方式，从中找到了一种适合高校数据库集成的架构，下面我们对“中心节点”进一步的分析，使其更加符合高校的数据库集成环境。

首先我看下面这张图2，下图展示的是高校数据集成的一个模板图，可以在此基础上进行扩展、衍生。

名词解释：* 业务系统数据库：业务系统数据库是高校中各个部门最基础数据的提供者、受益者。

各个库把互相感兴趣的数据提交到中心数据库，已达到互相交换的目的。

* 全局数据库：全局数据库是面向综合应用的业务数据源.* 数据仓库：主要功能是数据的统计、分析挖掘等数据存储。

其基本数据来源是从数据集成平台提供数据，按照相应的约定、规则（如：时间）来进行数据的存储和集成。

* 数据集成平台：数据集成平台主要完成的是数据的集成过程，主要完成的功能有集成、调用、转换以及加载。

一般情况下使用的工具有Oracle的ODI等。

数据集成平台提供的功能主要有：在数据集成平台存在一个临时的数据存储空间，一般我们定义它为数据集成中心库，该库的作用是：保证数据及时、有效的集成。

它不面向任何一般的用户，其中存在时间戳、操作位等明显的字段标识。

3 符合高校数据集成架构特点3.1 数据库集成流程图整个集成过程分为三个阶段：第一阶段：数据集成平台通过ETL过程把业务系统中的数据抽取到集成中心数据库，抽取到集成中心数据库的数据经过清洗转换，使格式变得标准能够供其他业务系统所用。

各个业务系统根据自身需要，从集成中心数据库中提取自身需要的数据，经过集成平台清洗转换为自有业务系统所要求的格式；第二阶段：数据集成平台提供数据给全局数据库，用以支撑全局数据应用；第三个阶段：数据仓库从数据集成平台中获取各业务系统中的主题数据，为统计数据分析、数据挖掘所用。

将整个数据集成工作划分为以上三个阶段，在条理、结构上变得清晰。

并且能够和应用进行关联，可以了解到每个阶段的用户价值。

3.2 架构中的数据流向在整体架构中，从数据流向上来看，数据集成平台与业务系统之间的数据流是双向的，即业务系统中的业务数据可以上行到数据集成中心，数据集成平台的数据也可以下行给各业务系统；数据集成平台与全局数据库之间的数据流也是双向的，即数据集成平台中的数据下行至全局数据库，提供基础业务数据，全局数据库提供校数据标准，为其他业务系统使用；数据集成平台与数据仓库的数据流是单项的，即数据集成平台的数据提供给数据仓库，用户数据的分析和辅助决策。

3.3 以数据集成平台为中心节点通过以上分析不难看出，我们建立了一个以数据集成平台为中心的交互平台，一方面提供了包含全局，一致的、细节的、当前或接近当前的数据，用于系统间集成；另一方面，通过对集成过程中数据的沉淀，起到了全局数据落定的效果。

此平台可以保证：(1)保证数字化校园信息编码的统一；(2)保证任何两个业务系统之间没有冗余业务数据；(3)保证“谁产生、谁维护”原则；(4)保证所有的数据都只有唯一的维护者；(5)保证提供反映整个学校的全面信息；(6)保证为整个学校决策提供所需的数据信息。

4 分析4.1 将全局库作为中心节点的不合理性在很多高校的数据库集成部署方案中，将全局数据库作为整个架构的中心节点。

从全局的部署来看是合理的，能够满足我们以上所提出的架构方案，但是在具体的实践中却暴露出很多问题：我们定义的全局数据库是为上层应用服务的，是为数据需求者进行数据分析、查询等工作提供基础数据的。

既然是最“基层”的数据提供者，那么对其本身的架构要求必然是稳定的，而实际数据库集成过程中是要经常变动的。

其次，从整个系统性能上来讲：假设全局数据库即为上层应用服务又要完成中心数据库的工作，那么势必影响整个系统架构的性能。

最后，从安全性的角度出发，如果经常在全局数据库上操作，势必影响其为“上层应用”服务。

综上所述，把全局数据库作为中心节点是不科学的。

只能将其脱离出来，只完成其为上层应用服务的功能就能够解决以上问题。

5 结束语信息化校园建设要达成高效、统一的建设目标需要校内各个部门相互协作，而各个部门的数据库关联又是重中之重，只有找到一种科学的、合理的集成方案才能达到其目的。

所以说一个合理的数据库架构集成方案才是信息化校园建设的基石！参考文献[1] 《异构数据库集成中数据传输问题的研究》张良,佟俐鹃.北京机械工业学院.[2] 《数据仓库元数据集成技术研究与应用》李瑞旭,李扬.烟台大学.[3] 《基于共享数据库的数据集成方案的改进》周长春,徐宏炳,张小伟.东南大学.作者简介：杜伟（1980-），男，山西阳泉人，助教，本科；主要研究方向：网络、数据库存储。