高校数字校园数据中心建设大数据建设规划

高校数字校园数据中心建设大数据建设规划

1.1大数据平台规划

本次计划将分散在网络中的数据归集起来，为分析机构提供数据提取和查询服务；本项目计划实现网络信息的综合查询与分析，实现综统报表、监管报表、业务日报表、综合报表的信息共享；信息预警系统，实现网络信息的联动查询统计。

通过建立逻辑数据模型，并建立适合各类专题分析需要的数据集市，形成企业级中央数据仓库，以中央数据仓库为纽带完成业务数据向管理信息的过渡；

1)大数据ETL和数据仓库

随着信息技术运用的不断深入，互联网上积累了大量原始数据，而这些数据是按照关系型数据库结构存储，在更新，删除，有效存储(少冗余数据)方面表现出色，但在复杂查询方面效率却十分低下。为充分利用已有数据，提供复杂查询，提供更好的决策支持，就需要采用数据仓库(Data Warehouse)技术。数据仓库与数据库(这里的数据库指关系型数据库)的区别在于，数据仓库以方便查询(或称为按主题查询)为目的，打破关系型数据库理论中标准泛式

的约束，将数据库的数据重新组织和整理，为查询，报表，联机分析等提供数据支持。数据仓库建立起来后，定期的

数据装载(ETL)成为数据仓库系统一个主要的日常工作。

数据仓库的数据组织是商业智能中最重要的课题，中央数据仓库不是各系统数据简单的堆积，而是业务数据的有组织的存储，来支持异源异构数据的联动分析和挖掘。它必须具有灵活性和可扩展性，适应将来的业务需求的增加和变动。

1、数据仓库的逻辑结构

在数据层前是数据源和转换区，数据源是业务信息库

中的原始数据，转换区用于存放从数据源抽取到的数据，并在转换区进行转换，是ETL 的工作区域。数据层负责所

有数据的持久存储，包含中央数据仓库（DW），数数据源据集市（DM）和多维模型OLAP(MDB)。

●中央数据仓库(DM)存放从各个数据源抽取的数据，是

经过转换后的细节数据。

●数据集市（DM)存放的是面向业务应用宏观的汇总数据,

基于实用化和运行效率的考虑，数据集市ETL 采用数

据库存储过程来实现。

●多维模型（MDB)是将数据数据集市中的数据加载到

OLAP SERVER 中,为多维分析提供数据。

2、逻辑数据模型

逻辑数据模型LDM 是数据仓库体系结构的基础。数据模型的设计既要满足本项目的业务需求，同时要充分考虑未来业务发展的需要，也就是说，数据模型应具有较强的扩展性；数据模型的设计应充分考虑最终用户的查询/分析效率和数据抽取、转换和加载的速度，保证系统具有较高的运行效率；数据模型的设计应充分考虑当今数据库技术和数据建模技术的发展动态，保证数据模型的设计方法、设计过程、设计结果的科学性和先进性；数据模型的设计应具有较强的可读性，数据模型应便于业务人员和技术人员理解，项目投入运行后，数据模型便于技术人员维护。

中央数据仓库存储所有最详细的业务数据，数据的组织方式依关系型数据库的第三范式规则。数据仓库逻辑数据模型主要包括六个主题域：客户、产品、帐户、交易、渠道和机构。

3、数据集市模型

根据业务需求将中央数据仓库数据分类成几个不同的数据集市，每个数据集市完成不同的分析和查询需求，数据集市中的数据通常由中央数据仓库的数据聚合而来，根据数据聚合程度的不同包含轻度聚合、中度聚合和高度聚合三种不同的层次。汇总的方式将依据数据量的大小和使用频率综合考虑。

4、ETL的设计

ETL 指源系统数据经过数据抽取、转换和加载处理进入数据仓库的整个过程。ETL 流程主要包括以下主要步骤：

数据抽取：数据抽取就是将数据仓库需要的业务数据抽取到数据转换区的过程；

数据检查和出错处理：在数据转换区中，对源系统数据质量进行检查，形成检查报告，并进行相应的出错处理，对

于严重错误，需要系统维护人员现场做出相应的处理。

数据转换：数据转换包括对源系统数据进行整理、剔除、合并、验证等一系列转换工作，最后形成数据仓库物理数

据结构所需的数据，存放在转换区的数据表中。

数据加载：数据加载将数据转换的结果数据加载到数据

仓库，并形成数据加载情况的报告。

ETL 工具需包括下列模块：EXTRACT 模块（数据抽取），TXTLOAD 模块（文本装载），TRANSFER 模块（数据转换），DWLOAD 模块（数据仓库装载），QUALITY 模块(质量检查），CODE MANAGER 模块（标准代码管理）和WADMIN 模块 (总控）。

从各个数据源到中央数据仓库的ETL 可以由ETL 工具实现。首先在各个源系统安装extract 模块，将源数据抽取为文

本数据，打包后通过ftp 传送到数据仓库主机上。在数据

仓库主机上通过txtload 将文本数据装入交换区，然后通

过在交换区内通过Transfer 模块进行数据转换，最后将交

换区的数据通过dwload 装入中央数据仓库。ETL 每个模块

都是现了参数化配置，通过配置相应的ini 配置文件实现。

从中央数据仓库到数据集市的数据装载利用存储过程实现。在开发过程中针对每个数据集市设计相应的存储过程，实现数据从中央数据仓库到数据集市的装载。

2)BI体系构建

通过引入先进的商业智能工具，提高数据挖掘水平，

是迅速改变信息工作无法满足业务发展需要的必由之路。

数据挖掘系统将以原始数据为基础，以先进的数据建模理

论对业务信息库进行重新规划，建立信息管理的基础数据

支持平台。

随着数据量的不断扩大以及新的应用系统不断上线，

一期建设的大数据系统在不能满足需求的情况下，需要对

大数据系统进行扩容。

浪潮云海大数据一体机采用Share Nothing 架构，可以灵活扩展，并且在扩展的基础上能够保证性能的近线性

提升。

浪潮目前支持两种扩容方式：

一：增加节点实现扩容，将节点添加到原有系统中，实现整个系统性能和存储能力的提升。

二：增加新的大数据一体机，与原有系统形成互相独立的两套大数据系统。

方式一适用的场景：数据量增大，原有系统存储量无法

满足要求。

方式二适用的场景：客户需要重新搭建一套大数据平台，实现业务和数据的隔离。