大数据量报表展现系统建设方案

大数据量报表展现系统开发方案

----三期延续开发

一、目标与需求

该系统提出将信息中心建设成为数据集散中心、报表处理中心和决策辅助支持中心，成为信息资源管理体系的中心和枢纽。将分散在各个业务处理系统中的数据归集起来，为各级机构提供数据提取和查询服务；开发管理信息平台系统，实现综合查询与分析，实现综统报表、监管报表、业务报表等统计信息的共享，建立联动查询统计。

依据总体规划，借鉴经验，广泛征求意见后，提出立项开发数据分析系统，拟实现下列目标：

1、进一步的完善业务信息库，通过建立逻辑数据模型，按主题整合业务数据，并建立适合各类专题分析需要的数据集市，形成企业级中央数据仓库，以中央数据仓库为纽带完成业务数据向管理信息的过渡；

2、“工预善其事，必先利其器”，引进ETL、前端信息展现工具、系统集成门户等先进的数据仓库和商业智能解决方案，进一步完善管理信息平台技术架构，实现对数据的深层次挖掘，为各级信息使用者提供先进适用的分析管理工具，为管理部门提供个性化纯WEB信息展示平台；

3、优化全报表生成、报送、管理和使用体系，凡是数据仓库可以生成的报表由系统自动生成，实现资产负债分析、经营业绩分析、客户分析、风险分析和财务分析五个方面的专题统计分析，并为将来

引进决策分析模型进行决策支持奠定基础。

鉴于在项目整体开发阶段由于企业的自身业务调整和变化，特别是对前期调研所拟定的业务蓝图及相关开发计划进行了范围扩大的调整。导致前两期项目开发工作只完成其中一部分，在甲方的要求下此项目增加的开发范围作为三期工程（不排除报表业务继续扩大，项目需求继续扩大的可能），同时沿用此方案并需达到此方案中既定的目标来完成项目整体，且此项目需在本期结束后进入维护期。

二、应用范围

针对用户的不同级别，分别满足业务人员、管理人员、高级管理人员以及决策者对信息的不同要求。

三、与其他系统的关系

数据挖掘系统项目完成后管理信息平台的系统架构将如下图所示，管理信息平台系统架构从大的方面可以分为两个部分：数据仓库和商业智能。数据仓库以方便查询为目的，打破关系型数据库理论中标准泛式的约束，将业务数据库的数据重新组织和整理，为查询，报表，联机分析等提供数据支持。数据仓库建立起来后，定期的数据装载(ETL)成为数据仓库系统一个主要的日常工作。

商业智能应用就是利用现代智能计算技术进行数据挖掘(Data Mining)从大量数据中发现潜在规律、提取有用知识，实现企业报表的生成与管理，实现资产负债、风险管理、财务分析、客户关系分析和绩效考核等经营管理信息的统计分析。

四、项目主要工作内容

数据挖掘系统项目的主要工作内容包括：

（一）建设企业级数据仓库

随着信息技术运用的不断深入，积累了大量原始数据，而这些数据是按照关系型数据库结构存储，在更新，删除，有效存储(少冗余

数据)方面表现出色，但在复杂查询方面效率却十分低下。为充分利用已有数据，提供复杂查询，提供更好的决策支持，就需要采用数据仓库(Data Warehouse)技术。数据仓库与数据库(这里的数据库指关系型数据库)的区别在于，数据仓库以方便查询(或称为按主题查询)为目的，打破关系型数据库理论中标准泛式的约束，将数据库的数据重新组织和整理，为查询，报表，联机分析等提供数据支持。

数据挖掘系统将以业务信息库归集的核心业务系统、ERP、CRM 和一些外部数据等系统的原始数据为基础，以先进的数据建模理论对业务信息库进行重新规划，建立包括客户、产品、账户、交易、渠道和机构六大主题的基础业务信息库做为信息管理的基础数据支持平台。

1、数据仓库的逻辑结构

数据挖掘项目完成后的管理信息平台的逻辑架构将如下图所示。中央数据仓库的数据组织是商业智能中最重要的课题，中央数据仓库不是各系统数据简单的堆积，而是业务数据的有组织的存储。因此它不可能通过分析源系统来生成，而必须提前引入已成型的数据模型。这一数据模型在数据仓库范畴称为逻辑数据模型（LDM），它必须具有灵活性和可扩展性，适应将来的业务需求的增加和变动。

管理信息平台逻辑体系架构示意图

应用层

报表服务器

WEBServe

应用服务器

Portal Server

OLAP服务器

在数据层前是数据源和转换区，数据源是业务信息库中的原始数据，转换区用于存放从数据源抽取到的数据，并在转换区进行转换，是ETL的工作区域。

数据层负责所有数据的持久存储，包含中央数据仓库（DW），数据集市（DM）和多维模型OLAP(MDB)。

?中央数据仓库(DM)存放从各个数据源抽取的数据，是经过转换后的细节数据。

?数据集市（DM)存放的是面向业务应用宏观的汇总数据, 基于实用化和运行效率的考虑，数据集市ETL采用数据库存储过程来

实现。

?多维模型（MDB)是将数据数据集市中的数据加载到 OLAP SERVER中,为多维分析提供数据。

2、逻辑数据模型

逻辑数据模型LDM 是信息平台/数据仓库体系结构的基础。根据管理信息平台的建设目标和建设原则，结合本项目的具体特点确定以下数据模型的设计原则：数据模型的设计既要满足本项目的业务需求，同时要充分考虑未来业务发展的需要，也就是说，数据模型应具有较强的扩展性；数据模型的设计应充分考虑最终用户的查询/分析效率和数据抽取、转换和加载的速度，保证系统具有较高的运行效率；数据模型的设计应充分考虑当今数据库技术和数据建模技术的发展动态，保证数据模型的设计方法、设计过程、设计结果的科学性和先进性；数据模型的设计应具有较强的可读性，数据模型应便于业务人员和技术人员理解，项目投入运行后，数据模型便于技术人员维护。

中央数据仓库存储所有最详细的业务数据，数据的组织方式依关系型数据库的第三范式规则。数据仓库逻辑数据模型主要包括六个主题域：客户、产品、帐户、交易、渠道和机构。

3、数据集市模型

根据业务需求将中央数据仓库数据分类成几个不同的数据集市，每个数据集市完成不同的分析和查询需求，数据集市中的数据通常由中央数据仓库的数据聚合而来，根据数据聚合程度的不同包含轻度聚合、中度聚合和高度聚合三种不同的层次。汇总的方式将依据数据量的大小和使用频率综合考虑。

4、数据仓库ETL的设计

ETL指源系统数据经过数据抽取、转换和加载处理进入数据仓库

的整个过程。ETL流程主要包括以下主要步骤：

数据抽取：数据抽取就是将数据仓库需要的业务数据抽取到数据转换区的过程；

数据检查和出错处理：在数据转换区中，对源系统数据质量进行检查，形成检查报告，并进行相应的出错处理，对于严重错误，需要系统维护人员现场做出相应的处理。

数据转换：数据转换包括对源系统数据进行整理、剔除、合并、验证等一系列转换工作，最后形成数据仓库物理数据结构所需的数据，存放在转换区的数据表中。

数据加载：数据加载将数据转换的结果数据加载到数据仓库，并形成数据加载情况的报告。

ETL工具需包括下列模块：EXTRACT模块（数据抽取），TXTLOAD 模块（文本装载），TRANSFER模块（数据转换），DWLOAD模块（数

据仓库装载），QUALITY模块(质量检查），CODE MANAGER模块（标准代码管理）和WADMIN模块 (总控）。

从各个数据源到中央数据仓库的ETL可以由ETL工具实现。首先在各个源系统安装extract模块，将源数据抽取为文本数据，打包后通过ftp传送到数据仓库主机上。在数据仓库主机上通过txtload将文本数据装入交换区，然后通过在交换区内通过Transfer模块进行数据转换，最后将交换区的数据通过dwload装入中央数据仓库。ETL 每个模块都是现了参数化配置，通过配置相应的ini配置文件实现。

从中央数据仓库到数据集市的数据装载利用存储过程实现。在开发过程中针对每个数据集市设计相应的存储过程，实现数据从中央数据仓库到数据集市的装载。

（二）引入先进的商业智能工具

通过引入先进的商业智能工具，提高数据挖掘水平，是迅速改变信息工作无法满足业务发展需要的必由之路，这也是科技规划所倡导的，即通过引入国内外先进成熟的系统和经验，迅速提高科技应用水平。

通过数据挖掘工具将达到以下目标：

1）企业级报表

提供五种常用形式的企业报表：给领导的KPI计分卡和仪表盘、给基层经营管理人员的运营报表、给客户经理和业务经理的典型业务报表、给业务部门领导的管理指标报表、给客户和合作伙伴的结算清

单。

提供块状布局和传统条带状组合方式布局。

提供用户自定义WEB报表功能：参数化报表，让用户自己定义报表内容、报表布局和工作流；自动客户化报表内容，创建一个报表，系统自动基于不同用户生成用户所属内容的报表；基于用户档案的个性化用户界面，为高级用户和普通用户提供不同的使用界面。

提供灵活的报表分发功能：可将报表分发到WEB浏览器、网络打印机、email、文件服务器和企业管理信息门户；可以根据请求、计划、事件等方式分发报表。

无需编程设计出达到象素精度和印刷品质的报表。

2）立方体分析

立方体就是指预先组织好高度相关的一个数据子集，用户可以组合任何立方体中的实体（如客户、账户、产品、渠道、机构、交易等）和度量（如存款、贷款、利润等）来建立多于二维的视图或者切片，并在计算机屏幕上显示出来。立方体分析就是使用标准的多维分析功能，如分页、旋转、排序、筛选和向上下钻取来浏览报表。立方体分析适用于对指标变化的根本原因或潜在原因比较关注而对数据库技巧不是非常熟悉的业务经理。

MSTR使用关系型OLAP(ROLAP)技术把关系型数据库建模成虚拟多维立方体来实现联机分析（OLAP），能做到快速的报表分析和操作、个性化和安全地共享立方体、自动创建和同步立方体、从汇总数据向详细交易数据任意钻取。

MSTR还提供随机查询分析功能，用户可以在关系型数据库上创建任意查询报表，可以通过参数驱动方式生成查询分析报表、可以基于不同数据集合进行分析，也可以按照自己需求对数据进行分组。

3）统计分析和数据挖掘

MSTR通过多路SQL生成引擎和特殊分析引擎扩展了关系数据库的计算能力，为专业信息分析师提供了200多个数学、OLAP、财务和统计函数，用于进行相关分析、趋势分析和预测分析。

MSTR允许自定义分析函数并可以纳入其函数库共享。

2、企业门户系统

各级员工需不断浏览OA系统、两个电子邮件系统、信息网站、管理信息平台、客户信息系统等系统，每个系统都需重新登录；管理过程主要通过人工＋Email的方式进行，缺乏严格的工作流程控制；缺乏集中统一的内部信息检索系统，为此我们需要引进先进技术优化的管理信息平台，使其成为内部知识管理平台、部门横向沟通协作平台和企业文化建设工具。企业门户系统正是这两年来用于解决此问题的基础工具软件。

通过企业门户系统，将为各部门员工、各级管理人员提供一个智能的个性化工作平台，该平台基于互联网的浏览器界面，作为统一入口访问各种业务系统和服务（OA、管理信息平台、电子邮件、信息网站、ERP系统、CRM系统、财务系统等），能够按照个人的工作习惯和喜好进行个性化定制，从而容易地找到并获得各种所需地信息和服务；该平台将成为集成了对各种交互请求或服务的中转站，与内部各

个已有的后台系统直接连接，提升这些现有系统的价值，又将内部系统与不安全的用户访问相隔离，保证原有系统安全可靠的运行；通过平台提供业务流程自动控制、内容管理、协调工作和分类搜索等服务。

本项目选择的企业门户系统将提供以下主要功能：

1）提供统一的门户框架

A、门户引擎和基础设施

门户引擎支持标准的PortletAPI，提供Portlet的定义、执行、管理等一系列完整的功能。集成各种不同的资源，在页面上进行组合，并提供给各种渠道。将页面的展示和不同的业务逻辑相分离，同时通过Portlet进行控制，这样分离的好处是将每个Portlet作为一个独立的控制组件更加容易开发和维护。

Portlet是门户Portal中的基本组件，由Portlet容器（Container）所管理，负责显示动态的内容，并由Portal组织起来，展示在一个Web页面上，对于Portal来说，Portlet是一个个可插拔的模块，用户在界面上看到的是许多个独立的Portlet，通过Web 的request和response进行交互。PortletAPI是Portal server 和Portlet之间的接口，给出了Portlet中对象的定义、概念和生命周期，限定了Portlet中各种对象的行为。

Portlet Container负责整个Portal server的核心运作，实现Portlet中的各种接口，并让整个Portal server运转起来；对外提供两种接口，一是和Servlet Container的接口，另一个是和Portlet API的接口。

基础设施包括菜单管理和日志管理等功能。

B、企业应用集成

利用WEB技术支持与第三方的各种应用系统集成，轻松地重复使用、修改现有的 Web 内容和应用，通过开发Portlet，可以将其他应用系统的信息集成到单一的页面上，例如：可以同时把对电子邮件、OA、日历、地址簿、任务单、股市行情等访问集中到一起；提供内容集成，充分利用门户内的各种知识，支持显示各种内容提供商提供的新闻、资讯信息；快速搜索互联网的内容和进行本地专业化搜索。

C、个性化支持

可以根据用户的喜好，对页面尽心配置管理，实现在单一页面展示多个Portlet，每个Portlet负责集成各自业务系统的功能，并负责对内容进行显示；可以对页面的栏目进行分割，在每一栏中可以放入多个Portlet，也可以对进行上下顺序的排列。

D、统一的安全模型

支持对用户、用户组和角色的管理，按角色控制用户对内容和应用的访问权限，支持按菜单、按Portlet、按页面三种方式的授权，所有授权按角色分配。有了统一的安全模型后，用户安全就能在企业范围内较轻松地实现一致，开发功能完备的单点登录系统。

2）提供先进的门户业务服务

A、内容管理

提供门户内容知识库，用于快速构建和部署需要基本内容管理的门户应用；提供虚拟内容知识库，以单一的逻辑实体来管理多个内容

知识库；实现联合内容访问，从多个内容系统提交个性化内容；实现内容集成，采用受 JSR 170 影响的服务提供商接口，集成第三方或定制的内容系统。

B、协作（Collabration）

利用针对特定需求的门户桌面，最大限度提高小组和团队的工作效率；通过创建与搜索新论坛、新主题和线程化消息，授权访问者开展协作；提供白版和聊天功能，借助一组丰富的绘图工具，授权访问者进行实时协作，支持调制型和非调制型小组会话；与Notes 与Exchange 电子邮件集成，使访问者能够访问 Notes 与 Exchange 电子邮件、日历和联系信息，并且可以列表。通过以上这些WEB服务，实现跟踪项目、共享文档、分配任务、交换思路以及发送信息等目的。使用企业门户能识别出不同项目间的依赖性，将不同项目的任务和文档合并到各个用户的收件箱，允许员工和顾客突破地域和网络限制协同工作。

C、业务流程自动控制

门户的业务集成功能使得我们不必为每个业务单元的业务应用都创建业务流程，而是突破系统限制创建新的业务流程，从而提供整个企业的工作效率。

D．搜索与分类

通过在企业门户上部署分类搜索功能，确保企业每个WEB应用上创建的内容、提交给项目的文档以及每个业务流程信息都能很快的搜索到。门户系统将提供联合搜索，向访问者提供跨所有知识库轻松搜

索的能力，这些知识库都是虚拟内容知识库的一部分；HTTP, ODBC, 文件搜索，在 Web 页面、数据库和文件系统，自动搜索文件和查找内容；易于使用的搜索工具，借助自然语言查询、相关性分级、邻近搜索、文档相似性搜索等功能，使访问者轻松查找所需内容。

3）提供先进易用的门户开发和管理支持

A、开发框架

可视化的程序设计环境，无须 J2EE 知识，就能快速开发门户和门户资源；汇聚开发，采用简化的开发环境，构建包含业务流程的门户，加快流程门户的提交；门户用户接口控件，采用预先集成的门户功能件，加快门户开发速度，因为它们可以扩展或修改，以适应登录、注册、事件、用户、组、角色的功能需要；Java 页面流，采用 Strut 兼容框架，轻松指定不同 JSP 页面之间的信息流，以及与后台资源之间的连接；门户与门户服务设计器，快速指定面向交互管理、概况、分段和门户框架等的门户资源；松散耦合门户应用，将开发努力专注于门户业务逻辑，不必关注构建门户基础结构。

B、智能化管理

门户组装工具，授权业务部门为新用户快速组装门户；授权管理，利用门户表达、用户管理、页面和 portlet 授权以及其他管理事务的授权管理，来简化门户管理；基于角色的授权，利用基于用户概况、会话、时间或 http 请求属性的规则，自动控制对各种门户资源的访问权限；门户模板，充分利用公司的最佳方案和整个企业的外观和感

觉，为开发人员和组装人员提供标准范围内的灵活性

C、可修改的提交

多级表达层次结构，为具有特定组或特定角色的桌面和书籍的用户定制门户，这些桌面或书籍将一系列页面组合为一体门户模板；跨多个页面重复，使用一个 portlet 定义，或者在一个页面内重复使用某个 portlet，定义多次，以便访问各种不同的内；portlet 之间的通信，根据用户对一个portlet 的输入，动态更新所有的portlet；移动服务，借助浏览器和设备探测功能、JSP 标记、支持映射的可扩展设备 API，将门户覆盖范围扩展到无线设备。

D、交互管理

基于规则的个性化，借助隐含和显式的个性化，改善访问者体验，一切均通过浏览器进行管理；事件与行为跟踪，利用会话和行为事件来适应访问者的需求，定义定制事件，以映射业务目标；测试与控件提交，在提交到网站之前，测试内容或宣传效果；最终用户定制化，向门户访问者提供各种工具，以添加个人页面，选择 portlet、布局和门户外观。

E、日志和监控功能

系统管理员可以浏览系统中所有Portlet，可以按分类浏览，按名称查询，可以禁用Portlet。

管理员可以查看Portal Server日志，查看系统统计数据，包括每个Portlet和每个页面的点击率。

F、标准化

支持针对内容的门户标准(JSR 170)和针对 portlet 的门户标准（JSR 168）。

（三）逐步建立完善的管理信息平台的应用体系

管理信息平台的业务需求可分为三个层面：企业报表、统计分析和决策支持。企业报表用以实现管理部门的固定业务报表，统计分析用以实现企业的全面的统计分析要求，决策支持引进决策分析模型通过大量的数据计算对某一个专题进行推演，确定其可行性或进行最优方案选择。数据挖掘系统的业务应用需求将基于上述三个层面进行整体框架规划，将企业报表单独作为一个应用子系统，同时根据当前信息管理领域的需求归纳了五个应用专题：资产负债、绩效考核、客户分析、风险管理、财务分析，以平衡计分卡作为目标管理框架，协调财务、客户、业务流程及创新和员工四大管理能力逐步延伸和细化，并进而推进平衡计分卡内容的不断完善和计量的精确。而对于决策支持层，系统留出高级应用分析专题供以后的需求扩展。数据挖掘项目完成后管理信息平台应用体系结构如下图所示。

业务应用方面，数据挖掘项目具体将实现以下功能：

1、建立管理信息门户

基于先进的门户软件开发技术，优化现有的管理信息平台，实现后台管理信息系统单点登录，用户实名制和个性化页面和信息定制功能。

A、单点登录和用户实名制

当前企业网邮件系统、OA办公自动化系统、管理信息平台、工资管理系统、客户信息系统等多个应用系统都单独运行，都有不同的用户名和密码，无形中增加了管理难度和管理成本。同时，员工只有记住不同系统的用户名和密码，才能实现对不同应用系统的登陆、使用和维护，并且要不断来回在多个系统之间切换，为工作带来了许多不便。

开发单点登录功能后将解决这个问题，在现有的管理信息平台用户管理基础上，通过整合所有符合B/S结构的应用，用户只需通过管理信息平台进行一次登录，就可以直接访问企业网邮件系统、OA办公自动化系统等多个应用系统，不再需要输入任何信息。同时，单点登录系统采用数据库、表单、文档三级加密技术，用户的单点登录配置文档只有本人可存取，通过使用浏览器缓存清理技术，本地设备不留任何使用信息，确保了用户的信息安全。单点登录系统具有标准的开放接口，新开发的web 应用都可以直接通过管理信息平台整合，灵活方便。

用户实名制是通过建立一套多层次用户管理机制，用户管理以人为单位，为全省每一位管理岗位员工设定一个用户，并根据每个用户的工作性质、职务、岗位等属性分别确定不同的权限。实现用户实名制功能后，对用户的统一验证管理更加方便严谨。

B、实现个性化页面和信息定制功能

管理信息平台将为领导、部门和个人提供个性化的基于WEB的首屏。管理信息平台首页、部门主页、个人工作台、个人主页的页面和信息可根据需要灵活定制。

系统管理员预先制作各类主题的主页模板，并根据工作需要，选择相应模板，更换主页页面形式和信息内容。部门管理员可通过下载不同的模板，配置模板上动态信息区对应的栏目，修改模板样式文件，即可获得不同风格和多样化栏目排列的部门主页，满足部门信息使用的需求；个人可以根据自己的喜好选择页面风格，并根据工作需要，

将自己关心的栏目信息定制到工作台，还可修改个人图片和个人信息。用户登陆管理信息平台后，当前自己要处理的工作和所需的公共信息一目了然，由原来被动的查询信息变为信息主动提示。

C、提供重大项目内容共享协作服务

利用门户软件提供的功能，实现跟踪项目、共享文档、分配任务、交换思路以及发送信息等目的。

2、建立企业报表中心

（1）目标

A、以报表梳理和系统整合为切入点，彻底解决报表多头布置、多头报送、重复冗余的问题，解决数据标准不统一、报表管理不规范的问题，解决数据报表手工处理工作量大的问题，解决报表处理水平滞后于业务管理、外部监管的问题；

B、将报表逐级上报改造为上级提取逐级返数，逐步减少直至取消报表的手工报送；

C、完善报表管理制度，统一规范报表的管理，从制度上杜绝报表处理各环节的随意性、多向性和多义性。

（2）内容

A、整合现有的各类报表管理、提取、查询系统，整体构建报表管理系统，实现报表系统的集成管理，进一步加强信息资源的集中采集、集中分析、集中管理、分级共享、及时反馈、统一发布，减少数据的冗余，降低信息获取成本，提高管理效益。

B、提供统一的数据信息展示界面，通过较为自由的个人定制，

为各经营管理层面提供及时、丰富的数据信息；配套建立较为智能的报表自动分析模块，提供主要报表、主要业务指标的动态分析、直观展示；为各级人员提供先进的报表制作管理工具。

C、认真分析系统功能和科目之间的关系，认真分析统计指标和各系统的内在联系，力争从系统挖掘出更多的数据来满足报表的需要。

D、从报送的报表入手进行梳理，对这些报表的结构和统计指标进行分析和讨论，确定了这些报表的数据源和生成方式，满足各部门部分报表的编制需求。

E、整合报告期长或仅为各部门临时进行业务分析的报表。在现有报表中，有大量下发的报表，属于半年或一年才报一次、或为某次业务调查、某种业务分析而布置的，这些报表不仅数据采集量大，而且许多指标需查阅原始资料加工生成，统计口径也不规范，生成的报表不但不能正确地反映经营状况，而且往往还给业务决策提供了错误信息。通过研究各统计指标间的内在联系，以及同已有信息系统的数据关系，取消那些可报可不报的报表，或根据管理制度结合实际情况，改为报告制反馈制，或由系统自动生成及台帐汇总生成，最大限度地减轻了工作负担。

F、分析新增报表的数据指标和数据源，集中从现有系统、各部门采集数据。凡是数据仓库可以生成的报表由系统自动生成，系统缺乏数据的报表，由信息中心归纳整理成相关指标，通过管理信息平台的指标报送系统收集数据后再由系统自动生成。