基于大数据的数据报表系统设计

-78-科学技术创新2019.12
基于大数据的数据报表系统设计
赵方
(梧州市政府电子政务管理办公室，广西梧州543002)
摘要：当今我们正处于大数据时代，各行业的决策正从“业务驱动”转变为“数据驱动”，大数据的利用成为提高各行业核心竞争力的关键因素，同时大数据也向我们提出了数据釆集、分析和使用等难题。

本文探讨如何设计基于大数据的数据报表系统,并从模板设计、数据提供、数据安全、性能优化等方面展开讨论，从而为单位或企业建设大数据分析平台提供参考。

关键词：大数据;报表系统;数据分析
中图分类号:TP311.13文献标识码：A
1背景和意义
大数据正在各方面深深影响着人们的生产生活，维克托•迈尔-舍恩伯格预言,围绕大数据的商业价值开发和利用，将成为行业人士争相追捧的焦点。

随着大数据时代的来临,大数据分析也应运而生，例如:医院通过研究分析海量病例数据，提高诊疗的准确率和成功率；电商网站通过分析不同地区和人群的消费记录,掌握不同地区人群的消费习惯、消费能力和消费趋势，并调整营销策略等等。

各行业正纷纷拥抱这一新技术，希望通过大数据分析，发现新商机、创造新价值。

建设基于大数据的数据报表系统，能为单位或企业决策者提供有价值的参考,为其经营、生产、服务、管理等各方面提供有力支撑.为其科学管理、分析决策、提高效能、提升行业竞争力发挥重要作用。

2系统建设相关技术
报表系统的建设基于B/S模式的web开发，采用三层架构;开发语言可以使用Java或C#;数据库则使用更高安全性、稳定
文章编号:2096-4390(2019)12-0078-02
性和并行性的Oracle。

服务器使用Linux操作系统。

根据系统的并发访问量和性能压力动态调整服务器的数量、访问连接数、缓存、安全策略等参数。

充分运用服务器集群与负载均衡技术达到最佳化资源使用、最大化吞吐率、最小化响应时间,同时避免过载的目的，提高系统的高并发和单点故障处理能力。

应用数据库集群技术，利用多台数据库服务器构成一个虚拟单一数据库逻辑映像，运用基于请求的负载均衡技术，将用户端的请求经集群网关分析分配到集群各节点执行，保证了数据读取的性能、数据可靠性和高可用性。

3系统设计
3.1模板设计
报表系统界面开发应槟弃以往逐个页面单独开发的思路，要对现有的报表需求进行梳理和归整，对其中展现方式和界面功能相似的部分报表进行分类，从模块化和面向对象的思维和角度考虑,应该将分类后的报表做成通用页面，即开发报表(转下页)
基于计算机信息技术本身的特点以及内部网络结构的自身特性，利用保障软件检测可以有效地对非法入侵进行监控，保证计算机网络系统更好的运行的同时也能够保证其更好的提供相应的服务，目前阶段，计算机网络安全防护系统的不断升级和优化可以有效地避免系统得到入侵,保证用户更好的保护自身信息安全，为了避免出现非法篡改软件这一情况,应当坚持签名分析法、统计分析法等技术的运用，除此之外还应当建立网络监控系统，当系统运行出现异常时及时进行上报。

3.5加强对计算机病毒入侵的预防
计算机病毒是计算机技术普及之后一个无法避免的问题，计算机病毒对于计算机网络安全等方面都有这极大的影响，随着科学技术的发展，虽然保护措施在提升，但越来越多的病毒也做的难以防备，现在有一部分病毒可以长期潜伏在计算机中但不会突然爆发，只有一些特定因素才会导致其的爆发，造成的影响十分巨大，根据目前的情况看来，可以采取以下几种方式有效地防御计算机病毒：
首先，提升用户自身的安全意识，增强用户对计算机病毒的认知力。

其次,安装正规的杀毒软件，并按照软件提示对其进行更新。

再次，对软件进行适当的检测，及时安装系统补丁.避免人为病毒的入侵。

最后,用户应当对计算机的数据进行备份，以免有病毒入侵导致不可挽回的后果。

结束语
总之,在对计算机电子信息工程技术的应用研究过程中.要结合具体的工程实际，重视并提高其安全性，从而才能不断结合时代发展，有效的保证各项工作顺利开展。

以此进一步为计算机电子信息工程事业发展提供有效的技术支持。

参考文献
[1]栾听月.浅谈计算机通信技术在电子信息工程中的应用[J].通讯世界,2018,25(12):44-45.
[2]刘东.计算机网络技术在电子信息工程中的应用[J].中国新通信,2018,20(24):95.
[3]熊思思.计算机网络技术在电子信息工程中的应用探讨[J].信息系统工程,2018(12):94.
[4]郭强.计算机网络技术在电子信息工程中的应用[J].信息系统工程,2018(12):4&
2019.12科学技术创新-79-
模板，一方面可以缩短编码周期、提高代码的重复利用率和保证界面的统一性;另一方面还可以减少维护、升级的难度和工作量。

报表模板设计思路:将所有页面元素，包括数据子项、数据标题、数据脚本、统计口径等信息保存在数据库内，运行时根据所调用的页面动态生成包括报表数据在内的页面各元素（控件）。

只需操作数据库，就能完成报表界面的新增和调整。

报表模板可以提供数据表格、饼图、柱状图、曲线图等数据表现形式，还可以根据需要显示往月备份数据、领导批注等功能。

此外，数据对比功能也很有实用价值,例如在同一个报表内，将多个月份的数据放在一起比较。

3.2数据提供
3.2.1数据挖掘和分析。

数据是报表系统的生命，要认真梳理需求，结合现有数据资源，深入挖掘和分析,形成有价值的数据模型，并整理生成数据所需要的各种脚本。

3.2.2数据源管理。

系统数据源从层级上分为生产库、查询库和报表库。

查询库每天晚上从生产库增量同步数据，报表系统除需要统计实时数据外一般不直接访问生产库，也尽量减少在查询库上做耗时的低效率的查询操作，一般在查询库上运行脚本生成的报表数据,或初步清洗加工后的基础数据会写入报表库，以便报表系统能快速、高效的读取和展现。

基于大数据的报表数据大多来自于多个业务系统甚至跨公司、跨行业系统的数据汇聚,所以存在大量的外部数据源和链接,需要管理维护不同的远程数据连接（dblink）,以及用于不同数据库间数据同步的存储过程、触发器、定时器等，以确保支撑大数据分析的数据完整性和实时性。

定期更换数据库密码。

3.2.3脚本等的管理。

数据维护人员要做好SQL脚本、存储过程、触发器、定时器、索引等的维护和优化，定时检查其可用性，检查数据同步、中间表生成是否正常,确保生成模板实例时所有页面元素均能正确调用，顺利展示。

3.3数据安全
3.3.1账号权限管理。

系统角色共有三种：系统管理员、数据维护人员和普通用户。

账号的权限可分为菜单权限、数据权限和功能权限。

菜单权限决定账号能访问的报表（页面）.数据权限决定账号能看到某个报表中的指定部分数据（例如医院某科室主任只能看到本科室当月住院人数和费用），功能权限决定账号能操作的页面功能（例如企业市场部总经理能对每日经营分析数据填写批注，数据维护人员能查看某项报表的sql脚本和修改统计口径等）。

采用严格的申请和审批流程，根据使用者级别、角色和需要分配账号权限。

对于使用人的人事变动,应及时调整账号权限，定时检查权限列表,防止越权访问数据的情况。

必要时使用数字证书验证登陆者身份。

3.3.2数据保护。

遵循“避开要害，分解压力、闲时运行”的原则,即尽量不访问生产库，尽量将耗时、容易造成数据表锁死的报表统计分解为多个步骤逐个执行，尽量利用晚上等时间执行数据同步、备份和存储过程等操作，确保数据库稳定运行。

对授权共享的数据进行严格把关，对外链和同步到系统外的数据要定时检查，对重要数据进行权限审阅（查看能访问的账号），或提供系统内呈批功能，经上级审批后方能正式发布。

3.3.3数据备份。

数据备份从技术层面上由磁盘阵列（raid5）、异地备份和云备份等技术和手段提供保障;从备份内容上则分为源数据备份、中间数据备份（中间表和深加工数据）和系统基础数据备份（账号权限、基础配置等）o使用定时器和存储过程,在闲时做好备份,经常检查备份结果,验证备份数据，确保其完整性和可用性。

3.3.4异常处理机制。

对于报表数据异常的情况，系统要设计如下机制：
a.因数据异常导致脚本执行无结果，则触发后台预警，
b.用户对报表数据有异议，可录入反馈意见并触发预警。

c.数据维护人员定期检查预警的数据情况，及时响应并处理。

d.数据确认有问题并调整后，系统自动对已查看该报表的账号发送提醒信息。

3.4性能优化
充分利用缓存（cache）技术，对需要重复执行脚本生成的数据写入缓存,在使用时直接在指定缓存中调用展示即可，最大程度上缩短了报表数据展现的时间，也减少了反复执行脚本对数据库效率造成的影响。

同时根据报表使用的频率和时间分布设置缓存的时限,以便在闲时释放缓存,防止过量使用缓存降低服务器性能。

鉴于大数据的大量、多样、低价值密度的特点，有必要对目标数据进行初步清洗加工，以及初步的统计和分析,确保写入报表库的数据都为规范的、易用的、利用率高的、准确的数据，同时对大数据量的表建立索引，以减轻报表系统生成数据时对数据库产生的压力，提高报表展现的效率。

不断优化存储过程和SQL脚本,尽量避免高耗时和低效率的查询操作，利用生成中间表、合并宽表、分步统计等方式降低脚本运行成本.避免对数据库造成冲击进而导致数据表锁死或数据库瘫痪。

经常检查系统代码中数据库连接和释放不正常的情况。

3.5系统管理和维护功能
系统管理和维护功能包括数据缓存管理、系统性能监控、数据更新情况监控、报表热点统计、数据及dblink异常预警、日志管理、工号管理、权限分配、页面模块配置、短信管理和公告栏管理等,保障报表系统日常高效、稳定运行。

3.6扩展应用
提供手机版（APP）报表系统功能,让部分高层能随时查看报表数据,但要提供账号密码和手机短信验证等方式，确保数据安全性。

手机版是PC版的精简版，但具有自己的特色，例如可以针对某个热点报表提供在线讨论功能、将获授权公开的数据分享到微信等。

对重要或例行性的数据（如每日业务量数据）,又或者触发性事件（如商品库存量低于预警值），系统将数据信息后通过云MAS短信平台或微信公众号发送到个人手机。

参考文献
[1]周豪.大数据量下的实时数据报表系统的设计与实现[D].北京：北京交通大学,2016.
[2]戚平，何俊博.基于B/S架构的自主生成报表引擎系统设计与实现[J].电子设计工程,2017（8）.
⑶李晨鸣.基于大数据分析的银行报表系统的设计与实现[D].广州：华南理工大学,2016.
[4]闫冲.可配置大洋调查数据报表系统的设计与开发[D].青岛：中国海洋大学,2014.
作者简介：赵方（1979-）,男，汉族，广西梧州人,梧卅市政府电子政务管理办公室，工程师，研究方向：电子政务的建设和应用。