集团企业大数据云平台建设方案

统一报表
构建统一报表平台，实现集团业务应用报表的集中化管理、一体化服务；具有报表定制、管理、维护功能；构建集团用户及权限管理体系，支撑集团业务用户报表应用需求。能够快速响应各级业务应用人员的报表需求，满足报表批量分类存档的需要。
业务范围
本项目的业务范围以贵公司零售、公司业务条线为主，计财、绩效、运营等为辅。
组织范围
本项目业务涵盖的组织范围为贵公司及辖内二级集团、支行。
数据范围
本项目的源系统范围包括目前贵公司的主要业务系统，并需要满足本期数据平台主题应用的数据需求。
项目建设内容
基础数据平台
基础数据平台技术架构搭建
从总体上规划企业级的基础数据平台，平台将包含历史数据存储、基础数据平台、统一报表平台、自动调度监控等内容组成，数据平台要采用统一的数据标准规范；
集团企业大数据云平台建设方案
第1章
项目背景
随着贵公司业务的快速发展，信息系统不断增多，业务数据量的规模也在急速膨胀。银行数据整合平台作为贵公司的数据整合中心，需紧密衔接总行ODS、数据仓库及集团特色系统、并且需考虑到贵公司未来将要建设的系统的接入问题。根据贵公司业务的拓展和条线管理的需要，各业务部门对决策信息依赖程度不断提高，经常会有一些高灵活性、多变性、高及时性的信息需求。贵公司目前需要能够满足业务需求快速响应的统一数据平台，仅依靠传统的数据加工模式对源数据进行抽取加工操作，由于业务口径的不一致性、数据质量低下、以及缺乏良好的数据统计分析手段等问题导致集团范围的决策分析成为难题，不能充分发挥业务积累的相关数据的作用数据的及时性和准确性难以保证，给管理和营销增加了难度。
项目目标
贵公司数据平台建设项目是搭建一个对接总行ODS、数据仓库、衔接集团特色业务的数据平台。从底层的数据平台、DW到上层的BI（商业智能）展现，数据平台在各交易系统之间、交易系统和报表分析系统之间实现数据交换，通过数据的加工、整合实现报表统计和分析。建立基础数据模型、ETL 平台、ETL 管理调度平台、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标为：
（2）、根据建立的初步检查规则，进行数据质量的监测，出具初步的数据质量检查报告；
（3）、根据数据质量检查报告，提出数据质量提升的解决方案。
集团
借鉴与参考总行统一报表指标体系成果，在此基础上建立满足集团口径指标体系，扩展集团指标；满足业务日常固定报表使用的同时提供多样化的报表展现界面，包括表格展现，各类图形展现；要求界面友好，易用性强，并能够提供具性化应用风格支持。
1.数据集中原则：
将总行ODS、数据仓库数据、集团特色数据和应用统一进行管理和运维，保证资源的高度利用以及通过相关的技术保证数据和应用的绝对安全和稳定。
2.数据标准集团统一原则：
依据总行的数据字典，减少数据定义的二义性。未来集团特色应用系统的数据结构是银行数据结构模型的子集。对集团级数据实行单点维护，确保集团级数据的可靠性和一致性。
1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成集团统一的数据视图，建设成为贵公司系统应用的基础数据平台。
2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵公司业务分析和经验决策提供全面的支持。
项目
本次项目建设遵循的技术原则如下：
数据平台的正确建立和合理利用将直接影响到贵公司的未来信息化发展，贵公司数据平台建设应参考以下架构原则，指导和规范未来的数据平台信息化建设和管理，在项目方案中应该能够体现以下原则：
第2章
项目
数据平台的建设对于贵公司是一个非常重要的系统工程，承担着贵公司企业数据整合、数据交换以及数据服务的重任，通过数据平台的建设使得贵公司将自身信息资产切实、有效的管理起来，形成企业统一信息视图，搭建企业数据治理的框架，并为统一报表系统提供有效的数据支撑。
项目
贵公司数据平台本期项目建设范围，可以从涉及到的业务范围、涵盖到的组织范围以及数据平台需要接入的源系统范围三个角度来分析。
3.储资源，提高存储资源使用效率。统一的性能管理，根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要。统一标准的安全管理，提高数据访问控制能力，降低关键业务数据的安全隐患。
4.降低数据冗余和数据复制原则：
减低集团级数据的冗余度，降低数据对存储资源的需求。各业务系统根据自身业务处理实际需求，确定对属于其它系统数据的同步需求，制订出相应的数据复制同步策略并统一进行实施。
基础数据平台数据补录功能
提供数据补录平台功能，包括补录流程管理、补录模版管理、单笔补录、批量补录等。通过补录平台实现数据平台无法自动获取的具备分析价值的数据。
本期基础数据平台数据标准涵盖以下工作内容：
接口标准：规范数据平台加载数据接口、卸出数据格式及校验标准
公共代码标准：参考总行ODS与数据仓库标准与集团特色数据标准；
基础数据平台ETL监控、调度功能，完成从原数据仓库数据移植到新数据平台的工作。
ETL子系统实现将各业务系统的数据抽取至数据平台，并进行数据的清洗、转化、加载等操作，形成数据分析、决策所需的各种汇总数据模型、分析模型，最终形成各种报表、查询以及KPI指标。ETL子系统实现自动化的数据抽取、数据加载、数据转化、数据卸载、自动化数据重新加载、加载错误自动处理、脏数据识别等功能。
本次数据报表平台项目承担了集团主要业务数据的集中和整合及报表应用展示的功能。通过数据平台的建设，将为零售、公司、同业、绩效、人力资源、运营等业务提供统一准确的数据支持，是贵公司业务精细化管理能力的重要基础类系统。数据平台从中远期角度来看，将成为贵公司管理层/经营层洞察经营全貌、优化经营管控水平、推进战略决策效能、支撑综合运营分析的数据分析平台。通过数据的集中化、标准化管理，实现银行数据的信息共享，构建实现企业数据平台及相关的管理决策分析应用。
数据质量管控
数据质量管控是一个长期的过程，依托于数据管控组织机构、流程的建立和完善。数据平台一期进行数据质量管控体系的初步探索，主要完成如下目标：
（1）、建立初步的数据质量管理检查规则，包括功能性和非功能性规则。功能性规则主要包括：完整性、唯一性、合法性、准确性等；非功能性主要包括信息的完整性、一致性、业务稽核等；