开放平台中的OpenAPI设计

基于大数据的能力开放平台解决实施方案

基于大数据的能力开放平台解决方案

————————————————————————————————作者：————————————————————————————————日期：

基于大数据的能力开放平台解决方案 1 摘要关键字：大数据经分统一调度能力开放运营商经过多年的系统建设和演进，内部系统间存在一些壁垒，通过在运营商的各个内部系统,如经分、VGOP、大数据平台、集团集市等中构建基于ESB 的能力开放平台,解决了系统间调度、封闭式开发、数据孤岛等系统问题，使得运营商营销能力和效率大大提高。 2 问题分析 2.1 背景分析随着市场发展，传统的开发模式已经无法满足业务开发敏捷性的要求。2014 年以来，某省运营商经营分析需求量激增，开发时限要求缩短，业务迭代优化需求频繁，原有的“工单-开发”模式平均开发周期为4.5 天，支撑负荷已达到极限。能力开放使业务人员可以更便捷的接触和使用到数据，释放业务部门的开发能力。由于历史原因，业务支撑系统存在经分、VGOP、大数据平台、集团集市等多套独立的运维系统，缺乏统一的运维管理，造成系统与系统之间的数据交付复杂，无法最大化的利用系统资源。统一调度的出现能够充分整合现有调度系统，减少运维工作量，提升维护质量。驱动力一：程序调度管理混乱，系统资源使用不充分

经分、大数据平台、VGOP、集团集市平台各自拥有独立的调度管理，平台内程序基本是串行执行，以经分日处理为例，每日运行时间为20 个小时，已经严重影响到了指标的汇总展示。驱动力二：传统开发模式响应慢，不能满足敏捷开发需求大数据平台已成为一个数据宝库，已有趋势表明，只依赖集成商与业务支撑人员的传统开发模式已经无法快速响应业务部门需求，提升数据价值。驱动力三：大数据平台丰富了经分的数据源，业务部门急待数据开放某省运营商建立了面向企业内部所有部门的大数据平台，大数据平台整合了接入B域、O 域、互联网域数据，近100 余个数据接口，共计820T 的数据逐步投入生产。大数据平台增强了传统经分的数据处理的能力，成为公司重要的资产，但是传统经分数据仓库的用户主要面向业支内部人员，限制了数据的使用人员范围和数据的使用频度，已经无法满足公司日益发展的业务需求，数据的开放迫在眉睫。 2.2 问题详解基于背景情况分析，我们认为主要问题有三个： 1、缺乏统一的调度管理，维护效率低下目前经分系统的日处理一般是使用SHELL 脚本开发的，按照串行调度的思路执行。进行能力开放后，目前的系统架构无法满足开发者提交的大量程序执行调度的运维需求。如果采用统一调度的设计思路则基于任务的数据表依赖进行任务解耦及调度，将大大简化调度配置工作和提高系统的

基于大数据的能力开放平台解决方案精编版

数据交换共享整合系统平台技术方案

数据交换共享整合协同平台设计

整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分：第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。

第一章中心平台设计 1.1 平台功能结构整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题。各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下：共享数据库的数据采集、更新、维护。业务资料库、公共服务数据库的数据采集。提供安全可靠的共享数据服务。业务部门之间的业务数据交换。结合工作流的协调数据服务。

平台设计方案

平台总体框架设计在整个系统的设计上，在保证系统效率的前提下，将突出系统的开放式、标准化、模块化、易用实用、性能优化、可靠稳定等特点。为充分保证系统在安全性、跨平台性、易扩展性、易维护性等方面的要求，建议采用先进的三层应用体系结构。这种结构已成为当今应用软件的首选体系结构。如图所示：

Android/Ios Command1 Command2 对外接口展示层（SpringMVC 框架）逻辑层（Spring 框架）应用1 应用2 数据持久层(Mybtis 框架） domain domain mapper DataBase json 平台性能设计原则 ? 响应时间 ? 当数据录入操作时无等待时间。 ? 日常操作用的显示响应时间（从敲执行键至完全显示画面、含相关数据）≤ 3 秒； ? 复杂图表的显示响应时间≤ 10秒； ? 峰值状态时，日常查询、统计和分析的响应时间≤15 秒；

?CPU 和LAN 负荷率 ?CPU 平均负荷率系统稳定状态：应用服务器<30% 系统繁忙状态：应用服务器<45% ?内存系统稳定状态：应用服务器<200M 系统繁忙状态：应用服务器<240M 在每5 分钟测试期间，系统LAN 负荷不大于30% ?并发处理并发处理用户≥100 人；系统峰值响应速度，并发处理用户≥70 人； ?系统处理能力下降到20%的时间每年应小于20分钟 ?在98%的时间内系统处理能力均大于90% 平台用户体验设计原则我们在本系统的开发过程中将遵循以下几个原则： ?适用性根据现有软硬件平台的实际情况和未来发展方向，使系统的设计方案具有良好的适用性。 ?先进性为了保证开发出来的系统能够在较长的一段时间之内在技术层次上不落伍，要求本系统的开发和设计在技术上具有足够的先进性。

政务大数据平台建设方案.pdf

第一章需求分析和项目建设的必要性1.1 项目建设目标、内容 1.1.1 项目建设目标电子政务公共数据开放共享平台项目建设目标是，依托统一的“云”数据中心建设统一的公共数据开放共享平台。集中机关各部门业务应用进行，制定相关的数据规范和信息交换标准，使机关各部门业务系统依托统一的开放平台进行开发建设。确保部门之间系统之间的互联互通、数据共享，为大数据分析提供数据依据。 1.1.2 项目建设内容电子政务公共数据开放共享平台项目建设内容包含：一套标准规范、两个数据门户、四大应用平台、四大基础数据库和一个应用支撑平台。具体建设内容包括： 1、一个应用支撑平台为了对需要调用电子政务公共数据开放共享平台信息资源的政府部门应用系统进行有效管理，面向各类电子政务应用，规划建设统一的应用支撑平台，统一标准规范，通过用户管理、应用管理、服务管理等核心组件，可以对接入系统有效管理、实现统一认证及单点登录、统一消息服务。

2、两个数据门户针对政府部门用户建设信息资源政务门户，针对企业、公众用户建设信息资源开放门户。 3、四大应用系统建设承载电子政务公共数据汇聚平台、数据治理平台、数据运营平台和数据应用平台。 4、四大基础数据库通过电子政务信息资源梳理，制定四大基础数据库的建库、入库和管理规则，建立四大基础数据库管理平台，提供基础库内容管理、数据处理、共享和应用功能。四大基础数据库包括人口库、法人库、经济库和地理库。 5、一套标准规范形成标准规范体系，包括管理制度、标准规范、数据标准等。 1.2 编制依据 1、中办、国办《2006-2020年国家信息化发展战略》； 2、国办《关于促进电子政务协调发展的指导意见》； 3、国务院《促进大数据发展行动纲要》； 4、《国家电子政务总体框架》； 5、《国家电子政务“十二五”规划》(工信部规〔2011〕567号)； 6、《关于印发“十二五”国家政务信息化工程建设规划的通知》(发改高技〔2012〕1202号)；

平台设计方案

平台设计方案 Document number：NOCG-YUNOO-BUYTT-UU986-1986UT

平台总体框架设计在整个系统的设计上，在保证系统效率的前提下，将突出系统的开放式、标准化、模块化、易用实用、性能优化、可靠稳定等特点。为充分保证系统在安全性、跨平台性、易扩展性、易维护性等方面的要求，建议采用先进的三层应用体系结构。这种结构已成为当今应用软件的首选体系结构。如图所示：平台性能设计原则 ?响应时间 ?当数据录入操作时无等待时间。 ?日常操作用的显示响应时间（从敲执行键至完全显示画面、含相关数据）≤ 3 秒； ?复杂图表的显示响应时间≤ 10秒； ?峰值状态时，日常查询、统计和分析的响应时间≤15 秒；?CPU 和LAN 负荷率 ?CPU 平均负荷率系统稳定状态：应用服务器<30% 系统繁忙状态：应用服务器<45% ?内存系统稳定状态：应用服务器<200M 系统繁忙状态：应用服务器<240M

在每5 分钟测试期间，系统LAN 负荷不大于30% ?并发处理并发处理用户≥100 人；系统峰值响应速度，并发处理用户≥70 人； ?系统处理能力下降到20%的时间每年应小于20分钟 ?在98%的时间内系统处理能力均大于90% 平台用户体验设计原则我们在本系统的开发过程中将遵循以下几个原则： ?适用性根据现有软硬件平台的实际情况和未来发展方向，使系统的设计方案具有良好的适用性。 ?先进性为了保证开发出来的系统能够在较长的一段时间之内在技术层次上不落伍，要求本系统的开发和设计在技术上具有足够的先进性。 ?易用性为了确保多种层次计算机应用水平的员工均能够快速地掌握并进行方便地使用，要求开发出的系统管理容易、操作简便、易用上手。 ?可靠性系统要能够提供每天24小时，每周7天的不间断运作能力，并保证系统在访问高峰期能作到正常工作且快速响应。