03XXX省电子政务政务云平台Paas层设计方案
XX省电子政务
政务云平台建设方案
（Paas层设计）1
目录
1.PAAS层总体要求 (4)
2.PAAS服务目录 (5)
2.1数据库服务 (5)
2.1.1关系型数据库 (5)
2.1.2非关系型数据库 (19)
2.1.3分布式数据库 (28)
2.2中间件服务 (44)
2.2.1消息中间件 (45)
2.2.2分布式服务框架 (51)
2.2.3API网关 (55)
2.2.4存储网关 (60)
2.3大数据基础平台服务 (62)
2.3.1服务定义 (62)
2.3.1.1.1服务框架 (63)
2.3.2服务应用场景 (64)
2.3.3服务能力 (65)
2.4容器服务平台 (80)
2.4.1服务定义 (80)
2.4.2服务架构 (80)
2.4.3服务能力 (81)
2.5公共支撑平台 (84)
2.5.1服务定义 (84)
2.5.2服务架构 (85)
2.5.3服务能力 (85)
2.6区块链开发平台 (94)
2.6.1服务定义 (94)
2.6.2服务架构 (94)
2.6.3服务能力 (95)
3.PAAS资源设计 (98)
3.1P AA S总体架构设计 (98)
3.2P AA S层服务要求 (99)
3.2.1符合项目需求 (99)
3.2.2成熟性与稳定性 (99)
3.2.3云计算支持 (100)
3.3数据库资源建设方案 (100)
3.3.1数据库资源要求 (100)
3.3.2数据库资源建设架构 (103)
3.3.3数据库资源功能设计 (106)
3.4中间件资源建设方案 (115)
3.4.1中间件资源要求 (115)
3.4.2中间件资源功能设计 (117)
3.5大数据基础平台资源建设方案 (121)
3.5.1大数据资源要求 (121)
3.5.2大数据资源建设架构 (125)
3.5.3大数据资源功能设计 (126)
4.PAAS资源分阶段建设规模 (135)
1.PaaS层总体要求
本期政务云PaaS层，需要建设统一管理、统一服务的平台服务，为省级各部门构建健壮、灵活的基础信息架构，帮助其做到“集中部署、各取所需、灵活应变、简化维护”。省级各部门用户作为政务云平台服务的使用者，在不需要购买数据库和开发软件的情况下，直接使用省级PaaS平台的服务，能够快速地建立自己的信息系统。省级各部门在PaaS平台上，根据权限分配和数据逻辑隔离形成的一个虚拟系统，极大地降低了系统建设成本。
各省直政府部门除了可以直接在PaaS平台上搭建外，还可以根据各部门具体需求，调用PaaS平台的应用接口，因地制宜地进行二次开发和集成，构建自己信息系统实体，满足各个地区不同的业务需求。
2.PaaS服务目录
2.1数据库服务
根据前期调研省级各单位数据库使用情况，本期政务云平台主要提供的数据库服务为：Mysql分布式数据库服务、SQL Server数据库服务、Oracle数据库服务、PostgreSQL分布式关系数据库服务、Redis数据库服务以及Mongodb数据库服务，在数据库层面上实现统一建设、统一管理、统一服务，满足省级各单位关系型数据库、非关系型数据库以及分布式数据库使用需求。
全省各单位可以提供不同的数据库应用场景选择合适的数据库，本次政务云平台提供关系型数据库、非关系型数据库以及分布式数据库关系型数据库三种数据库。
2.1.1关系型数据库
本次政务云为全省各单位提供主流的关系型数据库，SQL Server数据库服务和Oracle数据库服务。
2.1.1.1SQL Server服务
2.1.1.1.1服务定义
SQL Server服务为用户在政务云中轻松设置、操作、扩展SQL Server部署。利用SQL Server服务，用户可以在几分钟内部署多
个版本的SQL Server（2008 R2或2012等），而且易于扩展。SQL Server服务可以处理耗时的数据库管理工作，例如备份、恢复、监控、迁移等全套解决方案，以集群服务模式提供高可用容灾能力。
2.1.1.1.2服务架构设计
SQLServer高可用，由三台Windows Server为一组，分别安装SQL Server实例，其中Primary和Secondary节点可以承担实际业务负载，且角色对等可以互换，Witness节点不承担业务负载，仅用于故障检测及自动切换的仲裁功能，三个节点互相之间通过网络通讯实时进行状态检测。Primary节点发生故障时，Secondary节点将自动接管该数据库的服务，成为新的Primary节点。这时原来的Primary节点将变成新的Secondary节点，并在恢复与新的Primary 节点的通讯之后自动进行反向的数据同步，从而实现数据库故障时的有效转移。
图 2-1SQL Server服务架构
数据库节点由一主一镜像的SQLServer数据库组成，跨机架部署，每个库对应一组监控Agent，通过心跳对数据库进行实时监控。
调度集群独立部署的2组决策调度集群和配置集群组成，作为集群的管理调度中心，主要管理数据库节点组、接入网关集群、HDFS 的的正常运行。
Hadoop分布式文件系统(HDFS)提供数据灾备服务，提供至少1份冷备数据，接入网关集群在网络层连接管理SQL解析、分配路由等，对外提供唯一的IP作为云数据库的整体方案。
2.1.1.1.3服务能力
2.1.1.1.
3.1轻松托管部署
1.web管理控制台
提供Web管理控制台，用户也可以使用SQL Server Management Studio管理数据库，支持批量实例管理、数据库管理、权限设置等操作，将海量数据库实例的运维工作简化为在页面点击即可完成，极大地降低了运维工作量。
2.预配置参数
用户所选择的SQL Server 2008R2、2012版本均为微软原生版本，政务云为数据库实例配置了一组通用参数。用户购买实例后，几分钟之内即可启动 SQL Server 数据库实例并连接应用程序，多数情况下无需二次开发或其他配置。预配置参数免去了用户初始化数据库的繁杂工作，极大简化了参数调优工作。
2.1.1.1.
3.2高可用
1.数据库镜像
采用SQL Server镜像功能提供高可用方案，用户购买的每个实例，默认提供一主一镜像两个节点；支持宕机自动检测和自动秒级切换，切换后IP、端口不改变；帮助用户业务稳定运行，减少业务意外停机带来的损失。
2.自动备份和回档恢复
SQL Server定时备份用户的数据库实例，并默认保存7天，自动备份存储在统一的安全备份存储内，有99.99999%的数据持久性；用户可以对实例进行回档操作，将数据库恢复到备份保留期内指定时间点，精确到秒。业务出现异常时，自动备份和回档恢复能力将会让用户的业务损失减少到最小。
3.监控与告警
覆盖性能负载、资源使用率等近三十项实时指标；用户也可以
自定义指标告警阀值，达到阀值后，政务云消息管理系统将自动告警，将问题及时反馈给用户，协助用户实现对数据库情况的掌握。
2.1.1.1.
3.3隔离与安全
SQLServer 可以创建在VPC网络，以获得高度安全灵活的网络配置能力。另外，云数据库为每一个数据库实例提供安全防护能力，无需用户单独购买；在数据库物理设备前通过安全模块提供防SQL 注入、防暴力破解等能力；如果开通外网访问，也提供防DDoS攻击能力，抵御各种攻击流量，保证用户的业务正常运行，减少攻击带来的业务中断和损失。
2.1.1.1.
3.4高性能
基于PCI-E SSD，强大的IO性能保障数据库的访问能力，存储固件采用NVMe 协议，专门针对PCI-ESSD设计，更能发挥出性能优势，高 IO 型单实例最大可支持6TB容量、480GB内存和22万级QPS(每秒访问次数)，性能优势使用户以较少的数据库实例支撑更高的业务并发。
2.1.1.2Oracle数据库服务
2.1.1.2.1服务定义
充分利用全省各单位现有oracle数据库资源，提高资源利用率，针对还可以使用的oracle数据库软硬件资源，采取利旧使用。本期云平台建设针对oracle数据库,面向省级各单位，根据数据库性能要求不同，提供高性能和中等性能两种数据库服务选择。
1.高性能oracle数据库服务
高性能oracle数据库服务采用Oracle一体机的模式，Oracle 一体机由计算节点、存储节点、InfiniBand 高速网络以及运维监控四大部分组成，计算节点及存储节点均基于标准的 X86 软、硬件架构，计算节点使用高性能 X86 服务器，负责提供数据库计算能力，存储节点配置 PCIe高速闪存卡，提供数据存储能力，内部通过InfiniBand 高速网络将多个计算节点及存储节点进行互联，采用全冗余架构设计，形成一个高性能、高可靠、易扩展的数据库系统，计算资源及存储资源均能够按需进行横向扩展，性能随节点的增加而呈线性上升。
2.中等性能oracle数据库服务
中等性能oracle数据库服务采用开放式的“x86服务器+IP网络+分布式软件定义存储”架构，取代传统的“小型机+FCSAN+集中式磁盘阵列”架构，使得Oracle运行在更加开放、可靠、易扩展、易整合的软硬件系统上，降低软硬件成本和运维成本，并支持向Openstack平台集成，实现便捷的资源交付和管理。
云化Oracle利用分布式云存储Ceph的无中心化、数据多副本、弹性扩容等特性，保障存储的可用性和扩展性，通过RAC / 双机HA 方案，保证计算节点的高可用性。
2.1.1.2.2服务架构设计
oracle一体机服务架构
图 2-2Oracle一体机服务架构
1．硬件模块
（1）计算节点
高性能 X86 服务器，安装 Oracle Grid Infrastructure（包括 Oracle 集群件及 Oracle ASM），Oracle RAC，支持提供 RAC 及RAC One Node 架构。
（2）存储节点
中端 X86 服务器，配置 PCIe 高速闪存卡，提供数据存储服务。
（3）InfiniBand 交换机
采用 56Gb/s 高带宽低时延的网络传输设备，4.03Tb/s 且端对端时延仅 200 纳秒的无阻塞带宽。
（4）主机通道适配器（HCA）
支持虚拟协议互联、1 微妙 MPI Ping 延迟、高达 56Gb/s 的InfiniBand 网络、PCI Express 3.0（高达 8GT/s）、CPU 传输卸载、端对端 QoS 及拥塞控制等特性。56Gb/s 无源铜缆支持高达 56Gb/s
带宽，具备绝佳的信号完整性、误码率优于10-15、低串扰等特点。
2．软件模块
Oracle一体机软件模块由 T Linux（可选其他 Linux OS）、LinkX、ASM、TMGR、TMON等模块构成。
（1）T Linux
T Linux 服务于百万级别服务器，在服务器稳定运行的基础上，针对业务进行持续优化，提供高稳定性、高性能、高安全的服务保障。下图为 Linux 内核制作流程，T Linux 内核与商业 Linux 内核一样，基于选择某个 Longterm 分支作为基线版本，并进行高度定制及优化。
图 2-3T Linux架构图
（2）LinkX
LinkX 作为 TData 内部 I/O 设计重要的组成部分，将存储资
源与计算资源融为一体。LinkX 基于高速的 InfiniBand 内部互联网络，并融合 RDMA、Multipath、iSER 等技术，为TData 提供低损耗，高可靠、高性能、低时延、高带宽的极致 IO 体验。
RDMA：内部互联链路使用 InfiniBand 高速网络，基于 RDMA （Remote Direct Memory Access）远程直接数据存取技术，将存储节点 PCIe 高速闪存卡直接暴露给计算节点，极大减少了数据传输时内核空间与用户空间之间环境切换的次数，实现 IO 零拷贝。
下图为 RDMA 技术与传统数据存取技术的区别。
图 2-4 RDMA 技术与传统数据存取技术区别
使用 iSER（iSCSI Extensions for RDMA）作为存储协议，将存储节点 PCIe 高速闪存卡映射到计算节点。iSER 协议为 iSCSI 数据块传输的一个扩展，已成为 IETF 中 iSCSI 协议的正式组成部分，同 SRP 协议一样，它将 iSCSI 数据传输从原来的 TCP/IP 网
络实现改为Infiniband RDMA 来实现，ISER 扩展技术将高速通信技术 Infiniband 扩展到了 iSCSI 网络化存储系统，融合了 iSCSI 技术及 Infiniband 技术优势，比 SAN 延时更低、带宽更高、组网更加灵活。
下图为 iSER 架构与传统 iSCSI 技术的区别。
图 2-5 iSER 架构与传统 iSCSI 技术区别
Multipath：在 SAN 存储网络中，为访问存储设备提供冗余链路是整个系统的关键技术之一。Multipath 多路径技术是在 Linux 平台下的开源解决方案，多路径集成了，主要实现了 I/O 流量负载均衡、故障自动切换及恢复以及性能提升等功能，TData 采用Multipath 多路径Active/Active 模式，此时I/O 采用Round-Robin 方式分摊负载到多路径上，提高数据传输性能，同时当多路径中某一条路径故障时，能够自动切换到存活路径，从而避
免了存储链路的单点故障。
下图为 TData 使用的 Multipath 多路径架构。
图 2-6 TData 使用的 Multipath 多路径架构
Automatic Storage Management（ASM）自动存储管理器是Oracle 推荐的存储解决方案。
ASM是文件系统和卷管理器的一体化，专门为 Oracle 数据库文件锁设计，在保证简单管理的基础上提供高性能的异步 IO 能力，具有自动调整 I/O 负载、条带化存储、在线自动负载均衡、自动管理数据库文件、数据冗余等众多特点。
下图为ASM 在 Oracle RAC 中的部署架构，TData 使用 ASM 作为存储解决方案，ASM存储数据文件、控制文件、重置日志、闪回日志、spfile 等 Oracle 数据文件。
图 2-7 ASM 在 Oracle RAC 中部署架构
TMGR 为 TData 运维管理组件，系统管理人员只需通过 TMGR 管理数据库实例相关信息，如数据库帐号管理、表空间管理、数据库导入/导出、数据库开启/关闭、备份与容灾等，底层的集群稳定性由云资源管理平台统一运维，极大降低用户运维成本。
TMON 为 TData 监控组件，系统管理员可以通过 TMGR 监控特定实例 Sessions 会话详情、TOP 等待事件、日志流水、数据库存储状态、数据库操作日志等信息，提供异常告警、事件上报等功能。
云化oracle服务架构
云化Oracle的计算节点和存储节点都由x86服务器组成，分别连接到IP网络。存储节点使用Ceph（开源分布式存储软件）将各台存储节点组成一个“分布式、无中心化”的存储集群，使用Ceph 的块设备接口，通过Ceph Pool向计算节点提供块存储服务。计算节点安装Ceph客户端，映射Ceph Pool中的Image为系统块设备，使用ASM将裸设备组成Oracle文件系统。
2.1.1.2.3服务能力
2.1.1.2.
3.1易扩展
用户可按需定制计算节点及存储节点数量支持在线横向扩展，根据用户需求增加计算节点、存储节点，支持多套 TData 数据库一体机级联。
2.1.1.2.
3.2数据迁移、备份
根据客户源端操作系统平台、数据库平台、数据库版本、生产系统数据量、存储方式等不同情况以及客户对停机时间、目标端数据库版本等不同需求，提供专业技术支持，为客户设计完备的数据
库迁移方案。
支持 Oracle 本身所支持的备份及恢复方式，如 RMAN、Oracle Secure Backup、逻辑备份等，协助客户制定合适的备份策略。TData 备份节点用于存储客户归档日志及备份相关文件，备份节点暴露存储设备作为 ASM 的一个磁盘组，提供稳定、快速的备份及恢复功能。
2.1.1.2.
3.3高可用、容灾支持
支持标准的 Oracle Data Guard 以及 Oracle GoldenGate 高可用部署方案，同时支持基于 InfiniBand 网络的同城双中心双活架构设计，两个数据中心均处于 ACTIVE 状态，同时对外提供相同的业务访问服务，在一个数据中心故障时，用户访问自动切换到存活数据中心，提供极致容灾体验，同时这种架构能够使得设备利用率最大化。借助于“两地三中心”合规机房，用户部署同城主备、同城双活、两地三中心等 Oracle 高可用方案变得十分简单，极大的减少了用户建设时间、建设成本以及运维成本。
2.1.1.2.
3.4快速部署
即买即用，政务云提供充足数据库计算、存储资源。最小化用户数据库部署时间，在最短时间内为客户部署提供高性能、高可靠、易扩展、安全合规的数据库基础服务
2.1.1.2.
3.5安全性
依托政务云安全平台数千万打造的防火墙体系，有效抵御各种安全攻击，同时提供漏洞修复、溯源取证、防御建议，数据泄漏检测等一系列专业安全服务。
2.1.1.2.
3.6高可靠性
采用全冗余架构设计，计算节点、存储节点、IB 交换机、存储心跳链路均为全冗余设计，没有单点故障。计算节点基于 Oracle Grid Infrastructure（GI）集群网格架构实现节点间故障透明切换；存储节点通过 RDMA 技术及 ASM 自动存储管理组件构建存储资源池，资源池保证每份数据存在三份副本，并分别存储于不同的存储节点，实现存储节点故障时的数据在线自动重新分布及重新冗余；存储及心跳链路方面，采用 multipath 双 active 多路径方式，避免单链路故障。
2.1.1.2.
3.7高性能
计算节点使用高性能 X86 企业级服务器，选用 INTEL XEON 处理器，计算节点之间以及计算节点与存储节点之间选用 56Gb 的低时延、高带宽 InfiniBand 高速互联网络，采用基于 RDMA 协议的高效通信机制，通信性能是传统 TCP/IP 方式的 10-40 倍；存储节点选用高性能 X86 企业级服务器，通过 56GB InfiniBand 高速内部互联网络进行星型连接，每个存储均使用 PCIe 高速闪存卡，存储 IOPS 及读写带宽均实现极大提升，单卡读写带宽数十倍于传统磁盘，IOPS 百倍于传统磁盘。
2.1.2非关系型数据库
本次政务云为全省各单位提供两种非关系型数据库：Redis数据库服务和Mongodb数据库服务。其中Redis数据库服务适用于兼容 Redis协议的缓存和存储服务；Mongodb数据库服务适用于文档