气象数据一体化平台设计方案

. . . .页脚. 项目编号：RJ20150020

设计方案 气象数据一体化信息服务平台 设计方案

2016年1月 助事达软件科技 . . . .页脚. 目 录

1 概述 ................................................................................ 3 1.1 背景与预期 ....................................................................... 3 1.2 建设容 ........................................................................... 4

2设计方案 .............................................................................. 5 2.1 系统架构 ......................................................................... 5 2.1.1. 平台总体架构图 ............................................................... 5

2.1.2. 数据流概览 ................................................................... 6 2.2 分布式解析引擎 ................................................................... 6 2.2.1. 分布式解析引擎概述 ........................................................... 6

2.2.2. 分布式解析设计架构 ........................................................... 7 2.3 气象分布式数据库设计 ............................................................ 12 2.3.1. 气象一体化平台分布式数据库设计概述 .......................................... 12

2.3.2. 分布式数据库设计架构 ........................................................ 15 2.4 气象资料云服务引擎 .............................................................. 17 2.4.1. 应用授权机制 ................................................................ 17

2.4.2. 授权认证机制 ................................................................ 17 2.4.3. 服务请求基础参数体系建立 .................................................... 17 2.5 服务版本管理体系建立 ............................................................ 18 2.5.1. 版本管理设计 ................................................................ 18

2.5.2. 建立服务API帮助文档 ........................................................ 18 . . .

.页脚. 1 概述

1.1 背景与预期

针对以往基础数据库建设分散、标准不统一、服务能力差等问题，按照“系统集成，数据集中，资源集约，功能完善，突出特色”的思路，经过两年半的努力，依托预报业务一体化平台项目建设，初步建成全省统一的基础数据环境，有效提高了信息资源的利用率和数据服务能力，为本省率先实现气象现代化提供了有力支撑。 信息中心在全省气象信息业务建设的基础上，先后出台几十项标准或规，为一体化体系提供标准支撑，完善了我省气象信息的标准规体系；优化数据传输流程，时效性可靠性提升显著，省区域自动站可实现60秒、雷达数据8分钟之、省际共享市区域自动站100秒到达预报员桌面；通过“软CAST”同步机制，省市间数据实现了秒级流转；完成了自动站、土壤水份、精细化等50多类数据的解析入库，数据解析的种类和覆盖围在不断扩充，确保了数据的完整性、一致性。架设全省云平台实现硬件资源的统一管理与分配，达到资源集约化、应用多样化的目标。 为进一步提高和增强气象数据服务能力，科学准确的做好数据服务工作，结合前期预报业务一体化平台使用和市县推广应用情况，在气象数据传输、数据存储和数据应用方面，提出诸多改进措施和方案，旨在不断的提高气象数据服务能力和质量。 . . . .页脚. 1.2 建设容

根据气象现代化发展的需求，在现有工作基础上，进一步完善全省基础资源配置和管理，开展智能化、个性化的基础数据环境信息服务平台的设计和开发，继续优化各类基础资料的收集处理流程，做好统一数据环境在市县的推广应用，着手开展适合本省的实时质量控制方法研究和质控系统的设计和开发工作，提高数据服务质量。通过建立团队协作机制，联合进行数据处理和信息技术应用开发，建立数据规；完成实时/历史数据库设计、解码和入库。 . . .

.页脚. 2设计方案

2.1 系统架构 2.1.1. 平台总体架构图

图表 1平台总体架构图 . . .

.页脚. 2.1.2. 数据流概览

图表 2数据流概览 2.2 分布式解析引擎

2.2.1. 分布式解析引擎概述 气象资料的来源有多种，包括上百种类型的气象资料报文、各个业务系统产出的气象服务产品、来自于CIMISS的数据资料等等。由于资料种类繁多、场地分散、解析入库方式及质量参差不齐等等各种问题的存在，同样为了满足集中管理、统一标准的业务目标需求，我们最终使用了气象数据分布式解析引擎来实现其各种功能。 . . . .页脚. 2.2.2. 分布式解析设计架构

图表 3分布式解析设计架构

分布式解析云的核心主要由四个部分组成：

a) 解析云服务

主要通过实时发布远程对象的方式为各个功能域提供分进程间信息共享平台。共享的远程对象主要包括：报文资源文件夹监控对象、分布式解析器运行时对象、服务全局控制对象、智能化解析配置对象、全局报文解析组件适配对象等。 . . . .页脚. 实质：远程对象以信道作为发布渠道，来进行客户端和服务器之间的通信。信道包括客户端的信道部分和服务器的信道部分。 发布的容以消息作为载体，消息包含远程对象的信息、被调用方法的名称以及所有的参数。

图表 4分布式客户端与服务间通信原理

报文资源文件夹监控对象：

每种资源文件都存储在一个或多个文件夹中，当有新的文件加入时解析云自动将待解析的文件加入到解析资源池（即任务队列）。当分布式解析器中有存在空闲的解析器时，此解析器则会自动向服务申请一个解析任务。 之后，当一个任务被解析器处理完毕后，其就会从任务队列中自动删除，同时将相对应的原始数据文件自动移动到已处理文件目录下面。 . . . .页脚. 分布式解析器运行时对象： 每个报文解析器分别部署在一个或多个服务器上，那么各个解析器运行状态的管理就十分的重要。为了满足全局监控，定向管理的目标，云解析平台将分布式解析器运行时对象作为各功能域部可见的全局对象进行发布。即各个解析器运行后自动向云服务发送注册请求，云服务接受请求后则将此解析器加入到解析器队列中用于后期的监控及管理。 服务全局控制对象： 主要负责服务的启动、暂停、重启以及重新加载配置文件等工作。

智能化解析配置对象： 此对象主要为分布式解析引擎提供解析知识库，为了实现解析组件的可插拔我们将智能解析配置对象也作为全局对象进行发布。可以从云解析管理器中对其容进行更改，更改后云服务自动通知各个解析器接下来的解析工作使用新的解析知识库进行报文识别及智能解析。 全局报文解析组件适配对象：

为了使报文的识别实现动态化扩展，我们将解析适配器对象进行全局发布，当云解析管理器对解析适配器信息进行更改后云解析服务将自动应用新的解析适配方案。所有的分布式解析器都使用云解析服务提供的统一解析适配器进行解析适配工作，所以当云服务的适配器方案改变后各个解析器自动使用新的方案进行适配工作。 . . . .页脚. b) 云解析管理器

云解析管理器是云解析服务的一个客户端，主要用于辅助云解析服务工作，为云解析服务提供可视化操作界面。如云解析服务提供的各个实时对象的管理及运行时参数的维护管理等工作都在云解析器中进行操作。 如报文解析组件适配信息配置、智能化解析知识库配置、分布式客户端监控、资源池监控、解析组件配置、数据源配置、运行日志管理等。

c) 分布式解析引擎

分布式解析引擎是云解析服务的运算核心，所有类型的数据都通过此引擎进行解析运算。报文解析引擎由三大支撑组件（数据类型识别组件、智能化解析组件和解析组件适配器）和解析组件池组成。

数据类型识别组件： 数据类型识别组件主要对当前申请到的解析资源进行自动识别，主要通过数据文件名、数据段特殊标记以及其他特性化配置方式进行识别。数据类型被识别后向解析引擎反馈此文件的解析适配标识。 解析组件适配器： 解析组件适配器主要将数据类型识别组件反馈的解析适配标识进行适配，并从解析组件工厂中构造一个适合此适配标记的解析组件 智能化解析组件： 智能化解析组件主要将智能解析知识库中的信息翻译成解析器能