全国智慧农业气象服务平台数据存储规范

全国智慧农业气象服务平台数据存储规范

（试行）

中国气象局

2016年11月

前言

全国智慧农业气象服务平台综合数据存储规范的制定以《气象结构化数据存储规范（初稿）》、《全国农业气象数据库环境技术规范（试行）》和《全国精细化气象格点预报数据规范》为基础，依托中国气象局CIMISS云平台，是对《气象结构化数据存储规范（初稿）-农业气象分册》、《全国农业气象数据库环境技术规范（试行）》的补充和完善，是全国智慧农业气象服务平台的数据参考规范。主要包括基础气象资料库、农业气象观测数据库、农业气象专题产品库、农业气象野外调查数据库、用户采集数据库、农业气象背景数据库。智慧农业气象数据库存储数据类型有站点数据、格点数据、Word文档、图片数据和视频数据五类。

智慧农业气象数据存储规范

1.范围

本规范规定了智慧农业气象数据存储规范，包括地面气象数据、土壤数据、农业气象观测数据、农业气象灾害数据、农业气象采集数据、农业气象数值产品、农业气象服务产品和台站信息等数据的表结构、索引、分区方式等内容。

本规范适用于气象结构化数据的存储管理。不论选用传统关系型数据库，还是选用分布式关系型数据库进行存储，都可使用该规范。

2.术语与定义

(1)数据库meteorological database

数据库是按照预定结构组织成的气象信息的集合，本规范涉及气象、土壤、农业气象、农业气象灾害、农业气象产品和台站信息六类数据库。

(2)表结构 table

表是数据库内部的数据存储机制。表含有一组固定的列。表中的列描述该表所跟踪的实体的属性。

(3)索引 index

索引是对数据库表中一列或多列的值进行排序的一种结构。

(4)分区 partition

分区是数据库基于性能和可扩展性等因素的考虑将一个大数据表分为独立的若干小表。

3.规范技术说明

对于智慧农业气象数据的存储管理，不论是选用传统关系型数据库，还是选用分布式关系型数据库，都需要设计数据存储的三项最基本内容，即表结构、索引和分区。表结构用于定义数据的组成和要素存储类型，索引和分区用于优化数据检索和管理性能。

(1)表结构

表结构定义数据包含的各要素字段，包括要素名称、字段编码、数据类型、约束（是否为主键、是否可空）、以及字段的赋值说明等。其中，字段编码源自BUFR码，进行了适当扩展。数据类型主要包括NUMBER、CHAR/VARCHAR2和DATE三种。

要素字段包括用于辅助存储管理的管理型字段（如资料标识、入库时间、更新时间等）和气象要素数据字段（如温、压、湿、风、降水等）。

(2)索引

索引分为两种，即唯一索引和一般索引。

唯一索引，是为了避免数据表中存在重复的键值，一般设计为一个；唯一索引也具备与一般索引一样的加速检索能力。一般索引，是为了提高应用检索效率，将常用的检索字段设计为索引，可设计为一个或多个。

智慧农业气象数据的唯一索引，一般由站点、观测时间、层次等时空字段组成。一般索引，则由常用应用场景的检索字段组成。

(3)分区

气象数据具有时空密度高的特点，因此数据规模较大。为提高存储管理性能，大部分数据表都需要进行分区。一般都按时间范围进行分区，依据数据的规模大小，分区粒度可选择为月、日和小时。

4.基于站点的资料存储规范

4.1.中国地面气象资料

中国地面气象资料包含地面实况气象资料和预报气象资料两类，其中，实况资料包括气象要素日值实况、小时值实况和气候标准值；预报资料为精细化城镇预报产品。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件1-中国地面实况与预报气象资料表。

表清单

4.2.土壤资料

土壤资料包括土壤土壤水文物理特性、土壤相对湿度、土壤水分总储存量、有效水分储存量、土壤冻结与解冻、土壤地温小时值、土壤地温日值等。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件2-中国地面土壤资料表。

表清单

4.3.农业气象观测数据

农业气象观测数据包含作物生长发育、干物质与叶面积、灌浆速度、产量因素与产量结构、关键农事活动、县级产量水平、动(植)物物候期、牧草发育期、牧草生长高度、牧草产量、牧草盖度及草层采食度、家畜膘情等级与羯羊重调查等内容。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件3-农业气象观测数据表。

表清单

4.4.农业气象灾害要素

数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件4-农业气象灾害要素表。

表清单

4.5.农业气象采集数据（用户采集上传的数据）

农业气象采集数据包括农业气象灾害数据采集、作物生长发育状况数据采集、产量数据采集、农事活动数据采集、牧草生长发育状况数据采集。数据表中文名、表格中文名称和说明见下表。具体表结构见附件5-农业气象采集数据表。

表清单

4.6.农业气象数值产品

站点农业气象数值产品是基于站点气象数据，通过农业气象算法，客观计算的农业气象指导产品，包括农业气象灾害等级监测与预报、农业气象灾害影响预报与评估、农业气候适宜度、作物发育期预报、作物模型模拟等产品，见下表。表的要素名称、字段编码、数据类型、约束、说明等表结构见附件6-农业气象数值产品(站点)表。

表清单

4.7.公共信息

主要包括省级单位代码表、台站信息表、用户信息表、台站站网表、台站分级表、国内行政编码表等信息。表结构见附件7-公共信息表（均为新建表）。

4.8.经济信息

主要包括主要农作物的港口价格和市场价格等信息。表结构见附件8-农产品经济信息表。

表清单

4.9.互动信息