上海市海洋数据基础平台框架设计
数字海洋中数据体系结构研究
第 28 卷第 4 期海洋通报V ol. 28，No. 4 2009 年 08 月 MARINE SCIENCE BULLETIN Aug., 2009数字海洋中数据体系结构研究张峰1，石绥祥1，殷汝广1，李四海1，宋杰2，鲍玉斌2(1. 国家海洋信息中心，天津 300171；2. 东北大学信息科学与工程学院，辽宁沈阳 110004)摘 要：海洋数据的多源性、多态性和多样性以及数据量庞大等特点决定了其不同于其它数据，如何更加合理有效地存储和管理海洋数据，为海洋综合管理信息系统和“数字海洋”原型系统建设提供有力的数据支撑，是一个紧迫需要解决的问题。
本文对各类海洋资源、海洋环境、海洋经济、海洋管理等数据进行统一的体系规划，构建统一标准的海洋数据体系框架，以实现国家、省 ( 市 ) 等各级海洋数据的有效管理，满足“数字海洋”海洋信息基础平台建设需要。
关键词：数字海洋；数据体系结构；数据仓库；数据集市；元数据中图分类号：P7；TP392 文献标识码：A 文章编号：1001-6932(2009)04-0001-0008引言“数字海洋”随着“数字地球”[1]战略的提出应运而生，一经提出就备受瞩目[2]。
“数字海洋”是指通过海洋调查、海洋监测监视 ( 包括卫星、飞机、船舶、浮标、岸站)、社会普查统计等数据获取手段，利用数据库、地理信息系统和网络等技术构建一体化的数字集成平台和虚拟环境，把真实的海洋重现及预现而形成的一个总体系统。
“数字海洋”通过对当前现实海洋现象和过程的直接表达和对未来现实海洋场景的预测、模拟，促进人类对海洋的开发、利用的方式更趋于合理、有效，保证海洋可持续发展。
当前，主要海洋国家如美国、俄罗斯、英国、法国、德国、日本、加拿大等国都正在积极推进各自的“数字海洋”信息系统建设。
现实海洋、数字海洋之间的互动关联将成为21世纪人类社会开发利用海洋的基本模式。
要实现“数字海洋”系统，实现对各类海洋数据有效合理的存储和管理以及满足海洋领域相关应用需求，就必须有一个较完善的数据体系，其至少要具备以下7个特点：①完整性：能够将海洋数据完整地存储，保证需要的数据都可检索，并且满足涉海单位海洋管理、研究的需求；②合理性：设计合理的数据体系结构，其包括哪些部分和各部分的作用及其之间的关联关系，以及数据的交互等问题都应作合理的考虑；③独立性：数据体系框架每部分应具有相对独立性，能够独立完成相应的功能；④安全性：数据体系要最大程度上保证数据存储和数据访问修改等的安全性；⑤高效性：能够尽量节省空间并且提高响应速度，在这二者间取得一定的平衡，高效地满足应用的各种需求；⑥可靠性：即使数据量非常庞大，也能够高效装载，并且保证提供给应用系统的数据是真实可靠的；⑦一致性：数据体系中各部分的同一数据要保证一致性。
海洋环境基础数据库标准
海洋环境基础数据库标准
从数据内容的角度来看，海洋环境基础数据库标准需要包括海洋生物、海洋化学、海洋地质、海洋物理等多个方面的数据。
这些数据需要按照统一的分类体系进行组织和标准化，以便不同来源、不同时间、不同地点的数据可以进行比较和分析。
从数据格式和交换的角度来看，海洋环境基础数据库标准需要规定数据的存储格式、元数据标准、数据交换协议等内容，以确保不同数据库之间可以进行数据共享和交换，提高数据的可访问性和可利用性。
此外，海洋环境基础数据库标准还需要考虑数据质量控制、数据安全和隐私保护等方面的内容，以确保海洋环境数据的可靠性和安全性。
在制定海洋环境基础数据库标准时，需要充分考虑国际上已有的相关标准和规范，确保与国际接轨，促进国际间的数据交换与合作。
同时，还需要考虑到不同国家和地区的海洋环境特点和需求，制定灵活性较大的标准，以适应不同地区的实际情况。
总之，海洋环境基础数据库标准对于海洋环境数据的管理和应用具有重要意义，它需要全面考虑数据内容、格式、交换、质量控制、安全性等多个方面的内容，以确保海洋环境数据得到有效管理和应用。
让信息化驶向更辽阔的海域
平台的无 缝衔 接 ； 满足海 洋行政 执 法的需求 ， 达到执 法业务 已建 的海 洋信息化系 统集成 度不 高。由于历史 原 因， 国 流程数 字化 ， 逐步实现 网上执 法功能 ； 足海洋环 境保护 的 满 家海洋系统各部 门网络 与系 统基本遵 循独立 建设 的路子， 业 需求 ， 实现 海洋环境 灾害 的预警 报功能 ； 满足 海洋 防灾 减灾 务条线各自为政 、 互不相联 ， 信息整合 和交换遭 遇瓶颈 ， 术 的需 求， 技 对监测数 据进 行 专题 分析和预 报， 到减 灾防灾 的 达 手段比较有限 ， 约程 度不高， 集 资源复用率低。 目的； 满足振 兴海洋经 济的需 求 ， 实现 海洋经济 统计评 价动 态化； 满足 发展海 洋科 技的需求 ， 实现 海洋科 技成 果的产业 国家海洋局对海 洋信息资源 的安全保 障有 较高的要求 。 但是 化 、 务化 。 过 上述 应用 系统建设 ， 业 通 初步形 成用 以支 撑专 在 目前网络、 数据和应用系统建设工作实践中， 并没有严格和 题业 务和综合 管理 的应 用系 统体系。
了
ｃ－ ）
。
了
文／ 蓝
岚
潘 崇伦
倪 雄
推动海洋经济与海洋科技发展的主要动力。 当今社会，“ 智慧地球”、 数字海洋” “ 等概念不断冲击着我 强国力、 根 据 上海 市新 一轮 政 府机 构 改革方 案 ， 海市 海洋局 上 们的大脑。 海洋研究领域广泛 ， 涉及的学科繁多， 同时会产生大 将原上海 市海洋局的职责划入 上 量数据， 因此， 人类要向海洋索取资源求生存， 必须对海洋进行 与上海 市水务局合署办公 ， 海 市水务局 ， 全面履行上海 市水务局、 上海市海洋局的职 责。 全面了 ， 解 必须借助高科技手段进行有效管理和开发应用。
启动“数字海洋”上海示范区建设步入海洋信息化
启动“数字海洋”上海示范区建设步入海洋信息化掌控海洋信息方能掌控海洋。
记者近日从国家海洋局东海信息中心获悉，“数字海洋”上海示范区建设开始启动：2010年前，茫茫东海上，上海和邻近海域内瞬息万变的理化生指标及地质地貌、环境质量等要素，将化为计算机芯片上的海量数据。
上海将通过这项建设，提高海洋科技创新能力和科学管理水平，保障海洋资源可持续开发，促进海洋经济协调发展，并作为全国“数字海洋”系统的南北连接点，成为我国实施“海洋强国”战略的重要一环。
大海竞相信息化“数字海洋”随“数字地球”理念应运而生，它通过卫星、遥感飞机、海上探测船、海底传感器等进行综合性、实时性、持续性的数据采集，把海洋物理、化学、生物、地质等基础信息装进一个“超级计算系统”，使大海转变为人类开发和保护海洋最有效的虚拟视觉模型。
为在海洋竞争中获取信息优势，美、英、法、德、俄、日等国正将科研尖端力量和大笔资金投入“数字海洋”。
例如，美国和加拿大为此制定的“海王星”计划、日本的ARANA计划等已初步实现应用。
非洲地区沿海25国也联合建立了非洲近海资源数据和网络信息平台。
构建“数字海洋”信息基础框架项目，现已成为我国建国以来规模最大的国家海洋计划之一。
上海陆域面积6727平方公里，海域面积却达7000多平方公里，“数字上海”半边天将是“数字海洋”。
这块“数字海洋”项目的唯一示范区，将由国家海洋局与上海市人民政府共同建设，重点区域包括长江口和洋山深水港附近水域，并延伸至东海上部分我国管辖的专属经济区，已率先启动空间地理基础信息库建设。
多维一体“海洋网格化”“在‘数字海洋’模拟屏前，你触摸大片海洋的某一点，那里当前时刻的水温、流速等都能显示。
”东海信息中心总工程师林勇说。
以往的海洋数据库来源于历次海洋专项调查等，这种信息长期静态不变；“数字海洋”则建立在太空、空中、海面、海底、陆上等多维立体信息采集系统上，是对大海进行的“现场直播”。
除现有的卫星、飞机、船舶、特殊浮标、海岸雷达等设备外，国产的智能化传感网络将在海底铺开。
浅谈上海市水务公共信息平台及其数据交换技术
本文链接：/Conference_7257773.aspx
燮１ １罐‘Ｉ嘲｛赫统．
图３“点对点“数据交换模式
与传统的数据变换模式不同．水务公共信息平台中采用丁数据变换中心模式（如图４所示），平台 中的应用系统之间不直接相互连接．备系统都连向一十统一的数据交换中心，由中心统一维护再个应 用系统之间的接口，统一协调信息资源．统一对各个应用系统做数据交换共享。这种模式前期投＾较 大．但从可扩展性，可维护性，稳定性都是前一种模式不可比拟的。随着参与数据交换的系统增加和 数据量的不断加大．这种模式会越来越突出水务信息化框架中的位置 ２００６年，上海市水务局确立“十一五”期间水务信息化建设目标，提出了以三个平台（网络平台、 数据平台、应用平台）为基础的水务信息化框架体系（如图１所示）。即以电子政务系统为龙头，以网 络平台为载体，总体推进一个平台（水务公共信息平台，即数据平台）、三个应用（电子政务系统、防 汛指挥系统、水资源实时监控与管理系统）。 其中水务公共信息平台介于网络平台和应用平台之间，是一个为各类应用提供统一的数据交换和 应用共享的平台。其主要提供系统间的数据集中、数据发布、数据交换、信息路由、信息同步等功能， 为实现上海水务信息共享交换和分级管理提供重要技术保障。 ２．２水务公共信息平台软件架构 根据上海水务的行业特点，水务公共信息平台设计为三层结构：接Ｅｌ／适配器层、数据交换层、基 础架构层（如图２所示），分别描述如下： １）接口适配器层：接口适配器是数据和应用集成的接口和连接，是具体实现数据和应用集成的模 块。它主要连接客户端和数据交换层，将客户端的各种业务数据描述成数据交换层所能识别的格式。 接口适配器连接的客户端有多种，如：扁平文件、数据库、ＷＥＢ服务接口、ＳＯＣＫＥＴ接口等。
图２水务公共信息平台软件架构
上海市水务局网上政务大厅建设与应用
的口感和品质。
这个分析结果可用于食堂管理区分男女喜好提供特色服务。
最后，针对食堂拥挤可以采取相关策略，可以从两方面考虑：一是在几个严重拥挤的食堂增加座位数，通过推送给学生食堂实时拥挤程度的情况，让学生可以提前灵活选择就餐食堂；二是，管理开发智能结算功能，集成射频读写装置、读卡器、显示屏等多个设备，实现结算区餐具的批量快速识别，学生自主完成核对和支付，提高结算效率和准确性。
这样，便可极大缓解高峰期的排队时间浪费，菜品和座位的供应不足。
另外，对于三餐都不拥挤的食堂，可以深入了解原因，提高服务质量，合理分配资源。
分析高校食堂的消费不仅仅是通过数据分析结果为食堂的管理服务水平提供建议，同时也可从中找到信息来让学校发现学生的行为习惯，帮助学生解决问题。
例如，根据食堂数据的挖掘分析，学校可以考虑查找连续3天以上不在学校食堂就餐的学生，长时间有早餐或中餐或晚餐不在学校吃的学生，分别了解原因，了解他们的需求，帮助他们解决困难。
作者单位：上海大学信息化工作办公室上海市水务局网上政务大厅建设与应用文｜倪雄，钱国民，宋锡超近年来，随着国家“互联网+政务服务”和“智慧城市”建设的新要求，上海市政府全力推进网上政务大厅建设、社会信用体系建设和政府信息资源共享与开放，建成全市统一的网上政务“单一窗口”。
上海市水务局（上海市海洋局）结合行政审批工作实际，制定了《上海市水务局（上海市海洋局）网上政务大厅建设与推进工作——单部门审批上网工作计划》，要求全力做好本项任务的信息技术保障，建设局网上政务大厅并与市级平台实现无缝对接。
一、目标和任务系统的总体目标是在上海市水务局行政审批网上办事系统成果基础上，构建局网上政务大厅框架；通过标准化数据共享，实现我局行政审批事项与市网上政务大厅的业务协同、系统对接、数据融合；企业和市民可以实现网上办理事项的一口受理、一次申请、一码查询、一站反馈，可以通过多种渠道获取各类政务服务。
建设任务包括单部门行政审批事项上网建设、上海水务海洋门户网站改版改造、数据库与前置机建设、系统的集成对接等。
海洋环境数据共享与应用技术设计
海洋环境数据共享与应用技术设计海洋环境数据共享与应用技术设计一、引言海洋环境数据是指对海洋生态系统、海洋气象、海洋地质、海洋地球物理等各方面进行观测和监测所获得的数据资料。
这些数据对于海洋环境保护、海洋资源开发利用以及海洋灾害防治等领域的决策和研究具有重要意义。
然而，由于数据采集的分散性和数据共享的困难性，使得海洋环境数据的利用率相对较低。
因此，本文旨在探讨海洋环境数据共享与应用技术的设计，提高海洋环境数据的利用效率和数据应用的效果。
二、数据共享平台建设1. 数据整合与清洗由于海洋环境数据来自于不同的观测和监测设备，数据格式和数据质量存在差异。
因此，首先需要建立一个数据整合与清洗的流程，对数据进行格式转换和质量检查，保证数据的一致性和准确性。
2. 数据标准化海洋环境数据的标准化是数据共享的关键环节。
可以借鉴国际海洋环境数据标准，如海洋科学和技术组织（OST）制定的海洋数据标准（ODS）等。
通过制定统一的数据格式和数据字段，实现不同数据源之间的互操作性，提高数据共享的效率和可行性。
3. 数据存储与管理海洋环境数据的存储与管理需要建立一个稳定可靠的数据平台。
可以采用云计算和大数据技术，建立分布式存储和分布式计算的系统架构，以应对大规模数据的存储和处理需求。
同时，还需要建立权限管理和数据备份机制，确保数据的安全和可靠性。
4. 数据共享与访问在数据共享平台中，需要建立一个统一的数据共享和访问接口。
可以使用Web服务技术，如RESTful接口、SOAP协议等，以提供标准化的数据查询和下载服务。
同时，还可以采用开放数据接口（OpenAPI）的方式，与其他数据平台进行互联互通，实现数据的跨平台和跨系统共享。
三、数据应用技术设计1. 数据挖掘与分析海洋环境数据的数据量庞大，包含了丰富的信息。
通过数据挖掘和分析技术，可以从海洋环境数据中发现隐藏的规律和关联性。
可以采用机器学习算法、统计分析方法等，对海洋环境数据进行模型建立和数据预测，为海洋环境保护和资源开发提供决策支持。
海洋环境数据系统设计论文
海洋环境数据系统设计论文１引言传统的海洋数据服务一般是专项专建、专人专用，针对人群比较单一、数据类型比较简单，而且在项目结束后通常建设的数据库和应用系统由于没有后期的经费支撑而停用。
本研究提出的海洋环境数据在线服务系统（以下简称系统），涵盖了多专项、多学科的数据，在原有数据库、应用系统、专网基础上进行系统集成、数据库扩建，为海洋局属各单位提供共享服务。
系统是运用面向服务架构的设计思想搭建应用系统。
采用并行数据库技术实现大数据量的存储、加载、更新、查询等操作，利用ＥＴＬ调度工具实现源数据库到并行数据库的数据抽取、转换和转载，减少重新建库的工作量。
采用虚拟化技术整合存储、服务器、网络资源，建设数据中心集群，提高资源利用率，采用域控管理机制实现数据安全管理，权限管理。
采用ＶＰＮ认证管理机制，保障系统安全正常运转。
２系统设计系统通过面向服务的总体架构，以数据的汇集、处理、应用为基础主线，采用高速并行技术，结合虚拟化技术等先进ＩＴ技术，设计系统的逻辑架构、功能架构、物理架构与技术架构。
２．１逻辑架构系统总体架框架由数据层、管理层和应用层３部分构成，数据层是指通过对历史收集、专项调查、在线传输等方式收集，采用数据集、数据库方式进行数据存储与管理；管理层是指对使用系统的用户进行统一认证、用户管理、数据授权等实现用户有效可控的管理；应用层是指为用户提供数据的在线查询检索、数据时空分布检索、产品加工处理等应用服务，满足用户多样化的需求。
应用层与管理层通过内网和专网访问数据层，实现数据的管理、查询、处理等服务。
（１）数据层。
数据层主要由原始数据、基础数据和成果数据３部分组成。
原始数据是指海洋仪器现场采集的原始资料、现场汇交的纸质或者电子资料等。
原始数据采用文件方式存储，基于原始资料清单和数据库文件目录等方式进行管理。
类型包括海洋观测原始资料、海洋监测原始资料、专项调查汇交资料等。
基础数据是指对原始数据进行整理、排重、质量控制等处理之后形成的标准化数据。
海洋数据交换与调度管理系统
海洋数据交换与调度管理系统一、 项目背景为全面推进十六大提出的“实施海洋开发”战略，促进海洋经济持续快速发展，实现 “全面建设小康社会，加快推进社会主义现代化”目标，国务院批准并实施“我国近海海洋 综合调查与评价”专项（908专项）。
该专项共设三个项目，其中之一就是“中国近海‘数字（908－03项目）。
海洋’信息基础框架构建”“数字海洋”是在海洋相关科学长期积累的基础上，依托信息科学与空间技术的最新 进展，利用天基、空基、海基、陆基等海洋数据获取更新监视监测手段，应用3S（遥感RS、 地理信息系统GIS、全球定位系统GPS）等技术，构建多分辨率、多时相、多类型的动态海 洋时空数据平台，以空间位置为核心关联点，对海洋各种信息进行实时采集、有序处理、快 速传输、多维显示、逼真描述的综合性数字化信息系统。
“数字海洋”信息基础框架，根据其建设内容分解为七大部分，22个任务单元。
海洋 数据交换与调度管理系统研制属于“数字海洋”第6任务单元，课题编号为908030232。
该 系统主要为了解决分布式数据库在异构条件下信息的交换问题，实现国家和省级之间， 国家 级各业务中心之间的数据整合、同步与共享，突破部门之间与地区之间的纵横限制，并能对本方案就是基于这部分内容而编制的。
海洋信息的传输、 交换情况进行有效监控和调度管理。
二、 建设内容本系统的建设总体目标：1. 开发海洋信息交换系统---通过网络、数据和系统间的接口，实现分布式数据库之间、不同网络、不同系统之间的海洋信息交换；2. 开发一套能够实现国家和省级之间海洋信息交换与调度系统---实现对海洋信息的交换、海洋数据的分发、海洋信息发布的集中监控、调度和管理。
本系统的建设的内容：1. 海洋数据交换和监控现状调研和需求分析， 对各需要进行数据交换的节点进行调研和分析；2. 海洋数据交换系统、海洋信息交换监控和调度系统的详细设计；3. 针对海洋数据的特点， 研究、设计和开发基于元数据(或是目录服务)的海洋数据交换系统通用模块，并能配发到“数字海洋”建设各节点应用系统中使用；4. 海洋数据交换系统的开发，开发国家和省级之间，国家级各业务中心之间的数据同步与交换的实际应用系统；5. 开发海洋信息交换监控和调度系统，实现监控海洋信息的传输、交换情况，具体监控内容包括：数据类型、数据量、传输速率、数据路由情况、数据传输质量等，并能进行监控信息的查询检索、 统计等功能； 同时， 能实现海洋信息交换的调度功能， 上一级节点能根据下一级节点的实际需求和申请， 实现对下一级节点间海洋数据信息的调度；6. 数据和信息交换的安全管理研究、设计和开发。
一种新型海洋信息采集平台的设计与实现
第43卷第5期2021年5月舰船科学技术SHIP SCIENCE AND TECHNOLOGYVol.43,No.5May,2021一种新型海洋信息采集平台的设计与实现史博1,宋泓儒2,陈琳彳，马旭卓I,戴宪邦4(1.哈尔滨工程大学水声工程学院，黑龙江哈尔滨150001;2.哈尔滨工程大学物理与光电工程学院，黑龙江哈尔滨150001;3.上海船舶设备研究所，上海200031;4.上海船舶工艺研究所，上海200032)摘要：海洋定位通信平台是水下声信息获取与岸基显控成像必不可少的设备之一。
本文设计了一种新型海洋信息采集平台，实时获取水下AUV声信息，搭载浮标端接收实时GPS位置信息，通过FPGA高速并行处理单元完成数据存储与上传，实现海洋定位、通信一体化探测功能。
平台进行外场拉距实验，通信系统传输距离达到项目预期设计要求，具备良好的定位通信效果，为长基线定位实现提供良好的硬件平台支撑，对于国内外浮标定位系统的发展与研究起到促进作用。
关键词：GPS;无线通信；FPGA;串口通信；误码率中图分类号：TN915文献标识码：A文章编号：1672-7649(2021)05-0150-04doi：10.3404/j.issn.l672-7649.2021.05.031Design and realization of a new type of marine information collection platformSHI Bo1,SONG Hong-ru2,CHEN Lin3,MA Xu-zhuo1,DAI Xian-bang4(1.Harbin Engineering University,College of U nderwater Acoustics Engineering,Harbin150001,China;2.Harbin EngineeringUniversity,College of P hysics and Optoelectronic Engineering,Harbin150001,China;3.Shanghai Marine Equipment Research Institute,Shanghai200031,China;4.Shanghai Marine Technology Research Institute,Shanghai200032,China)Abstract:Marine positioning communication platform is one of the essential equipment for underwater acoustic information acquisition and shore based display and control imaging.In this paper,a new marine information acquisition platform is designed,which can acquire the acoustic information of underwater AUV in real time,receive the real-time GPS position information on the buoy terminal,complete the data storage and upload through the FPGA high-speed parallel processing unit,and realize the integrated detection function of marine positioning and communication.The platform carries out field pull distance experiment,the communication system transmission distance meets the expected design requirements of the project,has good positioning communication effect,provides good hardware platform support for the realization of long baseline positioning,and promotes the development and research of buoy positioning system at home and abroad.Key words:GPS;wireless communication;FPGA;serial communication;error rateo引言随着人类海洋科学探索的不断深入，水声学与水下定位技术在海洋开发应用、海军装备建设等领域发挥作用逐渐变为人们探索未来的重点，此项技术已经被人们广泛应用在海事侦察、航空航天等军事领域或目标识别何、定位导航等民用领域因此水下目标感知与海洋信息获取技术变得尤为重要，本文主要围绕某型水下航行平台实时性、高精度、便携式定位需求，设计一种新型海洋信息采集平台，基于FPGA 逻辑单元的控制处理，搭配高精度GPS定位技术、对时技术，高速率无线传输技术，将所设计的平台安放长基线浮标单元，进行系统化、集成化的数据传输，为后续浮标基线大范围定位起到促进作用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
/CHINA MANAGEMENT INFORMATIONIZATION主要参考文献[1]罗大易.基于ArcGISEngine 在第三次全国土地调查基础影像处理中的应用[J].中国新技术新产品,2018(2):33-34.[2]丛越君,李滢.如何做好第三次全国土地调查工作思考[J].内蒙古科技与经济,2018(3):32-35,38.[3]孙永杰.第三次全国土地调查线状地物调查方法探讨[J].化工矿产地质,2018(1):60-64.[4]武东海,朱岩.浅析如何做好第三次全国土地调查工作[J].国土资源,2018(4):56-57.[5]贾效燕,高庆强,曾光华,等.对第三次全国土地调查作业方法的思考———以武汉市江夏试点区为例[J].城市勘测,2018(2):32-34.[6]陈文强,陈宇.加强和完善第三次全国土地调查工作的建议———以福建省为例[J].中国土地,2018(5):19-21.[7]蒋立敏,庞宇,何钊.查清查实土地家底助力自然资源管理———解读《广西第三次土地调查实施方案》[J].南方国土资源,2018(7):28-31.[8]蒋丹.第三次全国土地调查基础影像处理中ArcGISEngine 应用浅论[J].西部资源,2018(5):131-132.[9]黄利燕.土地调查中做好地籍测绘的策略探讨———浅谈第三次全国土地调查[J].西部资源,2018(5):178-179.上海市海洋数据基础平台框架设计李静芳(上海市防汛(水务、海洋)信息中心,上海200050)［摘要］分析了上海市海洋数据基础平台建设的必要性和建设背景;设计了海洋数据基础平台的总体框架;海洋数据中心管理系统、海洋数据处理系统、海洋数据检索系统、海洋数据分析系统、海洋数据交换与更新体系。
［关键词］上海;海洋;基础数据平台;框架设计doi:10.3969/j.issn.1673-0194.2018.23.070［中图分类号］TP315［文献标识码］A［文章编号］1673-0194(2018)23-0166-04［收稿日期］2018-07-021前言近年来,上海市海洋局通过海洋数据资源管理、网络基础设施建设和业务应用系统开发等一系列专项工作的开展,海洋信息化建设取得了长足发展,初步搭建起上海市“数字海洋”管理框架,发挥了重要的信息支撑保障作用。
上海市“数字海洋”管理框架主要包括海洋数据基础平台框架、基于ArcGis 的数字海洋原型系统框架、海洋综合管理与服务信息框架和海洋网络与安全框架。
其中海洋数据基础平台框架是整个“数字海洋”管理框架的支撑和基础。
由于上海市海洋局的数据来自多方单位,包括国家海洋局、国家海洋局东海分局信息中心、国家海洋局东海分局预报中心、国家海洋局东海分局监测中心、上海市海洋局历史数据、各局属单位和各涉海单位等,原有数据归各单位独立存储、独立管理,最后形成了一个个的信息“孤岛”,各方数据标准不统一、数据结构不统一、数据字典各不同,无法实现海洋数据的共享共用和统一管理。
海洋数据基础平台的建设将来各方结构不统一,内容及形式复杂多样的数据,通过一套针对多源、异构数据进行处理和整合技术方案,以数字海洋基础平台的方式实现各应用系统之间海洋数据交换和共享,并将各应用系统中产生的分析和成果数据集中存储到海洋数据中心。
2总体框架设计上海市海洋数据基础平台的规划和建设依据“统一规划、统一标准、统一设计、数据共享”的基本原则,海洋数据基础平台架构主要分三个层次。
首先经过数据交换和更新体系将各行业数据对象进行规范定义,从而形成行业基础数据,其次对海洋基础数据进行整合后形成市海洋局核心数据,最后按照不同的业务需求对核心数据进行分析应用,形成数据分析与应用部分。
3海洋数据中心管理系统设计海洋数据中心管理系统是决策支持系统和各业务管理系统的数据基础,信息主要来源于国家海洋局、国家海洋局东海分局信息中心、东海分局预报中心、东海分局监测中心、上海市海洋局、局属单位、涉海单位等。
各单位提供的海洋基础数据是海洋数据中心管理系统中数据中心的一个重要来源,这些数据主要分为四类:实时类数据、基础类数据、核心类数据、元数据类数据。
海洋数据中心管理系统整体结构采用“集中与分布相结合”的方式,将数据按照支撑不同的业务分成四个区域:互联网区、核心业务区、东海分局数据区以及交换区。
通过使用DataExchange 对数据进行抽取、传输、汇总、整合到海洋数据中心管理系统中。
中国管理信息化China Management Informationization2018年12月第21卷第23期Dec.,2018Vol.21,No.23166CHINA MANAGEMENT INFORMATIONIZATION/3.1互联网区互联网区存储的是科技服务类数据、海洋经济类数据和行政许可办理类等需要对涉海单位、涉海企业、社会公众公开的数据,以及涉海单位、涉海企业上报的数据,这部分数据通过交换区与核心数据区进行交换。
3.2核心业务区核心业务区存储的是上海市海洋局的业务核心数据,有来自国家海洋局东海分局信息中心、监测中心和预报中心的基础地理数据、基础资料数据、专题数据、产品数据以及业务数据等;还有上海市海洋局的历史数据以及海洋的实时监测数据,它们是支撑上海示范区业务的核心数据,这些数据根据业务特点,通过设置关键标志位的方式,为原型系统和综合管理信息系统提供数据支撑。
3.3东海分局数据区东海分局数据区存储的是上海示范区前期国家投资部分的数据,主要是908专项数据,这些数据按照上海市海洋局的数据标准进行整理、归类,并成功迁移到上海市海洋局数据中心。
3.4交换区交换区存储的是临时数据,交换区是数据交换的中转站,是交换数据临时存放的区域。
交换区的数据来源于国家海洋局、国家海洋局东海分局、上海市海洋局、实时监测数据以及互联网区。
海洋数据中心管理系统的建设过程中,形成了上海市海洋局数据库管理规范,制定了响应的数据标准和管理规范,保证了各业务系统的正常运行,并为以后的业务扩展提供数据接口,实现了海洋数据共享共用、统一管理、统一规范的项目目的。
4海洋数据处理系统海洋数据处理系统按照国家海洋局统一的《“数字海洋”信息基础框架构建总体实施方案》、《海洋环境基础数据库标准》、《海洋综合管理专题数据库标准》和《“数字海洋”上海示范区(地方配套)项目数据库详细设计》通过对海洋数据调查和评价、海洋观测站和其他重大历史专项资料的收集,这些数据格式多为文档(DOC),表格(XLS)、图片文件(JPG)、图层数据,围绕示范区的应用系统需求,对数据按照数据中心的数据库结构、属性结构图1总体框架图图2数据采集示意图信息技术与应用其总体框架设计见图1,数据采集流程见图2。
167/CHINA MANAGEMENT INFORMATIONIZATION将这些数据进行分类、格式转换、栅格图片矢量化、图幅拼接等操作,然后入库保存,进行结构化存储,利用导入程序自行转化入库工作,实现上海海洋数据交换与共享。
海洋数据主要有以下几类:海洋基础地理及908专项调查数据、海洋环境类监测数据、海洋气象及灾害类数据、其他908调查数据、机关业务数据等。
还对相关的海洋数据依据海洋数据中心的入库规范,将数据按照相应的要求,按基础地理类、基础资料类、产品信息类、专题信息类、业务运行类、元数据类等进行分类整理,规范并入库。
其数据处理流程见图3。
5海洋数据检索系统海洋各类数据经过海洋数据处理系统处理后,形成具有规则的数据结构,数据检索系统分别针对结构化数据和非结构化进行检索,结构化数据的检索通过目录管理模块进行分类管理,海洋数据目录管理模块将海洋数据分为基础资料数据、基础地理数据、专题数据、产品数据、业务数据。
结构化数据检索通过建立数据加载集群、查询机集群和元数据集群,实现高效率的数据检索系统。
非结构化数据检索是用户通过文件属性、关键字及分类等信息来搜索所需要的文件,基于平台的数据索引,快速给用户展示出相关查询结果。
其检索流程见图4。
非结构化数据查询的步骤主要包括:①对查询内容进行解析,区分查询内容中单词和关键字,根据查询语法的语法规则形成一棵树;②搜索索引,得到符合语法树的文档集合;③根据查询语句与文档的相关性,对结果进行排序,将查询结果按顺序展现给用户。
其查询逻辑见图5。
6海洋数据分析系统海洋数据分析系统利用分析方法对数据进行检查、变换和建模,从中提取数据潜在价值。
其中使用的数据分析技术有:分类、聚类、关联规则、时间序列分析和优化等技术。
通过建立海洋数据分析模型,实现对海洋水文、海洋气象、海洋化学、悬浮体等专业数据按指定的方法、要素、分布位置或者空间网格大小、时间间隔、空间层次进行统计计算,并对统计分析的结果进行客观分析开发。
6.1海洋数据分析将海洋数据管理中心的数据通过特征分析后,采用Java 语言作为处理语言,根据海洋数据特点,开发数据统计分析工具,图3数据处理流程示意图图4结构化数据检索流程图信息技术与应用168CHINA MANAGEMENT INFORMATIONIZATION/如:日月年及任意时间范围的统计、自定义公式方法的统计分析、滑动数据统计、数据比对统计分析、任意参数和数据类型的长期值。
对海洋相关大量的数据进行数据分类存储,分级管理,建设数据自动同步平台,实现各个数据源之间的数据交换和同步,形成一套分级管理、综合应用的信息挖掘和应用机制。
同时建设一套数据审核机制和规则,实现对各类数据的审核和整理加工,提高数据的可靠性和完整性,并以标准的数据交换格式提供给模型,提高模型预报时效和精度,以实现各类数据的交换、审核、整编、挖掘、刷选等需求,并为各类信息发布和模型调用提供精确、完整、高效的数据服务。
6.2数据可视化海洋数据经过分析后,采用Echarts 完成分析数据的可视化,ECharts 是一款开源、功能强大的数据可视化产品,紧跟着大数据时代的步伐。
ECharts 是商业级数据图表,一个纯Javascript 的图表库,可以流畅地运行在PC 和移动设备上,兼容当前绝大部分浏览器(IE 6/7/8/9/10/11,chrome,firefox,Safari 等),底层依赖轻量级的Canvas 类库ZRender,提供直观,生动,可交互,可高度个性化定制的数据可视化图表。
创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验,赋予了用户对数据进行挖掘、整合的能力。
其分析显示界面见图6。
支持折线图(区域图)、柱状图(条状图)、散点图(气泡图)、K 线图、饼图(环形图)、雷达图(填充雷达图)、和弦图、力导向布局图、地图、仪表盘、漏斗图、事件河流图等12类图表,同时提供标题,详情气泡、图例、值域、数据区域、时间轴、工具箱等7个可交互组件,支持多图表、组件的联动和混搭展现。