基于REST Web Services的分布式遥感数据检索技术研究

合集下载

基于ElasticSearch的海量遥感数据检索技术研究

基于ElasticSearch的海量遥感数据检索技术研究

基于ElasticSearch 的海量遥感数据检索技术研究李峰1,宋宴2,魏广泽1,王永安1(1.中国电子科技集团公司第五十四研究所,河北石家庄050081;2.陆军航空兵研究所,北京101121)收稿日期:2020-12-180引言随着我国对地观测技术的发展,特别是高分辨率对地观测系统重大专项的推进,基本具备了高空间分辨率、高时间分辨率及高光谱分辨率的天基对地观测能力。

随着遥感影像数据越积越多,不同领域的应用需求对遥感影像数据的存储及高效检索提出了越来越高的要求。

遥感元数据作为描述遥感影像数据的重要数据,具有结构复杂、信息量大、产生频率高等特点。

传统的空间关系型数据(如Oracle 、PostgreSQL 等)主要以内置的B+树或R 树等简单成熟的索引结构来辅助查询处理,面对存储海量的遥感元素数据信息存在读写性能不理想、可扩展性差等缺点。

本文提出了一种基于改良GeoHash 编码的时空索引方法,设计了基于ElasticSearch 的海量遥感数据检索技术,实现了遥感数据空间、时间、卫星和载荷等多样化的检索,支撑海量遥感影像数据的高效检索。

1基于ElasticSearch 的海量遥感数据检索技术由于遥感影像文件很大,不适合直接对遥感影像数据本身进行检索,常用的方式是从遥感元数据提取特征信息、范围信息及标识信息等描述内容,存储到空间关系型数据中,支撑行业应用中的数据查询检索应用。

随着遥感元数据量的增加,基于卫星载荷、时间范围和空间范围等信息的快速查询是亟需解决的问题。

为了提高海量遥感数据的查询检索访问效率,本文设计了一种基于改良GeoHash 编码的时空索引方法,将时间、空间等多维信息映射到一维时空索引编码,在分析ElasticSearch 搜索引擎框架的基础上,将时空索引编码作为索引字段,设计和实现一种基于ElasticSearch 的海量遥感数据检索技术。

1.1扩展GeoHash 的时空索引技术GeoHash 是一种经纬度地址编码方法,把二维的空间经纬度数据进行转换,编码成一个可以比较和排序的字符串,用一个字符串表示地理要素的空间坐标。

基于Web services的分布式信息检索机制的研究

基于Web services的分布式信息检索机制的研究

基于W eb services的分布式信息检索机制的研究摘要:为进一步提高系统的信息处理能力,提出一种基于W eb services的分布式信息检索机制,通过研究调度、索引、负载、分配服务器、结果集的汇总排序等关键问题,实现分布式信息检索的研究,具有更高的跨平台性和较好的通用性。

关键词:W eb services技术;同步容错;排序算法;布式技术1W eb services技术W eb services通过接口的定义,可以连接不同功能的服务。

它是一种面向服务的体系结构,在这种结构中的接口独立于操作系统和硬件平台。

无论是节点传感器、个人计算机的windows平台或是大型服务器用的Unix平台都可以实现跨平台的W eb服务。

W eb services的优点:①跨平台性;②较好的通用性;③不同系统的低依赖性;④修改及更新的自适应性。

利用W eb services的上述优势,可以简化分布式架构中应用系统异构集成,通过添加另外的硬件资源或者是增加新的软件功能,扩展现有的应用系统。

2分布式并行处理设计W eb services技术的应用能够解决资源存储量过大检索复杂和检索性能下降的问题,也为将来的扩展打下了基础。

分布式结构涉及到的每个节点服务器形式上都是相对独立的,我们必须解决好他们相互间的协作问题,特别是如下问题:(1)调度、索引、负载、分配服务器的实现方式选择:基于W eb services技术进行分布式处理,主要涉及到索引的分布式存储,检索的分布式运行,Spider的分布式。

如果每个进程基本上执行同一个控制流,但处理的数据不同,每台服务器完成的任务不同,因此需要将应用程序数据或是索引分配给不同服务器,也称为数据并行。

(2)结果集的汇总排序:在分布式处理之后,对返回的结果按照特定的要求,进行排序,尽量合乎用户的需求。

在处理数据的工程中,采用将分布在不同地域的节点服务器上的信息,通过建立中具有检索意义的事项(可以是人名、地名、词语、概念或其他事项)按照一定方式有序编排起来,以供检索的机制,我们称为分布式索引机制。

遥感大数据中的Web遥感应用平台技术

遥感大数据中的Web遥感应用平台技术
• 基于SOA架构
– 灵活开发 – 系统集成
• 支持集群、云计算环境
– 并行计算、多线程计算 – 分布式计算 – 弹性伸缩
• 多客户端
– Web、移动、桌面
• ……
Web遥感服务平台应用演示
创新的ENVI企业级服务器产品:ENVI Services Engine
• 组织、创建及发布先进的ENVI/IDL和其他遥感图像分析能力
高性能处理环境
ENVI Services Engine处理器
集群计算处理器
文件系统
应用端
JavaScript界面
HTTP REST
浏览器 移动端
Landsat Image Service
Online Images Services
ENVI Services Engine特点
• 采用Node.JS和内存数据库技术
• 提供自助式影像处理和分析
– 将复杂、专业的遥感模型部署到服务器 – 客户端按需、在线获取影像信息
Web遥感服务平台典型应用案例
• 农业
– 中国农业科学研究院:高分农业遥感数据产品生产系统
• 林业
– 中国林业科学研究院:林业高分高性能预处理系统
• 测绘
– 上海测绘院:上海市地理信息公共服务平台——城市违法土地在 线遥感监管系统、遥感影像在线分析平台
影像预处理 用户1
基础产品生产
数据 模型
用户2 作物长势
作物估产
用户3
计算机 软件 …
植被覆盖度 水质监测
用户… …

Web遥感应用平台架构
显示工具

用 层
图层管理
定位工具 量测工具
查询工具 常规地图浏览工具 ……

基于Web服务的分布式检索

基于Web服务的分布式检索

U D: D I是一套基 于 We b的 、 分布式 的 、 We 为 b服务 提供 信 息 注 册 中 心 的标 准规 范 。 We b服务是 以 X L作 为数据交换标 准 ,采用 S A M O P作 为数据通信标准 , 通过 WS L作 为 We D b服务 的说明文档 , 采 用 U D 作 为 We 务 的 注 册 和管 理 。 b 务 是 独 立 于 硬 D I b服 We 服 件、 软件 平 台 和编 程 语 言 , 支持 面 向组 件 和 跨 技 术 。 它 22 We 务 的架 构模 型 . b服 We 务 的 架 构 模 型 由三 种 角 色 和 三 个 基 本 操 作 组 b服 成 。 种 角 色 分 别 是 : 务 提 供 者 、 务 注 册 中心 和服 务 访 问 三 服 服 者; 三个基本操作是 : 服务发布 、 检索 和数 据绑 定操 作。这些 角 色 和 操 作 一 起 作 用 于 整 个 We b服 务 构 件 。 通 常 情 况 下 , We b服务 发布是通 过 网络访 问 We b服务软 件模块 实现 , 服 务提供 者定义 We b服务 的服务 描述并把 它发 布到服务注册 中心 , 服务访 问者使用检索操作来从本地或 服务注册中心检 索 服务 描述 , 然后使用服务描述 与服务提供 者进行 数据绑定 并调用 We b服务实现或交互调 用。服务提供 者和服务访 问 者 角色是逻辑关系 , 因而服务表 现出两种特性 。图 1 描述 了 We b服务 体系结构 内的这些 操作和提供 这些操作 的角色及 它们之 间的关 系。 3 分 布 式 检 索 的 实现 31 图书馆数 字资源现状 . 目前 , 各高校 图书馆 为读者提供 了丰富 的 、 于 We 基 b检 索的数字资源 ,这些数字资源按功能架构可 以分成 三层 : 门 户层 、 服务层和数据存储层 , 其结构如图 2 。 门户层 :各资源系统为用户提供 了友好 的检索 界面 , 是 读者获取信息 的入 口。 数据提供商根据数字资源 自身的特点 定制 了形式各异的 门户 , 些门户在一定程度上方便读 者对 这

分布式检索及相关理论

分布式检索及相关理论

分布式检索及相关理论摘要:分布式检索是目前网络环境下信息检索的重要技术和方式。

分布式检索具有有效性、高性能、高可靠性和低成本等方面的优势,因而是数字图书馆、网络检索系统的核心技术。

本文对网络环境下的分布式信息检索的特点、分布式检索系统结构和分布式检索系统的实现框架进行了简单介绍。

关键词:分布式检索分布式信息检索系统分布式计算1 分布式检索概述在信息检索领域,特别是网络信息检索领域,一些采用集中式信息方式的网络信息检索系统当负载增大时,用户的查询请求往往难以得到及时响应。

为此,采用分布式信息方式构建分布式信息检索系统,可以在一定程度上解决所面临的问题。

同时,由于信息资源建设任务的庞大和繁重,很多检索系统只能独立完成某领域或某方面的资源建设工作,但用户却往往需要全面的资源服务。

而分布式检索系统可以提供一种整合不同信息资源,提供集成信息服务的可能,即在信息资源分散建设的环境下,提供集成的、全面的信息服务。

1.1 分布式计算所谓分布式计算就是两个或多个软件互相共享信息,这些软件既可以在同一台计算机上运行,也可以在通过网络连接起来的多台计算机上运行。

它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。

分布式计算比其它算法具有以下几个优点:(1)稀有资源可以共享。

(2)通过分布式计算可以在多台计算机上平衡计算负载。

(3)可以把程序放在最适合运行它的计算机上。

其中,共享稀有资源和平衡负载是分布式计算的核心思想之一。

1.2 分布式检索利用分布式计算进行信息检索称为分布式检索[2]。

与并行检索相比,分布式检索的主要特点是:(1)分布式检索通常处理的是地理位置分散的异构数据,不同地理位置计算机系统间通讯的开销比较大,因此,分布式检索中应该尽量避免不同地理位置计算机系统之间的通讯操作。

就通讯本身而言,由于不同系统的异构性,分布式检索系统中通常采用TCP/IP协议来实现通讯,而并行检索中处理器之间的通讯可以通过共享内存来实现。

基于REST架构模式的遥感影像数据服务设计

基于REST架构模式的遥感影像数据服务设计

K y wod : iae sri ei ; R peet i a Sa rnf e rs m g ev e d s n c g e rsnao l tt Ta s r( S ) Widw o muia o on a o tn e e R T ; n o s C m nct n F u dt n E i i
关键词 : 影像服 务设计 ; 表述 性状 态转移 ; F we WC ; b服务 ; 架构模式
中图 分 类 号 : P 1 .3 T 3 14 T 3 11 ; P 9 .1 文 献 标 志码 : A
De i n o e o e s n i m a e s r i e b s d o sg fr m t e sng i g e vc a e n RES T
i g s r ie ma e ev c we e fr l td fo r o mu ae r m t e ol wi g s ct: i n i c to o I o r e , r o c i e tfO , r s u c h f lo n a pe s de tf ai n f  ̄s H c s i es ure d n iir s eo re

要: 将表述性状 态转移 ( E T 架构模 式应 用到遥感影像 数据 服务 , 出一种基 于 R S R S) 提 E T架 构模式 的遥感 影
像数据服务方案 。首先探讨 了基 于 R S E T架构模 式设计遥 感影像数据 服务 的 关键 环 节 , 然后 分 别从 影像 服务 资源 实 体识别 、 影像服 务资源标识、 影像 资源表述 、 影像 资源操作等方 面进 行 了详 细 阐述 , 最后 以 WC F框 架为基础说 明 了遥 感影像数据服务 的实现要 点。结果表明 , S E R T架构模式是设计遥感影像数据服 务的可选模 式。

基于Web Services的分布式GIS集成的研究

【 关键 词】We evcs bS ri ,GI e S,分布 式 ,异 构 ,集成 ,空 间数 据库
中 图 分类 号 : 3 1 12 TP 1 . 3 文献标识码 : A
AB TRACT Th s p p r p o o e h n e o e a i n o e e o e o ss a i l a a a e a d c mmu a ie c l o u c i n Eme g n e S i a e r p s s t e i t r p r t fh t r g n u p ta t b s n o o d t t a l ff n t . v o r e c
端 )We , b服务 器 , p l ain服务 器 , A pi t c o 应用 服务 构件 ,
We evcs是 一种 基 于 对 象/ bS ri e 组件 模 型 的 分 布 式 计 算技 术 。 e evcs的基础 是 XML ( 扩展 标 W bS ri e 可 记 语 言 )及 基 于其 上 的 S 0AP( 简单 对象 访 问协 议 ) ,
1 1 We e v e 及 其原 理 . bS ri s c
了新 的构 思 。其 基本 思 想是基 于 平 台标 准 ( XML等) , 实现 异构 系统 的互 操作 , 可 以轻松 地通 过 防火 墒 , 它 是 实现 异构 系统 集成 的一 个 非常理 想 的计算 模 型 。 传 统 的 网络 GI S的构 架 主要 包括 客 户 端 ( 浏览 器
o e e vc e h i u r v d sa n w e eo me t a d n w d a f r t e wh l e wo k f l e e o me t wh c s t e r a o f W b S r ie t c n q e p o i e e d v l p n n e i e o h o e n t r i d d v l p n , i h i h e s n e

基于Web Services的分布式的林业科研档案数据管理系统的研究与设计


S ud n De i n o s rb e Fo e t y t y a d sg f Diti utd r s r Re e r h A r h v s D aa a a e e t sa c c ie t M n g m n
S se wih W e e v c s y t m We ev e bSri s以其协 议 的通 用性 、完 全 的平 台和 语 言独 立性 、 高度 松耦 合 性 ,逐 步成 为 应用 集 成 的重 要 方 向。 c
根据林 科 院科研档 案数 据分 布式存 储 的特点 ,采用 We e i s 术 ,提 出了分 布式林 业科 研档 案数 据 管理 系统 的设 计 bSr c 技 v e
A s at We ev e e ni gem n adcm lep tr n nug dpn ec adahg ereo l sl bt c: bSr cs s f iv ar et n o pe lf m adl gaei eedne n i dg f o e r i i di te e t ao a n h e o y
控 ,构建林科 院标准 、规范的档案业务 管理 体系 ,并 为各级领 导 、管 理人 员和科研工作者提供决 策支持和
信 息 服务 。
专业 的林 业科研 机构 ,随着信息 化技术 的不断深 人 ,
Ke r s y wo d :W e e vc s it b td; e e c c ie b S r ie ;d sr u e r sa ha hv s i r r
1 引 言
档 案 管理 是 企 事 业 单 位 发 展 的重 要 保 证 ,一 个 企
统 一 标 准 、规 范 体 系 的 前 提 下 ,提 出基 于 We e bS卜

Web技术在分布式设备监测诊断系统中的应用的研究报告

Web技术在分布式设备监测诊断系统中的应用的研究报告随着现代工业的快速发展,各类设备的数量也在不断增加。

为确保设备的正常运行及时发现系统故障,分布式设备监测诊断系统正逐渐成为了工业领域中必不可少的一环。

Web技术作为一种先进的分布式应用技术,不仅具有强大的网络通信功能,而且还可以承载各种数据、信息及音视频等不同类别的数据信息,并且提供前后端分离的解决方案。

因此,本文将对Web技术在分布式设备监测诊断系统中的应用进行研究和探讨。

一、Web技术架构设计Web技术在分布式设备监测诊断系统中具有重要的作用。

传统的分布式系统模式因为数据负载、稳定性、维护成本等问题难以满足需求,因此Web技术的出现成为了工业领域中新的选择。

在Web技术的应用过程中,首先需要设计一个合理的Web技术架构,以便确保系统能够顺利运行。

1.前端设计前端设计是Web技术架构中不可或缺的部分。

应该注重前后端分离,这样可以实现前端用户的无感知访问,同时降低系统的维护成本。

前端部分可以用Vue、AngularJs等最新的Web前端框架进行设计,采用分层式的架构模式,实现组件化开发,使得系统具有高可维护性、高可扩展性和高性能。

2. 后台技术后台技术是Web技术架构的核心部分。

目前,常用的后台技术有Java、PHP、Python等。

针对分布式设备监测诊断系统,建议采用Java技术,采用Spring、Mybatis等框架进行后台设计。

在后台技术的基础上,可以将数据存储在MySQL、Oracle、SQLServer等数据库中,实现数据的整合、管理和应用。

二、Web技术在分布式设备监测诊断系统中的应用1. 设备自动检测在分布式设备监测诊断系统中,设备自动检测是必不可少的一步。

Web技术可以实现设备自动检测的过程,通过对设备传感器数据的采集、传输和分析,实现对设备运行状态的检测和分析。

当设备故障或异常情况出现时,系统将自动发出警报信号,并通过Web技术将信息发送到相应的终端设备上。

基于Web services的分布式信息检索机制的研究

( 责任 编 辑 : 能 钢 ) 杜
作 者 简 介 : 冰 波 ( 9 1 ) 男 , 南 温县 人 , 州 轻 工 业 学 院 民族 职 业 学 院助 理 讲 师 , 究 方 向 为 数 据 挖 掘 、 工 智 能 ; 荣 华 ( 9 3 张 18一 , 河 郑 研 人 宋 18
化 分 布 式 架构 中应 用 系 统 异 构 集 成 , 过 添 加 另外 的 硬 件 通 资 源或 者 是增 加 新 的 软件 功 能 , 展 现 有 的应 用 系统 。 扩
( ) 果 集 的汇 总 排 序 : 分 布 式 处理 之后 , 返 回的 2结 在 对 结 果 按 照 特定 的要 求 , 行 排 序 , 量 合 乎 用 户 的 需 求 。 进 尽 在 处 理 数 据 的工 程 中 , 用 将 分 布 在 不 同 地 域 的 节 点 采 服 务 器 上 的 信 息 , 过 建 立 中具 有 检 索 意 义 的 事 项 ( 以 通 可 是人名 、 名 、 地 词语 、 念 或 其 他 事 项 ) 照 一 定 方 式 有 序 概 按 编排起来 , 以供 检 索 的 机 制 , 们 称 为 分 布 式 索 引 机 制 。 我 参考文献
用性。
关 键 词 : bsri s We ev e 技术 ; c 同步容错 ; 排序算法 ; 式技术 布
中 图 分 类 号 : 3 15 TP 1 . 2
文献标识码 : A
文 章 编 号 :6 27 0 ( 0 1 0 —0 6 0 1 7 —8 0 2 1 ) 70 7 — 3 检 索 复 杂 和 检 索 性 能 下 降 的 问题 , 为将 来 的扩 展 打 下 了 也
第 1 卷 第7 0 期 2 1 7 01年 月
Vo ON o 7 l1 . J 1 201 u. 1
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

ss m tei l n t no ir ue aa e i a t h oo y R S ai cn et, ojcie dd s npic l u i . yt e t i f s i tddt t e le n lg, E Tb s o cps bet s n ei r i e i s de e h mp mea o d tb r rv c c v a g n p sst d
0 引 言
随着 空 间 对 地 观 测 技 术 的 发 展 ,不 同 来 源 、不 同探 测 波
现 手 段 , 是 随 着 Itre技 术 突 飞 猛进 的 发 展 , 布 到 It t 但 nent 发 ne me 上 的 We 应 用 越 来 越 多 , 传 统 的 中 间件 平 台则 无 法 实现 基 b 用 于 It t 分 布 式 检 索 功 能 , 就 迫 切 需 要 有 一 种 新 的 技 术 ne me 的 这
Dit b td s a c a e nRES b s r ie sr u e e r hb s do i T we e v c s
CHE Yu , HU in, W ANG a -in L ・ a g N n ’ 。 Ja Ch o l g , a I Ziy n
T ed sr ue mo es n ig d t e c r t t p e i e dr a ie . h i i t dr tb e t e s aas a h p o oy ei d sg d a l d n r s n n e z
Ke r s d s i u e e c ; S ywo d : it b t d s a h r r OAP; R T; we e ie ; XM L; RS d t e tr ES bsr c s v aac n e
段 、 同 时相 、 同 覆 盖 尺 度 、 同 空 间 分 辨 率 、 同 时 间分 辨 不 不 不 不 率 、不 同 光 谱 分 辨 率 的遥 感 数 据 不 断 出现 ,数 据 来 源 越 来 越 广 , 据 种 类 越 来 越 多 , 据 结构 越 来 越 复 杂 , 据 量 越 来 越 数 数 数 大 。 鉴 于 体 制 机 制 的 原 因 , 感 卫 星 数 据 归 属 于 不 同的 遥 感 遥
分 布 式 遥 感 数 据 检 索原 型 系统 。
关键 词: 分布 式检 索; 简单对 象访 问协 议;表 述性 状 态转 移; 网络服 务; 可扩展 标记语 言;遥 感数 据
ห้องสมุดไป่ตู้
中图法分类号 : P 9 T 31
文献 标识码 : A
文章 编号 :0072 (00 1.2 70 10 .0 4 2 1) 43 0.3
(.中国科 学 院光 电研 究 院 ,北京 10 9 ;2 1 0 10 .中 国科 学 院研 究生 院 ,北京 10 4 ) 0 0 9
摘 要 : 了 更 好 地 解 决 分 布 式 遥 感 数 据 检 索 的 问题 , 出 了基 于 R S 为 提 E TWe S ri s 分 布 式 检 索 实现 方 法 。 据 分 布 式 数 b ev e 的 c 根
(. a e O t-l t n s C iee a e f c n e, e ig10 9 ,C ia 1 Acdmy f poEe r i , h s dmy i cs B in 0 10 hn ; o co c n Ac oSe j 2 G a ut U iesy hn s Acd m f c ne, e i 0 0 9 C i ) . rd a nvr t e i ,C iee ae yo i cs B in 10 4 , h a Se jg n
据检 索的 需求和遥感数据 检 索 系统 的特点 , 究 了分 布式数 据检 索的 实现 技术 、 E T的基本概 念 、 研 RS 目标与设计 原则 、 主要 思 想以及 实现 方式 , 在此基 本上设 计 了基 于 R TWe evcs 布式遥感 数据检 索原 型 系统 , 实现 了基 于 R S ES bSrie 分 并 E TWe evcs bSri e
数据资源管理部 门, 由各 部 门 自行 编 目 、 储 与 管 理 。 然 很 存 虽 多 遥 感 数 据 资 源 管 理 部 门 都 提 供 了遥 感 数 据 检 索 系 统 , 这 但 些遥 感 数 据 检 索 系统 很 难 实现 相 互 之 间 的 信 息 共 享 与 协 同访
计算 机 工 程 与设 计 C m u r ni en d eg o pt E g er g n D s n e n i a i ・信 息化 技 术 ・
2 1, 1 00 1( ) 3 4
30 27
基于 R S b ev e的 E TWe ri s S c
陈 赞 , 胡 坚 汪超 亮 李 子扬 , ,
Ab t a t T s l et eq e t n o d sr u e mo es n i gd t e r h b R 5 h eme h do d s b t dd t a c a e n RES sr c : or ov u si f it b tdr e h o i e t e sn aas a c e e t t o f it u e aas r h b s do i r e T we r i e r p s d b s v c s s o o e .Ac o d n en e s f i r u e aar t e a ,a la e h r ce sis f e t n i gd t t e a e ip c r i gt t e d d s i tdd t r v l s oh o tb ei wel s h a a tr t r mo es sn aar r v l t c i co e ei
相关文档
最新文档