一种基于文件系统的海量遥感影像存储组织结构

合集下载

一种新型的遥感影像数据组织与管理方法研究

一种新型的遥感影像数据组织与管理方法研究雷力军;马嘉骏;别伟平【摘要】针对传统关系型数据库管理海量遥感影像数据方面的弊端，本文提出了一种基于分布式文件系统的海量遥感影像数据存储与组织结构，在此结构的基础上设计了一种用“算法寻址”来代替数据库检索的数据检索方案，此种检索方案能够满足海量数据快速检索的要求。

%To solve the shortcoming of traditional RDBMS data base in the management of massive remote sensing image data,a new storage and organizational structure is put forward,which is supported by the distributed file system. Based on the structure,an algorithm addressing method is designed to replace the database indexing, which is able to meet the requirement for indexing massive data quickly.【期刊名称】《港工技术》【年(卷),期】2014(000)001【总页数】3页(P60-62)【关键词】海量;分布式文件系统;算法寻址;快速检索【作者】雷力军;马嘉骏;别伟平【作者单位】中交第一航务工程勘察设计院有限公司，天津 300222;中交第一航务工程勘察设计院有限公司，天津 300222;中交第一航务工程勘察设计院有限公司，天津 300222【正文语种】中文【中图分类】P237近年来，遥感技术在国内发展愈加成熟完善，在港区规划和大面积小比例尺规划测量领域应用也逐渐广泛。

作为数字地球基础的遥感影像，在国土资源调查、森林防火、防灾减灾、城市规划、环境保护、土地利用、特大工程设计等各个行业都有非常广泛的应用。

海量遥感影像数据存储组织结构研究

河南大学硕士学位论文海量遥感影像数据存储组织结构研究姓名：谢毅申请学位级别：硕士专业：应用数学指导教师：乔保军2011-06摘要遥感影像是一种具有高容量、高可靠性、获取方便及时等特点的信息载体。

在交通管理、土地规划、军事、资源、环境和防灾等很多领域都起着不可替代的作用。

利用卫星平台，人们可以迅速得到几天前甚至几小时前拍摄的高分辨率遥感影像，使获取的信息更加及时、准确。

遥感影像的数据量非常大。

每天都有通过不同途径获取的大量遥感影像数据，并且随着影像分辨率的提高，产生的遥感影像数据量也以几何方式增长，达到Terabyte（TB）量级甚至Petabyte（PB）量级。

随着时间的推移，遥感应用领域的不断扩大以及卫星技术、传感器技术的不断发展，遥感影像的数据量级别还将持续快速地增加。

如何有效的组织、存储、管理和发布这些海量的遥感影像数据，使遥感影像数据能够更迅速、更准确地为应用提供服务，成为目前急需解决的问题。

基于上述考虑，本文设计了一种基于文件系统的海量遥感影像数据分布式存储系统。

主要工作如下：1、一种遥感影像数据的标准化处理方法及其系统实现。

根据遥感影像数据自身的特点以及对遥感影像数据发布浏览的应用需求，提出了一种遥感影像数据的标准化处理方法，根据该方法对原始遥感影像数据进行各种处理。

该过程包括：（1）数据分块处理；（2）标准化命名；（3）标准化命名后数据的存储方法。

遥感影像数据经过标准化处理后有利于提高检索速度以及传输速度、便于进行并行计算，提高生产效率、能够进行影像的快速浏览与3D展示。

2、标准化数据的检索算法及其实现。

该算法的特点是可以根据用户的检索条件构造出目标影像的存储路径，再根据存储路径进行查询，得到检索结果并返回。

该算法的优点是检索速度快，命中精度高，并且其检索性能稳定，不会随着数据量的增加而出现大的波动。

3、SD-DRSDSS分布式存储系统及其实现。

针对遥感影像的数据的标准化处理方法，提出了一种专门存储海量遥感影像数据的分布式文件系统，主要用于存储、管理经过标准化处理后的海量遥感影像数据，具有结构简单、管理方便、易于扩展，可靠性高、有利于遥感产品的生产和发布等特点。

【CN110110107A】一种基于云存储的多源遥感影像数据多维度组织方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910205425.9(22)申请日 2019.03.18(71)申请人中国地质大学（武汉）地址 430000 湖北省武汉市洪山区鲁磨路388号(72)发明人王力哲　阎继宁　成路肖　黄晓辉　宋维静　陈云亮　邓泽　许冬　焦阳　(74)专利代理机构武汉知产时代知识产权代理有限公司 42238代理人付春霞(51)Int.Cl.G06F 16/51(2019.01)G06F 16/583(2019.01)(54)发明名称一种基于云存储的多源遥感影像数据多维度组织方法(57)摘要本发明提供了一种基于云存储的多源遥感影像数据多维度组织方法，包括：首先构建遥感影像数据的公共云存储库及面向用户的影像数据映射库，为影像数据提供稳定及可扩展的存储；然后根据卫星影像数据的多维度特性定义映射数据的存储视图；最后根据云平台上不同用户的需求，提供用户之间遥感数据组织视图的分享，提升多维遥感数据的分发效率。

本发明的有益效果是：为遥感影像数据使用者提供了在稳定、可扩展的云存储环境下，通过定义多维度视图自动按不同维度组织卫星影像数据的能力，并且能够将定义好的视图共享给其他用户，有效的提高了卫星影像数据的分发与数据准备效率。

权利要求书1页说明书4页附图3页CN 110110107 A 2019.08.09C N 110110107A权　利　要　求　书1/1页CN 110110107 A1.一种基于云存储的多源遥感影像数据多维度组织方法，其特征在于：包括以下步骤：S101：构建用于存储元数据的分中心和主中心；所述分中心和所述主中心均为云计算中的分布式架构；所述分中心和主中心均具有ftp服务功能；S102：从资源卫星中心下载遥感影像数据的元数据，并存储于所述分中心中；所述遥感影像数据来自于多个卫星所一一对应的多个数据中心，且所述元数据具有多个维度，每个维度都有对应的字段；S103：采用模板归纳及映射的方法，对分中心存储的所述元数据进行归一化处理，以消除不同数据中心的遥感影像数据的元数据的字段之间的差异，从而得到归一化后的元数据；S104：采用爬虫算法，将所述归一化后的元数据集中存储至所述主中心中，并通过solr 数据库创建元数据索引，以为用户提供对元数据的查询检索服务；S105：用户根据不同的处理任务，通过所述查询检索服务订阅所需要的元数据，并根据订阅的元数据的维度，构建自定义多维度视图，实现对多中心遥感数据的多维度组织。

一种高效的海量遥感数据分布式组织管理方法[发明专利]

专利名称：一种高效的海量遥感数据分布式组织管理方法专利类型：发明专利
发明人：马殿富,孙晓良,赵永望,胡春阳,邵俊
申请号：CN200810118125.9
申请日：20080812
公开号：CN101339570A
公开日：
20090107
专利内容由知识产权出版社提供
摘要：一种高效的海量遥感数据分布式组织管理方法步骤如下：(1)第一步：根据原始遥感图像分辨率构建遥感图像金字塔；(2)基于Tile技术对遥感图像金子塔的各层切割分块，形成小块图像Tiles；
(3)基于文件存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Tiles；(4)根据给定的原始遥感图像级别和一个位置点的经纬度坐标值，计算出所属Tile的名称以及这个Tile的相对存储路径，实现遥感数据快速查询与获取服务；存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Tiles；(5)采用分布式存储系统的体系结构，对分层目录和所述的小块图像Tiles进行存储管理。

本发明能够针对具有海量、多源、多分辨率、多波段的遥感数据进行有效的存储管理，其中的分层目录存储结构具有结构简单、灵活、数据定位便捷的特点，能够提供遥感数据快速的查询和获取，具有高效性。

申请人：北京航空航天大学
地址：100083 北京市海淀区学院路37号
国籍：CN
代理机构：北京科迪生专利代理有限责任公司
更多信息请下载全文后查看。

一种全球海量遥感数据组织管理方法及系统[发明专利]

专利名称：一种全球海量遥感数据组织管理方法及系统
专利类型：发明专利
发明人：付琨,许光銮,孙显,李以福,陈佳良,张义,韩记伟,宋晶晶
申请号：CN202010330184.3
申请日：20200424
公开号：CN111552753A
公开日：
20200818
专利内容由知识产权出版社提供
摘要：本发明公开了一种全球海量遥感数据组织管理方法，包括：将获取的遥感影像数据切分为预先设定大小的瓦片，并计算所述瓦片的信息；基于所述瓦片的信息计算hbase中的rowkey，确定所述瓦片在hbase中的存储位置，并将所述瓦片及瓦片信息存储到hbase中；通过调用接口，基于调用请求从所述hbase中查询对应的瓦片；其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。

本发明利用hbase数据库分布式和可扩展性的优点，以及hbase索引rowkey生成方法，对海量的瓦片数据，实现快速的检索查询。

申请人：中国科学院空天信息创新研究院
地址：100190 北京市海淀区北四环西路19号
国籍：CN
代理机构：北京安博达知识产权代理有限公司
代理人：徐国文
更多信息请下载全文后查看。

一种适用于云计算可扩展高分辨率遥感影像存储组织结构_沈盛彧

详细的介绍。通过在 Hadoop 集群上对海量高分辨率遥感影像集进行的小影像集大文件构建方法实验与传统同类
方式读取效率的对比，证明了本存储组织结构具有较高的扩展性，该小影像集大文件构建方法具有高效和高扩展
的数据读写和处理能力，适合于作为处理海量高分辨率遥感影像的数据源。
关键词：云计算；高分辨率遥感影像；存储组织结构； MapＲeduce；小影像集大文件； Hadoop
箱） shenshenyu@ mail． crsri． cn。
108
长江科学院院报
2014 年
duce 框架根据新定义的一种存储规则实现并行存储。实验表明，其方法比传统的基于 HDFS 默认的透明方式在存储性能方面有一定的提高。Cary［8］等提出先按 HDFS 的默认块大小剖分高分辨率遥感影像并存储在 HDFS 中，再使用 MapＲeduce 编程模型进行分布式的图像质量分析处理，实验证明其性能提升与串行算法的速度比接近线性。HDWebGIS［10］依据 HFDS 中默认分块的大小和各影像瓦片间的临近关系，将小文件整合成大文件，并对所有数据建立全局索引，但受限于数据块大小，它不易于扩展。
近年来，云计算越来越受到政府、企业和开发商的推崇，已被作为下一代计算模式进入了实践阶段，各种基于云计算的研究与应用更是层出不穷。基于云计算的高分辨率遥感影像处理也已成为遥感科学领域的一个研究热点。
对于云计算下高分辨遥感影像的划分及存储方式，康俊锋［5］总结为以下 6 种： ① 基于 HDFS （ Hadoop Distributed File System）默认的透明方式； ②基于遥感影像地图服务的方式； ③基于默认块大小的剖分方式； ④基于多个文件合并压缩的方式； ⑤基于单独文件的方式； ⑥其它方式。任伏虎［6］等提出的遥感云服务框架采用基于 HDFS 默认的透明方式来实现遥感数据分布式存储与访问。夏英［7］等提出基于金字塔模型对影像数据进行分层分块处理，对所得瓦片进行重新编码，再利用 Hadoop 中 MapＲe-

一种适用于云计算可扩展高分辨率遥感影像存储组织结构

一种适用于云计算可扩展高分辨率遥感影像存储组织结构沈盛彧;刘哲;张平仓;张彤;吴华意;陈小平【期刊名称】《长江科学院院报》【年(卷),期】2014(031)012【摘要】传统的遥感影像处理方法已无法有效应对当前遥感影像的3个“海量”问题,即日产量海量、单幅像素海量和可观测地物的类别及数据海量,使得多源海量遥感数据的利用率极其低下.为解决海量高分辨率遥感影像存储问题,提出了一种适用于云计算的高分辨率遥感影像存储组织结构,并对基于MapReduce框架的构建方法进行了详细的介绍.通过在Hadoop集群上对海量高分辨率遥感影像集进行的小影像集大文件构建方法实验与传统同类方式读取效率的对比,证明了本存储组织结构具有较高的扩展性,该小影像集大文件构建方法具有高效和高扩展的数据读写和处理能力,适合于作为处理海量高分辨率遥感影像的数据源.【总页数】6页(P107-112)【作者】沈盛彧;刘哲;张平仓;张彤;吴华意;陈小平【作者单位】长江科学院水土保持研究所,武汉 430010;长江水利委员会网络与信息中心,武汉430010;长江科学院水土保持研究所,武汉 430010;武汉大学测绘遥感信息工程国家重点实验室,武汉430079;武汉大学测绘遥感信息工程国家重点实验室,武汉430079;长江科学院水土保持研究所,武汉 430010【正文语种】中文【中图分类】P237【相关文献】1.一种基于文件系统的海量遥感影像存储组织结构 [J], 谢毅;陈丹捷;魏国丽2.一种适用于服务器的具有高可靠性可扩展性高性能的新一代I/O体系结构 [J], 赵振龙;李之棠;黄辉龙3.一种支持EB级存储的可扩展存储空间管理方法 [J], 邢晶;熊劲;孙凝晖;马捷4.关于高分辨率遥感影像融合的研究——高分辨率遥感影像融合方法及优缺点 [J], 汪鹏飞;何聪5.基于云计算平台的虚拟资源可扩展存储算法 [J], 孟令玺;李洪亮;孟令威因版权原因，仅展示原文概要，查看原文内容请购买。

一种支持云计算的遥感影像数据组织模型研究

（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＨｅｎａｎＵｎｉｖｅｒｓｉｔｙ，Ｋａｉｆｅｎｇ４７５００４，Ｃｈｉｎａ）ａ（ＩｎｓｔｉｔｕｔｅｏｆＤａｔａａｎｄＫｎｏｗｌｅｄｇｅＥｎｇｉｎｅｅｒｉｎｇ，ＨｅｎｎａＵｎｉｖｅｒｓｉｔｙ，Ｋａｉｆｅｇｎ４７５００４，Ｃｈｉｎａ）。
一种支持云计算的遥感影像数据组织模型研究赖积保123罗晓丽123余涛1贾培艳23中国科学院遥感应用研究所北京1001011河南大学计算机与信息工程学院开封4750042河南大学数据与知识工程研究所开封4750043摘要为了解决云计算环境下海量遥感影像数据的存储问题研究了一种支持云计算的遥感影像数据组织模型rscdom
ＡｂｓｔｒａｃｔＴｏｓｏｌｖｅｍａｓｓｉｖｅｒｅｍｏｔｅｓｅｎｓｉｎｇｄａｔａｓｔｏｒａｇｅｐｒｏｂｌｅｍｉｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔ，ａｒｅｍｏｔｅｓｅｎｓｉｎｇｈｎａ－
第４０卷第７期２０１３年７月一计算机科
学
Ｖｏ１．４０Ｎｏ．７
ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ
Ｊｕｌｙ２０１３
种支持云计算的遥感影像数据组织模型研究

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Ｏｌ
率的提高呈几何级递增，到上百吉字节（Ｂ甚至数达Ｇ）十太字节（Ｂ）而且这个数字随着时间的推移和卫星，Ｉ技术、航测技术的发展还将持续快速增加下去。因此。
如何存储、织、组管理和发布这些海量的遥感数据，使遥感影像数据能够更好地为实际应用服务．就成了一个很迫切的问题。
１Ｏｌ
福
建
电
脑
２１年第１０１期
一
种基于文件系统的海量遥感影像存储组织结构（１河南大学计算机与信息工程学院河南开封４５０．７０１２中国联合网络通信有限公司开封市分公司河南开封４５０．７０１１
ａｂＣ
目前，通常采用数据库技术来管理遥感影像数据。使用数据库技术可以保证数据的完整性．也有利于保
表一１１５级切分标准证数据和程序的独立性．以目前大多单位采用Ｏａ所ｒ－比如．分辨率为１米的影像数据按照表１中的千ｃＤｔｌ据库或者通过ＡｃＤ中间件来存储管ｌｓａｉ数ｅａｒＳＥ切分标准，级为３ｌｖｌ０切分成ｌｘ０度的等，ｅ为，ｅＯ度ｌ理遥感数据。是。但存储在数据库的数据虽然有着比较经过预切分后的数据称为标准数据。这样做的目高的共享性。却不可避免存在冗余性。但当遥感数据量范围。的一是为了给文件的标准命名做准备工作。而是按照特别大时，据的检索速度就成了瓶颈，时，用数数此采这个标准切分的影像构造的金字塔模型可以很方便的据库技术来管理遥感影像的方式就不占优势了。
户在检索的时候．可以根据要检索的遥感数据的属性数据为例进行说明：
信息。直接计算出要检索的数据的存储位置，这种方法
称为” 直接寻址检索法 ” 。：遥感影像的标准化处理主要包括数据的标准化预Ｓ标准数据；Ｍ：传感器Ｍｏｉ；ｄｓ切分、文件标准化命名、文件目录标准化命名几个步Ｔ：星为Ｔｒ星；卫ｅｒａ骤。
０．Ｏ１× Ｏ．Ｏ】
２ｍ５
ｌｒＯｅ５ｍ２５．ｍ
ｌｍ
５
６７８
９
ｌ３１４１５
Ｏ０５Ｏｏ５． × ．０Ｏ０ｏ５Ｏｏ２．２ × ．０５０００ｌＯｏｌ． × ．ｏｏ
０５．ｍＯ２ｍ．５Ｏ１．ｍ
５
６
７
２５×２５．．
ｌｌ ×
Ｏ５×Ｏ５．．
２０５ｍ
ｌｏ０ｍ
５ｍ０
２
３
４
８
９１０１ｌ
１２
Ｏ２Ｘ０２．５．５
Ｏ１０１．× ．Ｏ０ × ＯＯ．５．５００５００５．２ × ．２
【摘
要】：针对传统数据库技术在管理海量遥感影像数据方面存在的不足。本文提出了一种基于文件
系统的海量遥感影像存储组织结构，结构能够快速检索影像数据。该
【关键词】：海量数据；遥感影像；文件系统；预切分；标准化
１引言、
常见的遥感影像是多源多格的。一般包括卫星影
与Ｇｓ流行３ＩＤ展示相结合。２基于文件系统的海量遥感影像存储组织结构、２２文件命名规范．ｃ本文提出的利用文件系统对海量遥感影像存储并
遥感数据有其独特的属性。这是对其检索的最关快速进行检索．其基本思想是对影像数据按照一定的键的一点。因此。可以将遥感数据的关键信息提取出规范进行标准化处理．并将标准化处理后的影像数据按ｄｓ按照规范存储到相应的目录中。由于了解整套规范，用来．照制定的规范保存在文件名称中。这里以Ｍｏｉ
２２５×２５
分辨率ｌｅｅｌｖ
５Ｋｍｄ
２５．Ｋｍ
据更加真实准确。而遥感影像信息的数据量非常大。然每天都有大量的遥感影像被获取．并且随着影像分辨
３４
ｌｌ０× Ｏ５× ５
１Ｋｍ５００ｍ
而已经在军事、资源、环境和防灾等许多领域起着不可１中的标准进行预切分。替代的作用。用卫星拍摄的高分辨率的遥感影像．利人级数分割标准度）１５０× ５０们可以迅速得到几周前甚至几天前的最新数据．使数
随着社会发展．信息已经对人类的生产和生活产像以及航拍影像，常用格式有ＨＦＨ、１、１Ｆ等，Ｄ、５，ＦｒＦＩＩ生越来越大的影响力。遥感影像作为一种超高容量的分辨率也各不相同，０Ｉ到５千米不等。所以，从．米首信息载体，因其能及时、靠、便地提供多种信息。可方从先要将这些不同格式，同分辨率的遥感影像按照表一不