基于ISOMAP的高光谱遥感数据的降维与分类

基于ISOMAP的高光谱遥感数据的降维与分类
基于ISOMAP的高光谱遥感数据的降维与分类

第42卷第10期红外与激光工程2013年10月Vol.42No.10Infrared and Laser Engineering Oct.2013基于ISOMAP的高光谱遥感数据的降维与分类

丁玲1,2,唐娉1,李宏益1

(1.中国科学院遥感与数字地球研究所,北京100094;2.中国科学院大学,北京100049)

摘要:为挖掘高光谱遥感数据内在的非线性结构特性,采用全局化流形学习算法等距特征映射(ISOMAP)对高光谱遥感数据进行非线性降维,并取得了优于常用的最小噪声分离(MNF)变换方法的结果,具有更好的数据压缩性能。将光谱角相似性度量方法用于ISOMAP算法,取得良好的降维效果。通过把ISOMAP降维算法和k-最邻近分类器相结合对降维后子空间特征进行分类,实验表明:ISOMAP利用较少的特征维数获得比MNF更高的分类精度,并达到较高稳定的分类精度,尤其对难以区分、光谱相似的两类别问题,ISOMAP的特征维数能够有效的提高两类别的可分性。

关键词:流形学习;等距特征映射;特征提取;高光谱遥感数据分类

中图分类号:TP751.1文献标志码:A文章编号:1007-2276(2013)10-2707-05

Dimensionality reduction and classification for hyperspectral

remote sensing data using ISOMAP

Ding Ling1,2,Tang Ping1,Li Hongyi1

(1.Institute of Remote Sensing and Digital Earth,Chinese Academy of Sciences,Beijing100094,China;

2.University of Chinese Academy of Sciences,Beijing100049,China)

Abstract:In order to address intrinsic nonlinearities of hyperspectral remote sensing data,isometric feature mapping(ISOMAP)is the most widely utilized global manifold learning approach for nonlinear dimensionality reduction.In this paper,it was employed to extract the inherent manifold of hyperspectral data and the experimental results show that ISOMAP provides a significantly more compact feature representation of hyperspectral data than the minimum noise fraction(MNF)transform.Considering the spectral information of hyperspectral data,spectral angle(SA)was applied to derive the neighborhood distances in ISOMAP algorithm,and the result was better.Extracted subspace features via ISOMAP algorithm were also implemented in conjunction with k Nearest Neighbor(k NN)classifier for classification.

Experimental results show ISOMAP achieves higher classification accuracies than MNF transform,but with much smaller dimensionality.Especially,ISOMAP provides better discrimination for spectrally similar classes.

Key words:manifold learning;isometric feature mapping;feature extraction;

hyperspectral remote sensing data classification

收稿日期:2013-02-05;修订日期:2013-03-07

基金项目:国家863计划(2012AA12A304)

作者简介:丁玲(1983-),女,博士,主要从事遥感图像处理和机器学习方面的研究。Email:xiaodingdj@https://www.360docs.net/doc/ac4346867.html,

红外与激光工程第42卷

0引言

高光谱遥感数据图谱一体化、波段多、数据量大、存在数据冗余和维数灾难问题,造成图像传输和存储等方面困难,并且给传统的多遥感图像处理算法提出挑战[1]。参考文献[2]指出高维空间的高光谱数据的信息主要集中在低维空间,最大保持高维重要信息的前提下降低高光谱数据的维数对于遥感处理来说非常重要。降维是解决这个问题的有效方法,它能够找出高维数据中所隐藏的低维结构,最大保留有意义的数据信息,进而提高后续数据分析的准确度[3]。目前,常用的降维方法大致分为两类:线性降维和非线性降维。线性降维方法是在不同优化准则之下寻求最佳线性模型的方法[3]。但是,高光谱数据具有非线性特性,流形学习是近年来提出的一类非线性降维方法,它能够更好的挖掘高光谱数据的非线性结构,提高数据的分析性能,分为全局算法和局部算法[4],全局算法保持全局数据之间的相似性关系,例如等距特征映射,该算法求得的低维流形可以保持原数据中以测地线距离表示的相似性关系;局部算法是在低维流形中,保持原数据的局部几何结构,并通过保持各个相互重叠的局部结构来恢复整体数据结构,例如局部线性嵌入,拉普拉斯特征映射,局部切空间排列算法等,其中,等距特征映射和局部线性嵌入是两种最具有代表性且得到广泛的应用。

文中采用全局的等距特征映射(ISOMAP)算法[5],结合高光谱遥感数据内在的特性,对高光谱遥感数据进行降维,力求保持数据点的内在几何性质,同时将ISOMAP应用于高光谱遥感数据分析中,以观察降维数据是否具有更好的类别可分性,从而更好理解流形学习算法对高光谱遥感数据分类的作用,以及高光谱遥感数据在低维子空间流形域的数据特性。

1高光谱遥感数据的非线性结构

高光谱遥感数据具有内在的非线性特性,主要来自“双向反射分布函数效应”,非线性源主要还包括地面散射的非线性、植被复杂的能量散射和水体的非线性能量衰减造成非线性性等[6-7]。线性降维无法表征高光谱遥感数据的非线性特性,而流形学习算法可以找出高维数据中所隐藏的低维流形结构,该低维流形能够表示数据的本征结构和非线性特性。将流形学习算法应用于高光谱图像分析,在降维的同时可以更好的挖掘数据的非线性信息特性。图1为高光谱遥感数据流形坐标系统概念视图,其中,图1(b)是图1(a)黑色方框的子图像三波段(R:50 (860.28nm);G:26(646.72nm);B:16(547.60nm))绘制的散列点图,可以清楚看到这三个波段具有的非线性结构。在流形坐标系统下,两点间距离沿着流形线测量(测地距离),而不是欧氏距离。

图1流形坐标系统概念图

Fig.1Conceptual view of manifold coordinate system

2ISOMAP算法描述及其距离度量改进

ISOMAP是Tenenbaum[5]在2000年提出的一种全局流形学习算法,基本思想是假设高维空间数据分布在一个低维嵌入流形结构中,通过保持数据间的测地距离不变,进而保留了数据全局几何分布结构,并获得嵌入在高维空间的低维空间的表示。算法分为以下三个步骤。

首先,构建数据邻域图G:依据数据间相似性度量d E(x i,x j),对每个点X,构造其近邻点的邻域图G。

其次,计算测地线距离D G:计算图G中,每个点与其非近邻点间的测地距离,采用Dijkstra最短路径方法计算邻域图G上两点间的最短路径d G(x i,x j)近似流形M上的测地距离d M(x p,x q),得到近似测地线距离矩阵D G。

最后,构造低维嵌入Y:在测地距离阵D G上,利用多尺度变换获得低维空间的降维数据。

ISOMAP算法高效、简单、参数少等特点,只需要确定样本本征维d,近邻点k。一般采用ε邻域或k 邻域确定近邻点,欧式距离为常用距离度量方式。但对于高光谱遥感数据来说,光谱角是针对地物光谱波形相似性的一种度量,对乘性干

扰具有良好的抗

2708

第10期

干扰性,能够减弱光照度等影响。因此,文中将光谱角度量指标来代替传统的欧氏距离,与测地距离相结合,应用到ISOMAP算法。

3实验部分

3.1数据描述

实验数据是在美国印地安那州的农业地区获取的220波段的AVIRIS高光谱图像,其空间分辨率是25m,波长范围为400~2500nm。去除水汽吸收波段和信噪比低的波段后,保留了200个波段进行分析。该区域具有比较规整的几何形状。如图2和图3分别为实验选择的两子区域的彩色图和地面真实参考图,图例括弧内为每类地物的样本数,两区域都包含40×40pixel。其中在第一个区域中两类(C2:corn-min, C9:soybeans-clean)光谱最相似如图2(c),较难区分。

图2第一子区域彩色图(RGB波段分别为50,26,16),地面真实参考图和类别C2和C9光谱反射曲线

Fig.2First RGB image subset(channels50,26,16for RGB), ground-truth reference map and spectral reflectance of

C2and C9

图3第二子区域彩色图(RGB波段分别为50,26,16)和地面真实参考图

Fig.3Second RGB image subset(channels50,26,16for RGB) and the ground-truth reference map 3.2ISOMAP降维结果比较分析

最小噪声分离(MNF)[8]是一种常用的高光谱遥感数据线性降维方法,其本质上是两次层叠的主成份变换。利用MNF变换作为线性降维方法来进行实验的对比分析。实验研究中,近邻点k的大小是通过残差方法[9]来选择的,求得k=10;同时,采用欧式距离(ED)和光谱角(SA)两种相似性度量计算查找近邻点。

对选择的两个子图像区域,图4通过对MNF和采用ED和SA的ISOMAP的规则化特征谱,即特征值/第1个特征值进行比较,可以看出,ISOMAP的规则化特征谱在最前5~10个ISOMAP成分下降了两个数量级,而MNF比ISOMAP多几倍的成分才能达到相同的标准,说明ISOMAP在信息量保持上优于MNF;使用SA计算查找近邻点的ISOMAP方法在规则化特征值上优于欧式距离的方法。

图4MNF方法与ISOMAP的规则化谱的比较图Fig.4Normalized eigenspectra comparing MNF to ISOMAP

图5与图6中,图(a)为ISOMAP1-2-3分量合成RGB图像,图(b)为ISOMAP4-5-6分量合成RGB 图像,图(c)为MNF1-2-3分量合成RGB图像,图(d)为ISOMAP6-5-4分量合成RGB图像。从图5和图6的比较可以看出,利用SA计算邻域的ISOMAP降维后得到的前三个分量合成的特征图像更清楚,平滑,细节更丰富。同时,也说明ISOMAP的降维结果的信息量主要集中在前3个分量。MNF变换降维后

丁玲等:基于ISOMAP的高光谱遥感数据的降维与分类2709

红外与激光工程第42卷

的图像在前6个分量上信息递减变化不明显。同时也说明ISOMAP比MNF变换对高光谱数据具有更好的数据压缩性。因此,由于高光谱数据存在固有的非线性特性,线性降维可以丢失数据某些重要的非线性信息,流形学习可以更好地揭示高光谱数据的本征结构和非线性特性,为了使降维后得到的数据损失最小,则应用流形学习算法进行高光谱遥感数据降维可以提高数据分析的准确度。

图5第一个子区域的ISOMAP和MNF的结果图,采用SA 距离度量

Fig.5Results image of ISOMAP and MNF using SA as neighborhood distance metric for the first image subset

图6第二个子区域的ISOMAP和MNF的结果图,采用SA 距离度量

Fig.6Results image of ISOMAP and MNF using SA as neighborhood distance metric for the second image subset

3.3基于ISOMAP算法的高光谱遥感数据分类分析

实验分析和比较了ISOMAP和MNF降维算法对高光谱遥感数据分类的作用。主要思想为先把所有类别样本进行ISOMAP降维,对降维后子空间的特征数据,然后利用分类器进行分类。分类器采用k 近邻分类器(kNN),其中取k=1。每类随机选取30%为训练数据,70%为测试数据。通过上述降维分析,对于ISOMAP算法中的近邻点选择采用SA相似度量方式,以减弱光照等影响。由于降维后的光谱数据失去光谱角度度量的物理意义,因此,对于在降维后的子空间的1NN分类器,采用欧式距离选择近邻。同时,采用ED与SA距离度量对原高光谱数据进行1NN分类对比,分别表示为1NN-ED和1NN-SA,以分析SA度量对原高光谱数据的作用。

图7显示了ISOMAP算法在不同样本集选择下,不同k值选择的情况下的分类结果曲线图,并与MNF,1NN-ED和1NN-SA作比较。图7中,图(a)为数据C2与C9分类精度曲线图,图(b)为第一子区域所有类别数据分类精度曲线图,图(c)为第二子区域所有类别数据分类精度曲线图,图(d)数据C2与C9的ISOMAP前两维结果图,从图7可以观测到,无论两类或是多类的分类,随着维数的增加,分类精度提高;ISOMAP随着维度的增加,分类精度趋于稳定,且有明显的拐点。ISOMAP比MNF、1NN-ED和1NN-SA具有较好的分类精度;1NN-SA总是优于1NN-ED,表明了SA是一种更好的高光谱遥感数据近邻点间相似性度量的方法。对于光谱相似的两类地物,ISOMAP只利用最前2个降维波段分类精度就达到80%以上,图7(d)表明,ISOMAP前2维的降

图7采用ISOMAP降维算法和1NN的分类结果曲线图

Fig.7

Classification results using1NN with ISOMAP 2710

第10期

维结果图呈现特殊的流形结构,具有较好的可分性;再次说明ISOMAP可以利用较少的维度提高相似地物的可分性;对于第一个区域,当维数7左右(恰巧为第一个区域的类别数)达到稳定的分类精度,之后,增加幅度变得十分微小;对于第二个区域,当在维数为6左右(恰巧为第二个区域的类别数)达到稳定的分类精度,之后趋于稳定。因此,多类问题比两类问题需要更多的维数达到好的分类结果,表明数据越复杂,需要更多的波段来描述数据本征流形结构。ISOMAP达到稳定的分类精度需要的维数大小与类别数相关,对于同一种数据,数据的类别数量越多,数据结构越复杂,需要的降维波段数越多。与ISOMAP相比,MNF需要更多的降维数才可以达到与之相同分类精度。同时,参数k的取值大小对ISOMAP分类精度影响影像不大,随着维数的增加得到相似的分类精度。

4结论

文中在分析高光谱遥感数据非线性结构的基础上,将流形学习应用于高光谱遥感数据,利用ISOMAP算法来进行对高光谱遥感数据进行降维,同时与常用的MNF降维结果对比分析。在光谱规范化特征值方面,ISOMAP优于MNF变换。此外,ISOMAP降维在信息量的保持方面也取得了很好的结果,并且可以揭示高光谱遥感数据非线性整体结构。光谱角度量方法在光谱规范化特征值方面和信息量保持上,都优于欧氏距离计算近邻的ISOMAP 降维结果。为更好地理解非线性降维对真实高光谱遥感遥感数据分类作用,将ISOMAP降维算法和k NN(k=1)分类器相结合,对高光谱遥感数据的多类分类问题和光谱相似的两类分类问题,在降维后的特征子空间与进行了分类对比研究,从整体分类效果看,ISOMAP分类精度最高;1NN-SA总是优于1NN-ED,而且ISOMAP利用较少的特征维数获得比MNF更高的分类精度,达到稳定的分类精度。特别是对难以区分的,光谱相似的两类分类问题,ISOMAP利用较少的特征维大幅度提高相似类别的可分行。对于多类问题,随着类别数目的增多,ISOMAP则需要较多的维数,但是达到一定的维数之后,分类精度增幅幅度微小。针对流形学习在高光谱遥感数据中的应用,实现对整幅高光谱图像进行降维,是下一步努力的方向。

参考文献:

[1]Wei Feng,He Mingyi,Mei Shaohui.Hyperspectral data

feature extraction using spatial coherence based neighborhood

preserving embedding[J].Infrared and Laser Engineering, 2012,41(5):1249-1254.(in Chinese)

魏峰,何明一,梅少辉.空间一致性邻域保留嵌入的高光谱数据特征提取[J].红外与激光工程,2012,41(5):1251-1254.

[2]Jimenez L O,Rivera-medlan J L,Rodirguez-diaze,et al.

Integration of spatial land spectral information homogenous

by means of unsupervised extraction and classification for

objects applied to multispectral and hyperspectral data[J].

IEEE Transactions on Geoscience and Remote Sensing, 2005,43(4):844-851.

[3]Wan Jun,Zhang Xiaohui,Rao Jionghui,et al.Processing of

backscattering signal of warship wake flow based on independent component analysis[J].Infrared and Laser

Engineering,2013,42(1):245-250.(in Chinese)

万俊,张晓晖,饶炯辉,等.基于独立成分分析的舰船气泡尾流后向散射光信号处理[J].红外与激光工程,2013,42(1): 245-250.

[4]Silva V,Tenenbaum J B.Global versus local methods in

nonlinear dimensionality reduction[J].Advances in Neural Information Processing Systems,2003,15:705-712.

[5]Tenenbaum J B,de Silva V,Langford J C.A global

geometric frame work for nonlinear dimensionality reduction

[J].Science,2000,290(5500):2319-2323.

[6]Bachmann C M,Ainsworth T L,Fusina R A.Exploiting

manifold geometry in hyperspectral imagery[J].IEEE Transactions on Geoscience and Remote Sensing,2005,

43(3):441-454.

[7]Han T,Goodenough D G.Investigation of nonlinearity in

hyperspectral imagery using surrogate data methods[J].IEEE Transactions on Geoscience and Remote Sensing,2008,

46(10):2840-2847.

[8]Green A A,Berman M,Switzer P,et al.A transformation

for ordering multispectral data in terms of image quality with

implications for noise removal[J].IEEE Transactions on

Geoscience and Remote Sensing,1988,26(1):65-74. [9]Zhang Zhenyue,Zha Hongyuan.Principal manifolds and

nonlinear dimensionality reduction via tangent space alignment [J].SIAM Journal of Scientific Computing,2004,26(1): 313-338.

丁玲等:基于ISOMAP的高光谱遥感数据的降维与分类2711

光谱数据处理流程解析

渤海SVC 光谱数据处理 2009.9.9 一.基本原理 水体遥感反射率的计算公式为: /(0)rs w d R L E += 其中,水面入射辐照度比(0)d E +又为: (0)*/d p p E L πρ+= p L 为标准板的反射信号; p ρ为标准板的反射率。 而水面以上水体信号组成可表示为公式: *u w f sky wc g L L L L L ρ=+++ 其中:u L 代表传感器接收到的总信号; w L 是进入水体的光被水体散射回来后进入传感器的离水辐射率,是我们需要得到的量。 f ρ为菲涅尔反射系数, 平静水面可取r=0.022,在5m/s 左右风速的情况下, r 可取0.025, 10m/s 左右风速的情况下, 取0.026—0.028(唐军武,2004)。 s k y L 是天空光信号,通过实地测量得到; wc L 是来自水面白帽的信号、g L 是来自太阳耀斑的信号。这两部分信号不携带任何水体信息,在测量过程中通过采用特定的观测几何来避免和去除。 具体可参考《环境遥感模型与应用》 二.处理流程: 1.生成moc 文件:将测量得到的原始光谱XXX.sig 文件通过overlap 处理后得到去除传感器间重复波段影响后的平滑光谱曲线: ①安装运行SVC-HR1024软件,选择tools —SIG file overlap ,在browser 中选择要处理的.sig 文件; ②点击process all files 进行处理,生成的moc 文件自动保存在与.sig 同一个文件夹下面。 数据储存:为每一天新建一个以日期命名的文件夹,根据这一天所测的站点数,建立以相应点号命名的子文件夹以储存各点位测得的光谱数据(包括原始.sig 和生成的_moc.sig 文件) 2.制作.meta 文件:根据原始观测记录在.meta 文件中写入对应的水体测量(No_water_files )、天空光测量(No_sky_files )、灰板测量光谱曲线(No_plaq_files )及灰板反射率的文件储存路径信息,以辅助反射率的计算。

高维数据的低维表示综述

高维数据的低维表示综述 一、研究背景 在科学研究中,我们经常要对数据进行处理。而这些数据通常都位于维数较高的空间,例如,当我们处理200个256*256的图片序列时,通常我们将图片拉成一个向量,这样,我们得到了65536*200的数据,如果直接对这些数据进行处理,会有以下问题:首先,会出现所谓的“位数灾难”问题,巨大的计算量将使我们无法忍受;其次,这些数据通常没有反映出数据的本质特征,如果直接对他们进行处理,不会得到理想的结果。所以,通常我们需要首先对数据进行降维,然后对降维后的数据进行处理。 降维的基本原理是把数据样本从高维输入空间通过线性或非线性映射投影到一个低维空间,从而找出隐藏在高维观测数据中有意义的低维结构。(8) 之所以能对高维数据进行降维,是因为数据的原始表示常常包含大量冗余: · 有些变量的变化比测量引入的噪声还要小,因此可以看作是无关的 · 有些变量和其他的变量有很强的相关性(例如是其他变量的线性组合或是其他函数依赖关系),可以找到一组新的不相关的变量。(3) 从几何的观点来看,降维可以看成是挖掘嵌入在高维数据中的低维线性或非线性流形。这种嵌入保留了原始数据的几何特性,即在高维空间中靠近的点在嵌入空间中也相互靠近。(12) 数据降维是以牺牲一部分信息为代价的,把高维数据通过投影映射到低维空间中,势必会造成一些原始信息的损失。所以在对高维数据实施降维的过程中如何在最优的保持原始数据的本质的前提下,实现高维数据的低维表示,是研究的重点。(8) 二、降维问题 1.定义 定义1.1降维问题的模型为(,)X F ,其中D 维数据空间集合{}1N l l X x ==(一般为D R 的一个子集),映射F :F X Y →(),x y F x →=

高光谱图像分类

《机器学习》课程项目报告 高光谱图像分类 ——基于CNN和ELM 学院信息工程学院 专业电子与通信工程 学号 35 学生姓名曹发贤 同组学生陈惠明、陈涛 硕士导师杨志景 2016 年 11 月

一、项目意义与价值 高光谱遥感技术起源于 20 世纪 80年代初,是在多光谱遥感技术基础之上发展起来的[1]。高光谱遥感能够通过成像光谱仪在可见光、近红外、短波红外、中红外等电磁波谱范围获取近似连续的光谱曲线,将表征地物几何位置关系的空间信息与表征地物属性特征的光谱信息有机地融合在了一起,使得提取地物的细节信息成为可能。随着新型成像光谱仪的光谱分辨率的提高,人们对相关地物的光谱属性特征的了解也不断深入,许多隐藏在狭窄光谱范围内的地物特性逐渐被人们所发现,这些因素大大加速了遥感技术的发展,使高光谱遥感成为 21 世纪遥感技术领域重要的研究方向之一。 在将高光谱数据应用于各领域之前,必须进行必要的数据处理。常用的数据处理技术方法包括:数据降维、目标检测、变化检测等。其中,分类是遥感数据处理中比较重要的环节,分类结果不但直接提取了影像数据有效信息,可以直接运用于实际需求中,同时也是实现各种应用的前提,为后续应用提供有用的数据信息和技术支持,如为目标检测提供先验信息、为解混合提供端元信息等。 相对于多光谱遥感而言,由于高光谱遥感的波谱覆盖范围较宽,因此我们可以根据需要选择特定的波段来突显地物特征,从而能够精确地处理地物的光谱信[2]。目前,许多国家开展大量的科研项目对高光谱遥感进行研究,研制出许多不同类型的成像光谱仪。高光谱遥感正逐步从地面遥感发展到航空遥感和航天遥感,并在地图绘制、资源勘探、农作物监测、精细农业、海洋环境监测等领域发挥重要的作用。

高维数据分类方法研究

第21卷第10期 系 统 仿 真 学 报? V ol. 21 No. 10 2009年5月 Journal of System Simulation May, 2009 ? 2933 ? 高维数据分类方法研究 田 江, 顾 宏 (大连理工大学电子与信息工程学院,大连 116023) 摘 要:在对高维度数据进行模式分类时,能否有效进行降维是一个关键问题。提出了一种结合高斯过程潜变量模型(GPLVM)和支持向量机(SVM)的阶梯跳跃降维分类框架方法,能有效的降低样本数据维数,同时提高分类器性能。利用GPLVM 实现数据的平滑映射,对输入样本进行非线性降维后,根据SVM 的分类校验结果进行下一步降维迭代操作;计算新的阶梯维数,根据反馈动态调整降维输入数据。利用该方法对UCI 上的数据集进行分类,仿真结果验证了方法的有效性。 关键词:高斯过程潜变量模型;支持向量机;模式分类;阶梯跳跃降维 中图分类号:TP18 文献标识码:A 文章编号:1004-731X (2009) 10-2933-03 Study on Classification Methods for High-dimensional Data TIAN Jiang, GU Hong (School of Electronic and Information Engineering, Dalian University of Technology, Dalian 116023, China) Abstract: Effective dimensionality reduction is a key issue in high-dimensional data classification. A new ladder jumping dimensional reduction classification framework was proposed which combined the Gaussian process latent variable model (GPLVM) and the Support Vector Machine (SVM). The data dimensions were reduced remarkably, while at the same time improving the performance of SVM classifiers. For the purpose of nonlinear low dimensional embedding of sample datasets, GPLVM provides a smooth probabilistic mapping from latent to data space. According to the feedback results of SVM, the renewed ladder dimension was calculated and the input data was adjusted dynamically. The proposed approach was applied to four benchmark problems, and the simulation results show its validity. Key words: GPLVM; SVM; pattern classification; ladder jumping dimension reduction 引 言模式分类是模式识别中的一项重要内容 ,也是处理许多其它问题的核心。用于模式分类的方法很多 ,传统的模式分类方法主要基于统计分析理论, 如 Bayesian 方法、Fisher 判别、K 近邻分类等。近年来复杂非线性高维数据分析、处理的需要则促进了神经网络、模糊推理及支持向量机等方法的研究与应用[1] 。其中支持向量机的理论基础是V apnik [2, 3] 等提出的统计学习理论,采用结构风险最小化准则 ,在最小化样本点误差的同时,缩小模型泛化误差的上界,即最小化模型的结构风险,从而提高了模型的泛化能力。支持向量机方法的分类性能受特征空间的选择影响较大,在很多应用领域中数据包含大量的特征,过高的特征维数使得训练及分类的速度变慢,同时也会使分类的正确率下降。 主成分分析(PCA)是目前广泛应用的一种降维方法,将多个变量化为少数几个互不相关的主成分,从而描述数据集的内部结构。高斯过程潜变量模型(GPLVM)[4-6]由Lawrence 于2004年提出,是一种新的无监督非线性数据降维方法,实现概率非线性的主成分分析。本文在GPLVM 的基础上,结合支持向量机提出了一种阶梯跳跃式降维的方法,对样本进行动态调整,支持向量机做为分类器迭代计算模型的性能评价标准和最后的分类结果。在UCI 标杆数据集上进行了 收稿日期:2008-01-02 修回日期:2008-07-23 作者简介:田江(1979-), 男, 河北唐山人, 博士生, 研究方向为数据挖掘等;顾宏(1961-), 辽宁大连人, 教授, 博导, 研究方向为数据挖掘, 移动商务等。 相关的仿真实验,实验结果表明了该方法可以获得最优的特征子集,有效的提高了分类的正确率,证明了方法的有效性。 1 高斯过程潜变量模型 高斯过程潜变量模型(GPLVM)[4-6]是一个完全概率非线性的实现主成分分析的潜变量模型。对主成分分析进行概率解释,写成一组具有线性协方差方程的高斯过程的积形式。 设d 维观测数据集记为: 11[,:,...,,:][:,,...,:,]T n d n d Y y y y y ×==∈? 设q 维潜变量数据集记为 11[,:,...,,:][:,,...,:,]T n q n q X x x x x ×==∈? 概率PCA [7]是一个简单的潜变量模型,给出了观测数据y 和潜变量x 之间的关系,它利用低维的潜变量来表示高维 观测数据,具体描述的是线性关系: ,:,:,:i i i y Wx η=+ (1) 其中d q W ×∈?是映射矩阵,噪声向量,:i η服从于均值为0,方差为2I σ的正态分布。 将潜变量同观测数据联系起来,假定各数据相互独立,令条件概率为: 2,:,:1 (|,)(|,)n i i i p Y X W N y Wx I σ==Π (2) 定义潜变量的高斯先验分布表示为: ,:1 ()(|0,)n i i p X N x I ==Π (3) ,:1(|)(|0,)n i i p Y W N y C ==Π (4)

高光谱遥感期末考复习材料

1、地面光谱测量的作用: ①地面光谱辐射计在成像光谱仪过顶时,常用于地面野外或实验室同步观测,获取下 行太阳辐射,以用于遥感器定标。 ②在一些反射率转换模型中,需要引入地面光谱辐射计测取得地面点光谱来完成 DN 值图像到反射率图像的转换。 ③地面光谱辐射计可以为图像识别获取目标光谱和建立特征项。但是,这时地面光谱 测量要在空间尺度上与图像像元尺度相对应,且要具有代表性;另外,地面光谱测 量要与高光谱图像获取条件相一致。 ④通过地面光谱辐射计测量数据和地面模拟,可以帮助人们了解某一地物被高光谱遥 感探测的可能性,理解其辐射特性,确定需要采用的探测波长、光谱分辨率、探测 空间分辨率、信噪比、最佳遥感探测时间等重要参数。 ⑤地面光谱辐射计还可以勇于地面地质填图。它可以用于矿物的光谱吸收特征,识别 地面矿物或矿物的集合,从而直接完成野外矿物填图。 ⑥可以用来建立地物的表面方向性光谱反射特性。 ⑦建立目标地面光谱数据与目标特性间的定量关系。 2、高光谱成像特点: ①高光谱分辨率。高光谱成像光谱仪能获得整个可见光、近红外、短波红外、热红外 波段的多而窄的连续光谱,波段多至几十甚至数百个,其分辨率可以达到纳米级, 由于分辨率高,数十、数百个光谱图像可以获得影像中每个像元的精细光谱。 ②图谱合一。高光谱遥感获取的地表图像包含了地物丰富的空间、辐射和光谱三重信 息,这些信息表现了地物空间分布的影像特征,同时也可能以其中某一像元或像元 组为目标获得他们的辐射强度以及光谱特征。 ③光谱波段多,在某一光谱段范围内连续成像。成像光谱仪连续测量相邻地物的光谱 信号,可以转化城光谱反射曲线,真实地记录了入射光被物体所反射回来的能量百 分比随波长的变化规律。不同物质间这种千差万别的光谱特征和形态也正是利用高 光谱遥感技术实现地物精细探测的应用基础。 3、高光谱遥感图像数据表达: ①图像立方体——成像光谱信息集。 ②二维光谱信息表达——光谱曲线。 ③三维光谱信息表达——光谱曲线图。(书本44页) 4、成像光谱仪的空间成像方式: (1)摆扫型成像光谱仪。摆扫型成像光谱仪由光机左右摆扫和飞行平台向前运动完成二维空间成像,其线列探测器完成每个瞬时视场像元的光谱维获取。扫描镜对地左右平行扫描成像,即扫描的运动方向与遥感平台运动方向垂直。其优点:可以得到很大的总视场,像元配准好,不同波段任何时候都凝视同一像元;在每个光谱波段只有一个探测元件需要定标,增强了数据的稳定性;由于是进入物镜后再分光,一台仪器的光谱波段范围可以做的很宽,比如可见光一直到热红外波段。其不足之处是:由于采用光机扫描,每个像元的凝视时间相对就很短,要进一步提高光谱和空间分辨率以及信噪比比较困难。 (2)推扫型成像光谱仪。是采用一个垂直于运动方向的面阵探测器,在飞行平台向前运动中完成二维空间扫描,它的空间扫描方向是遥感平台运动方向。其优点是:像元的凝视

高光谱数据处理基本流程

高光谱数据处理基本流 程 The document was finally revised on 2021

高光谱分辨率遥感 用很窄(10-2l)而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级,通常具有波段多的特点,光谱通道数多达数十甚至数百个以上,而且各光谱通道间往往是连续的,每个像元均可提取一条连续的光谱曲线,因此高光谱遥感又通常被称为成像光谱(Imaging Spectrometry)遥感。 高光谱遥感具有不同于传统遥感的新特点: (1)波段多——可以为每个像元提供几十、数百甚至上千个波段; (2)光谱范围窄——波段范围一般小于10nm; (3)波段连续——有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱; (4)数据量大——随着波段数的增加,数据量成指数增加; (5)信息冗余增加——由于相邻波段高度相关,冗余信息也相对增加。 优点: (1)有利于利用光谱特征分析来研究地物; (2)有利于采用各种光谱匹配模型; (3)有利于地物的精细分类与识别。 ENVI高光谱数据处理流程: 一、图像预处理 高光谱图像的预处理主要是辐射校正,辐射校正包括传感器定标和大气纠正。辐射校正一般由数据提供商完成。 二、显示图像波谱 打开高光谱数据,显示真彩色图像,绘制波谱曲线,选择需要的光谱波段进行输出。 三、波谱库 1、标准波谱库 软件自带多种标准波谱库,单击波谱名称可以显示波谱信息。 2、自定义波谱库

ENVI提供自定义波谱库功能,允许基于不同的波谱来源创建波谱库,波谱来源包括收集任意点波谱、ASCII文件、由ASD波谱仪获取的波谱文件、感兴趣区均值、波谱破面和曲线等等。 3、波谱库交互浏览 波谱库浏览器提供很多的交互功能,包括设置波谱曲线的显示样式、添加注记、优化显示曲线等 四、端元波谱提取 端元的物理意义是指图像中具有相对固定光谱的特征地物类型,它实际上代表图像中没有发生混合的“纯点”。 端元波谱的确定有两种方式: (1)使用光谱仪在地面或实验室测量到的“参考端元”,一般从标准波谱库选择; (2)在遥感图像上得到的“图像端元”。 端元波谱获取的基本流程: (1)MNF变换 重要作用为:用于判定图像内在的维数;分离数据中的噪声;减少计算量;弥补了主成分分析在高光谱数据处理中的不足。 (2)计算纯净像元指数PPI PPI生成的结果是一副灰度的影像,DN值越大表明像元越纯。 作用及原理:

遥感卫星影像预处理做哪些

北京揽宇方圆信息技术有限公司热线:4006019091 遥感影像数据预处理 影像融合不同传感器的数据具有不同的时间、空间和光谱分辨率以及不同的极 化方式。单一传感器获取的影像信息量有限,往往难以满足应用需要, 通过影像融合可以从不同的遥感影像中获得更多的有用信息,补充单一 传感器的不足。全色图影像一般具有较高空间分辨率,多光谱影像光谱 信息较丰富。为提高多光谱影像的空间分辨率,可以将全色影像融合进 多光谱图像,通过融合既提高多光谱影像空间分辨率,又保留其多光谱 特性。对卫星数据的全色及多光谱波段进行融合。包括选取最佳波段, 从多种分辨率融合方法中选取最佳方法进行全色波段和多光谱波段融 合,使得图像既有高的空间分辨率和纹理特性,又有丰富的光谱信息, 从而达到影像地图信息丰富、视觉效果好、质量高的目的。 影像匀色相邻的遥感图像,由于成像日期、季节、天气、环境等因素可能有差异, 不仅存在几何畸变问题,而且还存在辐射水平差异导致同名地物在相 邻图像上的色彩亮度值不一致。如不进行色调调整就把这种图像镶嵌起 来,即使几何配准的精度很高,重叠区复合得很好,但镶嵌后两边的影 像色调差异明显,接缝线十分突出,既不美观,也影响对地物影像与专 业信息的分析与识别,降低应用效果。要求镶嵌完的数据色调基本无差 异,美观。遥感影像匀色后保证影像整体色彩一致性。 影像镶嵌将不同的图像文件合在一起形成一幅完整的包含感兴趣区域的图像,通 过镶嵌处理,可以获得更大范围的地面图像。参与镶嵌的图像可以是不 同时间同一传感器获取的,也可以是不同时间不同传感器获取的图像, 但同时要求镶嵌的图像之间要有一定的重叠度。 影像去云雾影像数据常常有云雾覆盖,针对有云雾覆盖的影像,可以通过后期技术 处理去除薄云雾,达到影像最佳效果。 影像纠正依据控制点,利用相应软件模块对数据进行几何精校正,这一步骤包括 利用地面控制点(GCPs)找出实际地形,计算配准中控制点的误差,利 用DEM消除地形起伏引起的位移,然后对图像进行重采样等。形成符合 某种地图投影或图形表达要求的新影像。 即插即用无使用门槛,可与各类GIS软件系统无缝衔接 第 1 页

高光谱数据处理基本流程

高光谱分辨率遥感 用很窄(10-2l)而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级,通常具有波段多的特点,光谱通道数多达数十甚至数百个以上,而且各光谱通道间往往是连续的,每个像元均可提取一条连续的光谱曲线,因此高光谱遥感又通常被称为成像光谱(ImagingSpectrometry)遥感。 高光谱遥感具有不同于传统遥感的新特点: (1)波段多——可以为每个像元提供几十、数百甚至上千个波段; (2)光谱范围窄——波段范围一般小于10nm; (3)波段连续——有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱; (4)数据量大——随着波段数的增加,数据量成指数增加; (5)信息冗余增加——由于相邻波段高度相关,冗余信息也相对增加。 优点: (1)有利于利用光谱特征分析来研究地物; (2)有利于采用各种光谱匹配模型; (3)有利于地物的精细分类与识别。 ENVI高光谱数据处理流程: 一、图像预处理 高光谱图像的预处理主要是辐射校正,辐射校正包括传感器定标和大气纠正。辐射校正一般由数据提供商完成。 二、显示图像波谱 打开高光谱数据,显示真彩色图像,绘制波谱曲线,选择需要的光谱波段进行输出。 三、波谱库 1、标准波谱库 软件自带多种标准波谱库,单击波谱名称可以显示波谱信息。 2、自定义波谱库 ENVI提供自定义波谱库功能,允许基于不同的波谱来源创建波谱库,波谱

来源包括收集任意点波谱、ASCII文件、由ASD波谱仪获取的波谱文件、感兴趣区均值、波谱破面和曲线等等。 3、波谱库交互浏览 波谱库浏览器提供很多的交互功能,包括设置波谱曲线的显示样式、添加注记、优化显示曲线等 四、端元波谱提取 端元的物理意义是指图像中具有相对固定光谱的特征地物类型,它实际上代表图像中没有发生混合的“纯点”。 端元波谱的确定有两种方式: (1)使用光谱仪在地面或实验室测量到的“参考端元”,一般从标准波谱库选择; (2)在遥感图像上得到的“图像端元”。 端元波谱获取的基本流程: (1)MNF变换 重要作用为:用于判定图像内在的维数;分离数据中的噪声;减少计算量;弥补了主成分分析在高光谱数据处理中的不足。 (2)计算纯净像元指数PPI PPI生成的结果是一副灰度的影像,DN值越大表明像元越纯。 作用及原理: 纯净像元指数法对图像中的像素点进行反复迭代,可以在多光谱或者高光谱影像中寻找最“纯”的像元。(通常基于MNF变换结果来进行)

高光谱遥感及其发展与应用综述

高光谱遥感及其发展与应用综述 摘要:高光谱遥感是20世纪80年代兴起的新型对地观测技术。文中归纳了高光谱遥感技术波段多、波段宽度窄,光谱分辨率高,数据量大、信息冗余,“图谱合一”等特点,具有近似连续的地物光谱信息、地表覆盖的识别能力极大提高、地形要素分类识别方法灵活多样、地形要素的定量或半定量分类识别成为可能等优势,简单介绍了高光谱遥感在国外及国内的发展情况。在此基础上,概述了高光谱遥感在地质矿产、植被生态、大气科学、海洋、农业等领域的应用。 关键词:高光谱遥感;发展;应用 1高光谱遥感 高光谱分辨率遥感是指利用很多很窄的电磁波波段从感兴趣的物体获取有关数据。它的基础是测谱学。测谱学早在20世纪初就被用于识别分子和原子及其结构,20世纪80年代才开始建立成像光谱学。它是在电磁波谱的紫外、可见光、近红外和中红外区域,获取许多非常窄且光谱连续的图像数据的技术。成像光谱仪为每个象元提供数十至数百个窄波段光谱信息,能产生一条完整而连续的光谱曲线。 1.1高光谱遥感的特点 (1)波段多,波段宽度窄。成像光谱仪在可见光和近红外光谱区内有数十甚至数百个波段。与传统的遥感相比,高光谱分辨率的成像光谱仪为每一个成像象元提供很窄的(一般<10nm) 成像波段,波段数与多光谱遥感相比大大增多,在可见光和近红外波段可达几十到几百个,且在某个光谱区间是连续分布的,这不只是简单的数量的增加,而是有关地物光谱空间信息量的增加。 (2)光谱响应范围广,光谱分辨率高。成像光谱仪响应的电磁波长从可见光延伸到近红外,甚至到中红外。成像光谱仪采样的间隔小,光谱分辨率达到纳米级,一般为10nm左右。精细的光谱分辨率反映了地物光谱的细微特征。 (3)可提供空间域信息和光谱域信息,即“谱像合一”,并且由成像光谱仪得到的光谱曲线可以与地面实测的同类地物光谱曲线相类比。在成像高光谱遥感中,以波长为横轴,灰度值为纵轴建立坐标系,可以使高光谱图像中的每一个像元在各通道的灰度值都能产生1 条完整、连续的光谱曲线,即所谓的“谱像合一”。(4)数据量大,信息冗余多。高光谱数据的波段众多,其数据量巨大,而且由于相邻波段的相关性高,信息冗余度增加。 (5)数据描述模型多,分析更加灵活。高光谱影像通常有三种描述模型:图像模型、光谱模型与特征模型。 1.2高光谱的优势 高光谱遥感的光谱分辨率的提高,使地物目标的属性信息探测能力有所增强。因此,较之全色和多光谱遥感,高光谱遥感有以下显著优势: (1)蕴含着近似连续的地物光谱信息。高光谱影像经过光谱反射率重建,能获取

高光谱遥感影像的光谱匹配算法研究概要

https://www.360docs.net/doc/ac4346867.html, 中国科技论文在线高光谱遥感影像的光谱匹配算法研究 蔡燕1,梅玲2作者简介:蔡燕,(1984-),女,硕士研究生,主要研究方向:高光谱遥感 通信联系人:梅玲,(1984-),女,助理工程师,主要研究方向:水文地质. E-mail: meilingcumt@https://www.360docs.net/doc/ac4346867.html, (1. 中国矿业大学环境与测绘学院,江苏徐州 221008; 2. 江苏煤炭地质勘探四队,南京 210046) 摘要:在高光谱遥感影像处理中,光谱匹配技术是高光谱地物识别的关键技术之一。本文主要围绕光谱匹配算法的研究展开,分析讨论了常用的几种光谱匹配技术的特点,根据先验知识建立了多种地物标准光谱库,并将其读入程序存储,基于Visual C++平台实现了最小距离匹配,光谱角度匹配,四值编码匹配法,最后基于混淆矩阵对分类图像进行精度比较分析并对三种编码匹配法进行比较。 关键词:高光谱;光谱匹配;最小距离匹配;光谱角度匹配;四值编码 中图分类号:TP751 The Study on the Spectral Matching Technique of hyperspectral romote sensing Cai Yan1, Mei Ling2 (1. School Of Environment Science and Spatial Informatics China University of Mining and Technology, JiangSu XuZhou 221008;

2. JiangSu Geological Prospecting Team Four, NanJing 210046 Abstract: In the hyperspectral image processing, the spectral match technique is one of key techniques to identify and classify materials in the image. This paper addresses some issues of spectral matching methods. Several algorithms are analyzed and compared, such as minimum distance matching, spectral angle mapping and quad-encoding. According to the prior knowledge, standard spectral library including typical land-cover types is built, which is stored and used for spectral matching. All of work is done in the programming environment of Visual C++. Finally, the experimental results are tested and compared when classification accuracies are computed based on confusion matrixes. Keywords:hyperspectral; spectral match; minimum distance matching; spectral angle mapping; quad-encoding 0 引言 高光谱遥感技术的发展和广泛应用是20世纪最具有标志性的科学技术成就之一,与传统的多光谱遥感技术相比,高光谱分辨率遥感的核心特点是图谱合一,即能获取目标的连续窄波段的图像数据[1]。高光谱遥感信息的分析处理集中于光谱 维上进行图像信息的展开和定量分析。 高光谱影像分类与地物识别是建立在传统的遥感图像分类算法基础之上,结合高光谱数据特点,对高光谱图像数据进行目标识别,是对遥感图像基本分类方法的扩展与延伸。高光谱遥感影像有着很高的光谱分辨率,且光谱通道连续,因此对于影像中的任一像元均能获取一条平滑而完整的光谱曲线,将其与地物波谱库中的光谱曲线进行匹配运算,实现地物识别与定量反演[2-4]。光谱匹配技术是成像光谱地物识别的关键技术之一,主要通过对地物光谱与参考光谱的匹配或地物光谱与数据库的比较,求算他们之间的相似性或差异性,突出特征谱段,有小提取光谱维信息,以便对地物特征进行详细分析[5]。本文紧紧围绕光谱匹配的算法分析了最小 距离法,光谱角度匹配法,以及四值编码法,进行精度分析与方法比较。

高光谱图像分类讲解学习

高光谱图像分类

《机器学习》课程项目报告 高光谱图像分类 ——基于CNN和ELM 学院信息工程学院 专业电子与通信工程 学号 2111603035 学生姓名曹发贤 同组学生陈惠明、陈涛 硕士导师杨志景 2016 年 11 月

一、项目意义与价值 高光谱遥感技术起源于 20 世纪 80年代初,是在多光谱遥感技术基础之上发展起来的[1]。高光谱遥感能够通过成像光谱仪在可见光、近红外、短波红外、中红外等电磁波谱范围获取近似连续的光谱曲线,将表征地物几何位置关系的空间信息与表征地物属性特征的光谱信息有机地融合在了一起,使得提取地物的细节信息成为可能。随着新型成像光谱仪的光谱分辨率的提高,人们对相关地物的光谱属性特征的了解也不断深入,许多隐藏在狭窄光谱范围内的地物特性逐渐被人们所发现,这些因素大大加速了遥感技术的发展,使高光谱遥感成为21 世纪遥感技术领域重要的研究方向之一。 在将高光谱数据应用于各领域之前,必须进行必要的数据处理。常用的数据处理技术方法包括:数据降维、目标检测、变化检测等。其中,分类是遥感数据处理中比较重要的环节,分类结果不但直接提取了影像数据有效信息,可以直接运用于实际需求中,同时也是实现各种应用的前提,为后续应用提供有用的数据信息和技术支持,如为目标检测提供先验信息、为解混合提供端元信息等。 相对于多光谱遥感而言,由于高光谱遥感的波谱覆盖范围较宽,因此我们可以根据需要选择特定的波段来突显地物特征,从而能够精确地处理地物的光谱信[2]。目前,许多国家开展大量的科研项目对高光谱遥感进行研究,研制出许多不同类型的成像光谱仪。高光谱遥感正逐步从地面遥感发展到航空遥感和航天遥感,并在地图绘制、资源勘探、农作物监测、精细农业、海洋环境监测等领域发挥重要的作用。高光谱遥感技术虽然是遥感领域的新技术,但是高光谱图像的分类一直制约着高光谱遥感的应用[3,4],因此对其进行研究显得尤为重要。 高光谱遥感图像较高的光谱分辨率给传统的图像分类识别算法提出严峻的挑战。波段维数的增加不仅加重了数据的存储与传输的负担,同时也加剧了数据处理过程的复杂性,并且由于波段与波段间存在着大量的冗余信息,从而使得传统图像分类算法并不适用于高光谱遥感图像的分类。传统

HyMap成像光谱仪系统和高光谱数据应用

HyMap成像光谱仪系统及其应用 1.HyMap成像光谱仪系统简介 HyMap机载成像光谱仪是由澳大利亚集成光电公司(ISPL)研制生产的,投入商业性运营的机载成像光谱仪。经过近5年的发展,它已成为技术较为完善、系统较为配套的新一代使用型航空高光谱成像仪的代表。HyMap于1997年开始应用于商业勘探领域,尤其在地质勘探领域特别是矿物填图方面得到了广泛应用。为了推进成像光谱技术在我国地质找矿中的应用,中国地质调查局于2002年通过租用澳大利亚机载成像光谱仪的方式,开展了新疆东天山地区航空成像光谱飞行、数据获取、数据处理,以及应用研究工作,为澳大利亚机载成像光谱仪引进和成像光谱技术推广应用奠定了基础。并于2012年通过天津中科遥感信息技术有限公司,与澳大利亚集成光电公司(ISPL)签订了HyMap的购买合同。 图1 HyMap成像光谱仪及其获取的影像 2.HyMap成像光谱仪系统的主要组成 HyMap成像光谱仪系统主要有硬件和软件系统组成,其中硬件系统包括: HyMap-C主机,由4个探测器组织,每个探测器有32个通道;以及备用探测器 集成稳定平台(GSM3000) POS(IMU/DGPS)系统 主机和稳定平台之间的PAV30的适配环 定标设备 电子部件和备用电子设备

控制部件、数据传输与存储等部件、存储介质(SSD硬盘) 软件系统包括: 飞行管理系统 数据预处理及几何校正软件 无缝拼接软件 大气校正,光谱重建和矿物提取软件 3.HyMap成像光谱仪的成像模式 HyMap的分光器件为色散型成像光谱仪,其扫描方式为光机旋转式。 光栅色散型成像光谱仪其原理为:入射狭缝位于准直系统的前焦面上,入射的辐射经准直光学系统准直后,经棱镜和光栅狭缝色散后由成像光谱系统将光能按波长顺序成像在探测器的不同位置上。具有一个成45°斜面的扫描镜,在电机的带动下进行360°旋转,其旋转水平轴与遥感平台前进方向平行。 线阵列探测器用于探测任一瞬时视场内目标点的光谱分布。扫描镜的作用对目标表面进行横向扫描,一般空间的第二维扫描(纵向或帧方向扫描)由飞机运动产生。 图2. HyMap成像光谱仪的成像方式 图3. HyMap矿物影像

高维复杂数据的子空间挖掘方法研究

2017年度广东省科学技术奖项目公示 项目名称高维复杂数据的子空间挖掘方法研究 主要完成单位单位1: 哈尔滨工业大学深圳研究生院单位2: 无 单位3: 无 主要完成人(职称、完成单位、工作单位)1. 叶允明 职称:教授 工作单位:哈尔滨工业大学深圳研究生院 完成单位:哈尔滨工业大学深圳研究生院 主要贡献:提出本项目的关键学术思想和研究思路,全面规划组织并研究了本项目的研究内容,对项目四个主要创新点均做出了贡献: (1)提出了属性加权的子空间聚类方法,有效解决了高维数据的聚类问题。 (2)提出了基于分层子空间抽样的随机森林方法,减小了泛化误差界,提升了高维数据的分类性能。 (3)揭示了聚类问题中多模态子空间的规律,为关系型高维数据的子空间分类奠定了基础。 (4)建立了多模态子空间数据分类的关键技术,为解决复杂关系型数据的分类奠定了基础。 应用贡献:将项目成果应用于深圳出入境检验检疫局“智慧口岸”建设中的信息自动获取与智能信息服务、深圳市地税局、中油瑞飞信息技术有限公司等单位的互联网信息获取与挖掘服务等。

2. 李旭涛 职称:副教授 工作单位:哈尔滨工业大学深圳研究生院 完成单位:哈尔滨工业大学深圳研究生院 主要贡献:对本项目的主要创新点(1)(2)和(3)做出了贡献: (1)提出了层次子空间聚类算法,有效解决了高维数据的多粒度子空间聚类问题。 (2)揭示了分层抽样子空间的规律,分析了其基本特性,明确了分层抽样随机森林算法的适用范围。 (3)提出了基于张量积的马尔科夫链,并基于其建立了多模态聚类模型,有效解决了复杂关系型数据的聚类问题;提出了基于全变分约束张量分解的聚类算法,解决高维多模态数据的子空间聚类问题。 3. 张海军 职称:副教授 工作单位:哈尔滨工业大学深圳研究生院 完成单位:哈尔滨工业大学深圳研究生院 主要贡献:对本项目的主要创新点(1)和(4)做出了贡献:(1)揭示了判别信息在高维数据子空间聚类中的作用,提出了结合簇内紧致性和簇间分离性的聚类优化目标函数。 (4)提出了面向多模态文本数据的子空间分析算法,通过多维度浅层语义分析提升了子空间分类的性能;揭示了高维多类标数据的层次特性,为了其分类模型的建立奠定了基础。 4. 吴庆耀

卫星遥感数据处理规范流程

北京揽宇方圆信息技术有限公司遥感卫星影像图像数据处理介绍 北京揽宇方圆信息技术有限公司是国内的领先遥感卫星数据机构,而且是整合全球的遥感卫星数据资源,分发不同性能、技术应用上可以互补的多种卫星影像,包括光学、雷达卫星影像、历史遥感影像等各种卫星数据服务,各种专业应用目的的图像处理、解译、顾问服务以及基于卫星影像的各种解决方案等。遥感卫星影像数据贯穿中国1960年至今的所有卫星影像数据,是中国遥感卫星数据资源最多的专业遥感卫星数据服务机构,提供多尺度、多分辨率、全覆盖的遥感卫星影像数据服务,最大限度的保证了遥感影像数据获取的及时性和完整性。 优势: 1:北京揽宇方圆国内老牌卫星数据公司,经营时间久,行业口碑相传,1800个行业用户选择的实力见证。 2:北京揽宇方圆遥感数据购买专人数据查询一对一服务,数据查询网址是卫星公司网。 3:北京揽宇方圆拥有大型正版遥感处理软件,遥感数据处理工程师有10年以上遥感处理工作经验,并有国家大型项目工作经验自主卫星数据处理软件著作权,最大限度保持遥感卫星影像处理的真实度。

4:北京揽宇方圆国家高新技术企业,通过ISO900认证的国际质量管理操作体系,无论是遥感卫星品质和遥感数据处理质量,都能得到保障。 5:影像数据官方渠道:所有的卫星数据都是卫星公司授权的原始数据,全球公众数据查询网址公开查询,影像数据质量一目了然,数据反应客观公正实事求是,数据处理技术团队国标规范操作,提供的是行业优质的专业化服务。 6:签定正规合同:影像数据服务付款前,买卖双方须签订服务合同,提供合同相应的正规发票,发票国家税网可以详细查询,有增值税普通发票和增值税专用发票两种发票类型可供选择。以最有效的法律手段来保障您的权益。 7:对公帐号转款:合同约定的对公帐号,与合同主体名发票上面的帐号名称一致,是由工商行政管理部门核准的公司银行账户,所有交易记录均能查询,保障资金安全。 8:售后服务:完善的售后服务体制,全国热线,登陆官网客服服务同步。 技术能力说明 北京揽宇方圆拥有大型正版遥感处理软件,遥感数据处理工程师有10年以上遥感处理工作经验,并有国家大型项目工作经验自主卫星数据处理软件著作权,最大限度保持遥感卫星影像处理的真实度。 一.图像预处理 1.降噪处理 由于传感器的因素,一些获取的遥感图像中,会出现周期性的噪声,我们必须对其进行消除或减弱方可使用。 (1)除周期性噪声和尖锐性噪声 周期性噪声一般重叠在原图像上,成为周期性的干涉图形,具有不同的幅度、频率、和相位。它形成一系列的尖峰或者亮斑,代表在某些空间频率位置最为突出。一般可以用带通或者槽形滤波的方法来消除。 消除尖峰噪声,特别是与扫描方向不平行的,一般用傅立叶变换进行滤波处理的方法比较方便。

高光谱遥感

(一)高光谱遥感基本概念 1、高光谱遥感特点 波段特点:波段多、波段宽度窄、不断连续数据量特点:数据量大、数据冗余增加2、波谱空间与光谱空间 光谱特征空间:以波段为维度的空间,波段增加会导致光谱空间维度增加。 波普特征空间:不同波段影像所构成的测度空间。 3、高光谱数据图谱合一的特点 高光谱数据同时反映地物的空间特征(图)和光谱特征(谱)。 (二)成像光谱仪 1、成像光谱仪的空间成像方式和光谱成像方式的含义 空间成像方式:从影像二维空间形成角度考察成像光谱仪的工作方式。 光谱成像方式:从光谱维数据形成的角度考察成像光谱仪的工作方式。 2、成像光谱仪的瞬时视场角(IFOV)仪器视场角(FOV) 瞬时视场角:以毫弧度为计量单位,所对应的地面大小被称为地面分辨单元。 仪器视场角:仪器扫描镜在空中扫过的角度,与系统平台高度决定了地面扫描幅宽。 摆扫型:单个像元凝视时间短,进一步提升光谱分辨率和信噪比较困难。 推扫型:凝视时间长,分辨率高,仪器体积小(无光机),视场角小(30°)定标量大不稳定。3、成像光谱仪的三种定标方式 共性:出于同一目的,特定情况下都是不可缺少的。 差异:处于不同阶段,考虑因素不同,入瞳辐射值获取方式不同 (实验室定标:有实验室测得,原始定标,准确度高,后续定标基础) (机上星上定标:综合性定标,对前一项进行的修正,机上星上测得考虑搬运安装操作影响)(场地定标:入轨后实际运行情况,大面积均匀地表做参照,考虑大气传输,多通道大范围) 场地定标的常用方法:反射基法(气溶胶参数)、辐照度基法(过程)、辐亮度基法(人力)机上定标一般使用内定标法,星上定标受制于体积一般进行辐射定标(人造辐射源/太阳) 光谱定标:确定成像光谱仪增益系数和偏置量之前,必须通过光谱定标,获得成像光谱仪每个波段的中心波长和带宽。 辐射定标:确定成像光谱仪在该波长小输入辐射能与输出响应关系(增益系数和偏置量)4、空间分辨率和光谱分辨率 光谱分辨率:指探测器波长方向上的记录宽度,又称波段宽度(50%) 空间分辨率:由仪器瞬时视场角决定,地面分辨单元。 分光系统分出的色散光源再汇集到探测器上,成像光谱仪获得图像有光谱与空间分辨率。

利用SVM_CRF进行高光谱遥感数据分类

第36卷第3期2011年3月武汉大学学报 信息科学版 Geo matics and Info rmat ion Science of W uhan U niver sity V ol.36N o.3M ar ch 2011 收稿日期:2011 01 27。 项目来源:国家自然科学基金资助项目(40901234);中国科学院知识创新工程青年人才领域前沿项目专项资助项目 (O8S01100CX)。 文章编号:1671 8860(2011)03 0306 05文献标志码:A 利用SVM CRF 进行高光谱遥感数据分类 李祖传 1,2 马建文1 张 睿 2,3 李利伟 1 (1 中国科学院对地观测与数字地球科学中心,北京市中关村北一条9号,100190) (2 中国科学院研究生院,北京市玉泉路甲19号,100049)(3 中国科学院遥感应用研究所,北京市大屯路甲20号,100101) 摘 要:提出了一种改进的随机场模型SV M CRF ,它以支持向量机作为条件随机场的一阶势能项,结合了支持向量机和条件随机场的优点。采用A V IRIS 高光谱遥感数据进行实验,对SV M CRF 模型进行了分析,结果表明,在分类精度上SV M CRF 优于支持向量机和传统条件随机场模型。关键词:支持向量机;条件随机场;高光谱数据中图法分类号:P237.4;T P753 高光谱遥感数据包含丰富的光谱信息,能够对目标进行精细分类。传统的基于像元的高光谱遥感数据分类方法,如支持向量机(support v ec tor machine,SVM )[1],假定数据是独立同分布的[2,3]。但是,遥感数据,特别是高光谱遥感数据,在类别和观测数据上存在很强的相关性,即所谓的上下文信息,不满足独立同分布的假设[4,5] 。同时,如果能有效利用这些上下文信息,可以有效地提高分类精度。 马尔柯夫随机场(Markov random fields,MRF)是传统的描述上下文信息的概率模型,它认为类别的分布满足Gibbs 分布 [6] 。但是,基于 计算可行性考虑,M RF 假定观测数据是条件独立的。对于遥感数据而言,相邻像素之间的观测数据并不独立,存在很强的相关性,特别是高光谱遥感数据。因此,对于遥感数据而言,MRF 条件独立的假设太强。为了解决这个问题,一种新的概率模型 条件随机场(conditio nal random fields,CRF)得到了越来越多的关注[7 10] 。CRF 是一种判别式概率模型,直接把后验概率建模为Gibbs 分布,放宽了M RF 的条件。但是,传统CRF 模型定义的简单一阶势能项(特征的简单线性组合),不适合高光谱遥感数据分类。首先,由于高光谱数据维度很高而且样本有限,因此,传统 CRF 模型对!维度灾难?问题敏感。此外,高光谱遥感数据特征空间极其复杂,一般线性不可分,通过简单的一阶势能项不能得到理想分类结果[11]。针对这些问题,本文提出了一种改进的适用于高光谱遥感数据分类的随机场模型 支持向量机条件随机场(support v ector m achine co nditional random field,SVM CRF)。 1 S VM C RF SVM 是一种基于结构风险最小的小样本统计学习方法,非常适合于高光谱遥感数据分类。因此,SVM CRF 采用SVM 作为一阶势能项,采用CRF 的方法描述上下文信息。因此,SVM CRF 结合了SVM 和CRF 的优点。根据CRF 的定义,SVM CRF 的定义为: P (y |x )=1Z exp { #i ?S SP i (y i ,x i )+ #i ?S #j ? i I ij (y i ,y j ,x ,v)} (1) 式中,SP i (y i ,x i )表示点i 只考虑当前观测值的后验概率。 SVM 是一种判别式分类器,最终的输出结果不带后验概率。但是,可以通过组合所有的二类

相关文档
最新文档