高光谱图像融合算法研究与进展
总第271期 舰船电子工程Vol. 37 No. 1 2017年第 1 期 Ship Electronic Engineering 27
高光谱图像融合算法研究与进展$
张筱晗杨桄杨永波黄俊华
(空军航空大学长春130022)
摘要高光谱图像融合是改善其图像质量的重要途径。将高光谱图像融合分为高光谱自身波段间的融合及其与高 空间分辨率的其他遥感图像如全色图像等融合两大类。从分析高光谱图像融合特点人手，回顾了近年来出现的融合算法, 阐述了其基本原理，进行了归纳、分类，指出各自的优缺点，并总结了现行高光谱图像融合算法的评价方法。最后，探讨了高 光谱图像融合下一步的研究方向。
关键词高光谱；图像融合；融合算法评价
中图分类号TP751 DOI：10. 3969/j. issa 1672-9730. 2017. 01. 007
Research Progress of Hyperspectral Image Fusion Algorithms
ZHANG Xiaohan YANG Guang YANG Yongbo HUANG Junhua
(Aviation University of Air Force, Changchun 130022)
Abstract Hyperspectral images share rich spectral information while it also has the problem of data redundancy and low spatial resolution Image fusion is an effective way to improve its quality. According to the resource images of fusion, hyperspectral fusion can be classified into fusion among bands of hyperspectral data and fusion with images having higher spa-tial resolution such as panchromatic image. In this paper, main fusion methods of hyperspectral image are reviewed. The basic theory of those algorithms is analyzed and their advantages and disadvantages are also discussed. Besides, current fu-sion algorithm evaluation including indexes and methods is also summarized. At last, the direction of future research of this field is given.
Key Words hyperspectral imagery, image fusion, fusion algorithm evaluation
Class Number TP751
i引言
高光谱遥感能够获取地物丰富的光谱信息，在 目标检测、精细分类、人工解译等领域有着广阔的 应用前景[1]。然而，高光谱又存在严重的数据冗余 问题，其信息量与波段数目并不成正比;此外，由于 传感器能量有限，高光谱分辨率的获取往往以牺牲 空间分辨率为代价，图像通常存在空间分辨率较低 的问题。图像融合是提升高光谱图像质量的重要 方法。高光谱图像融合与通常意义下的多源遥感 图像融合有着细微的区别，除了参与融合的图像数 *量通常多于两幅，融合可能与数据降维联系在一起 外，融合的结果也随需求不同而呈现出多种形式，既可能是汇集了多幅图像细节特征的灰度或合成 彩色图像，又可能是空间分辨率得到提升的高光谱图像。
根据融合源图像类型不同，高光谱图像融合可 以分为高光谱图像波段间融合与高光谱图像与他 源图像融合两大类。高光谱图像波段间融合，是指 对高光谱图像去除冗余、合并互补信息到单一图 像[2]的过程。而高光谱与他源图像融合，包括高空 间分辨率的全色图像、多光谱图像以及SAR图像
*收稿日期=2016年7月11日，修回日期=2016年8月28日
基金项目：吉林省科技发展计划资助项目（编号：20140101213JC);吉林省教育厅“十二五”科研项目（编号：2015448) 资助。
作者简介:张筱晗，女，硕士，研究方向:高光谱遥感、图像解译。杨桄，男，博士后，教授，研究方向：遥感图像解译、地 理信息系统。
图像融合算法概述
图像融合算法概述 摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言： 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论
高光谱图像分类
《机器学习》课程项目报告 高光谱图像分类 ——基于CNN和ELM 学院信息工程学院 专业电子与通信工程 学号 35 学生姓名曹发贤 同组学生陈惠明、陈涛 硕士导师杨志景 2016 年 11 月
一、项目意义与价值 高光谱遥感技术起源于 20 世纪 80年代初，是在多光谱遥感技术基础之上发展起来的[1]。高光谱遥感能够通过成像光谱仪在可见光、近红外、短波红外、中红外等电磁波谱范围获取近似连续的光谱曲线，将表征地物几何位置关系的空间信息与表征地物属性特征的光谱信息有机地融合在了一起，使得提取地物的细节信息成为可能。随着新型成像光谱仪的光谱分辨率的提高，人们对相关地物的光谱属性特征的了解也不断深入，许多隐藏在狭窄光谱范围内的地物特性逐渐被人们所发现，这些因素大大加速了遥感技术的发展，使高光谱遥感成为 21 世纪遥感技术领域重要的研究方向之一。 在将高光谱数据应用于各领域之前，必须进行必要的数据处理。常用的数据处理技术方法包括：数据降维、目标检测、变化检测等。其中，分类是遥感数据处理中比较重要的环节，分类结果不但直接提取了影像数据有效信息，可以直接运用于实际需求中，同时也是实现各种应用的前提，为后续应用提供有用的数据信息和技术支持，如为目标检测提供先验信息、为解混合提供端元信息等。 相对于多光谱遥感而言，由于高光谱遥感的波谱覆盖范围较宽，因此我们可以根据需要选择特定的波段来突显地物特征，从而能够精确地处理地物的光谱信[2]。目前，许多国家开展大量的科研项目对高光谱遥感进行研究，研制出许多不同类型的成像光谱仪。高光谱遥感正逐步从地面遥感发展到航空遥感和航天遥感，并在地图绘制、资源勘探、农作物监测、精细农业、海洋环境监测等领域发挥重要的作用。
基于小波变换的图像融合算法研究
摘要 本文给出了一种基于小波变换的图像融合方法，并针对小波分解的不同频率域，分别讨论了选择高频系数和低频系数的原则。高频系数反映了图像的细节，其选择规则决定了融合图像对原图像细节的保留程度。本文在选择高频系数时，基于绝对值最大的原则，低频系数反映了图像的轮廓，低频系数的选择决定了融合图像的视觉效果，对融合图像质量的好坏起到非常重要的作用。图像融合是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。 MATLAB小波分析工具箱提供了小波分析函数，应用MATLAB进行图像融合仿真，通过突出轮廓部分和弱化细节部分进行融合，使融合后的图象具有了两幅或多幅图象的特征，更符合人或者机器的视觉特性，有利于对图像进行进一步的分析和理解，有利于图像中目标的检测和识别或跟踪。 关键词小波变换；融合规则；图像融合
Image Fusion Algorithm Based on Wavelet Transform Abstract In this paper, the image fusion method based on wavelet transform, and for the wavelet decomposition of the frequency domain, respectively, discussed the principles of select high-frequency coefficients and low frequency coefficients. The high-frequency coefficients reflect the details of the image, the selection rules to determine the extent of any reservations of the fused image on the original image detail. The choice of high-frequency coefficients, based on the principle of maximum absolute value, and consistency verification results. The low-frequency coefficients reflect the contours of the image, the choice of the low frequency coefficients determine the visual effect of the fused image, play a very important role in the fused image quality is good or bad. MATLAB Wavelet Analysis Toolbox provides a wavelet analysis function using MATLAB image fusion simulation, highlight the contours of parts and the weakening of the details section, fusion, image fusion has the characteristics of two or multiple images, more people or the visual characteristics of the machine, the image for further analysis and understanding, detection and identification or tracking of the target image. Keywords Wavelet transform; Fusion rule; Image Fusion
三种图像融合方法实际操作与分析
摘要：介绍了遥感影像三种常用的图像融合方式。进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。 关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE 1. 引言 由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。[1] 在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。[2] 此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多
光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。 2. 源文件 1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。 2 、imagery-5m.tif ，SPOT图像，分辨率5米。 3. 软件选择 在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。[3] ERDAS IMAGINE是美国Leica公司开发的遥感图像处理系统。它以其先进的图像处理技术，友好、灵活的用户界面和操作方式，面向广阔应用领域的产品模块，服务于不同层次用户的模型开发工具以及高度的RS/GIS（遥感图像处理和地理信息系统）集成功能，为遥感及相关应用领域的用户提供了内容丰富而功能强大的图像处理工具。 2012年5月1日，鹰图发布最新版本的ERDAS IMAGINE，所有ERDAS 2011软件用户都可以从官方网站上下载最新版本 ERDAS IMAGINE 11.0.5. 新版本包括之前2011服务包的一些改变。相比之前的版本，新版本增加了更多ERDAS IMAGINE和GeoMedia之间的在线联接、提供了更为丰富的图像和GIS产品。用户使用一个单一的产品，就可以轻易地把两个产品结合起来构建一个更大、更清
数字图像处理(matlab版)第八章 图像融合算法
第八章图像融合算法 8.1 图像融合技术的发展过程 随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。如今，图像融合方法已经运用于社会的很多领域，像遥感卫星图像，光图像，红外图像，医学图像，尤其是多传感器图像融合应用以来，它已成为计算机视觉，目标识别，机器人以及军事等方面研究的重要方面。
8.2基于小波变换图像融合的基本原理 如果一个图像进行L 层小波分解，我们将得到（3L ＋1）层子带，其中包括低频的基带和层的高频子带。用代表源图像，记为，设尺度系数和小波函数对应的滤波器系数矩阵分别为，则二维小波分解算法可描述为： j C 3L ,h v d D D D 和(,)f x y 0C ()x Φ()x ΨH G 与11 1 j h j j v j j d j j C HC H D GC H D HC G D GC G +++′ =??′=??′=??′=?j+1(0,1, (1) j J =?（8-1）
小波重构算法为： 基于二维DWT 的融合过程如图1.1所示，ImageA 和 ImageB 代表两幅源图像A 和B ，ImageF 代表融合后的图像，具体步骤如下：（1）图像的预处理： 1h v d j j j j j C H C H G D H H D G G D G ?′′′′=+++(,1, (1) j J J =?（8-2） 图8.1 基于DWT 图像融合过程
①图像滤波 ②图像配准 （2）对ImageA和ImageB进行二维DWT分解，得到图像的低频和高频分量。 （3）根据低频和高频分量的特点，按照各自的融合算法进行融合。 （4）对以上得到的高低频分量，经过小波逆变换重构得到融合图像ImageF。 8.3 融合效果性能评价指标 8.3.1均值和标准差
浅谈多源图像融合方法研究
浅谈多源图像融合方法研究 图像融合已成为图像理解和计算机视觉领域中的一项重要而有用的新技术，多源遥感图像数据融合更是成为遥感领域的研究热点，其目的是将来自多信息源的图像数据加以智能化合成，产生比单一传感器数据更精确、更可靠的描述和判决，使融合图像更符合人和机器的视觉特性，更有利于诸如目标检测与识别等进一步的图像理解与分析。遥感图像融合的目的就在于集成或整合多个源图像中的冗余信息和互补信息，利用优势互补的数据来提高图像的信息可用程度，同时增加对研究对象解译（辨识）的可靠性。 标签：遥感图像图像融合几何纠正空间配准图像去噪 1前言 多源遥感图像融合就是将多个传感器获得的同一场景的遥感图像或同一传感器在不同时刻获得的同一场景的遥感图像数据或图像序列数据进行空间和时间配准，然后采用一定的算法将各图像数据或序列数据中所含的信息优势互补性的有机结合起来产生新图像数据或场景解释的技术。 2多源图像融合的预处理 预处理的主要目的是纠正原始图像中的几何与辐射变形，即通过对图像获取过程中产生的变形、扭曲和噪音的纠正，以得到一个尽可能在几何和辐射上真实的图像。 2.1图像的几何纠正 图像几何校正一般包括两个方面，一是图像像素空间位置互换，另一个是像素灰度值的内插。故遥感图像几何校正分为两步，第一步是做空间几何变换，这样做的目的是使像素落在正确的位置上；第二步是作像素灰度值内插，重新确定新像素的灰度值，重采样的方法有最临近法、双线性内插法和三次卷积内插法。数字图像几何校正的主要处理过程如图1所示。 2.2图像的空间配准 图像数据配准定义为对从不同传感器、不同时相、不同角度所获得的两幅或多幅影像進行最佳匹配的处理过程。其中的一幅影像是参考影像数据，其它图像则作为输入影像与参考影像进行相关匹配。图像配准的一般过程是在对多传感器数据经过严密的几何纠正处理、改正了系统误差之后，将影像投影到同一地面坐标系统上，然后在各传感器影像上选取少量的控制点，通过特征点的自动选取或是计算其各自间的相似性、配准点的粗略位置估计、配准点的精确确定以及配准变换参数估计等的处理，从而实现影像的精确配准。
基于MATLAB的图像融合算法
基于MATLAB的图像融合算法
基于MATLAB的图像融合算法 摘要 图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。 图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。 本论文的主要的研究内容有： 首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的 图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。 关键词：图像配准；图像融合；空域融合法；小波变换；评价标准
MATLAB-based image fusion algorithm Abstract The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources. Image fusion consists of such three levels as the Pixel level，the feature level and the decision level，among which the Pixel level image fusion can Provide more abundant, accurate and reliable detailed information tha t doesn’t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows: First we introduce the concepts，advantages，developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyze the performances of this discussion. Keywords: Image Registration；Image Fusion；Airspace integration method；Wavelet Transform；Evaluation criteria
高光谱图像分类讲解学习
高光谱图像分类
《机器学习》课程项目报告 高光谱图像分类 ——基于CNN和ELM 学院信息工程学院 专业电子与通信工程 学号 2111603035 学生姓名曹发贤 同组学生陈惠明、陈涛 硕士导师杨志景 2016 年 11 月
一、项目意义与价值 高光谱遥感技术起源于 20 世纪 80年代初，是在多光谱遥感技术基础之上发展起来的[1]。高光谱遥感能够通过成像光谱仪在可见光、近红外、短波红外、中红外等电磁波谱范围获取近似连续的光谱曲线，将表征地物几何位置关系的空间信息与表征地物属性特征的光谱信息有机地融合在了一起，使得提取地物的细节信息成为可能。随着新型成像光谱仪的光谱分辨率的提高，人们对相关地物的光谱属性特征的了解也不断深入，许多隐藏在狭窄光谱范围内的地物特性逐渐被人们所发现，这些因素大大加速了遥感技术的发展，使高光谱遥感成为21 世纪遥感技术领域重要的研究方向之一。 在将高光谱数据应用于各领域之前，必须进行必要的数据处理。常用的数据处理技术方法包括：数据降维、目标检测、变化检测等。其中，分类是遥感数据处理中比较重要的环节，分类结果不但直接提取了影像数据有效信息，可以直接运用于实际需求中，同时也是实现各种应用的前提，为后续应用提供有用的数据信息和技术支持，如为目标检测提供先验信息、为解混合提供端元信息等。 相对于多光谱遥感而言，由于高光谱遥感的波谱覆盖范围较宽，因此我们可以根据需要选择特定的波段来突显地物特征，从而能够精确地处理地物的光谱信[2]。目前，许多国家开展大量的科研项目对高光谱遥感进行研究，研制出许多不同类型的成像光谱仪。高光谱遥感正逐步从地面遥感发展到航空遥感和航天遥感，并在地图绘制、资源勘探、农作物监测、精细农业、海洋环境监测等领域发挥重要的作用。高光谱遥感技术虽然是遥感领域的新技术，但是高光谱图像的分类一直制约着高光谱遥感的应用[3,4]，因此对其进行研究显得尤为重要。 高光谱遥感图像较高的光谱分辨率给传统的图像分类识别算法提出严峻的挑战。波段维数的增加不仅加重了数据的存储与传输的负担，同时也加剧了数据处理过程的复杂性，并且由于波段与波段间存在着大量的冗余信息，从而使得传统图像分类算法并不适用于高光谱遥感图像的分类。传统
图像融合的方法研究
东北大学 研究生考试试卷 考试科目：现代信号处理理论和方法______________ 课程编号：_______________________________ 阅卷人：_________________________________ 考试日期：_________ 2011年11月24日________________ 姓名：________________ 朱学欢 _______________________ 学号：____________ 1101139 ___________________ 注意事项 〔?考前研究生将上述项目填写清楚 2?字迹要清楚，保持卷面清洁 3?交卷时请将本试卷和题签一起上交 东北大学研究生院
基于MATLAB的图像融合方法 姓名：朱学欢学号：1101139 一、图像融合算法 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。 数字图像融合是图像分析的一项重要技术，其目的是将两幅或多幅图像拼接起来构成一副整体图像，以便于统一处理，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然Photoshop等图像处理软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单挑乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。Matlab具有强 大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台，可让用户把精力集中在算法而不是编程上，从而能大大提咼研究效率。 在图像融合中，参加融合的源图像是由不同的传感器或者是同一传感器在不同时刻得到的，所以在进行融合之前需要对图像进行配准和一些预处理操作。在本实验中所提到的参加融合的图像都是经过了配准了的，图像融合的过程可以发生在信息描述的不同层。 聚九左边杵范It (b) 寓M用僱竝舍技倉遵胯于勲钟机 (?) AW CT图倬ex詹M阳图偉側玄乌b的*售丼髭 圈1-5图俅融令校*摩匿単上的庭周 1、图像融合算法的层次分类 图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级。 信号级融合： 是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。
基于极大后验概率估计的高光谱图像融合算法研究
基于极大后验概率估计的高光谱图像融合算法研究 【摘要】本文研究了基于PCA和极大后验估计的高光谱图像融合算法。该算法首先挖掘影像内在的观测模型，建立极大后验估计的目标函数。针对高光谱影像数据量大的特点，通过简化观测模型获得参数估计。融合实验结果表明，基于极大后验估计的高光谱影像融合算法不仅理论严密，而且图像融合效果较其他的增强方法的效果好。 【关键词】高光谱图像融合；极大后验概率（MAP）；随机解混模型；主成分变换（PCA） 1.引言 随着航空航天遥感技术的发展，高光谱遥感技术已经广泛应用于矿物探测、环境调查及军事侦察等诸多领域。但是高光谱较低的空间分辨率给数据处理如目标检测与识别、混合像素解译、精准匹配等技术带来了巨大的困难，所以提高高光谱图像的空间分辨率有很大的研究价值和意义。针对高光谱图像融合，人们已经研究了多种融合方法，包括主成分替换方法、小波变换方法，最小二乘估计方法，统计方法等。这些融合方法主要是将高分辨率影像信息替换高光谱影像的某部分信息，而高光谱其他部分的信息并未得到增强[1][2]。 近期Estiman等人提出运用极大后验估计（MAP）方法，在高分辨率全色影像的支持下实现高光谱影像分辨率的增强。通过全色影像和原始高光谱影像间关系的挖掘，实现了高光谱影像空间整体信息的增强，避免了在传统方法下影像只得到部分信息增强的缺点。下面主要介绍MAP估计的观测模型，随后分析了MAP目标函数，并根据高光谱影像的数据特性，分别给出了基于MAP的显示MAP估计和隐式MAP估计，最后通过实验数据进行验证[3]。 2.观测模型建立 假设有某一地区的高光谱影像和全色影像，高光谱影像的空间分辨率较全色影像的空间分辨率是较低的。全色影像可以表示为一维向量，N为全色影像的像素总数。同样低分辨率的高光谱图像也可以表示为一维向量，其中yj是一个有K个元素矢量，表示在空间位置j的K个波段的信息，M是高光谱图像的空间像素总数。我们期望的分辨率增强的高光谱图像表示为： ，其中zi是一个有K个元素矢量，N是分辨率增强的高光谱图像的像素总数[4]。 于是根据文献[5]，x、y、z之间的关系为： 其中S为光谱响应矩阵，H为空间响应矩阵，H每一行对应低分辨率全色图像的点扩散函数。其中是一个空间独立均值为0标准差为的正态分布随机过程。
基于MATLAB的图像融合算法
基于MATLAB的图像融合算法 摘要 图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。 图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。 本论文的主要的研究内容有： 首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。 关键词：图像配准；图像融合；空域融合法；小波变换；评价标准
MATLAB-based image fusion algorithm Abstract The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources. Image fusion consists of such three levels as the Pixel level，the feature level and the decision level，among which the Pixel level image fusion can Provide more abundant, accurate and reliable detailed information that doesn’t exist o n the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows: First we introduce the concepts，advantages，developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyze the performances of this discussion. Keywords: Image Registration；Image Fusion；Airspace integration method；Wavelet Transform；Evaluation criteria
像素级图像融合方法研究与应用
像素级图像融合方法研究与应用 随着图像传感器技术的发展,多传感器图像融合已成为图像理解、计算机视觉以及遥感领域中的一个研究热点,并广泛应用于自动目标识别、智能机器人、遥感、医学图像处理和制造业等领域。像素级多传感器图像融合获取的原始信息量最多、检测性能最好、应用范围最广,是各级图像融合的基础。 本论文结合有关国家自然科学基金、航天技术创新基金等课题要求,针对像素级多传感器图像融合方法和应用进行了深入研究。主要工作可总结为以下几个方面: 多传感器图像配准是进行像素级多传感器图像融合的前提,其误差大小直接影响融合结果的有效性。 对图像配准方法进行了综述,分析了各种方法的适用性、优点和不足之处。在此基础上,针对目前研究中存在的问题,提出了一种基于Harris 角点特征的 图像自动配准方法。 该方法首先提取参考图像和待配准图像的Harris 角点特征点集,然后通过角点邻域相关匹配和马氏距离仿射变换不变性实现角点的匹配,从而完成图像的配准。实验结果表明该算法在保持高配准精度的同时有较高的执行速度,能够实现有大旋转角度、平移以及灰度差条件下不同传感器或波段的图像自动配准。 传统的基于小波变换的图像融合方法存在移变问题。针对此问题,提出了一种具有平移不变性基于离散小波框架的多传感器图像融合方法。 提出了低频基于改进的邻域熵、高频基于跨尺度的邻域空间频率的融合策略,有效地抽取了变换域各尺度、方向上的显著特征,并将它们融合在一起。大量的实验验证了该方法的有效性。 为了进一步满足图像融合对连续方向的要求,在研究了可操纵方向金字塔变
换的原理和性质的基础上,提出了另一种具有平移不变性基于可操纵方向金字塔变换的多传感器图像融合方法。该方法利用可操纵方向金字塔变换良好的方向控制能力和平移不变性,有效地捕获了源图像的方向信息,提高了融合图像的直觉可视性,获得较基于离散小波框架方法质量更高的融合图像。 提出了一种基于双树复小波变换的多传感器图像融合方法。该方法在保持近似的平移不变性和良好的方向分析能力的同时,只引入有限的数据冗余,在获得较高质量融合图像的同时,进一步降低了算法复杂度,减少了计算量和对。
图像融合算法的分析与比较
摘要：图像拼接技术一直是计算机视觉、图像处理和计算机图形学的热点研究方向。图像融合算法是图像拼接过程中非常重要的一个步骤，本文介绍了几种常用图像融合算法，并且结合实验对它们的进行了分析和比较。 关键词：图像融合；图像拼接 一、引言图像拼接(image stitching)技术是由于摄像设备的视角限制，不可能一次拍出很大图片而产生的。图像拼接技术可以解决由于相机等成像仪器的视角和大小的局限，不可能一次拍出很大图片而产生的问题。它利用计算机进行自动匹配，合成一幅宽角度图片，因而在实际使用中具有很广泛的用途，同时对它的研究也推动了图像处理有关的算法研究。图1 图像拼接流程图图像拼接技术的基本流程如图1-1所示，首先获取待拼接的图像，然后是图像配准和图像融合，最终得到拼接图。图像拼接技术主要包括两个关键环节，即图像配准和图像融合。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息后寻找图像间的变换模型，然后由待拼接图像经变换模型向参考图像进行对齐，变换后图像的坐标将不再是整数，这就涉及到重采样与插值的技术。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像进行匹配。图像融合的任务就是把配准后的两幅图像根据对准的位置合并为一幅图像。由于两幅相邻图像之间存在重叠区域，因此，采用配准算法可以实现图像的对齐。然而图像拼接的目的是要得到一幅无缝的拼接图像[1]。所谓无缝，就是说在图像拼接结果中，不应该看到两幅图像在拼接过程中留下的痕迹，即不能出现图像拼接缝隙。由于进行拼接的两幅图像并不是在同一时刻采集的，因此，它们不可避免地会受到各种不定因素的影响。由于这些无法控制的因素的存在，如果在图像整合过程结束之后，只是根据该过程中所得到的两幅相邻图像之间的重叠区域信息，将两幅图像简单的叠加起来，那么，在它们的结合部位必然会产生清晰的拼接缝隙，这也就达不到图像拼接所要求的无缝的要求。如何处理图像整合过程中无法解决的拼接缝隙问题，实现真正意义上的无缝拼接，正是图像融合过程中所要解决的问题。对于重叠部分，如果只是简单的取第一幅图像或第二幅图像的数据进行叠加，会造成图像的模糊和拼接的痕迹，这是不能容忍的。图像融合就是要消除图像光强或色彩的不连续性。它的主要思想是让图像在拼接处的光强平滑过渡以消除光强的突变。二、常见的图像融合算法 1、平均值法令，，分别表示第一幅图像、第二幅图像和融合图像在点处的像素值，则融合图像中各点的像素值按式(4-1)确定。 (1) 式(4-1)中，表示第一幅图像中未与第二幅图像重叠的图像区域，表示第一幅图像与第二幅图像重叠的图像区域，表示第二幅图像中未与第一幅图像重叠的图像区域。取两幅图像的平均值的算法速度很快，但效果一般不能令人满意，在融合部分有明显的带状感觉，用眼睛能够观察出区别。本文以左图像所在的坐标系为参考坐标空间，将右图像经过变换矩阵向参考图坐标进行映射，由于双线性插值法在计算效率和精度方面可以达到一个很好的平衡，因此在变换过程中本文采用双线性插值。然后采用平均值法对图像重叠区进行融合，得到图2(a)和图2(b)。从图中可以看出由于采用本文的配准方法拼接出来的图像在拼接点处结合得很好，但是由于重叠区域采用了简单的平均值法来进行融合，有明显的拼缝。 (a) 校园广场图片（b）足球场图片图2 采用平均值法来对图像进行融合 2、重叠区线性过渡为了消除重叠区的拼缝问题，目前采用较多的是重叠区线性过渡的方法. 实现的具体方法是假设重叠区域宽度为l。取过渡因子是（）。两幅图像重叠区的x轴和y轴最大和最小值分别为、和、，则过渡因子，重叠区的像
ENVI下的图像融合方法 高保真融合 高光谱融合
ENVI下的图像融合方法高保真融合高光谱融合 (2011-07-27 08:33:41) 转载▼ 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ? HSV变换 ? ? Brovey变换 ? 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中 和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ? Gram-Schmidt ? ? 主成分（PC）变换 ? ? color normalized (CN)变换 ? ? Pan sharpening ? 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，； Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。