信息融合技术在图像融合中的应用

信息融合技术在图像融合中的应用

摘要：图像信息融合能够以软件手段把对同一目标或场景的不同图像,综合成对同一目标或场景的全面、准确的描述,它在医学、遥感、军事等领域有着较为广泛的应用。良好的图像融合方法能够为后续的计算机自动化处理奠定坚实的基础。本文介绍了图像融合的概念和层次划分，并重点分析了图像融合中所用到的信息融合方法。

关键词：信息融合，图像融合

1．引言

军事、医学、自然资源勘探、海洋资源管理、环境和土地利用管理、地形地貌分析、生物学等的应用需求有力地刺激了图像处理和图像融合技术的发展。医学上,图像融合技术被用来诊疗和制定手术方案。商业和情报部门用图像融合技术来对旧照片、录像带进行恢复、转换等处理。随着遥感技术的发展,获取遥感数据的手段越来越丰富,各种传感器获得的影像数据在同一地区形成影像金字塔,图像融合技术实现多源数据的优势互补,为提高这些数据的利用效益提供了有效的途径。星载遥感用于地图绘制、多光谱、高光谱分析、数据的可视化处理、数字地球建设等,图像融合是必不可少的技术手段。

2.图像融合的概念

图像融合技术是一种先进的综合多个源图像信息的图像处理技术。所谓多源图像融合是对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理,以获取对同一场景的更为准确、更为全面、更为可靠的图像描述。图像是二维信号,图像融合技术是

多源信息融合技术的一个重要分支,因此,图像融合与多传感器信息融合具有共同的优点。通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果,使系统变得更加实用。同时,使系统具有良好的鲁棒性,例如,可以增加置信度、减少模糊性、改善分类性能等。

目前,将图像融合技术应用于数字图像处理的主要目的有以下几种:

(1)增加图像中有用信息的含量,改善图像的清晰度,增强在单一传感器图像中无法看见/看清的某些特性;

(2)改善图像的空间分辨率,增加光谱信息的含量,为改善检测/分类/理解/识别性能获取补充的图像信息;

(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况;

(4)通过融合多个二维图像产生具有立体视觉的三维图像,可用于三维重建或立体摄影、测量等;

(5)利用来自其它传感器的图像来替代/弥补某一传感器图像中的丢失/故障信息。

3.图像融合层次划分

作为信息融合的一种,图像融合是对多个场景信息的综合,其目的就是通过对各个场景信息的提取,从而获得对同一场景更为准确、更为全面、更为可靠的图像描述。一般来说,图像融合可以在以下3个层次上进行[3]:

像素级——像素级融合是在获取的图像信息上进行融合,它能够

保留较多信息,提高融合精度,然而由于处理的信息量大,融合效率较低,实时性较差,同时像素级融合要求待融合图像经过精确配准,否则融合结果容易出现较大误差;

特征级——特征级融合的过程中,首先需要对图像数据进行特征提取,然后依据提取的特征信息对数据采用特征级融合算法进行综合分析和处理;这一过程中,信息量能够极大地得以压缩,因此有利于实时处理,同时融合结果最大限度地给出决策分析所需的信息;

决策级——决策级融合作为最高水平的融合,融合的结果为指挥、控制、决策提供依据,因此融合结果直接影响着决策水平,决策级融合能够在某些数据源丢失的情况给出决策,所以具有容错性,此外,与前两个层次相比,决策级融合实时性好、数据要求低、分析能力强,然而对预处理及特征提取有较高要求,所以决策级融合的代价较高。

通常,3级融合可以搭配使用以达到较好的融合效果。图像融合过程如图1所示。

图1.图像融合过程

4．图像融合方法分类

自1979年Daily 将简单的图像融合方法用于对遥感图像的地质解释[4]以来,融合技术发展迅速,方法日渐丰富。这些方法针对的融合图像包括多聚焦图像、多层次曝光图像、多谱段图像、多光谱图像与全色图像等。针对不同的图像,可以采用特殊的方法进行融合,而有些应用面较广的方法则能够同时用于几类图像的融合,下文将介绍图像融合领域所常用的一些技术方法。

4.1代数方法

代数方法是常见的一类最容易让人理解的图像融合方法,它对参与融合的图像不做任何变换,只进行一些选择和加权处理,其中最具代表性的有均值融合和基于Brovey 变换[5]方法。

均值融合简单地将待融合图像进行代数相加,而后获取的均值图像就是对应的融合结果。它能够提升图像中原本模糊区域的图像质量,但是相应地原本的清晰区域也会变得相对模糊。这种方法常用于多尺度分解后近似图像的融合策略。

Brovey 变换则是针对多光谱图像和全色图像的一种融合方法,它保留光谱图像数据信息并将信息向高分辨率图像对应的灰度信息靠拢。Brovey 变换的表达式为:

其中，old R ,old G ,old B 表示拉伸后多光谱图像各通道内像素,P 表示

全色图像中像素, new R ,new G ,new B 表示融合后图像各通道内像素。

简单、实时性强是这些代数融合方法的共同优点,甚至在某些特定场合它们会取得较好的融合效果,但是它们很容易使得融合图像的信噪比降低,不利于后续的计算机处理过程,对于机器视觉等需要自动识别的场合并不合适。

4.2成分替代方法

成分替代法,顾名思义是用某一成分替代原数据中的成分,这类方法常用于多光谱与全色图像的融合,获取具有高光谱分辨率和高空间分辨率的图像。其融合过程为:首先以某种变换提取出多光谱图像中与空间分辨率相关的成分,然后以高分辨率全色图像替代该成分,再经过反变换得到融合后的图像。在替代的过程中,必须尽可能保证全色图像与提取出的成分相似,否则在变换后极易造成光谱信息的丢失,常常采用直方图匹配调节图像的均值与方差从而避免这一问题。这类变换中常见的是IHS变换[7]、PCA变换[6、8]、GS变换[9]。

IHS是Intensity-Hue-Saturation的简称,它所代表的色彩空间由空间信息(灰度Intensity)和光谱信息(色度Hue和饱和度Saturation)构成[1]。在成分替代法中使用IHS变换时,首先将RGB 图像做IHS变换,将图像的光谱信息与灰度信息进行剥离,然后用高分辨率图像替代灰度成分,最后逆变换得到融合后的图像[5]。如今,IHS变换成为了图像分析中用于实现高相关数据色彩增强,特征增强[4],提高空间分辨率[7,9]的有效手段。

PCA方法具有广泛的应用范围,如人脸识别、数据压缩、图像去噪等,在图像融合中的应用则使用了其提取主成分的能力。在替代的

过程中,将全色图像替代由多光谱图像中提取的第一主成分,同样直方图匹配也是其中的一个必要过程。研究表明,PCA融合图像通常面临的光谱失真要低于IHS变换;然而,如果多光谱图像的光谱响应中没有一部分能够与全色图像光谱响应相同,PCA变换和IHS变换的融合结果都将出现较大的光谱失真[19]。

GS变换是由Laben和Brover于1998年所提出,并已成为ENVI (The Environment for Visualizing Images )软件内图像融合的一种方法。GS变换类似于PCA变换,但是得到的是一组正交基,且相互之间信息量差异没有PCA变换那么明显,因此可以改进PCA变换后信息量过于集中的问题。其基本过程略有不同首先要获得与原全色图像大小相同的低空间分辨率全色图,而后在低分辨率的全色图像和多光谱图像上执行GS变换,最后用原全色图像替代GS变换的第一成分。同样地,替代之前也必须对图像直方图加以调整。

4.3变分方法

传统的成分替代法等基于高空间分辨率图像和多光谱图像的融合,往往遵循了一个假设,即所需的融合结果是待融合图像的线性组合。而变分融合方法是不需要基于这一线性假设的方法。最初变分方法多用于具有相同分辨率图像的融合。2006年,Ballester建立了多光谱图像与高光谱图像融合的第一个变分模型。该模型基于假设“在大部分情况下,多谱段图像中的几何信息都包含于全色图像对应的地形图内”而建立。这一假设、全色图像与多光谱图像之间的关系以及高分辨率图像的下采样卷积过程共同构建了用于演化的能量函数,能

量函数的最小值对应了待求的高分辨率多光谱图像。

4.4多尺度分解方法

多尺度分解方法是将图像分解为不同尺度的经典方法。基于多尺度分解的图像融合方法主要分为3个连续的步骤:首先将图像分解为近似图像和细节图像两部分;其次,对上述两种图像进行融合;最后重建图像。在众多的分解方法中,塔式分解方法和基于小波变换的分解受到了广泛的关注。

其中塔式分解常有拉普拉斯金字塔、比率低通金字塔、梯度金字塔、形态学金字塔等，在这些方法中,对不同尺度下图像均是以尺度2进行下采样以获取不同尺度的近似图像。金字塔的不同构造意味着其细节图像具有不同的侧重点,如比率低通金字塔注重对比度,梯度金字塔关注图像中边缘细节,形态学金字塔则以图像中结构信息为重。

由于大多数金字塔方法各分解层之间具有较大的相关性,这样就会导致融合结果不理想。小波分解时不仅能够获取不同尺度下图像,并且能够得到具有不同方向的子图,这样就能够充分反映图像的各项特征与变化;同时,小波分解过程中得到的数据无冗余性和相关性,这使得各分解层融合可以同时进行,因此其计算速度和所需存储量相对优于塔式分解,同时基于小波理论的分解方法则能够使融合效果有一定改善。

4.5统计学方法

由于高分辨率图像与多光谱图像的融合过程中,不仅需要关注空间细节信息,更需要解决光谱信息保持的问题,传统的多尺度分解方

法往往会丢失高频信息中的光谱信息,因此,统计方法常用于此类图像的融合。基于统计学理论的图像融合方法中最常用的是基于马尔可夫随机场和基于最大贝叶斯后验概率(Maximum a posteriori，MAP)的方法。

基于马尔可夫随机场的图像融合方法将图像看成二维随机场，所有源图像看成是二维随机场集，图像融合则表示成与模型参数相关的一个代价函数。然后用模拟退火法、期望值最大法等进行全局寻优，找到对应目标函数最大的模型参数，并以此参数对应的模型融合源图像，得到最终融合结果。

贝叶斯方法具有坚实的数学理论，在贝叶斯理论框架下，图像融合问题被表示为自然信号的病态反问题，同时先验知识对融合的贝叶斯估计过程进行约束，得到最优的融合结果。

基于统计学理论的图像融合中由于加入了与图像融合结果最优的期望约束和样本训练学习，这类方法一般都具有较强的适应性和可靠性，能取得较好的融合效果。然而基于统计分析图像融合方法算法往往比较复杂，不易用硬件实现。

4.6基于学习的方法

基于学习的融合方法,目前常见的是结合神经网络的各类方法。神经网络可以灵活地模拟各种非线性特征,因而也是图像融合领域的一类重要方法。人工神经网络仿效了生物神经系统处理信息的过程，它利用多层处理单元或节点组成各种互联网络结构，从而可以实现从输入数据到输出数据非线性的复杂映射关系。人工神经网络的特点使

得它很容易实现多个输入到一个输出的数据处理任务，从而使神经网络也能很好地处理图像融合问题。另外神经网络通过样本学习的方式提供一种更加智能化的数据融合方法。

Fechner等提出了一种基于神经网络的红外与可见光图像融合方法，该方法结合红外与可见光图像的特点，通过样本训练的神经网络来识别红外图像中的目标区域，并将其合并到可见光图像中去，从而可以同时保留可见光源图像的场景信息和红外源图像中的目标特征。Broussard 等人借助于PCNN实现图像融合来提高目标的识别率, 并论证了PCNN神经元的点火频率与图像灰度的关系，证实了PCNN 用于图像融合的可行性。之后许多改进的基于PCNN的图像融合算法先后被提出。

5 结论

图像融合是当前图像分析领域的一个重要课题,它有着较为广泛的应用方向,如医学研究、地图绘制、隐匿武器查验等。好的融合图像能为后续的目标识别、分类等计算机自动化处理奠定良好的基础。

作为信息融合的一个重要分支，本文分析了图像融合中所用到的信息融合方法，这些方法可分为以下6大类别，分别为基于代数方法、成分替代方法、多尺度分解方法、统计学方法、变分方法和基于学习的方法。并对这些方法的优缺点进行了分析总结。

参考文献：

[1]Pohl C, Van Genderen J L. Review article multisensor image

fusion in remote sensing:concepts, methods and applications.

International Journal of Remote Sensing,1998,19: 5, 823-854 [2]敬忠良,肖刚,李振华.图像融合——理论与应用.北京:高等教育

出版社,2007.

[3]罗晓清.多传感器图像融合理论及其应用研究.江南大学博士论

文,2010.

[4]Daily M. Hue-saturation-intensity split-spectrum

processing of SEASAT radar imagery.Photogrammetric Engineering and Remote Sensing, 1983, 49: 349-355.

[5]Chavez P S,Sides S C,Anderson J A. Comparison of three

different methods to merge multi-resolution and multi-spectral data: Landsat TM and SPOT panchromatic.Photogrammetric Engineering and Remote Sensing, 1991, 57(3): 295-303.

[6]ShettigaraVK. A generalized component substitution

technique for spatial enhancement of multispectral images using a higher resolution data set. Photogrammetric Engineering and Remote Sensing, 1992, 58(5): 561- 567.

[7]郭雷,李阵阵,鲍永生.图像融合.北京:电子工业出版社,2008.

[8]李玲玲,周成平,丁明跃等.一种基于多尺度分解的多传感器图像

融合方法.华中科技大学学报(自然科学版),2003,31(4):82-84.

[9]赵鹏,浦昭邦.基于形态学4子带分解金字塔的图像融合.光学学

报,2007,27(1):40-44.

[10]Harris J R,Murray R,Hirose T. IHS transform for the

integration of radar imagery with other remotely sensed data. Photogrammetric Engineering and Remote Sensing, 1990,56(12); 1631-1641

[11]Singh A, Harrison A. Standardized principal components.

International Journal ofRemote Sensing, 1985,6: 883-396. 注：作业见下页附录

附录：

作业：软测量与信息融合的区别与联系？

信息融合的定义：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。

信息融合的原理：就像人脑综合处理信息的过程一样，它充分地利用多个传感器资源，通过对各种传感器及其观测信息的合理支配与使用，将各种传感器在空间和时间上的互补与冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释和描述。

信息融合的目标：是基于各传感器分离观测信息，通过对信息的优化组合导出更多的有效信息。它的最终目的是利用多个传感器共同或联合操作的优势，来提高整个传感器系统的有效性。

软测量的定义：采用间接测量的思路，利用易测过程变量（辅助变量或二次变量），依据这些易测过程变量与难以直接测量的待测过程变量（主导变量）之间的数学关系（软测量模型），通过各种数学计算和估计方法，从而实现对待测过程变量的测量。

软测量技术的原理：主要由辅助变量的选择、数据采集和处理、软测量模型及在线校正四个部分组成，理论根源是基于软仪表的推断控制。推断控制的基本思想是采集过程中比较容易测量的辅助变量，通过构造推断估计器来估计并克服扰动和测量噪声对主导变量的影响。

软测量的目标：把自动控制理论与生产过程知识有机的结合起来，应用计算机技术对难以测量或者暂时不能测量的重要变量，选择另外一些容易测量的变量，通过构成某种数学关系来推断或者估计，以软件来替代硬件的功能。

数据融合和软测量的关系：它们在本质上不相同，信息融合是对多个传感器数据资源进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息，它是一种数据处理技术。而软测量是指对那些不方便测量的数据采用间接测量的思路来测量目标数据的技术，其中可能采用到数据融合技术或者数据处理技术。所以，他们是两种不同的技术，无论从目标、实现方法、应用领域、理论和定义上都有区别。