多传感器图像融合技术综述

　收稿日期:2002203217　作者简介:毛士艺(1935-),男,浙江黄岩人,教授,100083,北京.

多传感器图像融合技术综述

毛士艺 赵　巍

(北京航空航天大学电子工程系)

摘 要:对国内外多传感器图像融合技术的发展状况进行了介绍,描述了

图像融合的主要步骤,概括了目前主要图像融合方法的基本原理,并对各种方法的性能进行了定性分析.给出了评价图像融合效果的标准和方法,指出了图像融合技术的发展方向.

关　键　词:图像处理;图像合成;传感器;图像融合

中图分类号:T N 911.73文献标识码:A 文章编号:100125965(2002)0520512207

近20年,随着传感器技术和计算机计算能力的提高,多传感器图像融合技术的应用越来越广泛.在军事领域,以多传感器图像融合为核心内容的战场感知技术已成为现代战争中最具影响力的军事高科技.20世纪90年代,美国海军在SS N 2

691(孟菲斯)潜艇上安装了第1套图像融合样机,可使操纵手在最佳位置上直接观察到各传感器的全部图像[1],[2].1998年1月7日《防务系统月刊》电子版报道,美国国防部已授予BTG 公司2项合同,其中一项就是美国空军的图像融合设计合同,此系统能给司令部一级的指挥机构和网络提供比较稳定的战场图像.在遥感领域,大量遥感图像的融合为更方便、更全面地认识环境和自然资源提供了可能[3]～[5],其成果广泛应用于大地测绘、植被分类与农作物生长势态评估、天气预报、自然灾害检测等方面.1999年10月4日,由我国和巴西联合研制的“资源一号”卫星发射升空,卫星上安装了我国自行研制的CC D 相机和红外多光谱扫描仪,这两种航天遥感器之间可进行图像融合,大大扩展了卫星的遥感应用范围.在医学成像领域,CT 、MR 和PET 图像的融合提高了计算机辅助诊

断能力[6].2001年11月25日～30日在美国芝加哥召开了每年一度的RS NA 北美放射学会年会,在会议上GE 公司医疗系统部展销了其产品Dis 2covery LS.Discovery LS 是GE 公司于2001年6月

刚推出的最新PET/CT ,是世界上最好的PET 与最高档的多排螺旋CT 的一个完美结合,具有单体PET 不能比拟的优势.它可以完成能量衰减校正、

分子代谢影像(PET )与形态解剖影像(CT )的同机

图像融合,使检查时间成倍地降低.在网络安全领域,多尺度图像融合技术可将任意的图像水印添加到载体图像中,以确保信息安全[7].

在各个应用领域的需求牵引下,各国学者对多传感器图像融合技术的研究也越来越重视.在多传感器信息融合领域中,图像融合是应用最为广泛,发表文献最多的一个方向.从文献[8]可看出,在参与统计的信息融合文章中,信号层的信息融合文章占53%.同时,我们做了这样一个调查,在Ei C om pendexWeb 数据库中用“image fusion ”作为关键词,检索从1980年到2001年摘要中出现这一词组的文章数目.1980年至1984年,这方面的文章只有4篇;1995年至1999年增加到603篇;2000年和2001年两年就有299篇.从中可以看出国际学术界对图像融合技术的重视程度与日俱增.

为了使国内同行对图像融合技术有一个较为全面的了解,本文在参考国内外文献的基础上,对目前常用的图像融合技术进行了概括和评述.文章首先介绍了图像融合研究的基本内容,将图像融合的概念界定到像素级;接着描述了各种图像融合技术的基本原理,对它们的优缺点进行了定性分析,给出了评价图像融合技术的方法.

1　多传感器图像融合技术研究内容

多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像

　

2002年10月第28卷第5期北京航空航天大学学报

Journal of Beijing University of Aeronautics and Astronautics October 2002V ol.28　N o 15

或同一传感器在不同时刻获得的同一景物的图像,经过去噪、时间配准、空间配准和重采样后,再运用某种融合技术得到一幅合成图像的过程.通过对多幅传感器图像的融合,可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性,提高图像的质量[1],从而有利于对物理现象和事件进行定位、识别和解释.

根据信息表征层次的不同,多传感器信息融合可分为数据级融合、特征级融合和决策级融合.因此,有的学者将图像融合也分为3类:像素级融合、特征级融合和判决级融合[9]～[11].像素级图像融合指的是直接对各幅图像的像素点进行信息综合的过程.特征级图像融合是对图像进行特征抽取后,将边沿、形状、轮廓等信息进行综合处理的过程.而在进行判决级图像融合之前,每种传感器已独立地完成了决策或分类任务,融合工作实质上是做出全局的最优决策.特征级图像融合实际上涉及了图像分割、特征提取和特征层信息融合这几个方面的内容.判决级图像融合包含了检测、分类、识别和融合这几个过程.其中涉及融合技术的内容实际上与多传感器信息融合的特征级融合、决策级融合是一致的.因此,为了与多传感器信息融合的分类保持统一,本文所说的图像融合只代表像素级的图像融合,是数据级信息融合的一部分.

图1　图像融合的流程

一个完整的图像融合过程如图1所示,其中各种传感器的组合可见表1.在这几个步骤中,时间和空间的配准是非常重要的,其精度直接影响到图像融合算法的效果.对图像进行配准后,就可应用某一融合算法对图像的像素点进行融合.目前常用的融合算法包括:加权平均法、逻辑滤波法、多分辨塔式算法、小波变换法、卡尔曼滤波算法等.图像融合的最后一步就是对融合后的图像进行显示,通常的显示方法有3类:灰度显示、真彩色显示和假彩色显示.而有些学者将显示方法

和融合方法结合起来,在显示图像的过程中进一步完成图像的融合,得到了较好的视觉效果.为了较为全面地描述各种图像融合方法,在下一节中

我们并不特意地将融合算法和显示方法加以区分,而是放在一起加以介绍.

表1　图像传感器的组合

传感器1

传感器2效 果

T V 摄像机

红外

适用于白天或夜晚

毫米波(M MW )雷达红外

穿透力强,分辨力强红外紫外适合识别背景

多光谱图像全色图像

适合识别特征和纹理

S AR 红外

空间分辨力和谱分辨力都较高S AR

S AR

穿透力强,分辨力较高,全天候红外

红外

背景信息增加,提高了探测距离和识别能力

CCD 摄像机

红外+S AR 分辨力强,全天候

2　常用的多传感器图像融合技术

目前常用的图像融合技术有:加权平均法、逻辑滤波法、彩色空间法、多分辨塔式算法、小波变换法、卡尔曼滤波算法、模拟退火法和假彩色法.2.1　加权平均法

加权平均法是一种最简单的多幅图像融合方法,也就是对多幅原图像的对应像素点进行加权处理.设A (i ,j )为图像A 中的一个像素点,B (i ,

j )为图像B 中与之对应的像素点,则融合图像中

的像素点可通过下式得到:

C (i ,j )=w A (i ,j )A (i ,j )+w B (i ,j )B (i ,j )

w A (i ,j )+w B (i ,j )=1

权值如何选择是加权平均法中的关键问题.基于局部区域对比度的权值选择法利用人眼对对比度非常敏感这一事实,从两幅原图像中选择对比度最大的像素点作为合成图像的像素点[12],也就是说对比度大的像素点权值为1,否则为0.基于对比度的权值选择技术对噪声非常敏感,这是因为图像中的噪声具有很高的对比度,这样合成图像中将包含很强的噪声.于是Burt 提出了平均和选择相结合的方法[13],即用1个匹配矩阵来表示两幅图像的相似程度.当两幅图像很相似时,合成图像就采用两幅图的平均值,也就是权值分别为0.5和0.5;当两幅图像差异很大时,就选择最显著的那一幅图像,此时的权值为0和1,这样就可以抑制噪声.

上面的权值选择方法基本上都是基于人眼的视觉特征,而没有考虑到实际应用中的目标特征.Lallier 利用军事应用中的目标特征提出了一种自

3

15第5期 毛士艺等:多传感器图像融合技术综述

适应的权值选择方法,所产生的融合算法计算量较少,适于实时处理,而且稳定性非常好[14].

加权平均法的优点是简单直观,适合实时处理.但简单的叠加会使合成图像的信噪比降低;当融合图像的灰度差异很大时,就会出现明显的拼接痕迹[11],不利于人眼识别和后续的目标识别过程.

2.2　逻辑滤波方法

另一种将2个像素数据合成为1个像素的直观方法就是对它们进行逻辑运算[9],例如:当2个像素的值都大于某一阈值时,“与”滤波器输出为“1”(为“真”).图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分.同样地,“或”逻辑操作可以十分可靠地分割一幅图像.

2.3　彩色空间变换法

彩色空间变换法利用彩色空间RG B(红、绿、蓝)模型和HIS(色调、明度和饱和度)模型各自在显示与定量计算方面的优势,将图像的RG B模型转换成HIS模型.在HIS空间,对3个相互独立且具有明确物理意义的分量I,H,S进行运算,也就是进行多幅图像的融合,再将融合结果反变换回RG B空间进行显示[15],[16].当融合低分辨的多光谱图像和高分辨的全色图像时,彩色空间变换法会使谱分辨率降低.若将小波变换和彩色空间变换法结合起来就既可保留空间信息又可保留谱信息[16].

2.4　模拟退火方法

在图像处理应用中,模拟退火方法是把像素值和它的邻域看成一种原子或分子在物理系统中所处的状态,用一个能量函数来描述这个系统,并确定其G ibbs分布[9].利用模拟退火方法进行多传感器图像融合的关键在于:找到一个能量函数能充分描述融合结果的各种恰当的约束条件.

2.5　多分辨塔式图像融合方法

多分辨塔式图像融合算法是现在较为常用的图像融合方法.在这类算法中,原图像不断地被滤波,形成一个塔状结构.在塔的每一层都用一种融合算法对这一层的数据进行融合,从而得到一个合成的塔式结构.然后对合成的塔式结构进行重构,得到合成图像[12].按照塔式结构形成方法的不同,多分辨塔式图像融合算法可分为高斯2拉普拉斯金字塔[17]、梯度金字塔、比率低通金字塔[18]～[20]、形态学金字塔[21].

一幅图像和高斯核函数卷积后,再进行下采样,就得到图像在较粗分辨率上的逼近,这时图像的分辨率只有原图的一半.对原图像反复执行这个操作,就得到高斯金字塔.在高斯金字塔中,求两层图像之间的差异可得到带通滤波图像,这就是拉普拉斯金字塔.拉普拉斯金字塔实质上是基于局部亮度差异的分解结构.如果原始图像有N2个像素点,则拉普拉斯金字塔中的总数据量为4N2/3.这说明拉普拉斯金字塔中不同分辨率的细节信息彼此相关.当要融合的多传感器图像差别很大时,这种相关性就容易引起算法的不稳定.而基于正交小波变换的多分辨融合算法就可克服这个缺点.

在标准的拉普拉斯金字塔中,两幅原始图像的分辨率之比必须是2的整数倍,不能解决分辨率之比为任意值的图像融合问题.为了克服这一缺点,B.Aiazzi将拉普拉斯金字塔进行了扩展,可解决分辨率之比为p/q(p,q为整数)的图像融合问题[22]～[24].

比率低通金字塔非常类似于拉普拉斯金字塔,但它并不是求高斯金字塔中各级之间的差值,而是求高斯金字塔中各级之间的比率.比率低通金字塔是基于局部亮度对比度的分解结构,它比拉普拉斯金字塔更适合人眼的视觉机理.

梯度金字塔实际上是4种塔的一种合成.高斯金字塔中每一层的图像和梯度滤波器进行卷积运算,就可得到梯度金字塔.梯度金字塔反映了图像在水平、竖直、2个对角线,共4个方向上的变化.

连续地增加形态学滤波器中结构元素的尺寸或者连续地减少图像的尺寸时,图像中越来越大的细节将被滤除掉,这样就得到了多分辨形态学金字塔.多分辨形态学金字塔重点研究的是图像的几何结构.

图像的这种多分辨塔式表征将图像分解到一系列的频率通道中,减少了融合图像时的拼接痕迹.

2.6　基于小波变换的图像融合方法

人眼视觉的生理和心理实验表明:图像的小波多分辨分解与人眼视觉的多通道分解规律一致.同时,小波多通道模型也揭示了图像内在的统计特性.所以现在许多学者都热衷于以小波多分辨分解作为工具,开发基于小波变换的多传感器图像融合技术.

基于小波变换的图像融合,就是对原始图像进行小波变换,将其分解在不同频段的不同特征域上,然后在不同的特征域内进行融合,构成新的

415北京航空航天大学学报 2002年

小波金字塔结构,再用小波逆变换得到合成图像的过程[25]～[28].根据分解形式的不同又可分为金字塔形小波融合技术[29]和树状小波融合技术[30].金字塔形小波分解是利用正交小波变换对原图像进行正交小波分解,得到表示低频信息、水平方向变化信息、垂直方向变化信息和对角方向变化信息的4个子图像,再将低频子图像进一步分解成4个子图像.树状小波分解与传统的金字塔形小波分解的不同之处在于它不仅仅将低频信息进行分解,而是根据图像的特征,按子带图像的能量自适应地对各个子带信息进行分解.

小波变换的多分辨结构可解决图像灰度特性不同给图像融合带来的困难.正交小波变换去除了两相邻尺度上图像信息差的相关性,所以基于小波变换的图像融合技术能克服拉普拉斯金字塔的不稳定性.在小波分解过程中,由于图像的数据量不变,同时各层的融合可并行进行,所以其计算速度和所需的存贮量都要优于拉普拉斯金字塔.

在小波变换图像融合方法的基础上,Nikolov 提出了一种多尺度边缘图像融合方法[31].文献[32]指出图像可由其多尺度边缘表示重构.利用这一事实,可在不同尺度上计算出小波系数梯度幅值的局部最大值,从而得到图像的多尺度边界点.图像在最粗尺度上的轮廓以及在各个尺度上的边界点构成了图像的多尺度边缘表示.在每个分辨级上,就可以不融合所有的小波系数,只融合图像的多尺度边缘表示.

2.7　基于卡尔曼滤波的图像融合方法

如果把2幅图像上的对应像素点当作是2个传感器在时刻1和时刻2的测量值,就可用卡尔曼滤波给出以统计方法得到的最优融合结果[9].卡尔曼滤波方法实际上一种加权处理,权值的选择在最小方差意义下是最优的.

将卡尔曼滤波推广到多尺度空间,就可以得到多尺度卡尔曼滤波图像融合算法.1990年12月在第29届IEEE控制与决策会议上,MIT的A.S. Willsky教授、法国数学家A.Benvensite和B.R. Nikoukhah首先提出了多尺度系统理论[33].他们利用小波逆变换中尺度与时间的相似性,将卡尔曼滤波和Rauch2Tung2Striebel平滑算法推广到多尺度状态空间,给出了一维信号的多尺度估计与融合算法[34]～[36].意大利的G.Sim one等人将这一算法推广到二维图像处理,用于多分辨率S AR 图像的融合[37],[38].在文献[37]中,作者将分辨率不同的4幅图像对应于4个不同尺度上的测量,基于这4个测量对事物的状态进行估计,也就是得到最小方差意义下的最优融合图像.

2.8　假彩色图像融合方法

在灰度图像中,人眼只能同时区分出由黑到白的十多种到二十多种不同的灰度级,而人眼对彩色的分辨率可达到几百种甚至上千种.基于人眼视觉的这一特征,可以将图像中的黑白灰度级变成不同的彩色,以便提取更多的信息.

A.T oet和Jan Walraven将假彩色技术用于热成像图像和电视图像的融合中,其基本思想是用色差来增强图像的细节信息[39].例如,对于2幅图像,先找出其共同部分;再从每幅原图像中分别减去共同部分,得到每幅图像的独有部分;最后,为了增强图像的细节信息,用两幅图像分别减去另一幅图像的独有部分,并将所得的结果送入不同的颜色通道进行显示,从而得到假彩色融合图像.

前面介绍的基于灰度图像的融合技术中,当各幅原图像的灰度特性差异很大时,融合图像就会出现拼接痕迹.而T oet提出的假彩色图像融合算法正是利用原始图像中的灰度差形成色差,从而达到增强图像可识别性的目的.但是,用假彩色图像融合算法得到的融合图像反映的并不是事物的真实色彩,所以融合图像的色彩不是很自然.

图2　假彩色多传感器图像融合算法结构

另一种假彩色图像融合算法是MIT的A.M. Waxman等人提出的[40],[41],这种算法利用了较为准确的人眼彩色视觉模型,即人眼视觉感受野的中心2周边型模型、彩色视觉的单颉颃和双颉颃模型[42]～[47].图2给出了算法融合S AR、可见光、红外3种模式的图像时的结构图.首先,用一个ON 中心/OFF周边的非线性图像处理算子对3幅图像进行增强;接着再用相同的算子对不同频带间的图像进行对比增强,分离出不同图像的互补信

515

第5期 毛士艺等:多传感器图像融合技术综述

息;最后的处理结果被送到YI Q彩色空间,再映射到RG B空间进行显示.其中的Y代表亮度,I代表红绿对比,Q代表蓝黄对比.这种算法的结构非常灵活,适用性广泛,可根据图像传感器的模式和数目对算法结构进行调整.针对假彩色合成图像色彩不自然这一情况,作者对融合后的颜色进行了重新映射,取得了很好的视觉效果[48]～[52].算法的另一个优点是可进行实时处理.经实验证明,A.M.Waxman的算法在性能上比A.T oet的算法要好[53],[54],提高了目标识别的准确率.

由于从彩色融合图像可获得比灰度融合图像更多的信息,所以本课题组在进行图像融合工作时将重点放在假彩色图像融合算法上,试图找到一种将灰度图像融合技术和彩色融合技术相结合的方法,现已取得了初步的结果.

3　多传感器图像融合技术评价方法在实际应用中,如何评价图像融合算法的性能是一个非常复杂的问题.衡量融合图像的效果时,应遵循以下原则:

1)合成图像应包含各原图像中所有的有用信息;

2)合成图像中不应引入人为的虚假信息,否则会妨碍人眼识别或后续的目标识别过程;

3)在时空校准等前期处理效果不理想时,算法还应保持其可靠性和稳定性.另外,可靠和稳定还包含这样的含义,无论在什么气候条件下算法的性能都不会有太大的变化;

4)算法应将原始图像中的噪声降到最低程度;

5)在某些应用场合中应考虑到算法的实时性,可进行在线处理.

到目前为止,评价图像融合算法性能的方法可分为2类,即主观的评价方法和客观的评价方法.

主观评价方法就是依靠人眼对融合图像效果进行主观判断的方法.例如,找一些测试者,让他们对用不同融合方法得到的融合图像中的特定目标进行识别,测量出识别时间并统计出识别的正确率,从而判断图像融合方法性能的优劣.主观评价方法简单方便,在一些特定应用中十分可行.比如说,在美国国防部高级研究计划局资助的先进夜视系统开发计划中,研究者就是用主观评价方法来比较两种假彩色图像融合方法的好坏[53],[54].由于这套系统是用来提高飞行员的夜视能力,所以主观评价法不失为一种最佳的选择.但是,在人为评价融合方法的过程中,会有很多主观因素影响评价结果,这就需要给出客观的评价方法.

对一幅图像来说,最重要的视觉信息就是边缘信息,所以可以通过计算从原图像到融合图像中边缘信息的变化量,来确定原图像感知信息在融合图像中的保留程度,从而评价融合方法的性能[55],[56].对于原图像A和B中的每个像素点可计算出其梯度相对融合图像F的相对强度G A F, G B F和角度变化θA F,θB F,梯度的相对强度和角度变化可转化为原图像的边缘信息在融合图像中的保留值Q A F,Q B F.根据两幅图像中边缘信息的重要性,对Q A F,Q B F进行加权平均得到性能评估矩阵Q AB/F

P

.由性能评估矩阵就可衡量原始图像的感知信息在融合图像中的保留程度.

另外,还可以用交叉熵对融合图像的融合效果进行分析评价[57].交叉熵是评价两幅图像差异的关键指标,对原始图像和融合图像求交叉熵,即可得到融合图像与原始图像的差异.交叉熵反映了融合方法从原始图像中提取信息量的多少. 4　结束语

学术界在图像融合领域已取得了很大的成绩,图像融合方法也各种各样.但是,总的来说图像融合技术的研究还刚刚开始,有许多问题急需解决.首先,图像融合技术缺乏理论指导.虽然关于图像融合技术的公开报道很多,但每篇文章都是针对一个具体的应用问题,对图像融合技术还没有一个统一的理论框架.建立图像融合的理论框架是目前的一个发展方向.由于图像的特殊性,在设计图像融合算法时一定要考虑到计算速度和所需的存贮量,如何得到实时、可靠、稳定、实用的融合算法和硬件电路是目前研究的一个热点.另外,建立客观的图像融合技术评价标准也是急需解决的问题.

参　考　文　献

[1]郁文贤,雍少为,郭桂蓉.多传感器信息融合技术述评[J].

国防科技大学学报,1994,16(3):1～11.

[2]王泽和.九十年代美海军潜艇传感器融合系统[J].现代军

事,1992,7:74～77.

[3]Bhogal A S,G oodenough D G,Dyk A,et al.Extraction of forest

attribute in formation using multisens or data fusion techniques:A case

615北京航空航天大学学报 2002年

study for a test site on Vancouver island,British C olumbia[A].In: IEEE Pacific RIM C on ference on C ommunications,C om puters,and S ignal Processing[C],2001.674～680.

[4]Liu Q J,T akeuchi N.Vegetation inventory of a tem perate biosphere

reserve in China by image fusion of Landsat T M and SPOT HRV[J].

Journal of F orest Research,2001,6(3):139～146.

[5]陈　东,李　飚,沈振康.S AR与可见光图像融合算法的研

究[J].系统工程与电子技术,2000,22(9):5～7.

[6]K ropas2Hughes C V.Image fusion using autoass ociative2heteroass o2

ciative neural netw orks[D].US A:Air University,1999.

[7]朱晓松,茅耀斌,戴跃伟,等.一种基于H VS的小波水印方

案[J].南京理工大学学报,2001,25(3):262～268.

[8]Valet L,M auris G,Bolon Ph.A statistical overview of recent litera2

ture in in formation fusion[J].IEEE AESS Systems M agazine,2001, 16(3):7～14.

[9]蒋晓瑜.基于小波变换和伪彩色方法的多重图像融合算法研

究[D].北京:北京理工大学光电工程系,1997.

[10]胡江华,柏连发,张保民.像素级多传感器图像融合技术

[J].南京理工大学学报,1996,20(5):453～456.

[11]张加友,王江安.红外图像融合[J].光电子?激光,2000,11

(5):537～539.

[12]M eek T R.Multires olution image fusion of thematic mapper imagery

with synthetic aperture radar imagery[D].US A:Utah S tate Uni2 versity,1999.

[13]Burt P J,K olczynski R J.Enhanced image capture through fusion

[A].In:IEEE4th International C on f on C om puter Vision[C],

1993,4.173～182.

[14]Lallier E,Farooq M.A real time pixel2level based image fusion via

adaptive weight averaging[A].In:Proceedings of the3rd Interna2 tional C on ference on In formation Fusion[C],2000,2.3～13. [15]金　红,刘榴娣.彩色空间变换法在图像融合中的应用

[J].光学技术,1997(4):44～48.

[16]Nú n ez J,Otazu X,F ors O,et al.Multires olution2based image fu2

sion with additive wavelet decom position[J].IEEE T ransaction on

G eoscience and Rem ote Sensing,1999,37(3):1204～1211.

[17]Burt P J,Adels on E H.The Laplacian pyramid as a com pact image

code[J].IEEE T ransactions on C ommunications,1983,COM231

(4):532～540.

[18]T oet A.Multiscale contrast enhancement with applications to image

fusion[J].Optical Engineering,1992,31(5):1026～1031. [19]T oet A,Ruyven L J,Valeton J M.M erging thermal and visual im2

ages by a contrast pyramid[J].Optical Engineering,1989,28

(7):789～792.

[20]蒲　恬,倪国强.应用于图像融合中的多尺度对比调制法

[J].北京理工大学学报,2000,20(2):119～223.

[21]T oet A.A m orphological pyramid image decom position[J].Pattern

Recognition Letters,1989,9(4):255～261.

[22]Aiazzi B,Alparone L,Barducci A,et al.Multispectral fusion of

multisens or image data by the generalized Laplacian pyramid[A].

In:IEEE International G eoscience and Rem ote Sensing Sym posium

[C],1999,2.1183～1185.

[23]Aiazzi B,Alparone L,Argenti F.Multisens or image fusion by fre2

quency spectrum substitution:subband and multirate approaches for

a3:5scale ratio case[A].In:IEEE International G eoscience and Rem ote Sensing Sym posium[C],2000,6.2629～2631.

[24]Argenti F,Alparone L.Filterbanks design for multisens or datafu2

sion[J].IEEE S ignal Processing Letters,2000,7(5):100～103.

[25]刘贵喜,杨万海.一种像素级多算子红外与可见光图像融

合方法[J].红外与毫米波学报,2001,20(3):207～210. [26]Wu X iuqing,Zhou R ong,Xu Y unxiang.A method of wavelet2

based edge detection with data fusion for mutiple images[A].In: Proceedings of the3rd W orld C ongress on Intelligent C ontrol and Automation[C],2000.2691～2694.

[27]陈　勇,皮德富,周士源,等.基于小波变换的红外图像融

合技术研究[J].红外与激光工程,2001,30(1):15～17. [28]杨　火亘,杨万海,裴继红.基于小波分解的不同聚焦点图

像融合方法[J].电子学报,2001,29(6):846～848.

[29]崔岩梅,倪国强,王　毅,等.一种基于小波变换的多尺度

多算子图像融合方法[J].光学技术,1999(4):37～39. [30]李树涛,王耀南.基于树状小波分解的多传感器图像融合

[J].红外与毫米波学报,2001,20(3):119～222.

[31]Nikolov S G,Bull D R,Canagarajah C N.22D image fusion by

multiscale edge graph combination[A].In:Proc of the3rd Inter2 national C on ference on In formation Fusion[C],2000,1.16～22.

[32]M allat S,Zhang S.Characterization of signal from multiscale edges

[J].IEEE T ransactions on Pattern Analysis and M achine Intelli2 gence,1992,14(7):710～732.

[33]Nikoukhah B R,W illsky A S.Multiscale system theory[A].In:

Proc29th IEEE C on ference on Decision and C ontrol[C],1990.

2484～2487.

[34]Chou K,W illsky A S,Benveniste A.Multiscale recursive estima2

tion,data fusion and regularization[J].IEEE T rans on Automatic

C ontrol,1994,39(3):464～478.

[35]Basseville M,Benveniste A,Chou K,et al.M odeling and estima2

tion of multires olution stochastic process[J].IEEE T rans on In for2 mation Theory,1992,38(2):766～784.

[36]H o T T.Multiscale m odeling and estimation of large2scale dynamic

systems[D].Cambridge:M assachusetts Institute of T echnology, 1998.

[37]S im one G,M orabito F C,Farina A.Radar image fusion by multi2

scale K alman filtering[A].In:Proc of the3rd International C on2 ference on In formation Fusion[C],2000,2.10～17.

[38]S im one G,M orabito F C,Farina A.Multifrequency and multires o2

lution fusion of S AR images for rem ote sensing applications[A].

In:Proc of the4th International C on ference on In formation Fusion

[C],2001.

[39]T oet A,W alraven J.New false color mapping for image fusion[J].

Optical engineering,1996,35(3):650～658.

[40]Fay D A,W axman A M,Verly J G,et al.Fusion of visible,in2

frared and3D LADAR imagery[A].In:Proc of the4th Interna2 tional C on ference on In formation Fusion[C],2001.

[41]W axman A M,Laz ott C,Fay D A,et al.Neural processing of

S AR imagery for enhanced target detection[A].In:Proc of SPIE on Alg orithms for Synthetic Aperture Radar ImageryⅡ[C],1995, 2487.201～210.

[42]W axman A M,G ove A,Seibert M C,et al.Progress on color

715

第5期 毛士艺等:多传感器图像融合技术综述

night vision:visible/IR fusion,perception and search,and low2 light CCD images[A].In:Proc of SPIE C on f on Enhanced and Synthetic Vision[C],1996,2736.96～107.

[43]Fay D A,W axman A M,Ireland D B,et al.Fusion of multi2sen2

s or imagery for night vision:color visualization,target learning and search[A].In:Proc of the3rd International C on ference on In for2 mation Fusion[C],2000,1.3～10.

[44]Fay D A,W axman A M,Aguilar M,et al.Fusion of22/32/42

sens or imagery for visualization,target learning and search[A].

In:Proc of SPIE on Enhanced and Synthetic Vision[C],2000, 4023.106～115.

[45]W axman A M,Fay D A,G ove A,et al.C olor night vision:fusion

of intensified visible and thermal IR imagery[A].In:Proc of SPIE on Synthetic Vision for Vehicle G uidance and C ontrol[C],1995, 2463.58～68.

[46]W axman A M,Sav oye E D,Fay D A,et al.E lectronic imaging

aids for night driving:low2light CCD,uncooled thermal IR,and color fused visible/LWIR[A].In:Proc of SPIE on T ransportation Sens ors and C ontrols:C ollsion Av oidance T raffic M anagement and ITS[C],1997,2902.62～73.

[47]S treilein W,W axman A M,R oss W,et al.Fused multi2sens or

image mining for feature foundation data[A].In:Proc of the3rd International C on ference on In formation Fusion[C],2000,1.18～

25.

[48]Aguilar M,Fay D A,Ireland D B,et al.Field evaluations of du2

al2band fusion for color night vision[A].In:Pro of SPIE C on f on Enhanced and Synthetic Vision[C],1999,3691.168～175. [49]R oss W D,W axman A M,S treilein W,et al.Multi2sens or3D im2

age fusion and interactive search[A].In:Proc of the3rd Interna2

tional C on ference on In formation Fusion[C],2000,1.10～17. [50]W axman A M,Verly J,Fay D A,et al.A prototype system for3D

color fusion and mining of multisens or/spectral imagery[A].In: Proce of the4th International C on ference on In formation Fusion

[C],2001.

[51]Aguilar M,Fay D A,R oss W D,et al.Real2time fusion of low2

light CCD and uncooled IR imagery for color night vision[A].In: Proc SPIE C on f on Enhanced and Synthetic Vision[C],1998, 3364.124～135.

[52]W axman A M,G ove A,Fay D A,et al.C olor night vision:oppo2

nent processing in the fusion of visible and IR imagery[J].Neural Netw orks Letter,1997,10(1):1～6.

[53]T oet A,Ijspeert J K,W axman A M,et al.Fusion of visible and

thermal imagery im proves situational[A].In:Proc SPIE C on f on Enhanced and Synthetic Vision[C],1997,3088.177～188. [54]S teele P M,Perconti P.Part task in investigation of multispectral

image fusion using gray scale and synthetic color night vision sens or imagery for helicopter pilotage[A].In:Proc of SPIE on T argets and Backgrounds:Characterization and Representation[C],1997,3062.

88～100.

[55]X ydaes C,Petrovi V.Objective image fusion performance measure

[J].E lectronic Letters,2000,36(4):308～309.

[56]Petrovi V,X ydaes C.On the effects of sens or noise in pixel2level

image fusion performance[A].In:Proc of the3rd International

C on ference on In formation Fusion[C],2000,2.14～19.

[57]崔岩梅,倪国强,钟堰利,等.利用统计特性进行图像融合

效果分析及评价[J].北京理工大学学报,2000,20(1):102～106.

Comments on Multisensor Image Fusion Technique s

M AO Shi2yi　ZH AO Wei

(Beijing University of Aeronautics and Astronautics,Dept.of E lectronic Engineering)

Abstract:Multisens or image fusion is included in multisens or in formation fusion and has been applied widely. The techniques of image fusion are different from general in formation fusion techniques because of the particularity of images.The development condition about the multisens or image fusion is introduced firstly.Secondly,the main steps in image fusion process are described and the combinations of different sens ors are given.The main image fusion methods,including multires olution image fusion methods,methods based on wavelet and false color methods etc., are discussed.The performance of every method is analyzed qualitatively.The criteria how to evaluate image fusion method are given and the development directions of image fusion are pointed out finally.

K ey words:image processing;image com posite;sens ors;image fusion

815北京航空航天大学学报 2002年