多传感器图像融合技术综述

　收稿日期:2002203217　作者简介:毛士艺(1935-),男,浙江黄岩人,教授,100083,北京.

多传感器图像融合技术综述

毛士艺 赵　巍

(北京航空航天大学电子工程系)

摘 要:对国内外多传感器图像融合技术的发展状况进行了介绍,描述了

图像融合的主要步骤,概括了目前主要图像融合方法的基本原理,并对各种方法的性能进行了定性分析.给出了评价图像融合效果的标准和方法,指出了图像融合技术的发展方向.

关　键　词:图像处理;图像合成;传感器;图像融合

中图分类号:T N 911.73文献标识码:A 文章编号:100125965(2002)0520512207

近20年,随着传感器技术和计算机计算能力的提高,多传感器图像融合技术的应用越来越广泛.在军事领域,以多传感器图像融合为核心内容的战场感知技术已成为现代战争中最具影响力的军事高科技.20世纪90年代,美国海军在SS N 2

691(孟菲斯)潜艇上安装了第1套图像融合样机,可使操纵手在最佳位置上直接观察到各传感器的全部图像[1],[2].1998年1月7日《防务系统月刊》电子版报道,美国国防部已授予BTG 公司2项合同,其中一项就是美国空军的图像融合设计合同,此系统能给司令部一级的指挥机构和网络提供比较稳定的战场图像.在遥感领域,大量遥感图像的融合为更方便、更全面地认识环境和自然资源提供了可能[3]～[5],其成果广泛应用于大地测绘、植被分类与农作物生长势态评估、天气预报、自然灾害检测等方面.1999年10月4日,由我国和巴西联合研制的“资源一号”卫星发射升空,卫星上安装了我国自行研制的CC D 相机和红外多光谱扫描仪,这两种航天遥感器之间可进行图像融合,大大扩展了卫星的遥感应用范围.在医学成像领域,CT 、MR 和PET 图像的融合提高了计算机辅助诊

断能力[6].2001年11月25日～30日在美国芝加哥召开了每年一度的RS NA 北美放射学会年会,在会议上GE 公司医疗系统部展销了其产品Dis 2covery LS.Discovery LS 是GE 公司于2001年6月

刚推出的最新PET/CT ,是世界上最好的PET 与最高档的多排螺旋CT 的一个完美结合,具有单体PET 不能比拟的优势.它可以完成能量衰减校正、

分子代谢影像(PET )与形态解剖影像(CT )的同机

图像融合,使检查时间成倍地降低.在网络安全领域,多尺度图像融合技术可将任意的图像水印添加到载体图像中,以确保信息安全[7].

在各个应用领域的需求牵引下,各国学者对多传感器图像融合技术的研究也越来越重视.在多传感器信息融合领域中,图像融合是应用最为广泛,发表文献最多的一个方向.从文献[8]可看出,在参与统计的信息融合文章中,信号层的信息融合文章占53%.同时,我们做了这样一个调查,在Ei C om pendexWeb 数据库中用“image fusion ”作为关键词,检索从1980年到2001年摘要中出现这一词组的文章数目.1980年至1984年,这方面的文章只有4篇;1995年至1999年增加到603篇;2000年和2001年两年就有299篇.从中可以看出国际学术界对图像融合技术的重视程度与日俱增.

为了使国内同行对图像融合技术有一个较为全面的了解,本文在参考国内外文献的基础上,对目前常用的图像融合技术进行了概括和评述.文章首先介绍了图像融合研究的基本内容,将图像融合的概念界定到像素级;接着描述了各种图像融合技术的基本原理,对它们的优缺点进行了定性分析,给出了评价图像融合技术的方法.

1　多传感器图像融合技术研究内容

多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像

2002年10月第28卷第5期北京航空航天大学学报

Journal of Beijing University of Aeronautics and Astronautics October 2002V ol.28　N o 15

或同一传感器在不同时刻获得的同一景物的图像,经过去噪、时间配准、空间配准和重采样后,再运用某种融合技术得到一幅合成图像的过程.通过对多幅传感器图像的融合,可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性,提高图像的质量[1],从而有利于对物理现象和事件进行定位、识别和解释.

根据信息表征层次的不同,多传感器信息融合可分为数据级融合、特征级融合和决策级融合.因此,有的学者将图像融合也分为3类:像素级融合、特征级融合和判决级融合[9]～[11].像素级图像融合指的是直接对各幅图像的像素点进行信息综合的过程.特征级图像融合是对图像进行特征抽取后,将边沿、形状、轮廓等信息进行综合处理的过程.而在进行判决级图像融合之前,每种传感器已独立地完成了决策或分类任务,融合工作实质上是做出全局的最优决策.特征级图像融合实际上涉及了图像分割、特征提取和特征层信息融合这几个方面的内容.判决级图像融合包含了检测、分类、识别和融合这几个过程.其中涉及融合技术的内容实际上与多传感器信息融合的特征级融合、决策级融合是一致的.因此,为了与多传感器信息融合的分类保持统一,本文所说的图像融合只代表像素级的图像融合,是数据级信息融合的一部分.

图1　图像融合的流程

一个完整的图像融合过程如图1所示,其中各种传感器的组合可见表1.在这几个步骤中,时间和空间的配准是非常重要的,其精度直接影响到图像融合算法的效果.对图像进行配准后,就可应用某一融合算法对图像的像素点进行融合.目前常用的融合算法包括:加权平均法、逻辑滤波法、多分辨塔式算法、小波变换法、卡尔曼滤波算法等.图像融合的最后一步就是对融合后的图像进行显示,通常的显示方法有3类:灰度显示、真彩色显示和假彩色显示.而有些学者将显示方法

和融合方法结合起来,在显示图像的过程中进一步完成图像的融合,得到了较好的视觉效果.为了较为全面地描述各种图像融合方法,在下一节中

我们并不特意地将融合算法和显示方法加以区分,而是放在一起加以介绍.

表1　图像传感器的组合

传感器1

传感器2效 果

T V 摄像机

红外

适用于白天或夜晚

毫米波(M MW )雷达红外

穿透力强,分辨力强红外紫外适合识别背景

多光谱图像全色图像

适合识别特征和纹理

S AR 红外

空间分辨力和谱分辨力都较高S AR

S AR

穿透力强,分辨力较高,全天候红外

红外

背景信息增加,提高了探测距离和识别能力

CCD 摄像机

红外+S AR 分辨力强,全天候

2　常用的多传感器图像融合技术

目前常用的图像融合技术有:加权平均法、逻辑滤波法、彩色空间法、多分辨塔式算法、小波变换法、卡尔曼滤波算法、模拟退火法和假彩色法.2.1　加权平均法

加权平均法是一种最简单的多幅图像融合方法,也就是对多幅原图像的对应像素点进行加权处理.设A (i ,j )为图像A 中的一个像素点,B (i ,

j )为图像B 中与之对应的像素点,则融合图像中

的像素点可通过下式得到:

C (i ,j )=w A (i ,j )A (i ,j )+w B (i ,j )B (i ,j )

w A (i ,j )+w B (i ,j )=1

权值如何选择是加权平均法中的关键问题.基于局部区域对比度的权值选择法利用人眼对对比度非常敏感这一事实,从两幅原图像中选择对比度最大的像素点作为合成图像的像素点[12],也就是说对比度大的像素点权值为1,否则为0.基于对比度的权值选择技术对噪声非常敏感,这是因为图像中的噪声具有很高的对比度,这样合成图像中将包含很强的噪声.于是Burt 提出了平均和选择相结合的方法[13],即用1个匹配矩阵来表示两幅图像的相似程度.当两幅图像很相似时,合成图像就采用两幅图的平均值,也就是权值分别为0.5和0.5;当两幅图像差异很大时,就选择最显著的那一幅图像,此时的权值为0和1,这样就可以抑制噪声.

上面的权值选择方法基本上都是基于人眼的视觉特征,而没有考虑到实际应用中的目标特征.Lallier 利用军事应用中的目标特征提出了一种自

3

15第5期 毛士艺等:多传感器图像融合技术综述