多传感器图像融合综述

多传感器图像融合综述

吴定兵

（上海大学机电工程与自动化学院，上海200072）

摘要：多传感器图像融合是指针对多个传感器采集的关于同一目标或场景的图像进行适当的处理，产生一幅新的图像，使之更适合人眼感知或计算机后续处理。每一种传感器是为了适

应特定的环境和适用范围设计的，具有不同的特征或不同视点的传感器获取的图像间既存在冗

余性又存在互补性，通过对其融合，能有效提高系统的可靠性和图像信息的利用效率。数据融

合技术是一个多级、多层面的数据处理过程，主要完成对来自多个信息源的数据进行自动检测、

关联、相关、估计及组合等的处理，得出最终结论或决策的技术。多传感器数据融合是一门新

兴的技术，是对数据的综合与处理的过程[1][2]。

关键字：多传感器；图像融合；图像融合算法；评价标准

Summary of multi-sensor image fusion

Dingbing Wu

(School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200072, China)

Abstract：Multi-sensor image fusion is the appropriate image processing on the same target or multiple sensors which capture the scene for generating a new image, making it more suitable for human eye perception or computer for subsequent processing. Each sensor is adapted to specific environments and scope of design between images having different characteristics or different viewpoints acquired by the sensor and there exists both complementary redundancy through their fusion, which can effectively improve the reliability of the system efficiency and image information. Data fusion technology is a multi-level, multi-level data processing, mainly to complete the data from multiple information sources for automatic detection, association, correlation, estimation and combination treatment, etc., get a final conclusion or decision-making techniques.

Multi-sensor data fusion is an emerging technology that is integrated with the data processing process.

Key words: Multi-sensor; Image fusion; Image fusion algorithm; Evaluation criteria

1.引言

多传感器信息融合是指对来自多个传感器的信息进行多级别、多方面、多层次的处理与综合，从而获得更丰富、更精确、更可靠的有用信息。其中Edward和James对信息融合给出了如下定义：信息融合就是一种多层次的、多方面的处理过程，这个过程对多源信息进行检测、结合、相关、估计和组合以达到精确的状态估计和身份估计，以及完整、及时的态势评估。从八十年代初至今，多传感器信息融合特别是多传感器图像融合已引发了世界范围的

广泛兴趣和研究热潮，它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。多传感器图像融合就是利用各种成像传感器得到的不同图像，综合不同图像的互补信息和冗余信息，以获得更为全面更为准确的图像描述。例如，红外图像和可见光图像的融合可以更好地帮助直升机飞行员进行导航；CT和核磁共振(MPd)图像的融合处理为临床诊断提供可靠的信息[3]。

2. 图像融合技术的发展与现状

多传感器图像融合技术最早被应用于遥感图像的分析和处理中。1979年，Daliy等人首先把雷达图像和Landsat．MSS图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。

这种技术在20世纪80年代以来逐步发展成为一门新兴的技术，数据(信息)融合(Data(In-formation)Fusion)技术。20世纪90年代以来,数据融合技术在国内得到了迅速的发展和应用,被广泛应用于遥感图象处理、工业应用、数字地球和目标识别等范畴,各种数据融合方法也不断地被开发探索。

近二十年来，国际上在图像融合的不同层次上开展了大量的模型与算法研究，提出了各种形式的系统。美国计划在2010年研制出覆盖射频、可见光、红外波段公用孔径的有源、无源一体化基于图像与数据融合的探测器系统图像融合技术无疑具有良好的发展前景。

近年来，图像融合在应用方面有了一定的发展，2005年10月4日，由我国和巴西联合研制的“资源一号”卫星发射升空，卫星上安装了我国自行研制的CCD相机和红外多光谱扫描仪，这两种航天遥感器之间可进行图像融合，大大扩展了卫星的遥感应用范围。

3．多传感器图像融合基本概念

3.1 图像融合的定义

图像融合就是指对采用一定算法，把两幅或多幅具有互补信息的源图像融合成一幅新的图像。它可使得新图像更加适合人的视觉感知，或者满足诸如图像处理中的分割、特征提取、目标识别的需要。图1说明了两传感器的互补与冗余信息关系：

图1 多传感器信息互补与冗余

Fig.1 Complementary and redundant of multi-sensor information 由于技术的进步，不断出现了多种新的传感器，将这些成像传感器进行适当的组合，将会改善整个信息处理系统的性能。虽然每一种传感器在特定的工作条件和工作范围内，在每种程度上是最佳的，但是它却不能获得人或者计算机在检测目标时所需要的全部信息。因此，对于这些具有不同特性的传感器进行有效的集合，将会扩展其中任何一个的能力，最终合成

的图像将包含更加完整和详细的内容，这对于图像处理正作将会带来很大的帮助。

3.2 多传感器图像融合系统的一般结构

图像融合需要前期的预处理，它包括几个方面：配准、校正、去噪声等，在完成几何校正、噪声消除及图像配准后是真正的图像融合过程。图像融合一般可以分为像素级融合、特征级融合和决策级融合三个级别，融合的水平依次由低到高。图2给出了图像融合的三个层次示意图[4]。

图2 图像融合的三个层次

Fig.2 Three levels of image fusion

像素级图像融合：是指直接对图像中像素点进行信息综合处理的过程。像素级图像融合的目的是生成一幅包含更多信息、更清晰的图像。像素级图像融合属于较低层次的融合。目前，大部分研究集中在该层次上。像素层图像融合一般要求原始图像在空间上精确配准，如果图像具有不同分辨率，在融合前需作映射处理。

像素级融合是直接在采集到的原始图像数据层上进行的融合，人眼对颜色信息的融合就是典型的像素级融合。像素级图像融合是最低层次的图像融合，该层次的数据融合准确性最高，能够提供其它层次上所不具备的细节信息，但是需要处理的信息量大。像素级融合也称数据级触合，是高层次图像融合的基础[5]，也是目前图像融合研究的重点之一。本文所研究的融合方法都是像素级融合方法。

特征级图像融合：是指从各个传感器图像中提取特征信息，并将其进行综合分析和处理的过程。提取的特征信息应是像素信息的充分表示量或充分统计量，典型的特征信息有边缘、形状、轮廓、角、纹理、相似亮度区域、相似景深区域等。在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感器图像融合的应用目的、场合密切相关。通过特征级图像融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征等。特征级图像融合是中间层次为决策级融合做准备。特征级融合对传感器对准要求不如信号级和像素级要求严格，因此图像传感器可分布于不同平台上。特征级融合的优点在于实现了可观的信息压缩，便于实时处理。由于所提出的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。

决策级图像融合：是指对每个图像的特征信息进行分类、识别等处理，形成了相应的结果后，进行进一步的融合过程。最终的决策结果是全局最优决策。决策级融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。为此，决策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的，其结果将直接影响最后的决策水平。由于输入为各种特征信息，而结果为决策描述，因此决策级融合数据量最小，抗干扰能力强。决策级融合的主要优点可概括为：○1通信及传输要求低，这是由其数据量少决定的。○2容错性高，对于一个或若干个传感器的数据干扰，可以通过适当的融合方法予以消除。○3数据要求低，传感器可以是同质或异质，对传感器的依赖性和要求降低。○4分析能力强，能全方位有效反映目标及环境的信息，

满足不同应用的需要。

决策级融合是在对采集到的数据己独立完成了决策或分类任务的基础上，模仿人的思维借助一定的规则或特定的算法对各个判别结果进行组合判断。在决策级融合中，首先采用局部分类器对目标的各个特征进行分类，得到了各局部分类器对目标的判决，然后采用贝叶斯推理、神经网络法技术等决策融合技术对各局部决策进行融合得到目标的准确判别。

表1给出了不同融合层次其性能特点的比较情况。从表中及前面所介绍的内容可以看出，像素级图像融合是最重要、最根本的多传感器图像融合方法，其获取的信息量最多、融合性能最好[6]。

表1 图像融合层次及其性能比较

图像像素层融合处理与特征级融合、决策级融合最大的区别是：在对两幅图像进行融合处理之前，首先要对其进行严格的配准。图像配准是指同一目标的两幅图像在空间位置上的对准。图像配准的技术过程，称为图像匹配，或者图像相关。图像配准涉及许多相关知识领域，如图像预处理、图像采样、图像分割、特征提取等。常用的基于灰度的图像配准方法有：空间相关法、频域相关法等。基于灰度的图像配准方法具有精度高的优点，但也存在一些缺点：

1)对图像灰度变化比较敏感，在非线性光照变化时，将大大降低算法的性能。计算的复杂度高，运算所花费的时间比较多。

2)对目标的旋转，形变等没有很好的适应性。

基于特征的图像配准方法有两个重要环节：特征提取和特征匹配。可以选取的特征包括：点、线以及区域等。特征匹配一般采用互相关来度量，但互相关对旋转比较困难。最小二乘法匹配算法和全局匹配的松弛算法能够取得比较理想的结果。小波变换、神经网络和遗传算法等新的数学方法的应用，进一步提高了图像配准的精度和运算速度。与基于灰度的图像配准方法相比，基于特征的图像配准方法有以下几优点：

1)特征点的提取过程可以减少噪声的影响，对灰度变化、图像变形等有较好的适应能力。

2)特征点的匹配度量对位置的变化比较敏感，可以提高匹配的精确程度。

3)图像的特征点比图像的像素点要少的多，可以减少匹配的计算时间。

3.3 融合系统中多传感器的特点

现实世界中传感器多种多样，它们有其自身的物理及其成像特点。任何单一传感器成像都可以看成对输入信号的响应，输出图像或信号即是响应结果。常用图像融合传感器及其特点如表2所示。

表2 图像融合传感器以及特点

各种传感器组合及其效果如表3所示：

表3 种传感器组合及效果

4.几种常用多传感器图像融合方法

像素级多传感器图像融合方法是目前研究比较深入的，已有的融合算法种类繁多，主要分为变换域和非变换域的融合方法。

4.1 常用非变换域的图像融合方法

1)平均法或加权平均法：对源图像进行平均计算提高了融合图像的信噪，但降低了对比度。加权平均方法中，加权系数的选择要考虑信息的冗余与互补性，可采用主分量分析法。

2)伪彩色融合方法：在灰度图像中，人眼只能同时区分出由黑到白的十种到二十几种不同的灰度级，而人眼对彩色的分辨率可达到几百种甚至上千种。基于人眼视觉的这一特点，可以将图像中的各种灰度级变成不同的彩色，以便提取更多的信息。A.M. Waxman等人采用伪彩色融合技术对热红外图像和电视图像进行融合，该算法利用了人眼视觉感受野的中心一周边型模型，彩色视觉的单颉颃和双颉颃模型。

4.2 常用变换域图像融合方法

1)图像金字塔(LP)法：依据融合目的，利用特征选择规则和待融合图像金字塔表示，来构建一个融合的金字塔表达式，对融合后的金字塔表达式进行金字塔反变换，得到一个融合后的图像[7][8][9]。

2)小波变换法：小波变换是傅立叶变换发展的新阶段，它具有紧致性、正交性、方向可选择性，这些优良特性是小波变换成为图像融合的一种强有力工具和手段。小波变换的多分辨分解特性符合人类的视觉机制，与计算机视觉中由粗到细的认识过程十分相似，非常适用于图像融合。

3)Contourlet变换法：Contourlet变换是基于LP分解和方向滤波组DFB结合的图像变换法，它解决了小波变换只能捕获水平、垂直、对角三个方向信息的问题，是真正意义上的多尺度多方向变换，其反变换也易于实现，在图像融合中有很大的发展前景。

5. 多传感器图像融合方法的性能评价

图像融合效果的评价问题是一项重要而有意义的工作，如何评价融合效果，即如何评价融合图像的质量，是图像融合的一个重要步骤，但目前还缺乏一种对融合效果进行系统，全面的评价方法，国内外对该问题的研究相对较少，目前的融合效果评价中，主要有主观评价法和客观评价法两种。

5.1 融合图像质量的主观评价方法

假若人是图像的观察者，图像质量的含义主要包括两个方面，一是图像的逼真度(Fidelity)，另一个是图像的可懂度(Intelligibility)。多少年来，人们总是希望能够给国图像逼真度和可懂度的定量测量方法，以作为评价图像质量和设计图像系统的依据。但是由于目前人们对人的视觉系统还没有充分认识和掌握。对人的心理因素还找不出定量描述的方法，因此这个问题一直没有很好的得到解决。

5.2 融合图像质量的客观评价方法

为了克服主观评价中人眼视觉系统、心理状态、知识背景等因素带来的不确定性，实际融合效果评价多采用客观评价，客观评价通过对各融合图像统计参数的计算来进行判定、比较各种融合方法的优劣[10]。

为了定量评价融合图像的效果和质量，假设参加融合的两个源图像分别为A、B，图像大小为MXN，经融合处理后得到的融合图像为F，特定义了以下几个评价参量。

1) 熵(Entropy)。图像的熵值是衡量图像信息丰富程度的一个重要指标，熵值的大小表示图像平均信息量的多少。如果融合图像的熵越大，可以认为融合图像的信息量增加，融合图像所含的信息越丰富，融合质量越好[11]。

2）互信息量MI(Mutual Information)。评价图像融合效果的一个重要指标是看融合图像从源图像中获得了多少信息。互信息量是信息论中的一个重要指标，可作为两个变量之间相关性的度量，或一个变量包含另一个变量的信息量的量度。互信息量是反映融合效果的一种客观指标，它的值越大表示融合图像从源图像中获褥的信息越丰富，融合效果越好，它可以更准确地评价融合效果的优劣。

3）平均梯度。平均梯度(即图像清晰度)可敏感地反映图像对微小细节反差的表达能力，可用来评价图像的清晰程度，同时还反映图像中微小细节反差和纹理变换特征。

4）标准差d。标准差反映了图像灰度相对于灰度平均值的离散情况，在某种程度上，标准差也可用来评价图像反差的大小。若标准差大，则图像灰度级分布分散，图像的反差大，可以看出更多的信息。标准差小，图像反差小，对比度不大，色调单一均匀，看不出太多的信息。

5）交叉熵(Cross entropy)亦称相对熵(Relative entropy)。交叉熵可用来表示两幅图像之间的差异，交叉熵越小，表示图像差异越小。

6）相关系数C(Correlation coefficient)图像的相关系数，又称为相似性度量，它反映了

两幅图像的相关程度。融合前后的图像相关系数可以反映多光谱图像的光谱信息改变程度，从而判断融合图像的光谱保持能力。

7）偏差D与相对偏差RD。偏差D是指融合图像F像素灰度平均值与源图像A像素灰度平均值之差，也可以说是融合图像与源图像的差值图像的灰度平均值。相对偏差RD是融合图像各个像素灰度值与源图像相应像素灰度值差的绝对值与源图像相应像素灰度值之比的平均值。相对偏差值的大小表示融合图像与源图像平均灰度值的相对差异，用来反映融合图像与源图像在光谱信息上的匹配程度以及将源高空间分辨率全色图像的细节传递给融合图像的能力。

参考文献：

[1] 闫敬文,卓琳,屈小波.图像融合研究最新进展[J].厦门理工学院学报,2007,15(4):44-49.

[2] 王静云,李绍林.医学影像图像融合技术的新进展[J].第四军医大学学报,2004,25(20):1918-1920.

[3] 胡传奇,王檄,侯家槐.多传感器图像融合技术及其进展[J].测绘与空间地理信息,2010,33(2):159-162.

[4] Pohl C, Munro D, Genderen, J. L. Enhanced image analysis through multilevel data fusion techniques[J].

Proceedings of SPIE,1997,3068: 32-39.

[5] 庄晓婵.图像融合算法研究[D].西安:西北工业大学,2007.

[6] 吴仰玉,纪峰.图像融合研究新进展[J]. 创新技术导报,2003,1:49-54.

[7] Li Gui-xi,Yang Wan-hai.A Multiscale Contrast-Pyramid-Based Image Fusion Scheme and Its Performance

Evaluation[J].Acta Optica Sinica,2009, 21(11):1336-1342.

[8] Pan X H, Zhang T. GUP-accelerated image fusion based on gradient pyramid decomposition[J].

Microelectronics&Computer,2011,28(12):54-58.

[9] W.T. Freeman, E.H. Adelson. The design and use of steerable filters[J].IEEE Trans. on Pattern Analysis and

Machine Intelligence,2011,13 (9):891-906.

[10] 王珂,欧阳宁.图像融合技术及评价方法[J].数字电视与数字视频, 2007,31(1):20-23.

[11] ZHANG Z, BLUM R S. A categorization of multiscale-decomposition-based image fusion schemes with a

performance study for a digital camera application[J].Proceeding of the IEEE,1999,87(8):1315-1326.