像素级图像融合技术在军事领域应用研究

像素级图像融合技术在军事领域应用研究

史玉龙、李林、侯海婷

摘要像素级图像融合是在基础层面上进行的图像融合,它能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息,有利于图像的进一步分析、处理与理解,它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文分析了像素级多源图像融合技术的主要研究内容，阐述了像素级多源图像融合方法及其在军事领域的应用，进而对其未来发展方向进行了展望。

关键字像素级图像融合；图像处理；发展与军事应用

1 引言

在现代战争中，信息主导权是影响战略全局的关键因素，现代信息系统通向智能化的重要一环是其感知系统必须包括能够获取足够信息的多种类型的传感器。各种传感器的信息具有不同的特征，每种传感器仅能给出目标和环境的部分或某个侧面的信息。而多传感器数据融合的基本原理就是充分利用各个传感器资源，通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在空间或时间上的冗余或互补信息依据某种准则进行组合，以获得被测对象的一致性解释或描述，使该信息系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能。

图像融合就是对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息，融合后的图像应该更适合于人类视觉感知或计算机后续处理。

2 像素级图像融合技术概述

2.1 像素级图像融合概念

图像融合技术是一种先进的综合多个源图像信息的图像处理技术。所谓多源图像融合是对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理。图像是二维信号，图像融合技术是多源信息融合技术的一个重要分支，因此，图像融合与多传感器信息融合具有共同的优点。通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模

糊性、改善分类性能等。目前，将图像融合技术应用于数字图像处理的主要目的有以下几种[1]：

(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的某些特性；

(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息；

(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况；

(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体摄影、测量等；

(5)利用来自其它传感器的图像来替代/弥补某一传感器图像中的丢失/故障信息。

像素级的图像融合是对原始图像融合形成一幅新的图像，可以使人更容易识别潜在目标；像素级的图像融合方法是一种低层次的融合，保留了尽可能多的信息，精度比较高；像素级图像融合是在基础层面上进行的图像融合，它能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。

像素级图像融合是在严格配准的条件下，对各传感器输出的图像信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级图像融合的基础。但是与其它两个层次的融合相比，像素级融合需要处理的信息量最大，处理时间较长，对设备的要求也比较高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般应达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。

2.2 图像融合层次

由于融合处理方法众多，其目的、手段也不尽相同，根据融合方法在处理流

程中所处的阶段，按照信息抽像的程度，可将多传感器图像融合分为像素级、特征级和决策级三个层次[2， 3]。

像素级图像融合是特征级和决策级图像融合的基础，它在严格的配准条件下，直接对原始数据层采用合适的融合策略进行处理，通过对多传感器目标和背景要素测量结果进行融合处理，完成多幅图像的融合，从而得到提高了图像清晰度和空间分辨率的融合图像。它的优点是尽可能多地保留了场景的原始信息，提供了其他融合层算法所不具有的细节信息。由于融合结果为图像数据，有利于计算机的进一步处理和分析，但需要处理的信息量较大，对硬件设备的要求较高，如图

2-1所示。

图2-1 像素级图像融合流程

特征级图像融合属于中间层次上的融合，它在像素级融合的基础上，通过使用模式相关、统计分析的方法对线型、边缘、纹理、光谱、相似亮度区域等图像特征进行目标识别和提取，并得到融合结果。例如融合图像的强度和范围提取边缘、融合可见光和红外图像的区域及边界进行图像分割、融合多波段图像提取区域[4]、融合多波段图像提取直线[5]等。特征级图像融合既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理，如图2-2所示。

图2-2 特征级图像融合流程

最高层次的融合为决策级图像融合，它融合的是图像的信息表示。它首先对各个传感器所获得的源图像分别进行预处理、特征提取、识别或判决，建立同一目标的初步判决和结论，再对来自各传感器的决策进行融合处理，最终产生联合判决。针对具体的决策目标，决策级融合充分利用了来自各图像的初步决策，融合处理代价低，适用面较广，对原始的传感数据没有特殊的要求，但融合算法复

杂，如图2-3所示。

图2-3 决策级图像融合流程

2.3像素级图像融合的系统结构模型

像素层图像融合可用来增加图像中每一个像素的信息内容，为下一步图像处理提供更多的特性信息，可以更容易识别潜在目标。像素层图像融合一般要求传感器在空间上精确对准，通常将多个传感器置于同一平台上来达到这一要求。像素层的图像融合方法是一种低层次的融合，保留了尽可能多的信息，精度比较高。缺点是融合中心的计算量大，实时性差，对通信带宽要求高。目前对于图像融合算法的研究大多集中在这一层次[6]。

多传感器像素级图像融合系统一般的处理过程（在此只针对像素级图像融合）可概括为：首先对来自各图像传感器的图像进行图像的去噪、增强、消畸变等预处理；然后对经过预处理的各传感器图像数据进行时间和空间上的配准；再送到融合中心进行融合运算，融合中心，根据具体的目标和不同的传感器图像，采用适合的融合算法进行融合处理；而后对融合的数据进行后续的处理和显示融合结果[7]，像素级多源图像融合的系统结构模型如图2-4所示。

图2-4 像素级多源图像融合系统结构模型

3 像素级图像融合方法综述

像素级图像融合方法可大体分为七类:加权融合和主成分分析图像融合方法、假彩色图像融合方法、基于马尔可夫随机场的图像融合方法、基于调制的图像融合方法、基于统计的图像融合方法、基于神经网络的图像融合方法以及基于多分辨率分解的图像融合方法，本节将对像素级图像融合方法进行概述说明。

1）加权融合和主成分分析[8]

最直接的融合方法就是对源图像进行加权平均作为融合结果。加权平均运算提高了融合图像的信噪比，但削弱了图像的对比度，在一定程度上使得图像中的边缘、轮廓变模糊了。加权平均图像融合方法具有算法简单、融合速度快的优点，但在多数应用场合该图像融合方法往往难以取得满意的融合效果。主成分分析的图像融合方法就是把多变量信息即多波段的图像信息，综合在一幅图像上，而且对融合图像来说，各波段的信息所做出的贡献能最大限度的表现出来，为此须对源图像各波段像素值进行加权线性变换，以产生新的像素值。

2)假彩色图像融合[9]

就目前的硬件技术条件而言，假彩色(False Color)图像融合处理可以说是较容易实现的图像融合方法，并且人类视觉系统对融合结果也较容易分辨"假彩色的图像融合方法是在人眼对颜色的分辨率远远超过对灰度等级的分辨率这一视觉特性的基础上提出的融合方法。如果通过某种彩色化处理技术将蕴藏在原始图像灰度等级中的细节信息以彩色的方式来表征，可以使人类视觉系统对图像的细节有更丰富的认识。其关键是要使融合图像的可视效果尽可能符合人类的视觉习惯。彩色映射是将输入图像映射到一个色彩空间中，得到一幅假彩色的融合图像"研究表明通过彩色映射进行可见光和红外图像的融合能够提高融合结果的信息量，有助于提高检测性能。假彩色融合方法一般可分为基于RGB彩色空间的多源图像融合和基于IHS彩色空间的多源图像融合。

3)基于马尔可夫随机场的图像融合[10]

当采用马尔可夫随机场方法进行图像融合时，图像就被定义为马尔可夫随机场模型，融合就变为一个优化问题。基于马尔可夫随机场的图像融合方法是把融合任务表示成适当的代价函数来表征融合结果，输入源图像作为一随机场集，然后进行全局寻优。在不同图像的对应区域，用回归分析的方法分别提取一组统计参数，这些参数表征了图像的局部结构特征，计算其相似性测度，最后由输入图像及其相似性矩阵生成融合后的边缘图像"这种融合方法具有较强的适应性和可靠性，即使在图像信噪比较低的情况下，也能取得较好的融合效果。

4)基于调制的图像融合

调制是通信术语，指一种信号的某项参数(譬如强度、频率等)随另一种信号

变化而变化。借助通信技术的思想，调制技术在图像融合领域也得到了一定的应用，并在某些方面具有较好的效果"用于图像融合上的调制手段一般适用于两幅图像的融合处理，具体操作一般是将一幅图像进行归一化处理，然后将归一化的结果与另一图像相乘，最后重新量化后进行显示。这种处理方式相当于无线电技术中的调幅(Amplitude Modulation)，一幅数字图像的灰度大小就相当于无线电波的幅度大小。用于图像融合上的调制技术一般可分为对比度调制技术和灰度调制技术。

4 像素级图像融合技术在军事领域中的应用

由于信息融合系统本身所具有的性能稳定、宽阔的时空覆盖区域、较高的测量维数、良好的目标空间分辨力以及较强的故障容错与系统重构能力等优点，自信息融合问题一开始提出，就引起西方各国国防部门的高度重视，并将其列为军事高科技研究和发展领域中的一个重要专题。而我国对信息融合理论和技术的研究起步相对较晚，到20世纪80年代末期，才开始出现有关多源信息融合技术研究的报告，到20世纪90年代初，这一领域的研究在国内才开始逐渐升温。目前我国已将信息融合技术列为“863”计划和“九五”规划中的国家重点研究项目，并将其确定为发展计算机技术及空间技术等高新产业领域的关键技术之一。

图像融合在军事领域有着广泛应用。现代军用光电侦察系统以及合成孔径雷达侦察系统由于其载体环境复杂，目标信息有着明显的多样性和不确定性，同时由于单一传感器性能的局限性，只可能给出环境的部分或某个侧面的信息，因此要想通过单一的图像传感器去准确感知和描述外界环境或者感兴趣目标的特征是不可能的。多传感器、多手段获取信息是军事情报的主要来源，对多源信息利用融合技术进行综合处理，从而获得对同一事物或目标的更客观、更本质的认识，对军事侦察领域至关重要，经融合的多传感器图像可以为作战决策提供准确、及时、可靠的情报保障。多传感器图像融合技术可以对多源情报信息进行综合处理和利用，将多种先进的探测和情报侦察系统进行系统集成，使其相互补充，能充分发挥不同传感器在频率/空间/能量等方面优势的一体化探测，达到功能互补资源共享、探测和对抗性能提高、扩大信息量的目标。因此应用潜力非常诱人，它的发展已引起世界普遍关注。

从军事应用的角度来看信息融合是一个多层次、多方面的处理过程，这个过

程对多源信息进行检测、结合、相关、估计和组合以获得精确的状态估计和身份估计以及完整、及时的态势评估和威胁估计。

多源图像融合技术始于军事领域，发展的主要驱动力也来自于军事领域。以多传感器图像融合为核心内容的战场感知技术已成为现代战争中最具影响力的军事高科技技术。它涵盖了目标检测、跟踪和识别以及情景感知等方面。目前美、英等军事强国都致力于研发新一代的适用于战场复杂环境下的全天候多源图像融合系统。美国国防部在不同时期制定的关键战术计划中，有相当一部分的任务涉及到多源图像融合方面。在海湾战争中发挥较好作战性能的LANTIRN吊舱就是一种图像融合系统；英国以II类通用组件为基础，研制出具有图像融合功能的双波段热像仪；美国TI公司于1995年从美国夜视和电子传感器管理局(NVESD)获得了将前视红外与三代微光图像融合系统集成到先进直升机(AHP)传感器系统的合同，信号处理功能由TMS320C30 DSP完成。英美联合研制的“追踪者”战术侦察车是将热成像仪、电视摄像仪以及激光测距仪等多个传感器进行融合利用。2000年5月，美国波音公司航空电子飞行实验室成功地演示并验证了联合攻击机(JSF)航空电子综合系统的多源信息融合技术和功能。

5 结语

图像融合技术虽已经过多年研究，但还没有统一的定义，成熟的理论和方法，还没有建立起统一的图像融合数学模型。图像融合涉及到复杂的融合算法、概念、实时图像数据库技术和高速、大吞吐量数据处理等软硬件支撑技术。怎样进行稳健图像融合、提高可靠度一直是人们关心的问题。像素级图像融合的方法是高层图像融合的基础，本文在基于图像在空间已配准的情况下，讨论了像素级图像融合的方法，试图归纳出像素级图像融合的分类方法。图像的空间已配准在整个图像融合中具有十分关键的地位，还有许多需要解决的问题，是很具挑战性的课题。

参考文献

[1]李伟.像素级图像融合方法及应用研究[D]. 华南理工大学博士学位论文，2006.

[2]Pohl C, Genderen J L V. Multi-sensor image fusion in remote sensing: Concepts, methods and

applications, International Journal of Remote Sensing, 1998, 19(5):823-854

[3]毛士艺，赵巍.多传感器图像融合技术综述.北京航空航天大学学报.2002, 28(5):512-518

[4]Cain M P, Seeware S A, Morse J B. Object classification using multispectral sensor data fusion.

Proceedings of SPIE, 1989, 1100:53-67

[5]蔡涛, 王润生. 一个从多波段遥图像提取道路网的方法.软件学报，2001, 12(6):943-948

[6]刘从义，杨波，敬忠良. 像素级多源图像融合综述[OL].[2006-10-24].中国科技论文在线

[7]江东，王钰，王建华，兰朝利. 多源图像融合的理论与技术. 甘肃科学学报， 2002, 14(1):41-45.

[8]Chavez P.S, Kwarteng A.Y. Extracting Spectral Contrast in Landsat Thematic Map per Image

Data Using Selective Principal Component Analysis[J]. photogram Engineering and Remote sensing, 1999,55(3):339-345.

[9]蒋晓瑜,高稚允,周立伟.基于假彩色的多重图像融合[J].北京理工大学学报,1997,17(5):465-469.

[10]C. Vogler, D.Metaxas. Parallel Hidden Markov Models for American Sign Language Recognition

[C]. Proceedings of the International Conference on ComPuterVision,1999,116-122.