多聚焦图像融合方法综述

多聚焦图像融合方法综述

摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。

关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法

1、引言

按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。

Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。

作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即：

（1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙；

（2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。

2、空域中的图像融合

把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。

2.1 逻辑滤波器法

最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,

进行“与”运算。来自“与”运算的特征认为对应了环境的主要方面。同样,“或”滤波用来分割图像,因为所有的大于特定的门限值传感器信息都可用来进行图像分割。两个像素的值均小于特定的门限值时,用“或非”运算。

2.2 加权平均法

加权平均法是一种相对比较简单的图像融合方法。它就是将两幅或多幅图像的对应像素值加权平均后放入另一幅图像中。

设输入图像A(i,j)表示二维荧光图像的照度函数(对应于数字图像的像素值),输入图像B(i,j)表示二维透射图像的照度函数,输出图像C(i,j)表示融合图像,其中i、j为图像中某一像素的坐标;图像大小为256×256像素,所以{i,j}∈[1,256],{A,B}∈[0,255],加权平均图像融合算法表示为

C(i,j)=aA(i,j)+(1-a)B(i,j)

其中a为权重因子,且0≤a≤1,可根据需要调节a的大小。

上面所述是两幅图像的情况。对于多幅图像道理和算法是一样的。

2.3 数学形态法

数学形态法是一种图像分析的方法,它通过使用从基本算子:集合并、集合交、减、条件加推演出来的一套数学形态算子,如膨胀、腐蚀等算法。若两个集合互相支持,则通过集合交从两个特征集中提取出高置信度的“核”特征集,若两个集合互相对抗,则通过集合差从两个特征集中提取出高置信度的“核”特征集。两个集合互相支持,则通过集合并从两个特征集中提取出高置信度的“潜在”特征集,若两个集合互相对抗,则通过一个集对另一个集中提取出高置信度的“潜在”特征集。用条件膨胀和条件腐蚀的形态运算来融合“核”与“潜在”特征集。条件膨胀用来提取“潜在”特征集的连接分量,可用来抑制杂波;条件腐蚀可用来填入在“核”特征集中丢失的分量边界元素。

2.4 图像代数法

图像代数是描述图像算法的高级代数语言,完全可以描述多种像素级的融合算法。它的四种基本的图像代数操作数:坐标集、值域、图像和模板。坐标集,可定义为矩形、六角形、环形离散矩阵及多层矩阵数组,用来表示不同方格和分辨率图像的相干关系。若来自多传感器的用于像素级融合的图像有相同的基本坐标系,则坐标集称为齐次的;否则称为非齐次的。“值域”通常对应整数集、实数集、复数集、固定长度的二进制数集,通常对其定义算术和逻辑运算。若一个值集的所有值都来自同一数集,则称为齐次的,否则称为非齐次的。“图像”是最重要的图像代数算子,定义为从坐标集到值集函数的图。“模板”和模板算子是图像代数

强有力的工具,它将模板、掩膜、窗口、数学形态的构成元素、定义在邻域像素上的其他函数,统一、概括成数学实体。用于变换实值图像的三种基本的模板操作是:广义卷积、乘积最大、和最大。模板操作可通过在全局和局部卷积来改变维数、大小和图像形状。

2.5模拟退火法

模拟退火法是以张驰为基础的最优化技术。用于图像处理时,相当于把像素值以驻留的领域视为物理系统中的原子或分子的状态。将能量函数分配给物理系统并确定其Gibbs 分布。因为Gibbs 分布与马尔可夫随机场等价,所以如果图像可以表示为马尔可夫随机场,则能量函数就决定了图像模型。能量函数的温度降低,将物理系统退火到全局能量最小状态,则对应于加有噪声的初始图像对真实图像的最大后验估计。模拟退火法用来进行像素级的融合,就是找到可恰当地描述对最终的融合图像约束能量函数。

3、 频域中图像融合

有些问题在空域中不太好直接研究，可计算量较大，可把其变换到频域（空间域）进行研究。这是信号处理和图像处理的惯用方法。其过程一般为：

f （x ，y ） 正变换 F （u ，v ） 逆变换 f （x ，y ）

它包含的算法主要有金字塔图像融合法和小波变换图像融合法。

3.1 金字塔图像融合法

金字塔图像融合法就是将参加融合的每幅源图像作金字塔表示，将所有图像的金字塔表示在各相应层上以一定的融合规则融合，可得到合成的金字塔。将合成的金字塔，用金字塔生成的逆过程重构图像，则可得到融合图像。

3.2小波变换图像融合法

小波变换图像融合法是通过小波将图像分解成一系列具有不同分辨率、频率特性和方向特性的子带图像。将各源图像做小波变换（分解），按一定规则将各源图像的小波系数融合，得到融合图像的小波表示，做小波逆变换（重构），得到融合图像。

3.2.1 小波的定义

称为内积空间，其定义的内积运算为：属于上述空间的任一函数g(x)(g(x,y))称为能量有限信22222(){()||()|}(){(,)||(,)|}

L R f x f x d x L R f x y f x y d xd y +∞-∞+∞

+∞-∞-∞=<+∞=<+∞???

号（图像）。这个内积空间存在由一个函数通过伸缩和平移构成的基。这个函数有着较奇特的性质。这样的函数称为小波。如Haar 小波：

3.2.2小波的性质

小波可以伸缩和平移，并且可以证明：若 为一个小波函数，则 对任意的a 和b 可以构成空间的基。

当a 和b 作二进制离散时，即 （k ，j 为整数），可以证明

构成 的基。即： 我们将满足条件 的函数 称为允许小波。此条件是完全重构的条件。即若满足上述条件，则一定可以重建原信号。有很多小波，如haar,dbN 等（用waveinfo 看）

3.2.3 常用的小波变换及上机实现

（1）若 为允许小波，令 ，则积分变换 称为一维小波变换 。

一维连续小波变换的计算机实现： coefs=cwt(s,scale,’wname’,’plot’);

（2）积分变换 为一维离散小波变换。若 且 为正交小波，则 从而有 一维离散小波变换的计算机实现：可用连续变换同样的方法实现。但与FFT 一样，DWT 也有快速算法。

1988年S.Mallat 提出了多分辨分析的理论，在此基础上提出离散小波变换的快速实现算 法，即所谓的Mallat 算法。其主要思想是：一个离散信号可分解为不同频率的信号，如 低频部分与高频部分。可形象也表示

如下图：

?????≤≤-<≤=otherwise ,01x 2/1,12/1x 0,1)x (h ψ)a b x ()b ax (-ψ-ψ或k 2b ,2a j j ==)k x 2(2)x (j

2/j k ,j -ψ=ψ--)R (L 2∑∑ψ=j k

k ,j k ,j )x (c

)x (f ∞<ωωωψ

=?ψd |)(?|C R 2ψψ)a b x (|a |)x (2/1ab -ψ=ψ-?ψ=R

ab f dx )x ()x (f )b ,a (W ?ψ=R jk f dx )x ()x (f )k ,j (W ∑∑ψ=j k

k ,j k ,j )x (c )x (f ψ>ψ=<=jk f k ,j ,f )k ,j (W c ∑∑ψ>ψ<=j k k ,j jk )

x (,f )x (f

实现函数：

分解： [A ，D]=dwt(S,’wname’);重构：S=idwt(A,D,’wname’);

（3）对于二维图像f(x,y)和二维小波函数 f(x,y)的小波变换为： 二维小波的计算机实现：

分解： 函数：[a,h,v,d]=dwt2(I,’wname’); 重构： 函数：I=idwt2(a,h,v ,d,’wname’);

4、融合效果的评价

对于图像融合提出的方法很多，但是没有一个统一、完善的理论、方法。图像融合效果的评价尤其是对其客观、定量的评价问题是一项重要而有意义的工作。目前，图像融合效果的客观、定量的评价问题一直未得到和好的解决，很多学者都对其进行研究，但是往往得到的准则都不是非常全面，因此有必要用多种客观准则结合起来判断结果的好坏。 在实际应用中，衡量融合图像的效果，应遵循以下原则：

（1） 融合图像应包含各源图像中所有的有用信息；

（2） 融合图像中不应引入人为的虚假信息，否则会妨碍人眼识别或后续的目标识别；

（3） 在融合前期预处理效果不理想时，算法还应保持其可靠性和稳定性；

（4） 算法应将原始图像中的噪声降到最低程度；

（5） 在某些场合中应考虑到算法的实时性，可进行在线处理。

5、结论

通过本文对多聚焦图像方法的了解，体会到目前图像融合技术越来越受到人们关注，虽然还没形成完整的系统理论框和体系，但随着更多学者投入到图像融合的研究中，图像融合技术将会更快速发展，必会有更广阔的前景。

参考文献

【1】 石霏.基于双树复小波变换的多聚焦图像的融合. 苏州大学硕士专业学位论

文.2008.11-12

【2】 梅益君，王元庆.基于点扩散函数的多聚焦图像融合方法.计算机工程,2007.10(第33

),y ,x (ψ)

R (L )y ,x (),y ,x (f 22∈ψ2112

(,1,2)(,)(,)f x b y b W a b b f x y d xd y

a a a ψ+∞+∞-∞-∞--=??

卷第19期)

【3】何斌，马天予，王运坚等.V isual C++数字图像处理.第二版.北京：人民邮电出版社,2002.17-50

【4】王宏，敬忠良，李建勋.一种基于图像块分割的多聚焦图像融合方法.上海交通大学学报，2003.11(第37卷第11期)