图像融合

小组成员：邢江、周代勇、张贵棕、王明春、王卓然© 2004 By Default图像融合概括图像融合算法分类论文中讲到的算法总结图像融合的定义•图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

融合之前效果不是很好的两幅图像融合之后的图像概括图像融合图像融合算法分类论文中讲到的算法总结图像融合方法分类•空间域融合算法（1）像素值加权法（2）统计模型融合方法（3）假彩色图像融合方法（4）人工神经网络融合方法•变换域的融合算法（1）基于金字塔变换的融合方法（2）基于小波变换的图像融合方法（3）基于其它多尺度分解的融合算法图像融合概括图像融合算法分类论文中讲到的算法总结一、基于拉普拉斯金字塔图像融合方式•算法原理图像的拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的,因此首先得对图像进行高斯金字塔分解。

但什么是高斯金字塔分解呢？高斯金字塔分解式中,N为高斯金字塔顶层的层号;Rl和Cl分别为高斯金字塔第l层的行数和列数;w(m,n)是一个二维可分离的5 5窗口函数•设原图像为G0,以G0作为高斯金字塔的第0层(底层),对原始输入图像进行高斯低通滤波和隔行隔列的下采样,得到高斯金字塔的第一层;再对第一层图像低通滤波和下采样,得到高斯金字塔的第二层;重复以上过程,构成高斯金字塔。

图像的拉普拉斯金字塔分解•将Gl内插方法,得到放大图像G*l,使G*l的尺寸与Gl-1的尺寸相同,表示为:式中,N为拉普拉斯金字塔顶层的层号;LPl是拉普拉斯金字塔分解的第l层图像•由LP0,LP1,,,LPl,,,LPN构成的金字塔即为拉普拉斯金字塔。

它的每一层图像是高斯金字塔本层图像与其高一图像经内插放大后图像的差,此过程相当于带通滤波,因此拉普拉斯金字塔又称为带通金字塔分解。

对图像进行分解处理以后对不同频带的图像进行融合基于拉普拉斯金字塔分解的图像融合图像拉普拉斯金字塔分解的目的是将源图像分别分解到不同的空间频带上,融合过程是在各空间频率层上分别进行的,这样就可以针对不同分解层的不同频带上的特征与细节,采用不同的融合算子以达到突出特定频带上特征与细节的目的。

•对于顶层图像的融合,首先计算以其各个像素为中心的区域大小为M X N(M,N取奇数且M>=3,N>=3)的区域平均梯度:因此对于顶层图像中的每一个像素LAN(i, j)和LBN(i, j)都可以得到与之相对应的区域平均梯度GA(i, j)和GB(i, j)。

由于平均梯度反映了图像中的微小细节反差和纹理变化特征,同时也反映出图像的清晰度。

一般来说平均梯度越大,图像层次也丰富,则图像越清晰。

顶层图像的融合结果为：当0[l<N时,则对于经过拉普拉斯金字塔分解的第l层图像,首先计算其区域能量:融合结果为：融合效果：图1融合后图像图2图2一、基于小波的图像融合方式由于小波分解的特点，其小波系数的大小总的来说是低频的大于高频的，即高层的大于低层的，水平的和垂直的大于对角的。

图像的大部分能量集中于低频部分，即部分。

它对应图像的平滑成分，而另外三个成分对应图像的细节成分.采用小波变换，基本思路是把经过预处理的图像A和B，进行小波变换，把图像A的高频分量和图像B的高频分量采用基于算子和区域能量的方法进行融合得到高频分量，然后把图像A，B的低频分量按能量方法进行融合得到低频分量，最后把高低频分量进行小波逆变换就可以得到融合后的图象了。

算法的流程图见图对低频分量用基于能量的方法融合定义以（x,y）为中心的3x3区域M的区域能量为:I（x,y）为某点像素的灰度值，则融合后的低频分量可根据区域能量确定为：式中表示为j层分辨率下的各个低频带融合值。

高频分量采用基于算子和区域密度的方法进行融合利用sober算子分别作用于图像A'的高频分量和图像B'的高频分量。

得到的图像分别用I A和I B表示.再对A'和B'用3x3的区域能量特征方法进行高频分量的融合，高频带的融合值由下式确定融合效果第一张为原始图像，第二张为左侧模糊，第三张为右侧模糊，第四张为融合后的效果图三．基于马尔科夫随机场的图像融合方法马尔科夫随机场模型是一个精确模拟图像特征的模型，已经被成功地运用到大量的图像处理的应用中。

对于一个源图像，如果它的某个像素对融合图像有贡献，它的邻域内的像素也可能对融合图像有贡献，这就意味着我们在进行第一步时，可以根据空间相关性来决定是否对融合图像有贡献。

问题产生()()()()1,...,i i i i y r H r x r w r i N=+=其中r 是像素的空间坐标，y 是第i 幅图像的r 坐标处的灰度值，x 是真实场景在r 处的灰度值的估计，w 是噪声，H 是选择系数，它的值代表了第i 幅图像对融合图像的贡献值。

本文中用0和1分别代表贡献与否。

为简化符号，“（r ）”忽略。

融合问题关键在于H 对x 和的估计。

N 幅源图像,每个图像的模拟为：根据最大后验准则（MAP ）有：,ˆˆ{,}arg [(,|)]max H X H X P X H Y ⎧⎫=⎨⎬⎩⎭由于计算量过大，我们分解这个算法为两个子问题，并且迭代地解决这两个问题：11ˆˆarg [(|,)]ˆˆarg [(|,)]max max n n H n n X H P H Y X X P X Y H ++⎧⎫=⎨⎬⎩⎭⎧⎫=⎨⎬⎩⎭算法一•只有H 用到马尔科夫随机场，该算法记为MRF_H 。

•假设H 服从吉布斯概率分布的MRF 特性，得出其概率分布函数，利用贝叶斯准则、每个像素的噪声是独立同分布的等先验知识，H的最优估计为：1ˆarg{(())}min n HH E H +=•运用退火算法，进一步优化该算法H的结果。

对于x的估计，迭代算法如下：•A．对H和x进行初始估计（包括噪声方差和H的概率分布函数）；•B．每次迭代获取新的H的估计（利用吉布斯分布函数和吉布斯采样）；•C．更新融合图像；•D．重复计算B和C直到收敛。

算法二•算法中H 和融合图像的模拟都用到马尔科夫随机场，记为MRF_HX 。

•类似于对H 的估计，x 可以优化为：1ˆarg{(())}min n XX X +=V•整个获得最优解的过程如下：•A．初始化估计H和x（包括噪声方差、H和x的概率分布函数）；•B．每次迭代获得新的H；•C．更新融合图像；•D．重复B和C直至收敛。

四、基于脉冲耦合神经网络多聚焦图像融合由于现今根据不同距离获取同一物体场景的限制，导致摄影成像出现不是很清新情况，这种情况是可以克制的，采用不同的相机拍摄，用多幅图像融合，这种融合是在现有对图像分割的方法，融合源图像块融合脉冲耦合神经网络（PCNN）的基础上进行多聚焦图像融合，其清晰度可见。

脉冲耦合神经网络在图像融合过程中起着重要的作用，在选择质量最好的融合后图像的图像块。

融合方一个脉冲耦合神经网络适合于应用在图像融合技术的方法，提出了通过减少处理时间和计算复杂度。

提出的改变是在PCNN的链接和饲养领域。

该研究提出了一种多聚焦图像融合方法与拉普拉斯（EOL）空间频率（SF）和能源使用改变PCNN （MPCNN）清晰度。

提出更好的融合图像质量，与传统的PCNN相比，图像融合方法使用MPCNN 可以减少均方根误差（RMSE）和计算时间。

PCNN模型介绍研究猫的视觉神经活动时，提出了基于脉冲耦合神经元的神经网络。

随后PCNN方法得到了较大的发展，常用的脉冲耦合神经网络是在文献提出的网络基础上进行修改而构建的，给出了单层的、各神经元横向连接的简化神经网络模型。

PCNN模型的神经元由3个部分组成：神经分支树，调制耦合器，脉冲产生器.,()(1)(1)(1)F aij ij F ijkl ij ijk lF n e F n V w Y n S -=-+-+∑,()(1)(1)(2)L a ij ij L ijkl ij k lL n e L n V m Y n -=-+-∑()()(1())(3)ij ij ij U n F n L n β=+1()(1)()(4)0ij ij ij U n T n Y n othrtwise >-⎧=⎨⎩()(1)()(5)t aij ij T ij T n e T n V Y n -=-+PCNN 的数学模型描述为：其中，式(1)、式(2)组成图1第1部分为神经元分支树，F 、L 分别表示馈送域和链接域；W 和m 分别表示突触权重系数；S 是输入神经元；V 是规范化常数；a 是时间衰减常数。

式(3)形成图1第2部分调制耦合器，U 表示神经元的内部状态； 是连接参数。

式(4)、式(5)构成图1第3部分脉冲产生器，T 是脉冲产生的阈值，这是一个动态值。

馈送域的神经元与链接神经元耦合处理后，比较耦合神经元的状态值U 与T 阈值的大小，当U>T 时，当前馈送域神经元点火成功，产生脉冲。

MPCNN模型：结论传统PCNN 模型具有处理速度慢，其因为是计算的复杂性。

本论文提出多聚焦图像融合算法使用MPCNN 。

EOL 和SF 是用来测量不同大小的块的图像的清晰度。

该方法不需要训练，因为PCNN 的连接能力。

MPCNN 两种不同类型的核矩阵的高斯和1 / r 的分布已被用于不同的链接字段评估。

的值是通过使用迭代方法决定。

实验结果表明，图像的融合MPCNN 用在1 / R 内核矩阵作为链接字段，执行比采用传统PCNN 的图像融合更好。

获得更好的融合图像质量与减少均方根误差，从计算时间来考虑的话，建议使用MPCNN 图像融合。

二．基于分层的PCA图像融合•本文提出了结合金字塔分解和主成分分析（PCA）的图像融合算法模型。

所提出的算法在金字塔分解的各个尺度上做基于在金字塔分解和区域进行逐像素的融合。

结论传统PCNN模型具有处理速度慢，其因为是计算的复杂性。

本论文提出多聚焦图像融合算法使用MPCNN。

EOL和SF是用来测量不同大小的块的图像的清晰度。

该方法不需要训练，因为PCNN的连接能力。

MPCNN两种不同类型的核矩阵的高斯和1 / r的分布已被用于不同的链接字段评估。

的值是通过使用迭代方法决定。

实验结果表明，图像的融合MPCNN用在1 / R内核矩阵作为链接字段，执行比采用传统PCNN的图像融合更好。

获得更好的融合图像质量与减少均方根误差，从计算时间来考虑的话，建议使用MPCNN图像融合。

1(,)I x y2(,)I x yImage-1和Image-2分别为输入图像和的图像金字塔基于分层PCA图像融合模型•用核PCA 的图像融合是通过3×3的窗口来计算输入核的每个像素的权重。