多尺度分解算法与融合规则优化组合的双模态红外图像融合
基+于多尺度图像融合方法研+究
II
重庆大学硕士学位论文
英文摘要
transform which has the trait of shift invariance. the pyramid decompose of nonsubsampled is taken place by the newly obtained transform. Unifying this new transform with a certain fusion rule, a novel algorithm of image fusion based on the nonsubsampled lifting wavelet-Contourlet transform is obtained. Experimental results show that the new algorithm, compared with the nonsubsampled Contourlet transform method, can extract more useful information from the source image and pour the information into the fusion image, thus obtain a better performed fusion image.
③ A novel image fusion algorithm is proposed based on nonsubsampled Contourlet transform with the region contrast and spatial frequency ratio as fusion rules limit. For the fusion of visible and infrared image of the same scene, a weighted average scheme based on the physical features of images is proposed for choosing the low-frequency coefficients. With the high-frequency coefficients, a selection principle is proposed based on region contrast and spatial frequency ratio. The experimental results show that the method compared with the traditional simple fusion method and the regional energy fusion rule can be better in visual quality and objective evaluation criteria;
基于多模态特征图融合的红外热图像目标区域提取算法
第38卷第1期2019年2月红外与毫米波学报J.Infrared M illim.WavesVol. 38 !No.1February,2019文章编号"1001 -9014(2019)01 -0125 -08 DOI: 10.11972/j.i n.1001 -9014.2019. 01.019基于多模态特征图融合的红外热图像目标区域提取算法朱莉，张晶，傅应锴，沈惠，张守峰，洪向共！(南昌大学信息工程学院，江西南昌330031)摘要:红外热图像目标区域（Region of In te rs，ROI)提取对故障检测、目标跟踪等有着重要意义.为解决红外热图像干扰多、需人工标记及准确率低等问题，提出一种基于多模态特征图融合的红外热图像RO I提取算法.通过对比度、熵及梯度特征构建多模态特征图并进行区域填充，实现ROI提取.将新算法应用于实际采集的光伏太阳能板图像中.结果表明，新算法具有平均查准率高（93.0553%)、平均查全率高（90.2841% )、G指数和：指数均优于图割法，人工标记少等优点，可有效用于红外热图像RO I提取.关键词：红外热图像;对比度；熵;梯度中图分类号"TP391.41 文献标识码：AInfrared thermal image ROI extraction algorithmbased on fusion of multi-modal feature mapsZ H U L l，Z H A N G J in g，F U Y in g-K a l，S H E N H u l，Z H A N G S ho u-F en g，H O N G X ia n g-G o n g*(Information Engineering School of Nanchang University，Nanchang330031，China)A b s tra c t: Infrared therm al im ageregion o f interest(R O I) extraction has im portant significance fo r fa u ltdetection，target tracking and so on.In order to solve the problems o f many infrared therm al image disturbances，a rtific ia l markers and low accuracy，a R O I o f infrared therm al image extraction algorithmbased on fusion o f m ulti-m odal feature map is proposed.M ulti-m o da l feature maps are con contrast，entropy，and gradient features，and region fillin g is perform ed to achieve R O I extraction.New algorithm is a pplied to actual collected photovoltaic solar panel im age.Sim ulation results showthat the proposed algorithm has high average precision(93.055 3 F)，high average recall(90. 2841F)，.1index and5index are better than Grab C u t，less a rtific ia l m arks，etc.. It can be effectively used fo r R O I extraction o f infrared therm al images.K ey w o rd s: infrared therm al im age，contrast，entropy，gradientPACS: 07.05.P j引言红外热成像技术是以接受景物自身各部分辐射 的红外线来进行探测，利用景物自身各部分辐射的 差异获得图像的细节，实质是一种波长转换技术[1*.随着红外热成像技术的不断发展，基于红外热图像的图像处理技术已经成为一项独立的、具有 鲜明特色的研究方向.红外热图像的目标区域（Region of Interest，R O I)提取对故 障检测 、目标跟踪等 有着重要意义[23].然而，由于景物热平衡、传输距 离、大气衰减及仪器成像系统参数等原因使得红外 热图像存在清晰度低、边缘模糊、信噪比低以及干扰收稿日期：2018-04- 03,修回日期：2018- 05- 08 Received date: 2018- 04- 03，revised date: 2018- 05-08基金项目：国家自然科学基金资助项目（61463035)，中国博士后科学基金资助项目（2016M592117)，江西省科技厅科学基金资助面上项目(20161BAB202045)，江西省博士后科研择优资助项目（2016KY01)，江西省科技厅杰出青年基金项目（2018ACB21038)Foundation items:Supported by National Natural Science Foundation of China (61463035)，China Post(doctoral Science Foundation (2016M59 Science and Technology Department of Jiangxi Province Science Fund Project (20161BAB202045)，Jiangxi Province Postdoctoral Foundation (2016KY01)，Science and Technology Department of Jiangi Province Outstanding Youth Fund Project (2018ACB21038)作者简介（Biography):朱莉（1982-)，女，江西南昌人，副教授，博士研究生，研究领域为图像处理、信号处理和机器学习.E-mail: liZ hu@nc.* 通讯作者（Corresponding author): E-mail:lizhu@ncu. edu. cn126红外与毫米波学报38卷复杂 [4]-实中，干扰主要包括：（1)导热构 扰.不同的构 出同的干扰，于目 与干扰 存 似性，导致难以准确提取目标区域.（2)天气干扰.阴天的温度和光线 使得目 与 度 ，位 .因此，提出新的红外热图像的提取算法，以有 分出复杂红外热图像中的目是十分有必的.红外热图像的 提取可以分为基于数字图像理的 与基于统计学的 .目前，研究者已经提出多种图像处理 ，AEm=等提出阈值分割的[5];X i a R等提出 分析 [6]%提出基于微分方程的图像目标提取[7];Zha〇提出红外 杂波 滤波法[8].分的信嗦，或目 与干扰 度 ，以上提取出的结果 存在目 与干扰 杂的.近年来，基于统计学的目 提 法越来越受人们的 ，如模 C均值法（Fuzzy C M ean，F C M)聚类法[9]，脉冲神经网络（Pulse-Coupled Neural Network，PCNN)[1°].这些 通常需要图像数据进行预先的人工 ，构建模型需人工实验，不断 结果进行分析，力.图(Grab C ut)是微软剑桥研究院提出的著 互图像语义分 ，是一种 分割算法，综合 理和边界两种 ，已被于红外热图像的分割技术中[11].但是 存在分速度慢，迭 率低，杂边缘分完整;Grab C u t算 迭 程中，同的图像，需手动添同的 .文提出一种基于多模态 图融合的红外热图像R O I提取的算法.该算 图像的灰度差，边缘变化，纹理结构 包括 度、熵 度融合 模态 图;滤 波 ，进行充;最终实现目 提取.将本文算实际采集两个月的光伏太阳 红外热图像中.研究结果表明，本文算法提取的目 的率全率分别为93. °553T和9°. 2841T，比Grab C u t算法 有显著提高，且所需人工 数据及人工干预少，因可有 于红外热图像的R O I提取.1多模态特征融合的R O I提取算法1.1算法流程红外热图像，提出一种融合 度、熵以及梯度多模态 的R O I提取算法.算法流程如图1所示.本文提出的红外热图像R O I区域提取算法主 包括三个步骤.2.多模态融合特征图的生成1.特征图像的提取通过覆盖算子线性混合分量图1算法流程图Fig.1The diagram of the proposed algorithm第一步：图像提取.包括 度特征、熵特征以及梯度 .通 度共生矩阵（gray le ve l cooccurrence m a trix，G L C M)计算、通道的 度特征图像和原图像的熵特征图像[12].通覆盖算性 合，图像亮度，数据图中亮度在构建度图 像中的 扰，与 分 分得 度 图像.第二步:多模态融合 图生成.利用中值滤波获 度 ，态学 获得 熵，再与梯度 进行融合，生 模态特征图像.第 三 步：模态 图像进 行预 与填充，进而实现R O I提取.1.2 图像提取1.2.1对比度特征图像提取图像中，度 图像的清晰程度 理深浅的程度.纹理越深，度值越大，越.本文中，采 度共生矩阵的 求原图像的 ，度 图.通道图像的红外热图像主要表，通道图像则表 .合并、分的图像，可以同时表征图像的 与 度.本文将 分量进行 ，组合新的分量，换为灰度图 像. (1)所示 ：<1(j，j)n°.299z(°+°.587xW,%，(1)式（1)中，<1(J，B表示灰度图像，（%，W/°表示原始输 入图像的（、W分量.在=x+大小的图像中，设用 表示中心在点（j，B处，上下距离为^的图像窗口•3( 7S表示在滑动像素块 ，灰度为^的点 某个 位 系$，目的灰度级为J的概率-$-，便可以得到这个点关朱莉等"基于多模态特征图融合的红外热图像目标区域提取算法127 1期于滑动像素块，区域内的对比度值C5(•如式(2)、（3)所示：3(i，j)= ||(i,j ' Sx y)，（2)L Lcon#x,y)= "7 = "(i-j)2P(i j)，⑶式(2)、式（3 )中，i j'表示k度等级，D.表示为空间 中间隔的像素点个数，L表示灰度等级(L=32)，c n (x，y)表示对比度值•求四个不同方=〇。
一种基于小波变换的多尺度多算子图像融合方法
( 1) 对每一输入图像建立其小波变换金字塔 V l 和 Tl 。设矩阵 V 0 表示原始可见光图像 , T0 表示原始红外
可分离多分辨分析 , 对每一 ( j ∈ Z ) 来说 , 尺度函数系 2 2 { Φj ,m ,m | ( m1 , m2 ) ∈ Z } 构成 V j 的规范正交基 , 小波 1 2
Cj 的水平方向的高频分量 , 即图像的竖直边缘 。 Gr Gc
3
3
是两个方向的高频滤波 , 检测的是对角边缘 。由此看 来 , 对一幅图像的小波变换来说 , 即将其分解在不同频 率下的不同特征域上 。 三、 基于小波变换的图像融合金字塔结构 基于小波变换的图像融合 , 就是将待融合的原始图 像首先进行小波变换 , 将其分解在不同频段的不同特征 域上 , 然后在特征域上进行的融合 。所谓多尺度即指多 频段 。 由于小波分解的层式结构所形成的数据量是一个 逐级减少的塔状结构 , 故称其为金字塔结构 , 如图 1 所 示 。基于小波变换的多尺度多算子图像融合正是在这 一结构的基础上进行的 。 基于小波变换的图像融合步骤如下 :
一、 引言 图像融合 ( Image Fusion) 技术是指将多源信道所采 集的关于同一目标的图像经过一定的图像处理 ,提取各 自信道的信息 ,最后综合成统一图像以供观察或进一步 处理 。高效的图像融合方法可以根据需要综合处理多 源通道的信息 ,从而有效地提高了图像信息的利用率 、 系统对目标探测识别的可靠性及系统的自动化程度 。 这诸多方面的优点使得图像融合在医学 、 遥感 、 计算机 视觉 、 气象预报及军事目标识别等方面的应用潜力得到 充分认识 ,尤其在计算机视觉方面 ,图像融合被认为是 克服目前某些难点的技术方向 ; 在航天 、 航空多种运载 平台上 ,各种遥感器所获得的大量光谱遥感图像 ( 其中 分辨力差别 、 灰度等级差别可能很大) 的复合融合 ,为信
基于NSST多尺度熵的红外与可见光图像融合
基于NSST多尺度熵的红外与可见光图像融合
任亚飞;张娟梅
【期刊名称】《兵器装备工程学报》
【年(卷),期】2022(43)7
【摘要】针对红外图像在恶劣环境依据热辐射成像的显著效果,可见光图像具有较好的三维空间分辨率和图像清晰度,提出基于NSST多尺度熵的红外与可见光图像融合方案。
方法区别于传统单一模式的图像融合方案,融合原则基于像素和区域的结合,首先将红外和可见光图像进行NSST多尺度分解,然后在不同的尺度分别对低频和高频系数进行融合,其中融合时权值的选择采用多尺度熵,最后将各个尺度上融合的图像进行逆NSST变换恢复原尺度上的图像。
采用两组道路和室外图像进行验证,对比多种不同策略的融合结果,用11种图像指标评价不同的融合质量,给出该次融合的优势和可行性。
结果证明采用红外和可见光传感器的图像融合,可以改善单类型传感器的图像采集结果,采用基于NSST多尺度熵的融合方案可以提高融合图像的特征值性能,满足融合图像的多方面指标需求,保持融合算法的可行性、实用性和实时性。
【总页数】8页(P278-285)
【作者】任亚飞;张娟梅
【作者单位】洛阳理工学院
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.基于NSST与DBM的可见光与红外图像融合方法
2.基于双通道PCNN的NSST域红外与可见光图像融合
3.基于自适应NSST—PCNN的红外与可见光图像融合方法研究
4.基于NSST与引导滤波相结合的红外与可见光图像融合方法研究
5.基于动态范围压缩增强和NSST的红外与可见光图像融合算法
因版权原因，仅展示原文概要，查看原文内容请购买。
影像融合方法
影像融合是一种将来自不同传感器或不同时间的图像或视频数据融合成一个图像或视频的过程，通常用于提高图像质量、增加信息量、提高目标检测的准确性和改善三维重建效果。
下面介绍几种常见的影像融合方法：1. 像素融合法：这种方法是将两个或多个图像的像素值进行合并，以形成一个新的图像。
通常使用加权平均法或非平均法来合并像素值。
加权平均法可以根据每个像素的重要性或信息价值来分配权重，非平均法则不考虑像素的权重，直接将所有像素的值进行平均。
2. 特征融合法：这种方法是通过提取源图像的特征（如边缘、纹理、颜色等），并将这些特征融合到新的图像中。
这种方法通常用于增强图像的细节和纹理信息，提高目标检测的准确性和鲁棒性。
3. 深度学习融合法：这种方法利用深度学习技术，将多个源图像或视频数据通过神经网络进行融合。
常用的深度学习融合法包括卷积神经网络（CNN）和生成对抗网络（GAN）。
这种方法可以自动学习图像之间的相似性和差异性，并生成新的图像或视频数据，具有很高的灵活性和准确性。
4. 基于小波变换的融合法：这种方法利用小波变换将图像分解成多个频段，并将不同传感器或时间的图像数据分别进行小波变换，然后将相同频段的系数进行合并，形成新的图像。
这种方法可以有效地融合不同传感器或时间的图像数据，提高图像的质量和信息量。
5. 基于多尺度几何的融合法：这种方法利用多尺度几何理论将图像分解成多个尺度和形状，并将不同传感器或时间的图像数据分别进行多尺度几何变换，然后将相同尺度和形状的特征进行合并，形成新的图像。
这种方法可以有效地融合不同传感器或时间的图像数据，提高目标检测的准确性和鲁棒性。
总之，影像融合方法有多种，可以根据不同的应用场景和需求选择适合的方法。
同时，随着计算机技术和人工智能技术的不断发展，影像融合技术也在不断改进和完善，未来将有更多的新方法和新技术出现。
红外与可见光图像融合算法研究
红外与可见光图像融合算法研究红外与可见光图像融合算法研究摘要：随着红外与可见光图像获取技术的发展，红外与可见光图像融合技术展现了其巨大的应用潜力。
本文通过对红外与可见光图像融合算法的研究，探索其在军事、安防、医疗等领域的应用，并比较了目前常用的融合算法的特点和优劣。
关键词：红外图像、可见光图像、融合算法、应用潜力、特点、优劣一、引言红外与可见光图像融合技术是将红外与可见光图像信息相互融合，提取双方图像的优势特征，实现整体图像质量的提高与增强。
随着红外与可见光图像获取技术的不断进步，红外与可见光图像融合技术在军事、安防、医疗等领域的应用也越来越广泛。
二、红外与可见光图像融合算法的研究与应用1. 学习和融合算法学习和融合算法是常用的图像融合方法之一，它将可见光图像和红外图像作为训练样本，通过学习的方法将两种图像的特征进行融合。
该算法不仅能够提高图像的清晰度和细节表现力，还能够提高图像的目标检测和识别能力。
在军事领域，该算法被广泛应用于无人机、导弹等武器系统的目标识别与跟踪。
然而，该算法对训练样本的质量和数量要求较高，且实时性较差。
2. 基于传统方法的图像融合算法基于传统方法的图像融合算法主要包括像素级融合、小波变换融合和相关融合等。
其中像素级融合算法是最简单的一种方法，它将红外图像和可见光图像的像素进行简单的加权平均。
该算法的优点是实现简单，且实时性较好，但其融合效果较为粗糙，细节信息展示不够明显。
小波变换融合算法能够更好地提取图像的低频和高频信息，实现了对图像的多尺度分析，但其计算复杂度较高。
相关融合算法是在空间域和频域两个方向上进行融合，能够更好地保留图像的细节信息，但其对噪声比较敏感。
3. 深度学习方法近年来，深度学习方法在图像处理领域取得了巨大的突破，红外与可见光图像融合算法也采用了这一方法。
深度学习方法通过神经网络的训练，能够自动提取图像的特征信息，并实现更精确的融合效果。
例如，将红外图像和可见光图像作为输入，通过卷积神经网络进行训练，得到融合后的图像。
三尺度分解和稀疏表示的红外和可见光图像融合
三尺度分解和稀疏表示的红外和可见光图像融合冀鲸宇;张玉华;邢娜;王长龙;林志龙;姚江毅【期刊名称】《光谱学与光谱分析》【年(卷),期】2024(44)5【摘要】为提高对含噪声源图像的处理效果,以及提高融合图像的对比度、结构信息等,提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合算法。
首先,为增强对噪声的去除效果,并且维持源图像的结构和边缘特性,利用滚动引导滤波器对源图像进行分解,将源图像分解为基础层和细节层;其次,为充分利用基础分量中的细节和能量,同时降低模型的复杂性,构造结构-纹理分解模型,将基础层再次分解为基础结构层和基础纹理层。
然后分析三个分量的不同特点,使用不同的融合规则对三个分量分别进行融合,针对细节分量,其含有主要的噪声成分,但含噪声程度又不一样,因此根据图像含噪声的程度自适应确定稀疏融合去噪参数,从而同时实现对细节分量的融合和去噪,并且能够有效地提高计算效率;针对基础结构分量,其包含的细节特征较少,直接采用基于视觉显著图的加权平均技术进行预融合;针对基础纹理分量,由于其包含了视觉上重要的信息或图像特征,如边缘、直线和轮廓等活动信息,能够反映出原始基础图像的主要细节,因此采用主成分分析方法进行预融合,最终通过重构细节、基础结构和基础纹理层来得到融合图像。
为验证所提方法的有效性,选取了多组红外和可见光图像进行试验,并与近期的五种方法CNN、FPDE、ResNet、IFEVIP、TIF进行了对比,采用主观和客观的形式对结果进行分析。
实验结果表明,同其他图像融合算法进行对比分析,该方法能够兼顾含噪声和无噪声图像的融合,在有无噪声的情况下均能够将源图像的细节、亮度和结构保留到融合图像中,而且能有效地消除噪声。
【总页数】14页(P1425-1438)【作者】冀鲸宇;张玉华;邢娜;王长龙;林志龙;姚江毅【作者单位】陆军工程大学石家庄校区【正文语种】中文【中图分类】TP391【相关文献】1.二尺度分解和显著性提取的红外与可见光图像融合2.多尺度分解和八度卷积相结合的红外与可见光图像融合3.基于多尺度局部极值分解与ResNet152的红外与可见光图像融合4.基于引导滤波二尺度分解的红外与可见光图像融合因版权原因，仅展示原文概要，查看原文内容请购买。
基于NSCT的红外与可见光图像融合算法研究
基于NSCT的红外与可见光图像融合算法研究摘要：本研究提出一种基于NSCT的红外与可见光图像融合算法。
首先，采用NSCT对红外与可见光图像进行二维小波变换得到子带系数，然后对于每个子带系数，根据不同的融合规则进行权重计算和融合处理。
具体而言，我们将图像融合问题划分为低频和高频两个部分，低频部分采用平均融合规则，高频部分采用细节增强融合规则。
最后，通过定量和定性实验验证了所提算法的有效性和优越性。
关键词：NSCT；红外图像；可见光图像；图像融合；小波变换；细节增强引言红外与可见光图像的融合是一种将两幅不同波段的图像信息融合为一幅具有更全面、更丰富信息的图像的技术。
该技术在许多领域具有重要的应用，如安防领域的人脸识别和目标跟踪等。
但是由于两幅不同波段的图像具有不同的特征和分布规律，如何有效地进行融合成为了一个重要的研究问题。
小波变换是一类广泛应用于图像处理的信号处理技术，其优点在于能够将信号分解为低频和高频两部分。
近年来，小波变换已经被广泛应用于图像融合领域。
然而，传统的小波变换无法适应长时间和复杂场景下的图像融合需求。
为此，我们提出了一种基于NSCT的红外与可见光图像融合算法。
NSCT是多尺度和多方向的小波变换方法，其对于复杂场景和细节保持能力更强。
在本研究中，我们将NSCT应用到红外与可见光图像融合中，通过对子带系数进行权重计算和融合处理，实现了更加准确和细致的图像融合。
方法1. NSCT变换NSCT是一种利用带通滤波器对图像进行多尺度和多方向的小波变换。
在本研究中，我们采用了NSCT对红外与可见光图像进行融合处理。
具体而言，我们将图像分解为$L$层小波系数，其中第$i$层的系数用$w^{(i)}(x,y)$表示。
NSCT变换过程如下：$$w^{(i)}(x,y)=\sum_{m=1}^{M_i}\sum_{n=1}^{N_i}h_{m,n} ^{(i)}(z_{m,n}^{(i)} \ast f^{(i)}(x,y))$$其中，$h_{m,n}^{(i)}$表示第$i$层的带通滤波器组成的矩阵，$z_{m,n}^{(i)}$表示第$i$层的带通系数。
双波段红外图像融合的小波分维算法
收稿日期:2004-07-02.作者简介:孙玉秋(1968-),女,博士研究生;武汉,华中科技大学图像识别与人工智能研究所(430074).E -mail :y uqiusun @163.co m基金项目:国防科技预研基金资助项目.双波段红外图像融合的小波分维算法孙玉秋 田 岩 彭代强 田金文(华中科技大学图像识别与人工智能研究所,湖北武汉430074)摘要:针对双式红外(中红外和长红外)提出了一种基于小波的分维融合算法.通过小波变换,分别对中波红外和长波红外的两幅图像进行小波分解,在小波变换域低频部分对小波系数用能量融合,高频部分采用分形分维进行融合,得到变换域中各个频带的融合图像,然后反变换进行重构,获取融合后的图像.实验结果表明,根据用分维进行数据融合的方法来确定两幅不同原图像在融合图像中所占的信息比例,可以有效地保留两幅原图像的边缘和纹理特征,避免融合图像平均化而出现的模糊现象,融合后的图像综合了两幅原图像的不同特征,使得处理后的图像更容易识别.因此,提出的双波段红外图像的小波分维融合算法是有效的,并且可以取得较好的效果.关 键 词:双波段图像融合;分维;小波变换;数据融合中图分类号:T P391.4 文献标识码:A 文章编号:1671-4512(2005)04-0041-03Algorithm of wavelet fractal dimension based ontwo -hand infrared data fusionSun Y uqiu Tian Y an Peng Daiqiang Tian JinwenA bstract :The paper put forw ard a fractal dimension algo rithm based on w avelet transformation acco rding to property of tw o -band (mid -wave and long -w ave )infrared image ,decomposing mid -wave and long -w ave infrared images based on w avelet transformation respectively .Computing the fractal dimension of w avelet coefficients at high frequency in w avelet transfo rm domain and fuse horizontal ,vertical and diagonal coeffi -cients of the tw o images separately took fractal dimension as weight before reconstructio n .Then a fusion image was given .The experiment results show that the algorithm of fractal dimension to fuse two images from different source can confirm their message proportion accounted for among merging image and keep the feature of edge and tex ture so as to avoid the fuzzy phenomenon caused by fusing them equally .It is easier to recognize the target in fused image because it sy nthesizes different characters of the tw o im ages .Thus ,the algorithm of w avelet fractal dimension on tw o -band infrared fusion presented in the paper is ef -fective and can make better result .Key words :two -hand infrared image fusion ;fractal dimension ;wavelet transformation ;data fusion Sun Yuqiu Docto ral Candidate ;Institute for Pattern Reconition and AI ,Huazhong Univ .of Sci .&Tech .,Wuhan 430074,China . 图像融合在某种程度上解决了单一传感器获取的单波段图像的不确定性问题,由于红外技术自身的特点,单一的红外探测器有一定的局限性,有时用中波红外探测器难以发现的目标,用长波红外探测器就可以有效地检测出来,而长波红外探测器在潮湿海面上的探测能力远远不如中波红外探测器[1].于是,本研究尝试把长波红外与中波红外这两个波段的信息结合起来,以增强系统应付复杂环境和抵抗干扰的能力.多传感器信息结合的关键是数据融合算法的选择,传统的算法第33卷第4期 华中科技大学学报(自然科学版) Vol .33 No .42005年 4月 J .Huazhong U niv .of Sci .&Tech .(N ature Science Edition ) Apr . 2005DOI :10.13245/j .hust .2005.04.013有方差融合、基于边缘算子融合及贝叶斯[1]、聚类分析理论[2]、模糊集理论[3]、人工神经网络[4]等,这些方法虽然对某些类型的图像取得了一定的效果,但同时也存在一定的不足之处.针对双波段红外(中红外和长红外)图像的特点,本文提出了一种新的图像融合方法———双波段图像融合的小波分形分维算法,以刻画图像的精小细节,取得了较好的实验效果.1 算法原理小波变换具有许多优良的特性[5],原始图像经小波变换可分解为一系列具有不同空间分辨率的子图像,这些子图像分别含有低频部分和高频部分,其中低频图像反映了原始图像近似和平均特性,高频图像体现了原始图像的突变性.本文采用Mallat小波变换算法.设二维图像{I0(m,n)},对于给定的尺度和小波函数,可用下式进行分解: I k(i,j)=∑m ∑nI k-1(m,n)·h(2m-i)h(2n-j);(1) d H k(i,j)=∑m ∑nI k-1(m,n)·h(2m-i)g(2n-i);(2) d V k(i,j)=∑m ∑nI k-1(m,n)·g(2m-i)h(2n-j);(3) d D k(i,j)=∑m ∑nI k-1(m,n)·g(2m-i)g(2n-j),(4)式中h和g分别表示理想低通和高通滤波器响应函数.分解后的图像重建过程是I k-1(m,n)=I k+d H k+d V k+d D k. 在对图像分解之后,分别对水平、垂直和对角三个方向的高频部分应用分维进行融合,然后再进行重建.分形理论是一种非线性理论,分形的维数(简称为分维)可以定量地刻画分形的特点,用以描述图像的特征.根据分维的性质[6],可以用分维融合中红外和长红外图像.常用的分维有容量分维、概率分维和关联分维[7].2 基于小波变换的分维融合算法本文将小波变换和分维加以集成来构成一种新的融合方法,其基本思路大致描述如下:因为对许多图像来说,低频成分蕴含着图像的特征,高频成分给出了图像的细节或差别,所以在进行数据融合之前,先对图像进行小波分解,将原始图像分解成低频图像和高频图像.低频图像反映了原图像的近似和平均性,集中了原图像的大部分信息,对低频部分采用能量加权的方法进行融合;高频图像反映了原图像的突变特性,对高频部分分别沿着水平方向、垂直方向和对角方向采用分维的方法进行融合(如图1所示).图1 小波分维融合示意图这里采取类似容量分维的方法来计算一幅图像的分形维数.把一幅M×M图像I用1×1的正方形将其覆盖,分别以ε=1/2,1/4,1/8,1/16,…为度量单位,把图像均匀地分成(1/ε)×(1/ε)个小正方形,计算每个小正方形图像的最大灰度值与最小灰度值的差(f m ax-f min),并把(1/ε)×(1/ε)个正方形的最大灰度值与最小灰度值的差求和记作N(εi)=∑(f max-f m in),(5)式中∑是对给定的ε所对应的正方形的个数求和.对于每个εi(i=1,2,…,n)及对应的N(εi) (i=1,2,…,n),分别以10为底取对数,然后用直线lg N(εi)=a+b lgεi来拟合,也就是说只需要Q(a,b)=∑(lg N(εi)-a-b lgεi)2最小即可.取Q分别关于a和b的偏导数,并令它们等于零,即Q/ a=-2∑(lg N(εi)-a-b lgεi)=0; Q/ b=-2∑(lg N(εi)-a-b lgεi)lgεi=0.得到正规方程组:na+∑lgεi b=∑lg N(εi);∑lgεi a+∑lgε2i b=∑lgεi lg N(εi).因为εi取值完全不同,所以此正规方程组的系数42 华 中 科 技 大 学 学 报(自然科学版) 第33卷行列式 n∑lg εi ∑lg εi ∑lg ε2i =n ∑(lg εi )2-∑lgεi 2=n ∑(lg εi -lg ε)2≠0. 因此该方程组有惟一解 a =1n ∑lg N (εi )-bn ∑lg εi =N ( εi )-b ε; b =n∑lg εi lg N (εi )-∑lg εi ·∑lg N (εi )n ∑(lg εi )2-∑lg εi 2=∑(lg εi - ε)[lg N (εi )-N ( εi )]∑(lg εi - ε)2,式中: ε=(1/n )∑lg εi ;N ( ε)=(1/n )∑lg N (εi ).为了计算上的方便,引入记号: S εε=∑(lg εi - ε)2=∑(lg εi )2-1n∑lg εi 2;(6) S εN =∑(lg εi - ε)(lg N (εi )-N ( εi ))=∑lg εi lg N (εi )-1n ∑lg εi∑lg N (εi ).(7)这样就可以把b 写成b =S εN /S εε,(8)b 就是所求的分维.综上所述,本文提出的小波分维融合算法的步骤如下.步骤1 读入不同波段的两幅图像,并应用式(1)～(4)分别进行一层小波分解,获取各自的低频图像和高频图像.步骤2 对两幅图像的低频部分采用能量融合.设图像I 1的能量是E 1,图像I 2的能量是E 2,融合后低频部分为A =E 1A 1/(E 1+E 2)+E 2A 2/(E 1+E 2).步骤3 高频部分用分维算法融合.分别计算两幅图像的分维数:a .分别用ε=1/2,1/4,1/8,1/16,1/32,1/64,1/128(相当于n =7)把两幅图像分别分成2×2,4×4,8×8,16×16,32×32,64×64,128×128个小正方形;b .应用式(5),对于每个εi 计算每幅图像相应的N (εi )(i =1,2,…,7);c .对每个εi 和N (εi )(i =1,2,…,7)分别以10为底取对数;d .对两幅图像分别由各自点对lg (N (εi ),lg εi )(i =1,2,…,n )拟合出两条直线,应用式(6)～(8)计算出这两条直线的斜率,计算出的斜率分别是这两幅图像的分维K 1和K 2;e .对于高频部分,分别沿着水平、垂直和对角三个方向根据分维数加权平均.那么水平方向融合值H =K 1H 1/(K 1+K 2)+K 2H 2/(K 1+K 2),垂直方向融合值V =K 1V 1/(K 1+K 2)+K 2V 2/(K 1+K 2);对角方向融合值D =K 1D 1/(K 1+K 2)+K 2D 2/(K 1+K 2).步骤4 把根据能量融合的低频成分A 和沿着水平、垂直和对角三个方向根据分维数加权后的高频成分H ,V 和D ,用离散正交小波逆变换得到融合图像结果.3 实验与分析分别对取自同一目标、同一背景的中波红外图像和长波红外图像,用本文提出的基于小波变换的分维算法进行融合实验,结果如图2所示.图2 中红外、长红外图像与分维融合图像对比从图2(a )和(c )中圆圈部分可以看出(a )比较模糊,(c )比较清楚.从(b )和(c )的长方形部分可以看出,(c )中显示出了(b )中没有突出的细节.因此,从直觉上看(c )明显优于图像(a )和(b ).对两个原始图像图2(a )和(b ),还分别采用基于方差、能量和边缘算子的方法来融合图像.得到实验结果如图3所示.图3 基于方差、能量和边缘算子融合的图像从图3可知,用能量融合、方差融合以及边缘算子融合较之于本文的方法,从中很难发现有明显的视觉差异,为了客观评价,现分别计算4种融合图像的指标:信息熵和方差,其熵和方差值如表1所示.尽管从主观视觉上,本文(下转第46页)43第4期 孙玉秋等:双波段红外图像融合的小波分维算法 低,比Modelsim 5.6提供的方法稍高,因为在本算法中,一个周期要完成4个周期的工作.在这三种方法中,尽管M odelsim 5.6提供的平方根计算方法频率适中,资源占用比稍小,但是,由前面的分析结果可知,它的计算误差为1,运算精度较低;资料①虽然频率较高,但是,占用资源最多,面积最大,而且同Modelsim 5.6提供的方法一样,属于多周期计算,即计算一个8位宽整数的平方根需要4个时钟周期;相对于以上两种方法,本文的方法除了面积最小、频率适中以外,计算延迟也最小,只需一个时钟周期就可完成8位数据的开平方计算,而且计算误差只有0.6.因此,本文提出的方法适用于工作频率适中,对计算速度和面积要求较高的场合.以上结论是在数据位宽为8的情况下得出的,当位宽小于8时,本算法的性能明显好于其他两种方法,但是,在位宽大于8时,它的有效性还有待于进一步研究.参考文献[1]Fly nn M J .On divisio n by functio nal iteration [J ].IEEE Trans Co mputers ,1970,19:702—706[2]Oberman S F ,Fly nn M J .Design issues in divisio n andother floating point operations [J ].IEEE T rans Com -puters ,1997,46(2):154—161[3]Soderquist P ,Leeser M .Area and perfo rmance tradeoffsin floating point divide and square roo t implementations [J ].ACM Computer Survey s ,1996,28(3):518—564[4]Ergegov ac M D ,Lang T .Division and square root :dig -it -recurrence alg orithms and implementations [M ].Holland :K luwer A cademic Publisher ,1994.[5]Lang T ,Mo ntuschi P .Very -high radix square root w ithprescaling and rounding and a combined division /square root unit [J ].I EEE T rans Computers ,1999,48(8):827—841[6]Ercegov ac M D ,Lang T ,M uller J M ,et al .Improvinggoldschmidt division ,square roo t ,and square roo t re -ciprocal [J ].IEEE T rans Computers ,2000,49(7):759—763①To mmiska M T .Area -efficient implementation of a fast square root algo rithm .P roceedings of the 2000Third IEEE International Caracas Conference ,2000.S18/1-S18/4(上接第43页)表1 不同方法融合结果的比较分维融合能量融合方差融合边缘算子融合方差47.698547.296546.420946.3501信息熵1.26641.20211.25291.2364方法与基于局部能量、方差以及边缘算子融合方法难分优劣,但从客观评价指标方差和信息熵的计算结果(表1)中可以看出分维融合算法较优于方差融合、能量融合以及边缘算子融合的结果.本文提出的用分维进行数据融合的方法来确定两幅不同原图像在融合图像中所占的信息比例,可以有效地保留两幅原图像的边缘和纹理特征,避免融合图像平均化而出现的模糊现象,融合后的图像综合了两幅原图像的不同特征,使得处理后的图像更容易识别.实验结果表明,本文提出的双波段分维融合是有效的,另外,此方法还可以用在多谱段图像识别和医学成像等领域.参考文献[1]Barnes H ,Bur ke P ,Caneer A ,et al .M id -wave andlong -wave infrared polarimetric sensors [J ].Aerospace Conference ,1999(4):87—93[2]席学强.目标识别中的信息融合技术[J ].国防科技,1998,19(1):17—23[3]刘 源,谢维信.多传感器图像模糊融合算法在图像识别中的应用[J ].西安电子科技大学学报(自然科学版),2000,27(1):5—9[4]张兆礼,孙圣和.基于一维自组织神经网络的图像数据融合算法研究[J ].电子学报,1999,10(6):74—79[5]程正兴.小波分析算法与应用[M ].西安:西安交通大学出版社,1998.[6]范 策,吕耀兴,张晓慧.分维分割编码与重构[J ].计算机工程与应用,2000(6):60—63[7]刘承祚.分形理论及其在地学中的应用[J ].地理科技,1994(5):13—1946 华 中 科 技 大 学 学 报(自然科学版) 第33卷。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第12卷第2期 2017年1月中国科技论文CHINA SCIENCEPAPERVol. 12 No. 2Jan. 2017
多尺度分解算法与融合规则优化组合 的双模态红外图像融合
吕胜，杨风暴，吉琳娜(中北大学信息与通信工程学院，太原030051)
摘要:针对现有双模态红外图像多尺度分解算法与融合规则的组合关系不能随着图像特征的不同而改变的问题，提出基于不
同图像特征的多尺度分解算法与融合规则优化组合的融合方法。首先分析比较了 7种常用多尺度分解算法对图像结构、边缘、
纹理特征的提取效果;其次利用8种典型的融合规则对上述特征进行融合，并分析融合效果；最后提出了选择优化组合的融合 效果分作为依据，构建了不同组合融合效果分数图，利用该分数图得出对于单特征与双特征融合的优化组合算法。实验结果表 明，该优化组合方法对于不同图像特征的融合效果具有明显提升。关键词：图像融合;双模态红外图像；多尺度分解；融合规则；优化组合
中图分类号:TP391. 41 文献标志码：A 文章编号= 2095 - 2783(2017)02 - 0161 - 07
Dual-mode infrared image fusion based on the optimized combination of multi-scale decomposition and fusion rules
LU Sheng, YANG Fengbao, JI Linna(.School of Information and Communication Engineering, North University of China，Taiyuan 030051? China)Abstract： The existing combination of the multi-scale decomposition algorithm and the fusion rule for the dual-mode infrared images can not adjust with the image feature. Aiming at this problem, this paper proposes an optimal combination fusion method of multi-scale decomposition algorithm and fusion rule based on different image features. Firstly, the effect of seven commonly used multi-scale decomposition methods on image structure, edge and texture features are analyzed and compared. Secondly, eight typical fusion rules are used to fuse the above features and analyze the fusion results. Finally, based on the selecting the optimal combination -fusion effect points? the fractional map of fusion effects are constructed, and the optimal combination algorithm of single feature and double feature fusion are obtained from images. Experimental results show that this proposed method has a significant improvement on the fusion results of different features.Keywords： image fusion； dual-mode infrared image； multi-scale decomposition； fusion rules； optimal combination
红外偏振与光强是红外图像的2种模态，分别 描述物体图像的不同属性，将2类图像进行融合，能 够更全面地描述目标信息，提高图像视觉效果，有利 于目标识别、目标探测等[1]。多尺度融合是双模态 红外图像融合的常用方法。随着红外偏振探测技术 的发展，图像场景日益复杂。如果所选择的分解算 法与融合规则不具有针对性，将导致部分图像特征 的融合效果不佳。因此，如何选择分解算法与融合 规则，并进行优化组合，成为得到优质融合图像的 关键。当前，双模态红外图像多尺度融合算法的选择 主要考虑了分解算法或融合规则本身的优势，并没 有考虑图像特征与两者组合之间的关系。文献[2] 利用自适应小波变换对图像进行融合，其算法通过 改变不同小波类型得到更好的融合图像;文献[3]利 用小波变换对红外偏振图像进行融合，图像信息量
可以得到提高;文献[4]将双树复小波变换应用于红 外偏振与光强图像融合，融合图像的信息量、对比度 均有提高。但以上3种方法没有考虑不同小波与图 像特征之间的关系，导致图像特征融合缺少针对性。 文献[5]利用非下采样剪切波变换(NSST)进行红外 偏振图像融合，其算法对图像特征的提取具有很好 的效果，但是对融合规则与图像特征之间的联系缺 乏考虑。本文课题组[&9]提出了基于最小二乘向量 机的支持度变换(SVT)与多合成规则以及差异特征 驱动的双模态红外图像融合方法。上述文献[2-9]考虑了图像特征与多尺度分解方 法、融合规则的单独关系，但是没有考虑与两者组合 之间的关系。针对上述问题，本文提出了基于多尺 度分解算法与融合规则优化组合的双模态红外图像 融合方法，通过计算不同组合的融合效果分数，得出 针对结构、纹理、边缘单特征或双特征的优化组合方
收稿日期：2016-12-06基金项目：国家自然科学基金资助项目（61672472);中北大学科学研究基金资助项目（XJJ2016024);中北大学研究生科技立项(20161337)
第一作者：吕胜(1992—），男，硕士研究生，主要研究方向为红外图像融合 通信作者：杨风暴，教授，主要研究方向为红外图像处理，yangfb@nuc. edu. cn162中国科技论文第12卷
法，根据图像特征的不同，动态调整分解算法与融合规 则的组合关系，得到更具有针对性的特征融合图像。1多尺度分解特征提取效果分析
多尺度分解算法的选取是能否有效提取图像特 征的关键。本文选取7种典型的多尺度分解算法， 并构建了多尺度分解集乃={1\，了2，了3，了4，了5, T6，T7}，如表1所示。
表1本文所选取7种常见多尺度分解方法符号表分解方法符号表分解方法
n
离散小波(DWT)T5支持度分解(SVT)
Tz小波包(WPT)t6非下采样轮廓波(NSCT)
T3双树复小波(DTCWT)t7非下采样剪切波(NSST)
t4顶帽分解(Top-hat)
利用不同的分解算法提取图像特征，并利用客 观评价方法计算不同分解算法对于不同特征的提取 效果。本文采用3组[1°12]红外光强与偏振图像作为 实验样本，如图1所示。图1(a)—图1(c) 3组图像中，左图均为红外 光强图像，右图均为红外偏振图像。用7种不同 的分解算法对图像进行分解得到高频子带和低频 子带，验证不同分解算法对于结构、纹理、边缘的 提取效果，可得出不同分解方法对3种特征的提 取程度。由于分解得到的低频子带主要表征图像的近似 分量(如结构特征）；高频子带主要表征图像的细节 信息(如边缘、纹理等特征），可以通过利用低频子带 验证结构特征的提取效果;利用高频子带验证验证
(C)第3组图像图1实验所用红外光强和红外偏振图像
纹理、边缘利用特征提取效果。例如图1的第1组图 像[1°]中，窗户的结构特征较强，因此测试结构特征提 取效果;第2组图像M中，场景车辆较多，纹理特征 明显，因此测试纹理特征提取效果;第3组图像[12] 中，电线杆、电线等边缘特征明显，因此测试图像边 缘特征提取效果。本文利用客观评价指标对具体特征的提取效果 进行验证，结构相似度、相关系数表征所提取的结构特 征与原始图像的相关性，数值越高，证明结构特征提取 得越好;边缘强度、边缘保持度表征边缘信息提取的完 整性，数值越高，证明边缘提取得越完整;平均梯度、空 间频率表征纹理、细节信息，数值越高，证明纹理特征 提取得越好。具体的提取实验结果如图2所示。
t, t2 t3 t4 ts t6 r7
分解算法 (a)结构相似度r, t2 t3 t4 t5 t6 t7飾算法 (b)相关系数r, t2 t3 t4 t5 t6 t7分解算法 (c)边缘强度
图2不同分解算法对不同特征的提取程度图2中，实线代表红外光强图像特征的提取效 果;虚线代表红外偏振图像特征的提取效果;横坐标 代表所选择不同分解算法;纵坐标代表不同的客观
评价指标数值。综合不同分解算法对光强与偏振图 像特征的提取效果，得出不同特征的提取程度顺序， 为后文建立优化组合提供依据。
00000000008
7 6 5 4 3 2
囊 SSMI艰 1
*1