红外图像与可见光图像融合笔记
基于卷积神经网络的红外与可见光图像融合算法
基于卷积神经网络的红外与可见光图像融合算法基于卷积神经网络的红外与可见光图像融合算法引言：近年来，随着红外和可见光图像获取技术的发展，红外与可见光图像融合在目标检测、夜间监测、军事侦查等领域中得到广泛应用。
红外图像能够突破可见光图像的局限性，具有辐射强度分布多变、辨识率高、适合在夜间和复杂天气条件下感知目标等优势；而可见光图像在空间和形状信息方面具有优势。
因此，将红外图像与可见光图像融合起来，可以有效地提高图像的质量和信号噪声比，从而更好地进行目标识别和目标跟踪。
方法：在红外与可见光图像融合算法中，卷积神经网络（Convolutional Neural Network，CNN）作为一种前沿的图像处理技术，在图像识别和特征提取方面具有出色的性能。
基于CNN的红外与可见光图像融合算法主要包括以下步骤：1. 数据预处理：将红外和可见光图像进行均衡化处理，使其具有相似的对比度和亮度分布。
这一步骤对于后续的特征提取和融合起到了关键作用。
2. 特征提取：使用卷积神经网络提取红外和可见光图像的特征。
卷积神经网络通过多层卷积和池化操作，可以有效地提取图像的空间特征和纹理信息，对于红外与可见光图像融合具有重要的意义。
3. 特征融合：将红外和可见光图像的特征进行融合。
融合的方法有多种，例如加权平均法、多层感知机等。
本文采用了基于CNN的特征级融合算法，该算法可以通过学习权重将红外和可见光图像的特征进行融合，得到更具有信息量的融合特征。
4. 图像重建：将融合后的特征通过反卷积操作进行重建，得到最终的融合图像。
重建的过程中可以加入一些先验知识，如红外图像的辐射分布和可见光图像的形状信息，以提高重建图像的质量。
实验结果：本文通过对红外与可见光图像数据集的实验验证，证明了基于CNN的红外与可见光图像融合算法的有效性和性能优势。
与传统的图像融合算法相比，该算法在目标识别和目标跟踪等任务中具有更好的性能和更高的准确率。
结论：基于卷积神经网络的红外与可见光图像融合算法在红外与可见光图像融合领域具有广泛的应用前景。
红外和可见光图像的配准融合研究
摘要I摘要红外纹理的真实度对红外场景仿真的效果具有重要影响，因此对红外仿真纹理的置信度评估具有重要意义。
而图像配准是评估前必不可少的步骤。
红外和可见光图像间的较大的灰度及分辨率差异增加了红外和可见光图像的配准融合难度。
本文研究了基于特征点的红外与可见光图像的配准和像素级融合问题。
首先，对红外图像使用直方图匹配进行了细节增强；其次，分析比较了三种经典的角点特征提取方法并做出了改进；接着，使用先归一化互相关粗匹配后RANSAC（随机抽样一致算法）提纯匹配的方法进行了角点的配对和图像几何变换矩阵估计；最后，使用改进的加权平均法进行了红外和可见光图像的融合。
本文方法为红外三维场景仿真的红外纹理置信度评估提供了基本的数据源，具有较高的应用价值。
关键词：图像配准红外图像可见光图像特征提取特征匹配图像融合Abstract IIIAbstractThe realism of infrared texture has an important impact on the result of infrared scene simulation. Hence, the study of texture credibility evaluation on infrared texture is of great significance. Image registration is the most important procedure before texture evaluation.The infrared and visible images of the same scene have many differences in gray level and image features, which make the registration and fusion of infrared and visible image more difficult. In this paper, the feature points based method of the infrared and visible image registration and image fusion on pixel level are researched and improved. Firstly the details of infrared image are enhanced with the method of histogram matching; Secondly, three classical corner point feature extraction methods are compared and improved; Then, in the process of feature points matching and the image geometry transform matrix estimating, the method of normalized cross-correlation coarse matching is followed by RANSAC (RANdom SAmple Consensus) purification method; Finally, the registrated infrared and visible images are fused by using the improved method of weighted average. The registration algorithm in this paper can provide basic source data for infrared texture confidence assessment in infrared 3-D scene simulation, which owns great value in military application.Key words ：image registration infrared image visible image feature extraction feature match image fusion目录V目录第一章绪论 (1)1.1研究背景和意义 (1)1.2国内外发展现状 (2)1.2.1 国外发展现状 (2)1.2.2 国内发展现状 (4)1.3研究内容和论文结构 (5)1.3.1 研究内容 (5)1.3.2 本文结构 (5)1.3.3 本文特色 (6)第二章图像配准技术概述 (7)2.1图像配准的几种模式 (7)2.2配准方法分类 (9)2.2.1 基于灰度的图像配准方法 (9)2.2.2 基于变换域的图像配准方法 (13)2.2.3 基于特征的图像配准方法 (15)2.2.4 小结 (16)第三章图像配准的实现 (19)3.1红外图像增强 (19)3.2特征提取 (21)3.2.1 Moravec算子 (23)3.2.2 Harris算子及其改进算法 (24)3.2.3 SUSAN算子 (27)3.2.4 各算子试验结果对比 (30)3.3变换模型估计 (32)3.3.1 刚体变换 (33)3.3.2 仿射变换 (33)3.3.3 投影变换 (35)3.3.4 非线性变换 (36)3.4特征匹配 (36)3.4.1 归一化互相关粗匹配 (37)3.4.2 RANSAC算法及其改进 (39)第四章图像重采样与融合 (45)4.1坐标变换与重采样 (45)4.2融合源图像特性分析 (48)4.3红外和可见光图像的融合 (48)第五章总结与展望 (53)致谢 (55)参考文献 (57)第一章绪论 1第一章绪论本章首先阐述了红外与可见光图像配准融合的研究背景和意义，进而对国内外在这些领域的发展现状进行了简要介绍，最后给出了本文的研究内容和文章结构安排。
基于多尺度分解的红外与可见光图像融合算法研究
基于多尺度分解的红外与可见光图像融合算法研究基于多尺度分解的红外与可见光图像融合算法研究摘要：随着红外与可见光图像在各个领域中的应用越来越广泛，红外与可见光图像融合技术成为研究的热点之一。
本文针对红外与可见光图像融合算法的研究进行了综述，并重点详细介绍了基于多尺度分解的红外与可见光图像融合算法。
通过将红外与可见光图像进行小波分解，并融合低频分量和高频分量，达到优化融合结果的目的。
实验结果表明，该算法可以更好地保留红外图像的热点目标信息和可见光图像的目标细节信息，具有较好的融合效果。
1.引言随着红外与可见光技术的进步与发展，红外与可见光图像在军事、安防、医疗和航天等领域得到了广泛的应用。
由于红外与可见光图像的特性有所不同，需要将两者融合，以提高目标检测、跟踪和识别等应用的效果。
因此，红外与可见光图像融合技术成为研究的热点之一。
2.红外与可见光图像融合算法综述目前，红外与可见光图像融合算法主要包括像素级融合、特征级融合和决策级融合等方法。
像素级融合方法是将两个图像的对应像素进行加权平均；特征级融合方法是提取两个图像的特征，然后将特征进行融合；决策级融合方法是根据各个图像的决策结果进行融合。
这些方法各有优缺点，无法完全满足应用需求。
因此，本文重点研究基于多尺度分解的红外与可见光图像融合算法。
3.基于多尺度分解的红外与可见光图像融合算法基于多尺度分解的红外与可见光图像融合算法主要包括以下步骤：（1）对红外与可见光图像进行小波分解。
首先，将红外与可见光图像进行小波分解，得到各个尺度的低频分量和高频分量。
通过小波变换可以将图像在时域和频域同时进行分析，较好地保留了图像的空间和频率信息。
（2）对低频分量进行融合。
将红外与可见光图像的低频分量进行融合，可以保留红外图像的热点目标信息和可见光图像的目标细节信息。
（3）对高频分量进行融合。
将红外与可见光图像的高频分量进行融合，可以提取出更多的边缘和纹理信息。
（4）重构融合后的图像。
遥感影像的可见光和红外图像融合方法研究
遥感影像的可见光和红外图像融合方法研究摘要：遥感影像融合是将多源遥感影像的信息有机地结合起来，以获取更多、更高质量的地理信息的过程。
其中，可见光和红外图像的融合被广泛应用于军事、气象、农业、环境等领域。
本文对可见光和红外图像融合的方法进行了研究和总结，包括传统的图像融合方法和基于深度学习的图像融合方法，并对未来的研究方向进行了展望。
1. 引言可见光图像和红外图像是遥感数据中常见的两种图像，它们分别捕捉了不同光谱范围内的信息。
可见光图像能够提供地物的几何形状、颜色和纹理等信息，红外图像则能够反映地物的热特性。
将这两种图像进行融合可以充分利用它们的优势，提高遥感图像的分类和识别性能。
2. 传统的图像融合方法传统的图像融合方法主要包括像素级融合和特征级融合两种方法。
2.1 像素级融合像素级融合方法直接将可见光和红外图像的像素进行组合。
其中，加权平均法是最简单的方法，它根据像素的权重将两幅图像进行加权平均得到融合图像。
另外，变换域融合方法如小波变换和主成分分析也得到了广泛应用。
这些方法能够提取图像的频率和相位信息，将两幅图像进行适应性融合。
2.2 特征级融合特征级融合方法通过提取可见光和红外图像的特征，将特征进行融合。
常用的特征包括梯度、边缘、纹理等。
其中，拉普拉斯金字塔和傅里叶谱分析是两种常用的特征级融合方法。
这些方法能够提取图像的边缘和细节信息，对融合结果具有很好的保边性。
3. 基于深度学习的图像融合方法深度学习在图像融合领域取得了显著的成果。
卷积神经网络（Convolutional Neural Network, CNN）是深度学习中最常用的网络结构之一。
将CNN应用于图像融合可以通过学习图像的特征，得到更好的融合效果。
3.1 基于卷积神经网络的图像融合方法基于CNN的图像融合方法主要包括两种：基于生成对抗网络（Generative Adversarial Networks, GANs）和基于编码器-解码器（Encoder-Decoder）的方法。
基于NSCT的红外与可见光图像融合算法
者的有机结合使得 Ｎ Ｃ 具有 Ｃｎ ｕ ｅ变换的多尺度和多 ＳＴ ｏｔ ｒｔ ｏｌ
方 向性 ， 同时还具备 了平 移不变性 。图 １给出 了 Ｎ Ｃ Ｓ Ｔ的结
构示意图。
波基 只能获得水平 、 直和对 角 ３个 方 向上的信 息 ， 垂 无法 精
确表述 图像边缘方 向信息 ， 也不能最优表示 含线或面奇异 的
的 目标信息 ； 可见光 图像光谱信息丰 富 ， 动态 范围大 ， 比度 对 相对较高 ， 含 丰 富 的细 节信 息 ， 在 黑 暗 背 景下 不 易 观 包 但 察 。通 过对 红外 与可见光 图像 的融合 ， 提高红外 目标的可 识别度和 图像 的清 晰度 ， 获得更 加详 细准确 的信 息 ， 可以使 我们能在恶劣的环境下也能准确判断热源 的位置 ， 在军事作
息加以综 合 ， 生 成新 的 有关 此场 景 解 释 的 信 息 处 理 过 以 程ｕ 。红外与可见光 图像 融合则 是在 军事领 域和 安全 监控 领域具 有广泛应 用 的一 种 图像融 合方式 。红 外 图像一 般较
可以获得 图像任 何 方 向的信 息 。因此本 文采 用 基 于 Ｎ Ｃ ＳＴ
第３ ３卷
第 ７期
四 川 兵 工 学 报
２１ ０ ２年 ７月
【 光学工程与电子技术 】
基于 Ｎ Ｃ Ｓ Ｔ的 红外 与可 见 光 图像 融 合算 法
王跃 华 ， 忠祥 陶
（ 空军航空 大学 航 空军 械工 程系 ， 长春 １０ ２ ） ３０ ２
摘要 ： 针对红外 与可见光 图像融合 ， 提出 了一种基于 Ｎ Ｃ Ｓ Ｔ的图像融合方 法。首先对 图像 进行 Ｎ Ｃ Ｓ Ｔ分解 ； 然后对 分
捉” 二维图像的几何结构 ， 由于在变换 中需 要进行 上采 样 但 和下采样操作 ， 因而不具备平移不变性 ， 存在频 谱混叠现象 。 而 ＮＣ Ｓ Ｔ则 不仅 具有 小波变 换 的多分 辨率 和 时频局 部化 特
基于小波变换的红外与可见光图像的融合
层小波变换分解算法相 同。
３ ． ２ 基 于小 波 变换 的 融 合
参考 文献
… １ 聂 其贵 ， 马 惠珠 ，基 于 目标 提 取 的 红 外
与可 见光图像融合新算 法 【 Ｊ ］ ．应 用 科
技 ． ２ ０ １ ４ （ １ ０ 】 ： ４ ９ － ５ ２ ．
基 于小 波的 图像 融合 原理 具体 如 下：先 对 已严格配 准的两幅待融合 图像 Ａ，Ｂ进行小 波变换 ，若进行 ｉ 层 变换 ，便 得到 ３ ｉ 个高频 ｆ 带和 １个低频 子带 ，将 各子带作相应的融合处 理 ，再将处理 过的予带实行小波逆变换，便形
． Ｉ ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．
图 ２ ： 融合 结 果 图
和平移进 行离散化 ， 也就 是对连续 小波 的伸缩 因子及平移 因子进行 采样 而得到离散小波 。通 常 使用 的 离散小 波变 换 是二进 制离 散小 波变
换 ， 它 是 取 ａ＝２ ， ｂ：ｋ｝ ａ＝ｋ｝ ２ ， 这 样 离 敞 化 后 的 小波 和 相应 的 小 波 变 换 称 为 二 进 小 波 和 进 小波 变 换 ：
红 外 图像 与可 见 光 图像 可 匹 配 性研 究 【 ｚ 】 ．
２像素加权融合算法
加 权 系数融 合 ， Ｊ ’ 法 顾 名 思 义就 是 对 两 幅 像 的 灰 度 值 矩 阵 进 行加 权 而 获 得 融 合 后 的
将 获 得 融 合 图 像 进 行 小 波 重 构 获 得融 合 图像 。 实验 结 果表 明，该 算法 得到 的 融合 图像 具有 与 红外 图像 相 同 的 目 标 ， 且 具 备 可 见 光 图像 的 细节 信 息
视觉显著性指导的红外与可见光图像融合算法
收稿日期:２０１８Ｇ０８Ｇ２６㊀㊀㊀㊀网络出版时间:２０１８Ｇ０９Ｇ１８基金项目:国家自然科学基金(６１６７５１６０,６１４０１３４３);高等学校学科创新引智计划(B １７０３５)作者简介:易翔(１９８９－),男,西安电子科技大学博士研究生,E m a i l :a l a n y i ７＠１６３．c o m 网络出版地址:h t t p://k n s ．c n k i ．n e t /k c m s /d e t a i l /６１．１０７６．T N．２０１８０９１７．０９４７．００２．h t m l d o i １０敭１９６６５ j敭i s s n １００１Ｇ２４００敭２０１９敭０１敭００５视觉显著性指导的红外与可见光图像融合算法易㊀翔,王炳健(西安电子科技大学物理与光电工程学院,陕西西安７１００７１)摘要:为了获取适合人眼观测的高质量红外与可见光融合图像,提出了一种基于视觉显著性指导的红外与可见光图像融合算法.首先,利用改进的流形排序法分别检测红外与可见光图像的视觉显著性区域;然后,采用非下采样轮廓波变换对红外和可见光图像进行多尺度㊁多方向分解,从而获取各自低频子带和高频子带,并将视觉显著性的检测结果用于指导分配低频子带的融合权重,即依据显著度大小赋予不同的权值,而高频子带的融合则依据局部标准差准则赋值;最后,通过非下采样轮廓波逆变换获得融合图像.实验结果表明:这种算法不仅可以保全可见光图像中的细节信息,而且能够精确地突显出红外目标信息,具有较好的视觉效果,增强了红外与可见光复合前视系统的识别性能.关键词:图像融合;红外与可见光图像;非下采样轮廓波;视觉显著性中图分类号:T P ３９１㊀㊀文献标识码:A㊀㊀文章编号:１００１Ｇ２４００(２０１９)０１Ｇ０２７Ｇ０６F u s i o no f i n f r a r e da n d v i s u a l i m a g e s g u i d e db y v i s u a l s a l i e n c yY IX i a n g WA N GB i n g ji a n S c h o o l o fP h y s i c s a n dO p t o e l e c t r o n i cE n g i n e e r i n gX i d i a nU n i v 敭 X i a n７１００７１ C h i n a A b s t r a c t ㊀T oo b t a i nah i g h q u a l i t y f u s e di m a gec o n s i s t e n tw i t hc h a r a c t e r i s t i c so fh u m a nv i s i o n an o v e l i m a g e f u s i o nm e t h o d f o r i n f r a r e da n dv i s u a l i m a g e s g u i d e db y v i s u a l s a l i e n c y i s p r o p o s e d 敭F i r s t o f a l l f o r t h e g i v e n i n f r a r e da n dv i s i b l e i m a g e s t h em o d i f i e d M a n i f o l dR a n k i n g a l g o r i t h mi su t i l i z e dt oe x t r a c t t h e i r v i s u a l s a l i e n t a r e a s r e s p e c t i v e l y 敭T h e n s o u r c e i m a g e sa r ed e c o m p o s e d i nd i f f e r e n t s c a l e sa n dd i r e c t i o n sb y N o n Ｇs u b s a m p l e dC o n t o u r l e tT r a n s f o r mt o o b t a i n l o wf r e q u e n c y i n f o r m a t i o n a n dh i g h f r e q u e n c y i n f o r m a t i o n 敭A n dr e s u l t s o fv i s u a ls a l i e n c y d e t e c t i o n a r e u s e dt o g u i d et h ef u s i o n r u l e o fl o w f r e q u e n c y s u b b a n d c o e f f i c i e n t s 敭B e s i d e s t h e h i g h f r e q u e n c y s u b b a n d c o e f f i c i e n t s a r e f u s e d o w i n gt o t h e l o c a l s t a n d a r d d e v i a t i o n c r i t e r i o n 敭F i n a l l y t h e f u s e d i m a g e i s o b t a i n e d b y p e r f o r m i n g i n v e r s e N o n Ｇs u b s a m p l e d C o n t o u r l e t T r a n s f o r m敭E x p e r i m e n t a l r e s u l t sd e m o n s t r a t et h a tt h e p r o p o s e da l g o r i t h m c a nn o to n l y as s u r et h ef i n a l f u s e d i m a g e sw i t h c l e a r d e t a i l i n f o r m a t i o n b u t a l s o h i g h l i g h t t h e i n f r a r e d o b j e c t s a c c u r a t e l y w h i c h p r e s e n t s a g o o d v i s i o n e f f e c ta n d e f f e c t i v e l y e n h a n c e sr e c o g n i t i o n p r o b a b i l i t y o fi n f r a r e d a n d v i s i b l ec o m p o u n d s ys t e m s 敭K e y Wo r d s ㊀i m a g e f u s i o n i n f r a r e da n dv i s i b l e i m a g e s n o n Ｇs u b s a m p l e d c o n t o u r l e t v i s u a l s a l i e n c y 现代战机㊁战车及战舰的前舱均装备有红外与可见光复合的前视系统,以便作战人员在昼夜不同的天时条件下都具有理解前视场景和识别目标的能力[１].因此,如何提升这种复合前视系统的识别性能,一直是军方的期望和业界的研究热点之一.将红外图像与可见光图像进行融合处理,是增强这种复合前视系统性能的基本技术途径之一.此外,红外与可见光图像融合在安防㊁医疗和消防等领域也有着广泛的应用.图像融合可以分为图像分析方法的选择和融合规则的选取,其中,多分辨率分析法是最常用且有效的图像分析方法[２].常用的多分辨率分析方法有:金字塔变换[３]㊁小波变换(W a v e l e tT r a n s f o r m ,WT )[４]㊁轮廓２０１９年２月第４６卷㊀第１期㊀西安电子科技大学学报J O UR N A L ㊀O F ㊀X I D I A N ㊀U N I V E R S I T Y㊀F e b ．２０１９V o l ．４６㊀N o ．１８２㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷波变换(C o n t o u r l e tT r a n s f o r m,C T)[５]和非下采样轮廓波变换(N o nＧS u b s a m p l e dC o n t o u r l e tT r a n s f o r m,N S C T)[６]等.其中,文献[６]中提出的N S C T被认为是一种适用于处理红外与可见光图像融合的多分辨率分析方法.融合规则的选取直接影响到最终融合图像的质量.目前,常用的红外与可见光图像融合算法在选择融合规则时,往往只是简单地采取加权平均值㊁绝对值或局部能量值等单个像素或邻域统计值作为依据,没有从图像全局上考虑区域之间的相关性,这样的处理容易丢失图像中重要的信息.因此,近年来,一些基于区域选择的图像融合算法被提了出来,以提高融合图像的质量,如基于区域分割和基于视觉显著性区域检测的图像融合算法等.前者采用阈值分割的方式从红外图像中分割出高温目标区域,并通过在融合时赋予该区域较高权重而突显红外目标,但它的结果对阈值的依赖性较大,且缺乏对可见光图像信息的有效分析,容易丢失图像细节信息[７];后者依据人类视觉系统(H u m a nV i s u a l S y s t e m,H V S)的视觉注意机制获取图像中人眼感兴趣区域,并将其应用于指导图像融合中融合规则的选取,如基于残差频谱(S p e c t r a lR e s i d u a l,S R)模型[８]和基于文献[９]的视觉模型(I T模型)的图像融合算法等.该类算法可在一定程度上提升融合图像的视觉效果,但是它们通常依据对比度来衡量视觉显著性,主要考虑前景(即高显著性区域,包括红外目标和可见光细节等)的特性,对背景进行过多的研究,其检测结果往往存在背景与前景区分不够精确的问题.将该类模型直接应用在红外与可见光图像融合时,因两种图像的对比度相差甚大的缘故,它们无法精确有效地检测出两种图像中不同特征的视觉显著性区域,其融合结果的视觉效果仍不够理想[１０].针对上述现有融合算法的不足,笔者提出了一种基于视觉显著性指导的红外与可见光图像融合算法,利用改进的流形排序(M a n i f o l dR a n k i n g,M R)算法使其能够更优地检测出红外与可见光图像中人眼感兴趣的视觉显著性区域,并利用视觉显著性检测结果指导图像融合规则的选取,最终在突显红外目标的同时,确保了图像整体细节信息清晰,有效地提升了融合图像的视觉效果.１㊀基于改进流形排序的视觉显著性检测M R算法综合考虑前景和背景的特性,将视觉显著性检测表述为一个前景和背景之间相似度的排序问题,并将最终排序得分记为显著度值,从而实现对图像的视觉显著性检测[１１].它可有效地检测出红外与可见光图像中不同特征的视觉显著性区域,但直接将该结果用于指导图像融合时,由于显著图中存在较多冗余的背景信息,最终导致融合图像的视觉效果较差.因此,文中采用非线性函数对M R显著图进行增强,压缩背景显著度值的同时,进一步提升前景显著度值,从而获取更优的视觉显著性检测结果.其具体操作步骤如下: (１)采用简单线性迭代聚类(S i m p l eL i n e a r I t e r a t i v eC l u s t e r,S L I C)算法[１２]对输入图像进行超像素分割,将输入图像表示为一个闭环图I(V,E),E表示节点V之间的边,并将超像素分割后图的节点V定义为数据集X＝{x１,x２, x m,x m＋１, ,x n},其中n为节点总个数.同时依据背景先验[１１]的知识,依次将落在图像４条边界中单独一条边界上的m个节点记为已标记点(即背景点),建立排序函数f:XңR,其表示利用已标记点,通过图模型传递给数据集X分配相应的排序得分.(２)计算背景点与未标记节点之间的相似度,边E的权重可由矩阵W＝[w i j]nˑn获取,图的度量矩阵为D＝d i a g{d１１,d２２, ,d n n},其中,d i i＝ðw i j,归一化其相似度矩阵S＝D－１/２W D－１/２.(３)构建一个指示向量L＝[l１,l２, ,l n]标记节点V,当该节点为未标记点时,记为１;否则记为０.然后依据公式T(k＋１)＝αS T(k)＋(１－α)y,进行迭代计算未标记点与背景点的排序评分,直至收敛.其中,αɪ(０,１),它控制了初始排序值和邻域传播对最终排序值的贡献大小,定义了排序评分传递过程中从邻近节点获得的排序评分.最终排序得分值即为该边界对应的背景排序图的显著度值.(４)依次获取不同边界对应的４幅背景排序图,并对它们采取取反运算后进行合并,获取一次排序后前景显著图并对其进行阈值分割,并将分割后的节点作为已标记点进行二次排序,以获取M R显著图R０.(５)采用S i g m o i d函数对M R显著图R０进行增强,从而抑制背景的干扰.最终显著图R的计算公式如下:h t t p://j o u r n a l．x i d i a n．e d u．c n/x d x bh t t p ://j o u r n a l ．x i d i a n ．e d u ．c n /x d x bR ＝１１＋e x p[－a (R ０－b )]㊀,(１)其中,a 和b 分别取经验值１０．０和０．６.图１和图２分别为红外图像和可见光图像经过不同视觉显著性检测方法得到的结果图.通过比较这两组视觉显著图的结果可以看出:S R 结果受复杂边缘影响较大,I T 结果精度不高,M R 结果中仍存在较多背景;文中等方法不仅可在充分抑制红外图像背景信息的基础上,有效地检测出红外图像的高温目标信息,而且可以精确地检测出可见光图像中的细节信息,为提升后续融合图像的质量创造了较好的条件.图１㊀红外图像的视觉显著性检测结果图２㊀可见光图像的视觉显著性检测结果２㊀基于视觉显著性指导的图像融合文中算法的流程如下:用改进的M R 算法分别对输入的红外图像和可见光图像进行视觉显著性检测;采用N S C T 分别对红外与可见光图像进行多级分解,得到各级低频和高频子带系数,并对低频子带系数采用基于视觉显著性指导的方式分配融合权重,而高频子带系数则采用基于图像局部标准差准则赋值;分级合并不同频段的系数,并进行N S C T 逆变换重构,获得最终融合图像.２．１㊀基于N S C T 的图像分析N S C T 包括非下采样金字塔分解(N o n ＧS u b s a m p l e dP y r a m i dF i l t e rB a n k s ,N S P F B )和非下采样的方向滤波器(N o n ＧS u b s a m pl e dD i r e c t i o n a l F i l t e r B a n d s ,N S D F B )两部分[１３],如图３所示.它首先采用N S P F B 对图像进行塔式分解,将图像分解为一个低频子带和多个环形高频带通子带;然后,利用N S D F B 进一步将上一步分解得到的高频子带进行多方向分解,重复这一过程,直至分解结束.N S D F B 在每次分解前都对对应的滤波器进行上采样,再对待分解子带进行分析滤波,确保了所有分解后的低频和高频子带与输入图像大小相同.图３㊀N S C T 分解示意图９２第１期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀易㊀翔等:视觉显著性指导的红外与可见光图像融合算法h t t p ://j o u r n a l ．x i d i a n ．e d u ．c n /x d x b２．２㊀融合规则选择２．２．１㊀低频融合规则红外图像(I n f r a r e d I m a g e ,I R )和可见光图像(V i s i b l e I m a ge ,V I )经N S C T 分解后所得的图像各像素点的低频子带系数分别为C I R L (x ,y )和C V I L (x ,y ),它们占据了图像的绝大部分能量,反映了图像的概貌[１４].相较加权平均等低频融合规则,基于视觉显著性指导的低频子带融合规则依据视觉显著性检测结果R I R(x ,y )和R V I (x ,y ),依次为两图中各像素点的低频系数分配不同的融合权值W I R L (x ,y )和W V IL (x ,y ),不仅能较好地保留可见光图像中的细节信息,而且有利于突出红外图像中的高温目标信息.文中低频系数C L (x ,y )的融合公式如下:C L (x ,y )＝W I R L (x ,y )C I R L (x ,y )＋W V I L (x ,y )C V IL (x ,y )㊀,(２)其中,融合权值W I R L (x ,y )和W V IL (x ,y )计算公式为W I R L (x ,y )＝R I R (x ,y )/[R I R (x ,y )/(R I R (x ,y )＋R V I(x ,y )]㊀,(３)W V I L (x ,y )＝１－W I RL (x ,y )㊀.(４)２．２．２㊀高频融合规则图像经多尺度分解后的高频分量包含图像的边缘㊁区域轮廓等细节信息,而局部标准差可以有效地代表图像细节的信息量[１５].因此,文中将局部标准差作为融合的依据对相应的高频子带系数进行融合,即选择两图中局部标准差的较大值作为融合图像的高频系数.高频子带系数中心点(x ,y )在第j 层㊁h 方向上,局部标准差σ定义如下:σj ,h (x ,y )＝１N ˑN ðk ,l ɪU (x ,y )(I j ,h (k ,l )－E (U j ,h (k ,l )))２[]１/２㊀,(５)其中,U (x ,y )是以点(x ,y )为中心的N ˑN 大小方形局部窗口区域,文中选取窗口大小为５ˑ５;E [U j ,h (k ,l)]为该局部窗口的灰度均值.３㊀实验结果及分析比较为进一步验证算法的有效性,实验选用两组同一场景下２５６ˑ２５６大小的红外与可见光图像进行融合,并在m a t l a b ２０１３a ,I n t e l (R )C o r e (T M )i ３(２１２０C P U＠３．３０G H 平台上对基于N S C T 的图像融合算法(F _N S C T )[５]㊁基于区域分割的图像融合算法(F _R S )[７]㊁基于I T 视觉显著性模型的图像融合算法(F _I T )[８]㊁基于S R 视觉显著性模型的图像融合算法(F _S R )[９]㊁基于M R 视觉显著性模型的图像融合算法(F _M R )和文中算法进行处理,仿真实验结果如图４和图５所示.并按主观视觉和客观标准进行分析和评价,其中,F _N S C T 的低频融合规则采取加权平均准则,而高频融合规则采用绝对值取大的方式;F _I T ㊁F _S R ㊁F _M R 和文中算法均采取了基于视觉显著性指导的低频融合规则和基于局部标准差的高频融合准则.３．１㊀主观视觉评价第１组实验图像来源于U N C a m p 的红外与可见光序列图.如图４(a )和图４(b )所示,红外图像背景模糊但突显了行人目标;可见光图像中树木㊁灌丛和栅栏等场景清晰可见,行人目标被灌丛遮挡.图４(c )~图４(h )给出了不同算法的融合效果图.由从主观视觉效果上看,F _N S C T 结果只是简单地采用基于加权平均法的低频融合规则,因而红外行人目标信息较为模糊;F _R S 结果虽然突显了行人目标,但树木等细节较为模糊;F _S R 的结果整体偏暗,且行人目标不够突出;F _I T 的结果虽然在一定程度上突显了红外目标和可见光细节信息,但由于显著性检测结果不理想,导致行人目标周边出现了光晕且图像左下角树木出现较为不自然的黑影;F _M R 的结果由于受到显著图中冗余背景的影响,导致栅栏和树木的细节不够清晰;文中算法的结果相较其他算法,行人目标最为突显且图像细节部分最为清晰,如图像中间栅栏与行人周围的灌丛均清晰可见.０３㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷h t t p ://j o u r n a l ．x i d i a n ．e d u ．c n /x d xb图４㊀第１组实验不同算法的融合效果第２组实验图像为野外场景,如图５(a )和图５(b)所示,红外图像行人目标较为明显而背景较暗;可见光图像中树木纹理较为清晰而行人较暗.图５(c )~图５(h )给出了不同算法的融合效果图.在F _N S C T 结果中,红外行人目标信息模糊;在F _R S 和F _I T 的结果中,在行人目标边缘处出现了不自然的阴影;在F _S R 和F _M R 的结果中,树木细节信息丢失;相较其他算法,文中算法在融合时对不同亮暗区域都有着较好的处理能力,因而其视觉效果最优.综上,文中算法在两组实验中都取得了最优的主观视觉效果.图５㊀第２组实验不同算法的融合效果３．２㊀客观性能指标评价文中采用边缘保持度(E d g eP r e s e r v eI n d e x ,E P I )㊁图像清晰度(F i gu r e D e f i n t i o n ,F D )㊁香农熵(S h a n n o nE n t r o p y ,S E )㊁空间频率(S p a t i a l F r e q u e n c y ,S F )和结构相似度(S t r u c t u r a l S I M i l a r i t y ,S S I M )５个准则,从图像的边缘保持能力㊁细节清晰度㊁信息量大小㊁整体对比度和结构相似性等方面来对其进行客观１３第１期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀易㊀翔等:视觉显著性指导的红外与可见光图像融合算法２３㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷评价.各指标值越大,表明融合图像的效果越好[１６Ｇ１７].两组实验的客观评价结果如表１和表２所示.表１㊀第１组实验融合结果客观评价比较算法E P I F D S E S F S S I MF_N S C T３８．０４５７５．７１１３６．２９７７１０．１４５２０．７０１８F_R S４０．５６８９５．９０４７６．５０２７１０．００２５０．７５６９F_S R３８．１４５４５．９５８７６．１６８９１０．０６９３０．７１２５F_I T３８．２３８１５．７４３６６．３０５９１０．１９７８０．７１５３F_M R４１．９０６６５．９６１５６．７５６６１０．７７８１０．７３９１文中算法４６．２１４４６．２５８０７．２８３６１１．５５４６０．７５３０表２㊀第２组实验融合结果客观评价比较算法E P I F D S E S F S S I MF_N S C T２８．４８７３３．３９１８６．６０６６６．３５４００．８０７０F_R S２４．０２９９２．７３６４６．４０６１５．０１７７０．８２９７F_S R２７．９０１０３．１７３８７．０３８３５．７９７５０．８０５０F_I T２６．１４１２２．９７６３７．０１１３５．４４８５０．８１０１F_M R２５．５３８２２．９９０６６．６５８８５．５２９８０．８１６５文中算法３１．２８６１３．７０８７７．１５９２６．９２０２０．８１８６㊀㊀由表１和表２可知,文中提出的融合算法,在E P I㊁F D㊁S E和S F这４项指标上都优于其他５种融合算法,在S S I M上仅略低于F_R S算法(F_R S算法融合时采取了完全保留分割区域外可见光信息的操作,因而S S I M值较高),这也证明了文中算法能有效地提升最终融合后图像的质量,并与上述主观视觉分析取得一致结论.４㊀结束语笔者提出了一种基于视觉显著性指导的红外与可见光图像融合算法.该算法依据人眼对图像内容的识别特性指导图像融合,首先利用改进的流形排序算法分别对红外与可见光图像进行视觉显著性检测,然后依据视觉显著性检测结果指导融合规则的选取,最终获取适用于人眼观测的高质量融合图像.实验中不同算法的对比结果表明,文中算法可以获取红外目标信息突出㊁背景细节清晰的融合图像,使之符合人眼视觉特性,为红外与可见光复合前视系统的高性能检测和识别提供了极大的便利.参考文献:１L I U C H Q IY D I N G W R敭I n f r a r e da n dV i s i b l e I m a g eF u s i o n M e t h o dB a s e do nS a l i e n c y D e t e c t i o n i nS p a r s eD o m a i n J敭I n f r a r e dP h y s i c s a n dT e c h n o l o g y２０１７８３９４Ｇ１０２敭２霍冠英李庆武石丹敭一种邻域一致性的N S C T域多传感器图像融合算法J敭西安电子科技大学学报２０１０３７４７７０Ｇ７７６敭HU O G u a n y i n g L IQ i n g w u S H ID a n敭M u l t iＧs e n s o r I m a g eF u s i o nA l g o r i t h mC o n s i d e r i n g N e i g h b o r h o o dC o n s i s t e n c y i n t h eN o n s u b s a m p l e dC o n t o u r l e tT r a n s f o r m D o m a i n J敭J o u r n a l o fX i d i a nU n i v e r s i t y２０１０３７４７７０Ｇ７７６敭３余美晨孙玉秋王超敭基于拉普拉斯金字塔的图像融合算法研究J敭长江大学学报自然科学版２０１６１３３４２１Ｇ２６敭Y U M e i c h e n S U N Y u q i u WA N GC h a o敭I m a g eF u s i o nA l g o r i t h mB a s e do nL a p l a c i a nP y r a m i d J敭J o u r n a l o fY a n g t z e U n i v e r s i t y N a t u r a l S c i e n c eE d i t i o n２０１６１３３４２１Ｇ２６敭４Z U O YJ L I UJ B A IG e t a l敭A i r b o r n e I n f r a r e da n dV i s i b l e I m a g eF u s i o nC o m b i n e dw i t hR e g i o nS e g m e n t a t i o n J敭S e n s o r s２０１７１７５１１２７敭５K O N G W L E IY N iX敭F u s i o nT e c h n i q u e f o rG r e yＧs c a l eV i s i b l eL i g h t a n d I n f r a r e d I m a g e sB a s e do nN o nＧs u b s a m p l e dC o n t o u r l e tT r a n s f o r ma n d I n t e n s i t yＧh u eＧs a t u r a t i o nT r a n s f o r m J敭I E TS i g n a l P r o c e s s i n g２０１１５１７５Ｇ８０敭６C U N HA A L D Z H O UJ D O M N敭T h eN o n s u b s a m p l e dC o n t o u r l e tT r a n s f o r m T h e o r y D e s i g n a n d A p p l i c a t i o n s J敭I E E ET r a n s a c t i o n s o n I m a g eP r o c e s s i n g２００６１５１０３０８９Ｇ３１０１敭(下转第３８页)h t t p://j o u r n a l．x i d i a n．e d u．c n/x d x b８３㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷T e c h n o l o g y T r a n s f e r２０１４１６５５０７Ｇ５１８敭１０T I A NC D U A NZ D U A NZ e t a l敭M o r eE f f e c t i v e I n t e r p o l a t i o n s i nS o f t w a r eM o d e l C h e c k i n g C P r o c e e d i n g s o f t h e ２０１７３２n d I E E E A C M I n t e r n a t i o n a l C o n f e r e n c e o n A u t o m a t e d S o f t w a r e E n g i n e e r i n g敭P i s c a t a w a y I E E E ２０１７１８３Ｇ１９３敭１１B A L LT MA J UM D A RR M I L L S T E I N T e t a l敭A u t o m a t i cP r e d i c a t eA b s t r a c t i o no f CP r o g r a m s C P r o c e e d i n g s o f t h e２００１A C M S I G P L A NC o n f e r e n c e o nP r o g r a m m i n g L a n g u a g eD e s i g na n d I m p l e m e n t a t i o n敭N e w Y o r k A C M ２００１２０３Ｇ２１３敭１２B A L LT P O D E L S K IA R A J AMA N ISK敭B o o l e a na n dC a r t e s i a nA b s t r a c t i o n f o rM o d e lC h e c k i n g CP r o g r a m s C L e c t u r eN o t e s i nC o m p u t e r S c i e n c e２０３１敭H e i d e l b e r g S p r i n g e rV e r l a g２００１２６８Ｇ２８３敭１３B E Y E R D L E M B E R G E R T敭S y m b o l i c E x e c u t i o n w i t h C E G A R C L e c t u r e N o t e si n C o m p u t e rS c i e n c e９９５２敭H e i d e l b e r g S p r i n g e rV e r l a g２０１６１９５Ｇ２１１敭１４T I A NC D U A NZ D U A NZ敭M a k i n g C E G A R M o r eE f f i c i e n t i nS o f t w a r eM o d e l C h e c k i n g J敭I E E ET r a n s a c t i o n so n S o f t w a r eE n g i n e e r i n g２０１４４０１２１２０６Ｇ１２２３敭１５B E Y E R D J A K O B S M C L E M B E R G E R T e ta l敭R e d u c e rＧb a s e d C o n s t r u c t i o n o f C o n d i t i o n a l V e r i f i e r s C P r o c e e d i n g s o f t h e２０１８I n t e r n a t i o n a l C o n f e r e n c e o nS o f t w a r eE n g i n e e r i n g敭W a s h i n g t o n I E E EC o m p u t e r S o c i e t y２０１８１１８２Ｇ１１９３敭１６B E Y E RD LÖW ES敭E x p l i c i tＧs t a t e S o f t w a r eM o d e l C h e c k i n g B a s e d o nC E G A Ra n d I n t e r p o l a t i o n C L e c t u r eN o t e s i nC o m p u t e r S c i e n c e７７９３敭H e i d e l b e r g S p r i n g e rV e r l a g２０１３１４６Ｇ１６２敭(编辑:郭㊀华)㊀㊀(上接第３２页)７㊀L I A OJW HU A N GJ WA N GZ e t a l敭F u s i o n o fV i s i b l e I m a g e a n d I n f r a r e d I m a g e B a s e d o nC o n t o u r l e t T r a n s f o r ma n dI m p r o v e dS p a t i a l F r e q u e n c e C P r o c e e d i n g s o f t h e２０１４２n d I n t e r n a t i o n a l C o n f e r e n c e o n I n f o r m a t i o nT e c h n o l o g y a n dEＧl e c t r o n i cC o m m e r c e敭P i s c a t a w a y I E E E２０１４３２２Ｇ３２５敭８L I U H X Z HU T H Z HA OJ J敭I n f r a r e d a n dV i s i b l e I m a g eF u s i o nB a s e d o nR e g i o n o f I n t e r e s tD e t e c t i o n a n dN o n s u bＧs a m p l e dC o n t o u r l e tT r a n s f o r m J敭J o u r n a l o f S h a n g h a i J i a o t o n g U n i v e r s i t y２０１３１８５５２６Ｇ５３４敭９F UZZ WA N GX L I XF e t a l敭I n f r a r e d a n dV i s i b l e I m a g e F u s i o nB a s e d o nV i s u a l S a l i e n c y a n dN S C T J敭J o u r n a l o f U n i v e r s i t y o fE l e c t r o n i cS c i e n c e a n dT e c h n o l o g y o fC h i n a２０１７４６２３５７Ｇ３６２敭１０C U IG M F E N G H X UZ e t a l敭D e t a i l P r e s e r v e dF u s i o no fV i s i b l e a n d I n f r a r e d I m a g e sU s i n g R e g i o n a l S a l i e n c y E xＧt r a c t i o na n d M u l t iＧs c a l e I m a g eD e c o m p o s i t i o n J敭O p t i c sC o m m u n i c a t i o n s２０１５３４１１９９Ｇ２０９敭１１Y A N GC Z HA N GL L H H e t a l敭S a l i e n c y D e t e c t i o n v i aG r a p hＧb a s e dM a n i f o l dR a n k i n g C P r o c e e d i n g s o f t h e２０１３I E E EC o m p u t e r S o c i e t y C o n f e r e n c e o nC o m p u t e rV i s i o n a n dP a t t e r nR e c o g n i t i o n敭W a s h i n g t o n I E E EC o m p u t e r S o c i e t y２０１３３１６６Ｇ３１７３敭１２A C HA N T A R S HA J IA S M I T H K e t a l敭S L I CS u p e r p i x e l sC o m p a r e dt oS t a t eＧo fＧt h eＧa r tS u p e r p i x e lM e t h o d s J敭I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e２０１２３４１１２２７４Ｇ２２８１敭１３X I A N G TZ G A O R Y A NL e t a l敭R e g i o nF e a t u r eB a s e dM u l t iＧs c a l eF u s i o nM e t h o d f o rT h e r m a l I n f r a r e d a n dV i s i b l eI m a g e s J敭G e o m a t i c s a n d I n f o r m a t i o nS c i e n c e o fW u h a nU n i v e r s i t y２０１７４２７９１１Ｇ９１７敭１４HU A N G Y B ID WU D敭I n f r a r e da n d V i s i b l e I m a g eF u s i o nB a s e do nD i f f e r e n tC o n s t r a i n t s i nt h eN o nＧs u b s a m p l e d S h e a r l e tT r a n s f o r m D o m a i n J敭S e n s o r s２０１８１８４１１６９敭１５P A R AMA N D A N D HAM N R A J E N D I R A NK敭AS i m p l e a n dE f f i c i e n t I m a g e F u s i o nA l g o r i t h mB a s e d o nS t a n d a r dD e v iＧa t i o n i n W a v e l e tD o m a i n C P r o c e e d i n g s o f t h e２０１６I E E EI n t e r n a t i o n a l C o n f e r e n c e o n W i r e l e s sC o m m u n i c a t i o n s S i gＧn a l P r o c e s s i n g a n dN e t w o r k i n g敭L a u s a n n e P r e s s e sP o l y t e c h n i q u e sE tU n i v e r s i t a i r e sR o m a n d e s２０１６２２０７Ｇ２２１１敭１６MAJL Z H O U Z WA N G B e t a l敭I n f r a r e da n d V i s i b l e I m a g eF u s i o nB a s e do n V i s u a lS a l i e n c y M a p a n d W e i g h t e d L e a s t S q u a r eO p t i m i z a t i o n J敭I n f r a r e dP h y s i c s a n dT e c h n o l o g y２０１７８２８Ｇ１７敭１７MAJY MA Y L I C敭I n f r a r e d a n dV i s i b l e I m a g eF u s i o nM e t h o d s a n dA p p l i c a t i o n s a S u r v e y J敭I n f o r m a t i o nF u s i o n ２０１７４５１５３Ｇ１７８敭(编辑:齐淑娟)㊀㊀h t t p://j o u r n a l．x i d i a n．e d u．c n/x d x b。
基于NSCT变换的红外与可见光图像融合方法
融合 处理 ， 最后 对 融合 后 的 系数 进 行 ＮＳ Ｃ Ｔ 反 变换 得 到 融 合 图像 ． 仿 真 实验 表 明 ， 采 用 改进 的
ＮＳ Ｃ Ｔ融合 方法 对红外 与可见 光 图像 的融合 有 良好 的效果 ， 图像 更 清晰 ， 信 息 更全 面．
关键 词 ： 图像 融合 ； ＮＳ Ｃ Ｔ 变换 ； 红 外图像 与 可见光 图像 ； 仿 真 实验
ｃ ｉ ｅ ｎ ｔ ｓ ｏ ｆ ｓ ｏ ｕ ｒ ｃ ｅ ｉ ｍａ ｇ ｅ ｓ ，ｔ ｈ ｅ ｎ ｗｅ ｓ ｅ ｐ ａ ｒ ａ ｔ ｅ ｌ ｙ ｄ ｏ ｉ ｍａ ｇ ｅ ｆ ｕ ｓ ｉ ｏ ｎ ｆ ｏ ｒ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ｄ ｏ ｍａ ｉ ｎ ａ ｆ ｔ ｅ ｒ ｄ ｅ —
第３ ７卷 第 ６ 期
２ ０ １ ３年 １ ２月
北
京
交
通
大
学
学
报
Ｖ０ １ ． ３ ７ Ｎｏ ． ６
Ｄｅ ｃ ．２ ０ １ ３
ＯＵＲＮＡＬ ０Ｆ Ｂ ＥＩ Ｔ Ｉ ＮＧ Ｉ Ｉ ＡＯＴＯＮＧ ＵＮＩ ＶＥＲＳ Ｉ ＴＹ
文章编号 ： １ ６ ７ ３ — ０ ２ ９ １ （ ２ ０ １ ３ ） ０ ６ — ０ ０ １ ８ — ０ ４
中 图分类 号 ： Ｔ Ｎ９ １ １ ． ７ ３ 文 献标 志码 ： Ａ
Ｉ ｎｆ ｒ ａ ｒ ｅ ｄ ａ ｎｄ ｖ ｉ ｓ ｉ ｂ ｌ ｅ ｉ ｍａ ｇ ｅ ｆ ｕ ｓ ｉ ｏ ｎ ｍｅ ｔ ｈ ｏ ｄ ｂ ａ ｓ ｅ ｄ
ｏ ｎ ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｅ ｄ ＮＳ ＣＴ ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｍ
基于 Ｎ Ｓ Ｃ Ｔ变 换 的红 外 与可 见 光 图像 融合 方 法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
红外图像与可见光图像融合——笔记图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。
为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。
预处理理论主要包括图像去噪、图像配准和图像增强。
图像去噪目的是为了减少噪声对图像的影响。
图像配准是使处于不同状态下的图像达到统一配准状态的方法。
图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。
图像融合评价方法：主观评价和客观评价。
指标如：均值、标准差、信息熵等。
针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。
该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。
经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。
红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。
一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。
可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。
利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。
在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。
但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。
不利于人眼判读。
可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。
两者的主要区别有：(1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。
(2)可见光图像与红外图像的空间分辨率不同，一般情况下，前者的空间分辨率高于后者；(3)可见光图像与红外图像对同一景物的灰度差异不同；(4)可见光图像与红外图像的纹理和边缘特征不同；(5)可见光图像与红外图像的像素之间的相关性不同。
图像融合可以在以下三个不同层次进行：像素级、特征级和决策级。
像素级图像融合是最低层次的融合，也是其他层次图像融合方式的基础，它是直接对两幅或多幅图像中的对应像素点进行信息综合处理。
像素级图像融合主要强调的是对有用信息的强化和丰富，充分利用了融合图像中的有用信息，使之更符合人类的视觉特性，从而进行下一步的处理和分析。
融合技术有：基于变换域、基于成像模型、基于线性加权、基于多尺度分解。
特征级图像融合是指将待融合图像进行特征提取产生特征矢量，这里的特征是指边缘、形状，方向等，然后对特征矢量进行融合处理，从而完成特征级融合。
主要方法有贝叶斯估计法，熵法、模糊聚类法。
决策级图像融合的一般步骤是先对图像相关信息进行属性说明，而后进行融合，最后将得到场景中相关重要信息的融合属性说明的结果作为控制决策的依据。
常用的图像融合方法包括基于空间域和基于变换域融合。
基于变换域：PCA在统计特征的基础上进行的一种多维正交线性变换。
将相关性变量变换为不相关变量，这样所得结果就是由原始变量线性相加而成。
PCA 图像融合方法的原理是首先计算待融合图像的相关系数矩阵，求出相应的特征值和特征向量，然后通过特征值对应的特征向量来确定图像的加权系数，这样便得到了融合后的图像。
高通滤波法(HPF)的图像融合方法原理是首先采用具有较小空间的高通滤波器对待融合图像进行滤波，这样滤波后得到的图像保留了大部分与空间相关的高频分量信息，例如细节信息及纹理信息等，然后将得到的高频分量信息进行逐像素叠加到另一幅待融合图像上，这样便实现了图像融合。
IHS空间却与RGB空间不同，它是由亮度、色度与饱和度构成的，分别为I、H、S表示，其它颜色也是由这三个分量构成。
亮度I表示的是由其他物体反射的全部能量和图像的空间信息；色度H表示的是色彩组成的主波长，反映的是频谱信息；饱和度S表示的是颜色的纯度，主要反映地物的光谱信息。
在IHS色彩空间中，I、H、S三个分量相关性很低，因此可以利用这个特点对分量单独进行处理。
并且这种彩色空间更适于人眼的观察，算法也很简单，因此被广泛的应用到图像融合技术。
在IHS变换中，把图像由RGB空间变换到IHS空间的变换称为正变换，相反的，由IHS空间变换到RGB模型的变换称为反变换。
基于这种变换的图像融合原理是对已严格配准两幅图像中的颜色信息丰富的图像进行 IHS 正变换得到三个分量，再用另一幅图像替换掉 I 分量，最后利用新的 I 分量和原来得到的两个分量进行 IHS 逆变换，这样便得出了融合图像。
小波变换的优点表现为图像分解后形成具有不同分辨率、频率和方向特征的分量信号，而且可以将图像的光谱特征和空间特征完全分离，这样就可以为融合处理奠定基础。
这种变换的优点还表现为当利用变换进行重构时，信息会被准确无误的，不会有图像信息损失的重构。
而且在分解时将图像分解到不同的尺度上，这样可以方便的分析图像近似信息和细节信息，这种分解过程与人类视觉系统的特点相类似。
下面主要阐述基于小波的图像融合原理，先对已严格配准的两幅待融合图像A，B进行小波变换，若进行 i 层变换，便得到 3i 个高频子带和 1 个低频子带，将获得的低频和高频子带作不同融合规则处理，再将处理过的子带实行小波逆变换，便形成了结果图像 F。
下图表示其融合原理图。
小波融合局限性：小波分解层数的确定和小波基函数的选取。
首先不同的小波基在对图像进行分解和重构时具有不同的特性，并且没有一种小波基能够对所有图像的处理效果能优于其它的小波基。
因此，在选取小波基函数时应根据图像的统计特性进行动态的选取；对于确定小波分解层数的问题会出现因小波分解层数的不同产生时频分辨率和小波系数的变化范围变差的现象。
一般来说，当分解层数不断增加时，分解中能够剔除大量不重要的数据，由此可以增加图像的压缩比和提高图像的压缩质量。
然而，随着分解层数的进一步增加，这种良好的特性并不能一直的保持，而是当分解层数达到一定值时融合效果最好，超过此值时融合效果会下降。
Contourlet变换：因为小波变换只能获得有限方向的信息，并不能获得所有方向的信息。
小波变换的二维变换基的支撑区域为矩形，它能很好的表达点的奇异性，但无法高效的表达逼近图像固有的奇异曲线；人们经过研究发展了一个新的方法即多尺度几何分析法，这种分析法在表现高维函数上发挥了巨大的优势；其中 Contourlet 变换是 Do 和 Vetterli 在 2002 年提出的方法。
这种变换是目前应用较为广泛的变换，它是“真正”的图像二维表示方法。
它是用非分离滤波器组构造的，其构造方法与小波类似。
它是一种多分辨率多方向的变换，其最终是通过相当于轮廓段来对图像进行逼近的，它的基的支撑区间具有随尺度而长宽比变化的“长条形结构。
它在处理信号时具有良好的方向性、多分辨率性、局部化性和各向异性等优点，因此被广泛的应用于图像融合领域中。
Contourlet 变换主要可分为两个步骤，一个是搜索奇异点，另一个是合并方向接近的奇异点。
它采用双重滤波器组结构，一个是拉普拉斯金字塔滤波器，另一个是方向滤波器组，通过滤波器组来获取多分辨率信息和方向信息。
Contourlet 变换的过程是先进行多分辨率分解，这里采用的是 LP 分解，经过分解后会产生低频分量和高频分量，然后对分解得到的高频分量使用方向滤波器组进行方向性分析，最后对低频分量再进行 LP分解，便可以得到一系列不同尺度的低频分量和高频分量图像。
每一次 LP 分解都生成低频子带和高频子带，其中低频子带的分辨率是原图像的一半，而高频子带的分辨率和原图像相同，这里的高频子带为原图像和低频子带上采样滤波后的差值信号。
方向滤波器组的作用是捕获图像的方向性高频信息，并将分布在同方向上的奇异点合成为一个系数。
它的原理是采用树形结构分解，在每层上将信号先通过扇形滤波器组(QFB)进行扇形方向上的频率切分，然后与旋转重采样操作适当组合以实现图像高频信息方向性分析，从而捕获图像中的线、面等奇异性。
高斯金字塔的构成是首先对原始输入图像进行高斯低通滤波和隔行隔列的下采样，这样便得到了高斯金字塔的第一层，然后再对第一层图像低通滤波和下采样,得到高斯金字塔的第二层，依次类推。
其构建过程如下：这里的l的范围是1-N，表示高斯金字塔的层数。
i，j 表示高斯金字塔对应分解层的行数和列数。
W( m, n)是一个二维可分离的5*5窗口函数，其表达公式如下：由上可见高斯金字塔的这一层图像是由其上一层图像先进行高斯低通滤波，然后进行隔行和隔列的采样而得到的，这样当前层图像的大小依次为前一层图像大小的 1/4.拉普拉斯金字塔分解及重构：在对Gl 进行内插处理，这样便得到了放大的图像*lW。
式中，N为拉普拉斯金字塔分解的最高层次，iLP是拉普拉斯金字塔分解的第l层图像，这样一层一层的分解便生成了最终的拉普拉斯金字塔，其中的每一层图像都是经过高斯金字塔的当前层图像与其前一层图像经内插放大后进行相减得到图像的差值；采样理论：IHS 变换由于其运算简单，计算速度快，并能显著提高图像空间分辨率等诸多优点，被广泛的应用于图像融合技术中。
小波变换是一种图像的多分辨率分析方法，能够将图像分解为相应分辨率下的近似低频分量和三个高频细节分量，这三个高频细节分量分别为水平，垂直和对角线方向的高频细节信息。
基于小波变换的分解特点，在进行图像融合时可以分别对近似低频分量和高频细节分量进行融合，并采用不同的融合规则，因此采用小波变换的融合算法往往能获得更好的融合效果，也能较好地保留原始图像的光谱信息。
但是使用小波变换法实际上是对图像进行高通滤波和低通滤波的过程，融合图像会在一定程度上丢失边缘信息，易出现模糊情况和分块效应，而且计算过程比 IHS 变换复杂。
因此将 IHS 变换和小波变换结合起来使用，这样既可以提高融合图像的空间分辨率，也可以更好的保留可见光图像的光谱信息。