红外与可见光图像配准算法
基于卷积神经网络的红外与可见光图像融合算法
基于卷积神经网络的红外与可见光图像融合算法基于卷积神经网络的红外与可见光图像融合算法引言：近年来，随着红外和可见光图像获取技术的发展，红外与可见光图像融合在目标检测、夜间监测、军事侦查等领域中得到广泛应用。
红外图像能够突破可见光图像的局限性，具有辐射强度分布多变、辨识率高、适合在夜间和复杂天气条件下感知目标等优势；而可见光图像在空间和形状信息方面具有优势。
因此，将红外图像与可见光图像融合起来，可以有效地提高图像的质量和信号噪声比，从而更好地进行目标识别和目标跟踪。
方法：在红外与可见光图像融合算法中，卷积神经网络（Convolutional Neural Network，CNN）作为一种前沿的图像处理技术，在图像识别和特征提取方面具有出色的性能。
基于CNN的红外与可见光图像融合算法主要包括以下步骤：1. 数据预处理：将红外和可见光图像进行均衡化处理，使其具有相似的对比度和亮度分布。
这一步骤对于后续的特征提取和融合起到了关键作用。
2. 特征提取：使用卷积神经网络提取红外和可见光图像的特征。
卷积神经网络通过多层卷积和池化操作，可以有效地提取图像的空间特征和纹理信息，对于红外与可见光图像融合具有重要的意义。
3. 特征融合：将红外和可见光图像的特征进行融合。
融合的方法有多种，例如加权平均法、多层感知机等。
本文采用了基于CNN的特征级融合算法，该算法可以通过学习权重将红外和可见光图像的特征进行融合，得到更具有信息量的融合特征。
4. 图像重建：将融合后的特征通过反卷积操作进行重建，得到最终的融合图像。
重建的过程中可以加入一些先验知识，如红外图像的辐射分布和可见光图像的形状信息，以提高重建图像的质量。
实验结果：本文通过对红外与可见光图像数据集的实验验证，证明了基于CNN的红外与可见光图像融合算法的有效性和性能优势。
与传统的图像融合算法相比，该算法在目标识别和目标跟踪等任务中具有更好的性能和更高的准确率。
结论：基于卷积神经网络的红外与可见光图像融合算法在红外与可见光图像融合领域具有广泛的应用前景。
红外与可见光图像配准算法
Infrared and Visible Image Registration by Combination of Second-order Mutual Information and Alignment
Kuang Yabin，Wang Jindong，Li Peng （ College of Automation Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 21001结构信息的考
虑，因此二阶互信息提出通过增加相邻像素点的灰度 值或者当前像素点的梯度值等图像结构信息［1］，作为
缘梯度方向扩散的趋势，可见光图像中阶梯状边缘在 红外图像中则变成斜坡状边缘［2］，因此红外图像在边 缘处形成了边缘带。使用边缘带处的梯度信息会导致
二阶互信息的第二维信息来弥补互信息的缺陷。但是 配准结果的误差，从而降低配准算法的鲁棒性。
81
图像·编码与软件
匡雅斌，等： 红外与可见光图像配准算法
部上梯度值最大的点达到去边缘带的目的。 （ 3） 二 值 化 边 缘 连 接 和 迭 代 除 杂 边 缘［9］。 由
Hough 变换的基本原理知道，如果二值化图像中，所 需要提取的直线段连通性越好，且其他碎直线越少或 者碎直线间隔越大，则通过调整 Hough 变换的长度阈 值和最大间隔参数就越容易提取出所需要的直线段。 为此，本文对提取出的二值化图像进行边缘连接和迭 代除杂边缘的处理。在边缘连接中，高阈值图像去掉 大量噪声与杂散边缘，低阈值图像则保留了需要提取 的完整直线。这样通过边缘连接后的图像既保留了所 需提取的直线又去除了大量噪声边缘。连接后的直线 边缘不 一 定 完 全 连 接 起 来，但 此 时 可 以 通 过 调 整 Hough 变换中最大间隔参数来忽略直线间隔。最后， 为了进一步减少杂散边缘对 Hough 变换的干扰，又进 行了一次迭代去除杂散边缘。
红外与可见光图像配准算法
多模 图像配 准是对 同一 场景在 不 同时刻 、位 置 和 使用 不 同波 段摄像 头得 到 的一组 图像 之 间进行 匹配 的
过程 。二 阶互信息 是在互 信 息基础 上发展 的一 种更 为
了大量 的噪声 信息 ，由于 在红外 图像 和可见 光 图像 中 所 包含 的噪声 信号类 型不 一致 ，因此包 含红 外 与可见
ｔｒｄｂ ｄｕｔ ｇｔｅｐｏ ｏｔ ｎｏ ｉｎ ｅ ｔ ｅｒ ｅｎ ｗ ｓ ｌｒｙｆｎ ｔ ｎ ｘ ｅ ｍｅ ｔ ｅｕｔ ｄ ｍ ｎｔ ｔ ｔａ ｅｅ ｙａｊｓ ｎ ｒｐ ｒ ｏ ｆ ｇ ｍ ｎ ｔ ｃｉ ｔ ｅ ｉ ａ ｔ ｕ ｃｉ ．Ｅ ｐ ｒ ｎ ｓｌ ｅ ｏ ｓ ａ ｔ ｉ ｈ ｉ ｌ ａ ｍ ｉ ｎｈ ｍｉ ｉ ｏ ｉ ｒ ｓ ｒｅｈ
ｔ ｅｐ ｏ ｏ ｅ ｉ ｌｒｔ ｕ ｃｉｎ ｓ ｏ ｉｈ ｒａ ｃ ｒｃ ｎ ｏ ｕ ｔｅ ｓｔａ ｈ ｏ ｖ ｎ ｉｎ ｉ ｌｒｔ ｕ ｃｉｎ ． ｈ ｒｐ ｓ ｄ ｓｍ ａｉ ｆ ｎ ｔ ｈ ｗｓｈ ｇ ｅ ｃ ｕ ａ ｙ ａ ｄ ｒｂ ｓｎ ｓ ｈ ｎ ｔｅ ｃ ｎ ｅ ｔ ａ ｓｍｉａ ｙ ｆ ｎ ｔｏ ｓ ｉ ｙ ｏ ｏｌ ｉ
一种电力设备红外与可见光配准研究
随着现代电力网络的不断发展，电力设备的监测和维护变得越来越重要。
红外和可见光一直是两种常用的无损检测手段。
在电力设备监测中，红外图像技术用于检测设备的故障，而可见光图像用于检测设备的外观缺陷。
因此，如何将红外和可见光图像进行配准，并实现两种图像在同一坐标系下的统一显示，成为研究的热点之一。
一、红外与可见光图像的特点红外图像常用于检测电力设备的热力学特征，依据设备表面的温度差异实现故障检测。
而可见光图像则主要用于检测设备表面的外观缺陷。
因此，两种图像的特点和获取方式有所不同。
1.红外图像的特点红外图像是检测电力设备故障的一种有效手段，其主要特点如下：( 1)热敏感：红外图像所反映的是物体表面的热分布情况，其灵敏度高，可以检测到微小的温度变化。
( 2)非接触性：红外图像无需接触被测物体，避免了对被测物体的损伤或影响。
( 3)图像多变性：同一物体在不同的时间、环境下，其红外图像可以呈现出不同的特征，这使得红外图像在检测各种不同类型的电力设备故障时都有广泛的应用。
2.可见光图像的特点可见光图像在电力设备监测中的主要作用是检测电力设备外观缺陷，其特点如下：( 1)形象直观：可见光图像可以呈现出被测物体的真实色彩和形态特征，使得故障缺陷更加直观。
( 2)相对单一：可见光图像只能反映出物体表面的纹理和颜色，并不能检测其内部信息。
( 3)环境受限：可见光图像对环境有一定要求，例如光线、天气等因素都会影响其图像质量。
二、红外与可见光图像配准研究现状红外和可见光图像配准是将两幅或多幅图像在同一个坐标系下进行统一显示的技术，该技术可以帮助研究人员对电力设备的故障进行更准确的定位分析。
红外与可见光图像配准技术在国内外研究已经比较成熟，主要包括以下两种方法。
1.基于特征点的配准方法特征点是指图像中的一些具有特定识别性的点，这些点在图像中具有较强的唯一性，对于不同场景下的图像，其特征点的位置和数量都不相同。
基于特征点的配准方法，是通过寻找两个图像中的相同特征点，将它们在坐标系上对应起来，从而实现两幅图像的配准。
红外图像与可见光图像融合笔记
红外图像与可见光图像融合——笔记图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。
为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。
预处理理论主要包括图像去噪、图像配准和图像增强。
图像去噪目的是为了减少噪声对图像的影响。
图像配准是使处于不同状态下的图像达到统一配准状态的方法。
图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。
图像融合评价方法：主观评价和客观评价。
指标如：均值、标准差、信息熵等。
针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。
该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。
经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。
红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。
一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。
可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。
利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。
在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。
红外与可见光图像配准
本科毕业设计论文题目红外与可见光图像配准专业名称自动化学生姓名指导教师毕业时间2014.06毕业 任务书一、题目红外与可见光图像配准二、研究主要内容选题来源于科研项目。
红外与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大。
针对红外与可见光图像配准的研究，拟采用基于特征的图像配准算法。
配准算法中核心的部分在于特征的提取和特征的匹配两个部分。
特征提取拟采用Harris 角点或Susan 角点检测算法，这两种算法稳定性好，也适合实时性场合需要。
特征匹配阶段根据图像物理特性选择合适的匹配测度及匹配算法。
最终实现一种自动、快速、较高性能的配准方法。
三、主要技术指标1、开发工具采用OpenCV ；2、配准时间1秒左右，精度小于1个像素。
四、进度和要求第1-2周：初步查阅与本次毕设有关的背景知识、论文以及书籍，并进行分析、总结，理解所研究的问题。
第3-4周：学习掌握OpenCV 、图像配准的相关知识。
第5-6周：实现Harris 角点,ORB 或者BRIEF 法对图像特征进行提取。
第7-8周：确定特征匹配算法。
第9-10周：用OpenCV 实现算法的程序。
第11-12周：用OpenCV 实现算法的程序。
第13-14周：程序测试。
第15-16周：撰写毕业设计论文，准备论文答辩。
五、主要参考书及参考资料[1] 田伟刚。
基于点特征的多源遥感图像配准技术。
西北工业大学硕士学位论文，2008年设计论文[2] 苑津莎，赵振兵，高强等。
红外与可见光图像配准研究现状与展望。
激光与红外，2009，39(7)：693-699[3] C. Harris，M. Stephens．A combined corner and edge detector．In：Proceedingsof the Fourth Alvey Vision Conference．Manchester：the University of Sheffield Printing Unit，1988，pp147~151[4] S.M. Smith，J.M. Brady．SUSAN-A new approach to low level imageprocessing．Journal of Computer Vision，1997，23：pp45~78[5] S. Ranade，A. Rosenfeld．Point pattern matching by relaxation．PatternRecognition，1980，12：pp269~275[6] D. P. Huttenlocher，G. A. Klanderman，W. J. Rucklidge．Comparing images usingthe Hausdorff distance．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9)：pp850~863[7] M. P. Dubussion，A. K. Jain．A modified algorithm using robust hausdorff distancemeasures．Proc. of 12th Int. Conf. on Pattern Recognition，Jerusalem，Israel，1994：pp566~568[8] D.G. Sim，O.K. Kwon，R.H. Park．Object matching algorithm using robustHausdorff distance measures．IEEE Trans. on Image Process，1999，8(2)：425~429[9] 周成平，蒋煜，李玲玲等。
关于红外与可见光图像配准的研究
关于红外与可见光图像配准的研究赵晨 陈天华 李子伊 王聪聪北京工商大学计算机与信息工程学院摘要：在红外与可见光的配准中，可见光图像和红外图像之间存在较大的灰度差异，对同一景物所表现出的特征也不相同，这是造成配准精度不高的主要原因。
目前，对于边缘特征比较明显的图像，主要通过归一化互信息和边缘特征相结合的方法来将其配准。
这种方法的优点是容易实现，鲁棒性高；缺点是计算量大、速度慢。
因此我们比较了3种不同算法间的优缺点，能为图像的融合和配准研究提出新的研究方向和想法。
关键词：小波变换；主要成分分析；相似三角形匹配图像融合是将两幅或多幅图像组合成一幅保持重要图像特征的过程。
图像的融合通常需要从不同的图像获得原始图像的特征。
在同一场景下，通常不同的仪器或捕获技术(如多传感器、多焦点和多模态)进行取景并融合配准。
对于遥感图像，一些具有良好的光谱信息，而一些具有相对较高的几何分辨率。
因此，这些图像在许多方面都是互补的，没有一个图像能清晰展示场景的全部特征。
通过整合这些图像，充分利用这些图像的优点和各自的不同的信息，在不同的图像中看到互补的特征，从而生成相对较清晰的图像。
融合技术包括最简单的像素平均方法，更复杂的方法，有主要成分分析和小波变换融合等等。
1.三种算法的基本介绍1.1 基于相似三角形法基于相似三角形法的首要任务是将提取出来的Harris角点组成相似三角形，通过算法搜索出两副图像中最匹配的一对相似三角形即找出最匹配的三个角点并通过相似三角形的性质，计算出相关的匹配点，最后利用RANSAC算法拟合出匹配参数对图像进行配准。
1.2 主要成分分析法主要成分分析法(PCA)的主要过程是将一些相关变量转换成一些非相关变量，其核心算法是计算出经过压缩后的最优的数据组的描述。
本方法可以在保留大量信息的情况下，通过突出图片的相似点和不同点来进行匹配。
在图像融合时，PCA主要分析维度减少前后的数据，帮助减少多余的信息并且重点突出特征最为明显的成分，近一步增加信号对噪声的比例。
红外图像与可见光图像配准方法
红外图像与可见光图像配准方法引言：红外图像与可见光图像作为两种不同的图像模式，具有各自独特的特征和应用领域。
然而，在某些情况下，我们需要将红外图像与可见光图像进行配准，以实现更准确的分析与识别。
本文将介绍一些常用的红外图像与可见光图像配准方法，包括特征点匹配法、相位相关法和深度学习法。
一、特征点匹配法特征点匹配法是一种常见的红外图像与可见光图像配准方法。
该方法基于图像中的特征点，通过计算这些特征点在两个图像中的相对位置和方向，来实现图像的配准。
特征点可以是图像中的角点、边缘、纹理等突出的特征。
常用的特征点提取算法有SIFT（尺度不变特征变换）和SURF（加速稳健特征）等。
在得到特征点之后，可以采用一些算法，如RANSAC（随机一致性算法）来进行特征点的匹配和筛选。
二、相位相关法相位相关法是另一种常用的红外图像与可见光图像配准方法。
该方法利用图像的相位信息进行匹配，通过比较两幅图像的相位差异，来寻找最佳的配准变换参数。
相位信息可以通过傅里叶变换等算法来获取。
在得到相位信息之后，可以使用相关性匹配或互信息匹配等算法来计算两幅图像之间的相位差。
三、深度学习法深度学习法是近年来兴起的一种红外图像与可见光图像配准方法。
该方法通过使用深度神经网络，学习从红外图像到可见光图像的映射关系，进而实现图像的配准。
深度学习方法具有很强的自适应能力和鲁棒性，可以学习到图像内部的复杂特征，并准确地将红外图像与可见光图像对齐。
常用的深度学习模型包括卷积神经网络（CNN）和生成对抗网络（GAN）等。
四、实验结果与对比分析为了验证上述配准方法的效果，我们进行了一系列的实验。
实验使用了一组红外图像与可见光图像数据集，并使用不同的配准方法进行图像配准。
实验结果表明，特征点匹配法在准确度和速度上较为优秀，但对于图像中的纹理较少的情况效果较差；相位相关法在一定程度上能够克服纹理较少的问题，但对于大角度的旋转和缩放变换效果较差；深度学习法在处理纹理少、旋转角度大等复杂情况下效果较好，但需要较大的训练数据和计算资源。
红外与可见光图像融合算法研究
红外与可见光图像融合算法研究一、本文概述随着科技的发展，图像处理技术已经成为现代社会中不可或缺的一部分，尤其在军事、医疗、安全监控等领域，其应用日益广泛。
红外与可见光图像融合算法作为图像处理技术的一个重要分支，近年来受到了广泛关注和研究。
本文旨在深入探讨红外与可见光图像融合算法的原理、方法及其应用，为相关领域的研究和实践提供理论支持和技术指导。
本文将概述红外与可见光图像融合的基本概念，包括红外图像和可见光图像的特点、图像融合的必要性以及融合的基本原理。
在此基础上，将详细介绍目前国内外在红外与可见光图像融合领域的研究现状和发展趋势，包括各种融合算法的优势和局限性。
本文将重点研究红外与可见光图像融合的关键技术，包括图像预处理、特征提取、融合策略等。
针对这些关键技术，本文将深入分析其原理、方法及其优缺点，并结合实际案例进行具体说明。
同时，本文还将探讨如何优化融合算法，以提高融合图像的质量和效率。
本文将通过实验验证所研究的红外与可见光图像融合算法的有效性和可行性。
通过实验数据的收集、处理和分析，将评估融合算法的性能指标，如清晰度、对比度、融合度等，并与其他算法进行对比分析。
本文还将讨论融合算法在实际应用中的潜力和挑战，为未来的研究提供方向和建议。
本文将全面深入地研究红外与可见光图像融合算法的原理、方法及其应用，以期为相关领域的研究和实践提供有益参考和借鉴。
二、红外与可见光图像融合技术概述红外与可见光图像融合技术是一种多源信息融合技术，旨在将红外图像和可见光图像中的有用信息进行融合，以生成一种包含更多信息、更具可读性和可理解性的新图像。
这种技术能够结合不同传感器捕捉到的信息，利用它们各自的优点，以弥补彼此的不足。
红外图像主要反映物体的热辐射信息，对于隐蔽目标、伪装目标以及夜间目标的检测具有显著优势。
红外图像往往分辨率较低，且难以区分目标的细节和纹理。
而可见光图像则提供了丰富的色彩和纹理信息，对于场景的识别和目标的分类具有较好的效果。
基于改进SIFT特征的红外与可见光图像配准方法
基于改进SIFT特征的红外与可见光图像配准方法赵明;林长青【摘要】针对灰度弱相关的可见光和红外图像的配准问题,本文提出了一种基于改进SIFT特征的图像配准方法.该方法根据SIFT算子在仿射变换、加噪、灰度变化等情况下的性能,首先在提取特征点时设定阈值来约束受灰度弱相关影响较大的向量幅值,然后采用性能较稳定的相似四边形的精匹配方式删除粗匹配时的误匹配点对,最后使用最小二乘法求解仿射变换系数的最佳解.实验结果表明,本文提出的基于改进SIFT特征的匹配方法在匹配精度上有明显改善,复杂度上也可行.%Referring to the problem of the less correlative intensity image registration, an improved approach based on Scale Invariant Features Transform (SIFT) is proposed. First, according to the performance of SIFT in three instances: affine transform, adding Gaussian noise and different intensities, SIFT vector values which was easily affected by different intensities were constrained through given threshold when extracting SIFT feature points. Then, the false matching points were deleted by similar quadrangle in the precise math process. Finally, least squares method was employed to find optimal solutions to affine transform equations. Experimental results show that the proposed approach has a better performance than original SIFT algorithm, and can achieve a high accuracy and moderate complexity level.【期刊名称】《光电工程》【年(卷),期】2011(038)009【总页数】7页(P130-136)【关键词】图像配准;SIFT算子;灰度弱相关;相似四边形;最小二乘法【作者】赵明;林长青【作者单位】中国科学院上海技术物理研究所,上海200083;中国科学院研究生院,北京100049;中国科学院上海技术物理研究所,上海200083【正文语种】中文【中图分类】TP391.410 引言为了弥补单源探测器工作环境的局限性和频段的单一性，多种探测器结合使用已是大势所趋。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（ 1） 维信息。针对领域像素点均值代表的图像结构信息不
σ2 2，1
（
n）
∑ =
1 H2 （ n）
（
I2（ x，y）
I1 （
x，y）
－ E（ 2，1） （ n） ） 2 （ 2）
足的问题，本文引入一致性边缘对齐度，从而增加图 像边缘信息在配准过程中的作用。p（ i，j，k，l） 可由 四维灰度联合直方图统计。归一化二阶互信息定义为
（ 1） 均值滤波。为了滤除图像中的噪声，采用均值 滤波器对原图像进行噪声滤除。相比高斯滤波器会造成 原图像的过度光滑或者缓变边缘容易丢失的效果而言， 采用均值滤波比采用高斯滤波后的图像边缘变得更加平 滑和连续，而且免去了选取高斯模板宽度的工作［6 －7］。
（ 2） 边缘细化并去除假边缘。由于红外图像存在边 缘带，并且经过均值滤波器之后，使得边缘带会进一步 加宽。由 Hough 变换原理可知，直线边缘带经过 Hough 变换后会在两侧检测出两条直线。由此计算得到的对齐
对齐度最 初 是 在 对 医 学 图 像 配 准 领 域 中 开 始 使
用，由于医学图像不同光谱下各组织内部灰度值单
一，且噪声很小。因此，直接对灰度图像进行计算对
齐度能够起到理想的效果。而在红外与可见光图像配
准时，红外图像在同一区域内部可能出现灰度值反
转，因此对灰度图像计算对齐度容易导致配准失败。Байду номын сангаас
本文将利用图像中的边缘求取对齐度，虽然红外与可
本文是基于图像间的边缘来计算对齐度的，为更 好地计算红外与可见光图像之间的对齐度，本文采用 对二值化图像进行 Hough 变换［5］提取图像中一致性 较高的主要直线边缘。为保证所提取边缘的一致性， 在进行 Hough 变换提取一致性直线段前，进行了以下 几步预处理优化边缘提取：
2 基于对齐度的二阶互信息基本原理
（ 8） 其中，p（ i，j，k，l） 中 i 表示图像 A 中灰度值 i 的像
度曲线将变得不尖锐而且存在大量局部极值，因此必须 首先对边缘带进行细化处理［8］，然后采用非极大值抑制
素点； k 表示图像 B 中与图 A 中像素值为的 i 像素点 的思想，进一步细化全局梯度图中的屋脊带，保留在局
www. dianzikeji. org
Infrared and Visible Image Registration by Combination of Second-order Mutual Information and Alignment
Kuang Yabin，Wang Jindong，Li Peng （ College of Automation Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 210016，China）
进行矫正，使得优化时的矫正后曲线可以使局部极值
大大减少，此时 K 应该取 0 ～ 0. 5 之间。
3 对齐度的合理计算
在一些主要轮廓线具有较好的一致性。因此，本文在 提取边缘图像的基础上，通过 Hough 变换选取红外和 可见光图像中一致性较高的直线段作为对齐度计算时 的边缘，减少边缘之间的差异所引起的对齐度计算的 偏差。然后与原有的二阶互信息结合，形成新的相似 性测度，以提高配准的准确性和鲁棒性。
Keywords IR； visible； image registration； second-order mutual information； alignment metric； Hough transform
多模图像配准是对同一场景在不同时刻、位置和 了大量的噪声信息，由于在红外图像和可见光图像中
图像中总体温度均衡的情况下，使用二阶互信息能够
得到比较尖锐的互信息曲线，且曲线的局部极值比较
少，因此增大二阶互信息所占比例，K 应该取 0. 5 ～ 1
之间。当红外图像中总体温度不均衡，且有大量噪声
存在的情况下二阶互信息就会存在很多局部极值，在
进行后续优化的处理时很有可能陷入局部极值当中，
所以此时应当增加对齐度的比例以对二阶互信息曲线
图像·编码与软件
2011 年第 24 卷第 5 期 Electronic Sci. ＆ Tech. / May. 15，2010
红外与可见光图像配准算法
匡雅斌，王敬东，李 鹏
（ 南京航空航天大学 自动化学院，江苏 南京 210016） 摘 要 提出把二阶互信息与对齐度相结合作为相似度函数，通过 Hough 变换提取两幅图像中一致性较高的直 线，计算它们的对齐度，最后针对不同的图像特点，调整对齐度在新相似度函数中所占比例进行配准。实验结果表 明，新算法与其他几种测度函数相比有更高的精确性和鲁棒性。 关键词 红外； 可见光； 图像配准； 二阶互信息； 对齐度； Hough 变换 中图分类号 TN219； TP391. 41 文献标识码 A 文章编号 1007 － 7820（2011）05 － 080 － 05
大，增加相邻点灰度值作为第二维信息不能提供足量 的结构信息。（ 2） 而增加当前点梯度值作为第二维信
的对齐度，再与二阶互信息相结合实现多模图像配准。 对齐度［3］的概念源自于人眼对两幅图像内容对齐
息时，由于梯度对噪声非常敏感，得到的梯度值包含 的认识； 当判断两幅图像内容对齐的时候，意味着图
像之间重叠之后像素值之间非对齐的区域最小、对齐
设有 I1 ，I2 两幅图像，E（ 1，2） （ n） ，E（ 2，1） （ n） 分别 为两幅图像中一幅图像相对与另一幅图像灰度为 n 的
80
www. dianzikeji. org
匡雅斌，等： 红外与可见光图像配准算法
图像·编码与软件
对应像素集合的灰度均值。H1 （ n） 和 H2 （ n） 代表像素 灰度值为 n 的个数。P1 （ n） ，P2 （ n） 表示在两幅图中 像素值为 n 的像素点概率。
见光图像中的有些边缘会存在较大差异，但依然会存
NMI2
=
H2 （ A） H2 （
+ H2 （ A，B）
B）
（ 9）
将二阶互信息和边缘图像对齐度相结合构成一个
新的相似性测度
AMNMI2 = K × NMI2 + （ 1 － K） × AM （ 10） 其中，K 为比例值，K 的取值范围为［0，1］，当红外
∑ σ 2 1，2
=
P1 （
n）
σ2 1，2
（
n）
（ 3）
∑ σ 2 2，1
=
P2 （
n）
σ2 2，1
（
n）
（ 4）
CI［I1 ，I2］=
σ2 1，2 σ22
+
σ2 2，1 σ21
（ 5）
CI 的取值范围为［0，2］。为了描述方便，取 CI
的倒数为对齐度 AM，即
AM = 1 / CI
（ 6）
当两幅图像之间配准时，对齐度 AM 值为最大。
使用不同波段摄像头得到的一组图像之间进行匹配的 所包含的噪声信号类型不一致，因此包含红外与可见
过程。二阶互信息是在互信息基础上发展的一种更为 光图像中噪声信息的像素点梯度值所代表的图像结构
有效的多模图像配准算法。互信息只反映了图像中每 信息之间就可能存在很大的差异。（ 3） 从红外图像本
一对像素点灰度值的统计特性，它忽略了不同位置像 身的特点出发，物体在图像中边缘处像素值呈现向边
缘图片中会形成许多短的杂散边缘，或出现边缘像素 点聚成一团，为了避免其对 Hough 变换造成干扰，在 Hough 变换前对两幅图像分别做一次形态学细化。
5 图像配准过程
4 Hough 变换的参数选择
本文采用的 Hough 变换函数有 5 个参数： 距离精 度 rho； 角度精度 theta； 长度阈值参数 threshold； 最 小碎线段长度 param1 和碎线段最大间隔值 param2。
素点间的相关性并且缺少对图像空间结构信息的考
虑，因此二阶互信息提出通过增加相邻像素点的灰度 值或者当前像素点的梯度值等图像结构信息［1］，作为
缘梯度方向扩散的趋势，可见光图像中阶梯状边缘在 红外图像中则变成斜坡状边缘［2］，因此红外图像在边 缘处形成了边缘带。使用边缘带处的梯度信息会导致
二阶互信息的第二维信息来弥补互信息的缺陷。但是 配准结果的误差，从而降低配准算法的鲁棒性。
收稿日期： 2010-12-31 作者简介： 匡 雅 斌 （ 1985 － ） ，男，硕 士 研 究 生。研 究 方 向： 计算机测控和图像处理。王敬东（ 1966 － ） ，男，硕士生导师。 研究方向： 计算机测控和图像处理。李鹏（ 1977 － ） ，男，讲 师。研究方向： 计算机测控。
的区域越大。从微观上来说，这表示着一幅图像的每 个灰度级在像素位置上所对应的另一幅图像的灰度级 最稳定，而在数学上体现为方差最小。
81
图像·编码与软件
匡雅斌，等： 红外与可见光图像配准算法
部上梯度值最大的点达到去边缘带的目的。 （ 3） 二 值 化 边 缘 连 接 和 迭 代 除 杂 边 缘［9］。 由
Hough 变换的基本原理知道，如果二值化图像中，所 需要提取的直线段连通性越好，且其他碎直线越少或 者碎直线间隔越大，则通过调整 Hough 变换的长度阈 值和最大间隔参数就越容易提取出所需要的直线段。 为此，本文对提取出的二值化图像进行边缘连接和迭 代除杂边缘的处理。在边缘连接中，高阈值图像去掉 大量噪声与杂散边缘，低阈值图像则保留了需要提取 的完整直线。这样通过边缘连接后的图像既保留了所 需提取的直线又去除了大量噪声边缘。连接后的直线 边缘不 一 定 完 全 连 接 起 来，但 此 时 可 以 通 过 调 整 Hough 变换中最大间隔参数来忽略直线间隔。最后， 为了进一步减少杂散边缘对 Hough 变换的干扰，又进 行了一次迭代去除杂散边缘。