红外与可见光图像配准和融合中的关键技术 (1)
热红外与可见光的联合标定
热红外与可见光的联合标定
首先，热红外和可见光相机的联合标定需要进行内部参数和外
部参数的标定。
内部参数包括相机的焦距、主点位置等内部特性，
而外部参数包括相机的位置和姿态等外部特性。
这些参数的标定可
以通过使用特定的标定板或者特征点来实现。
其次，联合标定还需要考虑两种相机成像结果之间的对应关系。
这可以通过在场景中放置特定的标定板或者特征点，并利用这些标
定目标在两种成像结果中的位置来建立对应关系。
另外，联合标定还需要考虑两种成像结果之间的畸变校正。
热
红外和可见光相机都会存在一定程度的畸变，需要对这些畸变进行
校正，以保证两种成像结果之间的准确对应关系。
最后，联合标定的结果可以用于将热红外和可见光成像结果进
行融合，从而得到更丰富和更准确的信息。
这种融合可以用于改善
目标检测、跟踪和识别的性能，提高系统在复杂环境下的适用性。
总的来说，热红外与可见光的联合标定是一个复杂而重要的过程，它可以将两种不同波段的成像结果进行关联和校准，为各种应
用提供更丰富和更准确的信息。
在实际应用中，联合标定的精度和
稳定性对系统的性能有着重要的影响，因此需要综合考虑各种因素，并采用合适的方法和工具来实现联合标定的目的。
可见光与红外图像融合研究现状及展望
像、 目标识别 、 安全监控机场安检和森林消防等领域ｌ ＿ ２ 。
１ ． ３ ． １ 夜视 系统
２ ０ ０ ２ 年， 英国 Ｏｃ ｔ ｅ ｃ 公 司和 Ｗａ ｔ ｅ ｒ ｆ ａ ｌ ｌ Ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ公 司
迷惑的情况下更快 、 更精确地探测和识别 目标 ， 甚 至获取 目
１ 引 言
１ ． １ 图像 融 合概 念 图像 融 合 是 指 按 照 一 定 的 规 则 ， 把 同 一 目标 或 同 一 场
标的状态信息等ｌ ４ ］ 。 １ ． ３ 图像 融 合 应 用 进 展
目前 ， 可见光 与红外 图像融合 系统 已经以星载 、 机载、
总第 ２ ２ ３期 ２ ０ １ ３ 年第 １ 期
舰 船 电 子 工 程
Ｓ ｈ ｉ ｐ Ｅｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ
Ｖｏ １ ． ３ ３ Ｎｏ ． １
１ ６
可 见 光 与 红 外 图像 融 合 研 究 现 状 及 展 望
Ａｂｓ ｔ ｒ ａ ｃ ｔ Ｔｈ ｅ ｃ ｈ ａ ｒ ａ ｃ ｔ ｅ ｒ ｉ ｓ ｔ ｉ ｃ ｓ ｏ ｆ ｉ ｎ ｆ ｒ ａ ｒ ｅ ｄ ａ ｎ ｄ ｖ ｉ ｓ ｉ ｂ ｌ ｅ １ ｉ ｇ ｈ ｔ ｉ ｍａ ｇ ｅ ｉ ｍａ ｇ ｉ ｎ ｇ ｈ ａ ｖ ｅ ｓ ｉ ｇ ｎｉ ｆ ｉ ｃ ａ ｎ ｔ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ． Ｂｕ ｔ ｔ ｈ ｅ ｙ ｈａ ｖ ｅ ｇ ｏ ｏ ｄ ｃ ｏ ｍｐｌ ｅ ｍｅ ｎ ｔ ｉ ｎ ｉ ｍａ ｇｅ ｆ ｕｓ ｉ ｏ ｎ ．Ｔｈ ｅ ｃ ｏ ｎｃ ｅ ｐ ｔ ，ｐ ｒ ａ ｃ ｔ ｉ ｃ ａ ｌ ｓ ｉ ｇ ｎ ｉ ｆ ｉ ｃ ａ ｎｃ ｅ ａ ｎｄ ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｄｅ ｖ ｅ ｌ ｏｐ ｍｅ ｎ ｔ ｉ ｓ ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｄ ． Ｔｈ ｅ ｉ ｍａ ｇ ｅ ｆ ｕ ｓ ｉ ｏ ｎ ｈ ｉ ｅ ｒ ａ ｒ ｃ ｈｙ ａ ｎｄ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ａ ｒ ｅ ｅ ｘ— ｐ ｌ ａ ｉ ｎ ｅ ｄ ． Ｔｈ ｅ ｃ ｏ ｍｍｏ ｎｌ ｙ ａ ｐ ｐ ｌ ｉ ｅ ｄ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｈ ｉ ｇ ｈｌ ｉ ｇ ｈ ｔ ｍｅ ｔ ｈ ｏ ｄ ｓ ｏ ｆ ｉ ｎ ｆ ｒ ａ ｒ ｅ ｄ ａ ｎ ｄ ｖ ｉ ｓ ｉ ｂ ｌ ｅ ｌ ｉ ｇ ｈｔ ｉ ｍａ ｇ ｅ ｆ ｕ ｓ ｉ ｏ ｎ ａ ｒ ｅ ｓ ｕ ｍｍ ａ ｒ ｉ ｚ ｅ ｄ ． Ａｎ ｄ ｆ ｉ ｎ ａ ｌ ｌ ｙ ｔ ｈ ｅ ｅ ｘ ｉ ｓ ｔ ｉ ｎ ｇ ｐ ｒ ｏ ｂ ｌ ｅ ｍｓ ｏ ｆ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｉ ｎ ｔ ｈｉ ｓ ｆ ｉ ｅ ｌ ｄ ａ ｎ ｄ ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｉ ｎ ｇ ｔ ｒ ｅ ｎ ｄ ａ ｒ ｅ ｐｏ ｉ ｎ ｔ ｅ ｄ ｏ ｕｔ ． Ｋｅ ｙ Ｗ ｏｒ ｄ ｓ ｖ ｉ ｓ ｉ ｂ ｌ ｅ ｌ ｉ ｇ ｈ ｔ ，ｉ ｎｆ ｒ ａ ｒ ｅ ｄ，ｉ ｍａ ｇ ｅ ｆ ｕ ｓ ｉ ｏ ｎ，ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ，ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍｅ ｎ ｔ Ｃｌ ａ ｓ ｓ Ｎｕ ｍｂ ｅｒ ＴＮ２ ］ ３
基于干线对的红外与可见光最优图像配准算法
红外与可见光图像配准在EFVS中的应用研究
２０１０年第１期 （总第１９１期） 黑龙江交通科技
ＨＥ ＬＬＯＮＧｄｌＡＮＧ ｄｌＡＯＴＯＮＧ ＫＥＪＩ Ｎｏ．１，２０１０
（Ｓｕｍ Ｎｏ．１９１）
红外与可见光图像配准在ＥＦＶＳ中的应用研究 翟 豪，申 冰，李宜，张光明 （中国民航飞行学院飞行技术学院）
摘要：ＥＦＶＳ（视景增强系统）是一种有效的进近着陆助视系统，正逐步在民用航空器上安装运行，其核心技 术之一就是多源图像配准。红外与可见光图像配准作为一类重要的多传感器图像配准方法，在自动控制、遥 感、民用航空及军事应用等领域发挥着重要作用。研究了基于特征的配准方法在ＥＦＶＳ中的应用，并通过仿 真实验显示其对飞行员情景意识的提高。 关键词：红外图像；可见光图像；特征提取；图像配准；ＥＦＶＳ系统 中图分类号：ＴＰ９６７．２ 文献标识码：Ａ 文章编号：１００８—３３８３（２０１０）０１—０１３４一Ｏ１
１引 言 从上世纪９ｏ年代中期开始，随着成像技术的进步，人们 开始研究能穿透低能见度天气的机载红外或微波图像传感 技术，研发了增强视觉系统（ＥＦＶＳ）。ＥＦＶＳ的出现，第一次 使得机长在低能见度下都能看到航空器前方场景的动态图 像，极大地改善了机长的空间感知和情景意识。该系统在座 舱下方外安装红外成像仪或微波图像传感器，实时采集航空 器前方场景动态视频图像，经处理后和相关的飞行指引符号 叠加在ＨＵＤ（平视显示仪）上显示。尽管红外或微波图像具 有分辨率低、图像内容可理解性较差等不足，但由于增强视 觉系统采集的是实时的场景动态图像，图像内容具有较高的 真实性和可信性。特别是在航空器最后进近阶段，因为此时 航空器已对准跑道，图像传感器中所能看到的场景主要限于 跑道、灯光及附近的场面，图像内容更易分辨和理解。目前 投入使用的ＥＦＶＳ存在只能处理和显示单传感器图像、不能 融合显示多个波段和不同视点的增强视觉图像的不足。 国际上自１９９６年至今，每年举行一次“Ｅｎｈａｎｃｅｄ ａｎｄ Ｓｙｎｔｈｅｔｉｃ Ｖｉｓｉｏｎ”国际会议；在每年的“ＩＥＥＥ Ｄｉｇｉｔａｌ Ａｖｉｏｎｉｃｓ Ｓｙｓｔｅｍ”国际会议上也有大量关于合成视觉（ＳＶＳ）和增强视 真实场景 真实场景 真实场景 觉（ＥＦＶＳ）的工作报道。目前，包括美国、英国、加拿大、德国 等国的政府和军方研究机构，以及国际上著名的航电厂商 （如：Ｈｏｎｅｙｗｅｌｌ、Ｒｏｃｋｗｅｌｌ、Ｔｈａｌｅｓ等）仍在大力加这方面的研 究。 ２ ＥＶＦＳ系统中图像配准技术的应用 由于机载传感器特性和航空器的运动方式，图像中的对 象仅是刚性的改变位置、姿态和刻度，改变的原因往往是由 摄影器材运动引起的。 所以本文拟将基于特征的图像配准技术运用于增强视 景系统中，在传感器位置、指向、焦距不同时，通过实时逆透 视变换处理，将二维图像还原到三维空间中，并对还原的各 图像序列逐帧进行时间同步和空间配准处理，以期为航空器 在低能见度下的最后进近阶段提供更容易分辨和理解的图 像。 在传感器位置、指向、焦距不同时，通过实时逆透视变换 处理，将二维图像还原到三维空间中，并对还原的各图像序 列逐帧进行时间同步和空间配准处理，以期为航空器在低能 见度下的最后进近阶段提供更容易分辨和理解的图像。 合成方案如下。
红外与可见光图像配准算法
多模 图像配 准是对 同一 场景在 不 同时刻 、位 置 和 使用 不 同波 段摄像 头得 到 的一组 图像 之 间进行 匹配 的
过程 。二 阶互信息 是在互 信 息基础 上发展 的一 种更 为
了大量 的噪声 信息 ，由于 在红外 图像 和可见 光 图像 中 所 包含 的噪声 信号类 型不 一致 ，因此包 含红 外 与可见
ｔｒｄｂ ｄｕｔ ｇｔｅｐｏ ｏｔ ｎｏ ｉｎ ｅ ｔ ｅｒ ｅｎ ｗ ｓ ｌｒｙｆｎ ｔ ｎ ｘ ｅ ｍｅ ｔ ｅｕｔ ｄ ｍ ｎｔ ｔ ｔａ ｅｅ ｙａｊｓ ｎ ｒｐ ｒ ｏ ｆ ｇ ｍ ｎ ｔ ｃｉ ｔ ｅ ｉ ａ ｔ ｕ ｃｉ ．Ｅ ｐ ｒ ｎ ｓｌ ｅ ｏ ｓ ａ ｔ ｉ ｈ ｉ ｌ ａ ｍ ｉ ｎｈ ｍｉ ｉ ｏ ｉ ｒ ｓ ｒｅｈ
ｔ ｅｐ ｏ ｏ ｅ ｉ ｌｒｔ ｕ ｃｉｎ ｓ ｏ ｉｈ ｒａ ｃ ｒｃ ｎ ｏ ｕ ｔｅ ｓｔａ ｈ ｏ ｖ ｎ ｉｎ ｉ ｌｒｔ ｕ ｃｉｎ ． ｈ ｒｐ ｓ ｄ ｓｍ ａｉ ｆ ｎ ｔ ｈ ｗｓｈ ｇ ｅ ｃ ｕ ａ ｙ ａ ｄ ｒｂ ｓｎ ｓ ｈ ｎ ｔｅ ｃ ｎ ｅ ｔ ａ ｓｍｉａ ｙ ｆ ｎ ｔｏ ｓ ｉ ｙ ｏ ｏｌ ｉ
红外和可见光图像融合算法研究答辩稿
把握不好，要么图像整体暗淡，要么整体就偏亮，且边缘信息比较 模糊，对比度较低。
融合结果图像分析
●基于区域对比度的融合方法所得到的图像模糊，信息熵 小，分析编写程序和算法可能是在计算过程中灰度值超出 了0~255的范围，也可能是计算的高频分量值过小，对比 度值异常过大，接近于无穷大，导致了图像局部偏亮或者 局部暗淡，融合图像质量不够好。
6.5223 6.2178 6.2819 6.7375
标准差std 29.5083
23.8603 22.2666 21.4988 29.9311
平均梯度 4.2927
4.3085 3.2953 3.3771 4.6958
空间频率 9.1607
8.4296 6.4550 6.6744 11.4168
对应像素取 平均值
对应像素加 权平均 基于区域能 量取大 基于区域能 量取小 基于区域对 比度
6.5445
1.8530e-04
24.3389
33.9577
4.5668
16.2664
9.5732
36.5167
融合结果图像分析
通过对融合结果图像的观察和对指标的分析可以得出： ●融合图像质量最好融合方法：基于区域能量的融合方法
2.在日常生活中，我们所见到的图像绝大部分都是可见 光图像(如电视机图像、数码照相机)。
3.图像融合技术是在兴起于70年代末的信息融合技术的 基础上发展起来的图像处理新技术，在多传感器信息融 合领域中，图像融合是应用最为广泛，发表文献最多的 一个方向。
选题的意义
图像融合的概念
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理 和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质 量的图像，对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器 的自动探测，提高图像信息的利用率和可靠率。
基于传感器参数和改良CPD算法的红外与可见光图像点云配准
ｉｔ ｔ ｎ ｐ ｅ ｉｉｎ ｃ ｎ ｂ ｒ ｕ ｄ ｏ ｅ ｐ ｘ １ ｓ ａ ｉ ｒ ｃ ｓ ａ ｅ ａ ｏ ｎ ｎ ｉｅ ． ｒ ｏ ｏ
Ｋｅ ｒ ｓ ｉａｅｒｇ ｔ ｔ ｎ ｐ ｉ ｅ ｒｇ ｔ ｔ ｎ ｉｆ ｒｄａｄｖ ｕｌｍ ｇｓ ｒｆ ｅ ｏｅｅｔ ｏ ｔ ｒ （ Ｐ ； ａ— ｙｗｏｄ ：ｍ ｇ ｉｒ ｉ ； ｏ ｔ ｔｅｉｒ ｉ ；ｎｒ ｅ ｉ ａ ｉ ａｅ； ｅ ｎｄｃｈｒｎ ｐｉ ｉ Ｃ Ｄ） ｐｒ ｅ ｓａｏ ｎ ｓ ｓａｏ ａ ｎ ｓ ｉ ｎ ｄｆ ｔ ｔ ｌ ｓａ ｐｉｉ ｔ ｎ（ Ｓ ｉｅ ｗ ｍｉ ｔ ｚ ｉ Ｐ Ｏ） ｃ ｏ ｍ ａｏ
Ａｂ ｔ ａ ｔ Ｉ ｒ ｅ ｅ ｌ ｅ ｔ ｅ Ｆ Ｉ ａ ｄ ｖ ｓ ａ ｇ ｅ ｉ ｒ ｔ ｎ ｅｆｃ ｉｅｙ， ｎ ａ ｔｍａ ｉ ｒｇ ｓｒｔ ｎ ａ ｇ ｒｔ ｍ ｂ ｓ ｄ ｏ ｓ ｒ ｃ ： ｎ ｏｄ ｒ ｏｒ ａ ｉ ｈ Ｌ Ｒ ｎ ｉｕ ｌｉ ｅ ｒ ｇｓ ａｉ ｆ ｔ ｌ ａ ｕ ｏ ｔ ｅ ｉｔａｉ ｌ ｏ ｈ ａ ｅ ｎ ｔ ｚ ｍａ ｔ ｏ ｅ ｖ ｃ ｏ ｉ
Ｉ ｆ ａ ｅ ｎ ｉｕａ ｍ ａ ｅ ｐ ｉ ｔｓ ｔｒ ｇ ｓ ｒ ｔｏ ａ ｅ ｎ ｓ ｎ ｏ ｎ ｒ ｒ ｄ ａ ｄ ｖ ｓ ｌｉ ｇ ｏ ｎ ｅ ｅ ｉｔ ａ ｉ ｎ ｂ ｓ ｄ ｏ ｅ ｓ ｒ
ｐ ｒ ｍ ｅ ｅ ｓ ａ ｅ ｎ ｄ ＣＰＤ ｌ ｏ ｉｈ ａａ ｔ ｒ ｎｄ ｒ ｆ ｅ ｉ ａ ｇ ｒｔ ｍ
良的 Ｃ Ｄ算 法对 其实现精配准． Ｐ 实测数据验证表 明， 该方法能实现对红 外与可见光图像 的 良好配准 ， 配准精度达 到 １个 像 素 左 右 ． 关 键 词： 图像配准 ； 点云配准 ； 红外 与可见光 图像 ； 改良的 Ｃ Ｄ； Ｐ 粒子群优 化算法 中 图 分 类 号 ： Ｐ５ Ｔ ７ 文献标识码 ： Ａ
红外与可见光图像互信息法自动配准算法研究
ＩＡ Ｂ ＝ ０ 当 Ａ 完全依赖于 Ｂ时 ， Ａ， ）＝ （， ） ； Ｉ Ｂ （
Ｈ（ ＝ Ｈ（ ） 达到最大值 。 Ａ） Ｂ， 进一 步 ， 于分布 对 Ｐ 。 和 ｑ ． ， 引 入 ＫｕｌａｋＬ ｉｅ 距 离 ： （） （） ｌ ｃ—ｅ ｌ ｂ ｂｒ
视频动态图像监控 、 模式识别、 卫星遥感图像和工 业探伤等领域。 目 ， 前 配准方法总体上可 以分为基于体素（ 像 素） 相似性的配准和基于几何特征的配准两大类。 其中， 基于体素（ 像素） 相似性 的配准方法是通过 在灰度信息的统计特性空间上 ， 定义一个准则 函
ｉｒ ｉ ） ｓ ａｏ 。红外与可见光传感器 是 目 ｔｔｎ 标监控识别
准相对来说 ， 难度更大。目 ， 前 国内外有关红外与 可见光图像的配准尚无成熟 的算法。
２ 图像 自动配准算法的改进
图像配准是对取 自不 同空间 、 不同传感器或 不同视觉 的同一场景 的两 幅或 多幅图像进行 匹
配、 校准的过程。图像配准作 传统的图像配准方法一般是采用选取控制点 的方法 ， 该方法在相同传感器下是可行的， 但在多 传感器 图像配准时出现了一定的困难。这是由于
数， 使得配准参数在准则函数的极值处取得 ， 从而 将配准问题转化为准则 函数的最大／ 最小化问题 ，
然后通过一定的最优化方法求得配准参数来实现 配准 。该方法具有较高的准确性 和鲁棒性 ， 但其
依据整幅图像的灰 度信息 ， 使得其计算费用相当
高； 基于几何特征的图像配准方法是用 图像分割
和模式识别的方法 提取 图像 中稳健 的特征点 ， 确 定这些特征点之间的对应关系， 寻找一个表示相
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
１０红外与激光工程：光电信息处理技术第３５卷式中：坛ｒ为标准方差；Ｂ，ｑ。
为＠’ｙ）处沿第ｆ和第（（ｆ砌）ｍｏｄ２ｍ）方向的方向方差。
图像被均匀划分
为２ｍ个方向。
上面的方差都是在以＠，ｙ）为中心的窗口内计算的。
②选择邻域内有最高兴趣值的点为待选特征点。
如两待选特征点之间的距离小于最小距离门限，则有较小兴趣值的待选特征点被扔掉。
③如待选特征点的数目仍然大于预定数目，则按兴趣值由大到小的顺序依次选择预定数目的特征点作匹配。
其兴趣值计算的是局部区域的标准方差与方向方差（即边缘强度）之比的最小值的乘积，因而兴趣值具有以下特点：１）易选择局部区域信息多的点；２）计算的是多方向的方向方差，易选择角点而非直线上的点；３）兴趣值对灰度值不敏感，能克服红外图像和可见光图像灰度特性不一致的问题。
图２由一维最大类间方差，ＳＣ和综合分割算法得到的分割结果，直方图和平滑直方图
ｒｅｓｕｌｔｓ，ｍｓｔｏｇ姗强ｄｓｍ００也ｍｓｔ０铲锄ｆ幻ｍ１一Ｄｌａｒｇｅｓｔｉｎ位卜ｃｌ弱ｓｖａｒｉ觚ｃｅ，ＳＣ锄ｄｃｏｍｐｏｓｉｔｅａｌｇｏｒｉｍｍｓＦｉｇ．２Ｓｅｇｍ蛐嘶ｏｎ
３．３特征点的匹配及误匹配的消除
红外图像和可见光图像由于其固有的特征不一致性，特别要求只选择两幅图像都有的特征点，严格要求消除误匹配及误匹配的剔除。
经过特征点提取后，得到特征匹配点集Ａ（红外图像）和Ｂ（可见光图像），需在Ａ和Ｂ中确定同名点对，利用同名点对求解变换模型参数。
本文拟对模板相关配准中的交叉相关迭代法进行改进用作匹配。
改进后的交叉相关迭代匹配的优点有：可以有效地降低误匹配；在特征点上滑动搜索，大大减小了运算量，有利于算法的快速实现；随着未匹配上，目标窗口不断缩小，减小了运算量，有利于算法的快速实现；在求解变换模型参数时，有大的变换误差的特征点对被进一步剔除。
３．４新型的基于区域的树状小波活性测度计算
基于树状小波变换的图像融合【７１由于它不仅仅将低频信息进行分解，而是根据图像的特征按子带图像的能量自适应地对各个子带信息进行分解，因而它的融合效果要优于传统的金字塔形小波图像融合，进而广泛应用于可见光和红外图像融合。
常用的树状小波分解采用基于窗口的活性测度。
设两组树状小波分解系数的活性测度分别为Ａ（Ｐ）和厶（Ｐ），窗口模板系数为：
增刊蒋宏等：红外与可见光图像配准和融合中的关键技术
则活性测度为：
删＝ｌｉ；｝溅（２）
Ａ（Ｐ）＝∑烈ｓ，ｆ）ｌＤ，（ｆ＋Ｊ，歹＋ｆ，七，ｚ）Ｉ，，＝１，２（３）
＊Ｓ．拒ｒ
式中：Ｄ，（ｉ，．，，忌，Ｚ）为树状小波分解系数，（ｆ’．，）为分解系数的空间位置，足为分解层数，ｚ为子带频段（扛ｌ，２，３，４）。
作者运用了一种新的基于区域多分辨率分割的区域图像融合方法，其主要特点是多分辨率分割。
它首先对源图像进行基于小波变换的多分辨率分解，然后对每一层图像都进行区域分割，最后用分割得到的区域信息来指导每一层的融合。
因为更多地考虑了像素的邻域特性，所以无论从理论上或者仿真实验上，基于区域的图像融合方法优于基于窗口的融合方法。
为此，本文拟参考这一点，把在树状小波分解中基于窗口的活性测度扩展到基于区域的活性测度计算。
３．５自生成神经网络的产生，优化，剪枝及简化
由于红外和可见光图像的灰度特性差异，模糊图像融合方法常被应用于两者的融合。
近几年来，一种基于自生成神经网络ｓＧＮＮ（ｓｅｌｆ－ｇｅｎｅｒａｔｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋ）的模糊图像融合方法㈣有所报道。
ＳＧＮＮ是一种非监督学习的神经网络【９】，它不用预先设定类的数目（如自组织特征映射ＳＯＦＭ），适应性好，因其树型结构而适于聚类或分类。
自生成神经网络的产生在国内文献中尚未见详细报道，而其优化，剪枝及简化国内外文献都未见报道。
ｓＧＮＮ网络生成法则以一套训练样本为输入，以生成的ＳＧＮＮ网络为输出。
每个训练样本都是一个实数向量，神经元的权向量与训练样本具有相同的维数和定义域。
在最终生成的ＳＧＮＴ中，所有叶子神经元的权值为训练样本的矢量值，而所有非叶子神经元的权值则是以它为根的子树的所有叶子权值的平均值。
以下是本文所作的用ｓＧＮＮ对图像聚类的实验。
图３和图４分别为要分类的原图和分类的结果。
通过此界面可以看到原图像分类的结果：分类类数（６类），网络的总节点数（２３０），叶子节点数（１３０），中间节点数（１００），并可通过杏询知道每个节点的祖辈和孩子。
图３要分类的原图
Ｆｉｇ．３ｏｒｉｇｉｎａｌｆｉｇｕｒｅｆｂｒｃｌ勰ｓｉｆｉｃ撕ｏｎ
图４原图被ＳＧＮＮ分类的结果
Ｆｉｇ．．４Ｃｌ船ｓｉｆｉｃａｔｉｏｎｒｅｓｕｎｂｙＳＧＮＮ
以上所生成的网络还存在一些弱点：网络在形状上并没有达到最优；可能存在死结点，即某些结点将永远不能被以后的训练样本访问到。
因而需要对以上所生成的ＳＧＮＮ网络进行更深入的优化，剪枝等研究。
优化过程是对以上生成的网络进行结构上的调整，主要是分别检测水平方向与垂直方向上神经元是否放
红外与可见光图像配准和融合中的关键技术
作者：蒋宏， 任章， JIANG Hong， REN Zhang
作者单位：北京航空航天大学,自动化学院,北京,100083
刊名：
红外与激光工程
英文刊名：INFRARED AND LASER ENGINEERING
年，卷(期)：2006,35(z4)
被引用次数：1次
1.毛士艺;赵巍多传感器图像融合技术综述[期刊论文]-北京航空航天大学学报 2002(05)
2.CHEN H M Automatic two-stage IR and MMW image registration algorithm for concealed weapons detection 2001(04)
3.章毓晋图像分割 2001
4.XUE Z;BLUMR LI Y Fusion of visual and IR images for concealed weapon detection 2002
5.钮永胜多传感器图像自动配准技术研究[期刊论文]-光学技术 1999(01)
6.WEN W C Self-generating neural networks 1992
7.覃征数字图像融合 2004
8.李树涛基丁树状小波分解的多传感器图像融合[期刊论文]-红外与毫米波学报 2001(03)
9.LI H H A wavelet-based point feature extractor for multi-sensor image registration 1996
1.蒋宏.任章红外与可见光图像配准和融合中的关键技术[会议论文]-2006
2.王鲲鹏.徐一丹.于起峰.WANG Kun-peng.XU Yi-dan.YU Qi-feng红外与可见光图像配准方法分类及现状[期刊论文]-红外技术2009,31(5)
3.曾文锋红外与可见光图像融合中的快速配准方法[期刊论文]-红外与激光工程2002,31(2)
4.李振华.敬忠良.孙韶媛.刘刚.LI Zhen-Hua.JING Zhong-liang.SUN Shao-yuan.LIU Gang基于目标检测的红外和可见光动态图像融合[期刊论文]-上海交通大学学报2005,39(8)
5.王阿妮.马彩文.刘爽.柳丛.赵欣.WANG A-ni.MA Cai-wen.LIU Shuang.LIU Cong.ZHAO Xin基于角点的红外与可见光图像自动配准方法[期刊论文]-光子学报2009,38(12)
6.舒丽霞.彭晓明.周成平.丁明跃一种新颖的红外与可见光图像自动配准算法[期刊论文]-华中科技大学学报(自然科学版)2003,31(6)
7.刘贵喜.赵曙光.陈文锦红外与可见光图像融合的多分辨率方法[期刊论文]-光电子·激光2004,15(8)
8.刘卫光.郭师红.周利华红外与可见光图像实时配准融合系统[期刊论文]-红外技术2004,26(5)
9.王春华.马国超.马苗.WANG Chun-hua.MA Guo-chao.MA Miao基于目标提取的红外与可见光图像融合算法[期刊论文]-计算机工程2010,36(2)
10.张宇.付冬梅.李晓刚.孔维功.ZHANG Yu.FU Dong-mei.LI Xiao-gang.KONG Wei-gong基于特征的多层次红外与可见光图像融合方法[期刊论文]-计算机应用研究2009,26(4)
1.陈玉波.陈乐.曲长征.石艳霞红外制导技术在精确打击武器中的应用[期刊论文]-红外与激光工程 2007(z2)。