图像融合算法概述
基于傅里叶变换的图像融合算法研究
基于傅里叶变换的图像融合算法研究图像融合是一种将多幅图像进行融合，以获得更加细节丰富和信息完整的图像的技术。
它在计算机视觉、图像处理和模式识别等领域中扮演着重要角色。
基于傅里叶变换的图像融合算法在图像处理领域得到了广泛应用，并取得了一定的研究结果。
本文将对基于傅里叶变换的图像融合算法进行深入研究，探讨其优势、局限性以及未来发展方向。
傅里叶变换是用来分析信号的频域特性的重要数学工具，其本质是将一个信号分解为各个频率的正弦函数和余弦函数的线性组合。
基于傅里叶变换的图像融合算法主要利用了图像在频域上的特性，将不同图像的频率信息进行融合，从而得到融合后的图像。
首先，基于傅里叶变换的图像融合算法具有良好的频域特性分析能力。
通过傅里叶变换，可以将图像从空域转换到频域，从而更好地分析图像的频率特性。
基于傅里叶变换的图像融合算法可以对图像的低频和高频信息进行分析和提取，从而更好地捕捉图像的细节和边缘特征。
其次，基于傅里叶变换的图像融合算法可以实现图像的无损融合。
由于傅里叶变换的线性性质，图像的频域信息可以进行加权融合，从而实现图像的无损融合。
这样，在融合后的图像中，可以同时呈现原始图像的所有细节和特征，增强了图像的信息量和可读性。
然而，基于傅里叶变换的图像融合算法也存在一些局限性。
首先，傅里叶变换无法处理非平稳信号，而图像中的某些区域可能是非平稳的，例如边缘和纹理等。
这就导致基于傅里叶变换的图像融合算法在处理这些区域时可能会出现信息丢失或者伪影的问题。
其次，基于傅里叶变换的图像融合算法对图像分辨率的要求较高。
基于傅里叶变换的图像融合算法需要对原始图像进行频率域的分解和融合，这就要求原始图像的分辨率较高，以保证融合后的图像仍然能够保留较好的细节和特征。
所以，未来基于傅里叶变换的图像融合算法需要在以下几个方面进行改进和发展。
首先，可以结合其他图像处理技术，例如小波变换和局部对比度增强，进一步提升融合算法对非平稳信号的处理能力，以减少信息丢失和伪影的问题。
多模态图像融合的算法与应用
多模态图像融合的算法与应用随着技术的不断进步，多模态图像成为了现代计算机视觉领域的一个热门研究方向。
多模态图像指的是不同传感器或不同特征提取方式所获得的图像数据，这些数据包含了更加丰富的信息，且相互之间具有一定的关联。
多模态图像融合的算法则是将这些数据整合并融合在一起，以提高图像处理的精确度和效率。
一、多模态图像融合的算法1. 融合模型多模态图像的融合一般采用融合模型进行处理。
常见的融合模型包括基于权重的融合模型、基于特征的融合模型、基于扩展融合模型等。
其中，最常用的是基于权重的融合模型。
基于权重的融合模型是指对于每个图像数据，给它分配不同的权重，再将不同权重的图像进行线性加权平均，以完成多模态图像的融合。
2. 数据融合多模态数据融合则是将多个数据源的信息整合在一起，形成更为全面和准确的数据。
数据融合的过程包括仿射变换、变换完备性和选择合适的融合规则等。
仿射变换的作用是尽可能地将不同数据进行标准化，在这个基础上运用变换完备性进行数据融合。
当然，在选择合适的融合规则时，也要考虑每种数据的特性以及重要性。
二、多模态图像融合的应用1. 监控领域在监控领域，多模态图像融合可以有效地提高图像处理和识别的准确度。
通过将不同摄像头获得的图像数据进行融合，可以形成更为全面且丰富的图像信息，使得对于类似目标的识别更加准确。
2. 医疗领域在医疗领域，多模态图像融合可以帮助医生更加准确地诊断患者的疾病。
例如，在乳腺癌诊断中，多模态图像融合可以将不同的乳腺检查方法进行整合，形成更为精准和准确的诊断结果。
3. 自动驾驶领域在自动驾驶领域，多模态图像融合可以协助车辆感知环境。
通过利用不同传感器所获得的图像数据，可以更加全面地感知路面、交通和气候等条件，从而更加精准地掌控汽车行驶。
总之，多模态图像融合的算法和应用具有广泛的应用前景。
随着计算机视觉技术的不断进步，相信多模态图像融合将会得到更加广泛的应用。
04图像融合技术概论(像素级)
图像像素级融合算法（讲稿1）2、图像融合算法研究主要集中介绍像素级融合算法。
依实现原理划分，像素级图像融合算法大体分为：代数算法，假彩色技术，图像调制技术，多分辨技术，基于视觉神经动力学的图像融合技术，等。
2.1 代数法代数法包括加权融合、单变量图像差值法、图像比值法等。
最常用的方法是加权平均法。
加权平均法主要是运用代数运算和线性运算来处理图像，是早期的图像融合方法。
它的基本原理是不对源图像进行任何的图像变换或分解，而是直接对各源图像中的对应像素进行选择（选取最大值或最小值）、平均或加权平均等简单处理后输出融合图像。
以表示融合图像的第个像素灰度值，表示参加融合的第幅图像第个像素灰度值。
表示参加融合的第幅图像第个像素的权值。
加权平均法的数学表示式为：根据实际应用的需要，代数法可采取局部和全局处理。
下面主要说明全局法的处理过程。
考虑到图像的整体性，所有融合运算采用了统一标准，因此称为全局法。
主要步骤如下：（1）求出图像灰度的最大值、最小值、均值与方差；（2）由这些参数通过一定的运算，计算出一个变换式，可将高分辨力图像的灰度变成0到1的实数；（3）用变换后的实数与低分辨力图像进行一定的运算，其所得到的结果即为融合图像；（4）这个图像往往色调比较暗，必须进行增强才能满足要求。
设高分辨力图像灰度、灰度最小值、最大值、均值与方差分别为，低分辨力图像灰度值为，融合后的灰度值为，为变换系数。
2、假彩色技术假彩色（False Color）图像融合处理的原理基于如下事实：人眼对颜色的分辨力远超过对灰度等级的分辨力。
因此，如果通过某种彩色化处理技术将蕴藏在不同原始信道图像灰度等级中的细节信息以不同的色彩来表征，可以使人眼对融合图像的细节有更丰富的认识。
以假彩色法来实现图像融合的工作由来已久，随着对人眼生理特性认识的逐步深入，这种方法也在不断改进，以期达到既能将各原始信道的图像信息尽量地表现出来，又能使融合图像的可视效果符合人眼生理习惯的目的，这是当前假彩色研究的关键所在。
多模态图像融合算法综述
多模态图像融合算法综述多模态图像融合能最大限度地提取各模态的图像信息，同时减少冗余信息。
文章提出一种新的图像融合算法的分类体系，在分析新体系的基础上，阐述了各体系下的代表性算法，论述图像融合的研究背景及研究进展，最后提出了未来趋势的新目标。
标签：图像融合；像素级；特征级；决策级；图像融合算法引言不同模态传感器关于同一场景所采集到的图像数据经过相关技术处理相融合的过程称为多模态图像融合，本文站在新的角度，提出一种新的分类体系，同时阐述各体系下的代表性算法，论述图像融合领域的发展现状。
1 图像融合的体系根据融合的对象，图像融合一般分为三个等级：像素级、特征级及决策级[1]。
像素级的处理对象是像素，最简单直接，特征级建立在抽取输入源图像特征的基础上，决策级是对图像信息更高要求的抽象处理，本文在此基础上提出一种不同的的分类体系，即直接融合和间接融合。
1.1 直接图像融合算法直接图像融合算法分基于像素点和基于特征向量的融合方法，基于像素点的融合主要针对初始图像数据而进行[2]，是对各图像像素点信息的综合处理[3]。
1.2 间接图像融合算法类间接图像融合算法是指对图像进行变换、分解重构或经神经网络处理后，通过逻辑推理来分析多幅图像的信息。
2 直接图像融合算法类直接图像融合算法分基于像素点和基于特征向量的图像融合算法。
2.1 基于像素点的直接图像融合算法设待融合图像X、Y，且X（i，j）、Y（i，j）为图像X、图像Y在位置（i，j）的灰度值，则融合后的图像Z（i，j）=x X（i，j）+y Y（i，j），x、y是加权系数且x+y=1。
算法简单、融合速度快，但减弱了图像的对比度[4]。
2.2 基于特征向量的直接图像融合算法图像特征包括颜色、纹理、形状、空间关系等，从多模态图像提取特征信息[2]，并对其归纳和分析处理，可剔除虚假特征、构建新的复合特征。
2.2.1 特征的串行融合算法样本空间Ω上的随意样本ξ∈Ω，且在Ω上定义两个特征空间A和B[5]，同时构建两个特征向量α∈A和β∈B，则ξ的串行组合特征可以定义为γ=（α，β）。
多视角图像融合算法综述
多视角图像融合算法综述图像融合是一种将多幅图像融合成一幅结果图像的技术。
随着科技的发展和人们对图像质量的要求不断提高，多视角图像融合算法成为了研究热点。
本文将对多视角图像融合算法进行综述，分析其各种方法和应用。
1. 引言多视角图像融合算法的研究与应用涉及多个领域，包括计算机视觉、图像处理、机器学习等。
其主要目标是能够合成一幅更加清晰、更具信息丰富性的图像，并能够从多个视角中获取更多的细节。
多视角图像融合算法可应用于许多领域，如遥感图像、医学影像等。
2. 多视角图像融合算法的分类2.1 基于传统图像处理的方法传统的图像处理方法主要包括像素级融合、变换域融合和区域级融合三种。
2.1.1 像素级融合像素级融合是一种将多个图像的像素进行简单叠加或加权求和的方法。
这种方法简单直观，易于实现，但容易导致图像失真和信息丢失。
2.1.2 变换域融合变换域融合是基于图像的频域变换，如小波变换和离散余弦变换（DCT）。
通过对不同图像进行变换域分析和合成，可以达到多视角图像融合的目的。
然而，变换域融合方法对不同图像的频谱分量有一定假设，因此可能导致失真。
2.1.3 区域级融合区域级融合方法是基于图像的区域分割和匹配，将不同图像中相似的区域进行融合。
这种方法能够更好地保留图像的细节和结构，但需要进行复杂的图像分割和匹配，计算复杂度较高。
2.2 基于深度学习的方法近年来，深度学习在图像处理领域取得了重大突破。
多视角图像融合算法也开始采用基于深度学习的方法。
2.2.1 卷积神经网络（CNN）卷积神经网络是一种可以自动学习图像特征的神经网络。
通过训练大量的图像数据，CNN可以学习到图像中的细节和结构，并将多个视角的图像进行融合。
2.2.2 生成对抗网络（GAN）生成对抗网络是一种通过两个神经网络进行对抗训练的模型。
其中一个网络为生成器，负责生成合成图像；另一个网络为判别器，负责判断生成的图像是否真实。
通过不断迭代训练，GAN可以生成更加真实且细节丰富的多视角图像。
多模态图像融合算法的研究与实现
多模态图像融合算法的研究与实现在现实生活中，我们经常会遇到需要处理多模态图像的应用场景，例如医学影像、安防监控等。
然而，不同模态的图像往往具有不同的特征和表达方式，如何将它们有效地融合起来，使得最终的结果更加全面、准确，成为了一个研究热点。
本文将介绍多模态图像融合的基本原理、常见算法及其实现。
一、多模态图像融合的基本原理多模态图像融合是指利用多种图像数据源，采用合适的算法将它们融合为一幅图像，以达到更好的图像质量和信息完整性的处理方法。
具体来说，多模态图像融合的基本原理是：通过将不同来源的图像的信息融合到一起，来得到一个更全面、更准确、更易于观察和分析的图像。
这是因为，不同来源的图像往往有其自身的优点和局限性，融合起来可以互补其缺陷，提高图像的质量和准确度，使得我们能够更全面地了解事物。
二、多模态图像融合的常见算法1. 基于加权平均的融合算法基于加权平均的融合算法是较为基础的融合算法之一。
其基本原理是将来自不同模态的像素值按照不同的权重进行加权平均，得到最终的融合图像。
其中，不同模态图像的权重可以自行设置或根据实际应用场景进行优化。
该算法实现简单，但对图像的质量和准确性要求较高。
2. 基于小波变换的融合算法小波变换是一种用于图像处理和分析的重要方法。
基于小波变换的多模态图像融合算法首先将不同模态的图像分别进行小波变换，然后在小波域中进行加权融合，最后再进行逆小波变换得到最终的融合图像。
该算法适用于不同模态图像分辨率和特征尺度差异较大的情况，可以提高图像的清晰度和细节。
3. 基于深度学习的融合算法深度学习是一种能够自动学习特征表示的机器学习方法。
基于深度学习的多模态图像融合算法首先将不同模态的图像进行卷积神经网络训练，学习不同模态图像之间的语义关系，然后通过网络输出得到最终的融合图像。
该算法不仅能够提高融合图像的质量和准确性，还能够自动学习特征表示，实现端到端的图像融合任务。
三、多模态图像融合的实现多模态图像融合的实现，常采用图像处理工具包和编程语言来实现。
基于Gram-Schmidt的图像融合方法概述
基于Gram-Schmidt的图像融合方法概述摘要遥感图像融合的目的是综合来自不同空间分辨率和光谱分辨率的遥感信息，生成一幅具有新空间特征和波谱特征的合成图像。
它具有重要的意义和广泛的应用前景。
而由于采用的算法或变换方法的不同，融合方法有多种。
在众多的融合方法相互比较的过程中，我们发现Gram-Schmidt具有较高的图像保真效果，是一种高效的图像融合方法。
由于该算法在遥感图像融合中的应用尚处于起步阶段，对于Gram-Schmidt光谱锐化高保真的影像融合算法的了解尚不全面。
对此，对Gram-Schmidt的原理、方法、优势等做了较为详尽的介绍。
关键词遥感融合保真Gram-Schmidt 概述1 引言对于光学系统的遥感影像，其空间分辨率和光谱分辨率一直存在着不可避免矛盾。
在一定的信噪比的情况下，光谱分辨率的提高必然导致牺牲空间分辨率为代价。
然而，通过将较低空间分辨率的多光谱影像和较高空间分辨率的影像的全色波段影像的融合，可以产生多光谱和高空间分辨率的影像。
因此，各种基于不同算法的融合方法得到了迅速地发展和广泛地应用。
随着遥感技术的发展，由于对图像解译和反演目标参数的需要，一些简单的融合方法在很大程度上已经无法满足对于光谱信息保持，空间纹理信息增加的迫切需求。
例如，对于检测植被活力和生长状态，反演陆地生产力，进行环境评价和矿产勘测等，如果融合后的图像信息的保真度无法满足要求，将会导致错误结果的产生。
通常采用的遥感图像融合方法有IHS变换、Brovey变换、主成分变换、小波变换等。
虽然，这些融合方法都能够增加多光谱影像的空间纹理信息特征。
但IHS、Brovey、主成分变换等方法易使融合后的影像失真；小波变换光谱信息虽保真相对较好，但小波基选择困难，且计算相对复杂（李存军等，2004）。
基于Gram-schmidt算法的图像融合方法既能使融合影像保真度较好，计算又较为简单。
本文将对该影像融合算法的原理、方法以及所具备的优势做较为详尽的介绍。
图像融合算法
图像融合算法图像融合算法是现代图像处理以及计算机视觉技术中最重要的组成部分之一。
它用于有效地将两个或多个图像合成一个融合图像，这种融合图像具有较好的视觉效果，把被融合图像的元素有机地组合在一起，常用于计算机图形学的三维表面模型的贴图、图像处理和计算机视觉中的图像无缝融合等。
图像融合算法通常分为两个阶段。
其中第一阶段涉及特征提取，利用视觉特征检测、模式识别等方法，提取输入图像中的特征，并将其映射到融合图像中；第二阶段涉及把被融合图像的特征有机地组合在一起，以形成融合图像。
图像融合算法的第一阶段运用的主要技术是特征提取技术。
该方法是指从输入图像中提取出的特征，该特征可以用来表示图像的内容、结构、模式等。
特征提取技术中最常用的是基于统计的特征提取方法，它旨在根据图像中某个区域或边缘周围随机分布的点的颜色空间统计量得到特征信息。
该方法包括聚类分析、形态学处理、空间变换等。
其中，聚类分析的基本思想是将图像中的点形成特征矩阵，应用聚类算法，将相似的点归为一类，从而得到整体的特征描述。
形态学处理是应用结构元的理论和操作，利用膨胀、腐蚀、开运算、闭运算等操作，可以将噪声从图像中消除，排列不规则点，显著改善图像质量。
空间变换是利用不同尺度、不同方向上的空间域变换，以获得更多的特征信息，其中尤其重要的是多尺度小波变换，可以把图像分解成多个尺度空间，可以更充分地提取图像中更多的特征信息。
融合图像的构建则需要用到第二阶段中的排布技术。
排布技术的核心是将特征映射到融合图像，以形成所需的融合图像。
现有的排布技术大致可分为层次排布方法、聚类排布方法、最优化排布方法以及基于先验知识的排布方法。
层次排布方法是指对被融合图像从高分辨率到低分辨率进行分层，首先将高分辨率图像强度特征有机分布到融合图像中，然后依次将较低分辨率图像特征结合到高分辨率特征中，直至将所有特征映射到融合图像中。
聚类排布方法是指利用聚类算法对三维图像的像素点进行聚类，根据聚类结果，将同一类的像素映射到融合图像中，以得到所需的融合图像。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图像融合算法概述摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。
关键词：图像融合; 多尺度变换; 评价标准Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically andsummed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out therecent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixellevel.Key words:image fusion; multi-scale transform; evaluation criteria1.引言：图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。
近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。
图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。
根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。
融合的层次不同, 所采用的算法、适用的范围也不相同。
在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能.2.图像融合算法概述2.1 图像融合算法基本理论相对图像融合的其他层次, 像素级图像融合是直接在采集到的原始图像上进行的, 在各种传感器原始数据未经特征提取与分类前就进行数据综合与分析, 是最低层次上的融合。
在某些场合( 如目标识别) , 实施像素级图像融合之前, 有时需要先对参加融合的各图像进行预处理( 如图像增强、降噪等) , 其目的是提高检测性能。
不过这种预处理并非必需, 但对参加融合的各图像必须进行精确的配准。
其配准精度应达到像素级。
像素级图像融合通过互补信息的有机集成, 可以减少或抑制单一信息对被感知对象或环境解释中可能存在的多义性、不完整性、不确定性和误差, 最大限度地利用各种信息源提供的信息, 从而大大提高在特征提取、分类、目标识别等方面的有效性[ 2] 。
图1 给出了像素级图像融合的结构示意图。
2.2基于非多尺度变换的图像融合方法2.2.1平均与加权平均方法加权平均方法将原图像对应像素的灰度值进行加权平均,生成新的图像, 它是最直接的融合方法。
其中平均方法是加权平均的特例。
使用平均方法进行图像融合, 提高了融合图像的信噪比, 但削弱了图像的对比度, 尤其对于只出现在其中一幅图像上的有用信号。
2.2.2像素灰度值选大( 或小) 图像融合方法假设参加融合的两幅原图像分别为A、B, 图像大小均为M×N, 融合图像为F, 则针对原图像A、B 的像素灰度值选大( 或小) 图像融合方法可表示为F( m, n) =max( or min) { A( m, n) , B( m, n) }其中: m、n 分别为图像中像素的行号和列号。
在融合处理时, 比较原图像A、B 中对应位置( m, n) 处像素灰度值的大小, 以其中灰度值大( 或小) 的像素作为融合图像F 在位置( m, n) 处的像素。
这种融合方法只是简单地选择原图像中灰度值大( 或小) 的像素作为融合后的像素, 对待融合的像素进行灰度增强( 或减弱) , 因此该方法的实用场合非常有限。
2.2.3 基于PCA 的图像融合方法PCA 图像融合方法首先用三个或以上波段数据求得图像间的相关系数矩阵, 由相关系数矩阵计算特征值和特征向量,再求得各主分量图像; 然后将高空间分辨率图像数据进行对比度拉伸, 使之与第一主分量图像数据具有相同的均值和方差;最后用拉伸后的高空间分辨率图像代替第一主分量, 将它与其他主分量经PCA 逆变换得到融合图像。
PCA 融合算法的优点在于它适用于多光谱图像的所有波段; 不足之处是在PCA 融合算法中只用高分辨率图像来简单替换低分辨率图像的第一主成分, 故会损失低分辨率图像第一主成分中的一些反映光谱特性的信息, 使得融合图像的光谱畸变严重。
只按统计的思想, 不考虑图像各波段的特点是PCA融合算法的致命缺点。
2.2.4 基于调制的图像融合方法借助通信技术的思想, 调制技术在图像融合领域也得到了一定的应用[ 3, 4] , 并在某些方面具有较好的效果。
用于图像融合上的调制手段一般适用于两幅图像的融合处理, 具体操作一般是将一幅图像进行归一化处理; 然后将归一化的结果与另一图像相乘; 最后重新量化后进行显示。
用于图像融合上的调制技术一般可分为对比度调制技术和灰度调制技术。
2.2.5 非线性方法将配准后的原图像分为低通和高通两部分, 自适应地修改每一部分, 然后再把它们融合成复合图像。
文献[ 5] 采用自适应的非线性处理方法融合可见光和红外图像。
2.2.6 逻辑滤波方法逻辑滤波方法是一种利用逻辑运算将两个像素的数据合成为一个像素的直观方法, 例如当两个像素的值都大于某一阈值时, “与”滤波器输出为“1”( 为“真”) 。
图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分。
2.2.7 颜色空间融合法颜色空间融合法的原理是利用图像数据表示成不同的颜色通道。
简单的做法是把来自不同传感器的每幅原图像分别映射到一个专门的颜色通道, 合并这些通道得到一幅假彩色融合图像。
该类方法的关键是如何使产生的融合图像更符合人眼视觉特性及获得更多有用信息。
Toet 等人将前视红外图像和微光夜视图像通过非线性处理映射到一个彩色空间中, 增强了图像的可视性[ 6] 。
文献[ 7] 研究表明, 通过彩色映射进行可见光和红外图像的融合, 能够提高融合结果的信息量, 有助于提高检测性能。
2.2.8 最优化方法最优化方法为场景建立一个先验模型, 把融合任务表达成一个优化问题, 包括贝叶斯最优化方法和马尔可夫随机场方法。
贝叶斯最优化方法的目标是找到使先验概率最大的融合图像。
文献[ 8] 提出了一个简单的自适应算法估计传感器的特性与传感器之间的关系, 以进行传感器图像的融合; 文献[ 9] 提出了基于图像信息模型的概率图像融合方法。
马尔可夫随机场方法把融合任务表示成适当的代价函数, 该函数反映了融合的目标, 模拟退火算法被用来搜索全局最优解。
文献[ 10] 提出了基于匹配图像相似性的Markov 融合模型; 文献[ 11] 提出了一种只考虑图像边缘图构造的马尔可夫随机场,与迭代条件共同使用, 可实现图像的实时融合。
2.2.9 人工神经网络方法受生物界多传感器融合的启发, 人工神经网络也被应用于图像融合技术中。
神经网络的输入向量经过一个非线性变换可得到一个输出向量, 这样的变换能够产生从输入数据到输出数据的映射模型, 从而使神经网络能够把多个传感器数据变换为一个数据来表示。
由此可见, 神经网络以其特有的并行性和学习方式, 提供了一种完全不同的数据融合方法。
然而, 要将神经网络方法应用到实际的融合系统中, 无论是网络结构设计还是算法规则方面, 都有许多基础工作有待解决, 如网络模型、网络的层次和每一层的节点数、网络学习策略、神经网络方法与传统的分类方法的关系和综合应用等。
目前应用于图像融合有三种网络: a)双模态神经元网络。
文献[ 12] 提出六种类型的双模态神经元用于可见光和红外图像的融合。
b) 多层感知器。
Fechner 和Godlewski 提出了基于多层感知器神经网络的图像融合方法[ 13] , 通过训练多层感知器识别前视红外图像中感兴趣的像素, 将其融入可见光图像中。
c) 脉冲耦合神经网络( PCNN) 。
Broussard 等人借助该网络实现图像融合来提高目标的识别率[ 14] , 并证实了PCNN用于图像融合的可行性。
2.3基于多尺度变换的图像融合方法基于多尺度变换的图像融合方法是像素级图像融合方法研究中的一类重要方法。
基于多尺度变换的融合方法的主要步骤[ 15] 为: 对原图像分别进行多尺度分解, 得到变换域的一系列子图像; 采用一定的融合规则, 提取变换域中每个尺度上最有效的特征, 得到复合的多尺度表示; 对复合的多尺度表示进行多尺度逆变换, 得到融合后的图像。
2.3.1 基于金字塔变换的图像融合方法Burt 最早提出基于拉普拉斯金字塔变换的融合方法[ 16] 。
该方法使用拉普拉斯金字塔和基于像素最大值的融合规则进行人眼立体视觉的双目融合, 实际上该方法是选取了局部亮度差异较大的点。
这一过程粗略地模拟了人眼双目观察事物的过程。
用拉普拉斯金字塔得到的融合图像不能很好地满足人类的视觉心理。
在文献[ 17] 中, 比率低通金字塔和最大值原则被用于可见光和红外图像的融合。
比率低通金字塔虽然符合人眼的视觉特征, 但由于噪声的局部对比度一般都较大, 基于比率低通金字塔的融合算法对噪声比较敏感, 且不稳定。
为了解决这一问题, Burt 等人[ 18] 提出了基于梯度金字塔变换的融合方法, 该方法用了匹配与显著性测度的融合规则。
Richard 等人[ 19] 给出了以上三种金字塔用于图像融合的定性和定量的结果。
另外, Barron 和Thomas[ 20] 提出一种基于纹理单元的金字塔算法, 它在每层图像中采用24 个纹理滤波器以获取不同方向的细节信息。
与梯度金字塔算法相比, 它能够提取出更多的细节信息。
文献[ 21] 提出了一种基于形态学金字塔变换的图像融合方法。
基于金字塔变换融合方法的优点是可以在不同空间分辨率上有针对性地突出各图像的重要特征和细节信息, 相对于简单图像融合方法, 融合效果有明显的改善。
其缺点是图像的金字塔分解均是图像的冗余分解, 即分解后各层间数据有冗余;同时在图像融合中高频信息损失较大, 在金字塔重建时可能出现模糊、不稳定现象; 图像的拉普拉斯、比率低通、形态学金字塔分解均无方向性。