基于图像融合的目标识别研究
基于深度学习的多模态图像融合与分析技术研究

基于深度学习的多模态图像融合与分析技术研究深度学习是一种人工智能的技术,通过模仿人脑神经网络的工作方式,实现了对复杂数据进行自动编码和分析的能力。
多模态图像融合与分析技术则是利用深度学习模型,将来自不同传感器或不同模态的图像信息进行融合和分析的过程。
这种技术有助于从多个视角对图像进行综合分析,提高图像处理的准确性和可靠性。
一、多模态图像融合技术多模态图像融合技术将来自不同传感器的多个图像融合成一张图像,融合后的图像能够更全面、清晰地反映被观察对象的特征。
基于深度学习的多模态图像融合技术主要包括以下几个方面:1. 分层融合分层融合是一种基于深度学习的多模态图像融合方法,它使用卷积神经网络(CNN)对每个模态的图像进行特征提取,并将提取的特征进行融合。
分层融合通过将底层特征与高层特征相结合,能够在保留细节信息的同时,提高图像的分辨率和鲁棒性。
2. 生成对抗网络(GANs)生成对抗网络是一种基于深度学习的多模态图像融合技术,它通过训练一个生成器网络和一个判别器网络,使得生成器网络生成的合成图像能够以假乱真。
通过使用GANs,可以将来自不同传感器或模态的图像融合生成一个合成图像,能够更好地反映被观察对象的特征。
3. 递归神经网络(RNN)递归神经网络是一种能够处理序列化数据的深度学习模型,它可以用于实现多模态图像融合。
通过使用RNN,可以将来自不同传感器或模态的图像序列融合成一个图像序列,从而实现对图像序列的综合分析。
二、多模态图像分析技术多模态图像分析技术通过对融合后的多模态图像进行分析,能够提取出更多、更准确的图像信息,从而实现更精确的图像处理和分析。
1. 目标检测与识别多模态图像分析技术可以用于实现目标检测与识别。
通过深度学习模型对融合后的多模态图像进行分析,能够精确地检测和识别图像中的目标,如人脸、车辆等。
这对于视频监控、智能驾驶等领域具有重要应用价值。
2. 图像分割与语义分析多模态图像分析技术可以用于实现图像分割与语义分析。
基于融合特征的图像识别算法研究

基于融合特征的图像识别算法研究图像识别是计算机视觉领域的一个重要研究方向,其目标是通过计算机算法使计算机能够像人类一样识别和理解图像。
随着人工智能的快速发展,图像识别技术在各个领域得到了广泛的应用,如智能安防、自动驾驶、医学影像分析等。
然而,由于图像的复杂性和多样性,单一特征往往难以满足对各种类型图像的准确识别要求。
因此,研究基于融合特征的图像识别算法成为了当前研究的热点之一。
基于融合特征的图像识别算法是通过将多个不同类型和不同层次的特征进行融合来提高图像识别准确率和鲁棒性。
在传统的基于单一特征的方法中,常用到颜色、纹理、形状等特征来进行图像分类。
然而,在复杂场景中,单一特征可能会受到光照变化、噪声干扰等因素影响而导致分类错误。
因此,在实际应用中,融合多种不同类型和不同层次特征的方法能够提高图像识别的准确性和鲁棒性。
目前,基于融合特征的图像识别算法主要包括特征层级融合和决策层级融合两种方法。
特征层级融合是指将不同类型和不同层次的特征进行融合,形成一个更具代表性和鲁棒性的综合特征。
常用的方法包括主成分分析(PCA)、线性判别分析(LDA)等。
这些方法能够通过降维、提取主要信息等方式,将原始高维数据转化为低维度、更具代表性的特征表示。
通过将多种类型和不同层次的特征进行线性或非线性组合,可以提高图像识别算法对于复杂场景中图像分类准确度。
决策层级融合是指在分类决策阶段通过组合多个分类器来进行最终判定。
常用的方法包括投票法、加权投票法、贝叶斯决策等。
这些方法能够通过对多个分类器输出结果进行统计分析或加权计算,得到最终分类结果。
由于每个分类器可能对不同类型或不同方面具有较好的分类性能,因此通过组合多个分类器能够提高整体的分类准确性和鲁棒性。
除了特征层级融合和决策层级融合,还有一些其他的融合方法也被广泛应用于基于融合特征的图像识别算法中。
例如,基于深度学习的方法通过构建多层次、多尺度的卷积神经网络(CNN)来提取图像特征,并通过网络中不同层次特征进行融合。
如何利用图像处理技术进行目标识别

如何利用图像处理技术进行目标识别图像处理技术在当今社会中被广泛应用于各个领域,其中之一就是目标识别。
目标识别是指通过对图像或视频进行处理,自动地检测和识别出其中的目标物体。
本文将介绍如何利用图像处理技术进行目标识别,并探讨其在实际应用中的一些挑战和解决方案。
一、图像处理技术概述图像处理技术是指通过对图像进行数字化处理,提取和分析其中的信息,以达到对图像内容的理解和处理的技术。
图像处理技术主要包括图像获取、图像增强、特征提取、目标检测和目标识别等步骤。
图像获取是指通过摄像机、扫描仪等设备获取图像。
图像增强是指通过对图像进行滤波、增强对比度等处理,以提高图像质量。
特征提取是指通过对图像进行分析,提取出其中的特征信息。
目标检测是指通过对图像进行处理,检测出其中存在的目标物体。
目标识别是指通过对目标物体的特征进行匹配和比对,确定目标物体的身份。
二、目标识别的基本原理目标识别的基本原理是通过对图像进行处理和分析,提取出目标物体的特征信息,然后将这些特征与已知的目标特征进行比对,从而确定目标物体的身份。
目标识别的过程可以分为以下几个步骤:1. 图像获取:通过摄像机或其他设备获取图像。
2. 图像预处理:对图像进行去噪、增强对比度等处理,以提高图像质量。
3. 特征提取:对图像进行分析,提取出其中的特征信息,如颜色、纹理、形状等。
4. 特征匹配:将提取到的特征与已知的目标特征进行比对,确定目标物体的身份。
5. 目标识别:根据匹配结果,确定目标物体的身份,并进行相应的处理或判断。
三、目标识别的方法和技术目标识别的方法和技术有很多种,常用的包括模板匹配、特征匹配、神经网络等。
1. 模板匹配:模板匹配是一种简单直观的目标识别方法。
它首先将目标物体的特征提取出来,并生成一个模板。
然后将这个模板与待识别图像进行比对,找出最匹配的位置,从而确定目标物体的位置和身份。
2. 特征匹配:特征匹配是一种常用的目标识别方法。
它通过对图像进行特征提取,将特征转化为数值表示,然后将这些特征与已知的目标特征进行比对,找出最相似的特征,从而确定目标物体的位置和身份。
基于图像识别的机器人目标跟踪研究

基于图像识别的机器人目标跟踪研究在当今科技迅速发展的时代,机器人技术已经成为了众多领域的热门研究方向。
其中,基于图像识别的机器人目标跟踪技术更是备受关注。
这一技术使得机器人能够在复杂的环境中准确地识别和跟踪特定的目标,从而实现各种智能化的任务,例如物流搬运、安防监控、自动驾驶等等。
要理解基于图像识别的机器人目标跟踪,首先得明白什么是图像识别。
简单来说,图像识别就是让计算机从图像中获取有意义的信息。
就好像我们人类看到一张图片能够分辨出其中的物体、人物、场景一样,计算机通过一系列的算法和模型,也能够对图像进行分析和理解。
而目标跟踪呢,则是在连续的图像序列中,持续地确定特定目标的位置、姿态和运动状态。
想象一下,机器人就像是一个“观察者”,它的“眼睛”(摄像头)不断地捕捉周围的图像,然后通过内部的“大脑”(计算系统)来分析这些图像,找出我们设定的目标,并紧紧地“盯着”它,不管目标怎么移动、怎么变化,都能不丢失跟踪。
在实际应用中,基于图像识别的机器人目标跟踪面临着诸多挑战。
首先就是环境的复杂性。
现实世界中的场景是千变万化的,光线的明暗、物体的遮挡、背景的干扰等等,都会影响机器人对目标的识别和跟踪。
比如说,在一个光线昏暗的仓库里,机器人要跟踪一个移动的货物,可能因为光线不足导致图像模糊,从而难以准确识别货物的位置。
其次,目标本身的变化也是一个大问题。
目标可能会发生形态的改变,比如一个人从站立变为蹲下,或者一个物体被部分遮挡后又重新露出。
这就要求机器人的跟踪系统具有很强的适应性和鲁棒性,能够在目标发生变化的情况下依然保持准确的跟踪。
为了应对这些挑战,研究人员们提出了各种各样的方法和技术。
其中,特征提取是一个关键的环节。
就像我们通过一个人的外貌特征来识别他一样,机器人也需要从图像中提取出能够代表目标的特征。
这些特征可以是形状、颜色、纹理等等。
常用的特征提取方法有基于边缘的检测、基于区域的分割等等。
通过提取有效的特征,机器人能够更好地识别和跟踪目标。
基于特征融合的目标检测算法研究

基于特征融合的目标检测算法研究目标检测是计算机视觉领域中一项关键任务,旨在识别和定位图像或视频中的感兴趣目标。
近年来,随着深度学习的飞速发展,基于深度神经网络的目标检测算法在准确性和鲁棒性方面取得了巨大的改进。
特征融合是一种重要的技术,可以进一步提高目标检测算法的性能。
传统的目标检测算法通常依赖于手工设计的特征,如Haar特征、HOG 特征等。
这些特征往往难以准确地描述目标的复杂形状和纹理,并且需要大量的人工努力。
而基于深度神经网络的目标检测算法可以自动学习具有高表达能力的特征表示,大大提高了检测算法的性能。
然而,在深度神经网络中,特征融合是一个重要的技术,它可以将不同层次的特征信息进行融合,进一步提高目标检测算法的性能。
特征融合可以在不同的层次上进行。
最简单的特征融合是将来自不同层次的特征直接连接起来,形成一个更丰富的特征向量。
例如,可以将浅层特征和深层特征进行融合,以获得更好的语义信息和空间信息。
这种融合方式可以提高目标检测的召回率,在检测小目标和目标边缘模糊的情况下具有优势。
除了直接连接特征之外,特征融合还可以通过融合层来实现。
融合层可以通过加权求和、深度卷积等方式将来自不同层次的特征进行融合。
这种特征融合方式可以更加灵活地融合不同层次的特征,进一步提高目标检测算法的性能。
例如,可以使用注意力机制来学习每个特征的权重,以适应不同目标的特点和难度。
此外,特征融合还可以通过多尺度检测来实现。
多尺度检测可以通过在输入图像上使用不同尺度的滑动窗口或使用不同大小的卷积核来实现。
通过在多个尺度上检测目标,可以更好地处理目标的缩放变化和视角变化,提高目标检测的鲁棒性。
总之,基于特征融合的目标检测算法是当前计算机视觉领域研究的热点之一、通过融合不同层次的特征,可以进一步提高深度神经网络的目标检测性能。
特征融合可以通过直接连接特征、融合层和多尺度检测等方式实现。
未来,随着深度学习的不断发展和特征融合技术的不断提升,基于特征融合的目标检测算法有望在实际应用中取得更加优异的性能。
基于特征融合的目标检测与重识别

基于特征融合的目标检测与重识别目标检测和重识别是计算机视觉中两个重要的任务。
目标检测旨在从输入图像中定位和识别特定目标的位置,而重识别则旨在在不同的图像中识别和匹配同一目标。
这两个任务通常独立进行,但可以通过特征融合来提高性能。
特征融合是将来自不同模态或不同层次的特征进行融合,以提取更丰富和更具区分能力的特征表示。
基于特征融合的目标检测与重识别方法可以应用于各种应用场景,如视频监控、智能交通等。
在目标检测中,特征融合可以通过将来自不同层次的特征进行融合来提高检测性能。
一种常见的方法是将低层次的视觉特征与高层次的语义特征进行融合。
低层次的特征由底层的卷积神经网络(CNN)提取,可以捕捉到目标的细节和纹理信息。
高层次的语义特征则由上层的CNN提取,可以捕捉到目标的语义信息和上下文关系。
融合这两种特征可以提高目标检测的准确率和鲁棒性。
在重识别中,特征融合可以通过将不同图像中提取的特征进行融合来提高重识别的性能。
一种常见的方法是将来自不同模态或不同网络的特征进行融合。
例如,可以将图像的视觉特征与文本的语义特征进行融合,以提取更具区分能力的特征表示。
另一种方法是将同一目标在不同图像中提取的特征进行融合,以提取更鲁棒和具有区分性的特征表示。
这种特征融合可以通过简单的加和或乘积运算来实现,也可以通过更复杂的融合模型来实现,如图像图和图网络等。
除了特征融合,还可以通过其他方法来提高目标检测和重识别的性能。
例如,可以采用多尺度和多尺度信息进行目标检测,以捕捉不同尺度的目标。
可以采用图像增强和学习目标变换等方法来提高重识别的鲁棒性和泛化能力。
总之,基于特征融合的目标检测与重识别是计算机视觉中两个重要的任务。
通过将不同模态和不同层次的特征进行融合,可以提取更丰富和具有区分性的特征表示,从而提高目标检测和重识别的性能。
这种方法在实际应用中具有广泛的应用前景,可以推动计算机视觉技术的发展。
图像处理中的多特征融合与目标识别技术研究

图像处理中的多特征融合与目标识别技术研究摘要:图像处理技术在计算机视觉、模式识别、人工智能等领域有广泛的应用。
多特征融合与目标识别是图像处理中的重要研究方向。
本文将从多特征融合的意义、目标识别技术以及融合方法等方面进行综述,并探讨当前的研究热点和未来的发展方向。
1. 引言图像处理技术是指对图像进行优化、重建、分割、特征提取等处理的一系列方法和算法。
随着数字图像在各个领域的广泛应用,图像处理技术得到了快速发展。
多特征融合与目标识别技术则是图像处理技术中的重要方向之一。
2. 多特征融合的意义多特征融合是指将图像中的多个特征信息进行有效整合,以提高图像处理和目标识别的准确性和鲁棒性。
在图像处理中,多特征融合的意义主要包括:1. 提高特征的鲁棒性:通过融合不同特征,可以弥补某些特征的不足,提高特征的鲁棒性,从而提高目标识别的准确性。
2. 丰富图像的表达能力:不同特征可以从不同层面对图像进行描述,通过融合多个特征,可以更全面、准确地展示图像的信息。
3. 降低特征维度:某些特征可能具有高维度的问题,通过融合不同特征,可以将特征维度降低到更合理的范围内,减少计算量和存储空间。
3. 目标识别技术目标识别是图像处理中的一个重要任务,其目标是在图像中准确地识别和定位特定的目标。
目标识别技术与多特征融合密切相关,常用的目标识别技术包括:1. 特征提取与描述:通过提取和描述图像中的局部特征,如边缘、纹理、颜色等,以实现对目标的识别和描述。
2. 分类器设计与训练:通过训练分类器,将提取到的特征与目标进行匹配和分类,以实现目标的识别和分类。
3. 目标定位与跟踪:在识别目标的基础上,对目标进行定位和跟踪,以实现对目标位置的精确定位和实时跟踪。
4. 多特征融合的方法多特征融合的方法主要包括特征级融合和决策级融合两种。
1. 特征级融合:将不同特征进行有效组合,得到新的特征向量表示图像,常用的特征级融合方法包括加权求和、特征连接、特征映射等。
基于图像处理技术的无人机目标识别与跟踪方法研究

基于图像处理技术的无人机目标识别与跟踪方法研究无人机目标识别与跟踪是近年来无人机应用领域中的一个热门课题。
随着无人机技术的不断发展和普及,无人机在军事、安全、农业、交通等领域中的应用也越来越广泛。
为了提高无人机的自主飞行、目标定位、任务执行能力,研究基于图像处理技术的无人机目标识别与跟踪方法具有重要的意义。
在无人机目标识别与跟踪的研究中,图像处理技术起到了关键作用。
图像处理技术可以通过对无人机采集到的图像进行分析和处理,从而实现对目标物体的识别与跟踪。
在目标识别方面,常用的方法包括特征提取与匹配、神经网络、卷积神经网络等。
特征提取与匹配方法通过提取目标物体在图像中的特征,并与数据库中的特征进行匹配,从而实现目标物体的识别。
神经网络和卷积神经网络利用深度学习算法对图像进行训练,从而实现对目标物体的自动识别。
在目标跟踪方面,常用的方法包括基于运动模型的跟踪、基于外观模型的跟踪和基于深度学习的跟踪。
基于运动模型的跟踪方法假设目标物体在时间上是连续变化的,通过对目标物体的运动进行建模,从而实现对目标物体的跟踪。
基于外观模型的跟踪方法则假设目标物体在图像上的外观是相对稳定的,通过对目标物体的外观进行建模,从而实现对目标物体的跟踪。
基于深度学习的跟踪方法利用深度神经网络对目标物体进行训练,从而实现对目标物体的自动跟踪。
在无人机目标识别与跟踪的研究中,还需要考虑实时性和准确性两个方面的要求。
实时性要求无人机对目标物体进行快速识别与跟踪,以应对复杂多变的环境。
准确性要求无人机对目标物体进行准确的识别与跟踪,以避免误识别和漏识别情况的发生。
为了满足实时性和准确性的要求,可以采取一系列的优化措施。
首先,可以对无人机进行性能优化,如提高无人机的图像采集速度、图像传输速度和计算处理速度等。
其次,可以对目标识别与跟踪算法进行优化,如采用高效的特征提取与匹配算法、深度学习算法和跟踪算法等。
最后,可以采用多传感器融合技术,如结合视觉传感器、红外传感器等,从而提高目标识别与跟踪的准确性和鲁棒性。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
基于图像融合的目标识别研究王立琦雷洁(西安交通大学电子信息工程学院综合自动化研究所,陕西西安 710049)【摘要】:红外与可见光传感器是目标识别系统中常用的两种传感器,将两种传感器图像进行融合能为我们提供更多的有效信息,从而提高目标识别正确率。
本文在总结了传统的图像融合方法的基础上,改进了基于区域能量的小波图像融合规则,并设计了一种由支持向量机构建的分类器,对两类目标进行识别。
实验表明,本文方法可以有效的提高识别正确率与识别速度。
【关键词】:目标识别;小波变换;图像融合;支持向量机;1、引言在高科技信息爆炸时代,各种监控设备功能不断增强,检测到的信息复杂多变,各种隐身、干扰和欺骗等反对抗技术应用广泛,仅依靠单一传感器难以保证目标识别系统高性能稳定工作,这就使得多传感器数据融合作为一种特殊的数据处理方法在目标识别领域越来越得到人们的重视。
红外成像传感器在夜间可以很好的工作,由其拍摄的红外图像可以直观地得到探测目标与背景间的热辐射差异,但只有目标的大致轮廓,细节信息很少;普通摄像机对场景的亮度变化较为敏感,由其拍摄的可见光图像清晰且细节信息较为丰富。
红外与可见光图像的融合可以综合红外图像的目标指示特性和可见光图像的场景信息,提供更多、更有效的信息[1]。
小波变换是一种非冗余的多尺度,多分辨率分解图像经过小波变换之后数据的总量不会增大,同时小波变换具有方向性,利用这一特性可以获得视觉效果更佳的融合图像。
在融合过程中,对图像的高频成分和低频成分加以区分,采用不同的融合算子和融合规则,可提高融合图像清晰度。
目前已有的文献中提到的融合规则[2]可大致分为两类:一类是基于单个像素点的融合规则,如加权平均法、像素值取极值法等;另一类是基于区域的融合规则,如区域标准差,区域极值,区域能量法。
由于区域能量较大的中心像素代表了原始图像中的明显特征,并且图像的局部特征一般不是只取决于某一像素,因此基于区域能量的融合规则显得更合理、更科学。
但当两幅图像对应像素的区域能量相差比较大时,区域能量选大法可充分保留显著图像信号的细节特征。
而当区域能量比较接近,其匹配程度比较大,这种方式容易导致选择错误,使融合图像不稳定,产生失真。
鉴于此,本文提出了一种改进算法,即引入一个阈值,当两幅图像对应像素的区域能量差大于阈值时,采用区域能量选大法;当区域能量差小于阈值是,采用平均法。
这样既可以清晰的保留显著图像信号的细节特征,又避免了失真,减少了噪声。
支持向量机 (SVM) [3-4]是一种基于统计理论的学习方法,由于其采用结构风险最小化原则,在固定经验风险的条件下,最小化分类函数的VC维,因此比传统的以经验风险最小化为原则的神经网络具有更好的泛化能力,在小样本学习中表现出良好的性能。
对于多类模式识别问题,利用改进后的“一对一”策略的支持向量机构建分类器,可以大大减小训练量,提高识别速度。
本文将同一批配准后的红外图像与可见光图像进行小波变换后分别选择未改进的融合规则和改进后的融合规则进行融合,经过图像分割,特征提取,最后利用改进后的支持向量机构造的分类器进行分类。
试验证明,采用本文方法得到的识别正确率与速度明显高于单纯使用红外图像或可见光图像或普通融合图像所得到的识别正确率与速度,有效提高了识别系统的正确性与实时性。
2、图像融合的意义本文研究的为智能自主探测车辆系统中的识别子系统,主要工作是针对某个已检测到的目标,采用多种的传感器对目标进行信息采集,通过融合多源异构信息达到对目标的识别,并将识别结果传送给实验平台,便于后续研究。
正常白天,可见光图像可以清晰的反映目标及周围环境的细节信息,但是强光下产生的影子难以与目标分离,而在夜间、阴雨天等光线不足的时候,可见光图像的成像质量较差,图像不清晰,难以分辨目标与背景;红外热成像仪拍摄的红外图像能准确区分目标与影子,并且不受光线强弱的影响,随时都可以分辨出目标与背景,但是红外图像的细节信息不明显,对比度较低。
数据库建立时,我们是选取图像清晰,成像条件较好的图像作为模板图像,以保证识别效果的公正、准确。
这样,单纯使用可见光图像或者单独使用红外图像在一定情况下会造成误判或者无法判断,进而影响最终的识别正确率。
而使用融合图像则可以进行信息互补,延长识别系统的可用时间范围;拓宽识别系统的工作领域。
不同条件下的CCD图像与红外图像如图1,图2所示。
图1 正常光线下的CCD图像与强光照射下的CCD图像图2 光线不足时的CCD图像与红外图像为了更好的满足系统要求,本文选择像素级图像融合方式。
3、小波变换在图像融合中的应用基于小波变换的图像融合的基本原理就是对待融合图像进行多层次小波分解,得到图像的低频近似信息和图像的高频细节信息,然后分别对不同层次的低频分量和高频分量采用相应的融合规则进行融合处理,得到融合图像的低频近似分量和高频细节分量,最后进行小波逆变换得到融合后的图像[5]。
基于小波多尺度分解图像融合的方案如图3所示图像经过小波分解后其低频分量中包含着图像的概貌信息,本文选择速度较快的加权平均融合规则。
高频分量中包含着丰富的图像边缘信息和区域边界特性,所以高频分量的融合结果影响着图像融合的质量[6]。
图3 基于小波分解图像融合原理融合规则的复杂性在一定程度上影响着系统的识别速度。
考虑到目标识别系统的实时性,提高识别速度显得尤为重要。
鉴于此具体融合规则如下:对已进行小波分解的两幅待融合图像选取某个高频像素邻近的一个3×3或5×5的区域,对比两幅分解图相同区域的能量,选取区域能量较大的系数作为融合图像的小波系数。
即:112,,,,2,E Ei k i k i ki ki kwww⎧⎪=⎨⎪⎩>其它其中22,,22Ei kii k m nm i n kI++=-=-=∑∑,为3×3或5×5区域的能量。
红外图像与可见光图像的区域能量差为12,,E-Ei k i kZ=。
引入阈值Y=12,,E+E)i k i k0.5(若:12,,E-Ei k i kY≥,则:1,',2,,,i ki ki kW Z YWW Z Y⎧≥⎪=⎨≤-⎪⎩若:12,,E-Ei k i kY<,则:'12,,,0.5()i k i k i kW W W=+由此可得,在对应分解层和对应方向上,当两图像A,B区域能量值差别较大时(Z≥Y),说明一幅图像含有丰富的细节信息,而另一幅图像含有较少的细节信息,此时选择区域能量较大的像素值作为融合后的小波系数;当区域能量差别较小时(Z<Y),说明两幅图像含有的细节信息量相当,匹配程度比较大,此时采用平均算法来确定融合后的小波系数。
这样既可以清晰的保留显著图像信号的细节特征,又避免了失真,减少噪声。
算法流程图如图4所示,源图像、配准图像与融合图像如图5与图6所示图4 本文算法流程图图5 红外源图像与CCD 源图像图6 配准后的图像与融合后的图像4、 支持向量机分类器支持向量机本身是针对两类模式分类提出的,但可以很容易地推广到多类模式的情况。
对于多类模式识别问题,SVM 可通过两类问题的组合来实现,通常有两种策略[7]:1)“一对多”策略:即一个分类器将每一类与剩下所有类别区分开来,其优点是需要构造的分类器数量少,缺点是每个分类器需要训练的数据量大,而且正类(当前类别)和负类(其它类别)的训练数据量相差大,数据量不对称,这两个原因将会导致该方法训练速度缓慢。
2)“一对一”策略:即一个分类器将两个类别对区分开来,其优点是由于训练每个分类器时只用到了相关类样本,训练集规模小,因此其训练速度比一对多方法要快得多,缺点是当使用一对一方法进行分类时,在k 类训练样本中构造所有可能的两类分类器,每个分类器仅仅在k 类中的两类训练样本上训练,结果共构造(1)/2k k -个分类器。
如果k 太大,(1)/2k k -就会非常大,这样就需要构造很多个支持向量机分类器,将导致分类速度缓慢。
为提高识别系统的识别速度,本文设计了一种基于改进后的“一对一”策略的支持向量机分类器:即,在识别过程中,引入()y n 数组,并用()y n数组来标记每个支持向量机分类后第n 个类获得的投票数。
例如第m 类和第n 类通过支持向量机后判别为第n 类,则()()1y n y n =+。
考虑到经过了n 个支持向量机之后,()y n 中各个类的投票量已经差异很大,有的获得了很多票数,有的获得了很少的票数,没有必要在接下来的分类中再考虑获得票数很少的类。
此时,通过算法将这些获得票数很少的类从训练样本中剔除,就可以大大减少之后构造支持向量机的数量,从而提高识别速度。
5、 实验结果与分析鉴于本实验使用的红外热像仪和摄像机安装位置相对固定,焦距一致,可同时拍摄得到红外图像和可见光图像。
因此,由两类传感器拍摄得到的图像配准精度较高。
直接选用配准后的图像作为源图像。
实验过程:1)在较理想的拍摄条件下对汽车模型(如图7所示)、坦克模型、飞机模型分12个不同的方向拍摄红外图像与可见光图像,每个方向50张,共计3600张图片,配准后,作为源模板图像。
图7 不同方向的汽车模型图像在光线较暗的情况下对三类模型分12个不同的方向拍摄红外图像与可见光图像,每个方向15张,共计1080张图片;在强光照射下对三类模型分12个不同的方向拍摄红外图像与可见光图像,每个方向15张,共计1080张图片;在正常拍摄条件下对三类模型分12个不同的方向拍摄红外图像与可见光图像,每个方向20张,共计1540张图片,共计3600张图像,配准后,做为实验图像。
2)将相同拍摄条件下的同类同姿态图像融合后得到3600张融合图像。
文献[8]的研究表明,对于红外与可见光图像融合采用双正交基小波变换、分解层数为3层的融合图像质量最佳。
3)将融合图像去噪、分割,取其特征,共可得到3600组特征值。
4)取模板图像的特征值数据作为支持向量机训练数据,得到支持向量机参数。
5)取实验图像的特征值数据做为测试数据进行测试。
具体的实验流程图如图7所示。
图7 实验工作流程对比由不同的源图像得到的识别正确率与由不同分类方法所耗费的时间可知,采用本文的方法有利于提高识别正确率并缩短运行时间。
对比结果如表1所示。
6、结论对具有互补性的红外图像与可见光图像融合后进行目标识别一直是目标是别领域中的一个热点问题。
本文改进了基于小波系数区域能量选大的融合规则,设计了一种基于改进后的“一对一”策略的支持向量机分类器,实验表明,使用本文方法能有效提高识别系统的精确性与实时性。
表1 对比结果参考文献:[1]韩崇昭,朱洪艳,段战胜等.多源信息融合[M].北京:清华大学出版社,2006.[2]杨先麟,朱艳芹.小波分析在图像处理中的应用[J].理论与方法,2007.[3]Vapnik V.N. An Overview of StatisticalLearning Theory[J]. Neural Networks,IEEETransactions on, 1999, 10 (5): 988-999. [4]邓乃扬,田英杰.数据挖掘中的新方法——支持向量机[M] .北京:科学出版社,2004.[5]杨先麟,朱艳芹.小波分析在图像处理中的应用[J].理论与方法,2007.[6]龚昌来.基于局部能量的小波图像融合新方法[J].激光与红外,2008[7]孙发圣,肖怀铁.基于K最近邻的支持向量机快速训练算法[J].电光与控制,2008.[8]WEIWEI WANG.Multifocus Image fusion inwavelet domain[J].Proceeding of the secondInternational Conefrence on Machine Learningand Cybernetics,Xi’an,2-5November2003.作者简介:王立琦(),男,副教授,博士,陕西人,主要从事雷洁(1984—),女,硕士研究生,山西太原人,主要从事基于多源异构信息的目标识别研究。