基于SIFT特征的图像匹配

基于SIFT特征的图像匹配
基于SIFT特征的图像匹配

毕业设计(论文)题目基于SIFT特征的图像匹配

姓名张建华

学号0811111101

所在学院理学院

专业班级08信计

指导教师吴颖丹

日期2012 年 6 月 2 日

摘要

当今社会已经进入信息时代,随着计算机技术、通信技术和数学的发展,图像信息处理能力和水平也不断提高,相应的也得到更多关注、研究和更加广泛的应用。图像匹配是处理和解决各种图像信息的基础,已经成为虚拟现实和计算机可视化领域的研究热点。一直以来,研究人员对图像匹配技术进行了大量的研究,推出了许多匹配算法,其中特征匹配算法有着较高的精确度和稳定性。SIFT (Scale Invariant Feature Transform)特征匹配算法是Lowe提出来的用于图像特征匹配的算法,是目前特征匹配领域的热点,对图像的旋转,尺度缩放和亮度变换保持不变,对视角变换,仿射变换保持一定程度的稳定。SIFT特征点是图像的一种尺度不变局部特征点,具有独特性好,信息量丰富,多量性,高速性,可扩展性等特点。正是借助于这些特点,使得传统图像配准中的许多诸如前面提到的共性问题得到了很大程度的改善。该算法首先给出了尺度空间的生成方法,检测出极值点;接下来给出了SIFT特征点的提取步骤和精确定位极值点的方法;然后基于特征点邻域像素的梯度和方向生成了关键点的描述向量;最后根据特征向量给出了匹配方法,提取了SIFT的特征点,并其应用于图像匹配。

本文首先简要介绍了图像匹配所需的基础知识,然后详细介绍了SIFT算法的具体流程。通过大量的实验证明SIFT算法具有较强的匹配能力和鲁棒性,是一种较好的图像匹配算法。

关键字:SIFT; 图像匹配; 尺度空间; 极值点; 特征向量

Abstract

Today,society has entered the information age, with the development of computer technology, communications technology and mathematics, the image information processing capabilities and the level is also rising, and also get more attention, research and more widely used. The image matching handle and solve all kinds of image information, has become the research focus of the virtual reality and computer visualization. Researchers has been a lot of research for image matching techniques, the introduction of a number of matching algorithm, which feature matching algorithm has higher accuracy and stability. SIFT(Scale Invariant Feature Transform)feature matching algorithm, proposed by Lowe, is a hot field of feature-matching at present, which remains the same to image rotation, scale zoom and brightness transformations, and also maintains a certain degree of stability on the perspective transformation and affine transformation. SIFT feature points are scale-invariant local points of an image, with the characteristics of good uniqueness, informative, large amounts, high speed, scalability, and so on. In this algorithm, at first method for generating image scale space is presented; at second steps for extracting sift key points and accurate positioning are provided; then vectors for describing key points based on the gradient magnitude and orientation of pixels neighboring to the key points are generated; at last according to the vectors matching algorithm is described.

This paper briefly introduces the basic knowledge required for image matching, and then details the specific process of the SIFT algorithm. Large number of experiments to prove the SIFT algorithm has a strong match and robustness, is a good image matching algorithm.

Key Words:SIFT; Image Registration; Scale space; extreme points; eigenvector.

目录

第1章绪论 (1)

1.1 本课题研究的背景及意义 (1)

1.2本课题研究的内容和目标 (2)

1.3 本文安排 (2)

第2章图像匹配技术 (4)

2.1数字图像处理技术的概述 (4)

2.2 图像匹配技术的定义 (5)

2.3 图像匹配技术的方法 (5)

2.3.1基于灰度相关的匹配算法 (5)

2.3.2 基于特征的图像匹配算法 (6)

2.3.3 两类匹配算法的比较 (7)

2.4本章小结 (8)

第3章 SIFT算法 (9)

3.1 SIFT算法的简介 (9)

3.2 SIFT算法实现步骤简述 (9)

3.3 SIFT算法详细过程 (10)

3.3.1 尺度空间的生成-建立高斯金字塔 (10)

3.3.2 尺度空间的生成-DOG高斯差分金字塔的生成 (12)

3.3.3 空间极值点检测 (13)

3.3.4 极值点的精确定位 (14)

3.3.5 关键点方向分配 (17)

3.3.6生成SIFT特征向量 (18)

3.3.7 SIFT特征向量的匹配 (20)

3.4 小结 (20)

第4章实验结果分析 (21)

4.1 实验一 (21)

4.2 实验二 (23)

4.3 实验三 (24)

4.4 实验四 (26)

4.5 实验五 (27)

4.6 实验六 (29)

4.7 实验结论 (30)

第5章总结 (32)

致谢 (34)

参考文献 (35)

附录 (37)

第1章绪论

1.1 本课题研究的背景及意义

图像无处不在。任何物体通过光线在人眼的视网膜中成像,如同在摄像头或者照相机中成像一样。所以,图像对于人来说是首要的信息。

人和高等动物都有着发达的视觉系统,使得客观环境中存在的事物或目标可以被识别,从而引发进一步的处理。对于人类来说,这种功能是与身俱来的,十分轻松的事情。但是,当人眼接受到的图像信息过于庞大、复杂时,图像的处理就会变得相当的复杂。在许多应用中,观察员需要同时监视多种信息源的图像,从中获取信息并作出判断。此时,观察员就需要将得到的图像进行融合,从中获取对自己有用的信息。但是图像的融合是由观察员的视觉系统和大脑完成的,观察员的劳动负荷大,一名观察员很难从多幅独立的、连续变化的图像中得到可靠的合成视觉信息;通过多名观察员的协同工作获得合成图像信息要么是不可能的,要么代价太大。

图像配准技术可以解决这个问题。图像配准技术是现代遥感技术、微电子技术和精密检测技术的综合性产物。图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。配准技术的流程如下:首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数:最后由坐标变换参数进行图像配准。

图像匹配是图像配准的重要环节。图像匹配的实现方式是指通过一定的匹配算法在两幅或多幅图像之间识别同名点,如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数,取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下,运用匹配准则的最佳搜索问题,确切的说,所谓图像匹配就是在图像融合过程中,寻找一幅图像(目标图像或实时图)在另一幅图像(源图像或基准图)中的位置。

图像匹配技术可以使信息具有高度集成性,便于存储和运输。从20世纪80年代初至今,图像匹配已引发了世界范围的研究狂潮,它在计算机视觉、遥感、机器、医学图像处理以及军事等领域有着广泛的应用前景。图像匹配利用各种成像传感器获得的不同图像,综合各图像的互补信息和冗余信息,扩大传感器的工作范围,增加置信度,改善系统的可靠性和可维护性,降低对单一传感器的性能要求,可更为准确、可靠、全面的获取对目标或场景的信息描述,以供进一步处理。目前,图像匹配的应用领域概括起来主要有以下几个方面:

(1) 医学图像分析:肿瘤检测、白内障检测、CT、MRI、PET图像结构信息融合、数字剪影血管造影术(DSA)等;

(2) 遥感数据分析:分类、定位和识别多谱段的场景信息、自然资源监控、核生长监控、市区增长监控等;

(3) 模式识别:目标物运动跟踪、序列图像分析、特征识别、签名检测等;

(4) 计算机视觉:目标定位、自动质量检测等;

(5) 还应用与全景拼图,视频检索等应用领域;

虽然人们在图像匹配的不同层次上开展了大量的理论与应用研究,但是,至今为止在各层次图像匹配领域内尚未有公认的完整的理论和方法。还存在许多理论和技术问题有待解决。图像匹配技术在国内所尽进行的研究相对于国际上的研究工作起步较晚目前还处于落后状态,因此迫切需要开展广泛深入的基础理论和工程技术的研究工作。

1.2本课题研究的内容和目标

本课题研究内容分为两个方面。理论方法研究方面,主要集中在研究最新的基于SIFT的图像匹配;实践方法研究方面,将理论模型和算法用软件实现。

本课题的研究目标是对图像匹配有初步的了解认识,并对基于SIFT的图像匹配技术的具体流程有详细的认知,并能通过软件实现来对图像匹配进行深刻的认知。

1.3 本文安排

文分为5章,每章的安排如下:

第1章,绪论部分,介绍了本课题研究的背景、意义、内容和目标。

第2章,图像匹配技术,介绍了图像匹配的基本概念以及图像匹配方法的分

类。

第3章,SIFT特征的提取部分和基于SIFT特征的图像匹配,详细阐述了SIFT特征提取的主要步骤和基于SIFT特征的图像匹配,是本文的重点章节。

第4章,通过大量的实验,验证了SIFT算法的旋转不变性。

第5章,总结。

第2章图像匹配技术

2.1数字图像处理技术的概述

数字图像处理,即利用计算机对图像进行数学运算和处理,是一门相对年轻的学科,只有几十年的历史。早期的图像处理技术主要用于传送图像的和照片。现代数字图像处理技术始于20世纪60年代,它借助于计算机运算速度的迅速提升、微电子技术的发展和FFT(快速傅里叶变换)算法的出现,从而使得图像处理算法可以在计算机上真正实现。正是这个时期,美国NASA(国际宇航局)开始处理从月球发回的照片,标志着数字图像处理技术开始得到实际应用。

特别是美国JPL实验室(喷气推进实验室)在图像处理方面的研究和应用方面进行了开拓性的工作。1964年,他们利用“徘徊者7号”发回了数千张月球照片,使用计算机及图像处理设备,在充分考虑了太阳位置和月球环境对照片影响的基础上,采用灰度变换、去噪声、几何校正、傅里叶变换等方法对照片进行处理,由计算机第一次绘制了月球表面地图。随后,1965年又对“徘徊者8号”发回地球的几万张照片进行了解卷积、消除运动模糊等较为复杂的处理,使图像质量进一步提高。从此,数字图像处理被广泛应用于航天以及遥感遥测等尖端领域。

同一时期,也正是全球微电子技术走上快速发展的初期,包括CPU处理器、海量存储器、图像数字化和图像显示以及计算机硬件设备不断降价,客观上推动了该技术的发展和深入应用。也正是这一时期,美国开始将图像处理技术应用到工业和民用领域,利用卫星图像进行天气预报,利用卫星遥感检测全球气候,在信息安全领域开始使用指纹识别技术,给社会带来了巨大的经济社会效益。借助于信息技术和图像处理技术的领先优势,美曾经提出“数字地球”的概念。

今天,随着计算机技术的迅猛发展和相关理论的不断完善,数字图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就。属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等。该技术成为一门引入注目、前景远大的新型学科。

常用的数字图像处理方法有图像描述、图像变换、图像的压缩编码、图像 增强、图像复原、图像分割识别等。而图像匹配技术就是数字图像处理技术中的 一种

2.2 图像匹配技术的定义

图像匹配可以定义为两幅图像在空间和灰度上的映射。如果用给定尺寸的二维矩阵1I 和2I 代表两幅图像。()y x I ,1和()y x I ,2分别表示相应位置()y x ,上的灰度值,则图像间的映射课表示为:

()()()()y x f I g y x I ,,12= (1-1)

式子中,f 表示一个二维空间坐标变换,即:

()

()y x f y x ,1,1= (1-2) 且g 是一维灰度或者辐射变换。匹配的任务包括找到最优的空间和灰度变换,使图像相对于标准图像得到匹配。通常灰度变换是不需要的。一般情况下,寻找空间或者几何变换是解决匹配问题的关键,这一变换通过参数可化为: ()()()()y x f y x f I y x I y x ,,,,12= (1-3) 图像匹配的具体应用包括目标或者场景识别、在多幅图像中求解3D 结构、立体对应和运动跟踪等。出于拍摄时间、拍摄角度、自然环境的变化,多种传感器的使用、传感器本身的缺陷及噪声等影响,拍摄的图像会存在灰度失真和几何畸变。同时,图像预处理过程会引入的误差,这都是导致模板图像与待匹配的目标图像之间通常存在着一定程度的差异。在这种情况下,如何使匹配算法精度高、正确匹配率高、速度快和抗干扰性强成为人们关心的问题。

2.3 图像匹配技术的方法

图像匹配算法的选取对图像匹配结果影响很大。使用的匹配算法不仅仅要求计算量小,还必须具有良好的抗噪能力和抗几何形变的能力。通常情况下,图像匹配算法可分为以下两大类:基于灰度相关的匹配算法和基于特征的图像匹配算法。

2.3.1 基于灰度相关的匹配算法

灰度匹配的基本思想:以统计的观点将图像看成是二维信号,采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数,评价它们的相似性以确定同名点。

灰度匹配通过利用某种相似性度量,如相关函数、协方差函数、差平方和、差绝对值和等测度极值,判定两幅图像中的对应关系。

最经典的灰度匹配法是归一化的灰度匹配法,其基本原理是逐像素地把一个以一定大小的实时图像窗口的灰度矩阵,与参考图像的所有可能的窗口灰度阵列,按某种相似性度量方法进行搜索比较的匹配方法,从理论上说就是采用图像相关技术。

利用灰度信息匹配方法的主要缺陷是计算量太大,因为使用场合一般都有一定的速度要求,所以这些方法很少被使用。现在已经提出了一些相关的快速算法,如幅度排序相关算法,FFT相关算法和分层搜索的序列判断算法等。

2.3.2 基于特征的图像匹配算法

特征匹配是指通过分别提取两个或多个图像的特征(点、线、面等特征),对特征进行参数描述,然后运用所描述的参数来进行匹配的一种算法。基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。

1颜色特征颜色特征,因为具有直观、明显的特点,是图像视觉最重要的感知特征之一。颜色往往和图像中所包含的物体或场景相关。与其它的视觉特征相比,颜色特征对图像本身的尺寸、方向、视角的依赖性较小,从而具有较高的鲁棒性,并且计算简单,所以目前应用最广泛。基于颜色的特征提取方法能较好的表示图像的颜色信息。目前颜色特征的提取方法主要有:颜色直方图、颜色矩、颜色聚合向量等颜色特征的表示方法。

颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。

2 纹理和形状特征纹理的直观意义很清楚,但在图像处理中的纹理一词却有着广泛笼统的含义,而且也没有确切的定义。纹理一般包含3个基本要素:

( 1 )某种局部地序列在比该序列更大的区域内不断重复。

( 2 )序列是由基本部分非随机排列组成的。

( 3 )各部分大致都是均匀的统一体,纹理区域内任何地方都有大致相同的结构尺寸。不管是什么样的东西,若一直放大下去再进行观察的话,就一定能显现

出纹理。

3 区域分割和空间关系特征

区域分割是把图像分割成具有某种意义的部分图像(如前景区域与背景区域)的方法。

空间关系,是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类:相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况,如上下左右关系等,后一种关系强调的是目标之间的距离大小以及方位。显而易见,由绝对空间位置可推出相对空间位置,但表达相对空间位置信息常比较简单。

特征匹配首先对图像进行预处理来提取其高层次的特征,然后建立两幅图像之间特征的匹配对应关系,通常使用的特征基元有点特征、边缘特征和区域特征。特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。

常用的特征提取与匹配方法有:统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。

基于图像特征的匹配方法可以克服利用图像灰度信息进行匹配的缺点,由于图像的特征点比较像素点要少很多,大大减少了匹配过程的计算量;同时,特征点的匹配度量值对位置的变化比较敏感,可以大大提高匹配的精确程度;而且,特征点的提取过程可以减少噪声的影响,对灰度变化、图像形变以及旋转等都有较好的适应能力,所以基于图像特征的匹配在实际中的应用越来越广泛。所使用的特征基元有点特征(明显点,角点,边缘点等),边缘线段等。

2.3.3 两类匹配算法的比较

特征匹配与灰度匹配的区别:灰度匹配是基于像素的,特征匹配则是基于区域的,特征匹配在考虑像素灰度的同时还应考虑诸如空间整体特征、空间关系等因素。

特征是图像内容最抽象的描述,与基于灰度的匹配方法相比,特征相对于几何图像和辐射度影响来说更不易变化,但特征提取方法的计算代价通常较大,并

且需要一些自由参数和事先按照经验选取的阈值,因而不便于实时应用。同时,在纹理较少的图像区域提取的特征的密度通常比较稀少,使局部特征的提取比较困难。另外,基于特征的匹配方法的相似性度量也比较复杂,往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。

2.4本章小结

本章主要对图像匹配技术做了简要概述,介绍了基于灰度和基于特征这两种图像匹配方法,为下文描述的特征匹配算法做了铺垫。

第3章 SIFT算法

3.1 SIFT算法的简介

SIFT是一种基于特征的配准方法。SIFT匹配算法是David G.Lowe教授在2004年总结了现有的基于不变量技术的特征检测方法的基础上,提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法。该算法匹配能力较强,能提取稳定的特征,可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题,甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力,从而可以实现差异较大的两幅图像之间的特征的匹配。

SIFT算法是一种提取局部特征的算法,在尺度空间寻找极值点,提取位置,尺度,旋转不变量。

它具有如下特点:

(1)SIFT特征是图像的局部特征,其对平移、旋转、尺度缩放、亮度变化保持不变性,对对光照变化、视角变化、仿射变换、噪声也保持一定程度的稳定性。具有较强的鲁棒性。

(2)独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配,在特征匹配时可以以一个很高的概率正确匹配。

(3)多量性,即使少数的几个物体也可以产生大量SIFT特征向量,这对于目标识别非常重要。

(4)高速性,经优化的SIFT匹配算法甚至可以达到实时的要求。

(5)可扩展性,可以很方便的与其他形式的特征向量进行联合。

目标的自身状态、场景所处的环境和成像器材的成像特征等因素会影响图像匹配的性能。而SIFT算法在一定程度上可解决:(1) 目标的旋转、缩放、平移;

(2) 图像仿射、投影变换;(3) 光照影响;(4) 目标遮挡;(5) 杂物场景;(6) 噪声

3.2 SIFT算法实现步骤简述

SIFT 算法的实质可以归结为在不同的尺度空间上查找特征点的问题。

特征点检测

特征点

描述目标的特征点集特征点匹

目标的特征点集

目标图像SIFT

特征点

检测特征点描述原图像SIFT 匹配点矫正

图3-1 SIFT 算法流程图

SIFT 算法实现物体识别主要有三大工序:

(1)提取关键点。

(2)对关键点附加详细的信息,也就是确定关键点的位置和所处的尺度,为每个关键点指定方向参数。

(3)通过特征点的两两比较找出相互匹配的若干对特征点,建立景物间的对应关系。 3.3 SIFT 算法详细过程

本节是算法的主体,包括两大部分:获取图像信息,抽取特征值。

图像信息包括三个要素:位置,尺度大小,旋转方向。

位置,指的是不同的像素坐标。

尺度大小,通俗的讲就是指对同一个景物进行两次拍摄时,得到两张照片。一张近景,一张远景,对应的就是一个大尺度,一个小尺度。

旋转方向,指的是对同一景物进行不同的角度拍摄,当选定某个拍摄的方向为基准方向时,其他方向的拍摄相当于基准方向就产生一个对应的空间旋转方向。

当图像信息分析过程结束后,就可以抽取特征值了。

下面详细介绍获取图像信息,抽取特征值的具体算法。

3.3.1 尺度空间的生成-建立高斯金字塔

尺度空间理论目的是模拟图像数据的多尺度特征。

高斯卷积核是实现尺度变换的唯一变换核,并且是唯一的线性核。所以一幅二维图像的尺度空间定义为:

()()()y x I y x G y x L ,,,,,*=σσ (3-1)

其中()σ,,y x G 是尺度可变高斯函数,

()()2222/221

,,σπσσy x e y x G +-= (3-2)

()

y x ,是空间坐标,符号*表示卷积, ()y x ,代表图像的像素位置,

是尺度空间因子,值越小表示图像被平滑的越少,相应的尺度也就越小。大尺度对应于图像

的概貌特征,小尺度对应于图像的细节特征。 为了得到在不同尺度空间下的稳定特征点,将图像()y x I ,与不同尺度空间因子下的高斯核()σ,,y x G 进行卷积操作,构成高斯金字塔。

图3-2高斯金字塔

高斯金子塔的构成中要注意,第1阶的第1层是原始图像;在同一阶中相邻两层的尺度因子比例系数是k ,则第1阶第2层的尺度因子是σk ,然后其它层以此类推可;第2阶第1层是由第1阶的中间层尺度图像进行子抽样获得,其尺度因子是σ,然后第2阶的第2层的尺度因子是第1层的k 倍即σk 。第3阶的第1层由第2阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。

图3-3 高斯金字塔图像

图3-3为一幅图像所形成的高斯金字塔的第一阶和第二阶。

3.3.2 尺度空间的生成-DOG 高斯差分金字塔的生成

为了有效的在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间(DOG scale-space )。利用不同尺度的高斯差分核与图像卷积生成。

()()()()()()()σσσσσ,,,,,,,,,,,y x L k y x L y x I y x G k y x G y x D -=*-= (3-3) 选择高斯差分函数主要有两个原因,第一,它计算效率高。第二,它可作为尺度归一化的拉普拉斯高斯函数G 22?σ的一种近似。

其中()σ,,y x D 和G 22?σ的关系可以从如下公式推导得到:

G G 2?=??σσ

(3-4) 利用差分近似代替微分,则有:

()()σ

σσσσσ--≈??=?k y x G k y x G G G ,,,,2 (3-5) 因此有

()()()G k y x G k y x G 221,,,,?-≈-σσσ

(3-6) 其中k-1是个常数,并不影响极值点位置的求取。

DOG 金字塔通过高斯金字塔中相邻尺度空间函数相减即可,如图3-4所示。在图中,DOG 金字塔的第1层的尺度因子与高斯金字塔的第1层的是一致的,

其它阶也是一样。图3-5为一幅图像由图3-4所示图像高斯金字塔构造成的DOG 金字塔。

图3-4 DOG金字塔

图3-5 DOG金字塔图像

3.3.3 空间极值点检测

为了寻找尺度空间的极值点,每一个采样点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小。

图3-6 极值点的检测

如上图所示,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9*2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到极值点。

图3.7 图像极致点检测结果

上图为极致点检测结果。

3.3.4 极值点的精确定位

由于DOG 值对噪声和边缘较敏感,因此,在上面的DOG 尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。为了提高关键点的稳定性,需要对尺度空间DOG 函数进行曲线拟合。通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度),同时去除低对比度的关键点和不稳定的边缘响应点(因为DOG 算子会产生较强的边缘响应),以增强匹配稳定性、提高抗噪声能力。

获取关键点处拟和函数,

()X X

D X X X D D X D T T 2221??+??+= (3-7) 求导并让方程等于零,可以得到极值点:

X

D X D X ????-='-212 (3-8) 对应极值点,方程的值为:

()X X

D D X D T

'??+='21 (3-9) ()X D '的值对于剔除低对比度的不稳定特征点十分有用,通常将()03.0<'X D 的极值点视为低对比度的不稳定特征点,进行剔除。同时,在此过程中获取了特征点的精确位置以及尺度。

SIFT特征点提取与匹配算法

SIFT 特征点匹配算法 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分,可细化分为五个部分: ① 尺度空间极值检测(Scale-space extrema detection ); ② 精确关键点定位(Keypoint localization ) ③ 关键点主方向分配(Orientation assignment ) ④ 关键点描述子生成(Keypoint descriptor generation ) ⑤ 比较描述子间欧氏距离进行匹配(Comparing the Euclidean distance of the descriptors for matching ) 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一,就是在不同尺度下都能被检测出来。要达到这个目的,我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明,变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为:(,,)L x y σ,是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到,即: ),(),,(),,(y x I y x G y x L *=σσ (1.1) 其中:2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中,为了能相对高效地计算出关键点的位置,建议使用的是差分高斯函数(difference of Gaussian )(,,)D x y σ。其定义如下: ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= (1.2) 如上式,D 即是两个相邻的尺度的差(两个相邻的尺度在尺度上相差一个相乘系数k )。

SIFT特征点提取与匹配算法

二 特征点提取算法 1、基于SIFT (Scale Invariant Feature Transform )方法的图像特征匹配 参看David G. Lowe 的“Distinctive Image Features from Scale-Invariant Keypoints ” 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分,可细化分为五个部分: ① 尺度空间极值检测(Scale-space extrema detection ); ② 精确关键点定位(Keypoint localization ) ③ 关键点主方向分配(Orientation assignment ) ④ 关键点描述子生成(Keypoint descriptor generation ) ⑤ 比较描述子间欧氏距离进行匹配(Comparing the Euclidean distance of the descriptors for matching ) 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一,就是在不同尺度下都能被检测出来。要达到这个目的,我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明,变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为:(,,)L x y σ,是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到,即: ),(),,(),,(y x I y x G y x L *=σσ (1.1) 其中:2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中,为了能计算的相对高效,所真正使用的是差分高斯尺度空间(difference of Gaussian )(,,)D x y σ。其定义如下: ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= (1.2) 如上式,D 即是由两个相邻的尺度的差(两个相邻的尺度在尺度上相差一个相乘系数k )。

基于SIFT特征的图像匹配

毕业设计(论文)题目基于SIFT特征的图像匹配 姓名张建华 学号0811111101 所在学院理学院 专业班级08信计 指导教师吴颖丹 日期2012 年 6 月 2 日

摘要 当今社会已经进入信息时代,随着计算机技术、通信技术和数学的发展,图像信息处理能力和水平也不断提高,相应的也得到更多关注、研究和更加广泛的应用。图像匹配是处理和解决各种图像信息的基础,已经成为虚拟现实和计算机可视化领域的研究热点。一直以来,研究人员对图像匹配技术进行了大量的研究,推出了许多匹配算法,其中特征匹配算法有着较高的精确度和稳定性。SIFT (Scale Invariant Feature Transform)特征匹配算法是Lowe提出来的用于图像特征匹配的算法,是目前特征匹配领域的热点,对图像的旋转,尺度缩放和亮度变换保持不变,对视角变换,仿射变换保持一定程度的稳定。SIFT特征点是图像的一种尺度不变局部特征点,具有独特性好,信息量丰富,多量性,高速性,可扩展性等特点。正是借助于这些特点,使得传统图像配准中的许多诸如前面提到的共性问题得到了很大程度的改善。该算法首先给出了尺度空间的生成方法,检测出极值点;接下来给出了SIFT特征点的提取步骤和精确定位极值点的方法;然后基于特征点邻域像素的梯度和方向生成了关键点的描述向量;最后根据特征向量给出了匹配方法,提取了SIFT的特征点,并其应用于图像匹配。 本文首先简要介绍了图像匹配所需的基础知识,然后详细介绍了SIFT算法的具体流程。通过大量的实验证明SIFT算法具有较强的匹配能力和鲁棒性,是一种较好的图像匹配算法。 关键字:SIFT; 图像匹配; 尺度空间; 极值点; 特征向量

基于ransac算法的sift特征匹配研究(OpenCV+VS2010)____朱万革(最终版)

SHANGHAI JIAO TONG UNIVERSITY 学士学位论文 THESIS OF BACHELOR 基于ransac算法的sift特征匹配研究(OpenCV+VS2010)

上海交通大学 毕业设计(论文)学术诚信声明 本人郑重声明:所呈交的毕业设计(论文),是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 作者签名: 日期:年月日

上海交通大学 毕业设计(论文)版权使用授权书 本毕业设计(论文)作者同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权上海交通大学可以将本毕业设计(论文)的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本毕业设计(论文)。 保密□,在年解密后适用本授权书。 本论文属于 不保密□。 (请在以上方框内打“√”) 作者签名:指导教师签名: 日期:年月日日期:年月日

视频图像跟踪系统 摘要 图像(Image)--是客观世界的景物通过光学系统作用后产生的影像。图像直观地反映了场景中物体的颜色、亮度等特征,从而使我们能清晰分辨他们的形状、大小和空间位置。近30年来人们试图研究基于计算机的视觉系统,并且试图利用其系统来代替工业农业上的有害劳动。这样的视觉系统渐渐地进入我们的生活,让我们的生活变得很丰富,并且我们现在享受着图像处理这学问的成果。在世界上的先进的国家都设立了图像处理研究所,研究解决国防部门所要的问题。 本文将介绍基于OpenCV(Open Source Computer Vision Library)的视频图像匹配、拼接、融合和目标跟踪的算法以及方法。说到图像拼接,本文中所用的图像拼接算法是高效的SIFT特征算法。首先,用两个通用的USB摄像头来实时地进行采集图像,并对这两幅图像提取SIFT特征点。然后,进行粗匹配。最后用RANSAC算法对所提取出来的SIFT特征点匹配对进行提纯以及估计模型参数。最后把两幅图像拼接成一幅完整的图像,并且用加权平均算法进行无缝拼接。再进行摄像头标定,求出两个通用摄像头的内外参数,最后进行测距以及跟踪。最终取得了令人满意的结果。 关键词:SIFT,匹配,拼接,配准,RANSAC

相关主题
相关文档
最新文档