SIFT算法优化及其用于遥感影像自动配准

第34卷第10期2009年10月武汉大学学报#信息科学版GeomaticsandInformationScienceofWuhanUniversityVol.34No.10Oct.2009

收稿日期:2009-08-10。项目来源:湖北省自然科学基金资助项目(2008CDB388);湖北省教育厅自然科学基础研究资助项目(G200514001);国家863计划资助项目(2007AA120203)。文章编号:1671-8860(2009)10-1245-05文献标志码:A

李芳芳1 肖本林2 贾永红1 毛星亮3

(1 武汉大学遥感信息工程学院,武汉市珞喻路129号,430079)(2 湖北工业大学土木工程与建筑学院,武汉市李家墩1村,430068)(3 中共湖南省委互联网新闻宣传办公室,长沙市韶山路1号,410011)

摘要:对传统SIFT算法从特征点提取时间和匹配精度上进行了优化,基于优化算法提取的特征点对构建

三角网进行小面元微分纠正配准。试验结果表明,该方法是一种有效的遥感影像自动配准方法。

关键词:SIFT算法;小面元微分纠正;影像配准

中图法分类号:P237.3

近几年来,SIFT(scaleinvariantfeature

transform)特征在图像匹配领域取得了巨大成

功,基于SIFT描述子的匹配方法已被成功应用

到了很多领域,如目标识别[1]、全景图拼接[2]、从

运动恢复结构[3]等。SIFT算法最初由Lowe[4,5]

于1999年提出,2004年总结完善。2005年,

Mikolajczyk等[6]针对不同的场景,对光照变化、

图像几何变形、分辨率差异、旋转、模糊和图像压

缩等6种情况,就多种最具代表性的描述子进行

了试验,结果表明SIFT描述子性能最好。

然而,目前将SIFT算法应用于遥感影像配

准的研究还较少。主要原因如下:特征点提取方

面,由于遥感影像数据量一般较大,加上SIFT算

法本身复杂度较高,直接加以应用算法效率较低;

特征点匹配方面,传统SIFT算法采用的是Lowe

提出的最近邻次近邻距离比值法,阈值凭经验选

取,精确度较低。

1 SIFT算法

SIFT算法是一种提取图像局部特征的算法。

通过在高斯差分尺度空间(differenceofgauss-i

an,DOG)寻找极值点作为关键点,提取尺度、亮

度、旋转不变量。1.1 关键点检测及精确定位

关键点检测在多尺度空间完成。尺度空间理

论最早出现于计算机视觉领域,其目的是模拟图

像数据的多尺度特征。一幅二维图像的尺度空间

定义为:

L(x,y,R)=G(x,y,R)I(x,y)(1)

式中,G(x,y,R)=12PR2e-(x2+y2)/2R2是尺度可变

高斯函数。为了有效检测到关键点,Lowe[5]提出

了在高斯差分尺度空间寻找极值点:

D(x,y,R)=(G(x,y,kR)-G(x,y,R))I(x,y)

(2)

每一个采样点和它同尺度的8邻域点以及上

下相邻尺度的18邻域点比较是否为极值点,作为

关键点候选点。

然后,通过拟合泰勒公式展开的三维二次函

数,精确定位关键点的位置和尺度。同时去除低

对比度的关键点和不稳定的边缘响应点,以增强

匹配稳定性,提高抗噪能力。

1.2 关键点方向分配及描述子构造

利用关键点邻域像素的梯度方向分布特性为

每个关键点分配方向参数。一个关键点可能会被

指定多个方向(一个主方向、一个以上辅方向)以

增强匹配的鲁棒性。

然后以关键点为中心取16像素@16像素的武汉大学学报#信息科学版2009年10月

窗口,并均匀地分为4@4个子区域(每个子区域

大小为4像素@4像素),对每个子区域计算8个

方向的梯度方向直方图,绘制每个梯度方向的累

加值,即可形成一个种子点。这样对于一个关键

点可以产生4@4@8共128维的SIFT特征向

量。至此,一个完整的描述子构建完毕,也完成了

特征点的提取过程。

2 SIFT算法优化

2.1 尺度空间构造算法优化

SIFT算法本身复杂度较高、参数较多,需要

通过试验来确定最佳参数。通常采用的是

Lowe[5]的建议值,但这些参数对算法复杂度影响

较小。SIFT要应用于数据量较大的遥感影像,需

要对其计算过程加以优化。

2.1.1 尺度空间构造耗时

作者通过对大量遥感影像进行试验,统计了

算法各个阶段所需时间占总时间百分比,结果如

表1所示。

表1 SIFT算法各阶段所需时间

Tab.1 TimeConsumptionofDifferentStage

算法各个阶段所占百分比/%尺度空间构造30~55关键点检测10左右关键点指定方向10左右计算特征描述符30~50

由表1可知,构造尺度空间耗时较多,占算法

总时间的30%~55%左右。此部分耗时将很大

程度影响整个算法所需时间,因此优化空间较大。

2.1.2 耗时原因

尺度空间的构建主要分为高斯金字塔影像和

高斯差分尺度空间构建两部分,而后者在前者基

础上进行相邻图层相减即可。因此,尺度空间构

建耗时主要取决于高斯金字塔影像的构建。

Lowe[5]建议第一个octave的首幅图像高斯核参

数值为1.6,其他octave的第一幅由前面octave

的首幅图像以尺度2向下采样得到。当octave

的个数s=3时,每个octave中的其他图像R以

k=21/s等比递增。

构建高斯金字塔影像时,高斯核尺寸的大小

与其所需时间紧密相连。在不同核尺寸下,通过

对不同尺度、旋转不同角度的遥感影像进行试验

发现,随着核尺寸增大,构建金字塔影像消耗时间

不断增加,检测出的关键点数目也逐步增多。但当核尺寸增大到一定程度,关键点数目开始呈现下降趋势。传统SIFT算法中采用固定核尺寸选

择的方法来构建高斯影像,若尺寸选择过小,虽然

耗时较少,但提取的特征点也较少,不利于后续影

像配准;若尺寸选择过大,耗时较多,提取的特征

点也不一定很多。为了避免上述情况,争取在较

少时间内提取出较多特征点,本文采用了自适应

高斯核尺寸选择的方法。

2.1.3 自适应算法

通过试验统计发现,随着核尺寸从3@3、5@

5逐渐增加到21@21的过程中,检测出的关键点

数目在11@11到13@13之间开始出现临界值。

虽然所需时间仍不断增加,但关键点数目开始逐

渐减少。本文对多组遥感影像进行了试验,结论

基本一致。由于篇幅有限,仅列举其中一组试验

结果,如表2所示。

表2 不同高斯核尺寸试验结果

Tab.2 Experimentresultsofdifferent

Gaussiankennelsizes

核尺寸/结果aGus/msbGus/msaKeys/个bKeys/个3@315871784005@52364239444567@729143044112410189@9353536652740311111@11444646363454389213@13635956183630406715@15851277813562395517@17873293243469380219@1911436115763369371421@21126591255833273671自适应5536552737644098

表2为两幅同一地区不同时相的TM影像

(尺寸大小为512像素@512像素)在不同高斯核

尺寸下构造高斯金字塔影像所需时间及初始提取

特征点数。其中,aGUS、bGUS分别代表两幅影

像构建高斯金字塔所需时间,aKeys、bKeys代表

各自提取特征点数。试验运行环境:CPUCeleron

2.2G,内存512MB。

在以上多组试验结果基础上,拟合了一次函

数,得到如下自适应过程。

设高斯核尺寸为[width,height],其大小依

据每个octave中图像对应的值自适应过程为:

width=height=4+5,width<13

width=height=13,width>13。

2.1.4 试验

对上述TM影像采用自适应核尺寸算法提取

的特征点数目为3764和4098个,同等条件下比

固定核尺寸所提最多数目分别多134和31个。如

图1所示,横轴为不同核尺寸,纵轴为构建高斯影1246 第34卷第10期李芳芳等:SIFT算法优化及其用于遥感影像自动配准

像所需时间(ms)及所提特征点数。adapt为自适应

方法结果,其中自适应核尺寸所需时间分别为5

536ms和5527ms,仅介于高斯核[11,11]和[13,

13]之间。对多组影像试验,结论基本一致。

图1 不同高斯核尺寸下算法各部分所需时间

Fig.1 TimeConsumingofDifferentGaussianKennelSizes

2.2 关键点匹配策略优化

2.2.1 传统匹配策略缺点

综上所述,SIFT的关键点描述符为128维特

征向量,传统特征点匹配方法采用Lowe的最近

邻与次近邻的距离比率ratio进行匹配。ratio小

于某个阈值的对应点作为正确匹配,否则抛弃。

采用较小的ratio可以取得准确率较好的匹配结

果,但也排除了部分正确匹配。同时,该方法没有

考虑重复匹配、多对一匹配及其他误匹配情况,匹

配精度优化空间较大。

2.2.2 重复匹配、多对一匹配问题

计算SIFT关键点方向时,同一关键点可能

有一个主方向、一个或多个辅方向。算法中都将

其归为不同的特征点。这些特征点中的全部或部

分可能产生正确的匹配点,但它们实际上是同一

点,此时就会产生重复匹配现象。SIFT特征集之

间的穷尽搜索匹配还可能产生多对一的匹配。除

了重复匹配和多对一匹配外,难免还可能存在其

他误匹配。

2.2.3 优化策略

对于重复匹配和多对一匹配,可以首先通过

比较匹配点对的像素坐标值和遍历对应点对的索

引值将其全部提取出来。对于其他误匹配,首先

依据几何位置关系,剔除对应点对x、y坐标之差

明显大于其周围相邻点对坐标之差的点对,然后

采用双向匹配算法:基于第一次匹配结果,反过来

求第二个特征集中已被匹配的关键点在第一个特

征集中的匹配,若为同一点则保留,否则去除。经

过上述几步处理,剩下的匹配点对已基本正确。最后,将在去除误匹配点方面取得较大成功的RANSAC算法[7]应用于剩下匹配点对,进一步提

高匹配精确度。

2.2.4 试验

试验中首先采用最近邻/次近邻法及双向匹

配策略得到匹配点对113对,然后依据优化策略

逐步提炼,剔除的误匹配点对见图2(a)中方框所

示。其中,去除重复、多对一匹配点对10对;匹配

点对几何位置关系去除点对13对;此时剩下点对

已基本正确。再进一步利用RANSAC算法去除

点对2对。最终提取正确点对88对,如图2(b)

中加号所示。

图2 试验结果

Fig.2 ResultofExperiment

从图2(a)可以看出,未经过优化匹配的左边

图像左上角及左下角不包含在右边图像中,但却有

匹配点对,这些点对明显为误匹配点。除此之外,

还存在其他一些不明显的误匹配,这些情况在图2

(b)中均进行了去除。通过对每一对匹配点目视检

验及坐标换算,图2(b)中的匹配点对基本正确。

需要说明的是:算法在去除错误点对的同时,难免

会去掉少量正确匹配。试验在不影响匹配精度的

情况下提取出了尽可能多的匹配点对。

3 基于优化SIFT算法的影像配准

基于优化SIFT算法的影像配准流程如图3

所示。首先利用上述优化算法获得匹配点对;然

后将匹配点对作为后续影像配准用同名点对,并

分别构建密集三角网;最后在对应的三角网中,逐

个小面元进行微分纠正[8],以实现影像精确自动

合集下载

一种改进的多源遥感影像SIFT算法匹配策略

郭一洋;宋伟东;戴激光

【摘要】Traditional SIFT algorithm presents the problem of low matching

efficiency in remote sensing image with a lagrge number of similarity

scenes .In order to solve this problem ,this paper improves the matching

strategy of SIFT algorithmthe .The steps include :in the initial matching

stage ,determine the geometric relation model between the images by

matching based on establishing the pyramid images ;then the geometric

relation model is used to conteaint matching for the initial images ;finally

eliminate the mismatching points through RANSAC model .The images

with similarity scene matching experiment results verify that this method

has obvious efficiency advantage and matching precision compared with

the traditional SIFT algorithm .%传统SIFT算法在遥感影像中相似性场景大量存在的情况下呈现出匹配效率低的问题。文中提出对传统SIFT算法匹配策略进行改进，其步骤包括：首先在初匹配阶段，利用建立金字塔影像匹配的方式确定影像间的几何关系模型；其次，利用该几何关系模型对初始影像进行约束匹配；最后利用RANSAC模型剔除误匹配点。通过相似性场景影像匹配实验可以表明，与传统SIFT算法相比，本方法具有明显的匹配效率和精度优势。

基于SIFT的图像配准与拼接算法研究

摘要：随着图像处理技术的发展，在几何变形比较明显的图像拼接过程中，提高图像配准的精度显得尤为重要。传统的基于特征匹配的图像配准算法只能解决简单的图像配准问题，在背景复杂或目标遮挡的情况下，常常无法实现准确的配准。为了解决这一问题，本文提出一种基于SIFT算法的图像配准与拼接方法。

本文首先介绍了SIFT算法的原理及其在图像特征提取中的应用，然后详细阐述了基于SIFT算法的图像配准与拼接过程。通过利用SIFT算法计算出两幅待拼接图像的特征点，并利用RANSAC算法对这些特征点进行匹配，从而求取出两幅图像之间的变换矩阵。在得到变换矩阵之后，通过重采样方法将两幅图像拼接在一起。

为了验证本文所提出方法的有效性，我们采用了多组实验数据进行了验证。实验结果表明，本文提出的基于SIFT算法的图像配准与拼接方法在各种复杂情况下均能够取得较为满意的拼接效果，同时具有较高的配准精度和拼接速度。

关键词：SIFT算法；图像配准；图像拼接；特征点匹配；RANSAC算一、引言

随着数字图像处理技术的快速发展，图像拼接技术在遥感、医疗和娱乐等领域得到广泛应用。图像拼接是将多张具有重叠区域的图像合成一张全景图像的过程，其中最重要的一步就是配准，即通过变换使得不同图像之间的重叠区域对齐。在实际应用中，常常会遇到图像配准的精度要求较高，传统的基于特征匹配的图像配准算法往往难以实现精确的配准，特别是对于存在背景复杂或遮挡的情况下，更难以实现准确的配准。

SIFT算法作为一种局部特征描述子算法，在图像配准与拼接中具有广泛应用。SIFT算法不仅能够有效地提取出图像中的关键点和特征描述子，而且对于光照变化、尺度变化、旋转变化等具有很好的鲁棒性。因此，本文提出了一种基于SIFT算法的图像配准与拼接方法，旨在提高图像配准的精度和图像拼接的效果。

二、SIFT算法原理及其在图像特征提取中的应用

基于SIFT算法的无人机高分影像几何配准研究

魏嘉磊

【摘要】本文基于SIFT算法进行无人机高分影像自动特征点匹配,在实现影像特征点自动匹配的基础上采用二次多项式模型进行影像几何配准,并且重点考察影像配准过程中匹配特征点数目对几何配准精度的影响,最后进行精度评价.结果表明:在影像特征点匹配结果正确、匹配点分布合理的情况下,匹配点数目越多,利用二次多项式进行影像几何配准的精度越高;无人机航向方向影像配准残差大于旁向残差.

【期刊名称】《北京测绘》

【年(卷),期】2019(033)001

【总页数】5页(P49-53)

【关键词】无人机影像;SIFT算法;几何配准

【作者】魏嘉磊

【作者单位】陕西地建土地勘测规划设计院有限责任公司,陕西西安710075

【正文语种】中文

【中图分类】P237

0 引言

近年来,无人机遥感以其实时性好、分辨率高、成本低廉等特点,越来越成为测绘遥感不可或缺的组成部分[1]。无人机遥感在数据采集过程中产生海量影像数据,而只有对不同遥感影像进行精确配准,才能实现后续如影像拼接、影像融合、变化检测等数据处理工作[2],这对遥感影像配准技术提出了更高的要求。传统的遥感影像配准方法是在不同影像上目视选取地面上的同名标志点进行几何配准[3],但是人工确定同名点精度受主观影响较大,容易产生误差,且选取控制点效率很低,因此遥感影像自动配准成为亟待解决的问题。1999年,David lowe等人在总结前人基于不变量技术的特征检测算法基础上,提出了一种基于尺度空间特征不变的自动配准方法SIFT(scale invariant features transform),并于2004年完善[4-5]。许多学者对SIFT算法进行深入研究,结果表明SIFT算法具有尺度不变性、旋转不变性、信息量丰富、可扩展性等优点[6-9]。

本文对SIFT算法进行深入研究,使用matlab编程语言实现影像自动特征点匹配,在特征点匹配的基础上,采用多项式模型进行影像几何配准,同时重点考察影像匹配过程中匹配特征点数目对影像几何配准精度的影响,最后进行精度评价。本文旨在为无人机高分遥感影像自动几何配准研究提供一定的借鉴意义。

分辨率差异较大的遥感图像自动配准算法研究

郎博，刘彦君，桂维振，蒋雯

【摘要】摘要：本文在研究了已有配准算法的基础上，针对两个分辨率差异较大的遥感图像，提出了自动配准的改进方法，自动获取基准影像，并对每个波段的图像做直方图均衡化增强，最后，构建影像金字塔，运用SIFT算法提取特征点。

【期刊名称】影像技术

【年(卷),期】2014(026)004

【总页数】3

【关键词】自动配准；图像特征点；SIFT算法

图像配准是遥感图像镶嵌、图像融合的重要步骤之一，配准的精度对后续图像处理产生重要的影响，而当前遥感图像自动配准的主要困难，在于遥感图像特征点提取的自动化程度不高，而且计算速度较慢。本文提出了运用改进的SIFT算法提取特征点，首先自动获取基准影像，其次，对每个波段的图像做直方图均衡化增强，再构建影像金字塔，并逐波段、逐层运用SIFT算法提取特征点，剔除错误的匹配点，用三次多项式实现精确配准。

1 基本原理

1.1 SIFT特征匹配算法

SIFT特征匹配算法包括两个阶段，第一阶段是SIFT特征的生成；第二阶段是SIFT特征向量的匹配，总共包括4步。

①尺度空间极值检测，主要是为了寻找到尺度空间的极值点，首先将图像进行高斯金字塔分解，然后逐层进行差分，得到DOG金字塔，最后在DOG金字

塔的基础上检测尺度空间的极值点，如图1所示。

②精确定位特征点和确定主方向，由上一步骤找到的极值点是非常粗略的，需要经过进一步检验提高精度。这里，利用三维二次函数拟合精确确定特征点位置和尺度，删除低对比度的点和边缘点，提高特征点的精度，同时匹配稳定性和抗噪声能力也得到了一定程度的增强。

确定了关键点的位置后，利用特征点邻域像素点的梯度方向分布特性来计算特征点的方向。公式如下：

式中一m(二 x, y三)表示在坐标一(x, 三y)位置上像素梯度的模值，一(二x, y三)则表示其梯度的方向，L为所用的尺度。实际计算中，邻域像素点梯度的模值一m 和方向一用直方图来表示（如图2）。

基于SIFT算法的图像配准综述

龙源期刊网

基于SIFT算法的图像配准综述

作者：黄海波李晓玲熊文怡

来源：《软件导刊》2019年第01期

龙源期刊网

摘要：SIFT图像配准是图像处理领域的一项重要技术，在遥感测绘、目标识别、图像及视频检索、导航制导和场景分类等多个领域应用广泛。在对现有SIFT图像配准文献研究的基础上，介绍了经典SIFT算法，将各种SIFT改进方法划分为基于特征点提取的改进和基于图像匹配的改进两类，对各类型的改进方法进行了系统阐述。介绍了点特征图像配准算法性能评价指标，展望了该算法的研究前景。

关键词：SIFT;图像配准;点特征;图像处理龙源期刊网

DOI：10. 11907/rjdk. 182042

中圖分类号：TP301 文献标识码：A 文章编号：1672-7800（2019）001-0001-04

Abstract： Image registration based on SIFT is an important technology in image processing.

This technology has been widely used in many fields such as remote sensing mapping， object

identification， image and video retrieval， navigation guidance and scene classification. With the

study of existing documents of SIFT image registration， the classical SIFT algorithm is introduced

in this paper. And the improved methods of SIFT are divided into two categories： the improvement

SIFT方法在医学图像配准中的应用研究中期报告

一、研究背景

医学图像配准是将不同的医学图像（如MRI、CT、PET等）进行对齐，以实现不同图像之间的对比和分析。医学图像配准技术在疾病诊断、治疗计划、手术导航等方面有重要应用，因此是医学图像处理领域的一个重要研究方向。

SIFT（Scale Invariant Feature Transform）算法是一种比较常用的特征点提取和匹配算法，其具有对旋转、尺度缩放等变换具有不变性的特点，因此在医学图像配准中得到了广泛应用。本研究旨在探究SIFT算法在医学图像配准中的应用效果以及优化方法。

二、研究内容

1. SIFT算法原理

SIFT算法是一种用于特征点提取和匹配的算法。其基本思想是通过寻找局部空间尺度的极值点，并通过尺度不变量检测对其进行描述，从而获取到具有稳定特征的关键点。

SIFT算法包括四个步骤：尺度空间极值检测、关键点的选取、定位关键点的精确位置和方向以及关键点描述。

2. SIFT算法在医学图像配准中的应用

将SIFT算法应用于医学图像配准中，通常需要选取一幅图像作为参考图像，将其他图像映射到参考图像上。具体步骤包括：

(1) 对图像进行预处理，如消除噪声、归一化等。

(2) 提取图像的特征点，并计算它们的描述符。

(3) 对所有图像的特征点进行匹配，并根据匹配结果计算出变换矩阵。

(4) 使用变换矩阵将非参考图像映射到参考图像上。 3. 研究进展及存在问题

目前，在医学图像配准中，SIFT算法已被广泛应用。但是，仍然存在一些问题，例如：

(1) 鲁棒性不足。当医学图像存在大量的旋转、平移、缩放和畸变等变化时，SIFT算法的匹配效果会变差。

(2) 计算复杂度较高。SIFT算法需要计算特征点的描述符，而描述符的计算量较大，会影响算法的运行速度。

(3) 存在误匹配的问题。在医学图像配准中，由于图像之间存在类似的结构和形状，某些特征点会被误匹配。

基于SIFT图像特征匹配的多视角深度图配准算法

一、引言

介绍多视角深度图配准算法的意义及研究现状，阐述SIFT图像特征匹配在图像配准中的重要性。

二、SIFT图像特征提取

介绍SIFT算法的基本原理及其实现方式，包括尺度空间构建、关键点检测、局部特征描述等。

三、基于SIFT的多视角深度图配准

介绍基于SIFT图像特征匹配的多视角深度图配准算法，包括图像对齐、深度图对齐、三维点云生成等步骤。

四、实验与结果分析

通过实验证明算法的有效性和准确性，采用定量和定性分析的方式比较不同方法的优劣，并讨论其应用场景。

五、结论与展望

总结全文工作，归纳出本文的贡献和不足，并展望未来相关研究方向及改进措施。随着计算机视觉和深度学习技术的快速发展，多视角深度图配准成为了一个研究热点。多视角深度图配准是指将来自不同视角的深度图或结构光扫描等信息融合在一起，生成三维模型或场景，以便进行三维重建、机器人导航、虚拟现实等应用。在多视角深度图配准算法中，图像配准是其中一个非常重要的环节之一。快速准确地对于多视角的深度图进行配准就可以产生高质量的三维场景。

目前，对于多视角深度图中的配准问题，已有许多相关研究和算法。这些算法一般采用从应用程序中收集多个图像来进行拍摄的传统摄影的方法。然而，在图像进行配准时存在许多困难，例如光照条件的变化、图像中存在重复的物体、不同视角的误差不同等。因此，开发一种快速准确的图像配准算法仍然是一个具有挑战性的问题。

SIFT算法是一种基于图像特征的配准方法，常常被用来进行特征提取和匹配。它通过对图像进行尺度空间分析，检测出关键点并生成其局部特征描述符，用于图像匹配和目标识别。由于其对于尺度和旋转不变性以及对于干扰性和噪声的抵抗能力，SIFT算法被广泛应用于图像配准的领域。其中，SIFT算法通过关键点的检测和局部描述符的生成，将图像从二维坐标空间转化到高维向量空间中，利用向量空间的距离度量法来计算两幅图像之间的相似度，从而获得图像的配准结果。

一种改进的多源遥感影像SIFT算法匹配策略 2

一种改进的多源遥感影像SIFT算法匹配策略

郭一洋;宋伟东;戴激光

【期刊名称】《测绘工程》

【年(卷),期】2017(026)001