SIFT算法详解及应用(讲的很详细)
sift特征点检测算法原理
sift特征点检测算法原理SIFT特征点检测算法原理SIFT（Scale-Invariant Feature Transform）是一种用于在图像中检测和描述局部特征的算法。
它的原理是通过在不同尺度空间中寻找关键点，并计算这些关键点的局部特征描述子，从而实现图像的特征匹配和识别。
1. 尺度空间构建SIFT算法首先通过高斯金字塔构建尺度空间，以便在不同尺度下检测出特征点。
高斯金字塔是通过对原始图像进行多次降采样得到的一系列图像，每个图像都是前一层图像的二分之一。
在每一层图像上应用高斯滤波器，得到一系列平滑图像。
2. 关键点检测在构建好的尺度空间中，SIFT算法使用Difference of Gaussian （DoG）来检测关键点。
DoG是通过对相邻两层平滑图像进行相减得到的，可以有效地检测出图像中的边缘和角点。
在DoG图像中，局部极值点被认为是潜在的关键点。
3. 关键点定位为了准确定位关键点的位置，SIFT算法采用了尺度空间极值点的精确定位方法。
它使用T aylor展开式对DoG图像进行拟合，通过求解极值点的二阶导数来精确定位关键点的位置。
同时，为了排除低对比度的关键点和边缘响应的干扰，SIFT算法会对关键点进行一定的筛选。
4. 方向分配为了使特征描述子具有旋转不变性，SIFT算法对每个关键点分配一个主方向。
它通过计算关键点周围像素的梯度方向直方图，找出主要梯度方向，并将其作为关键点的方向。
这样可以保证特征描述子在旋转变换下具有一定的稳定性。
5. 特征描述在关键点的周围区域内构建特征描述子，用于表示关键点的局部特征。
SIFT算法将关键点周围的图像区域划分为若干个子区域，并在每个子区域内计算梯度方向直方图。
最后将这些直方图连接起来，得到一个具有128维特征向量的特征描述子。
通过以上步骤，SIFT算法可以在图像中检测出大量的关键点，并为每个关键点生成一个128维的特征描述子。
这些特征描述子具有尺度不变性、旋转不变性和光照不变性等特点，可以用于图像匹配、物体识别和三维重建等应用领域。
SIFT算法详解
SIFT算法详解Scale Invariant Feature Transform(SIFT)Just For Funzdd zddmail@对于初学者，从David G.Lowe的论文到实现，有许多鸿沟，本文帮你跨越。
1、SIFT综述尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。
其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。
此算法有其专利，专利拥有者为英属哥伦比亚大学。
局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。
对于光线、噪声、些微视角改变的容忍度也相当高。
基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。
使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。
在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。
SIFT特征的信息量大，适合在海量数据库中快速准确匹配。
SIFT算法的特点有：1. SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；2. 独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；3. 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；4. 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；5. 可扩展性，可以很方便的与其他形式的特征向量进行联合。
SIFT算法可以解决的问题：目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。
图像识别中的SIFT算法实现与优化
图像识别中的SIFT算法实现与优化一、SIFT算法介绍SIFT算法（Scale-Invariant Feature Transform）是一种用于图像对比和匹配的局部特征提取算法，由David Lowe于1999年开发提出并持续改良。
SIFT算法可以检测出具有旋转、缩放、光照变化等不变性的图像特征点，被广泛应用于计算机视觉领域，如图像匹配、图像检索、物体识别等。
SIFT算法主要分为四步：尺度空间极值检测、关键点定位、关键点方向确定和描述子生成。
尺度空间极值检测：SIFT算法通过构建高斯金字塔来检测尺度下的极值点。
在高斯金字塔中，首先对原始图像进行下采样，生成一组不同尺度的图像。
然后在每个尺度上利用高斯差分来检测极值点，满足以下条件的点即为极值点：周围像素点中的最大值或最小值与当前像素点的差值达到一定阈值，而且是在尺度空间上达到极值。
关键点定位：对于极值点的定位，SIFT算法采用了一种基于拟合精细的方法来定位真实的关键点。
SIFT算法通过在尺度空间中计算极值点的DoG（高斯差分）的Hessian矩阵，来估计关键点的尺度和位置。
如果Hessian矩阵的行列式和迹符号都满足一定的条件，则认为该点为关键点。
关键点方向确定：在确定关键点的位置和尺度之后，SIFT算法还需要确定关键点的主方向。
该方向是通过计算关键点周围像素点的梯度方向和大小，并在组合后的梯度图像上寻找最大梯度方向得到的。
这个方向是在许多方向中确定的，而描述符是相对于主方向定义的。
描述子生成：最后，SIFT算法采用一个高维向量来描述关键点，并且具有不变性。
该向量的计算是在相对于关键点的周围图像区域内，采集图像梯度方向的统计信息来完成的。
描述符向量包含了关键点的位置、主方向，以及相对于主方向的相对性质。
二、SIFT算法优化思路尽管SIFT算法已经被广泛使用，但是由于算法复杂度和内存消耗等问题，使得在大数据和实时应用场景下，SIFT算法的运行速度和效果表现都有巨大限制。
sift算法详解
2、高斯模糊
SIFT 算法是在不同的尺度空间上查找关键点，而尺度空间的获取需要使用高斯模糊来 实现，Lindeberg 等人已证明高斯卷积核是实现尺度变换的唯一变换核，并且是唯一的线性 核。本节先介绍高斯模糊算法。
2.1 二维高斯函数
高斯模糊是一种图像滤波器，它使用正态分布(高斯函数)计算模糊模板，并使用该模板 与原图像做卷积运算，达到模糊图像的目的。 N 维空间正态分布方程为：
G (r ) =
1 2πσ
2
N
e −r
2
/(2 σ 2 )
（1-1）
其中， σ 是正态分布的标准差， σ 值越大，图像越模糊(平滑)。r 为模糊半径，模糊半 径是指模板元素到模板中心的距离。如二维模板大小为 m*n，则模板上的元素(x,y)对应的高 斯计算公式为：
G ( x, y ) =
1
2πσ 2
3.1 尺度空间理论
尺度空间(scale space)思想最早是由 Iijima 于 1962 年提出的，后经 witkin 和 Koenderink 等人的推广逐渐得到关注，在计算机视觉领域使用广泛。 尺度空间理论的基本思想是： 在图像信息处理模型中引入一个被视为尺度的参数， 通过 连续变化尺度参数获得多尺度下的尺度空间表示序列， 对这些序列进行尺度空间主轮廓的提 取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。 尺度空间方法将传统的单尺度图像信息处理技术纳入尺度不断变化的动态分析框架中， 更容易获取图像的本质特征。 尺度空间中各尺度图像的模糊程度逐渐变大， 能够模拟人在距 离目标由近到远时目标在视网膜上的形成过程。 尺度空间满足视觉不变性。该不变性的视觉解释如下：当我们用眼睛观察物体时，一方 面当物体所处背景的光照条件变化时， 视网膜感知图像的亮度水平和对比度是不同的， 因此 要求尺度空间算子对图像的分析不受图像的灰度水平和对比度变化的影响， 即满足灰度不变 性和对比度不变性。另一方面，相对于某一固定坐标系，当观察者和物体之间的相对位置变 化时，视网膜所感知的图像的位置、大小、角度和形状是不同的，因此要求尺度空间算子对 图像的分析和图像的位置、 大小、 角度以及仿射变换无关， 即满足平移不变性、 尺度不变性、 欧几里德不变性以及仿射不变性。
SIFT算法详解及应用(课件)
• 高斯模糊具有线性可分的性质，也可以在二维图像上对两个独立的一 维空间分别进行计算。这样可以大大减少了运算的次数。
• 对一幅图像进行多次连续高斯模糊的效果与一次更大的高斯模糊可以 产生同样的效果，大的高斯模糊的半径是所用多个高斯模糊半径平方 和的平方根。例如，使用半径分别为 6 和 8 的两次高斯模糊变换得 到的效果等同于一次半径为 10 的高斯模糊效果， 62 82 10 根据这个关系，使用多个连续较小的高斯模糊处理不会比单个高斯较 大处理时间要少。
SIFT
Scale Invariant Feature Transform
Octave 5 Octave 4 Octave 3
…
8
…
4
…
2
…
Octave 2
…
Octave 1
2013/7/11
17
关键点检测的相关概念
• 高斯图像金字塔共o组、s层， 则有：
SIFT
Scale Invariant Feature Transform
SIFT
Scale Invariant Feature Transform
0.00002292 0.00078633 0.00655965 0.01330373 0.00655965 0.00078633 0.00002292
0.00000067 0.00002292 0.00019117 0.00038771 0.00019117 0.00002292 0.00000067
高斯函数
( x xi )2 ( y yi )2 G xi , yi , exp 2 2 2 2 1
L x, y, G x, y, * I x, y
SIFT算法详解及应用
SIFT算法详解及应用SIFT（Scale-Invariant Feature Transform）是一种在计算机视觉中常用的特征点提取算法，由David Lowe在1999年提出，并在2004年的论文中进行了详细阐述。
SIFT算法可以在不同尺度和旋转下保持图像的特征点不变性，因此在图像拼接、目标识别、图像匹配等领域具有广泛的应用。
1.尺度空间构建：SIFT算法使用高斯差分函数来检测不同尺度下的特征点。
通过在图像中采用不同尺度的高斯滤波，构建尺度空间，从而检测到不同尺度的图像特征。
2.关键点提取：在构建的尺度空间中，SIFT算法通过在每个像素点检测局部极值点来获取关键点。
具体的做法是对每个像素点在尺度空间上进行比较，找出该点与它相邻像素点和尺度上的极值，从而得到关键点。
3. 关键点定位：在关键点提取后，SIFT算法通过利用二阶偏导数的Hessian矩阵来对关键点进行进一步定位。
Hessian矩阵可以描述图像对灰度变化的响应，通过计算关键点周围像素点的Hessian矩阵，可以对关键点进行精确定位。
4.方向分配：在关键点定位后，SIFT算法为每个关键点分配一个主导方向。
通过对关键点周围的图像梯度进行统计，找到梯度方向分布最大的方向作为主导方向，以此来保证关键点对旋转具有不变性。
5.特征描述：在分配了主导方向后，SIFT算法使用局部图像梯度的方向直方图来描述关键点的局部特征。
将关键点周围的16x16邻域划分为4x4的小格子，计算每个小格子内的梯度方向直方图，最终得到一个128维的特征向量来表示关键点的局部特征。
1.尺度不变性：SIFT算法通过在不同尺度下检测特征点，使得算法对于图像缩放具有不变性。
这一特性使得SIFT在目标识别和图像匹配等领域具有广泛应用，可以应对不同尺寸的目标和场景。
2.旋转不变性：SIFT算法通过为每个关键点分配主导方向，使得算法对于图像旋转具有不变性。
这一特性使得SIFT在图像拼接和图像匹配中能够应对图像的旋转变换。
sift特征提取原理
sift特征提取原理
SIFT（Scale-Invariant Feature Transform）特征提取算法是一种在计算机视觉中常用的特征提取方法。
它能够在图像中提取出具有尺度不变性、旋转不变性和光照不变性的特征点。
SIFT特征提取的主要步骤如下：
1. 尺度空间极值点检测：通过高斯差分金字塔的方法，检测图像在不同尺度上的极值点，找到图像中的关键点。
2. 关键点定位：对尺度空间极值点进行精确定位，使用尺度空间的极值点和周围像素的梯度信息，计算关键点的位置和尺度。
3. 方向分配：为每个关键点分配一个主方向，使得关键点具有旋转不变性。
通过计算关键点周围的梯度方向直方图来确定主方向。
4. 关键点描述：使用关键点周围的局部图像块，根据主方向将关键点附近的图像数据进行归一化处理，并得到一个128维的描述子。
5. 特征点匹配：通过计算两幅图像中的特征点的相似度，进行特征点的匹配，从而找到两幅图像的对应点。
SIFT特征提取的原理主要基于尺度空间和梯度信息。
通过多
尺度的高斯模糊操作，可以提取出图像中不同尺度下的特征点，使得算法对于目标物体的尺度变化具有不变性。
而通过计算图
像的梯度信息，可以得到图像中的边缘信息，进一步提取出具有边缘特征的关键点。
同时，SIFT算法还利用图像的局部特征来描述关键点，使得算法对于图像的旋转和光照变化也具有一定的不变性。
总而言之，SIFT特征提取算法是一种基于尺度空间和梯度信息的特征提取方法，能够提取出具有尺度不变性、旋转不变性和光照不变性的特征点，对于图像匹配、物体识别等计算机视觉任务具有广泛应用。
SIFT特征匹配算法介绍
SIFT特征匹配算法介绍1.图像尺度空间在了解图像特征匹配前，需要清楚，两张照片之所以能匹配得上，是因为其特征点的相似度较高。
而寻找图像特征点，我们要先知道一个概念，就是“图像尺度空间”。
平时生活中，用人眼去看一张照片时，随着观测距离的增加，图像会逐渐变得模糊。
那么计算机在“看”一张照片时，会从不同的“尺度”去观测照片，尺度越大，图像越模糊。
那么这里的“尺度”就是二维高斯函数当中的σ值，一张照片与二维高斯函数卷积后得到很多张不同σ值的高斯图像，这就好比你用人眼从不同距离去观测那张照片。
所有不同尺度下的图像，构成单个原始图像的尺度空间。
“图像尺度空间表达”就是图像在所有尺度下的描述。
尺度是自然客观存在的，不是主观创造的。
高斯卷积只是表现尺度空间的一种形式。
2.“尺度空间表达”与“金字塔多分辨率表达”尺度空间表达——高斯卷积高斯核是唯一可以产生多尺度空间的核。
在低通滤波中，高斯平滑滤波无论是时域还是频域都十分有效。
我们都知道，高斯函数具有五个重要性质：（1）二维高斯具有旋转对称性；（2）高斯函数是单值函数；（3）高斯函数的傅立叶变换频谱是单瓣的；（4）高斯滤波器宽度(决定着平滑程度)是由参数σ表征的，而且σ和平滑程度的关系是非常简单的；（5）二维高斯滤波的计算量随滤波模板宽度成线性增长而不是成平方增长。
一个图像的尺度空间L(x,y,σ) ,定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,σ)卷积运算。
二维空间高斯函数表达式：图像的尺度空间就是：二维高斯函数与原始图像卷积运算后的结果，尺度空间的表达式：左图是二维高斯函数在数学坐标系下的图像。
右图是高斯函数对应的高斯核。
高斯核是圆对称的，在图片像素中展现出来的是一个正方形，其大小由高斯模板确定。
卷积的结果使原始像素值有最大的权重，距离中心越远的相邻像素值权重也越小。
那么，为什么要提到高斯模糊与“尺度空间表达”，它们有什么关系呢？“尺度空间表达”指的是不同高斯核所平滑后的图片的不同表达，意思就是：原始照片的分辨率，和经过不同高斯核平滑后的照片的分辨率是一样的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SIFT简介
SIFT
Scale Invariant Feature Transform
Original image courtesy of David Lowe
将一幅图像映射（变换）为一个局部特征向量集；特征向量具有 平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定 不变性。
2012/3/27 5
这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、 边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物， 那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配 点。 所谓关键点，就是在不同尺度空间的图像下检测出的具有方向 信息的局部极值点。 根据归纳，我们可以看出特征点具有的三个特征： 尺度 方向 大小
适应能力较差，急需提出一种鲁棒性强、能够适应不同 光照、不同位姿等情况下能够有效识别目标的方法。
2012/3/27
3
SIFT简介
SIFT提出的目的和意义
SIFT
Scale Invariant Feature Transform
David G. Lowe Computer Science Department 2366 Main Mall University of British Columbia Vancouver, B.C., V6T 1Z4, Canada E-mail: lowe@cs.ubc.ca
2012/3/27
12
关键点检测的相关概念 关键点检测
3. 高斯模糊
SIFT
Scale Invariant Feature Transform
高斯模糊是在Adobe Photoshop等图像处理软件中广泛使用的处理 效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成 的图像的视觉效果是好像经过一个半透明的屏幕观察图像。
•
1999年British Columbia大学大卫.劳伊（David G.Lowe）教授总结了现有 的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对 图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－ SIFT
（尺度不变特征变换），这种算法在2004年被加以完善。
2012/3/27 4
Octave 5 Octave 4 Octave 3
…
( s) 0 2
s
S
8
…
4
…
σ——尺度空间坐标； s——sub-level层坐标； σ0——初始尺度； S——每组层数（一般为3~5）。
2
…
Octave 2
…
Octave 1
2012/3/27
18
关键点检测的相关概念
• 高斯金字塔的初始尺度
2012/3/27
16
关键点检测的相关概念 关键点检测
4. 高斯金字塔
• 高斯金子塔的构建过程可分为 两步： （1）对图像做高斯平滑； （2）对图像做降采样。
为了让尺度体现其连续性，在简单 下采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave） 图像，一组图像包括几层 （interval）图像。
• 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。
• 经过优化的SIFT算法可满足一定的速度需求。
• 可扩展性，可以很方便的与其他形式的特征向量进行联合。
2012/3/27
6
SIFT简介
SIFT算法可以解决的问题
SIFT
Scale Invariant Feature Transform
•
2012/3/27
噪声
Back
7
SIFT算法实现细节
SIFT算法实现步骤简述
SIFT
Scale Invariant Feature Transform
SIFT算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题。
原图像 特征点 检测 特征点 描述 目标的特 征点集 特征点匹 配 特征点 描述 目标的特 征点集 匹配点矫 正
2012/3/27
14
关键点检测 关键点检测的相关概念
高斯模板大小的选择
高斯模板
0.00000067 0.00002292 0.00019117 0.00038771 0.00019117 0.00002292 0.00000067 0.00002292 0.00078633 0.00655965 0.01330373 0.00655965 0.00078633 0.00002292 0.00019117 0.00655965 0.05472157 0.11098164 0.05472157 0.00655965 0.00019117 0.00038771 0.01330373 0.11098164 0.22508352 0.11098164 0.01330373 0.00038771 0.00019117 0.00655965 0.05472157 0.11098164 0.05472157 0.00655965 0.00019117
2012/3/27
13
关键点检测 关键点检测的相关概念
r2 G r exp 2 2 2 2 1
r为模糊半径， r= x y
2 2
SIFT
Scale Invariant Feature Transform
在减小图像尺寸的场合经常使用高斯模糊。在进行欠采样的时， 通常在采样之前对图像进行低通滤波处理。这样就可以保证在采样 图像中不会出现虚假的高频信息。
2012/3/27
10
关键点检测的相关概念 关键点检测的
2. 什么是尺度空间（scale space ）？
SIFT
Scale Invariant Feature Transform
我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的 物体也总是通过不同尺度的观察而得到不同的变化。 尺度空间理论最早在1962年提出，其主要思想是通过对原始图像进 行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行 尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、 角点检测和不同分辨率上的特征提取等。
• 在实际应用中，在计算高斯函数的离散近似时，在大概3σ距离之外 的像素都可以看作不起作用，这些像素的计算也就可以忽略。 • 通常，图像处理程序只需要计算 (6 1) (6 1)
2012/3/27
15
关键点检测 关键点检测的相关概念
高斯模糊的性质
• 高斯模糊具有圆对称性。
SIFT
Scale Invariant Feature Transform
SIFT简介
SIFT算法特点
SIFT
Scale Invariant Feature Transform
• SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化 保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳
定性。
• 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征 数据库中进行快速、准确的匹配。
SIFT
Scale Invariant Feature Transform
0.00002292 0.00078633 0.00655965 0.01330373 0.00655965 0.00078633 0.00002292
0.00000067 0.00002292 0.00019117 0.00038771 0.00019117 0.00002292 0.00000067
SIFT算法实现步骤
SIFT
Scale Invariant Feature Transform
1.
关键点检测
2. 3. 4.
关键点描述 关键点匹配 消除错配点
2012/3/27
9
关键点检测的相关概念
SIFT
Scale Invariant Feature Transform
1. 哪些点是SIFT中要查找的关键点（特征点）？
SIFT
Scale Invariant Feature Transform
Octave 5 Octave 4 Octave 3
…
8
…
4
…
2…
Octave 1
2012/3/27
17
关键点检测的相关概念
• 高斯图像金字塔共o组、s层， 则有：
SIFT
Scale Invariant Feature Transform
SIFT
目标图像
特征点 检测
SIFT
SIFT算法实现物体识别主要有三大工序，1、提取关键点；2、对关键点附加
详细的信息（局部特征）也就是所谓的描述器；3、通过两方特征点（附带 上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，也就建立
2012/3/27 了景物间的对应关系。 8
SIFT算法实现细节
高斯函数
( x xi )2 ( y yi )2 G xi , yi , exp 2 2 2 2 1
L x, y , G x, y , * I x, y
尺度是自然存在的，不是人为创造的！高斯卷 积只是表现尺度空间的一种形式…
2
…
Octave 2
init ——第0层尺度 pre ——被相机镜头模糊后的尺度
• 高斯金字塔的组数
O log 2 min M , N 3
…
Octave 1
M、N分别为图像的行数和列数
2012/3/27 19
关键点检测的相关概念
• 高斯金字塔的组内尺度与组间尺度
目标的自身状态、场景所处的环境和成像器材的成像特性等因 素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决：