图像匹配之surf算法
surf特征点的匹配过程
surf特征点的匹配过程
Surf特征点的匹配过程包括以下步骤：
1. 提取特征点：通过Surf算法提取两幅图像中的特征点。
Surf算法通过计算图像中的Hessian矩阵的行列式来检测潜在的特征点，然后通过计算特征点的主方向和构建特征描述子。
2. 计算特征描述子：对于每个特征点，Surf算法会将其周围的图像区域划分为若干个子区域，然后提取每个子区域的Haar小波响应。
这些Haar小波响应将组成特征描述子。
通过这种方式，每个特征点都能够具有一个128维的特征描述子。
3. 特征点匹配：通过计算两幅图像中特征点的相似度来进行匹配。
常用的方法是计算两个特征描述子之间的欧氏距离或是余弦相似度。
对于每个特征点，选择在另一幅图像中与其具有最小距离的特征点作为匹配点。
4. 特征点筛选：根据匹配点之间的距离进行筛选，排除一些不太可信的匹配点。
常用的方法是计算匹配点的距离与次近距离之间的比值，如果这个比值小于一个给定的阈值，就将匹配点保留下来。
5. 可选的优化步骤：可以通过使用RANSAC（随机抽样一致性）算法进一步筛选匹配点，消除由于噪声或误识别造成的错误匹配。
RANSAC算法会随机选择一组匹配点，并计算这些匹配点与模型之间的误差，然后根据误差进行筛选，最后得到更准确的匹配结果。
通过以上步骤，Surf特征点的匹配过程可以得到两幅图像中匹配点的对应关系，从而进行图像配准、目标跟踪等应用。
SURF算法分析
2021/10/10
15
标出特征点的图像
2021/10/10
16
二.特征点 匹配
2021/10/10
17
特征点匹配
步骤1. 在检测特征点的过程中，计算了 Hessian 矩阵
的行列式，与此同时，计算得到了 Hessian 矩阵的迹，矩
阵的迹为对角元素之和。
按照亮度的不同，可以将特征点分为两种，第一种为
用stitching算法 进行图像拼接
2021/10/10
1
• 第一部分：用surf算法提 取特征点
• 第二部分：特征点匹配
• 第三部分：构建透视矩阵 完成拼接
• 第四部分 : 图像融合
2021/10/10
2
一.用SURF算法 提取特征点
1.SURF 介绍
SURF (Speeded Up Robust Feature)是一种高鲁棒性的局 部特征点检测器。由Herbert Bay 等人在2006年提出。该算法 可以用于计算机视觉领域例如物体识别或者三维重建。根据 作者描述该算法比SIFT更快更加具有鲁棒性。该算法中采用 积分图像、Haar小波变换和近似的Hessian矩阵运算来提高时 间效率,采用Haar小波变换增加鲁棒性。
给定图像f(x,y)中一个点 (x,y)，其Hessian矩阵H(x,o) 定义如下：
2021/10/10
位置 尺度
快速 Hessian
5
• Lxx(x, ϭ )是高斯二阶微分在点X=(x,y)处与图像I的卷积 。
• Bay指出，高斯函数虽然是最佳的尺度空间分析工具， 但由于在实际应用中总要对高斯函数进行离散化和剪 切处理，从而损失了一些特性（如重复性）。这一因 素为我们用其他工具代替高斯函数对尺度空间的分析 提供了可能，只要误差不大就可以。所以就引入了盒 装滤波器。
图像特征点提取及匹配算法研究论文
图像特征点提取及匹配算法研究论文1.SIFT算法：SIFT（Scale-Invariant Feature Transform）算法是一种经典的图像特征点提取算法。
该算法首先使用高斯滤波器对图像进行多尺度的平滑处理，然后使用差分算子来检测图像中的关键点，最后计算关键点的主方向和描述符。
SIFT算法具有尺度不变性和旋转不变性，对于图像中存在较大尺度和角度变化的情况下仍能提取出稳定的特征点。
2.SURF算法：SURF（Speeded Up Robust Features）算法是一种快速的特征点提取算法，它在SIFT算法的基础上进行了优化。
SURF算法使用Haar小波响应来检测图像中的特征点，并使用积分图像来加速计算过程。
此外，SURF算法还使用了一种基于方向直方图的特征描述方法，能够提取出具有旋转不变性和尺度不变性的特征点。
3.ORB算法：ORB（Oriented FAST and Rotated BRIEF）算法是一种快速的特征点提取和匹配算法。
该算法结合了FAST角点检测算法和BRIEF描述符算法，并对其进行了改进。
ORB算法利用灰度值的转折点来检测图像中的角点，并使用二进制字符串来描述关键点，以提高特征点的匹配速度。
ORB算法具有较快的计算速度和较高的匹配精度，适用于实时应用。
4.BRISK算法：BRISK（Binary Robust Invariant Scalable Keypoints）算法是一种基于二进制描述符的特征点提取和匹配算法。
该算法首先使用田字形格点采样方法检测关键点，然后使用直方图来描述关键点的方向和纹理特征。
最后，BRISK算法使用二进制字符串来表示关键点的描述符，并使用汉明距离来进行特征点的匹配。
BRISK算法具有较快的计算速度和较高的鲁棒性，适用于大规模图像匹配任务。
总结起来，图像特征点提取及匹配算法是计算机视觉领域中的重要研究方向。
本文介绍了一些常用的特征点提取及匹配算法，并对其进行了讨论。
surf算法代码 -回复
surf算法代码-回复什么是Surf算法Surf算法（Speeded Up Robust Features）是一种用于图像特征检测和描述的计算机视觉算法。
它是在2006年由Herbert Bay等人提出的，旨在提高图像处理中的特征点检测与匹配的速度和准确性。
Surf算法在计算机视觉和图像处理领域中得到广泛应用，它的主要目标是在图像中找到稳定且唯一的局部特征点。
Surf算法的步骤1. 尺度空间构建：Surf算法在图像中使用多尺度空间来有效地检测特征点。
它通过不断模糊图像，并计算模糊后的图像与原始图像的差异来构建多尺度空间。
算法使用一个高斯滤波器来进行图像模糊，并通过逐渐增加滤波器的方差来构建不同尺度下的图像。
这样做的目的是使得算法能够在不同尺度下检测到特征点，而不受图像缩放的影响。
2. 关键点检测：在构建好尺度空间后，Surf算法会在每个尺度中检测关键点。
关键点是那些在图像中具有稳定尺度和位置，并且对缩放、旋转和光照变化具有不变性的点。
Surf算法使用Hessian矩阵来检测关键点。
Hessian矩阵是一个用于测量图像局部变化的矩阵，在Surf算法中，它被用来检测图像中的高强度点。
3. 关键点定位：在检测到关键点后，Surf算法会对关键点进行精确定位。
它使用一个Haar 小波响应来定位关键点的位置和方向。
Haar小波是一种多尺度基函数，它能够识别出图像中的边缘和纹理特征。
Surf算法利用Haar小波响应来定位出关键点的具体位置和方向，以便后续的特征描述步骤。
4. 特征描述：在完成关键点定位后，Surf算法会对每个关键点进行描述，以便后续的特征匹配。
Surf算法使用了一种叫做加速权重积分（Fast Hessian）的方法来生成特征描述子。
特征描述子是一个向量，它能够描述关键点周围区域的结构和纹理信息。
Surf算法会通过计算关键点周围区域的灰度变化来生成特征描述子。
5. 特征点匹配：在完成特征描述后，Surf算法会使用一种叫做KD树的数据结构来进行特征点的匹配。
S U R F 算 法
特征点检测学习(surf算法)网上有些文章对surf做了介绍，比如：surf算法原理,有一些简单介绍.对surf的某些细节做了通俗易懂的解释.一、Surf描述子形成步骤1. 构造高斯金字塔尺度空间其实surf构造的金字塔图像与sift有很大不同，就是因为这些不同才加快了其检测的速度。
Sift采用的是DOG图像，而surf采用的是Hessian矩阵行列式近似值图像。
首先来看看图像中某个像素点的Hessian 矩阵，如下：即每一个像素点都可以求出一个Hessian矩阵。
但是由于我们的特征点需要具备尺度无关性，所以在进行Hessian矩阵构造前，需要对其进行高斯滤波。
这样，经过滤波后在进行Hessian的计算，其公式如下：公式中的符号，估计有点数学基础的朋友都能够猜到，这里就不多解释了。
最终我们要的是原图像的一个变换图像，因为我们要在这个变换图像上寻找特征点，然后将其位置反映射到原图中，例如在sift中，我们是在原图的DOG图上寻找特征点的。
那么在surf中，这个变换图是什么呢？从surf的众多资料来看，就是原图每个像素的Hessian矩阵行列式的近似值构成的。
其行列式近似公式如下：由于求Hessian时要先高斯平滑，然后求二阶导数，这在离散的像素点是用模板卷积形成的，这2中操作合在一起用一个模板代替就可以了，比如说y方向上的模板如下：该图的左边即用高斯平滑然后在y方向上求二阶导数的模板，为了加快运算用了近似处理，其处理结果如右图所示，这样就简化了很多。
并且右图可以采用积分图来运算，大大的加快了速度，关于积分图的介绍，可以去查阅相关的资料。
同理，x和y方向的二阶混合偏导模板如下所示：上面讲的这么多只是得到了一张近似hessian行列式图，这例比sift中的DOG图，但是在金字塔图像中分为很多层，每一层叫做一个octave，每一个octave中又有几张尺度不同的图片。
在sift算法中，同一个octave层中的图片尺寸(即大小)相同，但是尺度(即模糊程度)不同，而不同的octave层中的图片尺寸大小也不相同，因为它是由上一层图片降采样得到的。
SURF算法在图像处理中的应用
SURF算法在图像处理中的应用SURF算法是一种被广泛应用于计算机视觉领域的算法，其全称是Speeded Up Robust Features。
它是一种特征提取算法，可以在图像中检测出具有特殊性质的关键点，并生成具有鲁棒性的特征描述子。
这些特征可以用于识别相似的图像，比较相似度，并在图像配准、图像跟踪、三维重建等领域中发挥重要作用。
本文将探讨SURF算法在图像处理中的应用。
一、 SURF算法的原理SURF算法是基于SIFT算法的一种改进，它的主要优势在于速度更快、鲁棒性更强。
下面简单介绍SURF算法的原理。
1. 尺度空间构建SURF算法首先对原始图像进行尺度变换，通过高斯金字塔来构建尺度空间。
尺度空间的不同层次可以检测到不同大小的特征。
通过不同层次检测的关键点可以估计出原始图像中的关键点，这个过程被称为尺度空间极值点检测。
2. 关键点定位在尺度空间中，SURF算法通过Hessian矩阵的行列式求解得到图像局部极值点位置，这些点是具有高强度、对光照变化鲁棒等性质的关键点。
3. 方向确定为了使SURF算法对旋转和光照变化更加鲁棒，需要为每个关键点确定一个主方向，这个方向是在关键点周围采用Hessian矩阵主方向确定的。
4. 特征描述为了描述关键点的局部特征，SURF算法使用了一种统计学上的方法，即将关键点周围的区域分解成小的子区域，每个子区域在水平和竖直方向上计算Haar小波变换，形成特征向量。
这些特征向量组成的特征描述子具有鲁棒性，可以用来评估关键点的稳定性。
5. 特征匹配在进行图像匹配时，SURF算法使用了一种快速的近似最近邻搜索方法，称为快速最近邻搜索（FLANN）。
它可以在大规模的特征库中快速找到与查询特征最相似的特征。
二、 SURF算法可以被广泛应用于图像处理中，下面介绍一些应用领域。
1. 图像配准SURF算法可以被用来匹配两幅图像之间的关键点，通过计算两幅图像中关键点的相似度来实现图像配准。
S U R F 算 法
opencv之SURF算法原理及关键点检测在基础篇里面讲模板匹配的时候已经介绍过，图像匹配主要有基于灰度和基于特征两种方法。
基于特征匹配的方法有很多种如：FAST、HARRIS、SIFT、SURF、SUSAN等。
其中SIFT算法由D.G.Lowe于1999年提出，2004年完善总结。
SIFT是一种鲁棒性好的尺度不变特征描述方法，但SIFT算法计算数据量大、时间复杂度高、算法耗时长。
针对上述缺点许多研究者对SIFT算法做了不同的改进，Yanke等人提出用PCA-SIFT方法对特征描述进行数据降维，但在没有任何先验知识的情况下反而增加了计算量；Delpont等人提出用SVD方法进行特征匹配，但匹配过程计算复杂，且不能用于宽基线匹配；Grabner等人用积分图像虽提高了SIFT的计算速度，但是降低了SIFT方法的优越性。
Herbert Bay等人于2006年提出了SIFT算法的改进算法SURF算法，其性能超过了SIFT算法且能够获得更快的速度。
SURF在光照变化和视角变化不变性方面的性能接近SIFT算法，尤其对图像严重模糊和旋转处理得非常好。
且标准的SURF算子比SIFT算子快好几倍，SURF算法最大的特征在于采用了harr特征以及积分图像的概念，这大大加快了程序的运行速度。
SURF算法和SIFT算法在opencv中是一种很高级的算法，opencv提供了SURF算法的API接口。
需要说明的是SURF和SIFT算法在OpenCV提供的nonfree中，而且在OpenCV3.x后不再集成到OpenCV发行版中，同意存放到opencv_contrib中，需要去opencv github页面手动下载编译。
点击跳转，编译方法网上有很多教-程。
2.Surf原理特征点的提取基于尺度空间理论，我们通过检测图像局部极值点来锁定特征点坐标，即局部的最亮点或最暗点。
2.1构建Hessian矩阵SURF算法检测特征点是基于Hessian矩阵实现的，Hessian矩阵是SURF 算法的核心。
SURF算法
SURF算法⼀、原理：Sift算法的优点是特征稳定，对旋转、尺度变换、亮度保持不变性，对视⾓变换、噪声也有⼀定程度的稳定性；缺点是实时性不⾼，并且对于边缘光滑⽬标的特征点提取能⼒较弱。
Surf（Speeded Up Robust Features）改进了特征的提取和描述⽅式，⽤⼀种更为⾼效的⽅式完成特征的提取和描述。
⼆、Surf实现流程如下：1. 构建Hessian（⿊塞矩阵），⽣成所有的兴趣点，⽤于特征的提取⿊塞矩阵（Hessian Matrix）是⼀个多元函数的⼆阶偏导数构成的⽅阵，描述了函数的局部曲率。
由德国数学家Ludwin Otto Hessian于19世纪提出。
surf构造的⾦字塔图像与sift有很⼤不同，Sift采⽤的是DOG图像，⽽surf采⽤的是Hessian矩阵⾏列式近似值图像。
Hessian矩阵是Surf算法的核⼼，构建Hessian矩阵的⽬的是为了⽣成图像稳定的边缘点（突变点），为下⽂的特征提取做好基础。
每⼀个像素点都可以求出⼀个Hessian矩阵。
Hessian矩阵的判别式为：当Hessian矩阵的判别式取得局部极⼤值时，判定当前点是⽐周围邻域内其他点更亮或更暗的点，由此来定位关键点的位置。
在SURF算法中，图像像素l(x，y)即为函数值f(x，y)。
但是由于我们的特征点需要具备尺度⽆关性，所以在进⾏Hessian矩阵构造前，需要对其进⾏⾼斯滤波，选⽤⼆阶标准⾼斯函数作为滤波器。
H矩阵的三个矩阵元素L_xx, L_xy, L_yy从⽽计算出H矩阵：Surf使⽤了盒式滤波器来近似替代⾼斯滤波器，提⾼运算速度。
盒式滤波器（Boxfilter）对图像的滤波转化成计算图像上不同区域间像素和的加减运算问题，只需要简单⼏次查找积分图就可以完成。
每个像素的Hessian矩阵⾏列式的近似值：2. 构建尺度空间同Sift⼀样，Surf的尺度空间也是由O组L层组成，不同的是，Sift中下⼀组图像的尺⼨是上⼀组的⼀半，同⼀组间图像尺⼨⼀样，但是所使⽤的⾼斯模糊系数逐渐增⼤；⽽在Surf中，不同组间图像的尺⼨都是⼀致的，但不同组间使⽤的盒式滤波器的模板尺⼨逐渐增⼤，同⼀组间不同层间使⽤相同尺⼨的滤波器，但是滤波器的模糊系数逐渐增⼤。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
上面这段文字的大体意思就是说：
SURF意指加速的具有鲁棒性的特征，由Bay在2006年首次提出，这项技术可以应用于计算机视觉的物体识别以及3D重构中。
SURF算子由SIFT算子改进而来，一般来说，标准的SURF算子比SIFT算子快好几倍，并且在多幅图片下具有更好的鲁棒性。
SURF最大的特征在于采用了harr特征以及积分图像integral image的概念，这大大加快了程序的运行时间。
surf提出算法参见http://www.vision.ee.ethz.ch/~surf/papers.html有paper下载地址。
1、提取特征点
2、提取特征描述符
1. 特征点的提取
1）利用Hessian矩阵，计算特征值α
其中Lxx(x, σ)是高斯滤波后图像g(σ)的在x方向的二阶导数,其他的Lyy(x, σ)、Lxy(x, σ)都是g(σ)的二阶导数。
为了减小计算量，原文使用了一个简单的方法，并利用了积分图像的优势（大大的减少计算量），方法其实很简单就是在模糊的基础上将原本的模块近似下。
总所周知，一般计算图像的二阶导时，利用下面的公式
d2f(x)/dx2=(f(x+1)-f(x))-(f(x)-f(x-1))=-2*f(x)+f(x+1)+f(x-1)。
但是f(x)=g(h(x))【h(x)为图像的灰度值，f(x)
是将h(x)高斯滤波处理的灰度函数】
图一模板近似
以9X9滤波器为例，如上图所示，左边两幅图分别为灰度图像在中心点（黑色点）处的二阶导数d2f(x)/dx2和
d2f(x)/dxdy的模板对应的值, 近似后变成右边的两幅图，图中灰色部分像素值为0。
可是这样计算特征值不是也很复杂么？当然，所以作者提供了一种新思路--使用积分图像。
积分图像，顾名思义，即指当前像素点所在位置距原点（0,0）所包围面的所有灰度之和。
绿色的部分为当前像素点，红色为积分区域。
这样计算图像中任意一块矩形区域的灰度之和Sx只需要利用矩形4个顶点(Xi,Yi)(i=1,2,3,4 顺序为从上之下，先左后右)的积分值S（x,y）即可。
Sx=S(X1,Y1)+S(X4,Y4)-S(X2,Y2)-S(X3,Y3)
至此，大家应该知道近似二阶导数的高斯模板并引入积分图像的好处了吧，只需要在函数定义之前计算各个坐标点的积分图像，然后就能方便的求出hessian的特征值。
不过由于函数模板的近似，这里需要修正下特征值α的求解公式：
这里Dxx和Dxy就是根据图一得到的，而Dyy和Dxx类似，只需要导致一下模板即可。
2）根据是否为领域极大值判断特征点
这里要引入图像堆的概念，说简单点，就是一组大小相同的图像，这些图像都是根据不同大小高斯滤波二阶导模板，如图一所示得到的平滑后图像Pi 。
按照模板大小从小到大将Pi沿z轴方向排布，这样中间层的每个像素点的领域就为3X3X3（包括上下两层）。
若该点的特征值α为这27个点中的最大值，那么可以认为该点为Feature points--特征点（图像依据这些特征点的匹配进行更多的操作，比如拼接，比较相似性等等）。
2.特征点的匹配
1）寻找特征向量
欲进行特征点的匹配，必须提取出特征点的特征向量再利用两个向量的相似程度认为两个点是否为两幅图像相互对应的点。
第一步.计算特征点的主方向
以特征点为圆心半径为6像素建立圆领域，计算得出里面有109个像素点。
计算这些点的harr特征harrx 和harry.
那么该怎样计算任意一点的harr特征值？
图二 harr-like特征
选取edge features前两个作为harrx和harry值，这个方向有些类似与梯度方向，不过这里的领域显然更广。
至于计算么，依旧是利用积分图像。
对这109个像素点分别求出各自的向量的方向angle=acrtan(harry/harrx) ，根据最近邻原则将这些angle划分到60，120，...，300，360等6个值上。
划分在同一范围上的像素点分别将他们的harrx和harry相加即可。
不过为了体现相邻像素点的更大影响，还需要考虑高斯权重系数。
这样得到最大的harrx和最大的harry,组成了主方向向量。
第二步.提取特征描述符
图3.选取特征区域
图中红色箭头为上面计算出来的主方向，按上图所示选取该红色特征点的8X8邻域（紫色边框内部）
计算得到4X4个像素块的梯度大小和方向（可以利用上面已经计算的harrx和harry），将8X8区域分割为2X2个区域T1,2,3,4，这样每个区域就包括了4个更小的由4个像素点组成的区域，
harrx和harry就是利用白色部分像素灰度值减去黑色部分像素灰度值即可得到（harrx,harry）方向向量。
这样的向量一共有16个，将这些方向向量的方向角归并到上下左右斜上下8个方向上，并在T1,2,3,4中计算这8个方向的值。
那么这个4X8=32维向量即为所求的特征描述符。
3）特征点的匹配
采用最简单的两向量内积最大值为最匹配的点，设定一阈值，只有当这个最大值大于该阈值方可认为两特征点匹配。
至此，surf算法结束。
博客园/blue-lg/archive/2012/07/17/2385755.html。