基于尺度不变特征变换的图像匹配1

通过以上步骤，已经得到了每个特征点的位臵、尺度、 方向。然后需要为每个特征点建立一个描述符，使其不随 各种变化而变化，比如光线变化、视角变化等。并且特征 点描述符要尽量与众不同，以便于特征点间的匹配。
生成SIFT特征向量
以关键点为中心取8×8的窗口。 图5-4左部分的中央黑点为当 前关键点的位臵，每个小格代 表关键点邻域所在尺度空间的 一个像素，箭头方向代表该像 素的梯度方向，箭头长度代表 梯度模值，图中蓝色的圈代表 高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。 然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个 梯度方向的累加值，即可形成一个种子点，如图右，一个关键点 由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种 邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于 含有定位误差的特征匹配也提供了较好的容错性。每一组梯度方向直方图占据的图像宽
同的亮度属性、不同的位臵（平移和旋转）、不同 的比例尺、不同的非线性变形的图像对应起来。
尺度不变特征算法的提出
David G.Lowe在1999年所发表，2004年总结 了现有的基于不变量技术的特征检测方法，并 正式提出了一种基于尺度空间的、对图像缩放、 旋转甚至仿射变换保持不变性的图像局部特征 描述算子—尺度不变特征变换（SIFT算法）。
a... 这里k = pow( 2.0, 1.0 / intvls ，其中intvls就是你 想做几层高斯金字塔，一 般intvls>=3
高斯金字塔与高斯差分金字塔
尺度空间极值检测
寻找范围：差分金字塔中的第0 层和最上面的一层排除 中间的差分图像中，像素的横坐 标或者纵坐标中任一个值与图像 边界值之间的差值小于5的点排除。 为了检测到DOG空间的最大 值和最小值，DOG尺度空间中的 中间层(最底层和最顶层除外)的 每个像素点需要跟同一层的相邻8个像素点以及它上一层 和下一层的9个相邻像素点总共26个相邻像素点进行比较， 以确保在尺度空间和二维图像空间都检测到局部极值。初 步确定关键点位臵和所在尺度。
图像尺度空间
尺度空间理论是通过对原始图像进行尺度变 换, 获得图像多尺度下的尺度空间表示序列, 对 这些序列进行尺度空间主轮廓的提取, 并以该主 轮廓作为一种特征向量,提取的特征点可能是角点、 边缘点、暗区域的亮点以及亮区域的暗点等
高斯卷积核是实现尺度变换的唯一线性核
尺度空间的生成：
Koendetink证明高斯卷积核是实现尺度变换的唯一变换核，而 Lindeberg等人则进一步证明高斯核是唯一的线性核。二维高斯 函数定义如下： 1 ( x 2 y 2 ) G ( x, y , ) e / 2 2 σ代表了高斯正态分布的方差。 2 2 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯 L( x, y, ) G( x, y, ) I ( x, y) 核卷积得到： 式中，(x,y)代表图像的像素位臵，σ称为尺度空间因子，其值 越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺 度对应于图像的概貌特征，小尺度对应于图像的细节特征。L代 表了图像的尺度空间。 高斯尺度空间是一种模拟人眼视觉机理的理想数学模型。
SIFT特征向量的匹配
当两幅图像的SIFT特征向量生成后，采用关键点 特征向量的欧式距离来作为两幅图像中关键点的相似 性判定度量。取图像1中的某个关键点，并找出其与图 像2中欧式距离最近的前两个关键点，在这两个关键点 中，如果最近的距离除以次近的距离少于某个比例阈 值，则接受这一对匹配点。降低这个比例阈值，SIFT 匹配点数目会减少，但更加稳定。
度hist_width = 1.5 * scl_octv 描述字计算所需要的图像宽度 radius = hist_width * sqrt(2) * ( d + 1.0 ) * 0.5 + 0.5
生成SIFT特征向量
实际计算过程中，为了增强匹配的稳健性，Lowe建 议对每个关键点使用4×4共16个种子点来描述。首先将坐 标轴旋转为特征点的方向，以保证旋转不变性；对任意一 个特征点，在其所在的尺度空间(即高斯金字塔结构的某 一层)，取以特征点为中心的16 × 16像素大小的邻域，再 将此邻域均匀地分为4 × 4个子区域(每个子区域大小为4 像素×4像素)，对每个子区域计算梯度方向直方图(直方图 均匀分为8个方向)。然后，对4 × 4个子区域的8方向梯度 直方图根据位臵依次排序，这样就构成了一个 4×4×8=128维的向量，即为SIFT特征向量，此时SIFT特 征向量已经去除了尺度变化、旋转等几何变形因素的影响， 再继续将特征向量的长度归一化，则可以进一步去除光照 变化的影响。
T r(H)2 ( ) 2 ( 1)2 Det(H)
对于边缘，由于在两个主方向的方向导数差别 较大，(λ+1)2／λ的值将会较大，因此对于不满足 （lows论文中λ=10） 即可认为该点在边缘上，此时应特征点过滤和位臵确定
由于DOG值对噪声和边缘较敏感，因此，在上面DOG尺度中 检测到局部极值点还要经过进一步的处理，将候选特征点中低 对比度对噪声敏感的候选特征点或位于边缘的候选特征点过滤 掉。然后才能确定稳定特征点的位臵和尺度等信息。 得到候选的特征点后，需要利用其周围的数据对特征点进 行精确的定位。SIFT特征是通过拟和三维二次函数来精确确 定特征点的位臵和尺度的.
H DXY DYY
式中DXX、DXY、DYY均为二阶方向导数，设矩阵H的特 征值为α、β(α>β)，则有：
Tr(H) DXX DYY Det(H) DXX DYY - (DXY )2
精确确定关键点的位臵和尺度
其中Tr(H)为矩阵的迹，Det(H)为矩阵行列式值， 设α=λβ，则有：
SIFT特征向量特性
۞SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化 保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳 定； ۞独特性好，信息量丰富，适用于在海量特征数据库中进行快速、 准确的匹配。 ۞多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 ۞高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 可扩展性，可以很方便的与其他形式的特征向量进行联合。
SIFT特征匹配算法步骤
SIFT特征匹配算法包括两个阶段:第一阶段是SIFT特征的生 成，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度 变化无关的特征向量；第二阶段是SIFT特征向量的匹配。 一幅图像SIFT特征向量的生成算法总共包括4步： (1)尺度空间极值检测，以初步确定关键点位臵和所在尺度。 (2)通过拟和三维二次函数以精确确定关键点的位臵和尺度， 同时去除低对比度的关键点和不稳定的边缘响应点。 (3)利用关键点邻域像素的梯度方向分布特性为每个关键点指 定方向参数，使算子具备旋转不变性。 (4)生成SIFT特征向量。
SIFT变换思想
SIFT算法首先在尺度空间进行特征检测，并确定关键点 (Keypoints)的位臵和关键点所处的尺度，然后使用关键点邻 域梯度的主方向作为该点的方向特征，以实现算子对尺度和 方向的无关性。为了有效的在尺度空间检测到稳定的关键点， 提出了高斯差分尺度空间（DOG scale-space）。利用不同尺 度的高斯差分核与图像卷积生成。 D( x, y, ) (G( x, y, k ) G( x, y, )) I ( x, y) L( x, y, k ) L( x, y, ) DOG算子计算简单，是尺度归一化的LoG算子的近似。
建立DOG尺度空间
SIFT方法是通过寻找尺度空间中的极值来确定特征点， 首先必须来构建图像的高斯差分(DOG)金字塔尺度空间，然 后在DOG金字塔尺度空间中进行极值检测。 DOG差分尺度空间由不同尺度的高斯差分核与图像卷积生 成： k为常数
D( x, y, ) (G( x, y, k ) G( x, y, )) I ( x, y) L( x, y, k ) L( x, y, )
SIFT变换思想
Lowe在图像二维平面空间和DoG(Difference -ofGaussian)尺度空间中同时检测局部极值以作为特征 点，以使特征具备良好的独特性和稳定性。对于图像 上的点，计算其在每一尺度下DoG算子的响应值，这 些值连起来得到特征尺度轨迹曲线。特征尺度曲线的 局部极值点即为该特征的尺度。尺度轨迹曲线上完全 可能存在多个局部极值点，这时可认为该点有多个特 征尺度。
(a)原始影像 (c)用对比度限制
(b) 在DoG检测的初始关键点 (d)用对比度和边缘响应去除
为每个关键点指定方向参数
在DOG尺度空间检测到的局部极值点在经过精确化点 的位臵、剔除低对比度的点、消除边缘响应后所保留的点 被称为关键点(Keypoint)，此时的关键点信息包括位臵信息 及尺度信息。 SIFT算法以关键点邻域图元点的梯度方向分布特性作 为指定方向参数，使算子具备旋转不变性。在实际计算时， 以关键点为中心的邻域窗口采样，计算每个像素点的梯度 向量，计算公式如下：
基于尺度不变特征变换的图像匹配
特征匹配 尺度不变特征变换（SIFT） 基于SIFT的图像匹配 匹配算法实验结果与分析
特征匹配
特征匹配是指通过分别提取两个或多个图像的 特征（点、线、面等特征），对特征进行参数描述， 然后运用所描述的参数来进行匹配的一种算法。 与基于灰度的匹配方法相比，特征相对于几何 图象和辐射度影响来说更不易变化，但特征提取方 法的计算代价通常较大。 图像匹配的核心问题：将不同的分辨率、不
确定特征点主方向
在实际计算过程中，在以特征点为中心的邻域 窗口内采样，并用梯度方向直方图统计邻域像素的 梯度方向。梯度直方图的范围是0一360，其中每10 为一柱，总共36柱。梯度方向直方图的峰值则代表 了该特征点处邻域梯度的主方向，即作为该特征点 的方向。一个关键点可能会被指定具有多个方向。
生成SIFT特征向量
X
2 D -1 D X X 2 X