数字摄影测量课程实习报告

灰度图像点特征提取

实习内容

本次实习包含了两个主要内容，一是用Moravec算子对一幅图像实现点特征提取的功能，二是利用基于相关系数的影像匹配实现两幅影像的同名点匹配。在此分为两个部分分别进行阐述。

一、Moravec算子提取特征点

1.1 实现原理

在以像素(c,r)为中心的w×w的影像窗口中，计算四个方向相邻像素灰度差的平方和：

其中k = INT(w/2)。取其中最小者作为该像素(c,r)的兴趣值：

IV c,r = min {V1, V2, V3, V4}

给定一经验阈值，将兴趣值大于该阈值的点（即兴趣值计算窗口的中心点）作为候选点。阈值的选择应以候选点中包括所需要的特征点而又不含过多的非特征点为原则。

在一定大小的窗口内（可不同于兴趣值计算窗口，例如5×5像元，7×7像元或9×9像元），将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。

1.2实现流程

1.3 实习成果

在实习中实现特征点提取后，分别对计算兴趣值的窗口尺寸（以下简称为w1），选取极值点的窗口尺寸（以下简称为w2）和经验阈值的数值进行变更，分析其特征点提取效果有什么变化。原始图像如下图1所示。

图1

w1设为7，w2设为9，经验阈值为1000的处理结果如下图2所示，共得到

361个特征点。

图2

接下来分别对w1，w2和经验阈值的数值进行变更，分析其特征点提取效果。

（1）W1增加为11，w2为9，经验阈值为1000,的条件下，提取到620个特

征点，如下图3所示。

图3

（2）W1为7，w2增加为15，经验阈值为1000,的条件下，提取到247个特

征点，如下图4所示。

图4

（3）W1为7，w2为9，经验阈值增加为1500,的条件下，提取到184个特

征点，如下图5所示。

图5

1.4 结果分析

由Moravec算子提取特征点的结果可见，算法能够实现图像的特征点提取，且提取效果较好。

对比图2与图3可知，仅更改w1值的大小，会使图像兴趣值整体增大或减小，进而影响特征点数目。

对比图2与图4可知，仅更改w2值的大小，会改变特征点的密集程度。增大w2，则提取极值点作为特征点的范围更大，特征点分布更加均匀。

对比图2与图5可知，仅更改经验阈值的大小，能够用更高条件对兴趣值进行筛选，得到精度更高的特征点。

二、基于相关系数的影像匹配

2.1 实现原理

在左影像上提取出一定数量的特征点，然后利用相关系数法在右影像上寻找匹配点。

首先确定两幅影像间的偏移量，进而确定对每个特征点在右影像上的搜索区域。对于左影像上的每个特征点，均利用一定大小的窗口对右影像搜索区域进行遍历，选取相关系数值最大且大于设定的阈值的点作为该特征点对应的匹配点。

2.2实现流程

在实习中，共采用三种方法进行匹配。三种方法的区别在于获取偏移量的方

式不同。此处流程图展示的是小组最初完成的匹配方法流程，通过寻找左影像特征点的最大相似度点进而确定偏移量。

由于在反复实验的过程中发现这种方法适用于偏移方向单一的影像，对老师所给的u0367panLeft和u0369panRight这样存在变形的影像对匹配效果较差。因而又不断改进衍生出利用模板匹配获取偏移量法和直接输入偏移量法两种方法。在结果分析中对这三种方法进行比较。

2.3 实习成果

（1）首先用只有水平偏移的两幅影像进行匹配，打开左右影像如下图6所示。

图6

对左影像进行Moravec算子提取特征点操作，在默认条件（W1为7，w2为

9，经验阈值为1000）下，提取到361个特征点，如下图7所示。

图7

对左右影像进行匹配，在默认条件（目标窗口尺寸设为3，搜索窗口高度为6，宽度为8，相关系数阈值设为0.9）下，得到338个匹配点，如下图8所示。结果分析文件the relevant.txt建在匹配图片文件夹下。由于左右两幅影像仅存在

水平偏移（由u0369panRight裁剪得到），相关系数均为1.0，如图9所示。

图8

（2）用具有斜向偏移关系的两幅影像进行匹配。影像打开如下图10所示。

图10

在默认条件下对左右影像进行特征点提取，得到350个特征点，影像匹配后

得到260个匹配点，如下图11所示。

图11

在实习中发现，对于由同一幅图像裁剪得到的水平偏移和斜向偏移的两组影像对，算法同名点匹配的效果都非常好。但是对于偏移程度相对不均匀的影像则效果很差，如老师给出的u0367panLeft和u0369panRight两幅影像，在默认条件下对两幅影像进行特征点提取，得到1812个特征点，同样在默认条件下进行影像匹配，得到369个匹配点，得到的效果如下图12所示。观察可知得到的同名

点几乎是不匹配的。

图12

为了改进匹配的效果，我对匹配算法中计算偏移量的部分进行了一定的修

改。在此次实习中，仅考虑了对左影像提取特征点后对右影像进行匹配的策略，

还有一种方法是对左右影像都提取特征点后对两个特征点集进行匹配，由于时间

有限并未实现。

在实习中用到的匹配算法中原是利用左影像特征点对右影像进行遍历寻找

最佳匹配点，进而确定两幅影像的偏移量。在已知u0367panLeft影像内容包含

在u0369panRight影像内的前提下，我将此部分算法改为将左影像作为一个模板，利用相关系数算法将其整体匹配进右影像内，进而确定偏移量。在默认数值条件下，利用整体影像匹配进行匹配同名点得到628个匹配点，其结果如下图13所示。匹配产生的结果分析文件如下图14所示。

因此我设置了第三种匹配方法：直接输入两幅影像的偏移量进行同名点匹配。由于在实习中所用的偏移量是第二种方法，即影像整体匹配得到的偏移量，所以匹配效果与图13相同，产生的结果分析文件亦与图14相同。

图13

图14

2.4 结果分析

（1）对于寻找最大相似性点获取偏移量法，它只需用左影像特征点对右影像进行遍历，寻找到最大相似性点且大于0.97时即可认为找到最佳匹配点，进而利用其在右影像中的位置确定偏移量。该方法计算量小，速度较快，针对偏移

方向单一的影像效果非常好（在实习中通过裁剪u0369panRight得到水平偏移和斜向偏移的两组影像对）。但是对于偏移方向非单一的影像则匹配效果很差。

（2）对于利用模板匹配获取偏移量法，它以左影像大小为窗口尺寸对右影像进行遍历，寻找最大相关系数以将左影像整体匹配进右影像内容中。这种方法适用于对同名点的偏移方向非单一的影像对进行匹配。其匹配结果对少量细节会产生一定程度的移位，但大体上较为准确。

这种方法虽然匹配效果会变好很多，但是计算量很大，耗时非常久。而且由于时间紧迫，在实习中只实现了针对左影像完全包含在右影像内容内的条件下的匹配，因而虽然效果较好但太不实用。

对于摄影得到的立体像对，其偏移量往往不是单一的一个方向，而是包含了各种误差与形变。个人认为若能够在匹配之前对影像进行几何纠正，则匹配的精度会有进一步提高。

（3）对于直接输入偏移量法，它免去了计算偏移量的步骤，速度会快很多。这种方法要求在进行匹配之前利用软件或别的一些方法量测出两幅影像的偏移量。