一种快速实用的特征点匹配算法
第３０卷ｙ０１．３０第９期
脑９
计算机工程
ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ
２００４年５月
Ｍａｙ２００４
?博士论文?文章编号ｌＩｏｏ¨＿３４２８（２００４）０９—００３ｌ—０３文献标识码ｌＡ中圈分类号ｔＴＰ３９１一种快速实用的特征点匹配算法
胡啊吴，任四武，杨静字
（南京理工大学计算机科学与工程系国家重点学科模式识别与图像处理教研室，南京２１００９４）
摘要：该文提出的方法，使用ｒ基于投影的粗筛选和候选点的策略，使用基于距离约束对匹配点对进行校正和消除错误匹配，提高了计算速度和可靠性。实验结果证明，提出的方法具有较大的实用性。
关健诃：特征点匹配；图象配准；序列图象；特征点提取
ＡＦａｓｔＰｒａｃｔｉｃａｌＭｅｔｈｏｄｆｏｒＣｏｎｓｏｌｅＰｏｉｎｔＭａｔｃｈｉｎＲ
ＨＵＭｉｎｇｈａｏ，ＲＥＮＭｉｎｇｗｕ，ＹＡＮＧＪｉｎｇｙｕ
（ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅＤｅｐａｒｔｍｅｎｔ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇ≯，Ｎａｌ！ｉｉｎｇ２１００９４）
【Ａｂｓｔｒａｃｔ］ｒ｜ｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｅｗｓｔａｂｌｅｍｅｔｈｏｄｌｂｒｃｏｎｓｏｌｅｐｏｉｎｔｍａｔｃｈｉｎｇ．ｗｈｉｃｈｃａｎｂｅｕｓｅｄｉｎｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｉｎｄｅｒｓｈｉｆｔａｎｄＩ．ｏｔａｔｉｏｎ．ＴｈｅｎｅｗｍｅｔｈｏｄｆｉｒｓｔｌｙｅｘｔｒａｃｔｓｃｏｎｓｏｌｅｐｏｉｎｔｓｉｎｔｈｅｆｉｒｓｔｉｍａｇｅｏｆａｎｉｍａｇｅｓｅｑｕｅｎｃｅａｎｄｔｈｅｎｓｅａｒｃｈｅｓｍａｔｃｈｉｎｇｐｏｉｎｔｓｉｎｔｈｅＣｏｎｓｅｃｕｔｉｖｅｉｍａｇｅｓ．Ｄｉｆｆｅｒｅｎｔｔｏｃｏｎｖｅｎｔｉｏｎａｌｍｅｔｈｏｄｓ，ｉｔａｄｏｐｔｓｐｒｏｊｅｃｔｉｏｎｏｆｐｉｘｅｌｔｏｆｉｌｔｅｒｃｏｎｓｏｌｅｐｏｉｎｔｓａｎｄｃｈｏｏｓｅｍａｎｙｐｏｓｓｉｂｌｅｍａｔｃｈｉｎｇｐｏｉｎｔｆｂｒｏｎｅｒｅｆｅｒｅｎｃｅｃｏｎｓｏｌｅｐｏｉｎｔ．ａｎｄａｄｏｐｔｓｃｏｎｓｔｒａｉｎｏｆｄｉｓｔａｎｃｅｔｏｒｅｖｉｓｅｍａｔｃｈｉｎｇａｎｄｒｅｍｏｖｉｎｇｆａｌｓｅｍａｔｃｈｉｎｇ．ＴｈｅｓｅｍａｋｅｉｔｌａｓｔａｎｄＩ＿ｅｌｉａｂｌｅ．Ｅｘｐｅｒｉｍｅｎｔｓｐｒｏｖｅｔｈｉｓｍｅｔｈｏｄｉｓｐｒａｃｔｉｃａｌ
ａｎｄｌ－ｅｌｉａｂｌｅ．
【ＫｅｙｗｏｒｄｓｌＣｏｎｓｏｌｅｐｏｉｎｔｒｎａｔｃｈｉｎｇ；ｌｉｎａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；Ｓｅｑｕｅｎｃｅｉｍａｇｅ；Ｃｏｎｓｏｌｅｐｏｉｎｔｅｘｔｒａｃｔｉｏｎ
在不同的应用场合存在多种不同的配准方法，比如当两个图像之间只有平移变化时，计算出它们的平移量即可实现配准；当两帧图像之间除平移变化外，还有旋转或比例变化时，常使用特征点匹配技术，所谓特征点匹配就是在一帧图像中寻找具有不变性质的结构—特征点，例如，灰度局部极大值、局部边缘、角等，与另一帧图像中的同类特征点作匹配，从而求得该两帧图像之间的变换关系。从现实的观点看，在全部特征点中，只有部分能得到正确的匹配，这是因为特征点寻找算法并非完美无缺，而且往往存在因为遮挡而丢失特征点。
特征点匹配算法的关键在于对特征点和匹配策略的选择，特征点的类型包括：灰度的局部最大值点，局部边缘，点、角等。本文中定义配准的参考图像为基准图像，而被配准的图像为后续图像。在很多实用的监控系统中，基准图像和后续图像之间一般不存在比例变化，在这个前提下，本文提出了一种快速实用的特征点匹配的方法，对特征点匹配等步骤加以改进，并增加了特征点的校正以保证变换计算的健壮性。
ｌ基准图像中特征点的选择
选择特征点的基本原则是特征点应该是具有较大灰度变化的中心区域，因为灰度的较大变化可以保证特征点邻域内的纹理细节的复杂性，在匹配时减少误匹配的发生。
设／ｎ（ｆ，Ｊ）表示基准图像。对于每一象点（ｉＪ），分别计算（ｉＪ）在水平，垂直，左对角和右对角方向上与相邻象素灰度值的差的平方和，并把其中最小值称为Ｏｊ）的灰度变化特征值０（ｉＪ）。
Ｏ（ｉ，ｕ，）＝ｍｉｎ（Ｈ，Ｖ，Ｌ，Ｒ）（１）其中：
Ⅳ＝【．Ｌ（ｉ，／）一／；，（ｉ，Ｊ—１）】！＋［／：）（，，／）一Ｌ（ｉ，Ｊ＋１）］２（２）Ｖ＝【，．（ｊ．，）一，ｊ（ｊ一１－，）】２＋【，ｊ（ｊ，，）一－，ｊ（ｊ＋ｌ‘ｓ）１２（３）
Ｌ＝［Ａ（ｉ，ｕ，）一Ａ（ｉ—ｌ，／一１）】！＋【．ｆｈ（ｉ，／）一／：，（ｉ＋Ｉ，／＋１）】！（４）Ｒ＝【，ｊ（『．，）一．Ｌ（ｉ—Ｉ，／＋Ｉ）ｆ！＋ｆ／ｊ（『－，）一／．（，＋｜－ｊ—Ｉ）ｒ（５）将图像＾（ｉ，Ｊ）划分成大小为ｍＸｎ的互不重叠的区域彬Ⅵ，对每个区域的灰度变化特征值求和，得到区域灰度变化度，记为Ｇ（％．。）
Ｇ（Ｗ。。，）＝∑ｏ（ｉ，『１
Ｉｉ，ｉｅ¨。
再将图像／一（ｆ，Ｊ）划分成互不重叠的ｒ．ｓ（ｒ，ｓ＞３）的区域Ａ＊，在爿＊块覆盖的区域∥。。中取出灰度变化度最大的区域∥：Ｇ（∥＾’）＝ｍａｘＧ（Ｗｎ。ｆ）
ｆ７１一ＪＩⅣ口ＥＪ‘
、’设（ｉｔ，．，ｔ）为∥ｊ的中心，把该点定为基准图像的第ｋ个特征点。爿ｔ的划分保证了选中的特征点在空问一ｆ：比较分散，这对配准是有利的。在实际应用时，定１１１＝ｎ＝５，ｒ＝ｓ＝５，并在取得的２５－Ｊ潸征点中取区域灰度变化度最大的１５个记为图像的特征点。图ｌ给出了基准图像和它的特征点的位置及在本文中的编号。
圈ｌ基准圈像和ｌ５个特征点
作者简介：胡明吴（１９７５一），男，博二ｂ生，主研方向为数字图像处理、计算机视觉、数据挖掘等；任明武，剐教授；杨静宇，教授、博导
收稿日期：２００３．０４．２２Ｅ－ｍａｔｈｌｕｋｅｈｕ２０００＠Ｉ６３ｃｏｒｎ
一３ｌ一
２后续图像中特征点的匹配
所谓特征点的匹配，就是在后续图像中找到基准图像中的每一特征点的唯一匹配点。当然从现实的观点看，在全部特征点中，只有部分能得到正确的匹配。这是因为匹配算法本身的缺陷或特征点由于其它的原因而消失，如被遮挡或移出视野等。
本文以基准图像的特征点Ｓｔ（ｘ，Ｙ）为中心，构造一定大小｜Ⅳｘ＾，的局部图像块，利用局部图像块的特征，在后续图像的一定范围进行搜索，来完成后续图像中的对应特征点‘（ｘ，Ｙ）的求取。其原理基于：若两个特征点‘∽”和～（ｘ，ｙ）是一对匹配点，则基准图像中以ｓＡｘ，力为中心的ＮＸＮ的矩形块与后续图像中以ｔ／（ｘ，Ｙ）为中心的Ⅳ）认／图像块的差异很小。这种方法的优点是：
（１）后续图像中求取特征点的同时完成特征点的匹配。
（２）由于基准图像仅计算一次，因此基准特征点的局部特征仅计算一次，可以节省时间。
本文使用模板匹配法在后续图像中寻找瓣，力的对应特征点，．（ｘ．ｙ）。模板匹配法具有方法简单，容易实现的特点，但由于它是穷举计算，所以计算量较大。显然模板越大，包含的信息就越多，匹配的可靠性就越大。但是由于图像本身发生旋转，模板也会发生旋转。模板过大则会导致在旋转中模板中对应点的错位。下面讨论可以忽略旋转时的模板的尺寸的上界。
设以图像中心为坐标原点，旋转前两点坐标分别为（一，Ｍ）和（ｘ：，Ｙ：），旋转后对应两点坐标分别为（ｘｆ，Ｊ，ｆ）和（蔓，必）。则图像旋转之前，两点间的水平和竖直距离分别为：缸＝恐一五（８）ａｙ＝ｙ２一ｙ．（９）假设图像旋转ｔ９度，由旋转方程
ｘ’＝ｘｃｏｓＯ＋ｙｓｉｎＯ
（１０１ｙ’＝一ｘｓｉｎ０＋ＹＣＯＳ０ｆｌ１１
可知，图像旋转之后两点水平和竖直距离为：
缸’＝Ｘ，一ｘ．＝ＡｘｃｏｓＯ＋△ｙｓｉｎＯ（ｉ２）
，，
Ａｙ’＝Ｙ２一Ｙｌ＝一＆ｖｓｉｎＯ＋ｚＸｙｃｏｓ０（１３）
若要保证模板旋转后没有发生错位，只要保证旋转后两点水平间距和垂直间距的变化都小于ｌ，即ＩＡｘ—Ａｘ’ｌ＜ｌ且Ｉ妙一Ａｙｌ＜ｌ。由于模板为正方形，可设边长为ｄ，即Ａｔ＝Ａｙ＝ｄ，则：
ＩＡｘ—Ａｘｌ＝ｌＡｙｓｉｎＯ＋（ｃｏｓＯ—Ｉ）ａｘｌ＝ｌｓｉｎＯ—ｌ＋ｃｏｓＯｌｄ＜Ｉ（１４）ＩＡｙ－△ｙ１＝Ｉ—ＡｘｓｉｎＯ＋（ｃｏｓＯ—１）Ａ叫＝ｌｓｉｎＯ＋ｌ—ｃｏｓ叫ｄ＜ｌ（１５）
由此，可计算在保证模板旋转后没有发生错位时，旋转角度与模板大小的关系，见表ｌ。可知在旋转角度小于５。时，在模板尺寸小于１１时是可以保证模板不发生错位。
裹１麓转角度与援板大小的关系
ｌ０＝ｌ０＝３０＝５０＝７
ＩⅣ５７１９ｌｌ８
—３２一
以图ｌ的图像为基准图像，在其某个后续图像中，按本节方法得到的最相似匹配特征点如图２所示，其中ｌ号和３号点是明显的错误匹配。需要说明的是：
圈２后续圈■中曲匾啊特征点
（１）随着模板大小和搜索范围的增大，计算量呈指数级的增加，加上每幅图像中多达ＩＯ～２０个特征点，穷举法匹配消耗时间较大，是难以满足实时性的要求的。为此，为了节省时间，在模板匹配之前，先将图像行、列投影与模板行、列投影比较，若投影不相似则过滤掉这些明显不匹配的点；然后，再对剩下的点进行模板匹配。
（２）匹配时，并不是只记下最相似的点，而是记下很相似的，，ｒ个点作为匹配候选点，其中最相似的点成为最佳候选点。这是因为最相似的点并不一定就是正确匹配，取ｍ个点的目的就是为增大这ｍ个点中存在正确匹配的可能性。实验表明，ｍ＝ｌＯ时，可保证多数情况下包含正确匹配，而疗Ｆ３０时，则基本可以保证一定包含正确匹配如果正确匹配存在的话。３特征点对的校正
在得到的基准图像和序列图像中的特征点对一般都是有误差的，这些误差可以分为两类：
（Ｉ）一类是特征点本身定位的误差，它们一般比较小，可以用正态分布来表示。
（２）一类是由于出现了伪特征点，在匹配时找到了比自己更象自己的点。通常情况原因是在选择特征点时，选择了在同一个图像中具有自相似的点作为特征点，如栏杆和围墙的角点等。这类点具有重复结构的纹理特征，常常会引起匹配的混淆，带来对应的错误。当然，如果特征点取在运动的目标上，那么这个点也不再具有特征点的性质，也应归为伪特征点。
对第１类误差，在计算出图像变换参数时，只要特征点对个数足够多，最小二乘法就可以消除。对第２类误差，是无法用正态噪声来表示的。在有关最小二乘法的文献中，称之为出格点。出格点的存在对图像变换参数计算的影响是巨大的，最小二乘法对其极为敏感，只要有一个特征点对发生错误，就会导致参数计算错误，图像变换失败。因此，必须对特征点对加以校正，剔除伪点对。
由于本文仅讨论比例不变时的图像对准，因此可认为图像中对应点之间的距离在摄像机运动前后是保持不变的，即所有特征点的两两间距是不变的。此外，由于自相似的特征点在图像中数量较少，还可以假设误匹配的特征点对个数远小于正确的个数。
根据几何知识，到一点距离为定值的点的轨迹是一个圆，到二点距离为定值的点的轨迹是二个点，到不共线三点
的距离分别为定值的点是唯一确定的。由于特征点数目较多
且在图像中散布，不可能同时共线。因此，可以认为，一个点ｔａｘ，力是特征点＆＠”的正确对应点的充要条件是ｔｋ（ｘ，ｙ）点到其他特征点的正确对应点ｔＡｘ，ｙ）的距离和特征点Ｓｋ（Ｘ，Ｙ）到其他特征点ｓ，∽力的距离相等，本文中我们称该条件为距离约束。
以图３为例，点Ｉ－－５为特征点的正确对应点，点６’为点６的错误匹配。显然点６７到点ｌ’～５’的距离与点６到ｌ～５的距离会有不同，其中几个点的距离差别还比较显著（如点ｌ，２，５）。由此，可以判定点６’为伪匹配点。
２
当然在未匹配时，并不知道哪些点是正确匹配，可以被
用来判定其它的点的正确与否。但是，由于误匹配的特征点毕竟是少数，因此可以认为若一个点到半数以上的特征点对应点的距离满足距离约束，则该点是正确匹配。由此，得到特征点对的校正算法如下：
假设基准图像得到了刀个特征点＆（ｘ，ｙ），在后续图像中每个特征点得到了ｍ个候选特征点，ｔ，，（Ｘ，Ｊ，）（０ｓ，≤肌），
其中ｔｋ．ｏ（Ｘ，Ｙ）是最佳候选点。
（１）对于基准图像，计算刀个特征点％（ｘ，ｙ）两两之间的距离ｄ“（０≤ｉ，Ｊ≤盯）。
（２）对于后续图像，计算门个最佳候选点ｔｋ．ｏ（Ｘ，少）两两之间的距离ｄｎ，（Ｏ≤ｆ，Ｊ≤门）。
（３）统计每一点ｆ枷（ｘ，ｙ）到其他点ｔｊ．ｏ（ｘ，ｙ）的距离和基准图像中＆∽力到其他点ｓ．ｉ（ｘ，Ｙ）距离相等的点的个数ｎｕｍ，若２ｈｕｍ大干盯，可认为ｔｋ．ｏ（ｘ，Ｙ）点是ｓＡｘ，ｙ）的正确匹配点。
（４）对于特征点暑∽力，若ｆ『．ｏ（ｘ，Ｙ）不是正确的匹配点，则仿照步骤（２）和（３），验证暑∽力的其他候选点，『．，∽力是否是正确的匹配点。若都不是，则认为该点没有正确匹配点。
当然，如果特征点取在运动的目标上，由于该点不可能满足距离条件，因此也会被合理地删去。图２中的粗匹配点，经过校正之后，剔除本身运动的０号点和没用正确匹配的３号点，修正ｌ号点的位置。从而为图像变换参数计算，做好了必要的准备。
４实验和结论
图４和图５分别是不作和作特征点对的校正时，得到的配准结果图像，从中可以看出，特征点的校正是完全必要的，否则难以保证参数的正确，而导致图像配准失败。
圈５作特征点昀校正的取准鳍果圈鲁
图６是经过配准校正的后续图像与基准图像的图像差。结果显示差图像基本为零，图像已得到了有效的校正。对于图像中一些灰度变化较大的区域，由于插值计算的原因，在差图像上灰度较大，如房屋和栏杆的边缘。但是只要对差图像，进行选取合适的阈值二值化以及一些必要的滤波操作，结果图像还是会比较令人满意的。
圈６后续圈鲁与基准圈■的田ｔ差
在时间方面，对于６４０×４８０Ｘ２４ｂｉｔ的真彩色图像，完成一帧的图像校正在Ｐｉｌｌ８００的系统中大约需要１５０ｍｓ，基本上满足实时的要求。如果将图像经采样后输入来计算变换参数，速度可进一步提高。
参考文献
ｌ徐建华．图像处理与分析．北京：科学出版社，１９９２：４７－４９
２吴立德．《计算机视觉））．上海：复旦大学出版社．１９９３
３ＳｈｉＪ．ＴｏｍａｓｉＣ．ＧｏｏｄＦｅａｔｕｒｅｔｏＴｒａｃｋ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＣｏｎｔ＇ｅｌ－．ｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｉ９９４：５９３．６００
４王全．基于差分图像的多运动目标的检测与跟踪．中国图像图形学报，Ｉ９９９．６．４（ａ）：４７０．．４７５
５
ＢｅｙｍｅｒＤ．ＭｃＬａｕｃｈ
Ｐ．ＡＲｅａｌ－ｔｉｍｅ
ＣｏｍｐｕｔｅｒＶｉｓｉｏｎＳｙｓｔｅｍｆｏｒ
ＭｅａｓｕｒｉｎｇＴｒａｃｆｉｌｅＰａｒａｍｅｔｅｒｓＩＥＥＥ．１
９９７
一种快速实用的特征点匹配算法
作者：胡明昊， 任明武， 杨静宇
作者单位：南京理工大学计算机科学与工程系国家重点学科模式识别与图像处理教研室,南京,210094刊名：
计算机工程
英文刊名：COMPUTER ENGINEERING
年，卷(期)：2004，30(9)
被引用次数：23次
参考文献(5条)
1.徐建华图像处理与分析 1992
2.吴立德计算机视觉 1993
3.Shi J.Tomasi C Good Feature to Track 1994
4.王全基于差分图像的多运动目标的检测与跟踪 1999(A)
5.Beymer D.McLauch P A Real-time Computer Vision System for Measuring Tracffic Parameters IEEE 1997引证文献(22条)
1.吴恩生.朱敏琛一种融合局部与全局信息的距离约束角点匹配算法[期刊论文]-计算机应用 2010(1)
2.丁茂实.徐贵力.谢非.贾爱芹一种基于动态背景的运动目标提取方法[期刊论文]-佳木斯大学学报（自然科学版） 2009(2)
3.丁茂实.徐贵力.谢非.贾爱芹一种基于动态背景的运动目标提取方法[期刊论文]-佳木斯大学学报（自然科学版） 2009(2)
4.张庭厚.庹红娅.敬忠良基于高通能量变换的多传感器图像配准[期刊论文]-计算机工程与应用 2009(17)
5.何博侠.张志胜.徐孙浩.史金飞大尺寸机械零件的机器视觉高精度测量方法[期刊论文]-中国机械工程 2009(1)
6.王雪蓉.万年红全景图配准算法在虚拟课堂场景中的应用[期刊论文]-计算机时代 2008(12)
7.钟都都.王建华.张凯.闫杰用于红外目标跟踪的模板匹配改进算法[期刊论文]-飞行器测控学报 2008(3)
8.戚世贵.戚素娟基于特征点的最近邻配准算法[期刊论文]-许昌学院学报 2008(2)
9.夏前勇.史金飞.张磊基于纹理特征的机械零件图像快速匹配方法[期刊论文]-中国制造业信息化 2008(5)
10.宋得军.卜昆.王红霞.刘杰.董一巍.李永毅精铸涡轮叶片收缩变形的测量与分析[期刊论文]-现代制造工程2008(3)
11.唐永鹤.卢焕章.侯文杰基于DOG特征点的序列图像匹配算法[期刊论文]-现代电子技术 2008(4)
12.戚世贵.戚素娟一种基于图像特征点的图像匹配算法[期刊论文]-国外电子测量技术 2008(1)
13.张志胜.何博侠.戴敏.史金飞基于特征的大尺寸零件序列局部视觉测量方法[期刊论文]-东南大学学报（英文版） 2007(4)
14.杜杰两种基于灰度的快速图像匹配算法[学位论文]硕士 2007
15.杨锋.刘永才.王恒霖.刘金一种新的导弹相对高度测量方法[期刊论文]-战术导弹技术 2006(1)
16.范秋凤.杨国胜.马晓燕.王应军基于对应点匹配的物体深度信息测量[期刊论文]-计算机应用 2006(8)
17.胡嘉凯智能视频监控系统中运动目标跟踪有关问题研究及其DSP实现[学位论文]硕士 2006
18.郑立彦基于位移场的精铸涡轮叶片误差分析方法研究[学位论文]硕士 2006
19.魏伟波基于图像的目标自动识别与跟踪技术研究[学位论文]博士 2006
20.史栋林基于边缘的图像配准研究[学位论文]硕士 2006
21.隋雪莉气象图像自动配准方法研究[学位论文]硕士 2006
22.王再欢基于模型的三维飞机目标识别研究[学位论文]硕士 2005
本文链接：https://www.360docs.net/doc/1a3635062.html,/Periodical_jsjgc200409013.aspx
授权使用：西北农林科技大学图书馆(wflsxbt)，授权号：4832b415-58a0-4683-a47b-9e2200ff8b1b
下载时间：2010年11月2日