基于ransac算法的sift特征匹配研究(OpenCV+VS2010)____朱万革(最终版)
基于SIFT算法的异源遥感影像自动匹配研究
基于SIFT算法的异源遥感影像自动匹配研究张建花;白仲斐;惠广裕【摘要】由于不同传感器、多时相、多分辨率、多波段的遥感图像的光谱特征、空间特征、纹理特征等存在较大差异，为遥感图像的匹配带来了困难。
主要利用图像特征点提取方法，使用具有尺度不变特性的SIFT(Scale Invariance Feature Transform)方法，对异源遥感图像进行配准和图像进行拼接操作，并进一步对SIFr算法进行优化，采用双向匹配策略。
实验证明该算法具有稳定、可靠、快速等特点,适用于存在光谱特征、空间特征、纹理特征差异的异源遥感图像的精确配准，同时实验验证了双向匹配算法用于SIFT特征点匹配中的优越性,证明其为一种好的匹配测度。
%Since multi-source,multi-temporal,multi-resolution and multi-band remote sensing images are too different in spectral characteristics, spatial characteristics, as well as texture features. So it is full of difficulty to match these remote sensing images. We have focused our studies on the point feature extraction method to match the multi-source images in this paper. Then match the images.Based on the above theory, we have done some experiments. The results show that SIFT is one of the most effective local feature of rotation, scale, and illumination invariant. Changes of perspective, affine transformation and noise also maintain a certain degree of stability. SIFT based image matching algorithm is analyzed, and a bidirectional matching algorithm is proposed to improve the accuracy of image matching. The experimental results show that the proposed algorithm is effective.【期刊名称】《电子设计工程》【年(卷),期】2011(019)013【总页数】4页(P176-179)【关键词】遥感图像；SIFT；配准；双向匹配；RANSAC【作者】张建花;白仲斐;惠广裕【作者单位】中国飞行试验研究院测试所，陕西西安710089;中国飞行试验研究院测试所，陕西西安710089;中国飞行试验研究院测试所，陕西西安710089【正文语种】中文【中图分类】TP391光学卫星遥感成像的理论限制，难以突破云雨障碍。
图像的拼接----RANSAC算法
图像的拼接----RANSAC算法⼀、全景拼接的原理1.RANSAC算法介绍RANSAC算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、⽆法适应数学模型的数据)，即数据集中含有噪声。
这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产⽣的。
同时RANSAC也假设，给定⼀组正确的数据，存在可以计算出符合这些数据的模型参数的⽅法。
2.使⽤RANSAC算法来求解单应性矩阵在进⾏图像拼接时，我们⾸先要解决的是找到图像之间的匹配的对应点。
通常我们采⽤SIFT算法来实现特征点的⾃动匹配，SIFT算法的具体内容参照我的上⼀篇博客。
SIFT是具有很强稳健性的描述⼦，⽐起图像块相关的Harris⾓点，它能产⽣更少的错误的匹配，但仍然还是存在错误的对应点。
所以需要⽤RANSAC算法，对SIFT算法产⽣的128维特征描述符进⾏剔除误匹配点。
由直线的知识点可知，两点可以确定⼀条直线，所以可以随机的在数据点集中选择两点，从⽽确定⼀条直线。
然后通过设置给定的阈值，计算在直线两旁的符合阈值范围的点，统计点的个数inliers。
inliers最多的点集所在的直线，就是我们要选取的最佳直线。
RANSAC算法就是在⼀原理的基础上，进⾏的改进，从⽽根据阈值，剔除错误的匹配点。
⾸先，从已求得的匹配点对中抽取⼏对匹配点，计算变换矩阵。
然后对所有匹配点，计算映射误差。
接着根据误差阈值，确定inliers。
最后针对最⼤inliers集合，重新计算单应矩阵H。
3.基本思想描述：①考虑⼀个最⼩抽样集的势为n的模型(n为初始化模型参数所需的最⼩样本数)和⼀个样本集P，集合P的样本数#(P)>n，从P中随机抽取包含n 个样本的P的⼦集S初始化模型M；②余集SC=P\S中与模型M的误差⼩于某⼀设定阈值t的样本集以及S构成S*。
S*认为是内点集，它们构成S的⼀致集(Consensus Set)；③若#(S*)≥N，认为得到正确的模型参数，并利⽤集S*(内点inliers)采⽤最⼩⼆乘等⽅法重新计算新的模型M*；重新随机抽取新的S，重复以上过程。
基于SIFT算法的图像配准算法研究的开题报告
基于SIFT算法的图像配准算法研究的开题报告一、选题背景和意义图像配准是从不同视角、不同时间或不同传感器捕获的两幅或多幅图像之间搜索相互对应的像素点的过程。
图像配准已经成为计算机视觉、机器人、医学、遥感等领域中的一个重要问题，涉及到无人机监测、医学影像、安防监控等领域。
SIFT（Scale-Invariant Feature Transform）算法是一种基于局部特征的图像配准算法，具有旋转不变性、尺度不变性、光照不变性等优点，在图像匹配、目标检测和识别等方面有着广泛应用。
因此，本文旨在研究基于SIFT算法的图像配准算法，以提高其在实际应用中的性能。
二、研究内容和方法2.1 研究内容本文将研究基于SIFT算法的图像配准方法，主要包括以下内容：1）SIFT算法理论基础及其算法流程；2）SIFT特征点检测、匹配、筛选及配准的方法；3）针对SIFT算法存在的问题进行优化改进，并在实验中进行验证；4）对不同场景下的图像进行配准实验，并对比分析不同算法的性能。
2.2 研究方法本文将采用以下研究方法：1）阅读相关文献，深入理解SIFT算法及其在图像配准中的应用；2）实现SIFT算法，并在大量数据集上进行实验验证；3）对SIFT算法进行优化改进，并在实验中进行比较；4）在不同场景下选用典型的图像进行实验，并进行结果比较和分析。
三、预期结果及创新点本文预期的结果为：1）研究并深入理解SIFT算法及其在图像配准中的应用；2）通过实验验证，得出不同情况下SIFT算法在图像配准中的表现并进行比较；3）提出改进之后的SIFT算法并在实验中进行验证；4）分析比较各种算法的优缺点及应用场景。
本文的创新点如下：1）针对SIFT算法在图像配准中存在的问题进行优化改进；2）研究不同场景下的图像配准效果，并进行比较分析；3）根据实验结果和理论分析，结合实际应用场景提出优化的SIFT算法，提高图像配准的准确率和效率。
四、进度安排本文的研究进度安排如下：1）第一周：阅读相关文献，制定研究计划和实验方案；2）第二周至第四周：实现SIFT算法，进行基本的图像特征点检测、匹配和配准；3）第五周至第七周：针对SIFT算法的优化改进，并对比分析实验结果；4）第八周至第十周：对不同场景下的图像进行实验，进行结果比较和分析；5）第十一周至第十二周：撰写论文初稿，并进行修改和完善；6）第十三周：进行论文的最终修改和定稿。
基于SIFT特征的图像检索技术研究
然而，现有的基于SIFT特征的图像检索方法还存在一些挑战和问题，如特征 选择的不准确性和跨域性问题等。未来的研究可以针对这些问题展开深入探讨， 进一步提高图像检索的准确性和效率。此外，随着深度学习技术的快速发展，研 究者可以尝试将深度学习与基于SIFT特征的图像检索技术相结合，探索更有效的 图像特征表达和匹配方法。
1、图像特征提取
图像特征提取是图像检索的核心，它通过一定的算法从图像中提取出能够代 表图像内容的关键信息，如颜色、纹理、形状等。这些特征可以有效地描述图像 的内容和特征，为后续的图像比较和分析提供基础。常用的特征提取方法包括 SIFT、SURF、ORB等。
2、相似度比较
在提取出图像的特征之后，我们需要对这些特征进行比较，以确定两幅图像 的相似度。常用的相似度比较方法包括欧氏距离、余弦相似度、交叉相关等。这 些方法通过计算特征向量之间的距离或者相关系数，来评估两幅图像的相似程度。
3、检索算法
基于特征的图像检索技术中常用的检索算法包括基于内容的检索、基于神经 网络的检索和基于深度学习的检索等。其中，基于内容的检索通过比较查询图像 和库中图像的特征，找出最相似的图像；基于神经网络的检索通过训练神经网络 来学习图像特征和标签之间的关系，从而对新的图像进行分类和检索；基于深度 学习的检索通过构建深度神经网络模型，对图像进行深度特征提取和分类，从而 实现高精度的图像检索。
SIFT特征最早由David Lowe在1999年提出，具有尺度不变性、旋转不变性、 亮度不变性等优点。自提出以来，SIFT特征在计算机视觉领域得到了广泛应用， 包括目标识别、图像配准、图像检索等。在图像检索领域，SIFT特征可以有效地 表达图像的内容和特征，提高检索准确率。然而，现有的基于SIFT特征的图像检 索方法还存在一些问题，如特征选择不准确、匹配效率低等。
基于SIFT特征的遥感影像自动配准
基于SIFT特征的遥感影像自动配准
茹朝阳
【期刊名称】《城市勘测》
【年(卷),期】2009(000)006
【摘要】提出了一种基于特征点的全自动高分辨率遥感影像配准方法,该方法采用对于尺度具有鲁棒性的SIFT算法进行特征点的提取与匹配,并通过RANSAC方法和双向匹配策略提高特征点的匹配精确度.最后利用同名特征点构建影像间的转换模型,实现高精度影像纠正与配准.实验结果表明,该算法具有较强的匹配能力和鲁棒性.
【总页数】5页(P61-65)
【作者】茹朝阳
【作者单位】太原市勘察测绘研究院,山西,太原,030002
【正文语种】中文
【中图分类】P237
【相关文献】
1.基于Harris-SIFT特征匹配的图像自动配准算法研究 [J], 李玉峰;王竹筠
2.集成MSER和SIFT特征的遥感影像自动配准算法 [J], 王晓华;邓喀中;杨化超
3.基于SIFT特征的遥感影像自动配准 [J], 李晓明;郑链;胡占义
4.基于SIFT特征的多源遥感影像自动配准 [J], 李吉军;周尚波;陈虹;张伟伟
5.基于SIFT特征遥感影像自动配准与拼接 [J], 程焱;周焰;林洪涛;潘恒辉
因版权原因，仅展示原文概要，查看原文内容请购买。
图像匹配算法在OPENCV中的研究与实现
一、VS2010中建立一个OPENCV的工程使用的opencv版本号是2.4.4以上两图分别是匹配原图和匹配一张无关图的匹配结果。
可以看出匹配结果准确。
匹配准确率需要后面实验测试得到结论。
匹配结论中包括：两张图各自的特征点数，匹配的点数，最大和最小距离（该距离是欧式距离），优秀的匹配点。
上图是MFC设计的简要界面。
点击开始匹配后，弹出上面的匹配结果。
二、学习的知识点1、sift算法（surf算法基本与sift算法相同）sift算法是一种基于尺度空间的算法。
该算法利用的特征是图像的局部特征，使其对旋转、尺度缩放、亮度变化具有保持不变性，并在对视角变化、放射变换、噪声也具有很好的保持一定程度的稳定性。
其独特性好，信息量丰富，适用于在大量数据库中进行快速、准确的匹配。
sift算法步骤：S1：提取关键点。
对图像进行处理，提取出图像的关键点，产生关键点集合。
S2：建立两幅图像之间的对于关系。
通过两张图像的特征点进行两两比较，找出相匹配的若干对特征点。
然后用线连接起来。
S3：消除错误匹配点。
用参数估计的方法，对匹配点反复测试、不断迭代运算，消除错误的匹配点。
S4：统计匹配点和匹配点的相关信息。
流程图如下2、SURF算法和SIFT算法的区别主要在于速度和精度上。
SURF描述子大部分是基于强度的差值，计算更快捷，而SIFT描述子通常在搜索正确的特征时更加精确。
两者在OPENCV具体实现中没有很大的差异。
都使用了cv::FeatureDetector接口，使用cv::drawKeypoint函数。
3、在面对尺度变化问题时，需要分析图像在拍摄时与目标物体的距离。
而SIFT算法具有尺度不变的特性，每个检测的特征点都伴随着对应的尺寸因子。
能克服这个问题。
SURF算法是SIFT算法的高效变种。
同样具有尺幅不变的特征。
两者在3D视点变化上的性特，都有一定的体现，具体性能指标需要实验测试。
所谓的尺度空间，在OPENCV中被形象地描述为一个图像金字塔，向下采样一般用高斯金字塔。
基于SIFT的三视图像特征匹配算法
2008年7月July 2008—177—计 算 机 工 程Computer Engineering 第34 第13期Vol 卷.34 No.13·人工智能及识别技术·文章编号：1000—3428(2008)13—0177—03文献标识码：A中图分类号：TP18基于SIFT 的三视图像特征匹配算法张连怡，王爱平，万国伟，李思昆（国防科技大学计算机学院，长沙 410073）摘 要：提出一种基于SIFT 的三视图像特征匹配算法。
采用SIFT 算法对三视图像进行特征匹配，引入计算机视觉中的三线性关系和基于三焦张量的像素转移误差计算方法，对SIFT 算法的匹配结果进行筛选，剔除匹配过程中产生的误配点。
真实图像数据实验表明，该算法有效剔除了SIFT 算法产生的97％以上的误配点，提高了三视图像匹配的准确度。
关键词：SIFT 算法；三线性关系；三焦张量SIFT-based Feature Matching Algorithm of Three-view ImagesZHANG Lian-yi, WANG Ai-ping, WAN Guo-wei, LI Si-kun（Computer School, National University of Defence Technology, Changsha 410073）【Abstract 】This paper proposes a novel method of SIFT-based feature matching of three-view image. SIFT based feature matching algorithm is used in three-view images matching process. Then the trilinear constraint and trifocal-tensor-based pixel transfer error computation method is introduced to remove the outliers produced by the SIFT algorithm. Experiments are carried out on the real three-view images, and the result shows that the algorithm highly improves the veracity of three-view images matching, with 97 percent of the outliers eliminated. 【Key words 】SIFT algorithm; trilinear constraint; trifocal tensor1 概述图像特征匹配是计算机视觉和模式识别等领域研究的基本问题以及物体识别、跟踪等应用的重要基础。
基于SIFT图像特征匹配的多视角深度图配准算法
基于SIFT图像特征匹配的多视角深度图配准算法
韦虎;张丽艳;刘胜兰;石春琴
【期刊名称】《计算机辅助设计与图形学学报》
【年(卷),期】2010(022)004
【摘要】为有效地解决多视角深度图配准问题.提出一种新的配准算法.首先给出一种深度图数据图像化方法,根据深度图包含的像素信息和网格顶点处的曲率值创建特征图像;然后通过对特征图像进行SIFT特征检测与匹配来获得特征点与匹配关系,从而得到原始深度图上的特征点与匹配关系;最后采用投票和预配准方法去除误匹配,实现递增式多视角深度图配准.模拟噪声实验和多个实际测量深度图的配准实验结果验证了该算法的鲁棒性和有效性.
【总页数】8页(P654-661)
【作者】韦虎;张丽艳;刘胜兰;石春琴
【作者单位】南京航空航天大学机电学院,南京,210016;南京航空航天大学机电学院,南京,210016;南京航空航天大学机电学院,南京,210016;南京航空航天大学机电学院,南京,210016
【正文语种】中文
【中图分类】TP391
【相关文献】
1.两种图像配准算法(SIFT与ASIFT算法)比较 [J], 保永强;马东洋;伍中楠;莫德林;李润生
2.基于Harris-SIFT特征匹配的图像自动配准算法研究 [J], 李玉峰;王竹筠
3.基于SIFT特征匹配的精准图像配准算法 [J], 陈燕文;徐东平
4.基于SIFT算法的可见光图像与红外图像配准 [J], 周文理;金施群
5.基于Harris-Affine和SIFT特征匹配的图像自动配准 [J], 李玲玲;李翠华;曾晓明;李保
因版权原因，仅展示原文概要，查看原文内容请购买。
融合RANSAC与GMS图像特征的匹配算法
第１３卷㊀第９期Ｖｏｌ．１３Ｎｏ．９㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年９月㊀Ｓｅｐ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０９－００７４－０６中图分类号：ＴＰ３０１．６文献标志码：Ａ融合ＲＡＮＳＡＣ与ＧＭＳ图像特征的匹配算法冯宝凤１，杨剑锋１，２，严㊀可１，邹㊀琼３，仝天乐４（１贵州大学数学与统计学院，贵阳５５００２５；２贵州理工学院大数据学院，贵阳５５０００３；３深圳市瑞云科技股份有限公司，广东深圳５１８０００；４贵州黔驴科技有限公司，贵阳５５００００）摘㊀要：图像匹配在物体识别㊁图像拼接领域一直是尤为重要的一部分㊂为解决传统图像匹配算法匹配率低的问题，本文提出了一种融合ＲＡＮＳＡＣ与ＧＭＳ图像特征的匹配算法（ＲＧＭＳ算法）㊂该算法在ＯＲＢ的基础上提取图像特征点，利用ＲＡＮＳＡＣ算法对特征点进行随机筛选，最后使用ＧＭＳ算法对筛选后的特征点进行特征匹配㊂经采用ＴＵＭ公开数据测试集与传统的暴力匹配㊁ＦＬＡＮＮ和ＧＭＳ算法进行实证研究，实验结果表明，本文提出的匹配算法具有更好的匹配效果㊂尤其对于图像纹理较少的情况，本文算法的图像配准率和匹配时间较传统匹配算法具有更明显的优势㊂关键词：图像特征点匹配；ＲＡＮＳＡＣ算法；ＧＭＳ算法；配准率ＡｎｉｍａｇｅｆｅａｔｕｒｅｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｉｎｃｏｒｐｏｒａｔｉｎｇＲＡＮＳＡＣａｎｄＧＭＳＦＥＮＧＢａｏｆｅｎｇ１，ＹＡＮＧＪｉａｎｆｅｎｇ１，２，ＹＡＮＫｅ１，ＺｏｕＱｉｏｎｇ３，ＴＯＮＧＴｉａｎｌｅ４（１ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＳｔａｔｉｓｔｉｃｓ，ＧｕｉｚｈｏｕＵｎｉｖｅｒｓｉｔｙ，Ｇｕｉｙａｎｇ５５００２５，Ｃｈｉｎａ；２ＳｃｈｏｏｌｏｆＤａｔａＳｃｉｅｎｃｅ，ＧｕｉｚｈｏｕＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕｉｙａｎｇ５５０００３，Ｃｈｉｎａ；３ＳｈｅｎｚｈｅｎＲａｙｖｉｓｉｏｎＴｅｃｈｎｏｌｏｇｙＣｏ．Ｌｔｄ．，ＳｈｅｎｚｈｅｎＧｕａｎｇｄｏｎｇ５１８０００，Ｃｈｉｎａ；４ＧｕｉｚｈｏｕＤｏｎｋｅｙＴｅｃｈｎｏｌｏｇｉｅｓＣｏ．Ｌｔｄ．，Ｇｕｉｙａｎｇ５５００００，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＩｍａｇｅｍａｔｃｈｉｎｇｈａｓａｌｗａｙｓｂｅｅｎａｐａｒｔｉｃｕｌａｒｌｙｉｍｐｏｒｔａｎｔｐａｒｔｉｎｔｈｅｆｉｅｌｄｏｆｏｂｊｅｃｔｒｅｃｏｇｎｉｔｉｏｎａｎｄｉｍａｇｅｓｔｉｔｃｈｉｎｇ．Ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｌｏｗｍａｔｃｈｉｎｇｒａｔｅｏｆｔｒａｄｉｔｉｏｎａｌｉｍａｇｅｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｉｍａｇｅｆｅａｔｕｒｅｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍ（ＲＧＭＳａｌｇｏｒｉｔｈｍ）ｔｈａｔｉｎｃｏｒｐｏｒａｔｅｓＲＡＮＳＡＣａｎｄＧＭＳ．ＴｈｅａｌｇｏｒｉｔｈｍｅｘｔｒａｃｔｓｉｍａｇｅｆｅａｔｕｒｅｐｏｉｎｔｓｏｎｔｈｅｂａｓｉｓｏｆＯＲＢ，ｔｈｅｎｕｓｅｓｔｈｅＲＡＮＳＡＣａｌｇｏｒｉｔｈｍｔｏｒａｎｄｏｍｌｙｆｉｌｔｅｒｔｈｅｆｅａｔｕｒｅｐｏｉｎｔｓ，ａｎｄｆｉｎａｌｌｙｕｓｅｓｔｈｅＧＭＳａｌｇｏｒｉｔｈｍｔｏｍａｔｃｈｔｈｅｆｅａｔｕｒｅｓｏｆｔｈｅｆｉｌｔｅｒｅｄｆｅａｔｕｒｅｐｏｉｎｔｓ．ＵｓｉｎｇｔｈｅＴＵＭｐｕｂｌｉｃｄａｔａｔｅｓｔｓｅｔｔｏｃｏｎｄｕｃｔｅｍｐｉｒｉｃａｌｓｔｕｄｉｅｓｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌＢｒｕｔｅ－Ｆｏｒｃｅｍａｔｃｈｉｎｇ，ＦＬＡＮＮａｎｄＧＭＳａｌｇｏｒｉｔｈｍｓ，ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒｈａｓｂｅｔｔｅｒｍａｔｃｈｉｎｇｅｆｆｅｃｔ．Ｉｎｐａｒｔｉｃｕｌａｒ，ｔｈｅｉｍａｇｅｍａｔｃｈｉｎｇｒａｔｅａｎｄｍａｔｃｈｉｎｇｔｉｍｅｏｆｔｈｉｓａｌｇｏｒｉｔｈｍａｒｅｓｉｇｎｉｆｉｃａｎｔｌｙｂｅｔｔｅｒｔｈａｎｔｈｏｓｅｏｆｔｒａｄｉｔｉｏｎａｌｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｓｆｏｒｔｈｅｃａｓｅｏｆｆｅｗｅｒｉｍａｇｅｔｅｘｔｕｒｅｓ．ʌＫｅｙｗｏｒｄｓɔＩｍａｇｅｆｅａｔｕｒｅｐｏｉｎｔｍａｔｃｈｉｎｇ；ＲＡＮＳＡＣａｌｇｏｒｉｔｈｍ；ＧＭＳａｌｇｏｒｉｔｈｍ；ａｌｉｇｎｍｅｎｔｒａｔｅ基金项目：国家自然科学基金（７１９０１０７８）；贵州省电力大数据重点实验室（黔科合计Ｚ字［２０１５］４００１）㊂作者简介：冯宝凤（１９９７－），女，硕士研究生，主要研究方向：三维重建㊁应用统计；杨剑锋（１９８６－），男，博士，教授，硕士生导师，ＣＣＦ高级会员，主要研究方向：应用统计㊁可靠性建模；严㊀可（１９９８－），女，硕士研究生，主要研究方向：三维重建㊁应用统计；邹㊀琼（１９８２－），女，学士，产品架构师，主要研究方向：计算机科学与技术；仝天乐（１９９０－），男，硕士，中级软件工程师，主要研究方向：云计算㊁移动互联网㊁虚拟现实㊂通讯作者：杨剑锋㊀㊀Ｅｍａｉｌ：ｊｆｙａｎｇ１＠１６３．ｃｏｍ收稿日期：２０２２－１０－２４０㊀引㊀言图像匹配是通过计算机和数学理论知识，对给定的图像按照特定目的进行处理［１］，其在物体识别［２］㊁图像拼接［３］㊁视觉映射［４］等领域应用广泛㊂图像匹配大致分为两大类：对区域的匹配算法和对特征的匹配算法［５］㊂对区域进行匹配的方法主要是指对图像进行密集匹配，利用整幅图像的像素强度进行图像匹配，建立一个密集像素的对应关系；利用图像特征进行匹配的方法，需要提取两幅图像中的特征点以及图像的局部特征描述符，通过描述符与度量空间相似度的距离判断来建立对应关系，进行图像特征匹配㊂其中，图像特征匹配算法具有强鲁棒性㊁高配准率㊁计算速度快等优势，因此常被用于图像处理［６］㊂基于图像的特征匹配算法发展至今，已经产生了许多经典以及改进算法㊂如：Ｌｏｗｅ等［２］提出的ＳＩＦＴ（ｓｃａｌｅ－ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ）算法，拥有旋转不变性㊁尺度不变性以及独特性，不会受光照㊁仿射变换㊁噪声的影响，广泛应用于各个领域，但其利用１２８维数据，高维数据计算时间长，实时性目的较差；Ｂａｙ等［７］在ＳＩＦＴ基础上提出了具有６４特征维数的ＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）算法，ＳＵＲＦ降低了数据维度，具有良好的鲁棒性，但存在精度低㊁实时性差等缺点；Ｌｅｕｔｅｎｅｇｇｅｒ等［８］提出ＢＲＩＳＫ（ＢｉｎａｒｙＲｏｂｕｓｔＩｎｖａｒｉａｎｔＳｃａｌａｂｌｅＫｅｙｐｏｉｎｔｓ）算法，虽然该算法也拥有旋转不变性㊁尺度不变性以及鲁棒性，针对较大模糊的图像配准较好，但存在配准率低的问题；２０１７年，ＪＷＢｉａｎ等［９］提出ＧＭＳ（Ｇｒｉｄ－ｂａｓｅｄＭｏｔｉｏｎＳｔａｔｉｓｔｉｃｓ）算法，其具有运动特性，超鲁棒性的优点，但其在进行网格划分时，存在误匹配等问题㊂针对这些算法，国内外的许多优秀学者也对其计算速度㊁配准率进行了改进㊂对于大部分匹配算法存在误匹配问题，Ｗｕ等［１０］提出利用ＲＡＮＳＡＣ算法删除误匹配，但是这个方法存在耗时长等问题㊂针对ＳＩＦＴ算法实时性差，存在误匹配问题，许多学者提出了大量优秀的改进方法㊂针对ＲＳＡＮＳＡＣ［１１］删除误匹配存在的不足问题，Ｍｕｊａ等［１２］提出ＦＬＡＮＮ算法，该算法主要是利用了比率测试，来删除误匹配，提高了计算速度；程明明等［１３］进行双边建模，又加入运动的空间信息，对误匹配进行删除；程向红等［１４］加入了运动平滑约束，结合ＲＡＮＳＡＣ的单应矩阵对低匹配区域进行筛选，提高了召回率与ＲＡＮＳＡＣ的计算时间；陈洁等［１５］将极限约束引入特征匹配中，但是该算法加大了匹配时间㊂丁辉等［１６］为解决传统匹配算法配准时间长㊁配准率低问题，提出了一种将ＧＭＳ㊁矢量系数相似度（ＶＣＳ）与ＲＡＮＳＡＣ相结合的ＧＣ－ＲＡＮＳＡＣ图像配准算法，提高了匹配精度㊁缩短了匹配时间㊂本文在ＧＭＳ算法的启发下，由于ＧＭＳ匹配算法在利用运动平滑性约束进行匹配时仍会存在一些误匹配问题，影响其匹配率与配准率㊂因此为提高其算法的性能，本文提出了ＲＧＭＳ算法，先用ＲＡＮＳＡＣ对两幅图像的特征进行筛选，再利用ＧＭＳ进行图像的特征匹配，使ＧＭＳ算法提高其配准率的情况下，不影响匹配的实时性，并对ＲＧＭＳ算法进行了实证对比实验分析研究㊂１㊀ＯＲＢ特征点检测算法ＯＲＢ算法是由ＥｔｈａｎＲｕｂｌｅｅ等人［１７］提出的一种基于ＦＡＳＴ［１８］和ＢＲＩＥＦ［１９］非常快速的二进制描述符㊂其主要贡献在于：在ＦＡＳＴ中增加了一个快速和准确的方向计算，有效地计算了定向ＢＲＩＥＦ特征，并分析了定向ＢＲＩＥＦ特征的方差和相关性，减少了旋转ＢＲＩＥＦ特征的方差损失㊂１．１㊀ＯＦＡＳＴ算法ＯＲＢ算法首先提出基于ＦＡＳＴ的ＯＦＡＳＴ（ＦＡＳＴＫｅｙｐｏｉｎｔＯｒｉｅｎｔａｔｉｏｎ）算法㊂ＦＡＳＴ算法是一种二维图像的特征点检测算法㊂其将图片转换为灰度图，快速检测其特征点，具体步骤如下：（１）设中心点ｐ为目标像素，半径为ｒ，得到Ｍ个领域像素点；（２）分别对像素点与ｐ点灰度值之差的绝对值进行计算；（３）利用设定的阈值与步骤（２）得到的值进行对比，如果像素点与目标像素点ｐ的灰度值之差的绝对值大于设定的阈值，则认为该点为ＦＡＳＴ点，否则该点不为ＦＡＳＴ点㊂ＯＦＡＳＴ使用ＦＡＳＴ－９算法进行关键点检测定位，该算法利用一个 强度质心点 来计算角点的方向㊂强度质心点［２０］的具体定义为：假设一个角度的强度从其中心偏移，则可以使用向量来计算方向㊂计算流程为：（１）Ｒｏｓｉｎ定义图像矩为ｍｐｑ＝ðｘ，ｙｘｐｙｑＩ（ｘ，ｙ）（１）㊀㊀（２）利用这些图像矩找到质心点Ｃ＝（ｍ１０ｍ００，ｍ０１ｍ００）（２）㊀㊀（３）计算图像的中心点到强度质心点的向量ＯＣң，由此得到角点的角度：θ＝ａｔａｎ２（ｍ０１，ｍ１０）（３）㊀㊀其中，ａｔａｎ２是ａｒｃｔａｎ的四边形感知㊂为提高度量的旋转不变性，ｘ和ｙ在以ｒ为半径的圆形区域内㊂１．２㊀ＲＢＲＩＥＦ算法ＲＢＲＩＥＦ（Ｒｏｔａｔｉｏｎ－ＡｗａｒｅＢｒｉｅｆ）算法是通过对关键点的区域进行二进制计算，得到二进制字符串描述符㊂考虑图像块ｐ，定义τ为一个二进制计算：τ（ｐ，ｘ，ｙ）：＝１，ｐ（ｘ）＜ｐ（ｙ）０，ｐ（ｘ）ȡｐ（ｙ）{（４）㊀㊀其中，ｐ（ｘ）是ｐ在某点ｘ的强度㊂由此可以得到ｎ个二进制操作的组合向量：ｆｎ（ｐ）：＝ð１ɤｉɤｎ２ｉ－１τ（ｐ，ｘｉ，ｙｉ）（５）５７第９期冯宝凤，等：融合ＲＡＮＳＡＣ与ＧＭＳ图像特征的匹配算法㊀㊀对不同类型的测试分布，该算法考虑了高斯分布，选择描述子的长度ｎ＝２５６，每一个点是来自３１ˑ３１像素块的５ˑ５的子窗口㊂为了使ＢＲＩＥＦ不受图像旋转的影响，可根据关键点的方向来引导ＢＲＩＥＦ㊂对于任何长度为ｎ的描述子，需要ｎ个匹配对，在位置（ｘｉ，ｙｉ），定义一个２ˑｎ的矩阵：Ｓ＝ｘ１， ，ｘｎｙ１， ，ｙｎæèçöø÷（６）㊀㊀在得到关键点的方向θ和其旋转矩阵Ｒθ的情况下，构造Ｓ的旋转矩阵Ｓθ：Ｓθ＝ＲθＳ（７）㊀㊀所以，得到旋转的ＢＲＩＥＦ运算符变为ｇｎ（ｐ，θ）：＝ｆｎ（ｐ）｜（ｘｉ，ｙｉ）ɪＳθ（８）㊀㊀但是，旋转的ＢＲＩＥＦ方差会有损失㊂为了得到一个良好的二进制特征，提高描述子各个位置的方差，提出了如下ＲＢＲＩＥＦ算法，ＲＢＲＩＥＦ在方差和相关性方面对旋转ＢＲＩＥＦ进行了改进㊂（１）针对所有训练集的图像块进行计算，得到矩阵；（２）计算矩阵每一列的均值，按从小到大进行排序，得到向量Ｔ；（３）贪心搜索：①从Ｔ中取出一个对比对，计算该对比对与Ｒ各个对比对的相关联程度㊂若相关度大于阈值，则舍弃取出的对比对，否则将这个对比对加入Ｒ中㊂②重复进行步骤①的操作，其结果是让２５６个对比对存在Ｒ中㊂如果少于２５６个对比对，则提高设定的域值重复操作㊂③最终得到固定的２５６个对比对㊂２㊀改进的ＲＧＭＳ特征匹配算法利用ＯＲＢ进行图像特征点提取后，两幅图片的特征点存在明显差异，两幅图片差异越大，特征点越不一致㊂因此，本文提出ＲＧＭＳ算法，先用ＲＡＮＳＡＣ算法对两幅图像的特征进行筛选，再结合ＧＭＳ算法进行特征点匹配，提高图像的特征点匹配率㊂２．１㊀ＲＡＮＳＡＣ特征筛选ＲＡＮＳＡＣ（ＲａｎｄｏｍＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ）算法是由ＭＡＦｉｓｃｈｌｅｒ等［１１］提出的一种应用于图像分析和自动制图的模型拟合算法，该算法能够解释含有相当大比例的严重错误数据，非常适用于图像分析的应用㊂ＲＡＮＳＡＣ算法主要是通过一组含有 异常值 的数据，得到一个正确的数学模型㊂图像中的＂异常值＂，通常是指提取数据中含有噪声的干扰㊂ＲＡＮＳＡＣ并不是使用的数据越多越好，而是利用尽可能少的数据集，通过估计模型不断扩展数据集，直到得到合适的模型㊂ＲＡＮＳＡＣ的具体计算流程如下：（１）设定模型Ｍ１：该模型需要大于等于ｎ个数据点来获得自由参数，一组数据ｐ（其中的数据点数量应该大于ｎ），通过从ｐ中随机选择ｎ个数据点的一个子集Ｓ１来实例化模型；（２）通过Ｍ１确定ｐ中的子集Ｓ１∗，Ｓ１∗在Ｍ１的某个误差容限之内，称为Ｓ１的共识集；（３）如果Ｓ１∗大于阈值ｔ，则利用Ｓ１∗来计算一个新的模型Ｍ１∗；如果Ｓ１∗小于阈值ｔ，则随机再选择一个新的子集，重复上述步骤㊂设定迭代次数ｋ，经过ｋ次迭代后，找到最大的共识集拟合模型，或者以失败告终㊂ＲＡＮＳＡＣ算法包含３个未指定参数㊂２．１．１㊀确定误差容限误差容限定义为超过平均误差的一至两个标准差，标准差可以通过实验得到㊂如计算干扰数据和测量造成的隐含误差，可以得到样本偏差㊂数据的样本偏差是数据的误差容限的一个函数，误差容限对每个模型都是不同的㊂与总误差的大小相比，误差容限的变化相对较小㊂２．１．２㊀确定最大迭代次数得到最终模型需要设定所需的预期实验次数ｋ，实验次数越多，所需的时间也就越久㊂设ｗ是任何选定的数据点在模型的误差容限内的概率㊂则有：Ｅ（ｋ）＝ｂ＋２∗（１－ｂ）∗ｂ＋３∗（１－ｂ）２∗㊀㊀㊀ｂ ＋ｉ∗（１－ｂ）ｉ－１ｂ＋ ，Ｅ（ｋ）＝ｂ∗［１＋２∗ａ＋３∗ａ２ ＋㊀㊀㊀ｉ∗ａｉ－１＋ ］（９）其中，由ｋ得到的期望值为Ｅ（ｋ），ｂ＝ｗｎ，ａ＝１－ｂ（１０）㊀㊀因为几何数列之和具有如下性质：ａ／（１－ａ）＝ａ＋ａ２＋ａ３ ＋ａｉ＋（１１）㊀㊀则可利用该性质对ａ进行微分，得到：１／（１－ａ）２＝１＋２∗ａ＋３∗ａ２ ＋ｉ∗ａｉ－１＋ （１２）㊀㊀因此，可以得到：Ｅ（ｋ）＝１／ｂ＝ｗ－ｎ（１３）㊀㊀Ｅ（ｋ）一些数值列表对应的ｎ和ｗ的值见表１㊂６７智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀表１㊀Ｅ（ｋ）的一些数值的列表对应的ｎ和ｗ的值Ｔａｂ．１㊀ＬｉｓｔｏｆｓｏｍｅｖａｌｕｅｓｏｆＥ（ｋ）ｃｏｒｒｅｓｐｏｎｄｉｎｇｔｏｔｈｅｖａｌｕｅｓｏｆｎａｎｄｗｗｎ＝１２３４５６０．９１．１１．２１．４１．５１．７１．９０．８１．３１．６２．０２．４３．０３．８０．７１．４２．０２．９４．２５．９８．５０．６１．７２．８４．６７．７１３２１０．５２．０４．０８．０１６３２６４０．４２．５６．３１６３９９８２４４０．３３．３１１３７１２３４１２－０．２５．０２５１２５６２５－－㊀㊀再计算ｋ的标准差ＳＤ（ｋ）：ＳＤ（ｋ）＝ｓｑｒｔ［Ｅ（ｋ２）－Ｅ（ｋ）２］（１４）㊀㊀其中，Ｅ（ｋ２）＝ð¥ｉ＝０（ｂ∗ｉ２∗ａｉ－１）＝ð¥ｉ＝０［ｂ∗ｉ∗（ｉ－１）∗ａｉ－１］＋ð¥ｉ＝０（ｂ∗ｉ∗ａｉ－１）（１５）利用几何数列的特性和两个不同的指数，得到：２ａ／（１－ａ）３＝ð¥ｉ＝０（ｉ∗（ｉ－１）∗ａｉ－１）（１６）因此，最终可以得到：Ｅ（ｋ２）＝（２－ｂ）／（ｂ２），ＳＤ（ｋ）＝［ｓｑｒｔ（１－ｗｎ）］∗（１／ｗｎ）（１７）由此可看出，ＳＤ（ｋ）约等于Ｅ（ｋ）㊂如果想以概率ｚ确保随机选择中至少有一个是由ｎ个数据点组成的无错误组合，则需要ｋ次选择（每次至少选择ｎ个数据点），其中：（１－ｂ）ｋ＝（１－ｚ），ｋ＝［ｌｏｇ（１－ｚ）］／［ｌｏｇ（１－ｂ）］（１８）可以得到，当ｗｎ≪１时，ｋʈｌｏｇ（１－ｚ）Ｅ（ｋ）㊂因此，想要保证有一个高的概率ｚ，本文选择当ｚ＝０．９，ｗｎ≪１时，得到ｋʈ２．３Ｅ（ｋ）㊂为了达到筛选的目的，选择对模型进行５００次迭代，即Ｋ＝５００㊂２．１．３㊀阈值ｔ的选择阈值ｔ是确定ｐ的所有子集被找到的下限，其必须有一个足够大的共识集㊂因此，阈值ｔ的值不能太小㊂阈值的选择必须满足要有足够数量的数据点，并对改进的模型可以进行正确的评估㊂为了不让错误的模型和共识集兼容，令ｙ是随机给定的数据点在不正确模型误差容限内的概率，同时要求ｙｔ－ｎ足够小㊂目前还没有能够完全精确得到ｙ的方法，但可由假设其小于ｗ且ｙ＜０．５，则ｔ－ｎ的值等于５时，就可以达到高于９５％概率，使其与错误的模型不会存在兼容性㊂２．２㊀ＧＭＳ特征匹配ＧＭＳ（Ｇｒｉｄ－ｂａｓｅｄＭｏｔｉｏｎＳｔａｔｉｓｔｉｃｓ）算法［９］是一种快速匹配特征检测点的算法，通过该算法对筛选出的特征点进行匹配，得到ＲＧＭＳ改进的匹配结果㊂ＧＭＳ算法假设：运动平滑可以使得在一个领域周围的正确匹配，可在另一幅三维图像中相同的位置检测到㊂该假设意味着在正确匹配的邻近点，对于一个相同的位置，两幅图像中有着更多相似的特征㊂ＧＭＳ算法流程如下：假设图像Ｉａ和Ｉｂ对应的区域为ａ，ｂ{}，Ｉａ有Ｎ个特征点，Ｉｂ有Ｍ个特征点㊂Ｘ＝ｘ１，ｘ２，ｘ３， ，ｘｉ， ，ｘＮ{}是Ｉａ到Ｉｂ中所有最近邻特征匹配的集合㊂Ｘｉ⊆Ｘ是区域ａ，ｂ{}中ｘｉ匹配的子集㊂Ｓｉ是邻域支持的衡量标准：Ｓｉ＝χｉ－１（１９）㊀㊀ｘｉ邻域内的匹配数可以通过二项分布来计算，特征点的匹配是相互独立的，可以得到：ＳｉＢ（ｎ，ｐｔ），如果ｘｉ是真匹配Ｂ（ｎ，ｐｆ），如果ｘｉ是假匹配{（２０）式中：ｐｔ＝ｔ＋（１－ｔ）ｍ／Ｍ为真匹配的概率，ｐｆ＝β（１－ｔ）ｍ／Ｍ是假匹配的概率，ｔ为区域ａ支持域中一个特征正确匹配的概率，ｍ为ｂ邻域区域中的特征点数，Ｍ为Ｉｂ中的所有特征点数，β为弥补假设所增加的参数㊂为了增大描述差异，对Ｓｉ进行更广义的假设：Ｓｉ＝ðＫｋ＝１χａｋｂｋ－１（２１）㊀㊀其中，Ｋ表示两个不相交区域内匹配ｉ预测一起移动的数量，ａｋｂｋ{}表示预测的区域对㊂同时也可以得到Ｓｉ的二项分布：ＳｉＢ（Ｋｎ，ｐｔ），如果ｘｉ是真匹配Ｂ（Ｋｎ，ｐｆ），如果ｘｉ是假匹配{（２２）㊀㊀其中，ｎ表示每个支持区域中的特征数量平均值，Ｋ表示每个网格划分的区域㊂由于ＧＭＳ算法的性能和网格的大小相关，因此网格的划分非常重要㊂网格单元格越多，匹配定位效果越好，但也会影响计算时间㊂实验结果证明，Ｇ＝２０ˑ２０的网格有１００００个特征，得到ｎ的平均值为２５，如果需要更多的特征就需要更精细的单元格㊂为了达到更好的效果，本文采用Ｇ＝２０ˑ２０网７７第９期冯宝凤，等：融合ＲＡＮＳＡＣ与ＧＭＳ图像特征的匹配算法格进行划分㊂对于阈值Ｓｉｊ的设定，会把单元对分成真集㊁假集Ｔ，Ｆ{}两个集合㊂为了能够拒绝大量的错误单元对，阈值可以近似为τʈαｎ，由此可以得到一个单一的参数阈值函数：单元对ｉ，ｊ{}ɪＴ，如果Ｓｉｊ＞τｉ＝αｎｉＦ，其他{（２３）㊀㊀其中，ｎｉ是单个网格单元格中的特征数量的平均值，将每个网格划分为９个单元格，根据实验可得α＝６，ＧＭＳ算法是在ＢＦ算法的启发下得到的，ＢＦ算法可以得到大量的匹配对，但是难以可靠的分离正确和错误匹配㊂ＧＭＳ算法是将运动平滑封装在一个区域内，可以通过计算一个支持区域内的匹配数量，来区分一个匹配是否正确㊂３㊀实验结果与分析３．１㊀实验平台本次实验使用的ＣＰＵ为Ｉｎｔｅｌ（Ｒ）Ｃｏｒｅ（ＴＭ）ｉ５－１０３００Ｈ，频率为２．５０ＧＨｚ，操作系统为Ｗｉｎｄｏｗｓ１０，实验测试的图片来自ＴＵＭ数据集㊂对于ＴＵＭ数据集，选取两类图片进行实验㊂其中，实验１为纹理清晰丰富的家庭办公室长桌面图片集，实验２为表面光滑纹理较少的柜子图片集，分别选取２００张图片，１００组数据进行实验分析㊂实验１㊁实验２的图片样式如图１所示㊂㊀㊀㊀（ａ）实验１图片㊀㊀㊀㊀㊀㊀㊀㊀（ｂ）实验２图片图１㊀测试图片Ｆｉｇ．１㊀Ｔｅｓｔｐｉｃｔｕｒｅｓｏｆｅｘｐｅｒｉｍｅｎｔｓ１ａｎｄ２３．２㊀实验结果分析经典的特征点匹配方法种类有暴力匹配算法㊁ＳＩＦＴ算法㊁ＦＬＡＮＮ算法等，但是这些算法都存在匹配率低的问题，特别是在图片纹理低的情况下，匹配率不高㊂本文在ＧＭＳ的算法下融合ＲＡＮＳＡＣ算法，在纹理丰富和纹理低的情况下都能很好的进行特征点匹配，匹配率均高于其他算法㊂通过暴力匹配㊁ＦＬＡＮＮ㊁ＧＭＳ以及本文算法，分别对两类图片集进行特征点匹配实验㊂实验１的ＲＧＭＳ算法匹配效果如图２所示，４种算法的匹配率如图３所示，４种算法对图片集的特征点匹配效果对比详见表２㊂由表２可知，传统的ＢＦ＋ＫＮＮ算法的匹配率为２１．０２％，ＦｌＡＮＮ算法的匹配率为１９．５９％，ＧＭＳ算法的匹配率为２７．５２％，ＲＧＭＳ算法的匹配率为２９．６５％；ＲＧＭＳ算法比ＧＭＳ算法提高了２．１３％，比ＦｌＡＮＮ算法提高了１０．０６％，比ＢＦ算法提高了８．６３％；虽然匹配时间略高于其它算法，但总体上并不影响该算法的实时性㊂表２㊀基于ＯＲＢ算法的４种算法对实验１图片集的特征点匹配效果对比Ｔａｂ．２㊀ＣｏｍｐａｒｉｓｏｎｏｆｆｏｕｒａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎＯＲＢａｌｇｏｒｉｔｈｍｆｏｒｍａｔｃｈｉｎｇｆｅａｔｕｒｅｐｏｉｎｔｓｏｎｔｈｅｅｘｐｅｒｉｍｅｎｔ１ｉｍａｇｅｓｅｔＢＦ＋ＫＮＮＦｌＡＮＮＧＭＳＲＧＭＳ平均提取个数１０００１０００１０００１０００平均匹配时间／ｓ０．００７２２６０．０２７１５００．１０５４３９０．１０９３８９平均匹配个数２１０．２１９５．９２７５．２２９６．５平均匹配率／％２１．０２１９．５９２７．５２２９．６５图２㊀ＲＧＭＳ算法对实验１图片匹配效果图Ｆｉｇ．２㊀ＲＧＭＳａｌｇｏｒｉｔｈｍｍａｔｃｈｉｎｇｅｆｆｅｃｔｆｏｒｅｘｐｅｒｉｍｅｎｔ１ｉｍａｇｅｓ0.500.450.400.350.300.250.200.1520406080100图片序列号匹配率B FF L A N NG M S R G M S图３㊀实验１中４种算法匹配率的结果图Ｆｉｇ．３㊀ＧｒａｐｈｏｆｔｈｅｒｅｓｕｌｔｓｏｆｔｈｅｍａｔｃｈｉｎｇｒａｔｅｏｆｔｈｅｆｏｕｒａｌｇｏｒｉｔｈｍｓｉｎＥｘｐｅｒｉｍｅｎｔ１㊀㊀表３是对实验２纹理少的图片集进行特征点提取与特征点匹配，ＲＧＭＳ算法匹配效果如图４所示，４种算法的匹配率效果如图５所示㊂由此可见，对于表面纹理少的图片，传统的ＢＦ＋ＫＮＮ算法的匹配率为９．５２％，ＦｌＡＮＮ的匹配率为６．７８％，ＧＭＳ的匹配率为１５．３４％，ＲＧＭＳ算法的匹配率为１７．５４％；ＲＧＭＳ算法比ＧＭＳ算法提高了２．２％，比ＦｌＡＮＮ算法提高了１０．７６％，比ＢＦ算法提高了８．０２％；匹配时间较其它算法略高，但比ＧＭＳ算法用时少０．０１，且总体上不影响该算法的实时性，说明该算法在图片８７智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀纹理较少的情景更具优势㊂表３㊀基于ＯＲＢ算法的４种算法对实验２图片集的特征点匹配效果对比Ｔａｂ．３㊀ＣｏｍｐａｒｉｓｏｎｏｆｔｈｅｆｏｕｒａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎｔｈｅＯＲＢａｌｇｏｒｉｔｈｍｆｏｒｍａｔｃｈｉｎｇｆｅａｔｕｒｅｐｏｉｎｔｓｏｎｔｈｅＥｘｐｅｒｉｍｅｎｔ２ｉｍａｇｅｓｅｔＢＦ＋ＫＮＮＦｌＡＮＮＧＭＳＲＧＭＳ平均提取个数５００５００１０００１０００平均匹配时间／ｓ０．００１２８９０．００１９６２０．１４３００８４０．１３０７５平均匹配个数４７．６３３．９１５３．４１７５．４平均匹配率／％９．５２６．７８１５．３４１７．５４图４㊀ＲＧＭＳ算法对实验２图片匹配效果图Ｆｉｇ．４㊀ＲＧＭＳａｌｇｏｒｉｔｈｍｍａｔｃｈｉｎｇｅｆｆｅｃｔｆｏｒｅｘｐｅｒｉｍｅｎｔ２ｉｍａｇｅｓ0.350.300.250.200.150.100.0520406080100图片序列号匹配率B FF L A N NG M S R G M S图５㊀实验２中４种算法匹配率的结果图Ｆｉｇ．５㊀ＧｒａｐｈｏｆｔｈｅｒｅｓｕｌｔｓｏｆｔｈｅｍａｔｃｈｉｎｇｒａｔｅｏｆｔｈｅｆｏｕｒａｌｇｏｒｉｔｈｍｓｉｎＥｘｐｅｒｉｍｅｎｔ２４㊀结束语本文提出的ＲＧＭＳ算法是为解决传统的算法存在配准率低的问题㊂该算法主要是将ＲＡＮＳＡＣ与ＧＭＳ算法相结合，采用ＲＡＮＳＡＣ算法筛选特征点，得到更适合匹配的特征；再通过ＧＭＳ对特征点进行平滑约束以及划分网格计算，优化了匹配结果㊂同时，将传统算法与ＲＧＭＳ算法进行对比实验得到：（１）ＲＧＭＳ算法的匹配率在不影响计算速度的情况下高于其他匹配方法；（２）在对纹理少的图片集匹配时，ＲＧＭＳ算法匹配时间少于ＧＭＳ算法，缩短了匹配时间，更具有匹配优势，可以进行高质量㊁实时的特征匹配㊂关于如何提高本文算法的匹配时间，如何获得更高的匹配率和准确率，并将其运用于图像拼接㊁三维重建中，将是本文的后续研究内容㊂参考文献［１］贾迪，朱宁丹，杨宁华，等．图像匹配方法研究综述［Ｊ］．中国图象图形学报，２０１９，２４（５）：６７７－６９９．［２］ＬＯＷＥＤＧ．Ｄｉｓｔｉｎｃｔｉｖｅｉｍａｇｅｆｅａｔｕｒｅｓｆｒｏｍｓｃａｌｅ－ｉｎｖａｒｉａｎｔｋｅｙｐｏｉｎｔｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌｊｏｕｒｎａｌｏｆｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，２００４，６０（２）：９１－１１０．［３］ＳｎａｖｅｌｙＮ，ＳｅｉｔｚＳＭ，ＳｚｅｌｉｓｋｉＲ．Ｓｋｅｌｅｔａｌｇｒａｐｈｓｆｏｒｅｆｆｉｃｉｅｎｔｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎ［Ｃ］／／２００８ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＩＥＥＥ，２００８：１－８．［４］ＳＥＳ，ＬＯＷＥＤ，ＬＩＴＴＬＥＪ．Ｍｏｂｉｌｅｒｏｂｏｔｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇｗｉｔｈｕｎｃｅｒｔａｉｎｔｙｕｓｉｎｇｓｃａｌｅ－ｉｎｖａｒｉａｎｔｖｉｓｕａｌｌａｎｄｍａｒｋｓ［Ｊ］．ＴｈｅｉｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆｒｏｂｏｔｉｃｓＲｅｓｅａｒｃｈ，２００２，２１（８）：７３５－７５８．［５］ＭＡＪ，ＪＩＡＮＧＸ，ＦＡＮＡ，ｅｔａｌ．Ｉｍａｇｅｍａｔｃｈｉｎｇｆｒｏｍｈａｎｄｃｒａｆｔｅｄｔｏｄｅｅｐｆｅａｔｕｒｅｓ：ａｓｕｒｖｅｙ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０２０，１２９（１）：２３－７９．［６］ＬＩＤ，ＸＵＱ，ＹＵＷ，ｅｔａｌ．ＳＲＰ－ＡＫＡＺＥ：ａｎｉｍｐｒｏｖｅｄａｃｃｅｌｅｒａｔｅｄＫＡＺＥａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｓｐａｒｓｅｒａｎｄｏｍｐｒｏｊｅｃｔｉｏｎ［Ｊ］．ＩＥＴＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０２０，１４（４）：１３１－１３７．［７］ＢＡＹＨ，ＥＳＳＡ，ＴＵＹＴＥＬＡＡＲＳＴ，ｅｔａｌ．Ｓｐｅｅｄｅｄ－ＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ（ＳＵＲＦ）［Ｊ］．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ，２００８，１１０（３）：３４６－３５９．［８］ＬｅｕｔｅｎｅｇｇｅｒＳ，ＣｈｌｉＭ，ＳｉｅｇｗａｒｔＲＹ．ＢＲＩＳＫ：Ｂｉｎａｒｙｒｏｂｕｓｔｉｎｖａｒｉａｎｔｓｃａｌａｂｌｅｋｅｙｐｏｉｎｔｓ［Ｃ］／／２０１１ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１１：２５４８－２５５５．［９］ＢｉａｎＪＷ，ＬｉｎＷＹ，ＭａｔｓｕｓｈｉｔａＹ，ｅｔａｌ．Ｇｍｓ：Ｇｒｉｄ－ｂａｓｅｄｍｏｔｉｏｎｓｔａｔｉｓｔｉｃｓｆｏｒｆａｓｔ，ｕｌｔｒａ－ｒｏｂｕｓｔｆｅａｔｕｒｅｃｏｒｒｅｓｐｏｎｄｅｎｃｅ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２０１７：４１８１－４１９０．［１０］ＷＵＹ，ＭＡＷ，ＧＯＮＧＭ，ｅｔａｌ．Ａｎｏｖｅｌｐｏｉｎｔ－ｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｆａｓｔｓａｍｐｌｅｃｏｎｓｅｎｓｕｓｆｏｒｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ［Ｊ］．ＩＥＥＥＧｅｏｓｃｉｅｎｃｅａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇＬｅｔｔｅｒｓ，２０１４，１２（１）：４３－４７．［１１］ＦＩＳＣＨＬＥＲＭＡ，ＢＯＬＬＥＳＲＣ．Ｒａｎｄｏｍｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ：ａｐａｒａｄｉｇｍｆｏｒｍｏｄｅｌｆｉｔｔｉｎｇｗｉｔｈａｐｐｌｉｃａｔｉｏｎｓｔｏｉｍａｇｅａｎａｌｙｓｉｓａｎｄａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ［Ｊ］．ＣｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ，１９８１，２４（６）：３８１－３９５．［１２］ＭＵＪＡＭ，ＬＯＷＥＤＧ．Ｆａｓｔａｐｐｒｏｘｉｍａｔｅｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｓｗｉｔｈａｕｔｏｍａｔｉｃａｌｇｏｒｉｔｈｍｃｏｎｆｉｇｕｒａｔｉｏｎ［Ｊ］．ＶＩＳＡＰＰ（１），２００９，２（３３１－３４０）：２．［１３］ＬｉｎＷＹＤ，ＣｈｅｎｇＭＭ，ＬｕＪ，ｅｔａｌ．Ｂｉｌａｔｅｒａｌｆｕｎｃｔｉｏｎｓｆｏｒｇｌｏｂａｌｍｏｔｉｏｎｍｏｄｅｌｉｎｇ［Ｃ］／／ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１４：３４１－３５６．［１４］程向红，李俊杰．基于运动平滑性与ＲＡＮＳＡＣ优化的图像特征匹配算法［Ｊ］．中国惯性技术学报，２０１９，２７（６）：７６５－７７０．［１５］陈洁，高志强，密保秀，等．引入极线约束的ＳＵＲＦ特征匹配算法［Ｊ］．中国图象图形学报，２０１６，２１（８）：１０４８－１０５６．［１６］丁辉，李丽宏，原钢．融合ＧＭＳ与ＶＣＳ＋ＧＣ－ＲＡＮＳＡＣ的图像配准算法［Ｊ］．计算机应用，２０２０，４０（４）：１１３８－１１４３．［１７］ＲｕｂｌｅｅＥ，ＲａｂａｕｄＶ，ＫｏｎｏｌｉｇｅＫ，ｅｔａｌ．ＯＲＢ：ＡｎｅｆｆｉｃｉｅｎｔａｌｔｅｒｎａｔｉｖｅｔｏＳＩＦＴｏｒＳＵＲＦ［Ｃ］／／２０１１Ｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，２０１１：２５６４－２５７１．［１８］ＲｏｓｔｅｎＥ．Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇｆｏｒｖｅｒｙｈｉｇｈ－ｓｐｅｅｄｃｏｒｎｅｒｄｅｔｅｃｔｉｏｎ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥＣＣＶ，２００６：４３０－４４３．［１９］ＣａｌｏｎｄｅｒＭ，ＬｅｐｅｔｉｔＶ，ＳｔｒｅｃｈａＣ，ｅｔａｌ．Ｂｒｉｅｆ：Ｂｉｎａｒｙｒｏｂｕｓｔｉｎｄｅｐｅｎｄｅｎｔｅｌｅｍｅｎｔａｒｙｆｅａｔｕｒｅｓ［Ｃ］／／Ｅｕｒｏｐｅａｎｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，２０１０：７７８－７９２．［２０］ＲＯＳＩＮＰＬ．Ｍｅａｓｕｒｉｎｇｃｏｒｎｅｒｐｒｏｐｅｒｔｉｅｓ［Ｊ］．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ，１９９９，７３（２）：２９１－３０７．９７第９期冯宝凤，等：融合ＲＡＮＳＡＣ与ＧＭＳ图像特征的匹配算法。
基于尺度研究的SIFT特征匹配改进算法
基于尺度研究的
李鑫’刘利钊’ ， 。 陈培芝’李茂青’李昕 ， ， １ ．厦 门大学 信息科 学 与技 术 学院，． 福建 厦 门 ３ Ｏ ５ ６ ０ １
特征匹配改进算法
特 征 点 ； 通 过 限 制 匹 配 点 的 尺 度 关 系 减 小 了错 配 概 率 ，并 通 过 改 进 原 始 匹 配 策 略 提 高 了 匹 配 算 法 的 准 确 率。
Ｍｉ ｏａｃ ｙ ｋ ｌｊｚ ｋ和 Ｓ ｈ ｄ 对 这类 方法 ｃ ｍｉｍｌ 韵 性 能 进 行 了 测试 Ｉ ，分 别 在 不 同光 照 ， 尺 度 ，旋 转 ，剪 切 ，图 像 模 糊 和
的 结 构和 应 用 尺 度空 间 的特 征 提取 算 法 的性 能 Ｉ １。 通过 研 究 尺 度 选择 ６ １
拼按 、图像 匹配 、模式识 别等方面得
到 了广泛 的应 用 。
错 配概 率 ， 过 改进 原 始 匹配 策 略提 高 了 通 匹 配算 法 的 准确 率 。实验 表 明 ，改 进后 的 Ｓ Ｔ 够 比 传统 的 Ｓ Ｔ 到 更 多的特 征 点 ， Ｉ能 Ｆ Ｉ找 Ｆ 提 高 了匹 配 的 准确 率 ， 法 的 鲁棒 性 得 到 算
３ 特征描述子 匹配 ．
３． Ｓ ＦＴ描 述 子 １ Ｉ
原 始 ＳＩ ＦＴ 匹配 方 法 是 首先 将 坐 标 轴 旋 转 为 特 征 点 的 方 向 ， 以 确 保
我 们 根据 Ｌ ＯＷ Ｅ算法 的 经验 值 选 取一 个 初始 检 测 区 间 ，以 ２ 倍速 度 增长 该 区 间 ，当在连 续 增长 ３ 次时 无 新 的特 征 点 出现 ，我 们便 认 为该 区间 的上 限为 整体检 测 区 间的 上 限 ，同理确 定检 测 区
参数 曲线 的形式 出现 ： 给 定 任 意 参 数 曲 线 ， 假 设 变 换 不同 的 ｏ， 到ｘ， 得 Ｙ参数 和 曲率 Ｋ 随参 数 Ｔ 的 变 化 规 律 如 下 图所 示 Ｉ： Ｉ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 SHANGHAI JIAO TONG UNIVERSITY 学士学位论文 THESIS OF BACHELOR
基于ransac算法的sift特征匹配研究（OpenCV+VS2010） 视频图像跟踪系统
1 上海交通大学 毕业设计（论文）学术诚信声明
本人郑重声明：所呈交的毕业设计（论文），是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。
作者签名： 日期： 年 月 日 视频图像跟踪系统
1 上海交通大学 毕业设计（论文）版权使用授权书
本毕业设计（论文）作者同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本毕业设计（论文）的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本毕业设计（论文）。 保密□，在 年解密后适用本授权书。 本论文属于 不保密□。 （请在以上方框内打“√”）
作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 视频图像跟踪系统
1 视频图像跟踪系统 摘要 图像（Image）--是客观世界的景物通过光学系统作用后产生的影像。图像直观地反映了场景中物体的颜色、亮度等特征，从而使我们能清晰分辨他们的形状、大小和空间位置。近30年来人们试图研究基于计算机的视觉系统，并且试图利用其系统来代替工业农业上的有害劳动。这样的视觉系统渐渐地进入我们的生活，让我们的生活变得很丰富，并且我们现在享受着图像处理这学问的成果。在世界上的先进的国家都设立了图像处理研究所，研究解决国防部门所要的问题。 本文将介绍基于OpenCV（Open Source Computer Vision Library）的视频图像匹配、拼接、融合和目标跟踪的算法以及方法。说到图像拼接，本文中所用的图像拼接算法是高效的SIFT特征算法。首先，用两个通用的USB摄像头来实时地进行采集图像，并对这两幅图像提取SIFT特征点。然后，进行粗匹配。最后用RANSAC算法对所提取出来的SIFT特征点匹配对进行提纯以及估计模型参数。最后把两幅图像拼接成一幅完整的图像，并且用加权平均算法进行无缝拼接。再进行摄像头标定，求出两个通用摄像头的内外参数，最后进行测距以及跟踪。最终取得了令人满意的结果。
关键词：SIFT，匹配,拼接，配准，RANSAC 视频图像跟踪系统
1 VIDEO TRACKING SYSTEM ABSTRACT For many years, people have been studying how to make the robot or the computer able to identify targets and obtain information about the surrounding environment. We people can easily see and identify every kind of objects, but for computers or robots, this is a very difficult task and it is a process that involves a lot of scientific knowledge. The main part of object recognition is digital image processing. After the invention of the computer, people began to direct their research on how to make the computer more powerful and useful. For this purpose, many scientists have dedicated their life for the development of computer. The rapid development of computer causes a very fast development of digital image processing. Why we people study science? Of course the answer will be to make our life easier, and to be able to live in our dream life, so that we can enjoy the life in comfort and happiness. Nowadays, Image processing technology is everywhere around us, but sometimes because we are used to this technology so we don’t pay attention. For example, the phone's handwriting input method, company entrance fingerprint identification system, license plate recognition system, robotics system program for exploring the lunar, medical imaging technology, facial recognition systems, and satellite imaging system and so on. In the last three decades, image processing technology has made a rapid development, which is inseparable from the development of computers, and more inseparable from the development of materials science. We can notice that science now have penetrated into every professional image processing and the image comes to many areas. These days image processing technology is directly related to our standard life, this technology involves image recognition, image analysis and image stitching, etc. Image processing is now facing enormous challenges, due to the development of materials processing industry, CNC machine tools and control theory, image processing technology requirements are very high, Therefore, many scientists have spent their life studying image processing technology, trying to develop more flexible, more reliable, more accurate image processing technology and image processing algorithms. Video tracking system includes the image stitching technology, when we mention image stitching technology, we have to talk about image matching and image registration, because these two modules are the core parts of the image stitching. In this study, I used Scale-invariant feature transform (SIFT) algorithm, this algorithm features repeatability, unique, localized, quantitative, accuracy and efficiency. First from the two cameras (people left and right eye) in synchronous reads the image sequence, and I applied these image sequences RANSAC algorithm based on SIFT feature matching and obtained a good image stitching. Then this image with an image template matching of image recognition and tracking (based on SIFT), while supporting the binocular measurements to obtain distance information. Typically, about two a moment to read the two camera images with a lot SIFT feature point, so the need to purify the data using the RANSAC algorithm, like that