单目视觉定位中SURF算法参数的优化

移动机器人视觉导航

移动机器人视觉导航。 0504311 19 刘天庆一、引言 智能自主移动机器人系统能够通过传感器感知外界环境和自身状态，实现在有障碍物环境中面向目标的自主运动，从而完成一定作业功能。其本身能够认识工作环境和工作对象，能够根据人给予的指令和“自身”认识外界来独立地工作，能够利用操作机构和移动机构完成复杂的操作任务。因此，要使智能移动机器人具有特定智能，其首先就须具有多种感知功能，进而进行复杂的逻辑推理、规划和决策，在作业环境中自主行动。机器人在行走过程中通常会碰到并且要解决如下三个问题：（1）我（机器人）现在何处？（2）我要往何处走？（3）我要如何到达该处？其中第一个问题是其导航系统中的定位及其跟踪问题，第二、三个是导航系统的路径规划问题。移动机器人导航与定位技术的任务就是解决上面的三个问题。移动机器人通过传感器感知环境和自身状态，进而实现在有障碍物的环境中面向目标自主运动，这就是通常所说的智能自主移动机器人的导航技术。而定位则是确定移动机器人在工作环境中相对于全局坐标的位置及其本身的姿态，是移动机器人导航的基本环节。 目前，应用于自主移动机器人的导航定位技术有很多，归纳起来主要有：安装CCD 摄像头的视觉导航定位、光反射导航定位、全球定位系统GPS(Global Positioning System)、声音导航定位以及电磁导航定位等。下面分别对这几种方法进行简单介绍和分析。 1、视觉导航定位 在视觉导航定位系统中，目前国内外应用较多的是基于局部视觉的在机器人中安装车载摄像机的导航方式。在这种导航方式中，控制设备和传感装置装载在机器人车体上，图像识别、路径规划等高层决策都由车载控制计算机完成。视觉导航定位系统主要包括：摄像机（或CCD 图像传感器）、视频信号数字化设备、基于DSP 的快速信号处理器、计算机及其外设等。现在有很多机器人系统采用CCD 图像传感器，其基本元件是一行硅成像元素，在一个衬底上配置光敏元件和电荷转移器件，通过电荷的依次转移，将多个象素的视频信号分时、顺序地取出来，如面阵CCD传感器采集的图像的分辨率可以从32×32 到1024×1024 像素等。视觉导航定位系统的工作原理简单说来就是对机器人周边的环境进行光学处理，先用摄像头进行图像信息采集，将采集的信息进行压缩，然后将它反馈到一个由神经网络和统计学方法构成的学习子系统，再由学习子系统将采集到的图像信息和机器人的实际位置联系起来，完成机器人的自主导航定位功能。 视觉导航定位中，图像处理计算量大，计算机实时处理的速度要达到576MOPS~5.76BOPS，这样的运算速度在一般计算机上难以实现，因此实时性差这一瓶颈问题有待解决； 另外，对于要求在黑暗环境中作业的机器人来说，这种导航定位方式因为受光线条件限制也不太适应。 当今国内外广泛研制的竞赛足球机器人通常都采用上面所说的视觉导航定位方式，在机器人小车子系统中安装摄像头，配置图像采集板等硬件设备和图像处理软件等组成机器人视觉系统。通过这个视觉系统，足球机器人就可以实现对球的监测，机器人自身的定位，作出相应动作和预测球的走向等功能

机器人视觉物体定位方法

机器人视觉物体定位方法 本次设计的题目是机器人视觉物体定位。伴随社会发展，机器人的利用越来越普及，出现了多种多样的智能机器人，由此也引发了对机器视觉的研究热潮。文章首先介绍了机器视觉的发展历程，并详细说明了各阶段的特点。接着概述了机器视觉技术的原理，深入剖析了主流视觉物体定位方法。然后介绍了机器人视觉物体定位方法常用的几种应用。最后介绍了几种新颖的视觉物体定位方法，并猜想机器人视觉物体定位技术未来发展方向。 关键词：机器视觉 SLAM技术单目视觉双目视觉多目视觉 第一章：绪论 1.1选题的背景及意义 在我国持续爆发的2019新型冠状病毒（即2019-nCoV）事件中,自动化食品仓储配送系统服务包括机器人、无人驾驶、无人机等再次成为讨论的焦点。配送机器人如何实现自动取货送货？无人驾驶汽车是怎么躲避行人？无人机巡航中怎么确定物体之间的距离？当我们谈到相关的话题时，机器视觉定位是无论如何也绕不开的问题。 自被誉为“机器人之父”的恩格尔伯格先生1959年发明第一台机器人以来，科学家一直把对机器人的研究作为研究的重点方向。传统的机器人缺乏环境感知能力和自动应变能力，仅仅只能在严格的预定义的环境中完成一些预定义和指令下的动作,应用非常有限局限。随着机器人逐渐走进人们的生产和生活中，人们也对机器人提出了更高的要求，希望实现在生产加工中对物体的自动加工、对自身运动轨迹实时的随动检测，节省对其运动轨迹的预先编程，提高生产效率。要达到这些要求，必须同时满足图像信息的获取、采集、处理和输出，这就是本文的研究重点：机器人视觉物体定位方法。

机器人视觉物体定位系统的设计和研发是为了更好地为工业机器人服务，它的本质是发挥摄像机定位以及跟踪性功能，很多企业在自身生产环节依赖于机器人，生产效率明显得到改善。然而很多的机器人是半自动的工作模式，只有在人工操控的指引下才能完成工作任务，这样的机器人实用性很差，无法彻底解放人工，实现自动化操作。为了提高机器人接收外界信息、感知外界信息的能力，进一步提高机器人的工作效率，保障工业生产的精度和质量，在以往的机器人系统中新增全新的计算机图像视觉获取系统,通过视觉图像获取系统中所捕捉的图像和外界信息,对捕捉的图像信息进行处理和分析识别，继而让机器人能够识别外界信息，然后再全面分析图像的基础上完成后续的重建和精准化计算，通过一系列的重建以及精准化的计算全面应用机器人控制柜通讯等等设备，掌控全面的工作，实现机器人对外界信息的跟踪和定位。 1.2国内外研究现状 国外研究现状 国外最先开始视觉物体定位技术的研究，应用领域也相对广泛，并且占据绝对的技术优势，其主要涉及机器人移动导航、三维立体测量、虚拟现实VR技术等。 20世纪60年代,美国mit的robert研究人员提出三维景物分析,标志着立体视觉和影像技术的结合点而诞生。立体视觉在此后20年的时间迅速地发展成为一门新的影像技术学科。到70年代时,以marr为主要代表的一批视觉物体定位方法研究学者已经整理和发展出了一整套关于视觉计算的理论基础。到80 年代后，大量利用空间几何研究双目立体视觉的学者提出了一系列理论与实际成果。 卡内基梅隆大学的Tomasi 和Kanade 等人对立体视觉的研究建立在摄像机为正交投影模型的假设下，分解出了三维结构和相机运行，成功研究出了基于图像的三维重建技术。但是，这项技术存在明显的缺点，由于假设相机为正交投影模型，而这个假设仅仅在物体深度远远大于物体尺寸时才是合理假设。美国

基于特征的图像匹配算法毕业设计论文(含源代码)

诚信声明 本人声明： 我所呈交的本科毕业设计论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人完全意识到本声明的法律结果由本人承担。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：2010 年05 月20日

毕业设计（论文）任务书 设计（论文）题目： 学院：专业：班级： 学生指导教师（含职称）：专业负责人： 1．设计（论文）的主要任务及目标 (1) 了解图象匹配技术的发展和应用情况，尤其是基于特征的图象匹配技术的发展和应用。 (2) 学习并掌握图像匹配方法，按要求完成算法 2．设计（论文）的基本要求和内容 （1）查阅相关中、英文文献，完成5000汉字的与设计内容有关的英文资料的翻译。（2）查阅15篇以上参考文献，其中至少5篇为外文文献，对目前国内外图象匹配技术的发展和应用进行全面综述。 （3）学习图象匹配算法，尤其是基于特征的图象匹配算法。 （4）实现并分析至少两种基于特征的图象匹配算法，并分析算法性能。 3．主要参考文献 [1]谭磊, 张桦, 薛彦斌．一种基于特征点的图像匹配算法[J]．天津理工大学报，2006， 22(6)，66-69． [2]甘进，王晓丹，权文．基于特征点的快速匹配算法[J]．电光与控制，2009，16(2)， 65-66． [3]王军，张明柱．图像匹配算法的研究进展[J]．大气与环境光学学报，2007，2(1)， 12-15．

机器视觉定位技术应用

机器视觉技术应用--视觉定位系统 （编辑：李军单位：无锡创视新科技有限公司） 当前，工业产品种类繁多，在工业产品的生产过程中，都可能涉及到自动定位。如自动化生产线中要求对各零件快速、准确的安装到位。但目前还有部分加工厂还都采用传统的人工定位方法，此方法存在以下缺点： （1）长时间定位单一产品，检测工人眼睛容易疲劳，并且容易受情绪的影响，定位结果难以保证； （2）每个工人对同种被定位准确性的判断标准有轻微的浮动，定位标准不一致，因此很难保证高质量的产品； （3）人工定位的速度相对很慢，定位准确一个产品就需要很长时间，人工定位无法满足高速生产线的在线定位需求。 随着科技的发展，市场及用户对产品的精密程度和质量的要求越来越高，传统的定位方法已经不能满足用户的需求，因此，行业便相继引进机器视觉技术。 机器视觉就是用机器代替人眼来做测量和判断，通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉技术具备定位功能，能够自动判断物体的位置，并将位置信息通过一定的通讯协议输出。此功能多用于全自动装配和生产，譬如自动组装、自动焊接、自动包装、自动灌装、自动喷涂，多配合自动执行机构（机械手、焊枪、喷嘴等）。 基于机器视觉的视觉定位技术得到了广大加工厂商的普遍关注，全自动视觉定位方法不但克服了传统人工定位方法的缺点，同时也发挥了自己快速准确的优点：（1）定位精度高，定位结果可靠、稳定； （2）定位速度快，并且可以长时间工作，可以达到24小时全天运行。 在视觉定位检测系统中，能够准确识别产品的方向和位置是系统的核心。定位检测可分为两个步骤，一是制作标准模板，二是搜索。视觉定位系统采用先进的图像视觉检测技术，实现对高速运动的工业产品进行实时全面的视觉定位分析。当系统配备一台高性能彩

单目视觉定位方法研究综述

万方数据

万方数据

万方数据

万方数据

单目视觉定位方法研究综述 作者：李荣明， 芦利斌， 金国栋 作者单位：第二炮兵工程学院602教研室,西安,710025 刊名： 现代计算机：下半月版 英文刊名：Modem Computer 年，卷(期)：2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报（工学版） 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02)

图像匹配之surf算法

上面这段文字的大体意思就是说： SURF意指加速的具有鲁棒性的特征，由Bay在2006年首次提出，这项技术可以应用于计算机视觉的物体识别以及3D重构中。SURF算子由SIFT算子改进而来，一般来说，标准的SURF算子比SIFT算子快好几倍，并且在多幅图片下具有更好的鲁棒性。SURF最大的特征在于采用了harr特征以及积分图像integral image的概念，这大大加快了程序的运行时间。 surf提出算法参见http://www.vision.ee.ethz.ch/~surf/papers.html有paper下载地址。 1、提取特征点 2、提取特征描述符 1. 特征点的提取 1）利用Hessian矩阵，计算特征值α 其中Lxx(x, σ)是高斯滤波后图像g(σ)的在x方向的二阶导数,其他的Lyy(x, σ)、Lxy(x, σ)都是g(σ)的二阶导数。为了减小计算量，原文使用了一个简单的方法，并利用了积分图像的优势（大大的减少计算量），方法其实很简单就是在模糊的基础上将原本的模块近似下。 总所周知，一般计算图像的二阶导时，利用下面的公式 d2f(x)/dx2=(f(x+1)-f(x))-(f(x)-f(x-1))=-2*f(x)+f(x+1)+f(x-1)。但是f(x)=g(h(x))【h(x)为图像的灰度值，f(x)

是将h(x)高斯滤波处理的灰度函数】 图一模板近似 以9X9滤波器为例，如上图所示，左边两幅图分别为灰度图像在中心点（黑色点）处的二阶导数d2f(x)/dx2和 d2f(x)/dxdy的模板对应的值, 近似后变成右边的两幅图，图中灰色部分像素值为0。可是这样计算特征值不是也很复杂么？当然，所以作者提供了一种新思路--使用积分图像。 积分图像，顾名思义，即指当前像素点所在位置距原点（0,0）所包围面的所有灰度之和。 绿色的部分为当前像素点，红色为积分区域。 这样计算图像中任意一块矩形区域的灰度之和Sx只需要利用矩形4个顶点(Xi,Yi)(i=1,2,3,4 顺序为从上之下，先左后右)的积分值S（x,y）即可。 Sx=S(X1,Y1)+S(X4,Y4)-S(X2,Y2)-S(X3,Y3) 至此，大家应该知道近似二阶导数的高斯模板并引入积分图像的好处了吧，只需要在函数定义之前计算各个坐标点的积分图像，然后就能方便的求出hessian的特征值。 不过由于函数模板的近似，这里需要修正下特征值α的求解公式： 这里Dxx和Dxy就是根据图一得到的，而Dyy和Dxx类似，只需要导致一下模板即可。 2）根据是否为领域极大值判断特征点

图像匹配搜索算法

本文基于相关性分析来实现图像匹配 第一步：读取图像。 分别读取以下两幅相似的图片，显示效果如下： 第二步：选择一副图像的子区域。用户可以通过鼠标选择需要截取的图像部分，用于匹配。随机选取图片的一块区域，如下图：

第三步：使用相关性分析两幅图像 采用协方差的方式计算相关系数，分析图片的相似性。 1．协方差与相关系数的概念 对于二维随机变量(,)X Y ，除了关心它的各个分量的数学期望和方差外，还需要知道这两个分量之间的相互关系，这种关系无法从各个分量的期望和方差来说明，这就需要引进描述这两个分量之间相互关系的数字特征——协方差及相关系数。 若X Y 与相互独立,则()( )0 Y E X EX Y EY σ--???? =≠;若()()0E X EX Y EY --≠????,则表 示X 与Y 不独立,X 与Y 之间存在着一定的关系 设 (,)X Y 是二维随机变量， 则称()()E X EX Y EY --????为X 与Y 的协方差（Covariance ），记为 ()cov ,X Y 或XY σ，即 ()()()cov ,XY X Y E X EX Y EY σ==--???? 若 0X σ≠ 且0Y σ=≠，则称 XY XY X Y σρσσ== 为X 与Y 的相关系数（Correlation Coefficient ）。()c o v ,X Y 是 有量纲的量，而XY ρ则是无量纲的量．协方差常用下列公式计算

()() =-? cov,X Y E XY EX EY 2．用全搜索和协方差计算截取图片与另外一幅图片的各点的相似度。c=normxcorr2(sub_I1(:,:,1),I2(:,:,1)); 第四步：找到整幅图像的偏移。 [max_c,imax]=max(abs(c(:))); [ypeak,xpeak]=ind2sub(size(c),imax(1)); [m,n]=size(sub_I1); xbegin=xpeak-n+1; ybegin=ypeak-m+1; xend=xpeak; yend=ypeak; 从原图像提取匹配到的图像 extracted_I1=I2(ybegin:yend,xbegin:xend,:); 第五步：显示匹配结果。 相关性匹配图： 找出峰值即最相似区域的中心

视觉导航综述.

视觉导航及实验验证平台综述摘要：本文概述视觉导航技术。视觉导航通过图像采集设备收集近距离的环境信息，并利用计算机视觉技术进行图像处理获得环境信息，实现导航。首先比较了各种导航方式的优缺点，分析视觉导航的意义。接着概述了视觉导航的应用领域和研究现状，然后分析比较了视觉导航中的一些关键技术，简单介绍了视觉导航领域的SLAM问题。最后，综合国内外视觉导航技术研究存在问题，提出进一步研究方向和应用途径。 关键词：视觉导航；移动机器人；智能车辆；图像匹配；路径识别 0 引言在当今世界的先进技术领域里，往往存在这样的问题：为了完成某种特殊的任务，需要在已知或者未知环境中，使特殊的能完成既定任务的实验设备或平台按照既定的且满足最 优条件的路径运动或者到达既定目的地，这一类的问题便是导航。对于一般的导航系统，在给定命令的前提下，结合环境中的各种探测信息，并根据自身位姿信息作出决策使运动体而到达目标，在运动过程中，还需要不断优化全局路径。导航系统需要完成的任务包括以下三点：一，获取信息；二，处理信息；三，作出决策（即路径规划）。目前广泛使用的导航方法有[1]：航标法，航位推算法，天文导航，惯性导航，无线电导航，卫星定位导航和组合导航等。下文对各种导航方法对比说明。

航标法习惯称之为目视方法，它借助于信标和参照物对运动物体进行引导。目前仍在应用，但是这种方法过于依赖经验，受天气、地理条件的影响。航位推算法是通过一系列的速度增量来确定位置的，是一种自主导航方法，保密性强。但是随着时间推移会产生误差积累。天文导航是通过仪器设备对天体的位置精确测定，根据地理关系算出位置的相对导航方法，其缺点是误差积累受时间和气象条件限制，定位时间长，操作计算复杂[1]。惯性导航通过加速度测量技术和积分技术的综合应用得到运动体的速度和位置信息。这种导航技术完全依靠载体上的设备自主完成导航任务，因此隐蔽性好，不受外界条件限制。但是加速度及精度和误差积累严重限制该方法的应用。目前，惯性导航常常和其他系统综合使用。无线电导航通过测量信号的相位和相角定位，但其易受干扰。卫星导航利用卫星发射无线电波到地面接收器的时间来推算地面接收器所在的经纬度，其中GPS是目前真正实用的一种卫星导航和定位系统，但其技术为美国所垄断，我国也正在致力于这方面的研究[2]。 而自主照相机和图像处理技术的发展促使视觉导航技术的发展。视觉导航是通过摄像机对周围环境进行图像采集，并对图像进行滤波和计算，完成自身位姿确定和路径识别，并做出导航决策的一种新的当行技术。由于视觉导航的采用被动工作方式，设备简单，成本低廉，其应用范围很广。最主要的特征是视觉导航的自主性和实时性。它不依靠外界任何设备，只需对储存系统和

图像处理技术--模板匹配

图像处理技术——模板匹配算法 左力2002．3． 认知是一个把未知与已知联系起来的过程。对一个复杂的视觉系统来说，它的内部常同时存在着多种输入和其它知识共存的表达形式。感知是把视觉输入与事前已有表达结合的过程，而识别也需要建立或发现各种内部表达式之间的联系。 匹配就是建立这些联系的技术和过程。建立联系的目的是为了用已知解释未知。 章毓晋《图像工程下册》P.163 一．模板匹配的基本概念 模板就是一幅已知的小图像。模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。 以8位图像(其1个像素由1个字节描述)为例，模板T( m ? n个像素)叠放在被搜索图S( W ? H个像素)上平移，模板覆盖被搜索图的那块区域叫子图Sij。i，j为子图左上角在被搜索图S上的坐标。搜索范围是： 1 ≤ i ≤ W – M 1 ≤ j ≤ H – N 通过比较T和Sij的相似性，完成模板匹配过程。 注意：图像的数据是从下到上、从左到右排列的。 可以用下式衡量T和Sij相似性： ∑∑ = =- = N n ij M m n m T n m S j i D 12 1 )] , ( ) , ( [ ) ,(被搜索图 S 模板 T m i {

∑∑ ∑∑ ∑∑ ======+?-=N n M m N n ij M m N n ij M m n m T n m T n m S n m S 1 2 1 1 1 1 2 1 )] ,([),(),(2)],([ 上式的第一项为子图的能量，第三项为模板的能量，都与模板匹配无关。第二项是模板和子图的互相关，随( i, j )而改变。当模板和子图匹配时，该项有极大值。将其归一化，得模板匹配的相关系数： ∑∑∑∑∑∑======?= N n M m N n ij M m N n ij M m n m T n m S n m T n m S j i R 1 2 1 1 2 1 1 1 )] ,([)],([) ,(),(),( 当模板和子图完全一样时，相关系数R( i, j ) = 1。在被搜索图S 中完成全部搜索后，找出R 的最大值Rmax( im, jm )，其对应的子图Simjm 即为匹配目标。显然，用这种公式做图像匹配计算量大、速度较慢。 另一种算法是衡量T 和Sij 的误差，其公式为： ∑∑ ==-=N n ij M m n m T n m S j i E 1 1 |),(),(|),( E( i, j )为最小值处即为匹配目标。为提高计算速度，取一个误差阈值E 0，当E( i, j )> E 0时就停止该点的计算，继续下一点计算。 试验结果如下： 注：以上试验是在赛扬600 PC 机上用VC6.0进行的。 结果表明：被搜索图越大，匹配速度越慢；模板越小，匹配速度越快。误差法速度较快，阈值的大小对匹配速度影响大，和模板的尺寸有关。 二．改进模板匹配算法 我在误差算法的基础上设计了二次匹配误差算法： 第一次匹配是粗略匹配。取模板的隔行隔列数据，即四分之一的模板数据，在被搜索图上进行隔行隔列扫描匹配，即在原图的四分之一范围内匹配。由于数据量大幅度减少，匹配速度显著提高。 为了合理的给出一个误差阈值E0，我设计了一个确定误差阈值E0的准则： E 0 = e 0 * (m+1)/2 * (n+1)/2

机器视觉在农业机器人自主导航系统中的研究进展

机器视觉在农业机器人自主导航系统中的研究进展 姜国权，何晓兰，杜尚丰，柯杏 （中国农业大学信息与电气工程学院，北京 100083） 摘 要：自主导航是移动机器人的关键技术。机器视觉由于信息量大和人性化特征，视觉导航已成为农业机器人获得导航信息的一种主要方式。为此，综合分析了目前国内外视觉导航技术的研究现状及其存在的问题；同时，探讨了研究中需要解决的关键技术。最后，展望了农业机器人视觉导航技术的发展趋势。 关键词：自动控制技术；机器视觉；综述；农业机器人；自主导航；信息融合 中图分类号：TP242.6+3 文献标识码：A 文章编号：1003─188X(2008)03─0009─03 0 引言 在经历了沿犁沟、田垄、农作物秆的机械触杆导航、预理引导电缆的有线引导地磁导航、无线电或激光导航、用惯性导航进行航程推算等多种导航方式的发展过程后，目前对农业机器人的导航研究主要集中在机器视觉和GPS导航这两种最具发展前途的方式上[1,2]。 与GPS导航系统相比，机器视觉导航有如下优点：一是采用相对坐标系，提供差值信号，使用起来比较灵活；二是视觉导航具有信息探测范围宽、目标信息完整等优势，它能够检测微小目标，如对沟、坑、杂草等都能“看见”，误差可达毫米级水平。 1 农业机器人的机器视觉导航方法 1) 人工路标方法。该方法采用白色标记线作为路标，敷设于机器人行走的地面上，机器人的视觉传感系统在行走过程中不断地监测标记线，并随时控制机器人的转向机构调整机器人的移动方向。该方法具有路径标识简单、可靠、成本低、柔性好和图像处理易于实现的优点；但对机器人的作业环境有很高的要求，一般用于地面条件良好的温室内。 2) 基于田间作物在空间排列的特征进行视觉定位导航方法。农业机器人可以根据田间作物的图像判断作物排列行与机器人的相对位置，规划出行走基准线；然后，利用两条道路边界平行的特点，求得图像上无限远处的点和机器人的自身位置及其行走方向。此类机器人已应用于喷洒除草剂和施肥等作业。 2 机器视觉导航国内外研究现状 在具有行或垄等结构的农田中，运用机器视觉来进行农业机器人自主导航，最早可以追溯到20世纪80年代早期，那时相对低廉可靠的CCD图像传感器开始出现。20世纪90年代以来，随着计算机、微电子等相关技术的不断进步，一些复杂的图像处理和分析算法能够顺利实现，使得农业机器人视觉导航技术的研究迅速发展起来。 2.1 国外研究现状 1996年，日本京都大学的Torii等人[3，4]研制了一种具有定点作业能力的智能农药喷洒装置。其在HIS空间中，基于几条水平扫描线，结合直线最小二乘法识别出农田中作物行作为导航路径。这种方法利用作物和垄沟的色度差异来进行分割，当出现大面积杂草或作物缺失时，视觉系统将无法正确识别，同样也不能应付色度差异不大的其它农田环境。在导航控制中，针对视觉获取的横向偏差和航向偏差以及角位移传感器测出的导向轮转角等3个状态设计横向反馈控制。人工草坪标定实验中取得了最大横向误差为0.024m，航向角误差为1.5°；但农田实验时纵向速度较小，只有0.25m/s。 美国Gerrish[5]等在Case7110拖拉机后轴的左侧安装了一个彩色CCD摄像机，离地面2.79m，仰俯角为15°。系统初始化时，由使用者首先选出代表作物和土壤的像素点，然后视觉系统根据初始信息进行自动识别，导航信息由图像中固定的某一点进行计算。在速度为12.9km/h和4.8km/h两种条件下，跟踪直线状的玉米行时，分别取得了均方差为12cm和6cm的导航精度。 收稿日期：2007-06-06 基金项目：国家863计划课题（2006AA10A304） 作者简介：姜国权（1969-）,男，河北唐山人，博士研究生，(E- mail)jguoquan@https://www.360docs.net/doc/0d2938454.html,。 通讯作者：杜尚丰（1961-），男，辽宁锦州人，教授，博士生导 师，(E-mail)du_grad_stud@https://www.360docs.net/doc/0d2938454.html,。 - 9 -

视觉导航技术综述

视觉导航技术综述 唐超颖，杨忠，沈春林 （南京航空航天大学自动化学院，江苏 南京 210016） 摘要：概述了视觉导航技术。视觉导航依据视觉图像，利用图像处理、计算机视觉、模型识 别等相关技术获取运动体的运动信息和空间位置信息，实现导航。首先，简单比较了各种常 用的导航方式，分析了视觉导航的研究意义；其次，总结了目前视觉导航的应用领域及应用 概况；接着，介绍了局部视觉和分布式组合视觉两种导航方式的含义及应用情况；然后，分 析、比较了目前视觉导航研究中的一些关键技术；最后，综合国内外视觉导航技术研究的现 状及存在的问题，提出了进一步研究的方向与途径。 关键词：视觉导航、移动机器人、智能车辆、三维重建、图像匹配、路径识别 0 引 言 导航是指运动体按照预先给定的任务命令，根据已知的地图信息做出全局路径规划，并在行进过程中，不断感知周围的局部环境信息，做出各种决策，随时调整自身的姿态与位置，引导自身安全行驶，直至目标位置。导航系统要解决的问题包括：一、空间位置、方向、环境信息的检测；二、所获信息的分析、处理及综合；三、运动路径规划。根据环境信息的完整程度、导航指示信号类型、导航地域等因素的不同，目前常见的导航方法有：惯性导航、电磁导航、卫星导航、激光导航、红外导航、无线电导航、视觉导航及各种方式的组合导航等。 惯性导航利用加速度计与陀螺仪计算航程，推知当前位置和下一步目的地，不易受外界环境的影响，是目前的主要导航方法，但随着航程的增长，定位误差将会不断累加，导致定位精度下降[1]；电磁导航也称地下埋线导航，20世纪70年代迅速发展并广泛应用于柔性生产，其原理是在路径上连续埋设多条引导电缆，分别流过不同频率的电流，通过感应线圈对电流的检测来感知路径信息，该技术简单实用，但其成本高，改造和维护困难，且不适用于长距离导航[2]；卫星导航利用卫星发射无线电波到地面接收器的时间来推算地面接收器所在的经纬度，其中GPS是目前真正实用的一种卫星导航和定位系统，但其技术为美国所垄断，我国也正在致力于这方面的研究；激光和红外线定位由于可以达到很高的精度，近年也被广泛应用于导航领域，但激光导航需要向外界发射能量，不易隐身，红外导航易受日光影响，一般用于夜间导航；无线电导航方式中，角度到达定位和信号强度定位的精度不高，只能提供粗略的位置信息，抵达时间定位可以达到很高的精度，但是电波以光速传播，要达到米级精度，时间粒度需要纳秒级以上，且易受空中各种无线电波的干扰[3]。 视觉导航是采用CCD 摄像头拍摄路面图像，运用机器视觉等相关技术识别路径，实现自动导航的一种新兴导航方法[3]。由于视觉导航通常采用被动工作方式，设备简单、成本低、经济性好、应用范围较广，在理论上具有最佳引导柔性，因此近年来发展非常迅速。文中后续部分将对视觉导航的应用领域、适用范围、关键技术等方面做出综合分析。 基金项目：国家自然科学基金资助项目(60674100) 作者简介：唐超颖（1979-），女，江苏南京人，讲师，导航、制导与控制

视觉里程计原理(一)特征提取(SURF算法)

MPIG Seminar0045 Feature Extraction 陈伟杰 Machine Perception and Interaction Group (MPIG) https://www.360docs.net/doc/0d2938454.html, cwj@https://www.360docs.net/doc/0d2938454.html,

Feature Extraction Refined based on the book: Mastering OpenCV with Practical Computer Vision Projects_full.pdf and Bay H, Tuytelaars T, Van Gool L. Surf: Speeded up robust features [M]. Computer vision–ECCV 2006. Springer. 2006: 404-417.

or F for [R|t]Drawing path The main steps of Visual Odometry images parameters Feature Extraction Feature matching Compute E

First Feature Extraction What feature is? Characteristics can be easily identified in images Edges Corners Blobs lines points

Harris SIFT SURF Commonly used algorithm: ?Corner extractor ?Fast operation ?Poor resolution ?Not applicable when scale changes ?Blobs extractor ?Slow operation ?Good resolution ?Scale invariance ?Upgrade from SIFT ?Speed up ?More robust

基于机器视觉的智能导航机器人控制系统设计

基于机器视觉的智能导览机器人控制系统设计 时间：2009-10-20 10:53:17 来源：国外电子元器件作者：张伟,鲁守银,谭林山东建筑大学 1 引言 移动机器人是机器人学一个重要分支，且随着相关技术的迅速发展，它正向着智能化和多样化方向发展，应用广泛，几乎渗透所有领域。于春和采用激光雷达的方式检测道路边界，效果较好，但干扰信号很强时，就会影响检测效果。付梦印等提出以踢脚线为参考目标的导航方法，可提高视觉导航的实时性。 这里采用视觉导航方式，机器人在基于结构化道路的环境下实现道路跟踪，目标点的停靠，以及导游解说，并取得较好的效果。 2 导览机器人简介 导览机器人用在大型展览馆、博物馆或其他会展中心，引导参访者沿着固定路线参访，向参访者解说以及进行简单对话。因此导览机器人必须具有自主导航、路径规划、智能避障、目标点的停靠与定位、语音解说以及能与参访者进行简单对话等功能，并具有对外界环境快速反应和自适应能力。基于层次结构，导览机器人可分为：人工智能层、控制协调层和运动执行层。其中人工智能层主要利用CCD摄像头规划和自主导航机器人的路径，控制层协调完成多传感信息的融合，而运动执行层完成机器人行走。图1为智能导览机器人的总体结构框图。 3 导览机器人硬件设计 3．1 人工智能层硬件实现 考虑到移动机器人控制系统要求处理速度快、方便外围设备扩展、体积和质量小等要求，因此上位机选用PC104系统，其软件用C语言编程。采用USB摄像头，采集机器人前方的视觉信息，为机器人视觉导航，路径规划提供依据。外设麦克和扬声器，当机器人到达目标点后，进行导览解说。 3．1．1 控制协调层的硬件实现 机器人传感器的选取应取决于机器人的工作需要和应用特点。这里选用超声波传感器、红外传感器、电子罗盘及陀螺仪，采集机器人周围环境信息，为机器人避障、路径规划提供帮助。利用ARM处理平台，通过RS－485总线驱动电机，驱动机器人行走。

关于各种图像匹配方法的报告

关于各种图像匹配方法的报告 图像匹配方法，大致可以分为三类：基于特征点、灰度分布和频域。本文的主要工作就是研究这三类图像匹配方法，分析各种方法的优缺点，其中重点研究了基于特征的匹配方法。注：为了控制篇幅，本报告只对相关算法进行了很简单的叙述，故附有两个文件夹，文件夹“报告相关文档”相对详细地叙述了各算法（节号相对应）。如果还不够详细、清楚，可参照文件夹“References”。 1、基于特征点匹配方法 1.1 SUSAN 特征点算法 SUSAN算法的基本原理是通过以一个点为中心的局部区域内亮度值的分布情况来判断平滑区域、边缘及角点。如图1所示，一个在图像上移动的圆形模板，模板的中心称为核心，它的位置有以下五种形式。图像一定区域的每个像素的亮度值与核心点的亮度值相比较，把比较结果相似或相同的点组成的区域叫做USAN（单值分割相似核心）。USAN区域含有图像在某个局部区域的结构信息，而大小反映了图像局部特征的强度。 SUSAN算子使用的是圆形模板来进行角点探测，一般使用模板的半径为3-4个像元，模板在图像上滑动，在每一个位置求亮度相似比较函数，并计算合计值，就得到了USAN区域的面积，而后再跟一个给定阈值进行比较。计算重心求出核

到重心的距离，对应正确角点，若重心距离核较远，就能以距离消除虚假角点的影响。最后使用非最大抑制（No Max Suppression）方法，这样就可以找出角点。 1.2 A New SUSAN Based Image Sharpness Function 对于Susan的改进，Yu Song等人提出了一种自适应阈值的检测算法，解决了SUSAN算子对灰度细节丰富的图像检测效果不佳的问题。 下面是原SUSAN算法中使用的相似度函数： 而这种新的SUSAN算法的与原SUAN算法的区别就在于它使用了不依赖于固定阈值的相似度函数。Yu Song等人的文章中提出了7种相似度函数，如下：

视觉导航

视觉导航是采用CCD 摄像头拍摄路面图像，运用机器视觉等相关技术识别路径，实现自动导航的一种新兴导航方法。 本文所要解决的主要问题是如何通过图像跟踪的方法来获取飞机的坐标(x, y, z)，因此对于导航中所要解决的姿态角的获取问题将不做讨论。由于采用图像跟踪技术实现的导航和眼睛观察目标然后定位的原理相似，因此也称该导航方法为视觉导航。 本文的视觉导航系统，考虑到机载图像采集装置的可维护性及成本等因素，故把图像传感器安装地面跟踪系统上，从而实现地面导航。 引自：《无人机自动着陆过程中的视觉导航技术研究》 资料一： 下面对由转角得到具体的空间位置展开讨论，即视觉导航原理。 2.4.2 地面坐标系的建立 要获取飞机在固定坐标系中的坐标，首先要建立这个坐标系，其目的是为了获取飞机的绝对位置，为了配合第四章的摄像机坐标系变换，本文采用的坐标是以无人机降落的跑道为z 轴，飞机跑道上某点为原点建立坐标系，以下称该坐标系为地面坐标系，如图2.7所示。 图2.7地面坐标系 在图像跟踪系统中，地面坐标系是以二轴经纬仪两轴焦点为原点建立的，并且与摄像机的中心重合。 2.4.3单摄像机的视觉导航原理 要得到飞机在地面坐标系中的坐标(x, y, z)，可以通过测量飞机到原点的距离l ，以及飞机与跑道的侧偏角α、飞机的仰角β三个参数来计算飞机在地面坐标系中的坐标。计算方法是： ?? ???=-==αββαβcos cos sin sin cos l z l y l x

每个参数的测量及系统的连接示意图如图2.7所示，系统的连接是将摄像机和激光测距仪安装在一个有俯仰和方位两个自由度的二轴经纬仪上，通过经纬仪运动，使摄像机和激光测距仪始终对准飞机。距离信号直接由激光测距仪测出传送到导航计算机和图像处理计算机。而飞机与跑道的侧偏角α就是经纬仪的方位角，飞机的仰角β就是经纬仪的俯仰角。图像处理计算机的任务是将得到的图像理解，计算出目标即飞机的重心在图像坐标中的坐标(u, v)，然后根据图像坐标到经纬仪转角的转换，来控制摄像机对准飞机，使飞机始终处于视场中，即实现图像的跟踪。导航计算机只需随时读取经纬仪的角度α和β以及激光测距仪测得的距离l 就可以计算得到无人机在地面坐标系下的坐标(x, y, z)。再用其它方法获取无人机的姿态角信息就可以实现无人机的自主着陆导航。因此无人机图像跟踪将是整个系统中的一个关键技术，设计出快速，准确的飞机跟踪算法将是整个系统能否安全工作的关键。 2.4.4双摄像机的视觉导航原理 在单摄像机视觉导航系统中，由于只有一个摄像机，从空间三维坐标映射到图像坐标，将丢失一维信息，所以要借助于激光测距仪补充丢失信息。能否在没有激光测距仪的情况下，实现三维定位呢。这自然而然地使我们想到了人类的视觉系统，从而提出了双摄像机视觉导航原理，其示意原理如图2.9所示。双摄像机视觉导航需要两个图像跟踪系统同时工作，它不需要激光测距仪或其它测距装置，它是根据三角测距原理来测定距离的。取两个图像跟踪系统中的某一个的摄像机镜头中心为原点建立地面坐标系，坐标系的x 轴上安装另一个图像跟踪系统，设两个图像跟踪系统的摄像机镜头中心的距离为s 。两个图像跟踪系统分别独立工作，将各自测得的经纬仪的俯仰角和方位角通过串口或网络传送到导航计算机。双摄像机视觉导航的空间定位原理如图2.10所示，图中A 为飞机所在的位置，s o o =21，1α，2α，1β，2β可以从两个图像跟踪系统中的经纬仪中直接获取，令HG=h ，则由： s h h =+21tan tan αα 可得：

浅谈移动机器人视觉识别定位技术

浅谈移动机器人视觉识别定位技术 姓名：杜翼班级：机设应08-01 学号：2008543000 摘要：视觉识别定位技术是移动机器人最重要的技术之一，针 对移动机器人所处的不确定环境和自身状态的不可测性，研究与开发机器人视觉识别定位技术应用而生。 本文系统综述了移动机器人的视觉识别定位技术，对其中的仿人视觉的图像搜索与跟踪，信标匹配与优化选择 ，基于视觉的多机器人协作定位等进行了较详细的原理分析。 同时对智能机器人 导航技术的发展趋势和存在的问题作了进一步的阐述． 关键词：定位技术智能机器人仿真分析需求 0 引言 定位技术是自主导航智能机器人 应具备的基本功能．是智能机器人能否实现自由导航的 基础。理想的智能机器人应具有以下能力：当处于一个 未知的、复杂的、动态的非结构环境中，并且在没有人 干预的情况下，通过感知环境，能够到达期望的目的 地，同时应尽量减少时间或能量的消耗等。 视觉定位方法是近年来发展起来的一种先进的 定位方法. 利用摄像机摄取包含信标的图像信息, 经 图像处理提取并识别信标, 再根据信标的先验知识, 计算出传感器在环境中的位姿. 当传感器与载体的 位置关系已知时, 则载体在这个环境中的位置和方 向就可以同时计算出来. 如果这种位姿数据可以实 时在线计算, 就满足了移动状态下的自主定位. 1视觉定位识别系统与方法 机器人视觉系统正如人的眼睛一样, 是机器人感知局部环境的重要“器官”, 同时依此感知 的环境信息实现对机器人的导航. 机器人视觉信息主要指二维彩色CCD 摄像机信息, 在有些 系统中还包括三维激光雷达采集的信息。 图像

处理, 其难点在于如何保证定位系统设计功能实现 的前提下具有实时性和鲁棒性. 根据三角定位原理, 视觉信息定位导航要求视觉图像处理能够正确快速 的提取和识别图像中的信标。视觉图像处理方法的优劣是能 否实现快速准确视觉定位计算的关键. 1.1仿人视觉的图像搜索与跟踪 人类的视觉系统在进行目标搜索和跟踪时, 具有这样一个 特性:初始阶段, 人眼对所能看见的范围进行大致的目标搜索和 识别, 然后将注意力集中到感兴趣物体的细节上, 当人所感兴趣 的目标发生运动时, 人眼注意力将完全集中到目标上, 对于目标 之外的物体, 并不注意。因此考虑模拟人类视觉过程来运用遗传算法, 在实时动态图像中进行目标搜索和跟踪。 在机器人视觉系统对现场实时图像采样过程中, 每取 一帧图像只进行一代遗传算法搜索。当然, 这一代搜索在初期 时, 很难正确地识别目标的位置和状态, 但是若以系统整个控 制进程作为种群进化过程来看, 随着视觉跟踪的连续进行, 整 个种群将逐步收敛到目标位置。 另一方面和上面的“一帧图像一代遗传算法搜索”相配合, 将遗传算法搜索范围进行分级。这样做的主要原因是: 随着遗传算 法搜索的进行, 当匹配模板逐渐靠近实际目标区域时, 适应度 函数值将逐渐增大, 它的增大表示离正确的目标位置越来越 近, 此时可将搜索区域进行缩小, 只对系统感兴趣的区域进行 搜索, 对其它区域可以不再进行任何操作, 这一点和人的视觉 跟踪过程非常相似。 目前视觉信息处理的内容主要包括: 视觉信息的压缩和滤波、道路检测和障碍物检测、特定交通道路标志的识别、三维信息感知与 处理. 其中道路检测和障碍物检测是视觉信息处理中最重要的过程, 也是最困难的过程. 视觉 信息的获取是局部路径规划和导航的基础, 道路检测的成功与否决定了机器人能否正确识别 当前的道路环境, 能否正确作出局部路径规划并执行路径跟踪. 为了简化视觉信息处理, 降低