视觉SLAM漫淡

合集下载

视觉SLAM技术在自动驾驶中的应用研究

视觉SLAM技术在自动驾驶中的应用研究

视觉SLAM技术在自动驾驶中的应用研究随着自动驾驶技术的迅速发展,视觉SLAM技术作为一种重要的感知与定位技术逐渐受到广泛关注。

SLAM(Simultaneous Localizationand Mapping)技术以其能够同时在未知环境中建立地图与实时定位的能力,成为了自动驾驶系统中必不可少的一部分。

本文将探讨视觉SLAM技术在自动驾驶中的应用研究,包括其原理、关键技术以及现有的应用案例。

首先,我们来了解一下什么是视觉SLAM技术。

视觉SLAM是指利用摄像机输入的图像序列进行地图构建和机器人定位的技术。

在自动驾驶中,视觉SLAM可以通过车载摄像头获取交通场景的信息,进而实时构建地图和定位自身位置,从而实现精准的自动驾驶。

视觉SLAM技术的核心问题是通过摄像机获取的图像信息,建立一个能够表示环境的地图,并实时通过图像信息完成车辆自身的定位。

在这个过程中,需要解决的关键问题有图像特征提取与匹配、环境地图构建、定位估计和数据关联等。

首先,图像特征提取与匹配是视觉SLAM的基础。

视觉SLAM通过提取关键点和描述子来表示场景中的特征点,并通过匹配不同帧之间的特征点实现场景的三维重构和定位。

常用的特征提取算法包括SIFT、SURF、ORB等。

通过特征匹配,可以判断场景中的物体和位置的变化,进而构建地图和定位车辆。

其次,环境地图的构建是视觉SLAM的关键环节之一。

SLAM需要根据摄像头获得的图像数据,通过不断观测和融合来实现地图的建立。

地图构建可以通过三维重建、稠密地图或语义地图等方式实现。

三维重建是指根据摄像头获取的图像数据计算出三维点云,并对其进行地图构建。

稠密地图则是通过视觉SLAM算法实时生成稠密深度图,并结合局部地图构建全局三维地图。

语义地图则是在地图的基础上引入语义信息,将场景信息进一步丰富。

最后,定位估计和数据关联是视觉SLAM中的核心问题。

通过分析摄像头获得的图像序列,视觉SLAM可以估计出车辆在地图中的位置。

视觉SLAM技术在机器人导航中的应用研究

视觉SLAM技术在机器人导航中的应用研究

视觉SLAM技术在机器人导航中的应用研究摘要:视觉SLAM(Simultaneous Localization and Mapping)是一种机器人导航中常用的技术,其通过使用摄像头捕捉环境的视觉信息来同时进行定位和地图构建。

本文将重点探讨视觉SLAM技术在机器人导航中的应用研究,并讨论其优势、挑战以及未来的发展方向。

引言:随着机器人技术的快速发展,视觉SLAM技术在机器人导航中的应用越来越受到关注。

传统的机器人导航靠激光雷达等传感器获取三维信息,但其成本较高且局限于特定环境。

相比之下,基于视觉的SLAM技术能够使用相对便宜且普遍存在的摄像头设备,使得机器人在各种环境下具备实时定位和地图构建的能力。

因此,研究视觉SLAM技术在机器人导航中的应用对于机器人领域的进一步发展至关重要。

1. 视觉SLAM技术概述1.1 定义和原理视觉SLAM技术是一种通过利用摄像头捕捉环境的视觉信息来实现机器人的定位和地图构建的技术。

其基本原理是通过不断观测环境的视觉特征进行建图和定位,同时估计机器人的位姿来减小误差。

传感器的数据与环境的三维模型进行比对,从而确定机器人在环境中的位置。

1.2 主要步骤视觉SLAM技术通常包括以下步骤:- 特征提取和匹配:从图像中提取出具有辨识度的特征点,并将其与已知地图中的特征点进行匹配。

- 路标地图的构建:通过匹配的特征点来构建机器人所在环境的地图。

- 位姿估计:根据机器人的运动模型和观测到的特征点来估计机器人的位姿。

- 闭环检测和校正:通过检测已经经过的轨迹来发现环路,并校正位姿误差。

2. 视觉SLAM在机器人导航中的应用2.1 自主定位与导航视觉SLAM技术使机器人能够在无需先验地图的情况下实现自主定位与导航,从而减小了对外部传感器和环境变化的依赖。

机器人可以在新环境中通过捕捉图像特征来实时构建地图,并通过估计自身的位姿来准确导航。

这种能力对于无人车、无人机等需要自主导航的应用尤为重要。

《基于深度学习的视觉SLAM算法研究》

《基于深度学习的视觉SLAM算法研究》

《基于深度学习的视觉SLAM算法研究》一、引言近年来,随着深度学习技术的发展和计算机视觉领域的需求不断增长,基于深度学习的视觉SLAM(Simultaneous Localization and Mapping)算法成为了研究的热点。

视觉SLAM 技术是机器人导航、自动驾驶、增强现实等领域的核心技术之一,其目标是构建环境的地图并实现机器人的自主定位。

本文旨在研究基于深度学习的视觉SLAM算法,分析其原理、方法及优缺点,并探讨其未来的发展方向。

二、视觉SLAM算法概述视觉SLAM是一种基于计算机视觉的机器人自主定位和地图构建技术。

其基本原理是通过机器人上的摄像头获取周围环境的信息,然后通过一定的算法处理这些信息,实现机器人的定位和地图构建。

传统的视觉SLAM算法主要依赖于特征点的提取和匹配,而深度学习技术的应用使得视觉SLAM算法的准确性和鲁棒性得到了显著提高。

三、基于深度学习的视觉SLAM算法原理基于深度学习的视觉SLAM算法主要包括深度学习特征提取、相机运动估计和地图构建三个部分。

首先,通过深度学习模型提取图像中的特征信息,然后利用这些特征信息进行相机运动估计,最后通过地图构建算法将多个视角下的地图信息进行融合,形成完整的地图。

其中,深度学习模型通常采用卷积神经网络(CNN)等模型进行训练和优化。

四、基于深度学习的视觉SLAM算法方法基于深度学习的视觉SLAM算法有多种实现方法,其中比较典型的方法包括基于深度学习的特征点检测与匹配、基于深度学习的语义地图构建等。

在特征点检测与匹配方面,通过训练深度学习模型来检测图像中的关键点,并计算关键点之间的相对位置关系,从而实现相机运动估计。

在语义地图构建方面,通过将图像中的物体进行分类和标注,然后将这些信息融合到地图中,形成语义地图。

此外,还有一些算法通过融合多种传感器信息来提高视觉SLAM的准确性和鲁棒性。

五、基于深度学习的视觉SLAM算法优缺点分析优点:1. 准确性高:深度学习技术可以提取更丰富的图像信息,提高相机运动估计和地图构建的准确性。

机器人视觉SLAM技术研究

机器人视觉SLAM技术研究

机器人视觉SLAM技术研究随着人工智能技术的快速发展,机器人逐渐成为人们生活中的重要伙伴和助手。

而机器人在需要自主定位和导航的场景中,视觉SLAM技术的研究则显得尤为重要。

本文将探讨机器人视觉SLAM技术的基本概念、关键技术和应用前景。

一、机器人视觉SLAM技术的基本概念SLAM(Simultaneous Localization and Mapping)即同时定位与地图构建。

机器人在未知环境中,凭借自身携带的传感器,通过融合传感器数据并实时计算定位和地图,以实现自主导航和运动规划的能力。

而视觉SLAM技术则是利用机器人携带的视觉传感器,通过图像信息的处理和分析,实现对机器人位置和周围环境建模的技术。

二、机器人视觉SLAM技术的关键技术1. 特征提取与匹配技术:机器人使用视觉传感器获取环境图像,并通过特征提取算法提取图像中的特征点。

然后,通过特征匹配算法将当前图像的特征点与先前保存的地图特征点进行匹配,从而实现机器人位置的估计。

2. 运动估计与滤波算法:机器人在运动过程中,需要实时估计自身的位置和姿态。

通过图像序列的处理和分析,利用运动估计与滤波算法,可以计算机器人的运动轨迹和姿态。

3. 地图构建与更新算法:机器人需要实时构建和更新周围环境的地图。

视觉SLAM技术利用图像序列构建环境地图,并通过数据关联和融合算法将新观测到的地图特征点与已有地图进行关联和融合,以实现地图的更新。

4. 协同定位技术:在机器人之间,通过相互协作和信息共享,可以提高定位的准确性和鲁棒性。

协同定位技术通过机器人之间的通信和数据共享,实现多机器人之间位置和地图的一致性。

三、机器人视觉SLAM技术的应用前景机器人视觉SLAM技术在许多领域具有广阔的应用前景。

1. 自主导航和运动规划:机器人具备了定位和地图构建的能力,可以在未知环境中自主导航和规划路径。

这为机器人在仓储、物流、服务机器人等领域的应用提供了巨大的潜力。

2. 室内场景建模和增强现实:机器人视觉SLAM技术可以用于室内场景的建模,实现室内地图的构建和更新。

视觉SLAM技术研究及其在智能导航中的应用

视觉SLAM技术研究及其在智能导航中的应用

视觉SLAM技术研究及其在智能导航中的应用随着科技的发展,人们的生活也越来越多地依赖于智能化技术。

其中,智能导航技术的应用越来越广泛。

在智能导航技术中,视觉SLAM技术是非常重要的一环。

那么,什么是视觉SLAM技术?它有什么应用?今天,我们就来介绍一下视觉SLAM技术及其在智能导航中的应用。

一、视觉SLAM技术简介SLAM(Simultaneous Localization and Mapping)是指同时进行实时建图和自身定位的技术。

其目的是在未知环境中进行自主导航,不需要进行其他辅助。

视觉SLAM技术则是使用摄像机和图像处理技术进行SLAM。

与其他SLAM技术相比,视觉SLAM技术具有以下优势:1. 无需外部传感器:相比于基于惯性传感器的技术,视觉SLAM技术只需要使用摄像机,可以大大降低成本。

2. 高精度:视觉SLAM技术可以利用摄像机对环境进行高精度地三维建模,定位精度更高。

3. 环境适应性好:在不同的环境下,如室内、室外、大型建筑等,视觉SLAM技术都可以实现有效的建图和定位。

二、视觉SLAM技术在智能导航中的应用1. 智能家居导航系统智能家居导航是人们日常生活中非常常见的一种智能导航应用场景。

在家居导航系统中,视觉SLAM技术可以根据家庭环境构建出三维平面图,实现家居内所有设备的自主导航。

当智能家电配备定位模块后,智能家电整合视觉SLAM技术,便可以实现避障导航,大大提高了智能家居系统的智能化程度。

2. 无人驾驶在无人驾驶中,视觉SLAM技术是实现自主导航的一项重要技术。

将视觉SLAM技术与激光雷达、GPS等其他传感器结合,无人车就能够实现准确的定位和无人驾驶。

近年来,国内外许多无人驾驶公司通过研发视觉SLAM技术,不断提升无人驾驶的驾驶精度和安全性。

3. 机器人导航机器人导航是视觉SLAM技术的又一个应用场景。

机器人通过搭载传感器设备,在未知环境中进行自主导航和定位,还可以用于工业、农业等领域。

视觉SLAM技术在无人机导航中的应用研究

视觉SLAM技术在无人机导航中的应用研究

视觉SLAM技术在无人机导航中的应用研究随着无人机技术的不断发展与普及,无人机导航的精确性和鲁棒性成为了研究的热点。

视觉SLAM(Simultaneous Localization and Mapping)技术作为一种能够实现对环境进行实时建图并同时定位的先进技术,日益受到无人机导航领域的关注和应用。

本文将对视觉SLAM技术在无人机导航中的应用研究进行探讨。

一、视觉SLAM技术概述视觉SLAM技术是通过无人机上搭载的摄像头或者摄像头阵列对环境进行感知和建模,通过分析图像序列得到无人机相对于环境的准确定位和地图的三维重建。

该技术的核心是在未知的环境中同时进行定位和建图,并且能够在运动中对环境进行实时更新。

二、视觉SLAM技术在无人机导航中的应用1. 室内导航视觉SLAM技术在无人机室内导航中具有很大的潜力。

通过在室内环境进行建图和定位,无人机可以实现室内定位和路径规划。

比如,无人机可以在室内环境中巡航巡检,进行室内安防监控,或者在紧急情况下进行搜救和救援等任务。

2. 精确着陆视觉SLAM技术可以帮助无人机实现精确着陆。

无人机在降落过程中,通过感知地面的特征和纹理,结合SLAM算法进行实时定位和建图,从而实现准确降落。

这对于无人机的舰载或者地面着陆具有重要的意义,能够提高无人机着陆的安全性和精确性。

3. 精确避障无人机导航中的一个重要问题是避障。

视觉SLAM技术能够通过实时感知周围环境的障碍物,利用三维建图和路径规划算法,实现动态避障。

无人机能够更加智能地避开障碍物,从而大大提高避障的效果和安全性。

4. 室外定位除了室内导航,视觉SLAM技术还可以在无人机的室外导航中发挥重要作用。

通过利用地面上的特征点、道路标志和建筑物等信息,视觉SLAM技术可以实现无人机在室外环境中的定位和导航。

三、视觉SLAM技术的挑战和未来发展方向尽管视觉SLAM技术在无人机导航中取得了显著的进展,但仍面临一些挑战。

首先,无人机导航的实时性和对计算资源的要求较高,需要高效的算法和硬件支持。

面向动态物体场景的视觉SLAM综述

面向动态物体场景的视觉SLAM综述

二、方法
二、方法
本次演示提出的算法主要包括两个部分:目标检测和建图。在目标检测阶段, 我们采用了YOLOv5s算法,该算法具有较高的准确性和实时性,能够在不同场景 下对目标进行快速、准确地检测。在建图阶段,我们采用了基于特征点的视觉 SLAM算法,通过对目标特征点的提取和匹配,完成对场景的建图。
2、针对不同应用场景,研究具有针对性的视觉SLAM解决方案,以提高算法的 适应性和实用性。
3、在大规模复杂场景下,视觉SLAM的实时性和准确性仍然是亟待解 决的问题。
3、结合多传感器、多信息源的数据融合技术,提高视觉SLAM的精度和稳定性。
参考内容
基本内容
基本内容
随着机器人技术和的不断发展,自主导航已经成为机器人研究的重要方向之 一。在自主导航中,同时进行目标检测和建图是实现机器人定位和导航的关键步 骤。近年来,深度学习技术的快速发展为视觉SLAM(Simultaneous Localization and Mapping)提供了新的机会。本次演示提出了一种在动态场 景下融合YOLOv5s的视觉SLAM算法,旨在提高目标检测的准确性和实时性,同时 优化建图效果。
2、提高视觉SLAM的实时性和精度。这需要研究更高效的算法和优化技术,以 减少计算复杂度,同时利用多传感器融合和多模态信息以提高鲁棒性和精度。
四、未来发展趋势
3、对于大规模环境的处理,分布式和并行计算可能会成为解决方案的一部分, 例如使用云计算或嵌入式集群来提高处理能力。
四、未来发展趋势
4、强化学习和自适应学习策略可能会被引入视觉SLAM,使机器人能够更好地 适应各种未知环境条件和动态变化。
二、视觉SLAM研究现状
2、多传感器融合:为提高视觉SLAM的性能,研究者们尝试将不同类型的传感 器(如雷达、惯性测量单元等)与视觉传感器进行融合,以获取更丰富的环境信 息。

视觉SLAM技术的研究与应用

视觉SLAM技术的研究与应用

视觉SLAM技术的研究与应用引言:随着计算机视觉和机器人技术的发展,SLAM(Simultaneous Localization and Mapping,即同时定位与地图构建)技术成为了近年来研究的热点之一。

在SLAM技术中,视觉SLAM技术作为一种重要的手段,已经在无人车、无人机、增强现实等领域得到了广泛的应用。

本文将就视觉SLAM技术的研究进展、技术原理及其在实际应用中的表现进行详细的探讨。

一、视觉SLAM技术的研究进展1.1视觉SLAM技术的起源视觉SLAM技术是基于摄像头和图像信息进行定位和地图构建的一种技术。

这种技术最早可以追溯到上个世纪末,当时的研究主要集中在三维重建和摄像头定位上。

随着计算机技术和图像处理技术的发展,SLAM技术也在不断地进行演进和发展。

1.2视觉SLAM技术的发展历程随着计算机视觉和深度学习的发展,视觉SLAM技术也取得了长足的进步。

传统的视觉SLAM算法主要是基于特征点匹配和结构光技术。

而现代的视觉SLAM算法则采用了深度学习和神经网络技术,能够更加准确和高效地完成定位和地图构建的任务。

1.3视觉SLAM技术的研究热点当前视觉SLAM技术的研究热点主要集中在以下几个方面:稀疏与稠密地图构建技术、实时性与鲁棒性的提升、多传感器融合、大规模场景下的定位与地图构建、SLAM在自动驾驶和增强现实中的应用等。

二、视觉SLAM技术的原理与方法2.1视觉SLAM的基本原理视觉SLAM技术的基本原理是通过摄像头采集图像信息,并通过图像处理和计算机视觉算法实现实时的定位与地图构建。

具体来说,就是通过分析相邻图像的特征点,并计算出相机的运动轨迹和周围环境的三维结构。

2.2视觉SLAM的核心技术在视觉SLAM技术中,最核心的技术包括特征提取与匹配、相机位姿估计、地图构建及优化等。

其中,特征提取与匹配是最基础的技术,它能够提取出图像中的关键特征点,并将它们进行匹配,以便计算相机的位姿。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

视觉SLAM漫谈1. 前言开始做SLAM(机器人同时定位与建图)研究已经近一年了。

从一年级开始对这个方向产生兴趣,到现在为止,也算是对这个领域有了大致的了解。

然而越了解,越觉得这个方向难度很大。

总体来讲有以下几个原因:∙入门资料很少。

虽然国内也有不少人在做,但这方面现在没有太好的入门教程。

《SLAM for dummies》可以算是一篇。

中文资料几乎没有。

∙SLAM研究已进行了三十多年,从上世纪的九十年代开始。

其中又有若干历史分枝和争论,要把握它的走向就很费工夫。

∙难以实现。

SLAM是一个完整的系统,由许多个分支模块组成。

现在经典的方案是“图像前端,优化后端,闭环检测”的三部曲,很多文献看完了自己实现不出来。

∙自己动手编程需要学习大量的先决知识。

首先你要会C和C++,网上很多代码还用了11标准的C++。

第二要会用Linux。

第三要会cmake,vim/emacs及一些编程工具。

第四要会用openCV, PCL, Eigen等第三方库。

只有学会了这些东西之后,你才能真正上手编一个SLAM 系统。

如果你要跑实际机器人,还要会ROS。

当然,困难多意味着收获也多,坎坷的道路才能锻炼人(比如说走着走着才发现Linux和C++才是我的真爱之类的。

)鉴于目前网上关于视觉SLAM的资料极少,我于是想把自己这一年多的经验与大家分享一下。

说的不对的地方请大家批评指正。

这篇文章关注视觉SLAM,专指用摄像机,Kinect等深度像机来做导航和探索,且主要关心室内部分。

到目前为止,室内的视觉SLAM仍处于研究阶段,远未到实际应用的程度。

一方面,编写和使用视觉SLAM需要大量的专业知识,算法的实时性未达到实用要求;另一方面,视觉SLAM生成的地图(多数是点云)还不能用来做机器人的路径规划,需要科研人员进一步的探索和研究。

以下,我会介绍SLAM的历史、理论以及实现的方式,且主要介绍视觉(Kinect)的实现方式。

2. SLAM问题SLAM,全称叫做Simultaneous Localization and Mapping,中文叫做同时定位与建图。

啊不行,这么讲下去,这篇文章肯定没有人读,所以我们换一个讲法。

3. 小萝卜的故事从前,有一个机器人叫“小萝卜”。

它长着一双乌黑发亮的大眼睛,叫做Kinect。

有一天,它被邪恶的科学家关进了一间空屋子,里面放满了杂七杂八的东西。

小萝卜感到很害怕,因为这个地方他从来没来过,一点儿也不了解。

让他感到害怕的主要是三个问题:1. 自己在哪里?2. 这是什么地方?3. 怎么离开这个地方?在SLAM理论中,第一个问题称为定位 (Localization),第二个称为建图 (Mapping),第三个则是随后的路径规划。

我们希望借助Kinect工具,帮小萝卜解决这个难题。

各位同学有什么思路呢?4. Kinect数据要打败敌人,首先要了解你的武器。

不错,我们先介绍一下Kinect。

众所周知这是一款深度相机,你或许还听说过别的牌子,但Kinect的价格便宜,测量范围在3m-12m之间,精度约3cm,较适合于小萝卜这样的室内机器人。

它采到的图像是这个样子的(从左往右依次为rgb图,深度图与点云图):Kinect的一大优势在于能比较廉价地获得每个像素的深度值,不管是从时间上还是从经济上来说。

OK,有了这些信息,小萝卜事实上可以知道它采集到的图片中,每一个点的3d位置。

只要我们事先标定了Kinect,或者采用出厂的标定值。

我们把坐标系设成这个样子,这也是openCV中采用的默认坐标系。

o’-uv是图片坐标系,o-xyz是Kinect的坐标系。

假设图片中的点为(u,v),对应的三维点位置在(x,y,z),那么它们之间的转换关系是这样的:或者更简单的:后一个公式给出了计算三维点的方法。

先从深度图中读取深度数据(Kinect给的是16位无符号整数),除掉z方向的缩放因子,这样你就把一个整数变到了以米为单位的数据。

然后,x,y 用上面的公式算出。

一点都不难,就是一个中心点位置和一个焦距而已。

f代表焦距,c代表中心。

如果你没有自己标定你的Kinect,也可以采用默认的值:s=5000, cx = 320, cy=240,fx=fy=525。

实际值会有一点偏差,但不会太大。

5. 定位问题知道了Kinect中每个点的位置后,接下来我们要做的,就是根据两帧图像间的差别计算小萝卜的位移。

比如下面两张图,后一张是在前一张之后1秒采集到的:你肯定可以看出,小萝卜往右转过了一定的角度。

但究竟转过多少度呢?这就要靠计算机来求解了。

这个问题称为相机相对姿态估计,经典的算法是ICP(Iterative Closest Point,迭代最近点)。

这个算法要求知道这两个图像间的一组匹配点,说的通俗点,就是左边图像哪些点和右边是一样的。

你当然看见那块黑白相间的板子同时出现在两张图像中。

在小萝卜看来,这里牵涉到两个简单的问题:特征点的提取和匹配。

如果你熟悉计算机视觉,那你应该听说过SIFT, SURF之类的特征。

不错,要解决定位问题,首先要得到两张图像的一个匹配。

匹配的基础是图像的特征,下图就是SIFT提取的关键点与匹配结果:对实现代码感兴趣的同学请Google“opencv匹配”即可,在openCV的教程上也有很明白的例子。

上面的例子可以看出,我们找到了一些匹配,但其中有些是对的(基本平等的匹配线),有些是错的。

这是由于图像中存在周期性出现的纹理(黑白块),所以容易搞错。

但这并不是问题,在接下来的处理中我们会将这些影响消去。

得到了一组匹配点后,我们就可以计算两个图像间的转换关系,也叫PnP问题。

它的模型是这样的:R为相机的姿态,C为相机的标定矩阵。

R是不断运动的,而C则是随着相机做死的。

ICP 的模型稍有不同,但原理上也是计算相机的姿态矩阵。

原则上,只要有四组匹配点,就可以算这个矩阵。

你可以调用openCV的SolvePnPRANSAC函数或者PCL的ICP算法来求解。

openCV 提供的算法是RANSAC(Random Sample Consensus,随机采样一致性)架构,可以剔除错误匹配。

所以代码实际运行时,可以很好地找到匹配点。

以下是一个结果的示例。

上面两张图转过了16.63度,位移几乎没有。

有同学会说,那只要不断匹配下去,定位问题不就解决了吗?表面上看来,的确是这样的,只要我们引入一个关键帧的结构(发现位移超过一个固定值时,定义成一个关键帧)。

然后,把新的图像与关键帧比较就行了。

至于建图,就是把这些关键帧的点云拼起来,看着还有模有样,煞有介事的:1-200帧的匹配结果然而,如果事情真这么简单,SLAM理论就不用那么多人研究三十多年了(它是从上世纪90年代开始研究的)(上面讲的那些东西简直随便哪里找个小硕士就能做出来……)。

那么,问题难在什么地方呢?6. SLAM端优化理论最麻烦的问题,就是“噪声”。

这种渐近式的匹配方式,和那些惯性测量设备一样,存在着累积噪声。

因为我们在不断地更新关键帧,把新图像与最近的关键帧比较,从而获得机器人的位移信息。

但是你要想到,如果有一个关键帧出现了偏移,那么剩下的位移估计都会多出一个误差。

这个误差还会累积,因为后面的估计都基于前面的机器人位置……哇!这后果简直不堪设想啊(例如,你的机器人往右转了30度,再往左转了30度回到原来的位置。

然而由于误差,你算成了向右转29度,再向左转31度,这样你构建的地图中,会出现初始位置的两个“重影”)。

我们能不能想办法消除这个该死的误差呢?朋友们,这才是SLAM的研究,前面的可以说是“图像前端”的处理方法。

我们的解决思路是:如果你和最近的关键帧相比,会导致累计误差。

那么,我们最好是和更前面的关键帧相比,而且多比较几个帧,不要只比较一次。

我们用数学来描述这个问题。

设:不要怕,只有借助数学才能把这个问题讲清楚。

上面的公式中,xp是机器人小萝卜的位置,我们假定由n个帧组成。

xL则是路标,在我们的图像处理过程中就是指SIFT提出来的关键点。

如果你做2D SLAM,那么机器人位置就是x, y加一个转角theta。

如果是3D SLAM,就是x,y,z 加一个四元数姿态(或者rpy姿态)。

这个过程叫做参数化(Parameterization)。

不管你用哪种参数,后面两个方程你都需要知道。

前一个叫运动方程,描述机器人怎样运动。

u是机器人的输入,w是噪声。

这个方程最简单的形式,就是你能通过什么方式(码盘等)获得两帧间的位移差,那么这个方程就直接是上一帧与u相加即得。

另外,你也可以完全不用惯性测量设备,这样我们就只依靠图像设备来估计,这也是可以的。

后一个方程叫观测方程,描述那些路标是怎么来的。

你在第i帧看到了第j个路标,产生了一个测量值,就是图像中的横纵坐标。

最后一项是噪声。

偷偷告诉你,这个方程形式上和上一页的那个方程是一模一样的。

在求解SLAM问题前,我们要看到,我们拥有的数据是什么?在上面的模型里,我们知道的是运动信息u以及观测z。

用示意图表示出来是这样的:我们要求解的,就是根据这些u和z,确定所有的xp和xL。

这就是SLAM问题的理论。

从SLAM诞生开始科学家们就一直在解决这个问题。

最初,我们用Kalman滤波器,所以上面的模型(运动方程和观测方程)被建成这个样子。

直到21世纪初,卡尔曼滤波器仍在SLAM系统占据最主要的地位,Davison经典的单目SLAM就是用EKF做的。

但是后来,出现了基于图优化的SLAM方法,渐渐有取而代之的地位[1]。

我们在这里不介绍卡尔曼滤波器,有兴趣的同学可以在wiki上找卡尔曼滤波器,另有一篇中文的《卡尔曼滤波器介绍》也很棒。

由于滤波器方法存储n个路标要消耗n平方的空间,在计算量上有点对不住大家。

尽管08年有人提出分治法的滤波器能把复杂度弄到O(n) [2],但实现手段比较复杂。

我们要介绍那种新兴的方法:Graph-based SLAM。

图优化方法把SLAM问题做成了一个优化问题。

学过运筹学的同学应该明白,优化问题对我们有多么重要。

我们不是要求解机器人的位置和路标位置吗?我们可以先做一个猜测,猜想它们大概在什么地方。

这其实是不难的。

然后呢,将猜测值与运动模型/观测模型给出的值相比较,可以算出误差:通俗一点地讲,例如,我猜机器人第一帧在(0,0,0),第二帧在(0,0,1)。

但是u1告诉我机器人往z方向(前方)走了0.9米,那么运动方程就出现了0.1m的误差。

同时,第一帧中机器人发现了路标1,它在该机器人图像的正中间;第二帧却发现它在中间偏右的位置。

这时我们猜测机器人只是往前走,也是存在误差的。

至于这个误差是多少,可以根据观测方程算出来。

我们得到了一堆误差,把这些误差平方后加起来(因为单纯的误差有正有负,然而平方误差可以改成其他的范数,只是平方更常用),就得到了平方误差和。

相关文档
最新文档