视觉里程计算法研究综述
单目视觉惯性里程计的研究
单目视觉惯性里程计的研究摘要：随着机器视觉技术的发展，单目视觉惯性里程计成为了不可或缺的技术。
本文针对单目视觉惯性里程计的研究问题，分别从测量状态、建立状态转移矩阵、全局优化以及误差分析等几个方面展开了探讨。
通过对比实验和结果分析，证明该算法能够较准确地计算机器人位移和方向，达到了比较良好的效果，为机器人导航和定位提供了可靠的技术支持。
关键词：单目视觉惯性里程计、测量状态、状态转移矩阵、全局优化、误差分析一、引言随着机器人技术的应用日益广泛，机器人导航和定位的需求越来越强烈。
而其中一个关键问题就是如何准确地测量机器人的位移和方向。
在传统的制导技术中，位置和方向信息通常是通过全球定位系统(GPS)或惯性导航系统(INS)来获得的。
但是，GPS在室内或在建筑物内的使用效果较差，而INS的复杂度和成本较高。
因此，如何在不依赖GPS和INS的情况下实现机器人的位移和方向测量成为了一个研究热点。
单目视觉惯性里程计技术可以利用机器人上搭载的相机，通过观察相邻帧之间物体的位置或方向变化，来估计机器人的位移和方向。
同时，该技术还可以结合机器人搭载的惯性测量单元(IMU)对运动过程中的姿态进行估计和纠正。
由于其系统简单、成本低廉和适用范围广等优点，单目视觉惯性里程计成为一种非常有前途的测量技术。
二、单目视觉惯性里程计的研究问题2.1 测量状态在单目视觉惯性里程计中，测量状态是指机器人通过相机获取的当前帧的像素坐标信息和IMU的姿态信息。
然而由于图片受到光照、遮挡等因素的影响，相邻帧之间的变化很难被准确测量。
因此，如何准确地测量状态是这项技术的关键之一。
2.2 建立状态转移矩阵在单目视觉惯性里程计中，状态转移矩阵用于描述相邻帧之间的位移和方向变化。
具体来说，状态转移矩阵包括相机相对于IMU的变换矩阵和相邻帧之间的变换矩阵。
然而，由于IMU和相机之间存在运动误差，这些误差会严重影响状态转移矩阵的准确性。
因此，如何准确地建立状态转移矩阵也是这项技术的重点之一。
视觉里程计
视觉里程计来源 | ADAS视觉里程计（Visual Odometry）在机器人学与计算机视觉领域，视觉里程计是一个通过分析相关图像序列，来确定机器人位置和朝向的过程。
在导航系统中，里程计（odometry）是一种利用致动器的移动数据来估算机器人位置随时间改变量的方法。
例如，测量轮子转动的旋转编码器设备。
里程计总是会遇到精度问题，例如轮子的打滑就会导致产生机器人移动的距离与轮子的旋转圈数不一致的问题。
当机器人在不光滑的表面运动时，误差是由多种因素混合产生的。
由于误差随时间的累积，导致了里程计的读数随着时间的增加，而变得越来越不可靠。
视觉里程计是一种利用连续的图像序列来估计机器人移动距离的方法。
视觉里程计增强了机器人在任何表面以任何方式移动时的导航精度。
视觉里程计算法：大多数现有的视觉里程计算法都是基于以下几个步骤：1、图像获取：单目照相机、双目照相机或者全向照相机；2、图像校正：使用一些图像处理技术来去除透镜畸变；3、特征检测：确定感兴趣的描述符，在帧与帧之间匹配特征并构建光流场；（1）、使用相关性来度量两幅图像间的一致性，并不进行长时间的特征跟踪；（2）、特征提取、匹配（Lucas–Kanade method）；（3）、构建光流场；4、检查光流场向量是否存在潜在的跟踪误差，移除外点；5、由光流场估计照相机的运动；（1）、可选方法1：使用卡尔曼滤波进行状态估计；（2）、可选方法2：查找特征的几何与3D属性，以最小化基于相邻两帧之间的重投影误差的罚函数值。
这可以通过数学上的最小化方法或随机采样方法来完成；6、周期性的重定位跟踪点；我选择的视觉里程计算法是：“ sift特征匹配点——基本矩阵——R和T”。
第一步：由特征点计算基本矩阵F。
一般而言，sift点是存在误匹配的情况，因此，采用ransac鲁棒方法计算基本矩阵F。
这个过程已经实现，但是还有一个小问题：同样的一组sift点，进行两次基本矩阵计算，得到的基本矩阵差异很大，因此，我在ransac方法的基础上，根据得到的inliers点，采用常规的8点基本矩阵计算方法，这样得到的基本矩阵能保持不变第二步：由基本矩阵计算R和T方法1：奇异值分解E = KK'*F*KK; %%这是真实的本质矩阵E[U,S,V] = svd(E); %奇异值分解。
室内移动机器人视觉里程计研究
传感器 与微 系统 （ ｒｎｄｃｒ ｎ ｃｏｙｔｍ Ｔ ｃｎｌ ｉ ） Ｔａｓｕｅ ｄＭｉ ｓｓ ｅｈ ｏ ｇ ｓ ａ ｒ ｅ ｏｅ
２１ ０２年 第 ３ 卷 第 ２期 １
室 内移 动 机 器 人视 觉 里 程计 研 究
高云峰 ， 李伟超 ， 李建辉
（ 哈尔 滨 工 业 大 学 机 电工 程 学 院 。 龙 江 哈 尔 滨 １００ ） 黑 ５ ０ １
Ｔ ｅｔ ｎｆ ｍ ｔ ｎｍ ｔｘ ｆ ａ ｒ ｏｒｉａ ｓ ｆ ｄａｅｔｒ ｅ ｒ ｇｔ ｙｔｅｎａｅｔ ｅ ｈｏ ｅｔ － ａ ｈ ｇ ｈ ａｓ ｒ ａｉ ａ ｉ ｏ ｍｅ ｃｏｄｎｔ ｊｃｎ ａ ｓａ ｏ ｂ ｅｒｓ ｎｉ ｂｒ ｃ ｒ ｔ ｉ ｒ ｏ ｏ ｒ ｃ ａ ｅｏａ ｆｍ ｅ ｈ ｇ ｖ ｏｍ ｃｎ
１ 视觉里程计 工作模型 里程计装在室 内移动机 器人底部 拍摄地 面 ， 置合适 配
光源进行照 明。 里 程 计 用 到 的坐 标 系 有 ：
１ 世界坐标 系 （ ） ０
Ｚ ） 原 点位 于标 定 时棋 盘 图 ，
ＧＳ Ｐ 定位不适
Ｇ ｕ — ｎ ，Ｌ ｉｃ ａ ，Ｌ ｉｎ ｈ ｉ ＡＯ Ｙ ｎ ｆ ｇ ＩＷｅ—ｈ ｏ ＩＪａ —ｕ ｅ
（ ｃ ｏｌ ｆ ｃ ａｒｎｃ Ｅ ｇ ｅｒ ｇ ＨａｂｎＩｓ ｔｔ ｆ ｅｈ ｏｏｙ Ｈａ ｂ ５ ０ １ Ｃ ｉａ Ｓ ｈ ｏ ｏ ｈ ｔｏ ｉ ｎ ｉ ｅｉ ， ｒ ｉ ｔｕｅｏ ｃ ｎ ｌｇ ， ｒｉ １ ００ ， ｈｎ ） Ｍｅ ｓ ｎ ｎ ｎｉ Ｔ ｎ
ｌ ｏ ｉ ｍ ａ ｄ ｔ ｅ ｐ ｅ ｉｉｎ ｉ ｎ ｕ ｅ ． ｔｏ ｆ ｏ ｏ ｔ ｃ ｌ ａｉ ｓ ｐ ｏ ｏ ｅ ｏ ｏ ｔｉ ｈ ｉｐ ａ ｅ ｎ ａｇ ｒ ｈ ｎ ｈ ｒ ｃｓｏ ｓ ｅ ｓ ｒ ｄ Ａ ｍｅｈ ｄ ｏ ｄ ｍｅ ｒ ａｉ ｒｔ ｎ ｉ ｒ ｐ ｓ ｄ ｔ ｂ ａｎ ｔ ｅ ｄ ｓ ｌ ｃ ｍｅ ｔ ｔ ｙ ｂ ｏ ｉｆ ｒ ￣ｉｎ ｕ ｄ ｒｔ ｅ ｒ ｂ ｔｓａｔ ｇ ｐ ｉ ｔｃ ｏｄ ｎ ｔ ｎ ｈｓ ｍｅｈ ｄ ｃ ｕ ｄ ｍａ ｅ ｓ ｒ ｆｔ ｅ ｐ ｅ ｉ ｏ ｈ ｎ ｔ ｅ ｎｏ ｍ ｏ ｎ ｅ ｈ ｏ ｏ ｔｒ ｎ ｏｎ ｏ ｒ ｉａ ｅ ａ ｄ ｔ ｉ ｉ ｔ ｏ ｏ ｌ ｋ ｕ ｅ ｏ ｈ ｒ ｃｓ ｎ ｗ ｅ ｈ ｉ ｐ ｓｕ ｅ ｏ ｏ ｏ ｈ ｎ ｅ ． ｈ ｅ ｓｂｌ ｙ ｏ ｉｉｎ ｏ ｏ ｔ ｓ ｖ ｒ ｅ ｙ ｔｅ ｒ ｕ ｄ ｔ ｃ ｘ ｅ ｉ ｎ ｓ ｏ ｔ ｒ ｒ ｂ ｔ ａ ｇ ｄ Ｔ ｅ ｆ ａ ｉｉ ｔ ｖｓｏ ｄ ｍｅｒ ｉ ｅ ｆ ｄ ｂ ｈ ｏ ｎ ｒ ｅ ｅ ｐ ｒ ｆ ｃ ｉ ｆ ｙ ｉ ｉ ａ ｍｅ ｔ ． Ｋｅ ｒ ｓ ｉｉｎ ｏ ｏ ｔ ；Ｓ Ｆ ａ ｇ ｒｔｍ ；ＲＡＮ ＡＣ ａｇ ｒ ｈ ；ｓａ ｔ ｏ ｒ ｃｉｎ ｙ ｗｏ ｄ ：ｖｓｏ ｄ ｍｅｒ ｙ ＵＲ ｌｏ ｈ ｉ Ｓ ｌｏ ｉ ｍ ｔ ｌｎ ｒｅ ｔ ｃ ｏ
MEMS惯导-单目视觉里程计组合导航技术研究
MEMS惯导-单目视觉里程计组合导航技术研究MEMS惯导/单目视觉里程计组合导航技术研究摘要：本文主要研究了MEMS惯导和单目视觉里程计组合导航技术。
MEMS惯导是一种高精度、低成本的惯性导航技术，而单目视觉里程计是一种基于相机视觉的位姿估计技术。
MEMS惯导和单目视觉里程计的组合可以互补各自的优点，提高导航的精度和鲁棒性。
首先，本文对MEMS惯导和单目视觉里程计的原理和特点进行了介绍，并对其存在的问题进行了分析。
然后，本文提出了一种基于卡尔曼滤波器的MEMS惯导/单目视觉里程计组合导航算法。
该算法将MEMS惯导和单目视觉里程计的位姿估计结果进行融合，得到更加准确和可靠的导航结果。
最后，本文进行了实验验证，结果表明，该算法在多种复杂环境下均能取得较好的导航精度和鲁棒性。
关键词：MEMS惯导；单目视觉里程计；组合导航；卡尔曼滤波器；导航精度；鲁棒性。
Abstract:This paper mainly studies the MEMS inertial navigation and monocular visual odometry combined navigation technology. MEMS inertial navigation is a high-precision and low-cost inertial navigation technology, while monocular visual odometry is a position and attitude estimation technology based on camera vision. The combination of MEMS inertial navigation and monocular visual odometry can complement each other's advantages and improve the accuracy and robustness of navigation.Firstly, this paper introduces the principles and characteristics of MEMS inertial navigation and monocular visual odometry, and analyzes the problems existing in them. Then, this paper proposes a MEMS inertial navigation/monocular visual odometry combined navigation algorithm based on Kalman filter. The algorithm fuses the position and attitude estimation results of MEMS inertial navigation and monocular visual odometry to obtain more accurate and reliable navigation results. Finally, this paper conducts experimental verification, and the results show that the algorithm can achieve good navigation accuracy and robustness in various complex environments.Keywords: MEMS inertial navigation; monocular visualodometry; combined navigation; Kalman filter; navigation accuracy; robustnessIn recent years, MEMS inertial navigation and monocular visual odometry have become popular among researchers as they provide accurate and low-cost navigation solutions. However, each approach has its limitations. MEMS inertial navigation suffers fromdrift errors, while monocular visual odometry is susceptible to lighting changes, occlusions, andmotion blur. To overcome these limitations,researchers have proposed a combined navigation approach that fuses the results of the two methods.One such approach is the Kalman filter-based algorithm, which integrates the measurements from MEMS inertial sensors and monocular vision to estimate the position and attitude of the system. The algorithm caneffectively suppress the drift errors of the inertial navigation system using the visual measurements as a reference, while compensating for the scale drifterror of the monocular visual odometry using theinertial measurements. Additionally, the algorithm can handle the nonlinearities and uncertainties of the navigation system and provide a more accurate and reliable navigation solution.To verify the effectiveness of the proposed algorithm, experimental tests were conducted in various complex environments. These tests included indoor and outdoor environments with different lighting conditions, as well as environments with obstacles and sudden movements. The results showed that the algorithm could achieve good navigation accuracy and robustness even in these challenging conditions.In conclusion, the combination of MEMS inertial navigation and monocular visual odometry using a Kalman filter-based algorithm is a promising approach to provide accurate and reliable navigation solutions. The algorithm can effectively address the limitations of both methods and is suitable for various complex environments. Future research should explore the application of this approach in specific fields, such as autonomous driving and robotics, to further evaluate its potentialOne potential application of this approach is in the field of autonomous driving. With the increasing demand for self-driving cars, accurate navigation becomes crucial for ensuring the safety and efficiency of the vehicle. By combining MEMS inertial navigation and monocular visual odometry, the proposed algorithm can provide precise location and orientationinformation for the autonomous vehicle. With the help of the Kalman filter, the algorithm can effectively correct errors and improve the overall accuracy of the navigation system.Another potential application is in the field of robotics. Many robotic systems require accurate positioning and orientation information to perform tasks such as mapping, exploration, and manipulation. By using the proposed approach, robotic systems can achieve higher precision and reliability in navigation, leading to improved performance and efficiency.However, there are still some challenges that need to be addressed. For example, the accuracy of the visual odometry system can be affected by external factors such as lighting conditions and camera calibration. The MEMS IMU system can also suffer from drift due to the accumulation of errors over time. To overcomethese challenges, researchers can explore the use of advanced sensor fusion techniques and machine learning algorithms.In summary, the combination of MEMS inertialnavigation and monocular visual odometry using a Kalman filter-based algorithm holds great potentialfor providing accurate and reliable navigationsolutions in various applications. Further researchand development in this area are needed to address the challenges and fully exploit the benefits of this approachOne area where the combination of MEMS inertial navigation and monocular visual odometry could prove particularly valuable is in autonomous vehicles.Autonomous vehicles rely on accurate and reliable navigation to operate safely and efficiently. While GPS is the primary navigation system used today, ithas limitations, such as poor performance in urban environments and susceptibility to jamming or spoofing.MEMS inertial navigation and monocular visual odometry offer an alternative or complementary approach to GPS-based navigation for autonomous vehicles. By using highly accurate inertial sensors and cameras to measure vehicle motion and track landmarks, these systems can provide precise and reliable position and orientation information.One of the key advantages of using these technologiesin combination is their redundancy. MEMS inertial navigation can provide accurate position andorientation estimates over short periods of time, buterrors can accumulate over longer periods due to drift. Monocular visual odometry can help correct theseerrors by providing additional position andorientation estimates based on image data.However, using these technologies in an autonomous vehicle setting presents several challenges. For example, the vehicle may encounter scenarios where the camera cannot see sufficient landmarks to track its position accurately. Additionally, environmentalfactors such as lighting conditions and weather can also affect the performance of visual odometry.To overcome these challenges, advanced algorithms and sensor fusion techniques, such as deep learning and Kalman filtering, can be used to optimize the performance of the system. For example, a deeplearning-based object recognition algorithm could be trained to identify and track specific landmarks that are more robust to changes in environmental conditions.Another potential application for MEMS inertial navigation and visual odometry is in robotics. For example, in warehouse automation, robots that can navigate accurately and efficiently can help improve the speed and productivity of operations whilereducing costs.Overall, the combination of MEMS inertial navigation and monocular visual odometry has significantpotential for a wide range of applications. Continued research and development in this area will be critical to realizing the full benefits of these technologies in practical settingsIn conclusion, MEMS inertial navigation and monocular visual odometry are powerful technologies that can be used together for various applications, such as autonomous vehicles, drones, virtual reality, and robotics. They can improve accuracy, reliability, and efficiency while reducing costs. Continued research and development in this area is essential to fully unlock the potential of these technologies inpractical settings。
图优化的Kinect三维视觉里程计设计分析
图优化的Kinect三维视觉里程计设计分析随着计算机视觉和深度学习技术的不断发展，三维视觉里程计成为了机器人导航、自动驾驶、增强现实等领域的重要技术之一。
而在这一技术中，图优化则是其中的一个重要环节，它能够通过优化相机位姿和地图的方法，提高三维视觉里程计的准确性和稳定性。
本文将以Kinect为例，对图优化的三维视觉里程计设计进行深入分析。
一、Kinect三维视觉里程计概述Kinect是由微软公司推出的一款深度摄像头，它通过红外传感器和RGB摄像头可以实时获取环境的深度和颜色信息。
这使得Kinect成为了在机器人导航和增强现实等领域中广泛应用的重要设备。
而Kinect三维视觉里程计则是利用Kinect所获取的深度信息和RGB 图像，通过计算每一帧之间的位姿变换，来实现机器人导航和SLAM（Simultaneous Localization and Mapping）等应用。
在Kinect三维视觉里程计中，传统的基于特征点的匹配方法在低纹理区域和长时间运动的情况下容易出现漂移现象，导致测量结果不准确。
而图优化技术则可以通过优化位姿和地图之间的关系，来提高里程计的准确性和稳定性。
具体来说，图优化技术可以将Kinect所获取的深度信息和RGB图像转化为点云地图，然后通过优化算法对这些点云地图进行处理，得到相机在空间中的精确位姿。
3.1、基于图优化的位姿估计在Kinect三维视觉里程计中，图优化算法通常采用基于非线性优化的方法来估计相机位姿。
一个常用的图优化算法是基于最小二乘法的优化算法。
该算法可以通过最小化地图点云与相机位姿之间的重投影误差，来得到相机在三维空间中的准确位置。
为了提高算法的速度和鲁棒性，一些研究者还通过加速技术和自适应权重策略等方法来改进基于最小二乘法的图优化算法。
除了优化相机位姿外，图优化算法还可以对点云地图进行优化，以进一步提高三维视觉里程计的精度。
通常来说，地图优化可以通过最小化地图点云之间的关系来实现。
视觉里程计IMU辅助GPS融合定位算法研究
视觉里程计/IMU辅助GPS融合定位算法研究不同的传感器用于导航定位各有其优势与不足,需要依据不同的应用场景对各传感器进行组合以获取最优导航定位性能。
在城市、桥梁等遮挡环境下,GPS 信号容易发生中断或卫星信号质量不佳,导致室外定位精度不够。
为此,本文将主要研究视觉里程计/IMU辅助GPS融合定位算法,提高室外受限环境下导航定位精度与可靠性。
本文的主要研究内容有:(1)分别研究了视觉里程计和IMU的关键技术。
针对视觉里程计中特征点匹配计算量大及误匹配的现象,集成图像处理领域中基于欧式距离阈值设定的预处理算法,提出视觉里程计前端特征点匹配优化算法。
通过实验证明,提升了特征点提取的质量。
(2)讨论视觉里程计/IMU组合导航算法理论基础,建立视觉里程计/IMU紧耦合模型。
针对实验中的多传感器时间同步问题,使用软件算法估计硬件设备之间的时间偏差。
(3)提出基于抗差自适应卡尔曼滤波的GPS/视觉里程计/IMU组合算法。
通过手持接收设备采集GPS数据,进一步融合视觉里程计/IMU信息解算载体位置。
在遮挡环境下,单GPS的精度E、N、U三个方向的RMS值分别为:9.7653m、31.8248m、20.8644m,而基于抗差的多系统融合位置精度E、N、U三个方向的RMS 值分别为4.48m、7.55m、5.62m,分别提高了54%、76%和73%。
视觉里程计技术综述
视觉里程计技术综述李宇波;朱效洲;卢惠民;张辉【期刊名称】《计算机应用研究》【年(卷),期】2012(029)008【摘要】视觉里程计是通过视觉信息估计运动信息的技术,其中采用了里程计式的方法.该技术作为一种新的导航定位方式,已成功地运用于自主移动机器人中.首先介绍了常用的两种视觉里程计即单目视觉里程计和立体视觉里程计,然后从鲁棒性、实时性和精确性三个方面详细讨论了视觉里程计技术的研究现状,最后对视觉里程计的发展趋势进行了展望.%Visual odometry(VO) is a technology which aims to estimate the motion by using visual information,and used the odometry method in the process. As a new method for navigation and localization .this technology has been applied in the autonomous mobile robots successfully. This paper introduced two of the most popular VO which were monocular VO and stereo VO, and it analyzed the current research status of VO from robustness, real-time and accuracy. At last, it also prospected the development trend of VO.【总页数】6页(P2801-2805,2810)【作者】李宇波;朱效洲;卢惠民;张辉【作者单位】国防科学技术大学机电工程与自动化学院,长沙410073;国防科学技术大学机电工程与自动化学院,长沙410073;国防科学技术大学机电工程与自动化学院,长沙410073;国防科学技术大学机电工程与自动化学院,长沙410073【正文语种】中文【中图分类】TP393.04【相关文献】1.单目视觉里程计研究综述 [J], 祝朝政;何明;杨晟;吴春晓;刘斌2.移动机器人视觉里程计综述 [J], 丁文东;徐德;刘希龙;张大朋;陈天3.基于深度学习的智能车辆视觉里程计技术发展综述 [J], 陈涛;范林坤;李旭川;郭丛帅4.视觉里程计研究综述 [J], 胡凯;吴佳胜;郑翡;张彦雯;陈雪超;鹿奔5.移动机器人中视觉里程计技术综述 [J], 马科伟;张锲石;康宇航;任子良;程俊因版权原因，仅展示原文概要，查看原文内容请购买。
基于深度学习的智能车辆视觉里程计技术发展综述
2021年第1期【摘要】针对基于模型的视觉里程计在光照条件恶劣的情况下存在鲁棒性差、回环检测准确率低、动态场景中精度不够、无法对场景进行语义理解等问题，利用深度学习可以弥补其不足。
首先，简略介绍了基于模型的里程计的研究现状，然后对比了常用的智能车数据集，将基于深度学习的视觉里程计分为有监督学习、无监督学习和模型法与深度学习结合3种，从网络结构、输入和输出特征、鲁棒性等方面进行分析，最后，讨论了基于深度学习的智能车辆视觉里程计研究热点，从视觉里程计在动态场景的鲁棒性优化、多传感器融合、场景语义分割3个方面对智能车辆视觉里程计技术的发展趋势进行了展望。
主题词：视觉里程计深度学习智能车辆位置信息中图分类号：U461.99文献标识码：ADOI:10.19620/ki.1000-3703.20200736Review on the Development of Deep Learning-Based Vision OdometerTechnologies for Intelligent VehiclesChen Tao,Fan Linkun,Li Xuchuan,Guo Congshuai（Chang ’an University,Xi ’an 710064）【Abstract 】Visual odometer can,achieve with deep learning,better performance on robustness and accuracy through solving the problems such as the weak robustness under poor illumination,low detection accuracy in close loop and insufficient accuracy in dynamic scenarios,disability in understanding the scenario semantically.Firstly,this paper briefly introduces the research status of the model-based odometer,then compares the commonly-used intelligent vehicle datasets,and then divides the learning-based visual odometer into supervised learning,unsupervised learning and hybrid model which combines model-based with deep learning-based model.Furthermore,it analyzes the learning-based visual odometer from the aspects of network structure,input and output characteristics,robustness and so on.Finally,the research hotspots of learning-based visual odometer for intelligent vehicle are discussed.The development trend of learning-based visual odometer for intelligent vehicle is discussed from 3aspects which respectively are robustness in dynamic scenarios,multi-sensor fusion,and scenario semantic segmentation.Key words:Visual odometer,Deep learning,Intelligent vehicle,Location information陈涛范林坤李旭川郭丛帅（长安大学，西安710064）*基金项目：国家重点研发计划项目（2018YFC0807500）；国家自然科学基金面上项目（51978075）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｒｅｖｉｅｗｏｆｖｉｓｕａｌｏｄｏｍｅｔｒｙａｌｇｏｒｉｔｈｍ
ＣｉＷｅｎｙａｎ１，２，ＨｕａｎｇＹｉｎｇｐｉｎｇ１，ＨｕＸｉｎｇ１
（１．ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌＥｌｅｃｔｒｉｃａｌ＆ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ ｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙＴａｉｚｈｏｕＣｏｌｌｅｇｅ，ＴａｉｚｈｏｕＪｉａｎｇｓｕ２２５３００，Ｃｈｉｎａ）
过去曾经出现过一些有关 ＶＯ的综述文献［１，９～１１］，尤其是 文献［１，１１］系统地介绍了 ＶＯ在 ２０１２年以前的发展状况。但 是，近几年 ＶＯ技术取得了很大的进步，随着大量高性能 ＶＯ 系统的涌现，这些文献已经不能反映最新的 ＶＯ技术的发展。 本文在综述过程中，侧重结合一些先进的 ＶＯ系统。文章首先 介绍了 ＶＯ的概况，包括 ＶＯ问题的数学描述及其分类；然后 重点综述了特征模块、帧间位姿估计和减少漂移等 ＶＯ的关键 技术。针对近几年来出现的基于深度学习的 ＶＯ，简述了它的 发展动态 并 分 析 了 它 的 优 势 和 不 足。考 虑 到 算 法 评 价 对 于 ＶＯ发展的重要性，文章还介绍了三个常用的 ＶＯ公共数据集。 最后总结了 ＶＯ目前存在的问题，展望了它的发展趋势。
摘 要：视觉里程计通过分析相机获取的图像流信息估计移动机器人的位姿。为了深入分析视觉里程计算法 的发展现状，结合一些先进的视觉里程计系统，综述了视觉里程计的相关技术以及最新的研究成果。首先简述 了视觉里程计的概念和发展历程，介绍了视觉里程计问题的数学描述和分类方法；然后，详细阐述了视觉里程计 的关键技术，包括特征模块、帧间位姿估计和减少漂移；此外，还介绍了基于深度学习的视觉里程计的发展动态。 最后，总结了视觉里程计目前存在的问题，展望了未来的发展趋势。 关键词：机器视觉；视觉里程计；位姿估计；视觉导航；移动机器人；深度学习 中图分类号：ＴＰ２４２．６ 文献标志码：Ａ 文章编号：１００１３６９５（２０１９）０９００１２５６１０８ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０５．０３４６
０ 引言
在移动机器人系统中，要进行目标探测和定位，对于自身 位姿的估计非常重要。传统的位姿估计方法有 ＧＰＳ、ＩＭＵ、轮 速传感器和声纳定位系统等里程计技术。近年来，相机系统变 得更加便宜，分辨率和帧率也更高，计算机性能有了显著提高， 实时的图像处理成为可能。一种新的位姿估计方法因此而产 生，即视觉里程计（ｖｉｓｉｏｎｏｄｏｍｅｔｒｙ，ＶＯ）。ＶＯ仅利用单个或多 个机所获取 的 图 像 流 估 计 智 能 体 位 姿 ［１］。 它 的 成 本 较 低， 能够在水下和空中等 ＧＰＳ失效的环境中工作，其局部漂移率 小于轮速传感器和低精度的 ＩＭＵ，它所获得的数据能够很方便 地与其他基于视觉的算法融合，省去了传感器之间的标定。
程，即单目视觉和立体视觉的方法，这为后来 ＶＯ的研究奠定 了新的基础。
与 ＶＯ紧密相关的一个领域是基于视觉的同时定位与地 图 构 建 技 术 （ｖｉｓｕａｌｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ， ＶＳＬＡＭ）［６～８］。ＶＳＬＡＭ在一个未知的环境中对机器人进行自 定位并实时重建环境的三维结构。其目标是获得对机器人运 动轨迹的全局一致性估计，这意味着机器人必须能够识别曾经 到过的地方，这个过程被称为闭环检测。而 ＶＯ是增量式的重 构路径，它只关心轨迹的局部一致性。从实时性和环境适应性 的角度出发，专注于局部运动估计的 ＶＯ更具有实用价值，更 适用于大范围运动的移动机器人。
第 ３６卷第 ９期 ２０１９年 ９月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ．３６Ｎｏ．９ Ｓｅｐ．２０１９
视觉里程计算法研究综述
慈文彦１，２，黄影平１，胡 兴１
（１．上海理工大学 光电信息与计算机工程学院，上海 ２０００９３；２．南京师范大学泰州学院 电力工程学院，江苏 泰州 ２２５３００）
Ａｂｓｔｒａｃｔ：Ｖｉｓｕａｌｏｄｏｍｅｔｒｙ（ＶＯ）ｅｓｔｉｍａｔｅｓｔｈｅｐｏｓｅｏｆａｍｏｂｉｌｅｒｏｂｏｔｂｙａｎａｌｙｚｉｎｇｔｈｅｉｍａｇｅｆｌｏｗｃａｐｔｕｒｅｄｂｙｔｈｅｅｑｕｉｐｐｅｄ ｃａｍｅｒａｓ．ＩｎｏｒｄｅｒｔｏａｎａｌｙｚｅｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆＶＯａｌｇｏｒｉｔｈｍｓ，ｔｈｉｓｐａｐｅｒｒｅｖｉｅｗｅｄｔｈｅｒｅｌａｔｅｄｔｅｃｈｎｏｌｏｇｉｅｓｏｆＶＯａｎｄｔｈｅｕｐ ｔｏｄａｔｅｒｅｓｅａｒｃｈｓｔａｔｅｃｏｍｂｉｎｅｄｗｉｔｈｓｏｍｅａｄｖａｎｃｅｄＶＯｓｙｓｔｅｍｓ．Ｆｉｒｓｔｌｙ，ｔｈｉｓｐａｐｅｒｄｅｓｃｒｉｂｅｄｔｈｅｃｏｎｃｅｐｔａｎｄｔｈｅｅｖｏｌｕｔｉｏｎｏｆ ＶＯ，ａｎｄｉｎｔｒｏｄｕｃｅｄｔｈｅｍａｔｈｅｍａｔｉｃａｌｄｅｓｃｒｉｐｔｉｏｎａｎｄｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆＶＯ．Ｔｈｅｎ，ｉｔａｎａｌｙｚｅｄｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｏｆＶＯｉｎ ｄｅｔａｉｌｓ，ｉｎｃｌｕｄｉｎｇｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ，ｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎａｎｄｄｒｉｆｔｒｅｄｕｃｔｉｏｎ．Ｉｎａｄｄｉｔｉｏｎ，ｉｔａｌｓｏｉｎｔｒｏｄｕｃｅｄｔｈｅｌａｔｅｓｔｄｅｅｐｌｅａｒｎ ｉｎｇｂａｓｅｄＶＯ．Ａｔｌａｓｔ，ｉｔｄｉｓｃｕｓｓｅｄｔｈｅｅｘｉｓｔｉｎｇｐｒｏｂｌｅｍｓａｎｄｐｒｏｓｐｅｃｔｅｄｔｈｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｏｆＶＯ． Ｋｅｙｗｏｒｄｓ：ｍａｃｈｉｎｅｖｉｓｉｏｎ；ｖｉｓｕａｌｏｄｏｍｅｔｒｙ；ｐｏｓｅｅｓｔｉｍａｔｉｏｎ；ｖｉｓｉｏｎｂａｓｅｄｎａｖｉｇａｔｉｏｎ；ｍｏｂｉｌｅｒｏｂｏｔｓ；ｄｅｅｐｌｅａｒｎｉｎｇ