视觉slam介绍
视觉slam十四讲 引用
视觉SLAM十四讲引言视觉SLAM（Simultaneous Localization and Mapping）是一种通过摄像头获取图像数据，并在其中实时地定位和构建地图的技术。
它在无人驾驶、增强现实、机器人导航等领域有着广泛的应用。
《视觉SLAM十四讲》是一本经典的教材，本文将对该教材进行探讨和总结。
什么是视觉SLAM视觉SLAM是一种通过计算机视觉技术来实现实时定位和地图构建的技术。
通过摄像头获取图像，利用SLAM算法来实时地对机器人的位置和运动进行估计，并同时构建地图。
与传统的SLAM技术相比，视觉SLAM能够减少对其他传感器的依赖，提高系统的自主性和灵活性。
视觉SLAM的基本流程视觉SLAM的基本流程包括图像预处理、特征提取与匹配、运动估计、地图更新等步骤。
具体步骤如下：1.图像预处理–图像去畸变：对图像进行去除镜头畸变的处理，提高后续特征提取和匹配的效果。
–图像降噪：通过滤波等方法降低图像中的噪声，提高图像质量。
2.特征提取与匹配–特征提取：通过提取图像中的角点、边缘等特征点，用于后续的特征匹配和运动估计。
–特征匹配：通过比较两幅图像中的特征点，找到它们之间的对应关系，用于后续的运动估计和地图更新。
3.运动估计–单目SLAM：通过分析图像序列中的特征点的运动，估计机器人的运动轨迹。
–双目SLAM：利用双目摄像头获取的图像，通过立体视觉的方法来估计机器人的运动轨迹。
–深度估计SLAM：通过利用深度传感器获取的深度信息，估计机器人的运动轨迹。
4.地图更新–同步优化：通过对图像序列中的特征点和机器人的位姿进行联合优化，得到更精确的运动轨迹和地图。
–闭环检测：通过对图像序列中的特征点和地图进行匹配，检测是否存在闭环，进而修正运动估计和地图。
视觉SLAM算法简介视觉SLAM算法有很多种，常用的包括特征点法、直接法、半直接法等。
•特征点法：通过提取图像中的特征点，利用这些特征点之间的关系来进行定位和地图构建。
视觉SLAM技术在自动驾驶中的应用研究
视觉SLAM技术在自动驾驶中的应用研究随着自动驾驶技术的迅速发展，视觉SLAM技术作为一种重要的感知与定位技术逐渐受到广泛关注。
SLAM（Simultaneous Localizationand Mapping）技术以其能够同时在未知环境中建立地图与实时定位的能力，成为了自动驾驶系统中必不可少的一部分。
本文将探讨视觉SLAM技术在自动驾驶中的应用研究，包括其原理、关键技术以及现有的应用案例。
首先，我们来了解一下什么是视觉SLAM技术。
视觉SLAM是指利用摄像机输入的图像序列进行地图构建和机器人定位的技术。
在自动驾驶中，视觉SLAM可以通过车载摄像头获取交通场景的信息，进而实时构建地图和定位自身位置，从而实现精准的自动驾驶。
视觉SLAM技术的核心问题是通过摄像机获取的图像信息，建立一个能够表示环境的地图，并实时通过图像信息完成车辆自身的定位。
在这个过程中，需要解决的关键问题有图像特征提取与匹配、环境地图构建、定位估计和数据关联等。
首先，图像特征提取与匹配是视觉SLAM的基础。
视觉SLAM通过提取关键点和描述子来表示场景中的特征点，并通过匹配不同帧之间的特征点实现场景的三维重构和定位。
常用的特征提取算法包括SIFT、SURF、ORB等。
通过特征匹配，可以判断场景中的物体和位置的变化，进而构建地图和定位车辆。
其次，环境地图的构建是视觉SLAM的关键环节之一。
SLAM需要根据摄像头获得的图像数据，通过不断观测和融合来实现地图的建立。
地图构建可以通过三维重建、稠密地图或语义地图等方式实现。
三维重建是指根据摄像头获取的图像数据计算出三维点云，并对其进行地图构建。
稠密地图则是通过视觉SLAM算法实时生成稠密深度图，并结合局部地图构建全局三维地图。
语义地图则是在地图的基础上引入语义信息，将场景信息进一步丰富。
最后，定位估计和数据关联是视觉SLAM中的核心问题。
通过分析摄像头获得的图像序列，视觉SLAM可以估计出车辆在地图中的位置。
视觉SLAM技术在智能巡检中的应用技术指南
视觉SLAM技术在智能巡检中的应用技术指南智能巡检是一种利用先进的技术手段对设备和设施进行定期检查和维护的方式，以确保其正常运行和安全性。
其中，视觉SLAM技术在智能巡检中的应用逐渐受到关注。
本文将为您介绍视觉SLAM技术在智能巡检中的应用，并提供一份技术指南，以帮助您更好地应用这一技术。
一、什么是视觉SLAM技术视觉SLAM（Simultaneous Localization and Mapping）技术是一种通过利用相机等视觉设备同时完成自我定位和环境建图的技术。
在视觉SLAM中，系统通过不断地观测环境并分析图像信息，实时地估计自身的位置，并将这些估计结果用于创建和更新环境地图。
视觉SLAM技术通过结合传感器数据和算法，实现了在未知环境中的定位和地图构建，为智能巡检提供了强有力的支持。
二、视觉SLAM在智能巡检中的应用1. 实时定位：视觉SLAM技术能够通过分析相机获取的图像信息，实时准确地估计设备的位置。
在智能巡检中，通过安装相机设备，可以实现设备的实时定位，为巡检人员提供准确的位置信息，提高巡检效率。
2. 环境建图：视觉SLAM技术可以将传感器采集到的图像信息用于构建环境地图。
在智能巡检中，通过在巡检过程中采集设备和设施的图像数据，结合视觉SLAM算法，可以实时创建和更新环境地图，为巡检人员提供参考和决策支持。
3. 异常检测：视觉SLAM技术可以通过分析环境中的图像信息，检测设备和设施的异常情况。
在智能巡检中，结合视觉SLAM技术，可以实时监测设备和设施的状态，通过比较实时图像数据和之前建立的环境地图，及时发现设备故障或其他异常情况，为及时处理提供依据。
4. 道路规划：视觉SLAM技术可以通过地图数据和设备位置信息，规划巡检路线，提高巡检效率。
在智能巡检中，结合视觉SLAM技术，可以根据环境地图和巡检要求，优化巡检路径，使巡检人员更加高效地完成任务。
三、视觉SLAM技术在智能巡检中的应用指南1. 硬件选型：在应用视觉SLAM技术时，首先需要选择适合的硬件设备。
视觉SLAM综述
机器人导航中常用的4种传感器
SLAM数学模型
假设机器人携带相机在未知环境中运动，把一段连续时 间的运动变成离散时刻t=1，…k，用x表示机器人的自身 位置。则各时刻的位置就记为x 1 ，x 2 …x k ，它构成了 机器人的轨迹。地图方面，设地图由许多个路标组成， 而每个时刻，相机会测量到一部分路标点，得到它们的 观测数据。设路标点共有N个，用y 1 ,y 2 …y n 表示。
1.2 地图的稠密程度
按照所建地图的稠密程度，VSLAM 可以分为稠密 VSLAM 和稀疏 VSLAM。
稠密 VSLAM
利用整幅图像的所有像 素信息参与地图的构建， 利用价值高，但算法耗 时比较大，关键帧的位 姿不再重优化，定位精 度有限.
稀疏 VSLAM
只利用图像的特征点进 行定位和构图，因此只 能得到稀疏的环境地图， 但算法耗时相比稠密 VSLAM 小，定位精度 更高.
2.1 视觉里程计
特征提取与匹配
提取和描述图像特征点方法多种多样，最具代表性的是以下几种:
（文献略）
SIFT 特征点检测与描述
通过检测图像尺度空间的 极值确定特征点的位置， 把特征点周围 16 个梯度方 向直方图离散化为 128 维 浮点向量作为描述符。
SUＲF 特征点检测与描述
通过计算像素的 Hessian 矩阵确定特征点位置，把 特征点在横向和纵向的 Harr 小波响应构成的 64 维浮点向量作为描述符。
2、稀疏VSLAM的框架
稀疏地图VSLAM可以分为四个部分：视觉里程计，后 端优化，建图和闭环检测；关系如图所示。
传感器数据
视觉里程计
闭环检测
后端优化
建图
2.1 视觉里程计
视觉里程计（ Visual Odometry,VO）,主要依靠视觉 传感器，比如单目、双目相机来实现对物体的运动 估计。
视觉SLAM
用形式更简单的 E 。
三角测量确定深度
• 在得到运动之后，下一步我们需要用相机的运动估计特征点的空间位置。在单目 SLAM 中，仅通过单张图 像无法获得像素的深度信息，我们需要通过三角测量（ Triangulation ）（或三角化）的方法来估计地图点
回环检测
• 回环检测，又称闭环检测（ Loop Closure Detection ），主要解决位置 估计随时间漂移的问题。 • 前端提供特征点的提取和轨迹、地图的初值，而后端负责对这所有的数据
进行优化。然而，如果像 VO 那样仅考虑相邻时间上的关联，那么，之前
产生的误差将不可避免地累计到下一个时刻，使得整个 SLAM 会出现累积 误差。长期估计的结果将不可靠，或者说，我们无法构建全局一致的轨迹
用对极几何恢复出在两帧之间摄像机的运动
• 现在，假设我们从两张图像中，得到了一对配对好的特征点，像图 7-7 里显示的那样。如果我们有若 干对这样的匹配点，就可以通过这些二维图像点的对应关系，恢复出在两帧之间摄像机的运动。
• 1. 根据配对点的像素位置，求出 E 或者 F ；
• 2. 根据 E 或者 F ，求出 R, t 。由于 E 和 F 只相差了相机
视觉 SLAM
蔺志强 苏 敬
• SLAM 是 Simultaneous Lo“同时定位与地图构
建”。它是指搭载特定传感器的主体，在没有环 境先验信息的情况下，于运动过程中建立环境的 模型，同时估计自己的运动。如果这里的传感器 主要为相机，那就称为“视觉 SLAM ”。
和地图。
核心问题是如何计算图像间的相似性
• 最简单的方式就是对任意两张图像都做一遍特征匹配，根据正确匹配的数量确定哪两个图像存在关联。但 计算量大，效率低下。 • 基于里程计的几何关系（ Odometry based ）， • 基于外观（ Appearanc e based ）仅根据两张图像的相似性确定回环检测关系，这种做法摆脱了累计误差， 使回环检测模块成为 SLAM 系统中一个相对独立的模块。
视觉slam的分类
视觉slam的分类视觉SLAM是指基于视觉传感器的同时定位与地图构建技术。
它是一种利用相机或摄像头来实现机器人或无人机在未知环境中自主定位和建图的技术。
视觉SLAM技术的应用非常广泛，包括自动驾驶、智能家居、机器人导航等领域。
视觉SLAM可以分为以下几类：1. 基于特征的SLAM基于特征的SLAM是指通过提取图像中的特征点来进行定位和建图的技术。
这种方法通常使用SIFT、SURF、ORB等算法来提取特征点，并使用RANSAC等算法来进行特征匹配和估计相机位姿。
基于特征的SLAM具有较高的精度和鲁棒性，但对于纹理较少的场景或者运动模糊较严重的情况下，可能会出现定位失败的情况。
2. 基于直接法的SLAM基于直接法的SLAM是指直接利用图像像素值来进行定位和建图的技术。
这种方法通常使用光流法或者稠密光流法来进行像素级别的匹配，并使用优化算法来估计相机位姿。
基于直接法的SLAM具有较高的鲁棒性和对纹理较少的场景具有较好的适应性，但需要较高的计算资源和较长的计算时间。
3. 基于半直接法的SLAM基于半直接法的SLAM是指结合了基于特征法和基于直接法的优点，通过利用像素值和特征点来进行定位和建图的技术。
这种方法通常使用SVO、DSO等算法来进行实现。
基于半直接法的SLAM具有较高的鲁棒性和较快的计算速度，但对于纹理较少的场景可能会出现定位失败的情况。
4. 基于深度学习的SLAM基于深度学习的SLAM是指利用深度学习技术来进行定位和建图的技术。
这种方法通常使用深度神经网络来进行图像特征提取和相机位姿估计。
基于深度学习的SLAM具有较高的鲁棒性和对于纹理较少的场景具有较好的适应性，但需要较大的训练数据集和较长的训练时间。
总之，视觉SLAM技术的分类主要是基于不同的特征提取和匹配方法，每种方法都有其优缺点和适用场景。
未来，随着计算机视觉和深度学习技术的不断发展，视觉SLAM技术将会得到更广泛的应用和进一步的优化。
视觉SLAM技术在智能导航系统中的应用探索
视觉SLAM技术在智能导航系统中的应用探索随着智能导航系统的快速发展，视觉SLAM技术作为一种重要的感知和定位手段逐渐得到了广泛应用。
视觉SLAM技术是一种通过摄像机获取环境信息并同时实现定位和建图的技术，能够在无GPS信号的环境下依靠摄像机和传感器进行定位和导航。
一、视觉SLAM技术概述视觉SLAM技术是指通过使用摄像头采集环境信息，通过计算机视觉和机器学习算法实时地进行环境地图的构建和相机自身的定位。
它能够利用摄像头获取实时的图像信息，并通过分析和处理图像获得相机在三维空间中的位置和姿态。
视觉SLAM技术主要包括两个关键技术：建图和定位。
二、视觉SLAM技术在智能导航系统中的应用1. 实时建图功能视觉SLAM技术能够实时地建立环境的三维地图，这对于智能导航系统来说非常重要。
通过建立地图，导航系统可以知道当前位置和周围环境的具体情况，进而进行路径规划和导航引导。
同时，视觉SLAM技术还可以实现地图的动态更新，及时更新地图上的障碍物和道路信息，提供更精准的导航服务。
2. 定位导航功能视觉SLAM技术能够实时地跟踪相机的姿态和位置，进而提供准确的定位信息。
在智能导航系统中，定位功能是至关重要的，它决定了导航系统能够为用户提供准确的位置信息和导航引导。
视觉SLAM技术借助摄像头获取实时图像，并通过处理和分析图像数据来估计相机运动和位置，从而提供精确的定位信息。
3. 多传感器融合除了视觉信息，智能导航系统还可以融合其他传感器的信息，如惯性测量单元（IMU）、全球导航卫星系统（GNSS）等，以进一步提高定位的精度和稳定性。
视觉SLAM技术与其他传感器的融合可以相互补充，提供更完整的环境感知和定位信息，使导航系统能够在复杂的室内外环境中实现更高精度和可靠性的导航服务。
4. 动态环境处理在智能导航系统中，动态环境的处理是一个具有挑战性的任务。
视觉SLAM技术能够通过实时的图像处理和分析，对动态环境进行检测和跟踪。
视觉SLAM技术研究及其在智能导航中的应用
视觉SLAM技术研究及其在智能导航中的应用随着科技的发展，人们的生活也越来越多地依赖于智能化技术。
其中，智能导航技术的应用越来越广泛。
在智能导航技术中，视觉SLAM技术是非常重要的一环。
那么，什么是视觉SLAM技术？它有什么应用？今天，我们就来介绍一下视觉SLAM技术及其在智能导航中的应用。
一、视觉SLAM技术简介SLAM（Simultaneous Localization and Mapping）是指同时进行实时建图和自身定位的技术。
其目的是在未知环境中进行自主导航，不需要进行其他辅助。
视觉SLAM技术则是使用摄像机和图像处理技术进行SLAM。
与其他SLAM技术相比，视觉SLAM技术具有以下优势：1. 无需外部传感器：相比于基于惯性传感器的技术，视觉SLAM技术只需要使用摄像机，可以大大降低成本。
2. 高精度：视觉SLAM技术可以利用摄像机对环境进行高精度地三维建模，定位精度更高。
3. 环境适应性好：在不同的环境下，如室内、室外、大型建筑等，视觉SLAM技术都可以实现有效的建图和定位。
二、视觉SLAM技术在智能导航中的应用1. 智能家居导航系统智能家居导航是人们日常生活中非常常见的一种智能导航应用场景。
在家居导航系统中，视觉SLAM技术可以根据家庭环境构建出三维平面图，实现家居内所有设备的自主导航。
当智能家电配备定位模块后，智能家电整合视觉SLAM技术，便可以实现避障导航，大大提高了智能家居系统的智能化程度。
2. 无人驾驶在无人驾驶中，视觉SLAM技术是实现自主导航的一项重要技术。
将视觉SLAM技术与激光雷达、GPS等其他传感器结合，无人车就能够实现准确的定位和无人驾驶。
近年来，国内外许多无人驾驶公司通过研发视觉SLAM技术，不断提升无人驾驶的驾驶精度和安全性。
3. 机器人导航机器人导航是视觉SLAM技术的又一个应用场景。
机器人通过搭载传感器设备，在未知环境中进行自主导航和定位，还可以用于工业、农业等领域。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 灰度不变假设： • 注意：灰度不变是一种理想的假设，实际当中由于高光/阴影/材质/曝光等不同，很 可能不成立。
3.5 光流
• 对 t+dt 时刻的灰度进行Taylor展开并保留一阶项：
• 由于灰度不变，所以
因此 => x方向梯度 • 希望求解dx/dt, dy/dt 随时间变化 y方向梯度
• 相机
• 以一定速率采集图像，形成视频
• 分类
• 单目 Monocular • 双目 Stereo • 深度 RGBD • 其他 鱼眼 全景 Event Camera, etc.
第一讲 视觉SLAM概述
• 相机的本质
• 以二维投影形式记录了三维世界的信息
• 此过程丢掉了一个维度：距离
• 各类相机主要区别：有没有深度信息
• 特征点周围的图像信息——描述子（Descriptor）
• 主流方法：SIFT/SURF/ORB
（OpenCV features2d模块）
3.1.1 ORB特征
• 例子：ORB特征
• 关键点：Oriented FAST
• 描述：BRIEF
• FAST
• 连续N个点的灰度有明显差异
• Oriented FAST • 在FAST基础上计算旋转 • BRIEF • BRIEF-128：在特征点附近的128次像素比较
实践 光流
可以发现，光流法在跟踪过 程中一部分特征点会丢失，在第 一帧时有1749个特征点，而在第 10帧时大约还有1640个特征点， 相机的视角在发生改变，所以我 们使用光流法时要注意特征点的 重新采集。
第四讲 后端
Chapter 4: Backend
4.1 BA与图优化
4.1 BA与图优化
• 准确的定位需要精确的地图 • 精确的地图来自准确的定位
第一讲 视觉SLAM概述
• How to do SLAM？——Sensors
两类传感器 • 安装于环境中的： • 二维码 Marker • GPS • 导轨、磁条 • 携带于机器人本体上的
• IMU
• 激光 • 相机
第一讲 视觉SLAM概述
3.5 光流
• 但本式是一个二元一次线性方程，欠定
• 需要引用额外的约束
• 假定一个窗口（ w ´ w ）内光度不变：
• 通过超定最小二乘解求得运动 u,v
3.5 光流
最后，我们可以通过光流跟踪的特征的，用PnP、ICP或对极几何来估计 相机运动。总而言之，光流法可以加速基于特征点的视觉里程计算法，避免计 算和匹配描述子的过程，但要求相机运动较慢（或采集频率较高）。
• 数量充足，以实现良好的定位
• 较好的区分性，以实现数据关联
• 在视觉SLAM中，可利用图像特征点作为SLAM中的路标
3.1 特征点法
• 特征点：图像当中具有代表性的部分
• 可重复性
• 可区别性
• 高效 • 本地
• 特征点的信息
• 位置、大小、方向、评分等——关键点
特征描述应该在光照、视角发生少量变化时 仍能保持一致
视觉SLAM介绍
提要
1. 2. 视觉SLAM概述 相机与图像
3.
4. 5. 6.
视觉里程计
后端优化 回环检测 地图构建
第一讲 视觉SLAM概述
Chapter 1: Introduction
第一讲 视觉SLAM概述
• Question 机器人自主运动两大基本问题
• 我在什么地方？——定位 • 周围长什么样子？——建图 • 机器人的“内外兼修”：定位侧重对自身的了解，建图侧重对外在的了解
• 考虑在位姿 i 处对路标 j 的一次观测 zij：
eij = zij - h xi , y j
(
)
4.1 BA与图优化
• 该方程组分为两步来求：
1. 求解上半部分，规模较小，得到 Dxc
2. 将结果代入下半部分，得到
Dx p
• 这个做法称为Marginalization或Schur消元
• 从消元角度来讲，亦可使用Cholesky等其他消元方式解此稀疏方程 • 从Marginalization角度来讲，是我们把所有的路标信息边缘化到了相机的信息中
先把P从世界坐标变到 相机坐标系下
• 这里 R, t 或 T 称为外参 • 外参是SLAM估计的目标
第二讲 相机模型
• RGB-D相机：物理手段测量深度
• ToF或结构光两种主要原理
• 通常能得到与RGB图对应的深度图
第二讲 图像
• 相机成像后，生成了图像 • 图像在计算机中以矩阵形式存储（二维数组）
4.1 BA与图优化
• BA问题与图结构的关系
• BA虽是个纯优化问题，但亦可以用图模型表述出来
• 顶点为优化变量，边为运动/观测约束
• 本身还有一些特殊的结构 特点： • 每个观测只关系两个变量，其中一个是相机，一个 是路标 • 纯视觉Ba中，不存在相机与相机/路标与路标之间的 关联 • 整个误差函数由许多个这样小的项组成
• 回环检测
• 检测机器人是否回到早先位置
• 识别到达过的场景
• 计算图像间的相似性
• 方法：词袋模型
第一讲 视觉SLAM概述
• 建图
• 用于导航、规划、通讯、 可视化、交互等 • 度量地图 vs 拓扑地图 • 稀疏地图 vs 稠密地图
第二讲 相机与图像
Chapter 2: Cameras and Images
BA 算法起源于上世纪 60 年代，开始应用于图片拼接方向，正是由于 BA 的出 现才使得图片自动拼接称为可能。在视觉 SLAM 产生之后，BA 被广泛应用于视觉 SLAM的位姿优化，其将相机位姿和特征点的空间位置进行同时优化，获得优化后 的结果。 BA 本身也是一个非线性最小二乘问题。对于视觉 SLAM 来说 BA 问题可以简 单的描述成在不同的相机位姿下看到了相同的空间点，于是通过观测使得空间点和 相机位姿之间产生了约束，并且由空间点在两幅图像上的重投影产生了联系。由重 投影关系产生的误差即可建立最小二乘问题，求解该问题即可对相机位姿和空间点 进行同时优化。
3.1.1 ORB特征
• 特征匹配
• 通过描述子的差异判断哪些特征为同一个点
• 暴力匹配：比较图1中每个特征和图2特征的距离
• 加速：快速最近邻（FLANN）
实践：特征提取和匹配
3.2 对极几何
• 特征匹配之后，得到了特征点之间的对应关系
• 如果只有两个单目图像，得到2D-2D间的关系 ——对极几何
G2O下的BA优化
第五讲 回环检测
Chapter 5: Loop detection
5.1 回环检测
为消除累计误差，获得全局一致的地图和轨迹， 仅仅通过帧间数据匹配估计运动位姿是远远不够的， 需要在全局数据中进行处理才能得到更好的结果。 在这个过程中，回环检测就发挥了非常重要的作用。 回环检测可以有效修正运动轨迹，将累计误差消除。 回环检测本质上是图像相似度计算的问题，一 般使用 BOW 字典对图片进行描述，通过检验图片 中单词的数量形成直方图，通过检验直方图之间的 关系确定图像之间的相似程度。一般使用词袋模型 判断回环检测需要进行词典的建立以及后续对图像 相似性的处理。
第一讲 视觉SLAM概述
• 当相机运动起来时
• 场景和成像有几何关系
• 近处物体的像运动快
• 远处物体的像运动慢 • 可以推断距离
第一讲 视觉SLAM概述
• 双目相机：左右眼的微小差异判断远近 • 同样，远处物体变化小，近处物体变化大——推算距离 计算量非常大
第一讲 视觉SLAM概述
• 深度相机
3.3 三角化
• 已知运动时，求解特征点的3D位置
• 几何关系：
• 求 时，两侧乘
• 反之亦然
• 或者同时解
• 求 的最小二乘解
3.4 PNP
• 已经3D点的空间位置和相机上的投影点， 求相机的旋转和平移（外参） • 代数的解法/优化的解法 • 代数的
• DLT • P3P • EPnP/UPnP/…
其实这个过程非常简单，就是针对人脸、自行 车和吉他这三个文档，抽取出相似的部分（或者词 义相近的视觉词汇合并为同一类），构造一个词典， 词典中包含4个视觉单词，即Dictionary = {1:”自行 车”, 2. “人脸”, 3. “吉他”, 4. “人脸类”}，最 终人脸、自行车和吉他这三个文档皆可以用一个4维 向量表示，最后根据三个文档相应部分出现的次数 画成了上面对应的直方图。一般情况下，K的取值 在几百到上千，在这里取K＝4仅仅是为了方便说明。
• 需要对感光度量化成数值，例如0~255之间的整数（彩色图像还有通道）
实践 点云拼接
第三讲 视觉里程计
Chapter 3: Visual SLAM模型中以位姿——路标（Landmark）来描述SLAM过程 • 路标是三维空间中固定不变的点，能够在特定位姿下观测到
• 单目：没有深度，必须通过移动相机产生深度 Moving View Stereo
• 双目：通过视差计算深度 Stereo • RGBD：通过物理方法测量深度
第一讲 视觉SLAM概述
仅有一个图像时：
• 可能是很近但很小的物体 • 可能是很远但很大的物体
它们成像相同
必须在移动相机后才能得知相机的运动和 场景的结构
• 物理手段测量深度
• 结构光 ToF
• 主动测量，功耗大 • 深度值较准确 • 量程较小，易受干扰
第一讲 视觉SLAM概述
• 视觉SLAM框架 • 前端：VO
• 后端：Optimization
• 回环检测 Loop Closing • 建图 Mapping
第一讲 视觉SLAM概述
• 视觉里程计 Visual Odometry