视觉slam介绍58页PPT
合集下载
2024版智能机器人介绍ppt课件
对图像进行预处理、增强、 变换等操作，提取有用信 息。
计算机视觉
通过图像处理和计算机对 图像的理解，识别环境中 的物体、场景和行为。
应用
目标检测与跟踪、场景理 解、三维重建等。
自然语言处理与理解
自然语言处理
研究计算机处理、理解和 运用人类语言的一门技术。
自然语言理解
让机器能够理解人类语言 的含义和语境，实现人机 交互。
烹饪机器人 自动完成食材处理、烹饪等过程，提供便捷的餐饮服务。
智能家居控制机器人
通过语音或手势识别，实现对家居设备的智能控制和管理。
07
未来发展趋势与挑战
技术创新带来的机遇和挑战
机遇
随着人工智能、机器学习等技术的不断发展，智能机器人的智能化水平将不断 提高，应用场景也将更加广泛。例如，智能机器人可以在医疗、教育、物流等 领域发挥重要作用。
02
感知与认知技术
传感器类型及作用
内部传感器
检测机器人自身状态，如位置、 速度、加速度等。
外部传感器
感知外部环境信息，如距离、温度、 声音、光线等。
传感器的作用
为机器人提供准确的环境信息和自 身状态信息，是实现自主导航、环 境感知、人机交互等功能的基础。
图像处理与计算机视觉
01
02
03
图像处理
协同规划与决策
协同控制与优化
探讨多机器人协同规划与决策算法的设计和 实现，如任务分配、路径规划、协同避障等。
分析多机器人协同控制中的优化问题，如一 致性控制、编队控制、最优资源分配等，并 提出相应的解决方法。
04
人工智能算法应用
深度学习在机器人领域应用
1 2 3
机器人感知
通过深度学习技术，机器人可以更加准确地感知 周围环境，包括识别物体、检测障碍物、定位自 身等。
计算机视觉
通过图像处理和计算机对 图像的理解，识别环境中 的物体、场景和行为。
应用
目标检测与跟踪、场景理 解、三维重建等。
自然语言处理与理解
自然语言处理
研究计算机处理、理解和 运用人类语言的一门技术。
自然语言理解
让机器能够理解人类语言 的含义和语境，实现人机 交互。
烹饪机器人 自动完成食材处理、烹饪等过程，提供便捷的餐饮服务。
智能家居控制机器人
通过语音或手势识别，实现对家居设备的智能控制和管理。
07
未来发展趋势与挑战
技术创新带来的机遇和挑战
机遇
随着人工智能、机器学习等技术的不断发展，智能机器人的智能化水平将不断 提高，应用场景也将更加广泛。例如，智能机器人可以在医疗、教育、物流等 领域发挥重要作用。
02
感知与认知技术
传感器类型及作用
内部传感器
检测机器人自身状态，如位置、 速度、加速度等。
外部传感器
感知外部环境信息，如距离、温度、 声音、光线等。
传感器的作用
为机器人提供准确的环境信息和自 身状态信息，是实现自主导航、环 境感知、人机交互等功能的基础。
图像处理与计算机视觉
01
02
03
图像处理
协同规划与决策
协同控制与优化
探讨多机器人协同规划与决策算法的设计和 实现，如任务分配、路径规划、协同避障等。
分析多机器人协同控制中的优化问题，如一 致性控制、编队控制、最优资源分配等，并 提出相应的解决方法。
04
人工智能算法应用
深度学习在机器人领域应用
1 2 3
机器人感知
通过深度学习技术，机器人可以更加准确地感知 周围环境，包括识别物体、检测障碍物、定位自 身等。
SLAM介绍以及浅析ppt课件
(3) 数据的关联； (为了获得全局的环境地图和实现定位，还需要将不同时间、不同地 点的
感知信息进行匹配和联合，存在局部数据之间的关联问题，也存在局部数据 与全局数据的关联与匹配问题) (4) 自定位；
(移动机器人的定位按照有无环境地图可以分为基于地图的定位和无地图的 定位)
(5) 探索规划 (主要目的是提高地图创建的效率，使机器人在较短的时间内感知范围覆
·环境特征不够明显时； ·传感器信息比较少，难以从一次感知信息中获得环境特征。
不确定信息的描述和处理方法
在未知环境中，环境信息的不确定性尤为明显。研究人员已经提出了 多种用来处理不确定性的度量方法，如模糊度量、概率度量、信任度量、 可能性度量、证据理论度量等等。目前在SLAM中使用较多的主要是模糊 度量和概率度量的方法。
图3：路标C被观测到 （在新的位置，路标C被观测到，路标C的相对于A的位置也是一个估计值（更大的圈）
图4：路标B被观测到
图5：机器人返回到初始位置 （此时机器人的位置相对于没有移动前更加不确定，一个超大的椭圆表示了其可能的真实位置值范围）
图6：对A点的重新测量 （通过对A的重新测量，图4中的超大椭圆值被大大的缩小了，其位置真值落入了一个比较小的范围内）
说明：机器人在定位误差随着机器人的移动而增加。 说明：机器人在定位误差随着机器人的移动而增加，但是由于有了路标的纠正，其误差相对就小了很多。
说明：通过2次对路标的测定，其定位误差已经大大减少 说明：经过3次误差校正，其定位精度已经很好了，但是随着路标位置的丢失，其定位误差又一次的扩大了。
基于霍夫曼方法的SLAM的基本过程为：
①在一个未知的室内结构化环境中提出了基于栅格表示的局部模型与基于几何信息表
示的全局模型相结合的环境建模方式。环境特征的提取采用了Hough transform与Clustering 相结合的方法。感知数据的融合采用了扩展卡尔曼滤波方式。
感知信息进行匹配和联合，存在局部数据之间的关联问题，也存在局部数据 与全局数据的关联与匹配问题) (4) 自定位；
(移动机器人的定位按照有无环境地图可以分为基于地图的定位和无地图的 定位)
(5) 探索规划 (主要目的是提高地图创建的效率，使机器人在较短的时间内感知范围覆
·环境特征不够明显时； ·传感器信息比较少，难以从一次感知信息中获得环境特征。
不确定信息的描述和处理方法
在未知环境中，环境信息的不确定性尤为明显。研究人员已经提出了 多种用来处理不确定性的度量方法，如模糊度量、概率度量、信任度量、 可能性度量、证据理论度量等等。目前在SLAM中使用较多的主要是模糊 度量和概率度量的方法。
图3：路标C被观测到 （在新的位置，路标C被观测到，路标C的相对于A的位置也是一个估计值（更大的圈）
图4：路标B被观测到
图5：机器人返回到初始位置 （此时机器人的位置相对于没有移动前更加不确定，一个超大的椭圆表示了其可能的真实位置值范围）
图6：对A点的重新测量 （通过对A的重新测量，图4中的超大椭圆值被大大的缩小了，其位置真值落入了一个比较小的范围内）
说明：机器人在定位误差随着机器人的移动而增加。 说明：机器人在定位误差随着机器人的移动而增加，但是由于有了路标的纠正，其误差相对就小了很多。
说明：通过2次对路标的测定，其定位误差已经大大减少 说明：经过3次误差校正，其定位精度已经很好了，但是随着路标位置的丢失，其定位误差又一次的扩大了。
基于霍夫曼方法的SLAM的基本过程为：
①在一个未知的室内结构化环境中提出了基于栅格表示的局部模型与基于几何信息表
示的全局模型相结合的环境建模方式。环境特征的提取采用了Hough transform与Clustering 相结合的方法。感知数据的融合采用了扩展卡尔曼滤波方式。
视觉SLAM十四讲 三维空间刚体运动33页PPT
60、人民的幸福是至高无个的法。— —西塞 罗
21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而ห้องสมุดไป่ตู้，决心到最后会全部推倒。——莎士比亚
视觉SLAM十四讲 三维空间刚体运动
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
25、学习是劳动，是充满思想的劳动。——乌申斯基
谢谢！
21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而ห้องสมุดไป่ตู้，决心到最后会全部推倒。——莎士比亚
视觉SLAM十四讲 三维空间刚体运动
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
25、学习是劳动，是充满思想的劳动。——乌申斯基
谢谢！
视觉SLAM综述
机器人导航中常用的4种传感器
SLAM数学模型
假设机器人携带相机在未知环境中运动，把一段连续时 间的运动变成离散时刻t=1，…k，用x表示机器人的自身 位置。则各时刻的位置就记为x 1 ，x 2 …x k ，它构成了 机器人的轨迹。地图方面，设地图由许多个路标组成， 而每个时刻，相机会测量到一部分路标点，得到它们的 观测数据。设路标点共有N个，用y 1 ,y 2 …y n 表示。
1.2 地图的稠密程度
按照所建地图的稠密程度，VSLAM 可以分为稠密 VSLAM 和稀疏 VSLAM。
稠密 VSLAM
利用整幅图像的所有像 素信息参与地图的构建， 利用价值高，但算法耗 时比较大，关键帧的位 姿不再重优化，定位精 度有限.
稀疏 VSLAM
只利用图像的特征点进 行定位和构图，因此只 能得到稀疏的环境地图， 但算法耗时相比稠密 VSLAM 小，定位精度 更高.
2.1 视觉里程计
特征提取与匹配
提取和描述图像特征点方法多种多样，最具代表性的是以下几种:
（文献略）
SIFT 特征点检测与描述
通过检测图像尺度空间的 极值确定特征点的位置， 把特征点周围 16 个梯度方 向直方图离散化为 128 维 浮点向量作为描述符。
SUＲF 特征点检测与描述
通过计算像素的 Hessian 矩阵确定特征点位置，把 特征点在横向和纵向的 Harr 小波响应构成的 64 维浮点向量作为描述符。
2、稀疏VSLAM的框架
稀疏地图VSLAM可以分为四个部分：视觉里程计，后 端优化，建图和闭环检测；关系如图所示。
传感器数据
视觉里程计
闭环检测
后端优化
建图
2.1 视觉里程计
视觉里程计（ Visual Odometry,VO）,主要依靠视觉 传感器，比如单目、双目相机来实现对物体的运动 估计。
视觉SLAM
内参，而内参在 SLAM 中通常是已知的，所以实践当中往往使
用形式更简单的 E 。
三角测量确定深度
• 在得到运动之后，下一步我们需要用相机的运动估计特征点的空间位置。在单目 SLAM 中，仅通过单张图 像无法获得像素的深度信息，我们需要通过三角测量（ Triangulation ）（或三角化）的方法来估计地图点
回环检测
• 回环检测，又称闭环检测（ Loop Closure Detection ），主要解决位置 估计随时间漂移的问题。 • 前端提供特征点的提取和轨迹、地图的初值，而后端负责对这所有的数据
进行优化。然而，如果像 VO 那样仅考虑相邻时间上的关联，那么，之前
产生的误差将不可避免地累计到下一个时刻，使得整个 SLAM 会出现累积 误差。长期估计的结果将不可靠，或者说，我们无法构建全局一致的轨迹
用对极几何恢复出在两帧之间摄像机的运动
• 现在，假设我们从两张图像中，得到了一对配对好的特征点，像图 7-7 里显示的那样。如果我们有若 干对这样的匹配点，就可以通过这些二维图像点的对应关系，恢复出在两帧之间摄像机的运动。
• 1. 根据配对点的像素位置，求出 E 或者 F ；
• 2. 根据 E 或者 F ，求出 R, t 。由于 E 和 F 只相差了相机
视觉 SLAM
蔺志强 苏 敬
• SLAM 是 Simultaneous Lo“同时定位与地图构
建”。它是指搭载特定传感器的主体，在没有环 境先验信息的情况下，于运动过程中建立环境的 模型，同时估计自己的运动。如果这里的传感器 主要为相机，那就称为“视觉 SLAM ”。
和地图。
核心问题是如何计算图像间的相似性
• 最简单的方式就是对任意两张图像都做一遍特征匹配，根据正确匹配的数量确定哪两个图像存在关联。但 计算量大，效率低下。 • 基于里程计的几何关系（ Odometry based ）， • 基于外观（ Appearanc e based ）仅根据两张图像的相似性确定回环检测关系，这种做法摆脱了累计误差， 使回环检测模块成为 SLAM 系统中一个相对独立的模块。
用形式更简单的 E 。
三角测量确定深度
• 在得到运动之后，下一步我们需要用相机的运动估计特征点的空间位置。在单目 SLAM 中，仅通过单张图 像无法获得像素的深度信息，我们需要通过三角测量（ Triangulation ）（或三角化）的方法来估计地图点
回环检测
• 回环检测，又称闭环检测（ Loop Closure Detection ），主要解决位置 估计随时间漂移的问题。 • 前端提供特征点的提取和轨迹、地图的初值，而后端负责对这所有的数据
进行优化。然而，如果像 VO 那样仅考虑相邻时间上的关联，那么，之前
产生的误差将不可避免地累计到下一个时刻，使得整个 SLAM 会出现累积 误差。长期估计的结果将不可靠，或者说，我们无法构建全局一致的轨迹
用对极几何恢复出在两帧之间摄像机的运动
• 现在，假设我们从两张图像中，得到了一对配对好的特征点，像图 7-7 里显示的那样。如果我们有若 干对这样的匹配点，就可以通过这些二维图像点的对应关系，恢复出在两帧之间摄像机的运动。
• 1. 根据配对点的像素位置，求出 E 或者 F ；
• 2. 根据 E 或者 F ，求出 R, t 。由于 E 和 F 只相差了相机
视觉 SLAM
蔺志强 苏 敬
• SLAM 是 Simultaneous Lo“同时定位与地图构
建”。它是指搭载特定传感器的主体，在没有环 境先验信息的情况下，于运动过程中建立环境的 模型，同时估计自己的运动。如果这里的传感器 主要为相机，那就称为“视觉 SLAM ”。
和地图。
核心问题是如何计算图像间的相似性
• 最简单的方式就是对任意两张图像都做一遍特征匹配，根据正确匹配的数量确定哪两个图像存在关联。但 计算量大，效率低下。 • 基于里程计的几何关系（ Odometry based ）， • 基于外观（ Appearanc e based ）仅根据两张图像的相似性确定回环检测关系，这种做法摆脱了累计误差， 使回环检测模块成为 SLAM 系统中一个相对独立的模块。
SLAM简介
SLAM简介SLAM简介1. 关于SLAMSLAM是同步定位与地图构建(Simultaneous Localization And Mapping)的缩写，最早由Hugh Durrant-Whyte 和 John J.Leonard 提出。
SLAM主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题。
SLAM通常包括如下几个部分，特征提取，数据关联，状态估计，状态更新以及特征更新等。
对于其中每个部分，均存在多种方法。
针对每个部分，我们将详细解释其中一种方法。
在实际使用过程中，读者可以使用其他的方法代替本文中说明的方法。
这里，我们以室内环境中运行的移动机器人为例进行说明，读者可以将本文提出的方法应用于其他的环境以及机器人中。
SLAM既可以用于2D运动领域，也可以应用于3D运动领域。
这里，我们将仅讨论2D领域内的运动。
2. 机器人平台在学习SLAM的过程中，机器人平台是很重要的，其中，机器人平台需要可以移动并且至少包含一个测距单元。
我们这里主要讨论的是室内轮式机器人，同时主要讨论SLAM的算法实现过程，而并不考虑一些复杂的运动模型如人形机器人。
在选择机器人平台时需要考虑的主要因素包括易用性，定位性能以及价格。
定位性能主要衡量机器人仅根据自身的运动对自身位置进行估计的能力。
机器人的定位精度应该不超过2%，转向精度不应该超过5%。
一般而言，机器人可以在直角坐标系中根据自身的运动估计其自身的位置与转向。
从0开始搭建机器人平台将会是一个耗时的过程，也是没有必要的。
我们可以选择一些市场上成熟的机器人开发平台进行我们的开发。
这里，我们以一个非常简单的自己开发的机器人开发平台讨论，读者可以选择自己的机器人开发平台。
目前比较常见的测距单元包括激光测距、超声波测距、图像测距。
其中，激光测距是最为常用的方式。
通常激光测距单元比较精确、高效并且其输出不需要太多的处理。
其缺点在于价格一般比较昂贵（目前已经有一些价格比较便宜的激光测距单元）。
视觉SLAM从理论到实践
同时估计自己的运动。 • 视觉SLAM：以相机为主要传感器的SLAM • 问题：从图像中估计相机的运动以及环境的情况
4 第一讲 引言
相机运动？环境模型？
应用：机器人、AR/VR、无人机、无人驾驶等等。
5 第一讲 引言
• 困难之处
• 三维空间的运动 • 受噪声影响 • 数据来源只有图像
• 人类看到的是图像，计算机看 到的是数值矩阵
• Make computer see?
• 从学习角度来看
• 牵涉到理论太广 • 从理论到实现困难 • 资料缺乏
6 第一讲 引言
• 相关书籍和课程
• The Bible: Multiple View Geometry in Computer Vision • State Estimation for Robotics: A Matrix-Lie-Group Approach • Probabilistic Robotics
• 优势：内容丰富、推导严谨 • 不足：
• 没有专门介绍SLAM • 缺少实践指导
Hale Waihona Puke 7 第一讲 引言• 本书的特点
• 基础、必要的理论知识 • 大量的编程内容 • 重视工程实践
• 观念：只有亲自动手实现了算法，才能谈得上理解 • 旅行愉快！
8 第一讲 引言
• 内容
• 第一部分：数学基础
• 概述 Linux • 三维空间刚体运动表述 Eigen • 李群与李代数 Sophus • 相机模型与图像 OpenCV • 非线性优化 Ceres, g2o
视觉SLAM十四讲
从理论到实践
2
第一讲 引言
Chapter 1: Introduction
3 第一讲 引言
4 第一讲 引言
相机运动？环境模型？
应用：机器人、AR/VR、无人机、无人驾驶等等。
5 第一讲 引言
• 困难之处
• 三维空间的运动 • 受噪声影响 • 数据来源只有图像
• 人类看到的是图像，计算机看 到的是数值矩阵
• Make computer see?
• 从学习角度来看
• 牵涉到理论太广 • 从理论到实现困难 • 资料缺乏
6 第一讲 引言
• 相关书籍和课程
• The Bible: Multiple View Geometry in Computer Vision • State Estimation for Robotics: A Matrix-Lie-Group Approach • Probabilistic Robotics
• 优势：内容丰富、推导严谨 • 不足：
• 没有专门介绍SLAM • 缺少实践指导
Hale Waihona Puke 7 第一讲 引言• 本书的特点
• 基础、必要的理论知识 • 大量的编程内容 • 重视工程实践
• 观念：只有亲自动手实现了算法，才能谈得上理解 • 旅行愉快！
8 第一讲 引言
• 内容
• 第一部分：数学基础
• 概述 Linux • 三维空间刚体运动表述 Eigen • 李群与李代数 Sophus • 相机模型与图像 OpenCV • 非线性优化 Ceres, g2o
视觉SLAM十四讲
从理论到实践
2
第一讲 引言
Chapter 1: Introduction
3 第一讲 引言
机器视觉培训系列教程之基础入门培训(PPT 58页)
机器视觉培训系列教程 基础入门培训
第三讲
机器视觉系统综合基础知识
第三讲：机器视觉系统综合基础知识
第三讲 大纲 一
灯源简述 灯源分类 获得完美图象的6大要素 如何选择镜头
第三讲：机器视觉系统综合基础知识
一、灯源简述：
机器视觉系统工作的基本程序： 取像 =》 分析 =》 结果输出
灯源：为确保视觉系统正常取像获得足够光信息而提供照明的装置 灯源的目的
速度
• 记录试验中系统运行速度
系统硬件 配置
系统硬件配置
• 记录系统硬件配置。灯源、镜头、 工作距离、光圈、相机、快门速 度、电脑配置等
讨论与答疑
第三讲：机器视觉系统综合基础知识
第三讲 大纲 三
如何选用板卡 PC式系统概述 智能相机概述 视觉系统选型 视觉系统未来发展趋势
第三讲：机器视觉系统综合基础知识
小结#2：如何获得完美图象 选择适合的灯源、镜头、相机 学会如何使用、控制灯源、镜头、相机
第三讲：机器视觉系统综合基础知识
四、如何选择镜头#1：技术因素
镜头与相机匹配 镜头接口是否为工业标准接口，C/CS接口 镜头成象面是否>=相机CCD尺寸。若相机CCD为1/2“， 而镜头为1/3”，则该镜头与相机不匹配
第三讲：机器视觉系统综合基础知识
七、例题：
根据现场的检测样品，及教师提出的要求，完全系统硬件选型 灯源选型 镜头选型 相机选型 系统参数：视野、工作距离等
第三讲：机器视觉系统综合基础知识
七、例题提示：
选型步骤： 确定项目检测方向：测量、检测、定位。 确定项目检测要求：精度、速度、工作空间。 根据项目检测方向完成灯源选型 根据项目精度要求确定最佳视野 根据项目精度要求及工作空间要求完成镜头选型 确定某款镜头、工作距离、 根据项目精度要求及速度要求完成相机选型 考虑系统硬件成本
第三讲
机器视觉系统综合基础知识
第三讲：机器视觉系统综合基础知识
第三讲 大纲 一
灯源简述 灯源分类 获得完美图象的6大要素 如何选择镜头
第三讲：机器视觉系统综合基础知识
一、灯源简述：
机器视觉系统工作的基本程序： 取像 =》 分析 =》 结果输出
灯源：为确保视觉系统正常取像获得足够光信息而提供照明的装置 灯源的目的
速度
• 记录试验中系统运行速度
系统硬件 配置
系统硬件配置
• 记录系统硬件配置。灯源、镜头、 工作距离、光圈、相机、快门速 度、电脑配置等
讨论与答疑
第三讲：机器视觉系统综合基础知识
第三讲 大纲 三
如何选用板卡 PC式系统概述 智能相机概述 视觉系统选型 视觉系统未来发展趋势
第三讲：机器视觉系统综合基础知识
小结#2：如何获得完美图象 选择适合的灯源、镜头、相机 学会如何使用、控制灯源、镜头、相机
第三讲：机器视觉系统综合基础知识
四、如何选择镜头#1：技术因素
镜头与相机匹配 镜头接口是否为工业标准接口，C/CS接口 镜头成象面是否>=相机CCD尺寸。若相机CCD为1/2“， 而镜头为1/3”，则该镜头与相机不匹配
第三讲：机器视觉系统综合基础知识
七、例题：
根据现场的检测样品，及教师提出的要求，完全系统硬件选型 灯源选型 镜头选型 相机选型 系统参数：视野、工作距离等
第三讲：机器视觉系统综合基础知识
七、例题提示：
选型步骤： 确定项目检测方向：测量、检测、定位。 确定项目检测要求：精度、速度、工作空间。 根据项目检测方向完成灯源选型 根据项目精度要求确定最佳视野 根据项目精度要求及工作空间要求完成镜头选型 确定某款镜头、工作距离、 根据项目精度要求及速度要求完成相机选型 考虑系统硬件成本