基于平面投影的单目视觉AGV定位算法
基于单目视觉的AGV间防撞系统设计

基于单目视觉的AGV间防撞系统设计作者:陈俊廷刘翔翟岳仙陆玮来源:《智能计算机与应用》2020年第03期摘要:为了解决智慧工厂中AGV行进过程中面对其他车辆无法自动躲避的问题,本文设计了一种基于单目视觉测距的AGV防撞系统。
该系统在AGV顶部安装摄像头,用于采集AGV行驶过程中的前方图像,车体内安装微处理器对图像进行分析,并将分析结果转换为控制信号控制AGV,从而达到防撞的目的,其中图像分析首先采用三帧差分法将图像中的AGV 目标检测出来,然后基于逆投影变换测距原理计算出AGV间的距离。
实验结果表明,该系统在模拟实验环境下测量精度基本控制在10%以内, 4 m内最大绝对误差为51 mm,能够满足物流工厂AGV的设计要求。
关键词:单目视觉; AGV; 三帧差分法【Abstract】 In order to solve the problem that AGV can't avoid other vehicles automatically in the process of moving in intelligent factory, this paper designs an AGV anti-collision system based on monocular vision ranging. The system installs a camera on the top of AGV to collect the front image of AGV during driving. A microprocessor is installed in the car body to analyze the image,and the analysis results are converted into control signals to control the AGV, so as to achieve the purpose of anti-collision. In the image analysis, the AGV target in the image is detected by three frame difference method, and then the distance measurement is calculated based on the principle of back projection transformation distance from AGV. The experimental results show that the measurement accuracy of the system is basically controlled within 10% and the maximum absolute error within 4 m is 51 mm, which can meet the design requirements of AGV in logistics factory.【Key words】 ;monocular vision; AGV; ;three-frame differencing0 引言自動引导车(AGV)是一种配备有自动导引系统的物料搬运设备[1],可以保证系统无需人工驾驶即可沿着预定路线自动行驶,实现了物料装卸的全过程自动化。
基于单目视觉的SLAM算法研究与实现

基于单目视觉的SLAM算法研究与实现单目视觉SLAM算法是目前比较受关注的一种技术,它广泛应用于自动驾驶、机器人导航、虚拟现实等领域。
本文将从算法原理、实现过程、应用案例等方面,深入探究基于单目视觉的SLAM算法。
一、算法原理SLAM(同时定位与地图构建)是利用传感器获得机器人运动轨迹的同时,构建机器人所在环境的地图的一种技术。
单目视觉SLAM算法是利用单个摄像头获得机器人运动轨迹和环境地图的技术手段。
其原理基于视觉几何,包括特征提取、特征匹配、相机姿态估计、地图构建等步骤。
在特征提取方面,通常采用SURF、SIFT、ORB等算法。
在特征匹配方面,通常采用基于关键点匹配的方法,例如基于FLANN(快速最近邻搜索库)的近似最近邻匹配。
相机姿态估计方面,通常采用基于PnP(透视n点算法)的方法。
地图构建方面,通常采用基于稀疏的点云地图和基于积分的稠密地图两种方法。
二、实现过程单目视觉SLAM算法的实现通常分为前端和后端两部分。
前端负责特征提取、特征匹配和相机姿态估计等任务;后端负责地图构建、位姿优化和闭环检测等任务。
前端算法的作用是估计每帧图像的相机位姿,同时提取关键特征点,以用于后续的地图构建和位姿优化。
在实现上,往往采用滑动窗口(SLAM-SW)的方式进行相机位姿的估计,并使用基于光流估计的特征点运动模型,降低误差。
后端算法的作用是通过最小化误差来优化相机位姿,并生成高精度地图,通常采用基于非线性优化的方式。
由于SLAM问题是一个非线性优化问题,因此通常采用基于因子图(Factor Graph)的方法进行求解。
在实现上,常用的优化框架有g2o、ceres-solver等。
三、应用案例单目视觉SLAM算法已经广泛应用于机器人导航、自动驾驶、虚拟现实等领域。
下面介绍一些应用案例。
机器人导航方面,单目视觉SLAM算法可以用于室内机器人的自主导航。
例如,一项研究利用一个具有单目相机和惯性测量单元(IMU)的移动机器人,通过双目VIO(视觉惯性里程计)的方式实现自我定位和地图构建。
机器人演示文稿 基于单目视觉的目标跟踪

Ⅲ--CanShift算法
将MeanShift算法扩展到连续图像序列(一
般都是指视频图像序列),这样就形成了 CamShift算法。CamShift算法的全称是 "Continuously Adaptive Mean-SHIFT",它的 基本思想是视频图像的所有帧作MeanShift 运算,并将上一帧的结果(即Search Window的中心和大小)作为下一帧 MeanShift算法的Search Window的初始值, 如此迭代下去,就可以实现对目标的跟踪。
踪的物体。我们分析得出的原因可能是因 为meanshift 很容易陷入局部最优解。 也有可能是因为camshift上还没有收敛的原 因,因为camshift的循环结束条件是 (CV_TERMCRIT_EPS | CV_TERMCRIT_ITER) 即:小于阈值或大于设定的循环次数
分析:
也有可能是因为视频二是在日光灯为光源
Ⅰ--色彩投影图(反向投影)
然后对其中的H分量作直方图,在直方图中
代表了不同H分量值出现的概率或者像素个 数,就是说可以查找出H分量大小为h的概 率或者像素个数,即得到了颜色概率查找 表。
将图像中每个像素的值用其颜色出现的概
率对替换,就得到了颜色概率分布图。这 个过程就叫反向投影,颜色概率分布图是 一个灰度图像。
Camshift算法
camshift算法分为三个部分
Ⅰ--色彩投影图(反向投影) Ⅱ--Mean Shift算法 Ⅲ--CanShift算法
Ⅰ--色彩投影图(反向投影)
RGB颜色空间对光照亮度变化较为敏感
Ⅰ--色彩投影图(反向投影)
为了减少此变化对跟踪效果的影响,首先
将图像从RGB空间转换到HSV(色调(H), 饱和度(S),亮度(V))空间。
单目视觉测量系统质心定位算法

x0
=-
t2 ; 2 t4
y0
=-
t3 . 2 t5
式中 : ( x0 , y0 ) 为特征点的定位中心 。
2 双三次插值算法
根据前面的讨论分析可知 , 特征点的成像中心 是通过约束最小二乘法来确定 ,因此 ,双三次插值算 法通过在特征点成像区域内利用内插方法增加有效 像素点个数消除误差影响 , 从而改善特征点成像中 心的定位精度 ,如图 1 所示 。
图 1 双三次插值
插值点 ( u , v) 的灰度值 f ( u , v) 可以利用与其相
邻的 16 个已知灰度值的像素点进行插值 。规定
[ u] 、[ v ]表示其值不超过 u、v 的最大整数值 , 并且
i = [ u] , j = [ v ] 。此时采用双三次插值得到的灰度
值为
f ( u , v) = [ a0 ( u) a1 ( u) a2 ( u) a3 ( u) ] ×
式中 : S 为一个五维列向量 , T 为一个 N - 五维列向
量 , R1 为一个 5 ×5 上三角方阵 。 由式 (8) 和式 (9) 可得 min = ‖r ‖22 = ‖S - R1 t ‖22 + ‖T ‖22 . (10) 若 S = R1 t 时 , 式 ( 10) 误差最小 。所以只求解
其中
A a0 ( v)
a1 ( v)
a2 ( v)
a3 ( v) T ,
a0 ( u)
= (1 -
3 u + 3 u2 6
u3 )
,
a1 ( u)
=
(4
AGV设计计算(2024)

AGV设计计算引言:AGV(AutomatedGuidedVehicle)是自动导航车,是一种能够自主运行、不依赖人工操控的物流设备。
AGV的设计和计算是确保其正常运行和满足特定需求的重要环节。
本文将从五个大点展开,详细阐述AGV设计计算的相关内容。
概述:AGV设计计算是指以特定的技术原理和计算方法,对AGV的各项性能和构造参数进行评估和设计的过程。
这一过程旨在保证AGV 的安全性、稳定性和高效性,在特定的工作环境下能够完成功能需求。
正文内容:1.载荷计算:1.1重量:AGV的载荷计算中,首先需要考虑的是其自身重量。
通过计算AGV的结构、材料和各组成部分的重量,确定其自身重量。
1.2负载能力:除了自身重量外,AGV还需要能够承载和运输各种货物。
通过计算AGV的负载能力,确定其最大承载能力,以便满足不同场景下的物流需求。
1.3前后配重:AGV在行驶过程中需要保持平衡,所以需要考虑前后配重的问题。
通过计算AGV的重心位置和重心高度,确定前后配重方案,以确保稳定性和安全性。
2.动力系统计算:2.1动力需求:AGV的动力系统计算是保证其能够正常运行和实现高效作业的重要环节。
通过计算AGV的最大速度、加速度和停止距离等参数,确定其所需的动力输出能力。
2.2电池容量:AGV通常采用电池作为动力源,所以需要计算电池容量以满足对电能的需求。
通过计算AGV的能耗和使用时间,确定电池容量,以确保其连续工作和较长的使用寿命。
3.导航系统计算:3.1定位方式:AGV的导航系统计算是使其能够准确感知和判断周围环境的关键。
通过计算各种定位方式的精度、稳定性和适用性,确定最佳的定位方式,以保证AGV的定位准确性。
3.2导航算法:AGV的导航算法是实现自主导航的核心。
通过计算不同导航算法的复杂度、准确性和适用性,确定最佳的导航算法,以确保AGV在复杂环境下能够自主导航。
4.传感器系统计算:4.1感知范围:AGV的传感器系统计算是使其能够感知周围环境和障碍物的重要环节。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
i)ES|GH 魏LC貉 i0瓣圈基墨璃嘲 基于平面投影的单目视觉AGV定位算法 曹小华任晓玉 武汉理工大学物流工程学院 武汉430063
摘 要:视觉定位是AGV视觉导航研究领域的重要问题,目前,视觉定位方法主要是通过对摄像机进行标定求取 相机内外参数,过程复杂,计算量大。文中针对移动机器人AGV提出一种基于平面投影原理的单目视觉定位方法, 建立了摄像机投影模型,由一个参考平面连接图像平面与现实平面,应用平面投影原理求解像素点与空间点的映射 关系。实验结果表明,该方法可靠性强,计算简单,且具有较好的定位精度,可以满足AGV的定位系统要求。 Abstract:Visual positioning is an important topic in AGV vision navigation research.Commonly,visual positioning is done by determining intrinsic and extrinsic parameters of camera through camera calibration,a method which is very complicated and requires great computational efforts.The paper proposes a monocular visual positioning method based on plane projection principle to improve efficiency of mobile robot AGV.A camera projection model is established with image plane and actual plane connected by a reference plane.Mapping relationship between pixel points and space points is obtained with plane projection principle.The experiment shows that the method is reliable,simple and highly accurate in positioning, thus proving that the method is satisfactory for AGV positioning system.
关键词:AGV;单目视觉定位;平面投影 Keywords:AGV;monocular visual positioning;plane projection
中图分类号:TH213.5 文献标识码:A 文章编号:1001—0785(2018)04—0103 04
0 引言 视觉定位是计算机视觉中的一个重要研究问题,广 泛应用于机器人自主导航、机器人定位、视觉伺服、摄 像机校正、目标跟踪、视觉检测、物品识别和工业零部 件装配等领域。近年来,计算机视觉飞速发展,涌现出 大量的技术与算法,如主动视觉、面向任务的视觉、基 于知识的视觉、基于模型的视觉以及多传感器和集成视 觉等方法Ⅲ。根据使用镜头数目分类,计算机视觉分为 单目视觉定位、双目视觉定位与多目视觉定位。双目立 体视觉是基于视差原理,由多幅图像获取物体三维几何 信息。相比于基于多相机的模型定位方法,单目视觉的 优点主要体现在只需单幅图像技能实现定位,不存在图 像匹配问题,处理速度快,定位精度高。 传统视觉对目标定位,是通过对摄像机的内外参数 进行标定来实现的口】。计算机标定方法可以分为传统标 定方法、自标定方法和基于主动视觉的标定方法[31。传 统标定方法是现在使用最为普遍的标定方法,利用结构 已知、高加工精度的标定块作为标定物,用摄像机拍摄
若干幅标定物的图片,通过计算2D图像点与3D空间 点之间的关系来完成标定,通过对标定物的合理设计得 到高精度的结果。该方法的优点是适用各种摄像机模型, 定位精度高,缺点是标定过程复杂。自标定方法不需要 标定物,仅通过运动摄像机所拍摄的标定图片中匹配点 的关系来进行标定。由于不需要标定物,该方法适用范 围广、灵活性强,但是图像匹配中需要求解多元非线性 方程导致其鲁棒性较差【4]。基于主动视觉的标定方法需 要预知摄像机的详细运动信息,这需要昂贵的设备对摄 像机的运动轨迹进行记录,实验成本较高[5]。 本文针对AGV所处的平坦路面的单目视觉定位, 提出了一种新的简单可行的算法。该算法不需要对摄像 机进行标定,也不需要求解摄像机的内、外参数,通过 分析图像像素平面与现实空间平面的几何关系,得出像 素点与现实点间的映射关系。实验结果表明,文中提出 的算法定位精度高,实时性好,为解决计算机视觉的测 量、定位与AGV视觉导引提供一种新的思路,具有进 一步研究的价值。
2018年第4期/喜童《靖 敞I 103 1 1.1摄像机模型 本文采用理想的针孔摄像机模型【6】,忽略实际摄像 机中的畸变问题。针孔成像模型又称为线性摄像机模型, 空间中任何一点在图像中的成像位置可以用针孔成像模 型近似表示,即任何一点在图像中的投影位置P为光心 D与尸点的连线OP与图像平面的交点。分别以其次坐 标m= ,1] , Ix, 1r来表示像素点P及空间点P, 根据针孔摄像机成像模型,投影方程为 = l v l= .....1——0 bto dX 0 1 vo dY 0 0 1 X Z 1 『厂0 00]r l。of。o1。ojlL u ̄ x Z 1 :MM2W:MW (1) 式中:a,,=f/dX为u轴上的尺度因子,或称为U轴 上的归一化焦距;ay=f/dY为 轴上的尺度因子,或称 为 轴上的归一化焦距M为3×3矩阵,称为投影矩降 M1由 、 、“o、 决定,由于 、 、Ⅱ0、VO只与摄 像机内部参数有关,称这些参数为摄像机内部参数;R、 t分别表示摄像机坐标系与世界坐标系之间旋转矩阵和 平移向量, 称为摄像机外部参数。 确定某一摄像机的内外参数,称为摄像机标定。 1.2存在的问题 在单目视觉方法测量物体位姿时,如果物体上的某 些特征在物体坐标系下的坐标已知,要求出这些特征在 摄像机坐标系下的三维坐标,进而求出摄像机坐标与物 体坐标系之间的相对位姿关系。在这个问题中,一般 需要求得摄像机内外参数进行投影计算。如果摄像机固 定,摄像机外参数一般固定不变,而摄像机内参数只与 摄像机硬件有关,定焦摄像头的内参数固定不变。如果 已知摄像机内外参数,就已知投影矩阵,这时对任意空 间点,如已知它的坐标,就可以求出它的图像点的位置。 反过来,如果已知某空间点的图像点的位置,即使已知 摄像机的内外参数,也不能唯一确定。这是因为,已知 104 l,毒I童喀鸯 黛,2018年第4期 图像点时,由针孔成像模型,任何位于射线上的空间点 的图像点都是点。因此,该空间点是不能唯一确定的。 为解决这一问题,单目视觉在特定环境内设置一个人工 图标,图标的尺寸以及在世界坐标系中的方向、位置等 参数都是已知的;而双目视觉通过不同视角拍摄两幅或 多幅图像,增加约束条件[71。 本文提出一种新的单目视觉投影定位算法,在该算 法中,现实平面中的二维空间点先投影到一个虚拟参考 平面上,如图1所示,该参考平面与摄像机光轴垂直且 与成像平面平行,然后虚拟参考平面上的点通过镜头平 行透视写入成像平面,并形成图像像素点。在第二步平 行透视中,参考平面与成像平面只是简单的缩放关系, 保留了透视成像中丢失了的平行属性与位置属性。这样, 所述问题就转化为虚拟参考平面与现实平面之间的映射 求解问题。
图1摄像机、参考平面、现实平面示意图 2 图像像素平面与现实平面的映射关系 首先约定摄像机、参考平面、现实平面的坐标系, 如图2~图4所示。
图2像素坐标系 图3参考平面坐标系
门 —......... ......L __ 0 0 O 0 —....................,..,....L Il , l \ /一
D. 图4现实平面坐标系
2.1 像素平面到参考平面 由于摄像机垂直于参考平面,所以像素平面到参 考平面是等比例缩放的,它们之间只相差一个比例系 数。由于参考平面AD边与现实平面AD边重合,可以 通过实际测量得到AD边的实际长度。参考平面与像 素平面等比例缩放,由图像像素长宽比可求得AB 长 度。若 Dl, = B l,图像像素分辨率为埘Xn, 可得对应像素平面上一点p(u, )的参考平面坐标为 P( ,Yo),有
=鲁 一 m (…)
2.2参考平面到现实平面 虚拟参考平面与现实平面在模型中是简单的平面投 影关系,只要求解出平面投影的单应性矩阵,就能得到 它们之间的映射关系。 平面投影定理[8]:对于一个平面投影,一定存在一 个非奇异3×3矩阵日,使得对任何P,上的齐次点 , 有h )=慨。
1 |
,
: : , 或简记为x'--Hx。其中 称为单应性矩阵,这个投 影变换有8个自由度。 将参考平面坐标( ,rrc),现实平面坐标(Xw, Yw)用齐次坐标表示为( ,Yc,1),( ,Yw,1)。 则参考平面与现实平面间投影关系为
] l 1 J l Jl l j 由于现实空间点在同一平面,设 ,=1,每一组对应 点可得: x : ±鱼2 ± + yw+l
一 1 + 2 + 3 + 2 +1 (5)
由四组对应点就可以得到8个关于日的元素的线 性方程组
。 。 0 0
2 2 0 0
, 0 0
0 O
0 0 X l l 0 0 X 0 0 X 0 0 . 。 X . 。
:
X以x 以, XW4X c4
向。 Jfl1
。
: 用AH B来表示上式,则H=A。。B。 检测到图像上特征点的像素坐标值,通过式(2)、 式(4)可得该特征点在现实平面对应点的坐标,由此 可以达到单目视觉定位的目标。
3 AGV定位实验与结果分析 为了验证本文算法的精度,设计了AGV定位实验。 采用MV~U300工业相机,6~12 mm变焦镜头,拍摄室 内地面。为了验证该算法的精度,在地面上放置一张 4×4的黑白棋盘图。棋盘长宽200 mm,每小格边长50 mm,如图5所示。测得相机视野四个顶点坐标分别为 A(一235,0),B(·575,960),C(575,960),D(235,0); 由相机参数计算得到的参考平面的四个角点坐标为 235,0),B『(一235,352.5),c'(235,352.5),D'(235,0):计算 投影变换的单应性矩阵,有