基于图像的机器人视觉伺服控制

收稿日期: 2006- 05- 17 基金项目: 湖北省教育厅科学研究计划项目 ( B200511007) . 作者简介: 刘晓玉 ( 1971- ) , 女, 武汉科技大学信息科学与工程学院, 讲师, 博士生.
2006年第 5期
刘晓玉, 等: 基于图像的机器人视觉伺服控制

483
的末端执行器, 虽控制误差直接可见, 但需引入摄 像机与机器人坐标系间的转换, 并且要求摄像机 的精确标定, 还可能遇到末端执行器遮挡目标的 问题; 手眼视觉不会出现遮挡现象, 且因摄像机与 末端执行器的位置相对固定, 通过机器人运动学 和简单的平移转换就可以 推知摄像机的 空间位
关节运动上:
x = J1 Jr q
( 5)
式中: x 表示 式 ( 3)中等 号左边的图像特 征矢量
[ x, y ] T; q为机器人的关节矢量; Jr 实际上就是机
器人雅可比矩阵。
有些资料也称 J2 = J1 Jr 为图像雅可比矩阵, 因为它反映了图像特征变化与机器人关节运动之
间的映射关系 [ 6] 。
总之, 在机器人视觉伺服控制中, 图像特征的选择 不仅要考虑图像识别问题, 还要考虑控制问题。 2. 2 图像采集的时滞问题
受图像采集速度的限制, 视觉采样的周期一 般会有几十毫秒, 这一速度与只有几百微秒的机 器人关节控制伺服周期相比, 显然太慢, 势必会造 成整个视觉伺服系统的时延, 甚至导致系统不稳 定。因此, 在机器人视觉伺服控制中, 还必须考虑 图像采集和 处理的时滞问 题。为了解决 上述问 题, 除了选用更快的图像采集卡或各种快速图像 处理技术 (如窗口技术 ) 外, 还可考虑对物体在图 像中的运动进行预测和估计。
实现机器人视觉伺服的方式很多, 根据采用 的控制误差不同, 可分为基于位置的方式和基于 图像的方式。基于位置的方式是将用图像估计的 目标对象三维空间位姿与期望位姿之差作为机器 人的控制误差。由于控制误差定义在工作空间, 所以其符合现有机器人的工作方式。但控制效果 与摄像机和机器人的精确标定密切相关, 并且控 制中逆运动学求解和三维位姿估计的计算量也很 大。基于图像的方式则是直接将当前图像特征与 期望图像特征之差定义为机器人的控制误差, 从 而省去了基于位置方式中的 3D 建模工作, 对传 感器、摄 像机和机器人的标定误差也不敏感, 因
运动的线速度和角速度。
定义:
J1 (x, y, Z ) =
f
x
0-
Z
Z
22
xy
- (x + f )
2
y
f
f
22
f
y - (y + f )
xy
0
-
2
-x
Z
Z
f
f
( 4)
J1 ( x, y, Z )即为图像雅可比矩阵 [ 4, 9, 16] 。
在手眼配置中, 摄像机的运动是由机器人各
关节带动末端执行器运动产生的, 所以可以进一 步将式 ( 3)表示的运动变化关系转移到机器人的
目标识别属于一般的图像处理问题, 只要求 根据视觉伺服的需要, 选用快速的图像识别方法 即可。图像特征的选取则应根据机器人的操作任 务来选用目标的点特征 (如质心 )、线特征 (如主 副轴 )或面特征 (如面积 )等。一般而言, 如果操 作任务只需要物体的位置信息, 那么点特征就足
48 4
武汉科技大学学报 ( 自然科学版 )
第 29卷第 5期 2006年 10月
武汉 科技大 学学报 ( 自然 科学 版 ) J. o fW uhan Un.i of Sc.i & T ech. ( Natural Sc ience Ed ition)
Vo .l 29, N o. 5 O c.t 2006
基于图像的机器人视觉伺服控制
刘晓玉, 方康玲
当应用到基于图像的视觉伺服中, 图像特征 点在各采样周期的位置序列可作为 K alm an滤波 器的输入, 图像特征点在下一采样周期的位置和 速度则可作为被估计 的状态变量而成为 Ka lm an 滤波器的输出。席文明等采用这种定义, 以图像 坐标系和摄像机坐标系的空间映射关系作为约束
条件设计了带约束的 K alm an滤波器, 以达到快速 预测被跟踪特征点的未来位置 [ 4] ; W ang H M 等 运用 Ka lm an滤波器预测运动目标的位置, 并将预 测结果用于图像特征提取窗的定位, 从而使系统 能利用较小的窗口来确定 图像特征点的 位置变 化, 大大减少了图像处理的计算量 [ 11] ; 于秀芬等 选择目标形心在摄像机坐标系的位置和速度作为
2006年第 5期
够了, 但如果操作任务还需要物体的方向信息, 则 还要选取线特征。至于特征点的数目多少, 由式 ( 4)所示的雅可比矩阵 J1 的定义可知, 如要根据 图像特征点的速度求相应的摄像机运动速度, 至 少需要 3个特征点的图像坐标, 或者说, J1 应该 满秩。 Suh指出: 若 J1 不满秩, 可能会导 致伺服 系统内部不稳定 [ 10] 。H ash imo to等采用离散时间 优化方法获得了一种基于图像雅可比矩阵的伺服 控制器, 在此基础上讨论了图像特征数目和配置 与伺服系统性能的关系, 并指出: 若能获得更多的 特征点 (如 4个或 5个 )或冗余图像特征, 伺服控 制器的控制 精度 和收 敛速 度都 会显著 提高 [ 3] 。
一旦知道这种映射关系, 就能够通过图像特征变 化获取机器人的动作规律。这就是基于图像的视
觉伺服方法原理。为此, 基于图像的方法常引入 图像雅可比矩阵来表示图像空间变化与机器人运
动之间的映射。
为了更清楚地说明图像雅可比矩阵的特点, 下面引入手眼配置下图像雅可比矩阵的一种定义
形式:
设目标物体上一特征点 P 相对摄像 机坐标
姿, 因此在机器人的视觉跟踪中得到了广泛应用。
1. 2 图像雅可比矩阵 无论摄像机安装位置如何, 也无论目标对象
运动与否, 由于机器人的运动, 其末端执行器与目 标对象的空间位置关系必定会发生变化, 这种变 化可以通过图像反映出来, 也就是说, 在图像特征 与机器人的动作之间存在着一一对应的关系 [ 5] 。
无论采用哪种形式定义图像雅可比矩阵, 都
可以通过它的逆, 由图像特征的变化求取机器人 的运动控制律。郭振民等采用上述思想, 通过局
部图像雅可比矩阵近似图像特征微动与机器人各
关节微动之间的关系, 成功地实现了焊接中初始 焊位的引导 [ 6] ; 项龙江等应用图像特征方差最小 化原理得出了机器人关节角变化律 [ 7 ] ; H ash im orto
机器人视觉伺服是指利用视觉信息控制机器 人末端执行器的位姿。这样的设计一方面可以使 机器人适应环境和操作对象的变化, 另一方面也 可以克服机器人标定误差对控制精度的影响。上 述优点吸引了许多学者对机器人的视觉伺服展开 研究, 一些视觉伺服系统还投入了实际应用, 如装 配、焊接、水果分拣、航天飞行器着陆和传送带上 物体抓取等 [ 1, 2] 。
x=
1 Z
0
-
X Z2
X Y
( 2)
y
0
1 Z
-
Y Z2
Z
将坐标点CP o = [ X Y Z ] T 的变化表述为摄像机的
运动变化, 则有:
x= y
22
f
x
xy
- (x + f )
0-
2
yC
Z
Z
f
f
22
C ( 3)
C
f
y - (y + f )
0
-
2
xy -x
C
Z
Z
f
f
式中: C C 和C C 分别是摄像机相对摄像机坐标系
2 视觉伺服实现中遇到的问题及其 解决思路
2. 1 图像处理问题 在基于图像的视觉伺服控制中, 图像是伺服
控制的依据。为研究的方便起见, 机器人的操作 对象现在常选用球体、长方体、圆柱体和锥体等规 则物体, 或选用机器人实际操作中的 特殊工件。 那么, 怎样从摄像机获取的图像中识别目标? 提 取目标的何种图像特征和选用多少个图像特征? 这都是系统设计要考虑的问题。
此, 有关机器人视觉伺服的研究普遍采用基于图 像的方式。
本文对基于图像的机器人视觉伺服方法进行 了介绍, 对实现机器人视觉伺服中存在的问题及 其解决办法进行了总结, 并展望了未来的发展方 向。
1 基于图像的视觉伺服实现方法
1. 1 系统的视觉配置方案 要实现一个基 于图像的机器 人视觉伺 服系
统, 首先要考虑图像的获取方式。目前机器人视 觉伺服系统采用的视觉传感器主要是 CCD 摄像 机, 根据选用摄像机的数量和安装位置的不同, 视 觉配置方案也有所差异, 有单目视觉, 也有双目视 觉; 有的摄像机固定安装在现场, 有的则固接在机 器人的 末 端 执 行 器 上 ( 俗 称 手 眼 配 置, eye in hand) [ 3, 4 ] 。比较而言, 单目视觉图像 处理简单, 但难以获取深度等立体信息; 双目视觉可有效地 获得空间立体信息, 但图像处理的计算量也随之 增加; 固定视觉可同时观察到目标对象和机器人
Abstract: T he principle and im plem entation of im age based robot v isual servo ing are introduced. Severa l prob lem s w ith im age feature se lect ion and visua l servo ing contro ller design are d iscussed in deta i,l w ith the so lu t ions given. T he future of the visua l servo contro l research is predicted. K ey w ord s: robo ;t v isua l servo ing; K alm an filter; im age Jacob ian