激光视觉机器人焊接中摄像机和手眼的同时标定
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
华 南 理 工 大 学 学 报 (自 然 科 学 版 )
第 36 卷 第 2 期 2008 年 2 月
J ou rna l of S ou th C h ina U n ive rsity of Techno logy ( N a tu ra l S c ience Ed ition )
V ol . 36 N o. 2 Feb ruary 2008
1. 3 机器人手眼模型
图 1 激光视觉机器人焊接结构
Fig . 1 Robot welding structure with laser vision
1. 2 摄像机模型
本文中采用针孔 (透视 ) 摄像机模型 . 图 2 显示 了针孔摄像机模型的基本几何特性 . o2xyz为摄像机 坐标系 , 原点 o 定义在光学中心 , z 轴和光轴重合 . 点 o′ 是光轴 z和图像平面的交点 , 点 o 和图像平面 间的距离为摄像机的焦距 f.
. 这一方法需要求解下面的齐
:
AX = XB
(1)
式中 : X 为摄像机坐标系对机器人手爪坐标系的位
收稿日期 : 2007 203 205
3 基金项目 : 国家自然科学基金资助项目 ( 50175027 ) ; 广东省自然科学基金资助项目 ( 0133002 ) 作者简介 : 刘苏宜 ( 1974 2) ,女 ,博士 ,南昌大学讲师 ,主要从事机器人焊接及图像处理研究 . E2 mail: irishlsy@163. com
第 36 卷
β 式中 :α 、 、 c、 u0 、 v0 、 r tx 、 ty 、 tz 为未知参数 , 而 x、 1 ～r 9、
y、 xw 、 yw 、 zw 对于具体的标定控制点是已知的 .
此外 , 根据矩阵 T 旋转部分 r1 ～ r9 的正交性 , 可 得到以下 6 个方程式 :
r 1 + r 4 + r 7 = 1, r 2 + r 5 + r 8 = 1, r 3 + r 6 + r 9 = 1, r 1 r 2 + r 4 r 5 + rLeabharlann Baidu7 r 8 = 0, r 1 r 3 + r 4 r 6 + r 7 r 9 = 0, r . 2 r 3 + r 5 r 6 + r 8 r 9 =0
T T T
Fig . 3 Frame relation of robot hand 2eye and laser vision
1. 4 同时标定摄像机和机器人手眼关系
在如图 1所示的机器人焊接结构中 ,机械人的基 坐标固定于地面 . 为方便起见 ,世界坐标系定义于机 器人基坐标系上 . 由方程组 ( 2 )可得到下列方程 ,即
[5 ] [4 ]
1 标定
1. 1 激光视觉机器人焊接结构
在机器人焊接中 , 视觉系统常用于确定工件上 的焊接位置 ,图 1 为激光视觉机器人焊接结构示意 图 . 焊枪和激光视觉刚性安装在机器人手爪上 . 视觉 系统提供一个激光结构光源 , 激光投射在焊接工件 上 , V 型焊接坡口的信息反映在激光线上 . 然后从 激光视觉抓拍的图像上识别出 V 型坡口中心 (焊接 位置 ) . 然后将焊接位置从图像坐标转换成世界坐
xw yw zw ( 4)
理 , 有 M 与 m 的变换关系
x
[9 ]
:
αr1 + cr4 + u0 r7 αr2 + cr5 + u0 r8 αr3 + cr6 + u0 r9 αtx + cty + u0 tz
=
s y 1
βr4 + v0 r7
r 7
βr5 + v0 r8
r8
βr6 + v0 r9
第 2期
刘苏宜 等 : 激光视觉机器人焊接中摄像机和手眼的同时标定 表 1 控制点坐标
Table 1 Coordinates of control points
77
2 2
e =
1
N
N
∑
i =1
目前机器人不仅广泛应用于工业生产 , 而且广 泛应用于科研领域 . 机器人安装视觉传感器后 ,可以 借助于视觉获取环境信息以执行一些特定的任务 , 如寻找 、 定位和抓取物体等 ,能提高机器人应用的智 能化程度 . 在视觉系统的使用过程中 , 为了实现 2D 图像信息转换为 3D 信息 , 需要确定图像坐标和世 界坐标之间的关系 . 这个问题即为系统标定的过程 , 它包括摄像机标定和机器人手眼标定 . 摄像机标定通常是基于针孔模型 , 它包括确定 摄像机几何和光学特性 (内参数 ) , 以及确定摄像机 相对世界坐标系的位姿 (外参数 ) . 很多文献介绍了 标定摄像机参数的方法
第 2期
刘苏宜 等 : 激光视觉机器人焊接中摄像机和手眼的同时标定
75
标 ,根据此世界坐标值来控制机器人手爪的位移 . 这 样焊枪就从当前位置移动到下一位置 , 并编制程序 由机器人自动完成此焊接任务 .
α c
0 0
u0
r 1 r 7
r 2 r 5 r 8
r 3 r 6 r 9
tx ty tz ( 2)
r9
βty + v0 tz
tz
1
由式 ( 4 ) 可推出 :
(αr αr2 + cr5 + u0 r8 ) yw + (αr3 + cr6 + u0 r9 ) zw + (αtx + cty + u0 tz ) 1 + cr 4 + u0 r 7 ) x w + (
- ( r7 xw + r8 yw + r9 zw + tz ) x = 0
图 2 针孔摄像机模型
Fig . 2 Camera model of p in 2hole
图 3 机器人手眼及视觉坐标关系
T
图像平面中 2D 坐标点用 m = ( x, y ) 表示 , 世 界坐标系 ow 2xw yw zw 中 3D 坐标点用 M = ( xw , yw ,
zw ) 表示 . 它们对应的齐次坐标分别表示为 m = ( x, y, 1 ) 和 M = ( xw , yw , zw , 1 ) . 根据针孔成像原
图 4 标定物
Fig . 4 Calibrated objects
2 2 2 2 2 2 2 2 2
这样 ,总共需要求解 17 个未知参数 . 根据方程 式 ( 5 ) ,每个标定控制点可得到 2 个非线性方程 , 因 此 ,需要 6 个或以上标定控制点建立 18 个或以上非 线性方程来求解这 17 个未知参数 . 用 18 个或以上非线性方程求解 17 个未知参 数 ,即普通的非线性最小二乘估计问题 ,可以用标准 的非线性优化技术求解 . 高斯 - 牛顿法 、 列文伯格 马夸尔特法 、 类牛顿法是求解非线性优化问题常用 的方法 . 类牛顿法的收敛性比其他两种方法好 ,但其 计算量大 ,难以修改赫塞矩阵 . 牛顿法的收敛性受初 始值的精度影响很大 格 - 马夸尔特法 . 由于世界坐标系定义在机器人的基坐标系上 , 很显然可推出以下方程 :
sm = KTM , K = 0 β v0 , T = r 4
1
式中 : s为任意尺度因子 ; K 为摄像机内参数矩阵 ; K β分别为图像坐 中的 ( u0 , v0 ) 为主点的图像坐标 ; α 、 标轴 x和 y上的尺度系数 ; c为图像平面两坐标轴不 正交引出的倾斜因子 ; T 为摄像机外参数矩阵 , 其中 r1 ～ r 9 为摄像机坐标系对世界坐标系的旋转部分 , tx 、 ty 、 tz 为平移部分 .
0
0 0 255
3
0 0 0 0
0
255 255 0 0
3
0 0 0 0
后由结构元素
0 0 0
和
0 0 0
255
( 3 表示端点像素 )提取激光线各端点坐标 . 最后根
据控制点和非控制点的 x坐标值的不同分离出控制 点 1 ～6. 为获取各控制点的世界坐标值 , 将焊枪分 别定位于标定物各控制点上 , 然后直接从机器人控 制器上依次读出控制点的世界坐标 . 最后获得各控 制点的坐标数据见表 1.
设 H 为机器人手爪坐标系对摄像机坐标系的 变换矩阵 , T6 为机器人手爪坐标系对基坐标系的变 换矩阵 , R 为摄像机坐标系对机器人基坐标系的变 换矩阵 , 如图 3 所示 . 显然 , 这 3 个变换矩阵之间的 关系可表示如下 : ( 3) R = T6 H 式中 : H 为手眼变换矩阵 , 与矩阵 T 一样由旋转部 分和平移部分组成 . 如图 1 所示由于激光视觉刚性 联接于机器人手爪上 , 因此手眼矩阵 H 是不变量 .
T = R = T6 H ( 6)
[ 10 ]
. 因此 , 本文中采用列文伯
图 5 标定物激光图像
Fig . 5 Laser im age for calibrated objects
式中 :矩阵 T 已由非线性最小二乘优化法解出 , 矩 阵 T6 可由机器人控制器上读取的当前姿态 4 元素 转换得到 . 因此 , 当摄像机参数求解后 , 可同时得到 机器人手眼矩阵 H 的结果 , 如下式所示 :
应用系统 ,设计了一种同时标定摄像机和机器人手 眼关系的方法 . 该方法基于机器人手眼矩阵和机器 人手爪对基坐标系的位姿矩阵这两者之间的特定关 系 ,只需进行一次标定实验 ,可同时求解出摄像机参 数和机器人手眼关系矩阵 .
. 从求解参数的方法上
看 ,基本上可分为线性和非线性两类方法 ,并且非线 性方法的精度要高于线性方法 . 机器人手眼标定就 是要确定摄像机坐标系对机器人手爪坐标系的位姿 矩阵 X. 传统的方法是控制机器人手爪在不同方位 观察空间一个已知的标定参照物 , 从而推导 X 与多 次观察结果的关系 次变换方程
文章编号 : 1000 2 565X (2008) 02 20074 204
激光视觉机器人焊接中摄像机和手眼的同时标定
刘苏宜 王国荣 石永华
(华南理工大学 机械工程学院 , 广东 广州 510640 )
3
摘 要 : 摄像机和机器人手眼标定是视觉机器人应用中的重要问题 . 文中针对激光视觉 机器人焊接的具体应用系统 ,提出了一种同时标定摄像机和机器人手眼的方法 . 该方法依 据机器人手眼矩阵和机器人手爪对基坐标系位姿矩阵之间的特定关系 ,进行一次标定实 验而同时求解出摄像机参数和机器人手眼关系矩阵 . 此方法简单、 实用 、 快捷 ,避免了传统 方法复杂的实验和解答过程 . 计算结果表明 ,标定精度能满足机器人焊缝跟踪的应用要求 . 关键词 : 机器人焊接 ; 摄像机标定 ; 手眼标定 ; 激光视觉 中图分类号 : TP 24 文献标识码 : A
(βr4 + v0 r7 ) xw + (βr5 + v0 r8 ) yw + (βr6 + v0 r9 ) zw + (βty + v0 tz ) - ( r7 xw + r 8 y w + r 9 z w + tz ) y = 0
( 5)
76
华 南 理 工 大 学 学 报 (自 然 科 学 版 )
[ 12 3]
姿矩阵 ; A 为摄像机两次运动的变换矩阵 ; B 为机器 人手爪两次运动的变换矩阵 . 在视觉机器人的应用当中 , 摄像机参数和机器 人手眼关系都需要进行标定 . 传统的方法要两次分 别进行标定 ,工作量大 , 耗费时间多 , 而且存在误差 累积
[ 6 28 ]
. 本文中结合激光视觉机器人焊接的具体
H = T6 T
- 1
( 7)
图 6 控制点图像坐标提取流程图
Fig . 6 Flow chart of extracting im age coordinates of control points
2 标定实验
本文中实验用的机器人是 ABB 公司的小型弧 焊机器人 ,视觉系统是 M eta 公司的激光焊缝跟踪系 统 ,实验结构如图 1 所示 . 图 4 为设计的标定物 , 是 两块分别钻有圆孔的小方块 . 当激光沿着图 4 中的 虚线投射在两个方块上时 ,就得到图 5 的激光图像 , 大小为 256 × 192 (像素 ) . 本文为方便实验 ,选取标定 物上表面的特征点为标定控制点 . 图 5 中的点 1 ～6 分别对应于图 4 中标定物上表面的点 1 ～6. 图 5 中的标定控制点 1 ～6 的图像坐标按以下 图 6 流程图提取得到 . 先以灰度阈值 150 对图 5 进 行二值化处理 ,并细化图中的激光线为单像素宽 . 然
第 36 卷 第 2 期 2008 年 2 月
J ou rna l of S ou th C h ina U n ive rsity of Techno logy ( N a tu ra l S c ience Ed ition )
V ol . 36 N o. 2 Feb ruary 2008
1. 3 机器人手眼模型
图 1 激光视觉机器人焊接结构
Fig . 1 Robot welding structure with laser vision
1. 2 摄像机模型
本文中采用针孔 (透视 ) 摄像机模型 . 图 2 显示 了针孔摄像机模型的基本几何特性 . o2xyz为摄像机 坐标系 , 原点 o 定义在光学中心 , z 轴和光轴重合 . 点 o′ 是光轴 z和图像平面的交点 , 点 o 和图像平面 间的距离为摄像机的焦距 f.
. 这一方法需要求解下面的齐
:
AX = XB
(1)
式中 : X 为摄像机坐标系对机器人手爪坐标系的位
收稿日期 : 2007 203 205
3 基金项目 : 国家自然科学基金资助项目 ( 50175027 ) ; 广东省自然科学基金资助项目 ( 0133002 ) 作者简介 : 刘苏宜 ( 1974 2) ,女 ,博士 ,南昌大学讲师 ,主要从事机器人焊接及图像处理研究 . E2 mail: irishlsy@163. com
第 36 卷
β 式中 :α 、 、 c、 u0 、 v0 、 r tx 、 ty 、 tz 为未知参数 , 而 x、 1 ～r 9、
y、 xw 、 yw 、 zw 对于具体的标定控制点是已知的 .
此外 , 根据矩阵 T 旋转部分 r1 ～ r9 的正交性 , 可 得到以下 6 个方程式 :
r 1 + r 4 + r 7 = 1, r 2 + r 5 + r 8 = 1, r 3 + r 6 + r 9 = 1, r 1 r 2 + r 4 r 5 + rLeabharlann Baidu7 r 8 = 0, r 1 r 3 + r 4 r 6 + r 7 r 9 = 0, r . 2 r 3 + r 5 r 6 + r 8 r 9 =0
T T T
Fig . 3 Frame relation of robot hand 2eye and laser vision
1. 4 同时标定摄像机和机器人手眼关系
在如图 1所示的机器人焊接结构中 ,机械人的基 坐标固定于地面 . 为方便起见 ,世界坐标系定义于机 器人基坐标系上 . 由方程组 ( 2 )可得到下列方程 ,即
[5 ] [4 ]
1 标定
1. 1 激光视觉机器人焊接结构
在机器人焊接中 , 视觉系统常用于确定工件上 的焊接位置 ,图 1 为激光视觉机器人焊接结构示意 图 . 焊枪和激光视觉刚性安装在机器人手爪上 . 视觉 系统提供一个激光结构光源 , 激光投射在焊接工件 上 , V 型焊接坡口的信息反映在激光线上 . 然后从 激光视觉抓拍的图像上识别出 V 型坡口中心 (焊接 位置 ) . 然后将焊接位置从图像坐标转换成世界坐
xw yw zw ( 4)
理 , 有 M 与 m 的变换关系
x
[9 ]
:
αr1 + cr4 + u0 r7 αr2 + cr5 + u0 r8 αr3 + cr6 + u0 r9 αtx + cty + u0 tz
=
s y 1
βr4 + v0 r7
r 7
βr5 + v0 r8
r8
βr6 + v0 r9
第 2期
刘苏宜 等 : 激光视觉机器人焊接中摄像机和手眼的同时标定 表 1 控制点坐标
Table 1 Coordinates of control points
77
2 2
e =
1
N
N
∑
i =1
目前机器人不仅广泛应用于工业生产 , 而且广 泛应用于科研领域 . 机器人安装视觉传感器后 ,可以 借助于视觉获取环境信息以执行一些特定的任务 , 如寻找 、 定位和抓取物体等 ,能提高机器人应用的智 能化程度 . 在视觉系统的使用过程中 , 为了实现 2D 图像信息转换为 3D 信息 , 需要确定图像坐标和世 界坐标之间的关系 . 这个问题即为系统标定的过程 , 它包括摄像机标定和机器人手眼标定 . 摄像机标定通常是基于针孔模型 , 它包括确定 摄像机几何和光学特性 (内参数 ) , 以及确定摄像机 相对世界坐标系的位姿 (外参数 ) . 很多文献介绍了 标定摄像机参数的方法
第 2期
刘苏宜 等 : 激光视觉机器人焊接中摄像机和手眼的同时标定
75
标 ,根据此世界坐标值来控制机器人手爪的位移 . 这 样焊枪就从当前位置移动到下一位置 , 并编制程序 由机器人自动完成此焊接任务 .
α c
0 0
u0
r 1 r 7
r 2 r 5 r 8
r 3 r 6 r 9
tx ty tz ( 2)
r9
βty + v0 tz
tz
1
由式 ( 4 ) 可推出 :
(αr αr2 + cr5 + u0 r8 ) yw + (αr3 + cr6 + u0 r9 ) zw + (αtx + cty + u0 tz ) 1 + cr 4 + u0 r 7 ) x w + (
- ( r7 xw + r8 yw + r9 zw + tz ) x = 0
图 2 针孔摄像机模型
Fig . 2 Camera model of p in 2hole
图 3 机器人手眼及视觉坐标关系
T
图像平面中 2D 坐标点用 m = ( x, y ) 表示 , 世 界坐标系 ow 2xw yw zw 中 3D 坐标点用 M = ( xw , yw ,
zw ) 表示 . 它们对应的齐次坐标分别表示为 m = ( x, y, 1 ) 和 M = ( xw , yw , zw , 1 ) . 根据针孔成像原
图 4 标定物
Fig . 4 Calibrated objects
2 2 2 2 2 2 2 2 2
这样 ,总共需要求解 17 个未知参数 . 根据方程 式 ( 5 ) ,每个标定控制点可得到 2 个非线性方程 , 因 此 ,需要 6 个或以上标定控制点建立 18 个或以上非 线性方程来求解这 17 个未知参数 . 用 18 个或以上非线性方程求解 17 个未知参 数 ,即普通的非线性最小二乘估计问题 ,可以用标准 的非线性优化技术求解 . 高斯 - 牛顿法 、 列文伯格 马夸尔特法 、 类牛顿法是求解非线性优化问题常用 的方法 . 类牛顿法的收敛性比其他两种方法好 ,但其 计算量大 ,难以修改赫塞矩阵 . 牛顿法的收敛性受初 始值的精度影响很大 格 - 马夸尔特法 . 由于世界坐标系定义在机器人的基坐标系上 , 很显然可推出以下方程 :
sm = KTM , K = 0 β v0 , T = r 4
1
式中 : s为任意尺度因子 ; K 为摄像机内参数矩阵 ; K β分别为图像坐 中的 ( u0 , v0 ) 为主点的图像坐标 ; α 、 标轴 x和 y上的尺度系数 ; c为图像平面两坐标轴不 正交引出的倾斜因子 ; T 为摄像机外参数矩阵 , 其中 r1 ～ r 9 为摄像机坐标系对世界坐标系的旋转部分 , tx 、 ty 、 tz 为平移部分 .
0
0 0 255
3
0 0 0 0
0
255 255 0 0
3
0 0 0 0
后由结构元素
0 0 0
和
0 0 0
255
( 3 表示端点像素 )提取激光线各端点坐标 . 最后根
据控制点和非控制点的 x坐标值的不同分离出控制 点 1 ～6. 为获取各控制点的世界坐标值 , 将焊枪分 别定位于标定物各控制点上 , 然后直接从机器人控 制器上依次读出控制点的世界坐标 . 最后获得各控 制点的坐标数据见表 1.
设 H 为机器人手爪坐标系对摄像机坐标系的 变换矩阵 , T6 为机器人手爪坐标系对基坐标系的变 换矩阵 , R 为摄像机坐标系对机器人基坐标系的变 换矩阵 , 如图 3 所示 . 显然 , 这 3 个变换矩阵之间的 关系可表示如下 : ( 3) R = T6 H 式中 : H 为手眼变换矩阵 , 与矩阵 T 一样由旋转部 分和平移部分组成 . 如图 1 所示由于激光视觉刚性 联接于机器人手爪上 , 因此手眼矩阵 H 是不变量 .
T = R = T6 H ( 6)
[ 10 ]
. 因此 , 本文中采用列文伯
图 5 标定物激光图像
Fig . 5 Laser im age for calibrated objects
式中 :矩阵 T 已由非线性最小二乘优化法解出 , 矩 阵 T6 可由机器人控制器上读取的当前姿态 4 元素 转换得到 . 因此 , 当摄像机参数求解后 , 可同时得到 机器人手眼矩阵 H 的结果 , 如下式所示 :
应用系统 ,设计了一种同时标定摄像机和机器人手 眼关系的方法 . 该方法基于机器人手眼矩阵和机器 人手爪对基坐标系的位姿矩阵这两者之间的特定关 系 ,只需进行一次标定实验 ,可同时求解出摄像机参 数和机器人手眼关系矩阵 .
. 从求解参数的方法上
看 ,基本上可分为线性和非线性两类方法 ,并且非线 性方法的精度要高于线性方法 . 机器人手眼标定就 是要确定摄像机坐标系对机器人手爪坐标系的位姿 矩阵 X. 传统的方法是控制机器人手爪在不同方位 观察空间一个已知的标定参照物 , 从而推导 X 与多 次观察结果的关系 次变换方程
文章编号 : 1000 2 565X (2008) 02 20074 204
激光视觉机器人焊接中摄像机和手眼的同时标定
刘苏宜 王国荣 石永华
(华南理工大学 机械工程学院 , 广东 广州 510640 )
3
摘 要 : 摄像机和机器人手眼标定是视觉机器人应用中的重要问题 . 文中针对激光视觉 机器人焊接的具体应用系统 ,提出了一种同时标定摄像机和机器人手眼的方法 . 该方法依 据机器人手眼矩阵和机器人手爪对基坐标系位姿矩阵之间的特定关系 ,进行一次标定实 验而同时求解出摄像机参数和机器人手眼关系矩阵 . 此方法简单、 实用 、 快捷 ,避免了传统 方法复杂的实验和解答过程 . 计算结果表明 ,标定精度能满足机器人焊缝跟踪的应用要求 . 关键词 : 机器人焊接 ; 摄像机标定 ; 手眼标定 ; 激光视觉 中图分类号 : TP 24 文献标识码 : A
(βr4 + v0 r7 ) xw + (βr5 + v0 r8 ) yw + (βr6 + v0 r9 ) zw + (βty + v0 tz ) - ( r7 xw + r 8 y w + r 9 z w + tz ) y = 0
( 5)
76
华 南 理 工 大 学 学 报 (自 然 科 学 版 )
[ 12 3]
姿矩阵 ; A 为摄像机两次运动的变换矩阵 ; B 为机器 人手爪两次运动的变换矩阵 . 在视觉机器人的应用当中 , 摄像机参数和机器 人手眼关系都需要进行标定 . 传统的方法要两次分 别进行标定 ,工作量大 , 耗费时间多 , 而且存在误差 累积
[ 6 28 ]
. 本文中结合激光视觉机器人焊接的具体
H = T6 T
- 1
( 7)
图 6 控制点图像坐标提取流程图
Fig . 6 Flow chart of extracting im age coordinates of control points
2 标定实验
本文中实验用的机器人是 ABB 公司的小型弧 焊机器人 ,视觉系统是 M eta 公司的激光焊缝跟踪系 统 ,实验结构如图 1 所示 . 图 4 为设计的标定物 , 是 两块分别钻有圆孔的小方块 . 当激光沿着图 4 中的 虚线投射在两个方块上时 ,就得到图 5 的激光图像 , 大小为 256 × 192 (像素 ) . 本文为方便实验 ,选取标定 物上表面的特征点为标定控制点 . 图 5 中的点 1 ～6 分别对应于图 4 中标定物上表面的点 1 ～6. 图 5 中的标定控制点 1 ～6 的图像坐标按以下 图 6 流程图提取得到 . 先以灰度阈值 150 对图 5 进 行二值化处理 ,并细化图中的激光线为单像素宽 . 然