机器人视觉系统标定问题研究综述_田梦倩

收稿日期:2005-05-18

基金项目:江苏省自然科学基金资助项目(BK2002405)作者简介:田梦倩(1971-),女,副教授,研究领域为机电控制及自动化、机器人技术。

机器人视觉系统标定问题研究综述

田梦倩

(东南大学机械工程系,江苏南京210096)

摘要:在视觉反馈机器人的控制中,摄像机的标定是一个基本的、重要性的问题。该文首先对摄像机的成像模型进行分析,明确了视觉系统标定的主要任务,然后从离线标定和在线标定两方面阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。

关键词:机器人;视觉反馈;摄像机标定;离线标定;在线标定

中图分类号:TP242.6+

2 文献标识码:A 文章编号:100020682(2006)022*******

A survey of ca li bra ti on i n a v isi on 2robot system

TI A N M eng 2qian

(D ept of M echanical Engineering ,Southeast U niversity,J iangsu N anjing 210096,China )

Abstract:Ca mera calibrati on is a basic and crucial p r oble m in the field of r obot contr ol with visi on feedback .The paper analyses the i m age 2for m ing model of a ca mera t o decide how t o calibrate its main pa 2ra meters and then discusses the relevant methods according t o s ome different criteria,which are classified int o off 2line calibrati on and on 2line calibrati on .

Key words:r obot;visi on feedback;ca mera calibrati on;off 2line calibrati on;on 2line calibrati on

0　引言

智能机器人是装备有某些类似人的感觉装置,具有感觉识别、判断功能,能根据周围环境的变化,按规则调整自己动作的机器人。在人的众多感觉中,视觉是人最重要的感官之一。因而,机器人视觉定位、视觉导引、视觉伺服也是智能机器人领域的研究热点之一。视觉反馈机器人可以广泛地应用在工业中的焊接、装配、搬运;工件表面质量、几何形状的测量;微电子器件的自动检测;空间技术中的交会对接、卫星回收等各种场合[1]

。这些应用能否准确实现,视觉系统能否获得高精度的反馈信息,都涉及到一个基本的、重要的问题,即视觉系统的高精度标定。

视觉系统的标定问题包括摄像机模型的建立及模型中各参数精确值的获得。确定这一参数值的过程可以分为两部分:摄像机内部参数标定、摄像机坐标系与机器人坐标系之间转换关系(即手-眼关系)的标定。

国外在机器人视觉标定方面做了大量的研究,

并提出了一系列切实可行的方法,而国内关于此方面的研究报道却不多,并且只限于静态的离线标定

方面[7～10]

。该文首先对机器人视觉系统的成像模型进行了详细的分析,按照标定过程是否与机器人控制相结合、是否为动态过程,将视觉反馈机器人的标定方法分为离线标定和在线标定两类,并分别阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。

1　摄像机的成像模型

由于空间某点的几何位置与其在图像中对应点的相互关系是由摄像机的成像模型决定的,因此,正确建立摄像机的成像模型是关键。

假定摄像机模型为针孔透视变换模型,图1中给出了单摄像机下,物点与像点的位置关系。该模型中建立了3个坐标系。

(1)世界坐标系:通常取世界坐标系与机器人基坐标系重合,三维空间中的目标点p 在世界坐标系中的坐标是p w (x w ,y w ,z w )。

(2)摄像机坐标系:其中心点o c 定义在摄像机的光学中心,其Z 轴与摄像机的主光轴重合。目标点p 在摄像机坐标系中的坐标是p c (x c ,y c ,z c )。

图1　摄像机成像模型示意图

(3)图像坐标系:此坐标系为二维坐标系,其原点为图像平面与主光轴的交点,其X 轴和Y 轴分别与摄像机成像靶面像素行和列平行。图像平面与摄像机平面平行,距离为焦距f 。若不考虑畸变,目标点p 的理想成像在图像平面的坐标是p d (x d ,y d ),图1中考虑一阶径向畸变后,成像点坐标为p i (x i ,y i )。

u -o ′i -v 为计算机中处理的像素平面,o ′i 的像素

坐标是(c x ,c y )。

因为摄像机的透镜可以被转动和拆卸,所以CCD 面阵安装并不能保证以透镜的光轴为中心,且

图像采集数字化窗口的中心不一定与光学中心重合,所以对三维视觉来说,必须精确标定摄像机的光学中心;CCD 驱动信号经采集卡采样,水平像元的等效间距也要发生变化,所以需要标定图像的纵横比。

目标点p 从基坐标系变换到图像坐标系,需要经过如下几步变换,其中所涉及的参数就是摄像机标定需要解决的问题。

基坐标系与摄像机坐标系之间的变换关系为:

x c y c z c

=c

w R

x w y w z w

-T x

T y T z

(1)

其中,c

w R 是3×3的正交旋转矩阵,是两个坐标

系间旋转角θ,ψ,φ的函数,T =(T x ,T y ,T z )T

为平移

向量。

根据小孔摄像机模型,假定Z c μf,从摄像机坐标系到图像平面经过透视变换,理想图像坐标p d 为:

x d =

f z c x c y d =f

z c

y c (2)

在考虑一阶径向畸变后,像点p i 的坐标为:

x i =x d (1+kr 2

)　y i =y d (1+kr 2

)(3)

式中,用(1+kr 2)来近似表达径向畸变,r 2=x 2

i

+y 2

i ,k 为径向畸变系数。

真实图像坐标p i 到计算机像素坐标(u,v )的转

换关系为:

x i =(u -c x )/s x y i =(v -c y )/s y

(4)式中,s x ,s y 分别是摄像机成像靶面上单位距离的像素数。

综上所述,需标定的摄像机内部参数有c x ,c y ,k,f,s x ,s y 共6个,其中,s x ,s y 一般可以由摄像机及图像采集卡厂商提供的参数间接求得,可以作为精确标定的初值;手-眼关系标定的参数有摄像机的旋转变换矩阵和平移向量,考虑到旋转矩阵的正交性,也有6个参数需标定。

2　标定方法

针对视觉系统标定时采用的方式不同,按照标定过程是否与机器人控制相结合、是否为动态过程,将视觉反馈机器人的标定方法分为离线标定和在线

标定两类,也分别称做静态标定、动态标定[5]

。2.1　离线标定法

离线标定是最基本的标定方法,典型的方式是在一平面模板上分布有尺寸及排列规律已知的参照物,如圆形、正方形或正六边形,通过图像处理获取需要的一组特征点的像素坐标,对应成像模型中各参数的关系,建立方程组,通过数学方法求解标定参数。这一过程比较繁琐,而且求取过程对数学计算要求比较高。在离线标定时机器人不进行伺服控制,所以又称做静态标定。该方法可以分为3类:线性标定、非线性标定以及分步标定法。

线性标定技术指通过直接求解线性公式来确定变换参数,也称作直接线性变换法(DLT )。这种算法简捷,因而被广泛使用,但未考虑透镜的畸变;通常未知数的数目大于实际自由度,这使得求解未知参数的约束难以得到满足,结果的准确性也对噪声比较敏感。

非线性标定技术考虑了镜头畸变所引入的非线性方程,为求解数目众多的未知数而采用了非线性

优化方法。如Zhuang [3]

提出的一步法,将机器人手眼关系与机器人执行器作为一个整体来建模,利用复杂的非线性优化方法同时计算摄像机参数和转换矩阵。这种方法建立的模型精确,但计算复杂,并且要求初始条件适当;否则,非线性搜索优化计算容易陷入局部最小。

综合考虑上述两种方法的优劣,有学者提出分步完成标定问题。Tsai[2]提出的两步法首先用线性变换的方法来求解手-眼坐标系变换关系等外部参数,通过施加不同的运动约束(如纯平移或纯旋转)来避免旋转和平移的耦合。第2步用迭代算法来估计畸变系数等参数。Hakan[4]将这一方法加以改进:1)用线性最小二乘法估算标定参数;2)用优化方法从上一步的结果中确定旋转变换矩阵,进而确定平移变换及投影变换关系;3)用非线性优化方法确定透镜畸变系数。

分步法综合了前两种方法的特点,算法简单、快速,非常适合摄像机经常变动的场合,但会出现累积误差的问题。

上述的离线标定方法只考虑参考目标在视觉系统中的定位,没有充分利用机器人系统的定位功能,有学者[6,7]对机器人视觉系统手眼关系的快速标定问题展开了研究。这类方法大多采用机器人的本体坐标系作为世界坐标系,通过安装在机器人上的高精度传感器,获得摄像时刻机器人末端执行器在世界坐标系中的三维位置,同时,末端执行器的位置在图像中也能得到,通过坐标变换,即可推导出机器人的手-眼关系。该标定方法只在一个位置对标定点取像,不需要借助其他的坐标测量仪器,就可以一次标定出摄像机的内外参数及机器人的手-眼关系。优点是算法简单、过程方便,但前提假设是不考虑透镜畸变。同时,依赖于机器人本体参数的精确标定。

2.2　在线标定法

在线标定方法是一种动态标定,指在估计摄像机内部参数及手-眼变换关系的同时,还实现机器人的伺服控制,通过机器人理想轨迹、速度与实际轨迹、速度等信息的误差,不断校正待标定的参数,在这一动态过程中同时完成标定及伺服控制等任务。

对于动态标定的基于图像伺服控制方法,关键思路就是设计一算法在线计算逆图像雅可比矩阵。文献[12]建立了一固定摄像机的视觉系统,机器人对运动目标实现轨迹跟踪。采用准牛顿法动态估计图像雅可比矩阵,Hos oda[13]采用递归最小二乘法(RLS)更新图像雅可比矩阵,将这一方法的应用扩展到机器人跟踪运动目标的应用中。另外,有学者[10,11]采用Kal m an滤波器技术实现视觉机器人系统的动态标定。

对视觉机器人系统的控制,由于模型参数的不确定及摄像机标定误差导致控制精度的下降;另一方面,由于机器人系统的非线性及动力学模型的不准确,系统的动态特性不佳。针对这两方面问题,有学者提出综合考虑机器人非线性动力学、摄像机动态标定的自适应控制器,它通常是根据机器人的动力学方程设计机器人的计算力矩控制律,结合自适应控制理论设计待标定参数的更新律,通过稳定性分析,能在保证末端执行器位置误差收敛的同时进行摄像机的自标定。这类方法在一些文献中又称做自标定、无标定或者自适应标定控制。这些研究的实验平台大多为一单目固定视觉的平面机器人系统[14～23]。

Kelly等[14,15]提出了一个典型的视觉机器人系统,设计了一个定点控制器以补偿摄像机内部参数以及手眼关系转换矩阵的不确定性,并且获得了局部收敛的稳定的结果,但要求已知机器人重力项参数;B ishop[16,17]建立了一逆动力学控制器,也称做计算力矩控制,在控制过程中,图像平面与机器人基坐标系间的变换关系等参数能够根据设计的更新律在线调整,最终完成标定与控制两方面的工作。但该方法要求已知机器人系统准确的动力学模型。

Zerger oglu[18,19]设计了未知模型参数不同的两个自适应控制器,在假设机器人本体动力学参数已知的情况下,设计的控制器能够实现全局渐进的轨迹跟踪,可以补偿摄像机标定参数的不确定性,同时,能够保证位置跟踪误差收敛到零。进一步,在对整个机器人-视觉系统建模的情况下,将其变换关系矩阵转化成正定对称结构,实现了自标定机器人视觉伺服控制。

L iu H su等[20,21]建立参数化的动力学方程,同时根据摄像机的投影关系,得到目标特征点的变化与其关节速度的关系。这个关系中隐含着标定的参数,最终建立一模型参考自适应控制器,并通过递阶控制[21]或非线性P I控制器[20]求解,使得参考模型与系统模型的误差趋于零。

Yantao Shen[22,23]通过对图像雅可比矩阵的分析,将其表示成机器人运动学雅可比矩阵与机器人-视觉之间旋转矩阵的积,由此,提出一种在线估计旋转矩阵的自适应算法。在提出的控制算法中,相对于视觉坐标系测量得到的末端执行器的位置误差是通过估计的旋转矩阵被反馈到机器人控制器的,当所设计的末端执行器的理想速度满足持续激励的条件时,估计的旋转矩阵将会收敛到真值。进一步,将这一思想推广基于图像的控制算法中,同样实现了自适应标定与控制。

3　总结

视觉系统的离线标定是一项繁复的工作,需要好的算法,离不开精密的测量设备,也可以与其他传感器相结合来进行;在线标定方法以实现机器人精确控制为目的,依靠算法来完成部分参数(如焦距、手眼关系矩阵)的标定。为解决摄像机的标定问题并达到较高的精度,可以将论文中所述的几种方法相结合,首先采用分步法进行离线标定,将标定的结果作为自适应标定控制的初值,在伺服控制过程中动态更新标定参数,以达到更高的精度。

由于研究的角度不同、采用的方法不同、理论与实际的差距以及新兴技术与设备的出现,机器人视觉系统标定的方法难以在该论文中完全体现,这也正表明该技术在不断发展、不断深入的研究中。

参考文献:

[1]　S Hutchins on,G Hager,P I Corke.A tut orial intr oducti on

t o visual servo contr ol[J].I EEE Trans on Robotics and

Aut omati on,1996,12(5):651-670.

[2]　Tsai R Y,Lenz R K.A ne w technique f or fully aut ono2

mous and efficient3D r obotics hand2eye calibrati on[J].

I EEE Transacti ons on Robotics and Aut omati on,1989,5

(3):345-358.

[3]　Zhuang H Q,Wang K,Roth Z S.Si m ultaneous calibrati on of

a r obot and a hand2mounted ca mera[J].I EEE Transacti ons

on Robotics and Aut o mati on,1995,11(5):649-640.

[4]　Hakan Bacakoglu,Moha med S Ka mel.A three2step ca m2

era calibrati on method[J].I EEE Transacti ons on I nstru2

mentati on and M easure ment,1997,46(5):1165-1172. [5]　Graziano Chesi,Koichi Hashi m ot o.A self2calibrati on tech2

nigue f or visual servoing[C].Pr oceedings of the41st

I EEE I nternati onal Conference on Decisi on and Contr ol,

Las Vegas,Nevada US A,Dece mber2002.

[6]　苏剑波,席裕庚.机器人/视觉系统非标定的平面运动

跟踪[J].系统工程与电子技术,1999,21(6):50-53. [7]　朱振友,徐爱杰.机器人视觉的“手-眼”关系快速标

定算法[J].光学技术,2004,30(2):150-152.

[8]　李仁举,钟约先.三维测量系统中摄像机定标问题

[J].清华大学学报,2002,42(4):481-483.

[9]　张贞子,罗　兵.机器人视觉定位系统的研究与实现

[J].哈尔滨工业大学学报,1997,29(6):85-89. [10]　毛剑飞,诸　静.工业机器人视觉定位系统高精度标

定技术研究[J].机器人,2004,26(2):139-144. [11]　Elena Stringa,Carl o S Regazzoni.A Novel Ca mera Cali2

brati on A lgorith m Based on Kal m an Filter[C].I EEE,

2000.

[12]　L iang Ping,Chang Yuhlin.Adap tive self2calibrati on of

visual2based r obot syste m s[J].I EEE Transacti ons on

Syste m s,M an and Cybernetics,1989,19(4):811-

824.

[13]　J A Piepmeier,G V Mcmurray.Uncalibrated dyna m ic

visual servoing[J].I EEE Transacti ons on Robotics and

Aut omati on,2004,20(1):143-147.

[14]　K Hos oda,M A sada.Versatile visual servoing without

knowledge of true Jacobian[C].Pr oceedings of the

I EEE I nternati onal Conference on I ntelligent Robots and

Syste m s,Munich,Ger many,1994.

[15]　R Kelly,A M arquez.Robust asy mp t otically stable visual

servoing of p lanar r obots[J].I EEE Transacti ons on Ro2

botics and Aut omati on,1996,(12):759-766.

[16]　R Kelly,Paul Shirkey,Mark W Spong.Fixed2Camera

V isual Servo Contr ol f or Planar Robots[C].Pr oceedings

of the1996I EEE I nt.Conf.Robotics and Aut omati on,

M inneapolis,M innes ota,1996.

[17]　B E B ishop,M ark W S pong.Adap tive Calibrati on and

Contr ol of2D Monocular V isual Servo Syste m s[J].Con2

tr ol Engineering Practice,1999,(7):423-430.

[18]　B E B ishop,Paul Shirkey,Mark W Spong.An experi2

mental testbed f or intelligent contr ol[C].Pr oceedings of

the American Contr ol Conference,Seatile,W ashingt on,

1995.

[19]　E Zerger oglu,D M Daws on.Adap tive ca mera calibrati on

contr ol of p lanar r obots:eli m inati on of ca mera s pace ve2

l ocity measurements[C].Pr oceedings of the2000I EEE

I nt.Conf.Contr ol App licati ons,Anchorage,A laska,US A,

2000.25-27.

[20]　E Zerger oglu,D M Da ws on.V isi on2based nonlinear

tracking contr ollers with uncertain r obot2ca mera para m2

eters[J].I EEE Transacti ons on M echatr onics,2001,6

(3):322-336.

[21]　L iu H su.T wo s oluti ons t o the adap tive visual servoing

p r oble m[J].I EEE Trans on Robotics and Aut omati on,

2002,18(3):387-392.

[22]　L iu H su,Ra mon R Costa.Stable adap tive visual servoing

f or movin

g targets[M].Pr oc.of the American Contr ol

Conf,Chicage,US A,2000.2008-2012.

[23]　Shen Yantao,L iu Yunhui.Adap tive moti on contr ol of

mani pulat ors with uncalibrated visual feedback[C].

Pr oceedings of the2002I EEE/RSJ I nt.Conf.I ntelligent

Robots and Syste m s,EPE L,Lausanne,S witzerland,

2002.

[24]　Shen Yantao,Sun Dong,L iu Yunhui.A sy mp t otic trajec2

t ory tracking of mani pulat ors using uncalibrated visual

feedback[J].I EEE/AS ME Transacti ons on Mechatr on2

ics,2003,8(1):87-98.