机器人视觉伺服系统的图像处理和标定技术

( % # 图像滤波
对于基于位置控制的视觉伺服系统， 从二维图像平面提取 得到三维的目标位置， 必然是带有噪声的。图像的噪声表现为 图像上面出现各种形式的干扰斑点、 条纹等， 这些随机噪声把像 素的真值隐蔽起来， 严重影响对图像的处理和提取图像特征， 所 以系统必须对视觉处理后的信号进行数字滤波。噪声的浓度与 其四周像素的浓度间， 存在着很大的浓度差， 平滑化就是利用噪 声的这种性质除去噪声的方法。但因图像的边界部分也存在着
$ 像机标定
机器人手眼系统的标定包括机器人内部参数标定， 摄像机 内部参数标定以及机器人坐标系与摄像机坐标系 （手眼） 关系的 标定。机器人内部参数的标定主要指应用先进的测量手段和基 于模型的识别方法辨识出机器人本体的主要参数， 在这方面已
［ ］ & 有学者展开研究 。本文重点对后两方面展开论述。
坐标系之间位置关系的标定， 手眼关系的标定就是为了确定式 （ ） 中的平移 " 和旋转变换矩阵! 中的参数。而手眼关系的标 ’ 定依赖于机器人内部参数的标定和摄像机内部参数的标定， 手 眼关系标定的误差对整个系统模型的精度影响很大。许多学者 对此做了大量的研究， 比较典型的标定方法可以分为以下 !类： % /离线标定。 ［ ］ " ! & 离线标定是最简单直接地对摄像机的标定方法 ， 主要 利用成像几何性质将需要标定参数分解， 建立方程组， 然后将离 线测量一些特殊点的位置坐标和方向带入， 反解出需要标定的 参数。文献 ［ ］ 通过一个设计的标定工具空间位置和几何结构 & 的特殊性测量计算实现标定； 文献 ［ ］ 仅测量一个点， 利用一个 0 已知几何参数的物体和扩展卡尔曼滤波器标定参数； 文献 ［ ］ ( ) 采用一种测量目标相对于相机的位置和姿态的封闭算法确定参 数； 文献 ［ ］ ［ 、 ］ 通过改变眼在手上系统摄像机的位置， 分别 ( ( ( ’ 确定一个恒定变换矩阵和恒定旋转矩阵来简化参数， 从而实现 标定。但离线标定容易引入测量误差， 受人为因素和环境稳定 性影响较大。 & /在线标定。 在线标定将标定技术与控制理论方法结合， 形成自治系统， 任何系统冲击、 震动及外部干扰都被自动考虑， 能很好地消除离 图( 小孔摄像机模型 线标定引入的一些误差， 能够实时准确的标定参数， 且具有较好
［ ］ ! 保持边界的平滑化方法 。消除噪声没有完美无缺的方法， 只
中国制造业信息化
第! "卷
第( )期
% % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % % %
( % ( 图像划分
图像划分有!种方法： 一种是基于区域的方法； 另一种是基
［ ］ " 于边缘检测的轮廓方法 。基于区域的方法两个最基本的原则
是数值相似性和空间接近性。常用的方法有灰度阈值分割法和 区域生长法。灰度阈值分割法是一种最简单的基于区域的技
收稿日期： ! # # = ’ # > ’ ! % 资助项目： 江苏省自然科学基金资助项目 （? ） @ ! # # ! > # =
［ ］ " 的数目与机器人的自由度相同 ， 也可选取更多的特征， 即冗余
" $ " $ ( ) ) ( ) " ($
／( * ( ,* ／) * ) ,* -
%
（ ） (
式中称为摄像 ， 分别为像素的宽度和高度。 ， ， ， )， ) * () (()( ) 机的内参数， 考虑畸变还包括透镜畸变系数。 从世界坐标系到摄像机坐标系有如下关系：
作者简介： 刘小力 （ ， 男， 湖北房县人， 东南大学硕士研究生， 主要研究方向为机电控制及自动化和机器人技术。 " $ A = ’）
" " $
’ ) ) #年( )月 急剧变化的浓度差， 所以将这类边界部分与噪声的部分恰当地 分离开， 只把噪声除去， 是研究的重点。 移动平均法是最简单的噪声去除法， 主要是冲淡了图像的 浓度， 从而看不到细小的噪声， 但这样会把图像边界和噪声一起 冲淡。中值滤波是既可除去噪声又能保存图像边缘的十分优秀 的方法。此外还有去除二值图像噪声的膨胀、 收缩处理方法和
图中给出 了 一 个典 型 的 小孔 摄像 机 模 型 示 意 图。其 中， !"
, . * + , " , . , . " , .#0 * + , * + , . , . " * + , * + , , .# ! ! ! # , ! #0 !
" ", . "
$
基于图像的控制方式则需要根据所选的图像特征来构造图 像雅可比矩阵， 计算图像雅可比矩阵的方法有经验法、 在线估计
［ ］ % 法和学习方法等 。经验法主要通过标定和先验模型知识得
其中： ! 为旋转矩阵； " 和# 分别是相应于! 的用欧拉角表示 !，
1 & ! #Байду номын сангаас
的侧倾角、 俯仰角和旋转角； 1 ’ 为从世界坐标系到摄像机坐
到； 在线估计法可以不进行标定， 但存在雅可比矩阵的初值选择 问题； 学习方法主要有离线示教和神经网络方法等。 标系之间的平移。
" $ 1 .
手眼关系的标定是指机器人坐标系 （世界坐标系） 与摄像机
［ ］ ! 它是否超过该阈值而将该像素归于两类中的一类 ， 该方法的
视觉伺服不同于通常所说的机器视觉， 视觉伺服是以实现 对机器人的控制为目的而进行图像的自动获取与分析， 是利用 机器视觉的原理， 从直接得到的图像反馈信息中， 快速进行图像 处理， 在尽量短的时间内给出反馈信号， 构成机器人的位置闭环 控制。正是由于系统以实现某种控制为目的， 所以视觉伺服系 统中的图像处理过程必须快速准确。而把摄像机获得的图像平 面坐标信息转化到机器人所在的坐标系， 就需要准确的标定。 现在对图像处理和标定方法的研究方兴未艾， 各种数学模 型和算法也层出不穷， 但到目前为止还没有普遍适用和有效的 方法， 需要根据具体的系统和要求， 进行试验比较和选择。本文 主要针对机器人视觉伺服系统要求快速准确的特点， 为了项目 研究的需要， 查阅大量文献著作和近年论文， 对适用于视觉伺服 系统的图像处理和标定方法进行了归纳总结和比较， 并对该领 域的发展进行了展望。
& ! # & 1 / & ! # ! #
（ ） ’
特征。从控制的观点看， 用冗余特征可抑制噪声影响， 提高视觉
［ ］ # 伺服的性能 。
几何特征是局部特征， 而其容易受光照、 遮挡等情况的影 响， 因此选用全局图像特征， 如傅立叶描述子、 几何矩、 光流等的
［ ］ $ ， 鲁棒性更好。 方法
’ ,! ’ / 0 1 ’
机器人视觉伺服系统的图像处理和标定技术
刘小力， 田梦倩， 罗 翔， 史金飞 ） （东南大学 机械工程系， 江苏 南京 ! " # # $ % 摘要： 针对机器人视觉伺服系统的特点， 对适用的图像处理和标定方法做了研究和总结。首先对图 像处理的过程和主要方法进行了归纳， 然后着重对系统标定的方法进行了阐述， 并对典型的标定算 法进行了分类和比较， 最后对图像处理和标定方法进行了展望和总结。 关键词： 视觉伺服； 图像处理； 系统标定 中图分类号： ! " # $ # % & 文献标识码： ’ 文章编号： （ ） ( & ) # * ( & ( & # + + , ( + * + ( ( * + $ 术， 这种方法是把每个像素的灰度值与一个阈值进行比较， 根据
［ ］ ( ! ! ( & 的鲁棒性 。现在大部分方法都是将手眼标定关系代入动
在计算机视觉中， 往往需要对物体进行定量分析或对物体 完成精确定位的处理， 解决这一问题就不仅要了解成像的模型， 还需要知道模型中各种参数的精确值， 确定这一参数值的过程
［ ］ ’ 包括摄像机内部参数标定和手眼关系的标定 。如图 ( 所示。
# ! # * ( ) ( ) ) ( ! # ! #$
有尽力选择与目的相吻合的方法。在确定采用何种方法前， 应 当实际试验几次观察效果如何， 可能是捷径。
% ) , ) * ) ) ) )
! " # 图像特征提取
图像处理的首要任务是选取图像特征点， 特征点应对物体 运动后位置、 姿态的变化具有敏感性。一般取图像几何特征点
# $ % 为摄像机坐标系， !("& !’"( )为 ’ 为图像平面坐标系， 以像素点为单位的图像平面坐标系， 为光学中心， 轴与光轴 ! %
重合， 在 ! "# （ ， ， ， $ % 为摄像机坐标系下， !( 坐标为 ) ) *） *为 摄像机的焦距， 同时 !( 在 !’"( （( ，)） 。 ) 下的坐标为 )) 设在摄像机坐标系下的任意一点 + 的坐标为 （#， ， 其 $， %） 投影在 !("& 下的坐标为 （ ， ） 。 根据小孔成像原理有： () ’
关键和难点是阈值的恰当选取。区域生长法从若干种子点或种 子区域出发， 按照一定的生长准则， 对领域像素点进行判别并连 接， 直到完成所有像素点的连接， 主要有区域增长法和分裂 ’ 合 并区域法， 但由于区域生长技术计算复杂费时， 而很少应用与对 实时要求高的场合， 只有当阈值分割或边缘检测技术无法产生 满意的效果时， 才考虑应用。 边缘检测算法是一种基于点相关的分割技术。在一幅图像 中， 边缘有方向和幅度两个特性， 垂直于边缘走向的灰度变化剧 烈， 边缘点的一阶微分幅度大， 而且是二阶微分的零交叉点， 因 此利用梯度最大值或二阶导数过零提取边界点。传统的边缘检 测方法大都依据这种特征， 如( 、 ) * + , . / ) * + 0以及 1 2 0 2 4 5 2 6微分 3 算子等。目前在经典边缘算子基础上发展起来的边缘检测算子 可以分为 &大类： （ ） 最优算子是根据信噪比求得检测边缘的最 " 优滤波器， 一种是 7 另一 2 , ,和 8 5 0 9 , + :提出的 1 ; < 算子方法， 种方法是局部曲面最小二乘拟合法。最优算子可以实现保留边 缘细节又能抑制噪声， 但忽略了实际图像中存在着多种干扰边 缘， 往往影响边缘的正确检测和定位。 （ ） 多尺度方法处理信号 ! 不仅能辨识出信号中的重要特征， 而且能以不同细节程度来构 造对信号的描述， 在高层次视觉处理任务中有着重要的作用。 （ ） 自适应方法是利用一个通用算子对信号进行平滑， 该算子能 & 使其本身与信号的局部结构相适应， 即锐化了边缘又使区域内 部得到平滑。