机器人捕捉运动目标的动力学视觉伺服方法

—232—机器人捕捉运动目标的动力学视觉伺服方法邝宏武1，郝矿荣1，丁永生1,2(1. 东华大学信息科学与技术学院，上海 201620；2. 数字化纺织服装技术教育部工程研究中心，上海 201620)摘 要：提出一种机器人捕捉运动目标的动力学视觉伺服方法。

基于位置阻抗控制器，通过双目立体视觉检测并跟踪运动目标的位置，结合CMAC 网络，采用以视觉阻抗的二次型为训练目标的学习型视觉阻抗控制器，用于克服控制器对系统结构参数变化适应性差的缺点，并对阻抗参数进行优化。

实验结果表明，该视觉伺服方法在机器人捕捉运动目标时具有良好的动力学特性和轨迹控制效果。

关键词：运动目标捕捉；视觉阻抗控制；CMAC 网络；Kalman 滤波器Dynamics Visual Servo Method for Robot’s Grasping Moving ObjectKUANG Hong-wu 1, HAO Kuang-rong 1, DING Yong-sheng 1,2(1. College of Information Science and Technology, Donghua University, Shanghai 201620, China;2. Engineering Research Center of Digitized Textile & Fashion Technology of Ministry of Education, Shanghai 201620, China)【Abstract 】This paper proposes a dynamics visual servo method for robot’s grasping moving object. The motion object target position is detected and tracked by dual stereo vision. With CMAC network, a learning visual impedance controller taking the quadratic of vision impedance as training target is adopted. It promotes the adaptability of position controller of the system structure parameters, so the impedance parameters are optimized.Experimental results show that the dynamics characteristics are improved and a flexible trajectory control is obtained with the method. 【Key words 】moving object grasping; vision impedance control; CMAC network; Kalman filter计 算 机 工 程Computer Engineering 第36卷 第18期Vol.36 No.18 2010年9月September 2010·人工智能及识别技术·文章编号：1000—3428(2010)18—0232—03文献标识码：A中图分类号：TP391.411 概述机器人捕捉运动目标是指机器人基于视觉伺服控制完成运动目标的跟踪和抓取，是智能机器人的一个前沿应用课题，在工业、航天和娱乐等领域有良好的应用前景。

在运动目标的捕捉中，机械手必须跟踪并接近目标；另一方面，必须能够感知环境以避开可能的障碍，这需要很高的实时性和抗干扰能力[1]。

此外，系统还受动力学约束、关节几何约束等限制，而这一切都必须在实时的条件下完成。

在运动目标捕捉问题中，机器人工作空间与关节空间的时变非线性映射关系易使运动规划超出关节的驱动能力，从而造成机器人运动偏离期望的轨迹，特别是在机器人高速抓取运动目标及避障时，会引起严重问题。

本文采用动力学视觉伺服方法，可以实现6R 机器人对检测出的运动目标进行实时平稳的跟踪和捕捉。

2 机器人捕捉运动目标的视觉伺服2.1 机器人的动力学视觉伺服视觉伺服控制是一门多学科交叉的研究领域，先由视觉系统采集图像并进行相应处理，然后通过计算估计感兴趣目标的位置来控制机器人运动。

视觉反馈使机器人可以更好地与环境进行交互。

传统的视觉伺服以位置或速度作为反馈输出量，不能实现力约束。

动力学视觉伺服根据视觉检测结果，计算机器人的加速度和关节转矩，实现机器视觉的力反馈作用。

2.2 机器人捕捉运动目标控制系统结构运动目标捕捉系统硬件结构包括6R 机器人、双目立体视觉系统和一台PC ，待捕捉目标在台面上运动。

控制系统以视觉传感器和关节传感器的反馈信息为输入，对输入信息进行预处理，并采用动力学视觉伺服模块，控制6R 机器人完成运动目标捕捉任务，系统硬件结构如图1所示。

S 1：6R 机器人S 2：运动目标z hxO图1 动力学视觉伺服控制系统硬件结构在该视觉伺服控制模块中，阻抗控制能有效利用视觉、力觉和位置编码器等传感器装置获得的环境信息，使机器人与环境有更好的交互作用。

有研究表明，人手的阻抗在多关节运动时起很重要的作用[2]，人能在不改变手臂位置和方向的同时，轻易改变其刚性、阻尼等阻抗参数。

Y.Nakabo 提出了视觉阻抗的概念，并建立了一套视觉阻抗算法，文献[3]应用视觉阻抗控制实现机械手的避障，并引入关节阻抗实现了柔顺控制的效果；D.M.Katic 等在阻抗控制中采用神经网络对环境中的不确定信息进行学习，对阻抗控制参数进行一定的补偿。

因此，若能实现较理想的视觉阻抗控制，就能做到柔基金项目：国家自然科学基金资助项目(60775052)；国家自然科学基金资助重点项目(60534020)；上海市科学技术委员会重点基础研究基金资助项目(09JC1400900)；上海市人才发展资金资助项目(001)； 上海市领军人才后备人选专项资金资助项目作者简介：邝宏武(1984－)，男，硕士研究生，主研方向：机器视觉，机器人控制；郝矿荣，教授、博士后、博士生导师；丁永生，教授、博士、博士生导师收稿日期：2010-03-09 E-mail ：krhao@—233—顺地捕捉运动目标。

通过机器视觉，可以检测并计算出机器人末端和待捕捉运动目标的位置信息。

假定机器人末端与运动目标之间存在虚拟接触力E F ，E F 按二阶阻抗模型，根据视觉反馈信息进行计算。

E F 在机器人自由运动时能引导机器人末端接近运动目标，在进入受限状态后，能减小机器人的运动超调量，使得运动目标捕捉过程具有柔顺的特性，如图2所示。

X (t(a)自由运动阶段 (b)受限运动阶段图2 运动目标捕捉系统硬件结构2.3 基于Kalman 滤波器的视觉反馈信息处理在机器人视觉伺服控制中，实时性问题是一个难以解决的重要问题，图像采集和处理速度较慢给系统带来明显的时滞，因此，需要对视觉反馈信息的测量误差进行滤波处理。

对于运动方程易于建模的情况，可直接求解运动方程参数来实现预测。

如Giorgio C.Buttazzo 等采用二阶滤波器进行数字滤波，然后建立直线运动方程对目标实现运动估计，这种方法针对的是可以预先估计的目标运动模型。

另外，粒子滤波在处理非线性运动目标跟踪问题上具有特殊的优势[4]，但是需要用大量的样本数量。

捕捉运动目标时，目标轨迹模型难以预先确定，Kalman 滤波器对模型先验知识的依赖性小，能有效抑制运动目标视觉检测误差的干扰，其计算量小、可实时计算的特点符合视觉信息实时反馈的要求。

采用三维卡尔曼滤波器对运动目标点进行跟踪[5]，可以减小由于遮挡产生的检测数据的不连续性，并缩小图像搜索范围。

Kalman 滤波器的系统运动方程为：1k k k k −=++x Ax ωBu ω (1)其中，R n k ∈x ，T T T000⎡⎤=⎣⎦x x x 是运动目标的位置状态向量；随机信号k ω表示过程激励噪声；k u 是控制变量；n n ×阶增益矩阵A 将上一时刻1k −的状态线性映射到当前时刻k 的状态，n l ×阶矩阵B 代表可选的控制输入R l k ∈u 的增益。

量测方程为：k k k =+z Hx v (2) 其中，k v 表示观测噪声；m n ×阶矩阵H 表示状态变量k x 对测量变量k z 的增益。

实际中显然不知道每一时刻噪声k w 和k v 各自的值，但是可以认为目标在一定时间内是静止的，因此，将它们假设为0。

图3给出了原始轨迹经滤波后平滑而得到的沿目标运动方向的预估位置，证明Kalman 滤波器能对视觉检测中存在的误差和滞后影响起一定的补偿作用。

6005004003002001000100200300400500600700800含测量误差的原始轨迹Kalman 滤波后轨迹x /mmy /m mF MX XDX XK X X (3)其中，E F 为理想阻抗或期望的动作；X 为手爪位置；d X 为末端的期望轨迹，在运动目标捕捉时为运动目标的轨迹；目标位置d 0=X ，d=⋅X J q ；I M 为机器人的惯性系数矩阵，在有较大加速度的高速运动或会产生冲击的运动中影响较大；I D 为阻尼系数矩阵，在中速运动或有较强干扰作用时影响较大；I K 是刚性系数矩阵，在平衡状态附近的低速运动时影响较大。

机器人的动力学模型为：T E ()(,)+=−⋅M q qh q q τJ F (4) 手爪的加速度为：e=+X Jq Jq (5) 控制力矩可表示为：1T eE ()()()(,)−=−++⋅τM q J q X Jq h q q JF (6) 假设机器人缓慢动作，且不考虑摩擦等影响时，可以认为e0=X 、0=Jq 、(,)0=h q q ，则： T E =⋅τJ F (7)阻抗控制需要传感器检测末端和目标的接触力，而视觉阻抗控制根据末端和目标的相对位置计算出阻抗力。

随着计算机视觉技术的发展，可以对运动目标进行实时的视觉检测，获取机器人末端和运动目标的位置，将视觉反馈信息与阻抗控制相结合，使机器人系统跟踪目标阻抗，并保证阻抗跟踪误差的渐近收敛。

为了确保机器人末端与运动目标之间不产生刚性冲击，假定运动目标存在虚拟的包围球接触面，定义其半径为b R ，则机器人末端与运动目标的刚性距离可定义为：()bd d 1R ⎛⎞′Δ=−−⎜⎟⎜⎟−⎝⎠X X X X X (8) 运动目标捕捉时，定义视觉阻抗为：E I I I′=Δ+Δ+ΔF M X D X K X (9) 基于视觉阻抗补偿的运动目标捕捉系统结构如图4所示，其根据视觉阻抗反馈控制机器人末端快速接近运动目标，实现对运动目标的捕捉。