基于图像的视觉控制

4.2 基于图像的视觉控制 基于图像的视觉控制，直接利用图像特征对机器人进行。控制器的给定是目标的图像特征，利用视觉测量目标的当前图像特征作为反馈，以图像特征的偏差控制机器人的运动。如果根据图像特征的偏差直接对机器人的关节运动速度进行控制，构成的控制系统称为基于图像的视觉伺服控制，否则，构成的控制系统称为基于图像的视觉控制。

4.2.1 基于图像特征的视觉控制 下面以操作阀门为例，针对Eye-in-Hand结构的视觉系统，说明基于图像的视觉控制。图4-9为机器人操作阀门示意图。在阀门上，利用色标作为阀门标记和手柄标记。其中，用正方形红色色标作为阀门标记，长方形绿色色标作为手柄标记。机械手末端装有抓手，抓手具有闭合和松开两个位置。抓手与机械手末端之间装有腕力传感器和微型摄像机。腕力传感器用于测量机械手腕部的力和力矩，微型摄像机用手引导机械手的抓手抓取阀门手柄。 微型摄像机的坐标系建立在其光轴中心处，Z轴取沿光轴到景物的方向，X轴取图像坐标水平增加的方向，Y轴取图像坐标垂直增加的方向。在安装摄像机时，通过调整摄像机的方向，使得抓手沿机械手末端坐标系的X轴平移时，在摄像机采集的目标图像中只有水平图像坐标变化，垂直图像坐标保持不变；抓手沿机械手末端坐标系的Y轴平移时，在摄像机采集的目标图像中只有垂直图像坐标变化，水平图像坐标保持不变。这样，可以是摄像机坐标系与机械手的末端坐标系具有相同的姿态。 由于手柄标记的尺寸较小，而摄像机的镜头为广角镜头，在摄像机与阀门的距离较远时，手柄标记的图像区域很小，不易分辨。因此，将抓手对阀门趋近作业分为两个阶段：第一个阶段抓手距离阀门较远，通过视觉利用阀门标记对机械手的运动进行控制；第二个阶段抓手距阀门较近通过视觉利用手柄标记对机械手的运动进行控制。在基于图像的视觉控制中，对于上述两个阶段分别给出期望的图像特征。首先，利用手动控制将抓手移动到能够抓取到手柄的位置，采集手柄标记图像作为第二阶段的期望图像，提取手柄标记的图像特征作为期望的图像特征。图4-10所示的手柄标记图像就是在抓手能够抓取到手柄时所采集的期望图像。将抓手移离手柄一定高度，使阀门标记和两个手柄标记均在摄像机视场中，并且能够较好地分辨出手柄标记。此时，采集阀门标记和手柄标记图像作为第一阶段的期望图像，提取阀门标记的图像特征作为期望的图像特征。由于机器人具有6个自由度，所以选取的图像特征至少为6个。在该任务中，选取的图像特征分别为：１）色标的质心坐标；２）色标的图像区域面积；３）色标主方向；４）沿主方向的梯形畸变；５）垂直于主方向的梯形畸变。其中，色标的质心坐标用于机械手沿X、Y轴方向的平移调整，色标的图像区域面积用于机械手沿Z轴方向的平移调整，色标主方向用于机械手绕Z轴方向的旋转调整，沿主方向的梯形畸变用于机械手绕X轴方向的旋转调整，垂直于主方向的梯形畸变用于机械手绕Y轴方向的旋转调整。在第一阶段，以两个手柄标记的连线作为阀门标记色标的主方向。在第二阶段，以手柄标记的长轴作为手柄标记色标的主方向。 图4-11为绕坐标轴旋转所选取的图像特征示意图。在不同的摄像机姿态下，矩形成像后的图像为不同的四边形。例如，图4-10中期望图像的手柄标记是一个四边形。首先，利用Hotlling变换提取四边形的主特征向量。沿主特征向量方向，提取四边形上下两边的长度lx1和lx2

，以两者之比作为绕X轴的旋转特征，见图4-11(a)。沿垂直于主特征向量方向，提

取四边形左右两边的长度ly1和ly2，以两者之比作为绕Y轴的旋转特征，见图4-11(b)。主特征向量与X轴的夹角，作为绕Z轴的旋转特征，见图4-11(c)。

OX

Ylx1

lx2

O

Yly2l

y1

OX

Y

(a)绕X轴旋转特征 (b)绕Y轴旋转特征 (c)绕Z轴旋转特征 图4-11 绕坐标轴的旋转特征 对于机器人末端的微分调整量;;;;;xyzxyzddd，可以利用如式（4-1）所示的对应

关系进行描述：

1/xdydzdduudvvdSS





，1/1/xxxdyyydzdllll （4-1）

式中：xyzddd、、为末端的微分平移量；xyz、、

为末端的微分旋转量；



dduv，

为标记质心的期望图像坐标；uv，为标记质心的实际图像坐标；dS

为标记的期望图像面

积；S为标记的视觉图像面积；𝑙𝑥𝑑为标记沿主方向的期望梯形畸变；𝑙𝑥为标记沿主方向的实际梯形畸变；𝑙𝑦d为标记垂直于主方向的期望梯形畸变；𝑙𝑦为标记垂直于主方向的实际梯形畸变；𝜃𝑑为色标主方向与图像水平轴之间的期望夹角；θ为色标主方向与图像水平轴之间的实际夹角。 由式（4-1）可以发现，当实际图像特征小于期望图像特征时，微分调整量大于0；当实际图像特征大于期望图像特征时，微分调整量小于0；当实际图像特征等于期望图像特征时，微分调整量为0。这只是说明，按照上述方式选取的图像特征能够反映目标的位姿，建立的微分调整量与图像特征的关系能够表征机器人末端的运动趋势。实际上，微分调整量与图像特征增量之间关系是非线性的，而且耦合性强，要比式（4-1）复杂得多。因此，在实际应用中，可以对式（4-1）中的6个微分调整量赋予不同的优先级，通过分布调整实现各个图像特征之间的解耦。此外，微分增量xyzxyzddd、、、、、，不能直接用于控制机

器人的末端运动，需要经过适当的控制算法形成末端运动控制量

xyzccccccxyzddd、、、、、，例如，PID算法就是一种较常采用的控制算法。

由机器人末端的实际微分运动控制量xyzccccccxyzddd、、、、、，得到末端的位姿

调整量为 0000000zcycxczcxcycycxczcddd







（4-2）

在第一阶段，以预先采集的阀门标记作为期望图像，利用阀门标记图像的特征控制机械手的抓手向阀门运动。在第一阶段的起始阶段，由于阀门标记的当前图像与期望图像差距可能较大，有可能在当前图像中得不到6个图像特征。在此情况下，可以利用阀门标记图像的质心位置中的两个特征，先对机械手抓手的位置进行调整。待在当前图像中有6个图像特征后，再对抓手的位姿进行调整。当阀门标记的当前图像特征与期望图像特征差距较小，能够较好地分辨出手柄标记时，第一阶段结束，第二阶段开始。在第二阶段，以预先采集的手柄标记作为期望图像，利用手柄标记图像的特征控制机械手的抓手向阀门运动。当手柄标记的当前图像特征与期望图像特征差距足够小时，第二阶段结束。此时，抓手已经按照期望的姿态到达手柄位置，闭合抓手，即能够较好地抓取到手柄。 图4-12为一个阶段的基于图像的视觉控制框图。它由3个闭环构成，外环为图像特征闭环，内环为关节位置环和速度环。图4-12中的关节位置控制环节，由关节位置环和关节速度环构成，参见图4-1。视觉反馈为目标的当前图像特征，由图像采集和特征提取两部分构成。由给定的期望图像特征与当前特征比较得到特征偏差，根据该偏差设计机器人末端微分运动调整策略，实现图像空间偏差到笛卡儿空间偏差的转换。图像空间偏差到笛卡儿空间偏差的转换矩阵，又称为图像空间到笛卡儿空间微分运动的雅可比矩阵。根据机器人的当前位姿，由机器人末端微分运动量得到的机器人末端在笛卡儿空间的位姿，利用机器人的逆运动学计算出关节空间的位置给定。由6路关节位置控制器，根据各个关节的期望位置，利用伺服放大器对机器人的运动进行控制。通过机器人本体各个关节的运动，使得机器人的末端按照希望的位置和姿态运动。 机器人位姿调整策略计算末端位姿给定机器人本体特征提取图像采集期望图像特征末端位姿6路关节位置控制器当前图像特征目标特征测量+_+_逆运动学求解

关节位置控制环节

图4-12 基于图像的视觉控制框图 在本节中阀门抓取中，从图像空间偏差到笛卡儿空间偏差的转换是一种定性的关系，未用到摄像机的参数。该任务不需要对摄像机进行标定，是基于图像的视觉控制的一种特殊情况。一般地，基于图像的视觉控制需要获得从图像空间偏差到笛卡儿空间偏差转换的定量关系，即需要图像空间到笛卡儿空间微分运动的雅可比矩阵。该矩阵是摄像机到目标距离以及图像特征的函数。因此，基于图像的视觉控制需要顾及目标的深度信息，需要对摄像机进行标定。由于摄像机和机器人均包含在图像闭环之内，所以控制精度对摄像机参数误差和机器人的模型误差不敏感。

4.2.2 基于图像的视觉伺服控制 以工业机器人为例，针对Eye-in-hand结构的视觉系统，说明基于图像的视觉伺服控制。如图4-13所示，基于图像的视觉伺服由两个闭环构成，外环为图像特征闭环，内环为关节速度环。视觉反馈为目标的当前图像特征，由图像采集和特征提取两部分构成。由给定的期望图像特征与当前图像特征比较得到特征偏差，根据该偏差设计机器人的运动调整策略，并以其输出作为图像雅可比矩阵的输入。从图像空间到关节空间的雅可比矩阵称为图像雅可比矩阵，由图像空间到笛卡儿空间微分运动的雅可比矩阵和机器人的笛卡儿空间到关节空间的雅可比矩阵的乘积构成。图像雅可比矩阵的输出为各个关节的期望速度。由6路关节速度控制器，根据各个关节的期望速度，利用伺服放大器对机器人的运动进行控制。通过机器人本体各个关节的运动，使得机器人的末端按照希望的位置和姿态运动。求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务，主要3种方法，分别为直接估计方法、深度估计方法、常数近似方法。直接估计的方法不考虑图像雅可比矩阵的解析形式，在摄像机运动过程中直接得到数值解。典型的直接估计方法是采用神经元网络和模糊逻辑逼近的方法。深度估计的方法需要求出图像雅可比矩阵的解析式，在每一个控制周期估计深度值，代入解析式求值。这种方法实时在线调整雅可比矩阵的值，精度高，但计算量较大。常数近似方法是简化的方