视觉伺服控制

有约束的无标定模型预测控制在视觉伺服控制器的设计中，图像雅可比矩阵是建立运动学模型的关键。

经典的IBVS采用比例控制律，它利用图像雅可比矩阵的逆(或伪逆)。

然而，比例控制器可能存在局部极小问题。

也就是说，如果视觉特征数大于3，则图像雅可比矩阵不是满秩的，图像误差可能存在于图像雅可比矩阵的逆(或伪逆)的零空间中，从而导致局部收敛，使得最终的图像特征远离期望的图像特征。

另外，系统约束处理困难，尤其是可见性约束。

当相机的初始位置和所需位置之间的距离较大时，图像特征将不可见。

在视觉伺服控制过程中，可能会违反关节的物理限制和机器人的工作空间。

此外，比例控制器的主要缺点是需要知道摄像机内参数、摄像机外参数和特征点的深度参数，而这些特征点的精确值很难获得。

为了避免使用图像雅可比矩阵中元素的精确值，人们对图像雅可比矩阵的数值估计进行了广泛的研究，如神经网络、迭代学习、拟牛顿方法和模糊控制。

文献提出了许多基于深度无关交互(或图像雅可比)矩阵的自适应控制器，以克服深度限制问题。

文献首次针对摄像机参数未知且深度随时间变化的固定摄像机构型，提出了与深度无关的交互矩阵。

文献提出了眼在手和固定眼构型的自适应视觉跟踪控制的统一设计方法。

然而，这些方案没有明确考虑系统约束，而这些约束对于视觉伺服控制器的设计是至关重要的。

已经提出了许多方法来处理有约束的视觉伺服任务。

例如路径规划、非线性反馈等，但大多需要给定摄像机的外部参数，并且假定摄像机的内部参数和深度信息是已知的。

在IBVS中，通常采用模型预测控制(Model Predictive Control，MPC)来处理系统约束，且MPC控制器具有在未知影响和模型误差的情况下对系统进行控制的能力。

因此，MPC算法可以用来设计无标定环境下的视觉伺服控制器。

本章主要提出了一种新的基于MPC的IBVS设计方法，该方法明确地考虑了系统的约束条件，能够有效地处理未知的摄像机参数和深度参数。

通过模型预测控制获得控制输入，通过参数估计算法在线更新预测模型的未知参数，完成视觉伺服任务。

有约束和无标定视觉伺服的预测模型模型预测控制被用来处理未标定环境中眼在手上和眼在手外摄像机构型的IBVS系统的控制约束。

在无标定的环境中，摄像机的内外参数和特征的三维坐标是未知的。

为了通过MPC获得最优控制输入，需要找到一个预测模型来描述系统的动态行为。

介绍了基于深度无关交互矩阵的预测模型。

在透视投影模型下，特征点的图像坐标可以描述为：s m (t) c其中s m (t) (u(t), v(t))T表示特征点在图像平面上的图像坐标。

特征点的深度用c决于摄像机的内部参数和外部参数。

H表示机器人正向运动学的齐次变换矩阵，和p分别是H的旋转矩阵和平移矢量。

在眼在手上摄像机构型中C BH ec，H ec 是摄像机外部参数矩阵，它表示末端执行器坐标系相对于摄像机坐标系的齐次矩阵。

B是相机的内参数矩阵，由相机内部结构决定。

H ( H eb )1，其中H eb为末端执行器坐标系相对于机器人基坐标系的齐次矩阵。

b x是特征点在机器人基坐标系的三维位置参数，b x是具有3个独立元素的常数向量。

在眼在手外构型中，C BH bc，其中H bc是相机外参数矩阵，它表示机器人基坐标系相对于相机坐标系的齐次矩阵的，H H eb，b x是特征点在末端执行器坐标系中的三维位置参数。

通过对式(4.1)微分，有视觉变化与关节速度的关系：s m (t)其中矩阵A(s m (t), q(t)) 2n是与深度无关的相互作用矩阵，形式为：c2 v(t)c3 q(t)其中q(t) n 1表示机器人的关节角度，n是自由度。

约束视觉伺服大多是采用传统的图像雅可比矩阵，但是传统的图像雅可比矩阵依赖于特征点的二维图像坐标、摄像机内部参数和图像中未实际测量的深度参数。

在以前的基于传统图像雅可比矩阵的预测模型中，深度呈现非线性。

这里，基于深度无关交互矩阵的预测模型中的深度可以由未知的摄像机参数和特征点的三维笛卡尔坐标线性表示。

深度c Z (t)可以由未知参数表示如下：c基于预测控制的控制律设计应采用离散时间模型，而不是连续时间模型(4.2)。

每个特征点的离散状态空间模型可写为：x(k 1) Fx(k ) G(k )u c (k )其中F是2 2常数矩阵，G(k )是时变变量和未知常数参数的函数：G(k )时变变量是特征点和机器人关节的二维图像坐标，且两者都可以测量。

未知常数参数包括摄像机内部参数、摄像机外部参数和特征点的三维位置参数。

T e为采样周期。

基于离散化的深度无关交互矩阵的预测模型用于设计预测控制律。

在(4.5)中，s m可作为系统状态和输出，k为当前采样时间，u c (k ) n 1表示控制输入，即关节速度q(k )。

给定静态或动态的期望轨迹s d。

当s d为静态时，视觉伺服定位任务是将特征点从图像平面上的初始位置带到期望位置。

当s d为随时间变化的动态轨迹时，视觉伺服跟踪任务是使特征点在图像平面上跟踪期望的轨迹。

Z (t ) c 3T H s m (k ) x (k )模型预测控制与在线参数估计为了实现有约束和无标定环境下的视觉伺服控制任务，需要确定控制输入， 并在线更新预测模型的未知参数。

此外，MPC 算法是在自适应控制的基础上发 展起来的，能够保持自适应控制利用过去的输入输出辨识系统模型的特点。

根据 控制论中的分离原理，分别计算控制输入和模型参数，更新系统模型，使系统状 态更接近实际。

在本节中，控制由 MPC 确定，并从模型参数的初始估计开始。

模型参数的估计值是在线更新的。

视觉伺服系统主要由最优控制模块和参数估计 模块两部分组成。

最优控制模块为机器人系统生成控制输入 u c ，其将当前图像特 征 s m 引导到期望的特征 s d 。

在参数估计模块中，基于特征 s m 的二维图像坐标和关节角度的测量值来更新模型参数 。

机器人视觉系统的控制方案如图 4.1 所示。

s m m (k ) F i 1 G (k m i )u (k m i ) (k m ) F s U c (k ){U c c max },U视觉伺服约束s d (k )s m (k )有约束无标定 IBVS 的模型预测控制通过使用 MPC ，可以通过如下步骤实现控制：(1) 采用模型对 IBVS 系统的未来行为进行预测。

根据预测模型(4.5)，图像状态的预测可以根据最后 m (mN p ) 个状态和控制输入来定义：m其中 N p 是预测范围。

该动态预测模型在每个采样时刻以有限的 N p 步预测特征点s m 。

用 N c 表示控制水平，它表示控制输入的自由度数目[79]。

此外，N c N p 减少了最优问题的自由度数目，提高了在线最优控制问题数值解的计算速度。

从 u (kN c1) 到 u (kN p1) ，控制输入等于 u (k N c ) [80]。

更新模型参数将在下一小节中提及。

预测模型在每个采样时间 k 在线更新。

(2) 求解有限时间开环约束最优控制问题。

优化的目的是计算最优控制信号， 使图像特征达到期望的轨迹。

同时，满足了系统的约束条件。

IBVS 系统约束包 括机器人约束和图像约束。

机器人约束主要包含机器人的物理约束，如关节边界、关节速度饱和或关节加速度限制等，可视为系统的输入约束：min此外，还将工作空间限制和深度范围视为与机器人关节测量相关的机器人约 束。

q(k ) {q min , q max }图像约束是将特征保持在视场中或在图像平面中设置范围的可见性约束。

可 见性约束可以看作是系统的输出约束：s m (k ) {s m m max }, s min J ((k ), U c (k ))U c (k ) [u c (k ) , ,u c (kN p1) ]TJ ( (k ),U c (k ))(s d (k i ) s m (k i ))T Q (s d (k i ) s m (k i ))(k i 1) R u( u c c (k i 1))min通过考虑 IBVS 系统的输入和输出约束的 MPC 策略可以写成：U c( k ) 其中， U c (k ) 表示控制输入变化的最优序列，为：动态预测模型为：s m (k 1) s m (k )(ki ) s d (k i ) s m (k i )u c (k )u c (k1)u c (k )其中， s m 是可以测量的模型状态和模型输出， s d 是期望状态， (k ) 是在时间i [k1, kN p ]时期望状态和预测状态之间的差。

关节速度约束：q (k ){q min , q max }关节速度约束的变化，可以有效地抑制关节速度的突变：q{q min ,q max }式子(4.16)和(4.17)都是 IBVS 系统的输入约束。

s m (k ){s m min , s m max }式子(4.18)表示可见性约束，它是 IBVS 系统的输出约束。

输入和输出约束 可以表示为控制输入U c 的变化的最优序列的函数。

要最小化的二次成本函数包括预测误差和控制输入变化的顺序，其描述为：N pi1N c i1其中第一项最小化有限预测范围 N p 上的预测状态 s m 和期望状态 s d 之间的误差。

第二项最小化有限控制范围 N c 上控制输入的变化。

Q 和 二项的对称加权矩阵。

对于在线约束优化问题，需要采用一种有效的算法进行求解。

利用序列二次 规划(SQP)算法计算约束条件下的可行解，得到 N c 上控制输入U c 变化的最优序Z (t)THZ (t)c i 3 b x 1, c i1 b x 2 , c i 2 b x 2 , c i 3 b x 2 , c i1 b x 3, c i 2 b x 3, c i 3 b x 3, c i1, c i 2 , c i 3 )T ， i(iT, c i 4 ) (i 1, 2,3) 。

1列。

(3) 获取每个采样时间的控制输入。

由于模型的不确定性和摄像机标定误差、 图像噪声、未知效应等干扰，最优控制序列 U c 中的所有元素都不能作用于动态 系统。

实际上，(4.12)中的最优控制序列U c 的第一个元素是u c (k ) ， u c (k ) 被定义为当前时刻 k 的控制输入的最优变化，在下一个采样时刻，水平向前移动一 步，并且在更新输出度量和未知动态效应之后，整个优化过程重新开始[80]。

与最 优控制的全局优化策略不同，MPC 算法采用滚动时域策略，对工业实际中的模 型失配和扰动进行补偿是实用和有效的。

此外，在(4.19)中，未来参考输入 s d (ki) 是(ki)[k1; kN p ] 时刻期望的特征， s m (k ) 是当前时刻的可测量状态，这分别作用于预测控制律的前馈补偿 和反馈补偿。