基于神经网络的机器人视觉伺服控制
基于单应性矩阵的移动机器人视觉伺服切换控制
基于单应性矩阵的移动机器人视觉伺服切换控制曹雨;刘山【摘要】For a monocular camera-based mobile robot system, a novel visual servo approach based on homography matrix is proposed. This approach realizes the control target by visual feedback with the lack of depth information, the robot can arrive at the position accurately by given an image taken under the position. Instead of common homography decomposition, this approach takes use of homography matrix elements to structure state varibles. In addition, considering the field of view constraint, the proposed approach doesn't need the reference target to be visible in real time by the transi-tivity of homography. A switched controller is designed to drive the robot to reach desired position under the satisfaction of the nonholonomic constraints. In this paper, theoretical analysis and simulation verify the feasibility and effectiveness of the approach.%针对具有单目视觉的移动机器人,本文提出了一种基于单应性矩阵的视觉伺服控制算法,在缺乏深度信息的情况下利用视觉反馈实现了移动机器人的控制目标,即给定机器人目标位姿下拍摄得到的图像,通过视觉伺服使机器人从初始位姿准确到达目标位姿.视觉反馈环节采用单应性矩阵中的元素构造状态变量,而非利用常见的单应性分解,此外,考虑到视野约束,本文提出的算法在计算单应性矩阵时结合了单应性的传递特性,从而避免了参考目标的实时可见性.伺服环节设计了切换控制器,在满足非完整约束的同时可驱动机器人到达期望位姿.理论分析及实物仿真验证了该算法的可行性和有效性.【期刊名称】《控制理论与应用》【年(卷),期】2017(034)001【总页数】11页(P109-119)【关键词】视觉伺服;移动机器人;单目视觉;单应性;视野约束;切换控制器【作者】曹雨;刘山【作者单位】浙江大学控制科学与工程学院,浙江杭州310027;浙江大学控制科学与工程学院,浙江杭州310027【正文语种】中文【中图分类】TP242视觉传感器在环境感知方面具有信息全面,可靠性高的优点,且成本低廉,故广泛应用于机器人系统中,在一定程度上能提高机器人的灵活性与智能性,因此视觉伺服控制在近些年得到了快速的发展.在近期的文献[1-4]中,国外的Chaumette以及国内的林靖、王麟琨等人就视觉伺服在机器人方面的应用分别从不同角度进行了综述.关于视觉伺服最新的一篇综述[5]则在视觉反馈与控制策略方面进行了更为详细的说明与分析.根据视觉反馈信息的类型,可将伺服控制系统主要分为基于位置的视觉伺服控制(position-based visual servoing,PBVS)和基于图像的视觉伺服(imagebased visual servoing,IBVS)两种方式[6].两种方式各有特点,前者适用于大范围的视觉导航,但是控制精度受系统参数影响较大,而后者更适用于小范围的精确定位,鲁棒性好.有学者提出了将两种方式相结合的混合视觉伺服控制(hybrid visual servoing, HVS)[7-8],即利用视觉得到的图像信息构造能部分反映机器人物理位姿的状态变量,作为系统的反馈信号,设计出合适的控制器对机器人的运动进行控制,最终达到伺服目标.该方法考虑了环境、系统鲁棒性等因素,兼具基于位置和图像两种方式的优点,实用性更强.传统的基于图像信息的视觉伺服一般是选取图像中的特征点并以其像素点坐标为控制变量,通过计算雅可比矩阵来设计控制器[1],不过这种方式往往存在图像局部遮挡以及噪声影响大的问题.因此为了提高系统鲁棒性,很多研究者用双视图几何关系代替传统的特征点作为反馈信号,如对极几何和单应性.文献[9]将对极几何与神经网络控制相结合,驱动非完整约束机器人到达指定位置并完成抓取.文献[10]在多机器人跟随实验中采用当前视图与相邻机器人视图之间的极点坐标作为视觉信号进而控制机器人运动,由于极点与相对位姿并非同构,极点为0只能保证共线,因此要求驱动机器人达到指定位姿时应注意引入其他判断条件.另外对极几何对于平面物体还存在病态的问题,以及当基线过短容易出现奇异现象.另一种几何关系单应性和对极几何一样表示的是两个视图之间的对应关系,不同之处在于单应性的描述对象限制为平面,且对应关系可唯一决定相对位姿,因此相比较于对极几何,单应性在视觉伺服中的应用更为广泛.在Malis等人提出了基于单应性矩阵分解的伺服策略[8]之后,后续有学者基于这种方式做了很多研究[11-13].不过由于单应性分解不具有唯一性,往往需要添加额外条件来进行判断.在Lopez提出了一种直接利用单应性矩阵元素进行视觉反馈控制的方法[14]之后,更多研究者选择避免使用单应性分解对系统进行控制[15-16].对于采用图像信息反馈的伺服系统而言,通常会存在视野约束问题,即如果期望图像中有一个参考物体,那么在机器人运行过程中需要实时能拍摄到该物体,一旦物体由于相机移动而超出了机器人视野范围,视觉反馈的信息将无法与期望图像相配对,进而导致控制器失效.针对视野约束问题,一种研究思路是通过路径规划,在满足视野约束的前提下设计出机器人最优移动路径[17-18],结合单应性反馈控制,通过设计单应性元素轨迹,利用轨迹跟踪的方式使机器人实现移动任务[19].另一种思路是结合主动视觉,采用云台扩大相机视野范围[20-21],极大地放松了机器人的物理移动约束,不过云台的使用相对于增加了机器人系统的自由度,对控制器的设计要求较高.本文针对具有单目视觉的移动机器人系统提出了一种基于单应性矩阵的视觉伺服控制算法,在缺乏深度信息的情况下利用视觉反馈实现移动机器人的控制目标.即给定期望位姿下拍摄的图像,利用当前图像与期望图像之间的单应性矩阵元素构造状态变量,设计切换控制器以及状态期望轨迹,将任务转化为轨迹跟踪问题,并结合机器人模型克服移动过程中的非完整约束.需要注意的是,在常规的伺服过程中当前图像与期望图像之间的单应性矩阵往往是通过特征点匹配进而计算得到,这种方式具有两个缺陷：第一是特征点匹配耗时较长,会延长系统的运行周期,容易导致系统不稳定;第二则是视野范围被局限,视野约束问题更明显,因为这种方式要求每一帧图像都要与期望图像有匹配点,这样极大地限制了机器人的移动范围,而且很容易出现无匹配点的情况,从而导致伺服失败.在本文中,视野约束可通过单应性的传递特性予以缓解,可以避免参考物体的实时可见性要求,一定程度上扩大了机器人的可移动范围,提高了系统的稳定性和有效性.文章其他部分组织如下：第2节对具有单目视觉的机器人系统进行了建模;第3节完成了切换控制器的设计;第4节给出了MATLAB仿真和实物仿真结果,验证了本文所提出算法的性能;最后一节为总结部分.2.1 运动学模型(Kinematic model)本研究的控制对象为具有单目视觉的移动机器人,如下图1所示,将单目相机固定在机器人上,相机坐标系Fc与机器人坐标系Fr重合,令v,ω分别表示机器人的线速度和角速度,vl,vr表示机器人左右轮线速度,有下式成立：如图2所示,在世界坐标系Fw下,机器人的位姿坐标为(x,z,θ),那么根据定义可描述该移动机器人运动学模型如下：2.2 视觉模型(Visual model)对于一系列共平面的点,在两个不同位姿下拍摄的图像具有一定的几何联系,这种几何转换关系则被称为单应性,表示该关系的矩阵即为单应性矩阵.如图3所示,在世界坐标系Fw下机器人的初始位姿坐标系和期望位姿坐标系分别为F和F∗,假设两者之间的旋转矩阵和平移向量为R,t,且满足下式成立：空间中存在一参考平面,其法向量已知,在期望坐标系F∗下表示为→n=[nxnynz]T,不失一般性,本文假定该参考平面正对于期望位姿,法向量为→n=[0 0 1]T.该平面上点在初始坐标系和期望坐标系下的空间坐标分别记为P和P∗,在图像坐标系中的投影分别为p和p∗,有下列关系式成立：其中：单应性矩阵,d为期望坐标系原点到参考平面的距离,未知常量,控制中可直接给定值,视为控制增益;K为机器人上单目相机的内参矩阵,定义为式中：fu,fv分别表示在像素坐标系单位方向上相机焦距所包含的像素数量,u0,v0表示像素坐标系中心的坐标.综合上述关系式,不难推导出图3所示模型中单应性矩阵为其中矩阵各元素分别为由上式可以看出,在实际运行中,图3所示模型的单应性矩阵的可用元素只有h11,h13,h31,h33,其余元素均为常量.利用这4个矩阵元素可构造出另外4个描述机器人位姿更为直观且具备物理意义的状态变量,分别为机器人的转角θ、横向偏差eh、纵向偏差ez与期望位置连线的夹角ψ,其中横、纵向偏差表示的是当前位置与期望位置连线分别在当前坐标系两坐标轴的投影与未知常量d的比值,反映了机器人的相对位姿.如图4所示,图中包含了机器人的当前坐标系和期望位姿坐标系,以及上文提到的具备物理意义的状态变量,各状态变量具体定义如下：上式ψ的定义中采用了双变量反正切函数和符号函数,具体定义如下：对式(7)求关于时间的导数,可得出系统状态与速度的关系考虑到移动机器人为两轮驱动,在运行过程需要由控制器不断输出两个轮子的线速度信号,故将式(9)与式(1)相结合：上式即为该机器人系统的相互作用关系式,也即本研究中的视觉模型.在上述模型基础上,机器人的期望位姿对应于该模型的一个期望的状态变量,使机器人移动到期望位姿的过程即等价于模型的状态变量收敛到期望状态变量的过程.设计整个视觉伺服系统控制流程如图5所示,主要运行步骤如下,首先给定期望图像,结合初始位姿所拍摄得到的当前图像判断具体属于哪种工作场景即初始位姿位于期望位姿的前方或后方,根据工作场景选择合适的控制器(A或者B),控制器的输出信号驱动机器人移动,根据实时拍摄得到的当前图像计算与期望图像之间的单应性进而得到当前状态,将当前状态作为控制器的输入信号完成整个控制闭环,进而完成控制目标.图5中控制器采用了一种切换控制策略,将控制过程分为3个步骤,如图6所示.其中：第1步是驱动机器人达到一个合适的偏转角;第2步机器人将移动至期望位姿的正后方或正前方(视工作场景而定),且保持朝向与期望位姿一致;第3步只需机器人直线移动到期望位姿即可.值得一提的是,文献[19-20]同样采用了将机器人运动过程转化为模型状态收敛到期望状态的过程,并且也是基于单应性矩阵获取系统状态.在文献[19]中,Lopez通过区分机器人相对期望位姿所处的工作空间,并与之对应地规划出3种移动路径,分别是SL(直线)、S-T(直线-t曲线)以及T1-T2(双t曲线),在确定移动路径后控制过程会分成若干个步骤,每个步骤都设置有子目标,即使单应性矩阵元素达到某设定值,从而最终驱动机器人完成任务.文献[20]提出的方法本质上与上述的SL类似,方勇纯通过利用主动视觉使得机器人在大多数工作空间都可实现SL移动路线.本文所提算法与上述不同之处在于,外设上仅通过一个单目相机进行信息获取,无附加自由度;控制变量由单应性矩阵多元素构造而成,并非单一的某个元素,相对而言鲁棒性更好;针对每个步骤均设计了期望轨迹,通过跟踪期望轨迹从而达到期望状态.下面将具体介绍. 3.1 当前状态获取(Derivation of current state)第2.2节中介绍了如何利用当前图像与期望图像之间的单应性矩阵元素构造系统状态变量,因此获取当前状态就是实时获取当前图像与期望图像之间的单应性矩阵.不同于引言中提到的常规单应性计算方法,本文是通过利用单应性传递特性的方式来计算单应性矩阵,该方法在一定程度上可以缓解视野约束.所谓传递特性即为：一个空间点在3个坐标系下的坐标分别为P1,P2,P3,由式(4)可知坐标满足P1 =H12P2,P2=H23P3,P1=H13P3,不难推出下式成立：H13=H12H23.注1 为方便起见,定义当前图像与期望图像之间单应性为Hct,初始图像与期望图像之间单应性为Hit,当前图像与初始图像之间单应性为Hci,i-initial,c-current,ttarget.因此Hct可数学表示为Hct=HciHit,而Hit可在一开始经由特征点匹配计算得到,如图7所示,令下标k表示第k帧图像,相邻两帧单应性为,那么将当前图像与初始图像之间的一系列相邻帧间单应性累乘即可得到Hci,进而得到实际需要的Hct.而相邻两帧的单应性由于两帧图像比较接近,故可以利用稀疏光流角点跟踪法[22]实现,可快速得到,从而缩短运行周期.另外,这种方法不需要期望图像中的参考物体实时在当前图像中,只要满足当前图像能实时捕捉到参考物体所在的平面即可.综上所述,利用这种方法获取当前状态既能够缩短运行周期,提高系统稳定性,又能在一定程度上放松视野约束,扩大机器人的可移动范围.3.2 控制律设计(Control law design)前文中提到两种工作场景,可根据初始图像与期望图像之间的单应性进行判断,其所对应的控制算法均根据运行时间分割为3步,每一步控制中机器人的实际移动轨迹取决于设计的期望轨迹,因此需要设计合适的期望轨迹使得机器人能够在运行过程中逐渐收敛到每一步控制的子目标,为方便讨论,这里笔者选择采用二次多项式的函数形式来描述期望轨迹,下面将具体介绍：a)初始位姿在期望位姿后面(z＜0).步骤1 t∈[0,T1).设置时间点T1,使得机器人在[0,T1)时间段完成第1步的目标即到达一个合适的偏转角,若在初始位姿下满足eh·θ＜0,说明机器人的偏转角已经达到后面步骤的要求,此时T1=0,否则T1/=0,需要运行第1步.选择前文构造的系统状态θ,eh,ez,ψ中的横向偏差eh和纵向偏差ez作为这一步的控制变量,由式(10)可得现给控制变量设计期望轨迹,使得在[0,T1)时间段内机器人移动能够让控制变量跟踪期望轨迹,设计轨迹如下：该期望轨迹表示在[0,T1)时间段内系统的控制变量eh,ez将收敛到,其中λ为设定常量正实数.设计控制律如下：其中为控制增益且为正实数.收敛性证明.将式(13)代入式(11)可得由于k1,k2为正实数,不难证明实际状态和期望状态的偏差满足指数衰减,从而说明实际状态逐渐收敛到期望状态.注2 后文控制律设计思路不做赘述.步骤2 t∈[T1,T3).设置时间点T3,这一步目标是让机器人在t∈[T1,T3)时间段移动到期望位姿正后方且朝向一致,选择eh,ψ作为控制变量,由于这个过程中ψ逐渐收敛到-π或π并非0,因此在控制算法中令ψ=ψ±π,使其与其他变量一样收敛到0,方便统一处理.由式(10)可得设计所要跟踪的期望轨迹与控制律如下：其中：k3为控制增益且为正实数;考虑到需要对矩阵M2求逆,因此在[T1,T3)时间段中选择一个中间时间点T2,使得ψ先收敛到0,再将eh收敛到0,避免在运行过程中出现M2奇异的现象.步骤3 t∈[T3,T4).设置时间点T4,这一步目标是让机器人在t∈[T3,T4)时间段沿直线移动到期望位姿,只需纵向偏差ez收敛到0即可,为了纠正可能由噪声引起的方向偏差,这里另外引入偏转角θ和纵向偏差ez一起作为控制变量,由式(10)可得设计所要跟踪的期望轨迹与控制律如下：其中k4为控制增益且为正实数.b)初始位姿在期望位姿前面(z≥0).步骤1 t∈[0,T1).设置时间点T1,这一步目标是让机器人在t∈[0,T1)时间段原地旋转至特定角度,使得纵向偏差ez=0,该特定角度θd(T1)可根据初始位置时的ψ(0)计算得到,设计轨迹使得在t∈[0,T1)时间内达到该角度,轨迹及控制律如下：其中k4为控制增益且为正实数,设置机器人线速度为0,只有角速度信号,有下式成立：结合式(19)-(20)完成第1步的控制,达到要求的偏转角.步骤2 t∈[T1,T3).设置时间点T3,这一步目标是让机器人在t∈[T1,T3)时间段移动到期望位姿正前方且朝向一致,选择ψ,θ作为控制变量,不同于场景(a),该场景下的ψ在该过程中逐渐收敛到0,无需进行处理.由式(10)可得设计所要跟踪的期望轨迹与控制律如下：与场景(a)中步骤2类似,为避免出现奇异的现象,考虑让ψ先收敛到0,再让θ收敛到0.这一步完成后机器人将到达期望位姿的正前方,接下来最后一步与场景(a)的最后一步完全一样,机器人将沿直线到达最终位姿.3.3 稳定性分析(Stability analysis)定理 1第3.2节设计的控制器可以使得机器人伺服系统的4个状态变量θ,eh,ez,ψ全部趋向0,也即证上述结论与机器人位姿偏差(x-xd,zzd,θ-θd)趋向0等价.故构造李雅普诺夫函数如下：其中i=1,2,3(xdi,zdi,θdi)表示步骤i的期望位姿,很显然,该函数为正定,接下来需要证明其导数为负定,以期望位姿坐标系为世界坐标系将工作空间分为4个象限,第一、二象限属于场景(b),第三、四象限属于场景(a),接下来就4个工作区域分别证明系统稳定性.第一象限：步骤1 ,根据控制律始终与ω异号或者都为0,故˙V≤0;步骤2根据控制律v≥0,ω≥0,θ≤0,其中等号不恒成立,可推出˙V≤0;步骤3,根据控制律≥0,v≤0,等号不恒成立,故˙V≤0.第二象限：步骤1,3与第一象限一致,不做赘述;步骤2根据控制律v≥0,ω≤0,θ≥0,其中等号不恒成立,可推出˙V≤0;第三象限：步骤1 (T1/=0)和步骤2：根据控制律,≤0,v≥0,θ≥0,且θ-θd和ω始终异号或都为0,其中等号不恒成立,故˙V≤0;步骤3 ,根据控制律,≤0,v≥0,等号不恒成立,故˙V≤0.第四象限：步骤1(T1/=0)和步骤2：根据控制律,≤0,v≥0,θ≤0,且θ-θd和ω始终异号或都为0,其中等号不恒成立,故˙V≤0;步骤3与第三象限一致,不赘述.综上所述,在整个工作空间,整个运行过程中,控制律始终保证李雅普诺夫函数导数˙V≤0,且等号不恒成立,因此该系统的是全局稳定的.为了验证本算法的可行性及有效性,本节提供了在MATLAB环境下的仿真结果,并且在此基础上利用机器人模拟软件v-rep模拟实际机器人系统,将算法在该实物模拟系统中进行测试,仿真和测试表明,本算法具有良好的性能,能有效完成视觉伺服任务.4.1 仿真(Simulation)在仿真中,设定期望位姿为(0,0,0),生成一个虚拟平面作为参考平面,再利用MATLAB 生成虚拟针孔相机作为传感器,用于检测特征点.仿真中针对两个工作场景下的参数略微有些不同,场景(a)：T1=20 s(或0 s),T2=40 s,T3=50 s,T4=80 s, λ=0.5;场景(b)：T1=10 s,T2=20 s,T3=50 s, T4=80 s,两个场景下的采样时间均为T=0.5 s,控制增益ki=1(i=1,2,3,4),且令未知量d=1.下面设置3个初始位姿来观察仿真效果,初始位姿分别为(-2,-4,0),(-1,-4,),(-2,2,0),图8给出了算法的仿真效果.图8中所示坐标系为期望位姿坐标系,期望位姿为原点,方向朝向z轴,箭头线表示机器人运行过程中的朝向.根据仿真结果所示,3个初始位姿下的移动机器人最终所到达的位姿坐标分别为(0,-0.0014,0),(0,-0.0013,0), (-0.0044,0,0),从最终到达的位姿以及上图中的移动路径曲线来看,本文所设计的视觉伺服算法能够驱动机器人渐近稳定地移动到期望位姿处.4.2 测试(Test)在基于MATLAB仿真的基础上,本文还基于机器人模拟平台v-rep对算法进行了模拟实物测试, v-rep(virtual robot experimentation platform),是一个非常先进的机器人及模拟自动化软件平台,它能让使用者模拟整个机器人系统或其子系统(如传感器或机械结构),通过详尽的应用程序接口(API),可以轻易的整合机器人的各项功能.因此基于该平台模拟的实验运行结果能够一定程度上逼近实际的实验结果,从而从实际的角度验证该算法的有效性.为了方便比较,测试环节本文将机器人初始位姿设定为与前文仿真一致的3个位姿分别为(-2,-4,0),(-1,-4,),(-2,2,0),期望位姿均为(0,0, 0),位姿对机器人系统为未知量.根据前文分析,这3个位姿分别对应两种工作场景,接下来分别介绍实验结果.场景(a)：该工作场景下所对应控制器参数分别为采样时间T=0.5 s,T1=20 s(或0 s),T2=40 s, T3=50 s,T4=80 s,λ=0.5,控制增益k1=1.2, k2=1,k3=1.2,k4=1,未知量d=1.期望图像如图9所示.a)初始位姿(-2,-4,0).实验要求算法实现驱动机器人从初始位姿移动到拍摄出图9所示期望图像的位姿.图10是截取的机器人运行过程中反馈的实时图像,其中第一张和最后一张分别为初始图像和终止图像.可以看出在运行过程中期望图像中的参考物体并没有实时出现在当前图像中,当目标物体“消失”在视野内的时候伺服依然能够正常进行,说明本文提出的算法一定程度上放松了视野约束,避免了要求目标物体实时可见造成的机器人物理局限性.图11从笛卡尔空间给出了机器人的物理移动路径,图中箭头表示机器人朝向.测试结果如下图所示,图12中实时图像表示了机器人系统的动态运行过程,图13为伺服策略下的机器人实际移动路径.场景(b)：该工作场景下所对应控制器参数分别为采样时间控制增益k2=2,k3=3,k4=1(无k1),未知量d= 1.期望图像如图14所示.图15和图16分别是机器人的实时反馈图像和移动路径.性要求放宽至参考平面可见即可.最后文章给出了MATLAB仿真和模拟测试,二者均验证了该方法的可行性及有效性.本文针对具有单目视觉的移动机器人系统提出了一种基于单应性矩阵的视觉伺服控制算法,在缺乏深度信息的条件下,利用单应性作为视觉反馈特征,通过对单应性矩阵元素进行变量重构,设计切换控制器以及变量的变化轨迹,将伺服任务转化为轨迹跟踪,在满足移动机器人非完整约束的同时驱动机器人到达期望位姿.另外,本文提出利用单应性传递特性来缓解视野约束,将对参考物体的可见[1]CHAUMETTE F,HUTCHINSON S.Visual servo control,I：Basic approaches[J].IEEE Robotics and Automation Magazine,2006, 13(4)：82-90.[2]CHAUMETTE F,HUTCHINSON S.Visual servo control,II：Advanced approaches[J].IEEE Robotics and Automation Magazine, 2007,14(1)：109-118.[3]LIN Jing,CHEN Huitang,WANG Yuejuan,et al.Research on robotic visual servoing system[J].Control Theoryamp;Applications,2000, 17(4)：476-481. (林靖,陈辉堂,王月娟,等.机器人视觉伺服系统的研究[J].控制理论与应用,2000,17(4)：476-481.)[4]WANG Linkun,XU De,TAN Min.Survey of research on robotic visual servoing[J].Robot,2004,26(3)：277-282. (王麟琨,徐德,谭民.机器人视觉伺服研究进展[J].机器人,2004, 26(3)：277-282.)[5]JIA Bingxi,LIU Shan,ZHANG Kaixiang,et al.Survey on robot visual servo control：Vision system and control strategies[J].Acta Automatica Sinica,2015,41(5)：861-873. (贾丙西,刘山,张凯祥,等.机器人视觉伺服研究进展：视觉系统与控制策略[J].自动化学报,2015,41(5)：861-873.)[6]HUTCHINSON S,HAGER G D,CORKE P I.A tutorial on visual servo control[J].IEEE Transactions on Roboticsamp;Automation, 1996,12(5)：651-670.[7]KIM S,OH S Y.Hybrid position and image based visual servoing for mobile robots[J].Journal of Intelligentamp;Fuzzy Systems,2007, 18(1)：73-82.[8]MALIS E,CHAUMETTE F,BOUDET S.2D 1/2 visual servoing[J]. IEEE Transactions on Roboticsamp;Automation,1998,15(2)：238-250.[9]MITIC M,MILJKOVIC Z.Neural network learning from demonstration and epipolar geometry for visual control of a nonholonomic mobilerobot[J].Soft Computing,2014,18(5)：1011-1025.[10]MONTIJANO E,THUNBERG J,HU X,et al.Epipolar visual servoing for multirobot distributed consensus[J].IEEE Transactions onRobotics,2013,29(5)：1212-1225.[11]BENHIMANE S,MALIS E.Homography-based 2D Visual tracking and servoing[J].International Journal of Robotics Research,2007, 26(7)：661-676.[12]FANG Y,DIXON W E,DAWSON D M,et al.Homography-based visual servo regulation of mobile robots[J].IEEE Transactions on Systems Manamp;Cybernetics Part B Cybernetics,2005,35(5)：1041-1050.。
自适应环境的机器人视觉伺服控制方法
自适应环境的机器人视觉伺服控制方法吴作君;刘国华【摘要】机器人和机器视觉的迅速发展,使得基于视觉的智能机器人得到更加广泛的应用;机器视觉提高了机器人控制系统对环境的适应程度,但其适应程度也受到周围环境对机器视觉算法的影响;针对这一情况,对机器人视觉伺服控制系统中的机器视觉算法进行了改进,提出了一种基于帧间差分法的自适应环境的机器人视觉伺服控制方法,从而提高了控制系统对环境的自适应程度,提高了对机器人控制的精确度,实验和理论分析证明,该方法具有较大的应用前景和实用价值.【期刊名称】《计算机测量与控制》【年(卷),期】2016(024)012【总页数】5页(P63-66,70)【关键词】机器视觉;伺服控制;帧间差分法【作者】吴作君;刘国华【作者单位】中国石油大学胜利学院,山东东营257000;中国科学技术大学,合肥230000【正文语种】中文【中图分类】TP242机器人时高度集成化和自动化的设备，随着工业生产智能化程度的逐步提高，机器人在各个领域发挥着日益重要的作用。
机器人的控制要通过一个控制系统实现，控制系统的输入是机器人的传感设备获取到的传感数据，对其进行处理之后，做出判断，并执行动作。
根据实际需要，机器人所添加的传感设备也是不同的。
例如常见的有压力传感器、超声波测距传感器、视觉传感器、温湿度传感器等。
在众多传感器中，视觉传感器具有适用范围广、获取的信息全面等优点，尤其是伴随着计算机视觉技术的快速发展，视觉传感器正逐渐成为机器人设备中必不可少的传感器。
而基于机器人视觉的伺服控制方法，也得到了了广泛的应用。
但是由于计算机视觉算法受环境影响较大，因此基于机器人视觉的伺服控制方法对于环境的自适应程度仍十分有限，针对这个问题，做出了研究，提出了一种基于熵权法的自适应环境的机器人视觉伺服控制方法。
视觉伺服控制技术是建立在机器人技术、自动控制技术、计算机视觉技术等多个领域技术的基础上的。
很多学者已经进行了广泛的研究，其中最著名的是Hutchinson等人[1-3]所做的引导性研究，之后，很多人在此提出上提出了众多基于视觉控制的方法，包括古典类和现代类等，其中包括PID控制、极点配置等[4]。
基于图像的视觉伺服系统的分析
基于图像的视觉伺服系统的分析Image-Based Visual Servoing(IBVS) 摘要：在MATLAB环境下导入机器人工具箱，对puma560机器人进行demo6模板的基于图像的视觉伺服系统的分析。
要是根据物体的三维空间位置，使用摄像机获取物体的二维图像位置，然后根据期望及误差来获取物体当前的三维空间位置，根据物体位置信息，使用MATLAB进行基于图像的视觉伺服闭环系统的仿真。
Abstract: import robot toolbox in MATLAB environment, demo6 template of puma560 robot visual servo system based on image analysis. If according to thethree-dimensional space position of the object, use the camera to obtain two-dimensional image position of the object, and then based on the current expectation and error to obtain the three-dimensional space position, according to the object location information, the use of MATLAB simulation based on image visual servo closed-loop system.一．基于视觉的伺服原理首先是根据物体所在的三维空间位置，用摄像机来获取物体的二维空间位置，最先有两种方法，一是eye-to-hand，二是eye-in-hand，我们这次仿真使用的是eye-in-hand，使用当前图像位置减去期望图像位置来获得这两者之间的误差。
基于伺服电机的机器人轨迹规划与控制
基于伺服电机的机器人轨迹规划与控制伺服电机是一种将电信号转化为机械运动的装置，广泛应用于机器人领域。
基于伺服电机的机器人轨迹规划与控制是一个重要的研究方向。
本文将探讨伺服电机在机器人轨迹规划和控制中的应用，并介绍其中的关键技术和挑战。
一、轨迹规划1.1 机器人轨迹规划的概念机器人轨迹规划是指确定机器人在给定任务下的运动路径。
通过合理规划机器人的轨迹，可以实现高效、精确的运动控制，在各种任务中发挥重要作用。
伺服电机作为机器人的驱动装置，能够提供高精度高速的运动控制，因此在轨迹规划中起到关键作用。
1.2 常用的轨迹规划算法目前，常用的机器人轨迹规划算法包括插值法、最优化方法、规划器法等。
其中，插值法是最基本的方法，通过在给定的路径点之间进行插值，生成平滑的轨迹。
最优化方法利用优化理论，通过最小化运动代价函数，得到最优的轨迹。
规划器法则是利用特定的规划器，根据给定的任务，生成合适的轨迹。
二、控制方法2.1 伺服电机的控制原理伺服电机的控制原理是通过对电机的电流、速度或位置进行控制，实现对机器人的精确运动控制。
为了准确控制伺服电机，通常需要采用闭环控制方法，即通过传感器反馈信息对电机进行控制。
常用的控制方法包括比例积分控制（PID控制）和模糊控制等。
2.2 伺服电机控制在机器人轨迹规划中的应用伺服电机控制在机器人轨迹规划中起到了重要作用。
通过精确控制伺服电机的位置或速度，可以保证机器人在轨迹规划过程中的准确运动。
同时，伺服电机的高响应速度和精度也为轨迹规划提供了更大的灵活性和可行性。
三、挑战与展望3.1 挑战伺服电机在机器人轨迹规划与控制中面临一些挑战。
首先，伺服电机的精确控制需要高性能的控制算法和硬件设备支持。
其次，机器人运动的不确定性和非线性使得轨迹规划和控制更加困难。
此外，多自由度机器人轨迹规划与控制的复杂性也是一个挑战。
3.2 展望随着机器人技术的不断发展，伺服电机的应用前景也愈发广阔。
未来，我们可以期待更高性能、更智能的伺服电机和相关控制算法的出现。
基于SPSA优化的Kalman滤波无标定视觉伺服
基于SPSA优化的Kalman滤波无标定视觉伺服
章进强;张宪霞
【期刊名称】《系统仿真学报》
【年(卷),期】2018(30)12
【摘要】针对于机器人的无标定视觉伺服问题,本文提出一种基于同步扰动随机逼近算法优化Kalman滤波在线估计图像雅克比矩阵的方法。
该方法将机器人图像雅克比矩阵作为系统状态,使用Kalman滤波器对系统状态进行观测。
为提高滤波器性能,采用同步扰动随机逼近算法对滤波器参数进行优化。
应用此方法估计出图像雅克比矩阵并设计控制率,避免了复杂的系统标定过程。
仿真结果表明,所提出的方法能够实现无标定环境下六自由度机器人的视觉定位,且精度和稳定性较高。
【总页数】6页(P4754-4759)
【作者】章进强;张宪霞
【作者单位】上海大学机电工程与自动化学院电站自动化重点实验室
【正文语种】中文
【中图分类】TP24
【相关文献】
1.基于Kalman滤波的无位置传感器感应电机伺服系统的研究
2.基于Kalman滤波的眼固定型无标定IBVS的Matlab仿真
3.基于遗传优化RBF神经网络的机器人无标定视觉伺服控制
4.基于强化学习微操作系统的机器视觉与无标定视觉伺服研究
5.基于自适应kalman滤波的机器人6DOF无标定视觉定位
因版权原因，仅展示原文概要，查看原文内容请购买。
基于神经网络的机器人动力学建模研究
基于神经网络的机器人动力学建模研究1. 研究背景机器人技术日益成熟，机器人已广泛应用于生产制造、医疗、交通、物流等领域。
机器人的动态建模是机器人控制、路径规划、仿真等领域的基础，动态建模精度的优化直接影响机器人的效率和安全性。
近年来，深度学习、神经网络等技术的不断发展，为机器人动态建模提供了新的思路和工具。
2. 神经网络模型在机器人动力学建模中的应用神经网络是一种模仿人脑神经元网络的计算模型，通过建立输入与输出的非线性映射，训练神经网络可以完成复杂的模式识别、分类等任务。
在机器人动态建模中，神经网络可以利用其非线性映射的能力，精准模拟机器人运动状态，具有自适应性、鲁棒性和高精度等优点。
3. 基于神经网络的机器人动态建模方法基于神经网络的机器人动态建模主要分为两步。
第一步是数据采集，通过机器人运动学和动力学方程，构建机器人的运动状态模型，并利用传感器收集实验数据；第二步是模型训练，将采集的实验数据用于神经网络的训练，得到高精度的机器人动态模型。
4. 模型优化方法在机器人动态建模过程中，模型优化是增强模型精度和鲁棒性的关键。
常见的优化方法包括正则化、网络结构优化和数据集增强。
正则化是通过对神经网络损失函数增加正则项的方式避免过拟合，常见的正则化方法有L1和L2正则化；网络结构优化是通过改变网络结构和超参数的方式优化神经网络，并提高模型的泛化能力，常见的结构优化方法有卷积神经网络和循环神经网络；数据集增强是通过对原始数据进行旋转、平移、缩放等变换以增加数据量和多样性的方法提高模型鲁棒性。
5. 应用前景基于神经网络的机器人动态建模方法具有应用前景。
机器人动态建模模型可以用于机器人路径规划和运动控制，同时也可用于机器人的仿真模拟和故障诊断。
随着机器人技术的不断发展，基于神经网络动态建模的机器人控制系统将越来越广泛应用于各个领域，进一步推动机器人技术的发展和进步。
6. 总结本文介绍了神经网络模型在机器人动力学建模中的应用，以及基于神经网络的机器人动态建模方法和优化技术。
机器人控制器 高级算法介绍
机器人控制器的高级算法主要包括以下几个方面：1. 模型预测控制（Model Predictive Control, MPC）：MPC是一种基于模型的控制算法，它通过预测未来一段时间内系统的状态和输出，优化未来的控制输入以达到最佳的控制性能。
在机器人控制中，MPC 可以处理多变量、非线性和约束条件等问题，适用于复杂的运动规划和轨迹跟踪任务。
2. 自适应控制（Adaptive Control）：自适应控制算法能够根据系统参数的变化或者未知环境的影响自动调整控制参数，以保持良好的控制性能。
在机器人控制中，自适应控制可用于处理模型不确定性、外界干扰和机械磨损等问题。
3. 滑模控制（Sliding Mode Control, SMC）：SMC是一种鲁棒控制算法，它通过设计特殊的控制律使得系统状态快速进入并保持在一个所谓的“滑动面”上，从而消除系统中的不确定性影响和外部扰动。
在机器人控制中，SMC常用于保证系统的稳定性和精确跟踪。
4. 神经网络控制（Neural Network Control）：神经网络控制利用人工神经网络的非线性映射能力和学习能力来实现对复杂系统的控制。
在机器人控制中，神经网络可以用于建模未知的动态系统、处理高维和非线性问题，以及实现智能决策和自主学习。
5. 模糊控制（Fuzzy Control）：模糊控制是一种基于模糊逻辑的控制方法，它可以处理不精确、不确定和非线性的控制问题。
在机器人控制中，模糊控制常用于处理语言描述的控制规则和复杂的环境交互。
6. 遗传算法和粒子群优化（Genetic Algorithm and Particle Swarm Optimization, GA & PSO）：这些是两种常用的优化算法，可以用于寻找最优的控制参数或控制策略。
在机器人控制中，GA和PSO可以用于优化路径规划、姿态控制和动作学习等问题。
7. 深度强化学习（Deep Reinforcement Learning, DRL）：DRL结合了深度学习和强化学习的优点，能够在复杂的环境中学习最优的控制策略。
基于图像视觉伺服的模糊比例积分微分控制系统
基于图像视觉伺服的模糊比例积分微分控制系统摘要：针对传统比例积分微分（PID）参数难整定、控制性能不理想等问题，将模糊控制理论与PID控制器相结合，构成模糊PID控制器。
采用EyetoHand视觉模型，引入图像视觉伺服机制，通过图像获取误差信号来实现对PID控制器三个参数Kp、Ti和Td的实时在线自适应调整。
最后在以PC机、CompactRIO、NI9401、互补金属氧化物半导体（CMOS）摄像头、电机驱动器及无刷直流（DC）电机组成的打孔机视觉伺服运动控制系统上完成了实验。
结果表明，基于图像的视觉伺服模糊PID控制器相对于传统PID控制器响应速度提高了60%，超调量降低了80%，鲁棒性也更好；不仅能提高孔的定位精度，还能边加工边检测。
关键词：视觉伺服；模糊比例积分微分控制器；EyetoHand视觉模型；CompactRIO；CMOS摄像头；无刷直流电机中图分类号：TP273.4文献标志码：AAbstract：In view of the hard parameter tuning and unsatisfactory control performance，a fuzzyProportion Integration Differentiation （fuzzyPID）controller whichcombined Proportion Integration Differentiation （PID）controller with the fuzzy control theory was proposed. The control system applied EyetoHand visual model，introduced visual servo mechanism，and realized realtime，online and adaptive adjustment for three parameters Kp，Ti and Td of the PID controller by getting errors in image. The experiment was performed on punching machine visual servo motion control system which composes of PC，compactRIO，NI9401，Complementary Metal Oxide Semiconductor （CMOS）camera，motor driver and brushless Direct Current （DC）motor. The results show that，compared with traditional PID controller，the speed of response of the fuzzyPID controller based on image visual servo is increased by 60%，the overshoot is reduced by 80%，and it has better robustness. It can not only improve the positioning accuracy of hole，but also process and detect holes nearly at the same time.英文关键词Key words：visual servo；fuzzyProportion Integration Differentiation （fuzzyPID）controller；EyetoHand visual model；CompactRIO；Complementary Metal Oxide Semiconductor （CMOS）camera；brushless Direct Current （DC）motor0 引言电动机在工农业生产、家用电器，航空航天等领域得到了广泛应用。