移动机器人-控制科学与工程学院-浙江大学
基于单应性矩阵的移动机器人视觉伺服切换控制
基于单应性矩阵的移动机器人视觉伺服切换控制曹雨;刘山【摘要】For a monocular camera-based mobile robot system, a novel visual servo approach based on homography matrix is proposed. This approach realizes the control target by visual feedback with the lack of depth information, the robot can arrive at the position accurately by given an image taken under the position. Instead of common homography decomposition, this approach takes use of homography matrix elements to structure state varibles. In addition, considering the field of view constraint, the proposed approach doesn't need the reference target to be visible in real time by the transi-tivity of homography. A switched controller is designed to drive the robot to reach desired position under the satisfaction of the nonholonomic constraints. In this paper, theoretical analysis and simulation verify the feasibility and effectiveness of the approach.%针对具有单目视觉的移动机器人,本文提出了一种基于单应性矩阵的视觉伺服控制算法,在缺乏深度信息的情况下利用视觉反馈实现了移动机器人的控制目标,即给定机器人目标位姿下拍摄得到的图像,通过视觉伺服使机器人从初始位姿准确到达目标位姿.视觉反馈环节采用单应性矩阵中的元素构造状态变量,而非利用常见的单应性分解,此外,考虑到视野约束,本文提出的算法在计算单应性矩阵时结合了单应性的传递特性,从而避免了参考目标的实时可见性.伺服环节设计了切换控制器,在满足非完整约束的同时可驱动机器人到达期望位姿.理论分析及实物仿真验证了该算法的可行性和有效性.【期刊名称】《控制理论与应用》【年(卷),期】2017(034)001【总页数】11页(P109-119)【关键词】视觉伺服;移动机器人;单目视觉;单应性;视野约束;切换控制器【作者】曹雨;刘山【作者单位】浙江大学控制科学与工程学院,浙江杭州310027;浙江大学控制科学与工程学院,浙江杭州310027【正文语种】中文【中图分类】TP242视觉传感器在环境感知方面具有信息全面,可靠性高的优点,且成本低廉,故广泛应用于机器人系统中,在一定程度上能提高机器人的灵活性与智能性,因此视觉伺服控制在近些年得到了快速的发展.在近期的文献[1-4]中,国外的Chaumette以及国内的林靖、王麟琨等人就视觉伺服在机器人方面的应用分别从不同角度进行了综述.关于视觉伺服最新的一篇综述[5]则在视觉反馈与控制策略方面进行了更为详细的说明与分析.根据视觉反馈信息的类型,可将伺服控制系统主要分为基于位置的视觉伺服控制(position-based visual servoing,PBVS)和基于图像的视觉伺服(imagebased visual servoing,IBVS)两种方式[6].两种方式各有特点,前者适用于大范围的视觉导航,但是控制精度受系统参数影响较大,而后者更适用于小范围的精确定位,鲁棒性好.有学者提出了将两种方式相结合的混合视觉伺服控制(hybrid visual servoing, HVS)[7-8],即利用视觉得到的图像信息构造能部分反映机器人物理位姿的状态变量,作为系统的反馈信号,设计出合适的控制器对机器人的运动进行控制,最终达到伺服目标.该方法考虑了环境、系统鲁棒性等因素,兼具基于位置和图像两种方式的优点,实用性更强.传统的基于图像信息的视觉伺服一般是选取图像中的特征点并以其像素点坐标为控制变量,通过计算雅可比矩阵来设计控制器[1],不过这种方式往往存在图像局部遮挡以及噪声影响大的问题.因此为了提高系统鲁棒性,很多研究者用双视图几何关系代替传统的特征点作为反馈信号,如对极几何和单应性.文献[9]将对极几何与神经网络控制相结合,驱动非完整约束机器人到达指定位置并完成抓取.文献[10]在多机器人跟随实验中采用当前视图与相邻机器人视图之间的极点坐标作为视觉信号进而控制机器人运动,由于极点与相对位姿并非同构,极点为0只能保证共线,因此要求驱动机器人达到指定位姿时应注意引入其他判断条件.另外对极几何对于平面物体还存在病态的问题,以及当基线过短容易出现奇异现象.另一种几何关系单应性和对极几何一样表示的是两个视图之间的对应关系,不同之处在于单应性的描述对象限制为平面,且对应关系可唯一决定相对位姿,因此相比较于对极几何,单应性在视觉伺服中的应用更为广泛.在Malis等人提出了基于单应性矩阵分解的伺服策略[8]之后,后续有学者基于这种方式做了很多研究[11-13].不过由于单应性分解不具有唯一性,往往需要添加额外条件来进行判断.在Lopez提出了一种直接利用单应性矩阵元素进行视觉反馈控制的方法[14]之后,更多研究者选择避免使用单应性分解对系统进行控制[15-16].对于采用图像信息反馈的伺服系统而言,通常会存在视野约束问题,即如果期望图像中有一个参考物体,那么在机器人运行过程中需要实时能拍摄到该物体,一旦物体由于相机移动而超出了机器人视野范围,视觉反馈的信息将无法与期望图像相配对,进而导致控制器失效.针对视野约束问题,一种研究思路是通过路径规划,在满足视野约束的前提下设计出机器人最优移动路径[17-18],结合单应性反馈控制,通过设计单应性元素轨迹,利用轨迹跟踪的方式使机器人实现移动任务[19].另一种思路是结合主动视觉,采用云台扩大相机视野范围[20-21],极大地放松了机器人的物理移动约束,不过云台的使用相对于增加了机器人系统的自由度,对控制器的设计要求较高.本文针对具有单目视觉的移动机器人系统提出了一种基于单应性矩阵的视觉伺服控制算法,在缺乏深度信息的情况下利用视觉反馈实现移动机器人的控制目标.即给定期望位姿下拍摄的图像,利用当前图像与期望图像之间的单应性矩阵元素构造状态变量,设计切换控制器以及状态期望轨迹,将任务转化为轨迹跟踪问题,并结合机器人模型克服移动过程中的非完整约束.需要注意的是,在常规的伺服过程中当前图像与期望图像之间的单应性矩阵往往是通过特征点匹配进而计算得到,这种方式具有两个缺陷：第一是特征点匹配耗时较长,会延长系统的运行周期,容易导致系统不稳定;第二则是视野范围被局限,视野约束问题更明显,因为这种方式要求每一帧图像都要与期望图像有匹配点,这样极大地限制了机器人的移动范围,而且很容易出现无匹配点的情况,从而导致伺服失败.在本文中,视野约束可通过单应性的传递特性予以缓解,可以避免参考物体的实时可见性要求,一定程度上扩大了机器人的可移动范围,提高了系统的稳定性和有效性.文章其他部分组织如下：第2节对具有单目视觉的机器人系统进行了建模;第3节完成了切换控制器的设计;第4节给出了MATLAB仿真和实物仿真结果,验证了本文所提出算法的性能;最后一节为总结部分.2.1 运动学模型(Kinematic model)本研究的控制对象为具有单目视觉的移动机器人,如下图1所示,将单目相机固定在机器人上,相机坐标系Fc与机器人坐标系Fr重合,令v,ω分别表示机器人的线速度和角速度,vl,vr表示机器人左右轮线速度,有下式成立：如图2所示,在世界坐标系Fw下,机器人的位姿坐标为(x,z,θ),那么根据定义可描述该移动机器人运动学模型如下：2.2 视觉模型(Visual model)对于一系列共平面的点,在两个不同位姿下拍摄的图像具有一定的几何联系,这种几何转换关系则被称为单应性,表示该关系的矩阵即为单应性矩阵.如图3所示,在世界坐标系Fw下机器人的初始位姿坐标系和期望位姿坐标系分别为F和F∗,假设两者之间的旋转矩阵和平移向量为R,t,且满足下式成立：空间中存在一参考平面,其法向量已知,在期望坐标系F∗下表示为→n=[nxnynz]T,不失一般性,本文假定该参考平面正对于期望位姿,法向量为→n=[0 0 1]T.该平面上点在初始坐标系和期望坐标系下的空间坐标分别记为P和P∗,在图像坐标系中的投影分别为p和p∗,有下列关系式成立：其中：单应性矩阵,d为期望坐标系原点到参考平面的距离,未知常量,控制中可直接给定值,视为控制增益;K为机器人上单目相机的内参矩阵,定义为式中：fu,fv分别表示在像素坐标系单位方向上相机焦距所包含的像素数量,u0,v0表示像素坐标系中心的坐标.综合上述关系式,不难推导出图3所示模型中单应性矩阵为其中矩阵各元素分别为由上式可以看出,在实际运行中,图3所示模型的单应性矩阵的可用元素只有h11,h13,h31,h33,其余元素均为常量.利用这4个矩阵元素可构造出另外4个描述机器人位姿更为直观且具备物理意义的状态变量,分别为机器人的转角θ、横向偏差eh、纵向偏差ez与期望位置连线的夹角ψ,其中横、纵向偏差表示的是当前位置与期望位置连线分别在当前坐标系两坐标轴的投影与未知常量d的比值,反映了机器人的相对位姿.如图4所示,图中包含了机器人的当前坐标系和期望位姿坐标系,以及上文提到的具备物理意义的状态变量,各状态变量具体定义如下：上式ψ的定义中采用了双变量反正切函数和符号函数,具体定义如下：对式(7)求关于时间的导数,可得出系统状态与速度的关系考虑到移动机器人为两轮驱动,在运行过程需要由控制器不断输出两个轮子的线速度信号,故将式(9)与式(1)相结合：上式即为该机器人系统的相互作用关系式,也即本研究中的视觉模型.在上述模型基础上,机器人的期望位姿对应于该模型的一个期望的状态变量,使机器人移动到期望位姿的过程即等价于模型的状态变量收敛到期望状态变量的过程.设计整个视觉伺服系统控制流程如图5所示,主要运行步骤如下,首先给定期望图像,结合初始位姿所拍摄得到的当前图像判断具体属于哪种工作场景即初始位姿位于期望位姿的前方或后方,根据工作场景选择合适的控制器(A或者B),控制器的输出信号驱动机器人移动,根据实时拍摄得到的当前图像计算与期望图像之间的单应性进而得到当前状态,将当前状态作为控制器的输入信号完成整个控制闭环,进而完成控制目标.图5中控制器采用了一种切换控制策略,将控制过程分为3个步骤,如图6所示.其中：第1步是驱动机器人达到一个合适的偏转角;第2步机器人将移动至期望位姿的正后方或正前方(视工作场景而定),且保持朝向与期望位姿一致;第3步只需机器人直线移动到期望位姿即可.值得一提的是,文献[19-20]同样采用了将机器人运动过程转化为模型状态收敛到期望状态的过程,并且也是基于单应性矩阵获取系统状态.在文献[19]中,Lopez通过区分机器人相对期望位姿所处的工作空间,并与之对应地规划出3种移动路径,分别是SL(直线)、S-T(直线-t曲线)以及T1-T2(双t曲线),在确定移动路径后控制过程会分成若干个步骤,每个步骤都设置有子目标,即使单应性矩阵元素达到某设定值,从而最终驱动机器人完成任务.文献[20]提出的方法本质上与上述的SL类似,方勇纯通过利用主动视觉使得机器人在大多数工作空间都可实现SL移动路线.本文所提算法与上述不同之处在于,外设上仅通过一个单目相机进行信息获取,无附加自由度;控制变量由单应性矩阵多元素构造而成,并非单一的某个元素,相对而言鲁棒性更好;针对每个步骤均设计了期望轨迹,通过跟踪期望轨迹从而达到期望状态.下面将具体介绍. 3.1 当前状态获取(Derivation of current state)第2.2节中介绍了如何利用当前图像与期望图像之间的单应性矩阵元素构造系统状态变量,因此获取当前状态就是实时获取当前图像与期望图像之间的单应性矩阵.不同于引言中提到的常规单应性计算方法,本文是通过利用单应性传递特性的方式来计算单应性矩阵,该方法在一定程度上可以缓解视野约束.所谓传递特性即为：一个空间点在3个坐标系下的坐标分别为P1,P2,P3,由式(4)可知坐标满足P1 =H12P2,P2=H23P3,P1=H13P3,不难推出下式成立：H13=H12H23.注1 为方便起见,定义当前图像与期望图像之间单应性为Hct,初始图像与期望图像之间单应性为Hit,当前图像与初始图像之间单应性为Hci,i-initial,c-current,ttarget.因此Hct可数学表示为Hct=HciHit,而Hit可在一开始经由特征点匹配计算得到,如图7所示,令下标k表示第k帧图像,相邻两帧单应性为,那么将当前图像与初始图像之间的一系列相邻帧间单应性累乘即可得到Hci,进而得到实际需要的Hct.而相邻两帧的单应性由于两帧图像比较接近,故可以利用稀疏光流角点跟踪法[22]实现,可快速得到,从而缩短运行周期.另外,这种方法不需要期望图像中的参考物体实时在当前图像中,只要满足当前图像能实时捕捉到参考物体所在的平面即可.综上所述,利用这种方法获取当前状态既能够缩短运行周期,提高系统稳定性,又能在一定程度上放松视野约束,扩大机器人的可移动范围.3.2 控制律设计(Control law design)前文中提到两种工作场景,可根据初始图像与期望图像之间的单应性进行判断,其所对应的控制算法均根据运行时间分割为3步,每一步控制中机器人的实际移动轨迹取决于设计的期望轨迹,因此需要设计合适的期望轨迹使得机器人能够在运行过程中逐渐收敛到每一步控制的子目标,为方便讨论,这里笔者选择采用二次多项式的函数形式来描述期望轨迹,下面将具体介绍：a)初始位姿在期望位姿后面(z＜0).步骤1 t∈[0,T1).设置时间点T1,使得机器人在[0,T1)时间段完成第1步的目标即到达一个合适的偏转角,若在初始位姿下满足eh·θ＜0,说明机器人的偏转角已经达到后面步骤的要求,此时T1=0,否则T1/=0,需要运行第1步.选择前文构造的系统状态θ,eh,ez,ψ中的横向偏差eh和纵向偏差ez作为这一步的控制变量,由式(10)可得现给控制变量设计期望轨迹,使得在[0,T1)时间段内机器人移动能够让控制变量跟踪期望轨迹,设计轨迹如下：该期望轨迹表示在[0,T1)时间段内系统的控制变量eh,ez将收敛到,其中λ为设定常量正实数.设计控制律如下：其中为控制增益且为正实数.收敛性证明.将式(13)代入式(11)可得由于k1,k2为正实数,不难证明实际状态和期望状态的偏差满足指数衰减,从而说明实际状态逐渐收敛到期望状态.注2 后文控制律设计思路不做赘述.步骤2 t∈[T1,T3).设置时间点T3,这一步目标是让机器人在t∈[T1,T3)时间段移动到期望位姿正后方且朝向一致,选择eh,ψ作为控制变量,由于这个过程中ψ逐渐收敛到-π或π并非0,因此在控制算法中令ψ=ψ±π,使其与其他变量一样收敛到0,方便统一处理.由式(10)可得设计所要跟踪的期望轨迹与控制律如下：其中：k3为控制增益且为正实数;考虑到需要对矩阵M2求逆,因此在[T1,T3)时间段中选择一个中间时间点T2,使得ψ先收敛到0,再将eh收敛到0,避免在运行过程中出现M2奇异的现象.步骤3 t∈[T3,T4).设置时间点T4,这一步目标是让机器人在t∈[T3,T4)时间段沿直线移动到期望位姿,只需纵向偏差ez收敛到0即可,为了纠正可能由噪声引起的方向偏差,这里另外引入偏转角θ和纵向偏差ez一起作为控制变量,由式(10)可得设计所要跟踪的期望轨迹与控制律如下：其中k4为控制增益且为正实数.b)初始位姿在期望位姿前面(z≥0).步骤1 t∈[0,T1).设置时间点T1,这一步目标是让机器人在t∈[0,T1)时间段原地旋转至特定角度,使得纵向偏差ez=0,该特定角度θd(T1)可根据初始位置时的ψ(0)计算得到,设计轨迹使得在t∈[0,T1)时间内达到该角度,轨迹及控制律如下：其中k4为控制增益且为正实数,设置机器人线速度为0,只有角速度信号,有下式成立：结合式(19)-(20)完成第1步的控制,达到要求的偏转角.步骤2 t∈[T1,T3).设置时间点T3,这一步目标是让机器人在t∈[T1,T3)时间段移动到期望位姿正前方且朝向一致,选择ψ,θ作为控制变量,不同于场景(a),该场景下的ψ在该过程中逐渐收敛到0,无需进行处理.由式(10)可得设计所要跟踪的期望轨迹与控制律如下：与场景(a)中步骤2类似,为避免出现奇异的现象,考虑让ψ先收敛到0,再让θ收敛到0.这一步完成后机器人将到达期望位姿的正前方,接下来最后一步与场景(a)的最后一步完全一样,机器人将沿直线到达最终位姿.3.3 稳定性分析(Stability analysis)定理 1第3.2节设计的控制器可以使得机器人伺服系统的4个状态变量θ,eh,ez,ψ全部趋向0,也即证上述结论与机器人位姿偏差(x-xd,zzd,θ-θd)趋向0等价.故构造李雅普诺夫函数如下：其中i=1,2,3(xdi,zdi,θdi)表示步骤i的期望位姿,很显然,该函数为正定,接下来需要证明其导数为负定,以期望位姿坐标系为世界坐标系将工作空间分为4个象限,第一、二象限属于场景(b),第三、四象限属于场景(a),接下来就4个工作区域分别证明系统稳定性.第一象限：步骤1 ,根据控制律始终与ω异号或者都为0,故˙V≤0;步骤2根据控制律v≥0,ω≥0,θ≤0,其中等号不恒成立,可推出˙V≤0;步骤3,根据控制律≥0,v≤0,等号不恒成立,故˙V≤0.第二象限：步骤1,3与第一象限一致,不做赘述;步骤2根据控制律v≥0,ω≤0,θ≥0,其中等号不恒成立,可推出˙V≤0;第三象限：步骤1 (T1/=0)和步骤2：根据控制律,≤0,v≥0,θ≥0,且θ-θd和ω始终异号或都为0,其中等号不恒成立,故˙V≤0;步骤3 ,根据控制律,≤0,v≥0,等号不恒成立,故˙V≤0.第四象限：步骤1(T1/=0)和步骤2：根据控制律,≤0,v≥0,θ≤0,且θ-θd和ω始终异号或都为0,其中等号不恒成立,故˙V≤0;步骤3与第三象限一致,不赘述.综上所述,在整个工作空间,整个运行过程中,控制律始终保证李雅普诺夫函数导数˙V≤0,且等号不恒成立,因此该系统的是全局稳定的.为了验证本算法的可行性及有效性,本节提供了在MATLAB环境下的仿真结果,并且在此基础上利用机器人模拟软件v-rep模拟实际机器人系统,将算法在该实物模拟系统中进行测试,仿真和测试表明,本算法具有良好的性能,能有效完成视觉伺服任务.4.1 仿真(Simulation)在仿真中,设定期望位姿为(0,0,0),生成一个虚拟平面作为参考平面,再利用MATLAB 生成虚拟针孔相机作为传感器,用于检测特征点.仿真中针对两个工作场景下的参数略微有些不同,场景(a)：T1=20 s(或0 s),T2=40 s,T3=50 s,T4=80 s, λ=0.5;场景(b)：T1=10 s,T2=20 s,T3=50 s, T4=80 s,两个场景下的采样时间均为T=0.5 s,控制增益ki=1(i=1,2,3,4),且令未知量d=1.下面设置3个初始位姿来观察仿真效果,初始位姿分别为(-2,-4,0),(-1,-4,),(-2,2,0),图8给出了算法的仿真效果.图8中所示坐标系为期望位姿坐标系,期望位姿为原点,方向朝向z轴,箭头线表示机器人运行过程中的朝向.根据仿真结果所示,3个初始位姿下的移动机器人最终所到达的位姿坐标分别为(0,-0.0014,0),(0,-0.0013,0), (-0.0044,0,0),从最终到达的位姿以及上图中的移动路径曲线来看,本文所设计的视觉伺服算法能够驱动机器人渐近稳定地移动到期望位姿处.4.2 测试(Test)在基于MATLAB仿真的基础上,本文还基于机器人模拟平台v-rep对算法进行了模拟实物测试, v-rep(virtual robot experimentation platform),是一个非常先进的机器人及模拟自动化软件平台,它能让使用者模拟整个机器人系统或其子系统(如传感器或机械结构),通过详尽的应用程序接口(API),可以轻易的整合机器人的各项功能.因此基于该平台模拟的实验运行结果能够一定程度上逼近实际的实验结果,从而从实际的角度验证该算法的有效性.为了方便比较,测试环节本文将机器人初始位姿设定为与前文仿真一致的3个位姿分别为(-2,-4,0),(-1,-4,),(-2,2,0),期望位姿均为(0,0, 0),位姿对机器人系统为未知量.根据前文分析,这3个位姿分别对应两种工作场景,接下来分别介绍实验结果.场景(a)：该工作场景下所对应控制器参数分别为采样时间T=0.5 s,T1=20 s(或0 s),T2=40 s, T3=50 s,T4=80 s,λ=0.5,控制增益k1=1.2, k2=1,k3=1.2,k4=1,未知量d=1.期望图像如图9所示.a)初始位姿(-2,-4,0).实验要求算法实现驱动机器人从初始位姿移动到拍摄出图9所示期望图像的位姿.图10是截取的机器人运行过程中反馈的实时图像,其中第一张和最后一张分别为初始图像和终止图像.可以看出在运行过程中期望图像中的参考物体并没有实时出现在当前图像中,当目标物体“消失”在视野内的时候伺服依然能够正常进行,说明本文提出的算法一定程度上放松了视野约束,避免了要求目标物体实时可见造成的机器人物理局限性.图11从笛卡尔空间给出了机器人的物理移动路径,图中箭头表示机器人朝向.测试结果如下图所示,图12中实时图像表示了机器人系统的动态运行过程,图13为伺服策略下的机器人实际移动路径.场景(b)：该工作场景下所对应控制器参数分别为采样时间控制增益k2=2,k3=3,k4=1(无k1),未知量d= 1.期望图像如图14所示.图15和图16分别是机器人的实时反馈图像和移动路径.性要求放宽至参考平面可见即可.最后文章给出了MATLAB仿真和模拟测试,二者均验证了该方法的可行性及有效性.本文针对具有单目视觉的移动机器人系统提出了一种基于单应性矩阵的视觉伺服控制算法,在缺乏深度信息的条件下,利用单应性作为视觉反馈特征,通过对单应性矩阵元素进行变量重构,设计切换控制器以及变量的变化轨迹,将伺服任务转化为轨迹跟踪,在满足移动机器人非完整约束的同时驱动机器人到达期望位姿.另外,本文提出利用单应性传递特性来缓解视野约束,将对参考物体的可见[1]CHAUMETTE F,HUTCHINSON S.Visual servo control,I：Basic approaches[J].IEEE Robotics and Automation Magazine,2006, 13(4)：82-90.[2]CHAUMETTE F,HUTCHINSON S.Visual servo control,II：Advanced approaches[J].IEEE Robotics and Automation Magazine, 2007,14(1)：109-118.[3]LIN Jing,CHEN Huitang,WANG Yuejuan,et al.Research on robotic visual servoing system[J].Control Theoryamp;Applications,2000, 17(4)：476-481. (林靖,陈辉堂,王月娟,等.机器人视觉伺服系统的研究[J].控制理论与应用,2000,17(4)：476-481.)[4]WANG Linkun,XU De,TAN Min.Survey of research on robotic visual servoing[J].Robot,2004,26(3)：277-282. (王麟琨,徐德,谭民.机器人视觉伺服研究进展[J].机器人,2004, 26(3)：277-282.)[5]JIA Bingxi,LIU Shan,ZHANG Kaixiang,et al.Survey on robot visual servo control：Vision system and control strategies[J].Acta Automatica Sinica,2015,41(5)：861-873. (贾丙西,刘山,张凯祥,等.机器人视觉伺服研究进展：视觉系统与控制策略[J].自动化学报,2015,41(5)：861-873.)[6]HUTCHINSON S,HAGER G D,CORKE P I.A tutorial on visual servo control[J].IEEE Transactions on Roboticsamp;Automation, 1996,12(5)：651-670.[7]KIM S,OH S Y.Hybrid position and image based visual servoing for mobile robots[J].Journal of Intelligentamp;Fuzzy Systems,2007, 18(1)：73-82.[8]MALIS E,CHAUMETTE F,BOUDET S.2D 1/2 visual servoing[J]. IEEE Transactions on Roboticsamp;Automation,1998,15(2)：238-250.[9]MITIC M,MILJKOVIC Z.Neural network learning from demonstration and epipolar geometry for visual control of a nonholonomic mobilerobot[J].Soft Computing,2014,18(5)：1011-1025.[10]MONTIJANO E,THUNBERG J,HU X,et al.Epipolar visual servoing for multirobot distributed consensus[J].IEEE Transactions onRobotics,2013,29(5)：1212-1225.[11]BENHIMANE S,MALIS E.Homography-based 2D Visual tracking and servoing[J].International Journal of Robotics Research,2007, 26(7)：661-676.[12]FANG Y,DIXON W E,DAWSON D M,et al.Homography-based visual servo regulation of mobile robots[J].IEEE Transactions on Systems Manamp;Cybernetics Part B Cybernetics,2005,35(5)：1041-1050.。
人工智能概论-浙江大学-控制科学与工程学院
张建明
控制科学与工程学系
杭州 • 浙江大学 • 2013
联系方式
办公室：智能系统与控制研究所222室 Email：jmzhang@ 电话：13588011720，87952233-8222（办）
说明
教材：
• Russell & Norvig. 人工智能：一种现代方法 （第二版）, 人民邮电出版社
深蓝计划源自许峰雄在美国卡内基·梅隆大学修读博士学位时的研究，第 一台电脑名为“晶体测试”，后来又研制了另一台电脑“沉思”。 许峰 雄在1989年加入IBM研究部门。1992年IBM委任谭崇仁为超级电脑研究 计划主管，领导研究小组开发专门用以分析国际象棋的深蓝超级电脑。
深蓝是并行计算的电脑系统，基于RS/6000 SP，另加上480颗特别制造 的VLSI象棋芯片。下棋程式以C语言写成，运行AIX操作系统。 1997年 版本的深蓝运算速度为每秒2亿步棋，是其1996年版本的2倍。
专家系统、游戏、机器学习、机器视觉、自然语言理解、自动程序设计、知 识发现、数据挖掘、网络搜索、定理证明、模式识别等。
说明(续)
（2）组织形式 依据学生的兴趣，组成至多3人的项目小组，每个组确定一个选题。
（3）要求 项目小组依据确定的选题，收集相关资料，综述研究现状，提出研究问 题，设计研究方案，实施研究计划。
沃森是能够使用自然语言来回答问题的人工智能系 统，由IBM公司的首席研究员David Ferrucci所领导 的DeepQA计划小组开发并以该公司创始人托马斯 ·J·沃森的名字命名。
“沃森”
《危险边缘》的题目常常包含微妙含义、反讽、谜语、甚至脑筋急转弯 等种种线索，沃森主要依靠的是它对自然语言的理解和高速的计算。
国内人工智能研究机构排名
浙江大学 52 0.009
西北工业大学自动化学院 50 0.009
清华大学自动化系 49 0.009
(8798 机构 - 中文 超出显示选项范围的值。)
(544060 记录 (97.409%) 不包含所分析字段的数据。)
机构 - 中文 记录 % of 558529
吉林大学计算机科学与技术学院 223 0.040
中南大学信息科学与工程学院 185 0.033
东北大学信息科学与工程学院 103 0.018
北京科技大学信息工程学院 92 0.016
中国科学院计算技术研究所 91 0.016
清华大学计算机科学与技术系 86 0.015
武汉大学计算机学院 63 0.011
哈尔滨工程大学计算机科学与技术学院 62 0.011
合肥工业信息工程学院 62 0.011
浙江大学计算机科学与技术学院 61 0.011
江南大学数字媒体学院 55 0.010
广东工业大学计算机学院 53 0.009
中国科学院自动化研究所 85 0.015
南京大学 80 0.014
武汉大学 80 0.014
重庆大学计算机学院 78 0.014
北京工业大学电子信息与控制工程学院 77 0.014
哈尔滨工业大学计算机科学与技术学院 69 0.012
电子科技大学计算机科学与工程学院 64 0.011
苏州大学计算机科学与技术学院 63 0.011
浙江大学自动化专业介绍
控制科学与工程学系
中国工程院院士1 中国工程院院士1名：孙优贤教授 国家特聘教授1 国家特聘教授1名：褚健教授 教授（研究员）17名 博导14 14名 教授（研究员）17名（博导14名） 副教授（副研究员）38名 副教授（副研究员）38名 博士研究生140 140多名 博士研究生140多名 硕士研究生260 260多名 硕士研究生260多名 本科生400 400多名 本科生400多名
专业特色
-- 软件与硬件相结合 --系统集成与装置研发相结合 --系统集成与装置研发相结合 --理论研究与工程应用相结合 --理论研究与工程应用相结合 --专业支撑条件好 国家级重点实验室、 专业支撑条件好（ --专业支撑条件好（国家级重点实验室、工 程研究中心、国家重点学科、 程研究中心、国家重点学科、博士后流动 站···） ） --学术队伍强大 特别是中青年优秀教师） 学术队伍强大（ --学术队伍强大（特别是中青年优秀教师）
建设有特色的自动化 建设有特色的自动化专业 自动化专业
创新培养模式
课程设置、 -- 课程设置、教学方式不断创新 -- 综合实验训练 -- 科技能力训练
高年级学生导师制 电子设计竞赛等 机器人兴趣小组 各类专题研究：嵌入式系统 智能交通、 各类专题研究：嵌入式系统、智能交通、 嵌入式系统、 软件开发、科技论坛…… 软件开发、科技论坛……
先进控制研究所
导师：褚健教授（博导） 王树青教授（博导） 导师：褚健教授（博导） 、王树青教授（博导） 、苏宏业教 博导） 吴俊研究员、毛维杰副教授、 授（博导） 、吴俊研究员、毛维杰副教授、张泉灵副研 究员
检测技术与自动化装置学科 检测技术与自动化装置学科
自动化仪表研究所
导师：张宏建教授（博导） 周泽魁教授（ 导师：张宏建教授（博导） 、周泽魁教授（博 黄志尧教授（博导） 杨江副教授、 导） 、黄志尧教授（博导） 、杨江副教授、张 光新副教授、 光新副教授、王保良副教授
浙大考研之电气工程学院部分专业介绍
浙大考研之电气工程学院部分专业介绍电气工程学院是浙江大学中较为知名的学院之一，拥有雄厚的师资力量和卓越的教学研究实力。
本文将为大家介绍电气工程学院的部分专业，帮助考生更好地了解学院的专业设置和研究方向，从而为自己的研究生选择提供参考。
一、电气工程及其自动化专业电气工程及其自动化专业是电气工程学院最具代表性的专业之一。
该专业以培养掌握电气工程及其自动化领域的高级工程技术人才为目标，包括电力系统及其自动化、电力电子与电力传动、高电压与绝缘技术等研究方向。
在电力系统及其自动化方向，学院的教师和研究团队致力于电力系统的优化、稳定性分析与控制、电力系统保护与自动化等方面的研究。
电力电子与电力传动方向则关注于能源转换与控制技术，研究领域包括电力电子器件与系统、电力电子变换技术及控制等。
高电压与绝缘技术的研究内容则涵盖高电压绝缘材料、高电压绝缘检测与诊断、高电压绝缘物理及其在电力系统中的应用等方面。
二、电子科学与技术专业电子科学与技术专业是电气工程学院的另一门重要专业。
该专业旨在培养掌握现代电子科学与技术理论、方法和实践能力的高级工程技术人才。
研究方向主要包括集成电路与系统设计、微电子与固体电子学、光电子技术等。
在集成电路与系统设计方向，学院的教师和研究团队致力于集成电路设计与测试、嵌入式系统设计与应用等研究。
微电子与固体电子学方向研究内容包括纳米电子器件与技术、半导体材料与器件等。
光电子技术方向则主要研究光电材料与器件、光通信与光电子器件等内容。
三、控制科学与工程专业控制科学与工程专业是电气工程学院的核心专业之一。
该专业旨在培养具备控制科学与工程领域理论、方法和技能的高级工程技术人才。
研究方向主要包括系统控制与优化、复杂系统分析与控制、机器人与自动化等。
在系统控制与优化方向，学院的教师和研究团队主要从事系统建模与鲁棒控制、多变量控制与优化等方面的研究。
复杂系统分析与控制方向则关注非线性系统建模与控制、复杂系统动力学与控制等内容。
浙江大学控制理论与控制工程博士生培养方案
二级学科培养方案详细信息
发表论文：至少发表（含录用)论文三篇，其中：一篇在SCI、EI收录的刊物上发表（含录用）一篇在一级刊物上发表（含录用）、一篇在A类刊物上发表（含录用）。
其他：博士生在读期间应修至少14学分，其中公共学位课4学分，专业学位课和选修课8学分，读书报告2学分。
同等学力或跨学科专业研究生，一般在导师指导下确定2-3门本学科的本科生主干课程作为补修课程，没有补修成绩或补修课程考试不合格者不得进入论文答辩。
补修课程不计学分。
备注：
审核标志：审核通过。
浙江大学控制科学与工程学系《微机原理与接口技术》教学大纲
浙江大学控制科学与工程学系《微机原理与接口技术》教学大纲-CAL-FENGHAI-(2020YEAR-YICAI)_JINGBIAN浙江大学控制科学与工程学系《微机原理与接口技术》教学大纲课程代码：课程名称：微机原理与接口技术课程类别：必修课授课周数：16周学时：3+1课程学分：3.5面向对象：三年级本科生预修课程要求：《计算机文化基础》、《数字电子技术》、《模拟电子技术》一、课程介绍（100-150字）《微机原理与接口技术》是电子信息类本科生的基础课程之一，通过该课程的学习使学生从理论和实践上掌握微型计算机的基本组成和工作原理，熟悉微机的汇编指令体系及汇编程序设计方法，以及常用接口技术及其软硬件设计方法，建立微机系统的整体概念，达到初步具有微机应用系统的软硬件设计、开发能力。
二、教学目标(一) 学习目标该课程主要内容包括微处理机基本结构和组成，各部分工作原理和引脚特性；汇编语言指令系统和程序设计方法与技巧；定时器/计数器和异步串行通讯口的工作原理和应用；中断方式和中断处理过程；微机系统中存储器和I/O 的扩展方法，人机接口（按键与显示）和模数、数模接口技术，以及微机应用系统的设计方法。
(二)可测量结果通过学习本课程，学生应达到：1. 了解微型计算机的组成及基本工作原理，初步建立微机系统的概念。
2. 掌握汇编语言程序设计的基本方法。
3. 掌握微机中存储器系统及存储芯片与CPU的连接方法和系统应用扩展的基本原理4. 掌握中断、定时器、串行接口、人机交换等各模块的工作原理和应用。
5. 了解当前市场主流微处理器的功能及技术特色。
6. 学习嵌入式系统设计方法。
三、课程要求（一）授课方式1、采用多媒体投影教学。
2、实验环节每周1学时，共计16学时。
3、结合各章节授课内容，布置相应的作业量，用于巩固教学和实验内容。
4、对部分学有余力的同学进行一定的课后拓展训练。
（二）学习要求通过学习本课程，学生应了解微型计算机的组成及基本工作原理，初步建立微机系统的概念；掌握汇编语言程序设计的基本方法；掌握微机系统的开发与应用。
控制科学与工程的二级学科以及排名
控制科学与工程是一门研究控制的理论、方法、技术及其工程应用的学科。
它是20世纪最重要的科学理论和成就之一，它的各阶段的理论发展及技术进步都与生产和社会实践需求密切相关。
11世纪我国北宋时代发明的水运仪象台就体现了闭环控制的思想。
到18世纪，近代工业采用了蒸汽机调速器。
但直到20世纪20年代逐步建立了以频域法为主的经典控制理论并在工业中获得成功应用，才开始形成一门新兴的学科——控制科学与工程。
此后，经典控制理论继续发展并在工业中获得了广泛的应用。
在空间技术发展的推动下，50年代又出现了以状态空间法为主的现代控制理论，并相继发展了若干相对独立的学科分支，使本学科的理论和研究方法更加丰富。
60年代以来，随着计算机技术的发展，许多新方法和技术进入工程化、产品化阶段，显著加快了工业技术更新的步伐。
在控制科学发展的过程中，模式识别和人工智能与控制相结合的研究变得更加活跃；由于对大系统的研究和控制学科向社会、经济系统的渗透，形成了系统工程学科。
特别是近20年来，非线性及具有不确定性的复杂系统向“控制科学与工程”提出了新的挑战，进一步促进了本学科的迅速发展。
目前，本学科的应用已经遍及工业、农业。
交通、环境、军事、生物、医学、经济、金融、人口和社会各个领域，从日常生活到社会经济无不体现本学科的作用。
控制科学以控制论、信息论、系统论为基础，研究各领域内独立于具体对象的共性问题，即为了实现某些目标，应该如何描述与分析对象与环境信息，采取何种控制与决策行为。
它对于各具体应用领域具有一般方法论的意义，而与各领域具体问题的结合，又形成了控制工程丰富多样的内容。
本学科的这一特点，使它对相关学科的发展起到了有力的推动作用，并在学科交叉与渗透中表现出突出的活力。
例如：它与信息科学和计算机科学的结合开拓了知识工程和智能机器人领域。
与社会学、经济学的结合使研究的对象进入到社会系统和经济系统的范畴中。
与生物学、医学的结合更有力地推动了生物控制论的发展。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
xI I yI f l , r , ,1 , 2 I
与机械臂的运动学模型 不同，轮式移动机器人 的模型为速度空间之间 的关系，类似于机械臂 的Jacobian
R R I
xR xI y R( ) y R I R I
cos R( ) sin 0
sin cos 0
0 0 1
11
前向运动模型
• 差动驱动移动机器人
ቤተ መጻሕፍቲ ባይዱ
差动驱动机器人的运动学模型 13
轮子的运动学约束
• 假设
– 轮子的平面始终保持竖直，以及在所有情况下，轮子 和地面都只有一个接触点 – 轮子与地面在接触点上没有打滑，即轮子仅仅在纯转 动下运动，并通过接触点绕垂直轴旋转
• 轮子存在的约束
– 滚动约束，即轮子在相应方向发生运动时必须转动 – 无侧滑，即轮子不能在垂直于轮子平面的方向发生滑 动
R R I
I R R
1
关键在求局部坐标系下各轮的贡献
12
• 机器人沿+XR方向移动，其运动是每 个轮子的旋转速度对P点作用的叠加
– 对P点在XR方向平移速度的作用
• 一个旋转，一个静止
xR (1/ 2)r1或xR (1/ 2)r2
• 同时旋转 xR r1 / 2＋r2 / 2
– 机械臂：机械臂末端执行器可能到达位置的范围 – 移动机器人：机器人在环境中可以到达的可能姿态的范围
• 可控性
– 机械臂：在工作空间中实现从一个位姿移动到另一个位姿的 控制方式 – 移动机器人：在工作空间中的可能路径和轨迹
• 动力学的约束和影响
9
移动机器人运动学
• 主要内容
– 运动学模型和约束
• • • • • 机器人位置表示 前向运动模型 轮子的运动学约束 机器人运动学约束 基于约束的运动学建模
3
四种基本轮子类型
• a)标准轮
– 几个自由度？
• 轮轴 • 地面接触点
• b)小脚轮
– 几个自由度？
• 轮轴 • 地面接触点 • 结合点
4
四种基本轮子类型
• c)瑞典轮
– 几个自由度？
• 轮轴 • 辊轴 • 地面接触点
• d)球形轮
– 几个自由度？
• 地面接触点 • 底盘平面上自由运动
有动力的球形轮的悬挂系统技术上实现困难， 一般类似于具有动力的机械鼠标
cos( )
sin( ) d l sin R( ) I d 0
5
轮式移动机器人
• Swedish轮
3个自由度： 绕轮子主轴转动 绕滚子轴心转动 绕轮子和地面的接触点转动
45度Swedish轮
90度Swedish轮
连续切换轮 振动较小
6
存在不连续振动
轮式障碍翻越
仅依靠摩擦力 改变重心 自适应悬挂机制
7
移动机器人运动学
8
移动机器人运动学
• 运动学：研究机械系统的运动方式，是实现机器人运 动控制的基础 • 工作空间：
14
固定标准轮
• 没有可操纵的垂直转动轴，对底盘的角度固定， 只能沿着轮平面后退或者前进，并绕着地面接触 点旋转
机器人坐标系下，固定标准轮A的位姿用极坐标表示(l , ) 轮平面相对于底盘的角度为 ，固定
15
固定标准轮
• 约束：
– 沿轮子平面运动 为轮子的转动 – 沿正交于轮子平 面的运动为零 滚动约束
– 移动机器人的工作空间
• 工作空间的概念 • 完整性 • 路径和轨迹
– 运动控制
运动作用 运动约束
10
机器人位置表示
• 机器人：
– 刚体，忽略内部和轮子的关节和自由度 – 在水平面上运动，总维数为3
• 坐标系定义
– 平面全局坐标系
• 机器人姿态 I x, y,
T
– 机器人局部坐标系
移动机器人
轮式移动机器人
浙江大学控制科学与工程学院
轮式移动机器人
2
轮式移动机器人
• 轮子在移动机器人中最常用 • 三个轮子的移动机器人能够保证稳定平衡 • 当轮子多于三个时，需要悬挂系统保证所有轮子 与地面接触 • 轮子的个数选择依赖于应用 • 轮式机器人的重点在牵引、稳定性、机动性和控 制，平衡性不是主要问题。
– 对P点在YR方向平移速度的作用 y 0 I R( ) 1 R – 对P点旋转分量的作用
R
• 仅右轮向前旋转，P点以左轮为中心 逆时针旋转，旋转速度为 r 2l • 仅左轮向前旋转，P点以右轮为中心 顺时针旋转，旋转速度为 r 2l
1 1 2 2
r1 r 2 2 2 1 R( ) 0 r1 r 2 2 l 2 l
滚动约束
sin( )
无侧滑约束
cos( ) (l )cos R( ) I r 0 sin( ) l sin R( ) I 0
cos( )
转向位置的变化 对机器人当前的运动约束没有直接影响， 它对运动的影响需通过时间积分表现出来，影响车的活动性 17
小脚轮
• 可以绕着垂直轴转向，但其 旋转垂直轴并不通过地面接 触点，需附加一个参数d
滚动约束(旋转垂直轴的偏移对平行于轮平面的运动不起作用)
sin( )
无侧滑约束
cos( ) (l )cos R( ) I r 0
轮子上的侧向力发生在A点，相对于A点的地面接触 点的偏移使得侧向移动为零的约束不再成立，要求 通过一个等量而相反的转向运动进行平衡
sin( ) cos( )
cos( ) (l )cos R( ) I r 0 sin( ) l sin R( ) I 0
16
无侧滑约束
转向标准轮
• 转向标准轮比固定标准轮多一 个自由度，即轮子可能绕着穿 过轮子中心和地面接触点的垂 直轴旋转