基于位置的机器人视觉伺服控制系统研究
基于图像的机器人视觉伺服系统

基于图像的机器人视觉伺服系统基于图像的机器人视觉伺服系统对工作在未知环境中的机器人,在其位置控制和运动控制中引入视觉反馈信息是一种很有吸引力的解决方案。
利用视觉传感器得到的图像作为反馈信息,构造机器人的位置和运动闭环控制,即视觉伺服[1]。
本文主要研究手部摄像机视觉机器人的控制问题,采用基于图像的直接视觉伺服。
它的控制算法不需要求解逆像问题以及机器人运动学,同时它的结构不依赖于机器人惯量以及科里奥利矩阵。
机器人视觉伺服系统的物理结构机器人视觉伺服系统的结构可分为摄像机固定和手部摄像机两种。
在摄像机位置固定的机器人系统中,有多个摄像机安装在机器人周围的环境中,可同时获得机器人和周围环境的图像,这种方法的目标是控制机器人末端执行器的运动直至触碰到期望目标。
而手部摄像机机器人的摄像机安装在机器人手部,只能获取机器人周围环境的信息,这种方法的目标是控制机器人的运动,使运动或静止的目标在摄像机图像平面上到达期望位置。
摄像机固定的安装方式可获得固定的图像分辨率,并同时获得机器人和机器人周围环境的信息,便于将视觉系统集成到控制中。
但在机器人运动过程中,可能发生图像特征遮盖现象,观察灵活性差。
而手部摄像机方式具有较大的工作范围,不存在图像特征遮盖问题。
同时,随着手爪接近目标物体,可获得较高的图像分辨率,从而提高图像精度。
本文建立的机器人系统采用较低的运动速率,避免了因摄像机运动引起的图像的模糊,同时能够保证目标处于摄像机视场范围内,故采用手部摄像机的安装方式[2]。
视觉伺服的方式根据反馈信号表达方式,分为基于位置的视觉伺服和基于图像的视觉伺服。
基于位置的视觉伺服其反馈信号在三维任务空间中以直角坐标形式定义。
基本原理是通过对图像特征的抽取,并结合已知的目标几何模型及摄像机模型,在三维笛卡尔坐标系中对目标位姿进行估计,然后以机械手当前位姿与目标位姿之差作为视觉控制器的输入,进行轨迹规划并计算出控制量,驱动机械手向目标运动,最终实现定位、抓取功能。
机器人视觉伺服系统综述

机器人视觉伺服系统综述摘要:对机器人视觉伺服系统进行阐述,介绍了机器人视觉伺服系统的概念、发展历程以及研究背景;并从不同的角度对机器人视觉伺服系统进行了分类。
最后介绍了该领域的研究现状、所取得的成就,以及今后的发展趋势。
关键词:机器人;视觉伺服;综述Survey of robot visual servoing systemAbstract:: In this paper,the survey of robot visual servoing system are introduced.The paper reviews the concept and history background of robot visual servoing system.This article also classify the robot visual servo system from different aspects. Finally, it introduce the research status quo, achievements and future trends in the field.Key words:robot, visual servoing, summary1.引言随着先进科学技术的不断发展,机器人已经在生产和生活中起到了越来越重要的作用,因次人们不断对机器人技术提出更高的要求。
为了使机器人能够完成更加复杂的工作,适应更加复杂的环境,机器人不仅需要更加完善的控制统,还需要能够更多的感知环境的变化。
而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力,在人们为机器人添加各种外部传感器的过程中,机器人视觉以其信息大、信息完整成为最重要的机器人感知功能[1]。
机器人的视觉伺服系统是机器人的视觉和机器人控制的相结合的复杂系统。
其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴交叉学科。
机器人视觉伺服系统

机器人视觉伺服系统主要由图像采集设备、图像处理单元、目标识别与定位模块 、伺服控制器和机器人执行机构等部分组成。
02
视觉伺服系统的关键技术
图像获取
相机选择
根据应用需求选择合适的相机类 型,如CCD或CMOS,以及相应 的分辨率。
照明条件
确保足够的照明以获得清晰、对 比度高的图像,并考虑使用红外 或紫外光谱的特殊照明。
图像处理
预处理
包括噪声去除、对比度增强和图像缩放等,以提高图像质量 。
特征提取
利用算法检测和提取图像中的关键特征,如边缘、角点或纹 理。
目标识别与跟踪
目标检测
利用模式识别和机器学习技术检测图像中的目标物体。
目标跟踪
连续帧间跟踪目标,处理目标运动、遮挡等问题。
姿态估计与控制
姿态估计
通过分析图像特征和相机参数,计算 机器人与目标之间的相对姿态。
拓展应用领域
将机器人视觉伺服系统应用到更多领域,如 医疗、农业、工业等。
未来趋势
深度学习技术
利用深度学习技术提高机器人视觉伺 服系统的识别和分类能力。
多模态融合
将图像信息与其他传感器信息融合, 提高机器人视觉伺服系统的感知能力 。
强化学习
利用强化学习技术训练机器人视觉伺 服系统,使其能够自主适应不同环境 和任务。
特点
具有高精度、高速度和高可靠性的特 点,能够实现快速、准确的视觉伺服 控制,提高机器人作业的自动化和智 能化水平。
工作原理
工作流程
图像采集
机器人视觉伺服系统的工作流程主要包括 图像采集、图像处理、目标识别与定位、 伺服控制等步骤。
通过相机等图像采集设备获取目标物体的 图像。
图像处理
基于位置的机器人视觉伺服控制

03 。 . 1
3 仿真结果 . 3
根 据 前 面 介 绍 的 方 法 , 构 建 系 统 模 型 图 如
图7 、图8 所示 。其 中前 面部 分实现 了视 觉信息 的获 取 , 即给机 器 人长 了 眼睛 ,后面 部 分 是P D控 制 器
学特 性 的 。
结合机 器人 的运动 学特性 和动 力学 特性 ,采 用
基于位置 的视觉 伺服方法 ,来 完成机 器人对 目标 运 动信 息 的获取 :又结 合通 用 P 控 制 器 实现对 包 含 D 动力学模 型的机器 人位 置控制 。为 了验证 算法 的有
效性 ,针对 一个 一连杆视 觉伺服 定位 系统进 行 了仿
了一个坐标 示 意 图。图 中基 坐标 系被定义 t 界坐标 f { = 系W,为 不失 一般性 , 目标 轨迹 定义在基 坐标 系 下
示 ,二连杆 P 控制 响应 曲线如 图2 D 所示 。
收稿 日期:20 -51 0 8 —6 0
作 者 简 介 : 艳 花 (9 2) , 南 濮 阳人 , 士 , , 研 赵 18 一女 河 , 硕 助教 主要
2 基于位置的视觉伺服控制
在基 于位 置 的视 觉伺 服控 制 中, 图象特 征被提 取 出来和 目标 的几何 模型一起 用来 估计 目标相 对于
摄像机 的位置 ,一 旦 目标 的位置被 确定 ,就可 以通
过求解逆运 动 学 问题 ,得 出关节角 ,输送给传 统 的 具有 关节位 置和速 度 指令 接 口的机器 人 。 图3 出 给
首先 ,可 以 由摄像机 模 型 的逆 变换 求 出 目标在
视觉伺服的分类和问题分析

本文将从伺服控制系统的分类和一些常见问题来分析介绍:一、分类目前,机器人视觉伺服控制系统有以下几种分类方式:(1)按照摄像机的数目的不同,可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。
单目视觉系统只能得到二维平面图像,无法直接得到目标的深度信息;多目视觉伺服系统可以获取目标多方向的图像,得到的信息丰富,但图像的信息处理量大,且摄像机越多越难以保证系统的稳定性。
当前的视觉伺服系统主要采用双目视觉。
按照摄像机放置位置的不同,可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)在理论上手眼系统能够实现精确控制,但对系统的标定误差和机器人运动误差敏感;固定摄像机系统对机器人的运动学误差不敏感,但同等情况下得到的目标位姿信息的精度不如手眼系统,所以控制精度相对也低。
(2)按照机器人的空间位置或图像特征,视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统在基于位置的视觉伺服系统中,对图像进行处理后计算出目标相对于摄像机和机器人的位姿,所以这就要求对摄像机、目标和机器人的模型进行校准,校准精度影响控制精度,这是这种方法的难点。
控制时将需要变化的位姿转化成机器人关节转动的角度,由关节控制器来控制机器人关节转动。
在基于图像的视觉伺服系统中,控制误差信息来自于目标图像特征与期望图像特征之间的差异。
对于这种控制方法,关键的问题是如何建立反映图像差异变化与机器手位姿速度变化之间关系的图像雅可比矩阵;另外一个问题是,图像是二维的,计算图像雅可比矩阵需要估计目标深度(三维信息),而深度估计一直是计算机视觉中的难点。
雅可比矩阵的计算方法有公式推导法、标定法、估计方法以及学习方法等,前者可以根据模型推导或标定得到,后者可以在线估计,学习方法主要利用神经网络方法。
按照采用闭环关节控制器的机器人,视觉伺服系统分为动态观察-移动系统和直接视觉伺服前者采用机器人关节反馈内环稳定机械臂,由图像处理模块计算出摄像机应具有的速度或位置增量,反馈至机器人关节控制器;后者则由图像处理模块直接计算机器人手臂各关节运动的控制量。
视觉伺服系统的控制算法及实验研究

学位论文
视觉伺服系统的控制算法及实验研究
视觉伺服系统的控制算法及实验研究
摘要
通常意义上的传感器所获取到的信息比较单一,不足以应对智能机器人的需求,但是视觉模块能够获取到极其丰富的信息。基于视觉的伺服系统的研究受到机器人开发工作者的青睐,并成为当前国内外机械伺服系统研究领域的热点。
The main study content of this topic is the control algorithm and experimental research of visual servo system, the main object of study is two degrees of freedom mechanical arm platform which based onMPC08SPmovement control card.Purpose of this topic is based on visual feedback as the core to build its closed loop control system for searching and positioning on the target object.
随着我国自动化水平的提高,基于视觉的伺服系统也逐步受到研究人员的青睐。80年代末,清华大学计算机系研制的Eye-in-Hand就是一种典型的“眼一手”系统,该系统由PUMA560机械手、Image Box图像系统、SUN工作站和PC—AT组成,在机械手的顶部有一台摄像机,主要用来观测工作台的全景,在机械手的末端有CCD摄像机和半导体激光发生器,它能完成多种精密的装配任务[1]。
6.1.8 Labview人机界面16
机器人视觉伺服系统控制结构的研究

是为 机 器人 的关 节 控 制 闭环 提 供 输 入 量 , 是 由视 还
觉控 制 器 直接 控 制机 器 人 各关 节 。 2 误 差 输入 量 是 以机 器 人 所在 空 间 的三 维 坐 标 )
表示 , 是 以图像 特 征 ? 还 按控 制 策 略 2 区 分 , 觉 伺 服 系 统 分 为 两 ) 视 类 【 : 于 位 置 的控 制 系 统 (oio—ae otl又 5基 J psi bsdcn o。 tn r 称3 D视 觉伺 服 ,Dvsa sro )基 于 图像 的控 制 3 i l evi , u g n
Ke r s P st n i a ev ;ma e 2 1 2 I g e tr ;ma eJ c ba y wo d : o io ;vsl sro I g ; ・/ D;ma e faue I g a o i i u n
1 前 言
对 机 器 人视 觉伺 服 系 统 的研 究是 机 器 人领 域 中 的重 要 内 容之 一 , 研 究 成 果 可 直 接 用 于 机 器 人 手 其
闭环 关 节控 制 器 ?进 一 步说 , 是 系自动 避 障 及 对 周 围环 境 的 移 自适 应 、 线跟 踪 等 问 题 中 。通 常 所 说 的机 器 视 觉 轨
机器人视觉伺服系统综述

基于图像的机器人视觉伺服系统综述摘要:本文介绍了机器人视觉伺服系统的概念、发展历程,而且从不同的角度对机器人视觉伺服系统进行了分类。
最后重点介绍了基于图像的机器人视觉伺服系统,以及其的simulink仿真实现。
关键词:机器人;视觉伺服;仿真Abstract:The concept and development process of the robot visual servo system is introduced in this paper, and from different angles of the robot visual servo system are classified. Finally the paper introduces the robot visual servo system based on image, and the realization of Simulink simulation.Key words: robot, visual servoing, simulation1.引言随着先进科学技术的不断发展,机器人已经在生产和生活中起到了越来越重要的作用,因此人们不断对机器人技术提出更高的要求。
为了使机器人能够完成更加复杂的工作,适应更加复杂的环境,人们不断的为机器人寻求更为完善的控制系统。
而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力,在人们为机器人添加各种外部传感器的过程中,机器人视觉以其信息大、信息完整度高成为最重要的机器人感知功能。
机器人的视觉伺服系统是机器人视觉和控制的相结合的复杂系统。
其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴学科。
随着技术的发展,以及相关理论的日益完善,视觉伺服已具备了在实际中应用的条件;而随着机器人应用领域的不断扩展,重要性也不断提高,与其相关的技术问题已经成为了当前的研究热点。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
滤 波 过 程 为: ① 初 始 化 ,滤 波 初 值
②状态一步预测 ③一步预测误差方差阵
④滤波增益矩阵 ⑤状态估计 ⑥估计误差方差阵 3 仿真分析 n 关节的机器人手臂动力需模型如下:
赖于对象的精确模型。在模糊控制中,确定每个输入输出
的隶属度函数是比较困难的,由于机器人手臂的动力学特
性 涉 及 许 多 变 化 的 因 素( 结 构 性 和 非 结 构 性 不 确 定 性 ),
除非隶属度函数可以自动的调整从而补偿这些因素的影
响,否则模糊控制对这一类带有不确定性的系统不能得到
满意的效果。而引入神经网络,结合神经网络和模糊控制
本 仿 真 实 验 采 用 二 连 杆 机 器 人 ,假 定 系 统 动 力 学 模 型中存在的摩擦和外部干扰 F(q ,d q )用下式来表示:
图2 CMAC控制器结构图
在开始时,CMAC 网络的权值全为零,f (sd)也为零,控制 力矩全由反馈控制器提供。当手臂的真实状态,被测量到
后,将其输入到CMAC 网络产生f (s),用
线性动力学特性、抗干扰能力和运行速度方面具有优势,
鉴于此本项目采用这种控制器。
所采用的 C M A C 控制器方案如图 2 所示,其中关节的状
态向量由
来表示, 为给定的空
间运动轨迹,
是加在关节上的控制力矩向量,由
两部分产生,即:
基于位置的机器人视觉伺服控制系统研究 赵艳花,等 动力学行为总是被摩擦和干扰等非结构性的不确定因素 所影响,因此机器人手臂的动力学模型可以写为:
的优点可较好的解决这一类问题。
控制器的输入为
和
,
输出为转矩
。
控 制 器 的 第 一 层 为 模 糊 化 层 ,隶 属 度 函 数 采 用 高 斯
函数; 为第一层第 i 个节点的输出,即
第二层为
第三层为
网络需要训练的参数有cij, , ,为了简化计算,假设所
有的隶属函数的中心值和宽度值都相等,即
,。
离线训练这些参数,选定代价函数为
0 引 言 目 前 大 多 数 视 觉 伺 服 研 究 中 ,只 考 虑 了 机 器 人 的 运
动学特性,把机器人当作一个理想的定位设备,而没有考 虑机器人的动力学特性。而实际的机器人工作过程中,还 是必须要考虑其动力学特性的。本文考虑了机器人的动力 学特性,采用 FNN 结合 CMAC 手臂控制器,并利用 kalman 滤 波对目标运动状态估计实现对包含动力学模型的机器人 位 置 控 制 。针 对 一 个 二 连 杆 视 觉 伺 服 定 位 系 统 进 行 了 仿 真,仿真的结果说明了算法的有效性。 1 手臂混合控制器
由图 3 可知,考虑机器人动力学模型不确定性或摩擦 或外部干扰时,该混合控制器控制下,关节 1 、2 的关节角 都可以达到给定的位置,具有一定的鲁棒性。
图3 关节角误差曲线
图4 目标运动轨迹及机械手跟踪轨迹(点划线) 从图 4 中可以看出七八个采样周期后末端执行器即可 较好的跟踪上目标,较好的解决视觉伺服控制中的定位精 度难点以及图像采集和处理过程中的延时问题,改进机器 人的视觉控制算法,达到精确、非线性的鲁棒控制。 4 结 论 综 上 所 述 ,设 计 并 实 现 关 节 型 机 器 人 手 臂 混 合 控 制 器及视觉伺服控制器,完成视觉伺服任务,并通过计算机 仿真试验,给出数据及结果,验证控制方法的定位精度及 伺服速度。完成的工作主要有以下几个方面: ( 1 ) 在机器人运动控制方面,提出快速高精度的鲁棒 运动控制策略,解决机器人手臂运动的抗干扰问题。 ( 2 ) 采用目标运动状态估计方法,解决运动视觉中的 噪声干扰问题。
,其
中, 来自于计算力矩控制器。因此模糊神经网络控制器 的参数可以按照梯度法进行离线的训练:
图1 手臂混合控制器框图 (1 )模糊神经网络(F N N )控制器设计
神 经 网 络 和 模 糊 逻 辑 具 有 学 习 和 推 理 能 力 ,并 不 依
收稿日期:2010-05-26 作者简介: 赵艳花( 1 9 8 2 - ) , 女, 助教, 主要研究方向为自动控 制、机器人视觉伺服控制。 * 基金项目:河南省教育厅自然科学研究计划项目 2008B510016
J 为 n * n 维手臂惯量阵,C 为 n * 1 维哥氏力矩阵和离心 力矩向量,G 为 n * 1 维重力矩向量。实际上,机器人手臂的
4
假设目标在二维平面内运动,目标初始位置为(0 . 7 5 , 0.3),沿着圆周(x -0.5)2+(y -0.3)2=0.252 做匀速率运动,角 速度 w=0.5rad/s,采样时间 T=0.05s,过程噪声和观测噪声 的均值为零,Q=100*eye(6),R=20*eye(2)。
参考文献 [1] 薛定宇,陈阳泉.基于MATLAB/ Simulink的系统仿真技术与应
用[M].北京:清华大学出版社,2002. [2] 胡建华,徐健健.一种基于遗传算法和卡尔曼滤波的运动目标
跟踪方法[J].计算机应用,2007,4. [3] 李国栋. 基于图像雅可比矩阵的关节机器人视觉伺服控制系
统研究[D].湘潭大学,2007.
《自动化与仪器仪表》2010 年第 5 期(总第 151 期)
基于位置的机器人视觉伺服控制系统研究*
赵 艳 花 ,张 伟 民 (洛阳理工学院电气工程与自动化系 河南洛阳,4 7 1 0 2 3 )
摘 要:大多数视觉伺服研究中,不考虑机器人的动力学特性,把机器人当作一个理想定位设备。本文考虑 其动力学特性,采用基于 F N N 和 C M A C 控制器结合 k a l m a n 滤波对目标运动状态估计的方法,实现了机器人对目标运 动的跟踪。并对一个二连杆视觉伺服系统进行了仿真,仿真结果说明了算法的有效性。
其中, 为学习率。 但是模糊神经网络在忽略结构性和非结构性的不确 定性时,可以获得较好的性能。因其不能真实的反映系统 中存在的不确定性,必须寻找克服这个缺点的方法,本项 目采用 C M A C 控制器来补偿模糊神经网络的这个缺陷。 (2)CMAC 控制器设计
3
C M A C 并不是一种万能控制器,有文献指出:CMAC 在非
去修正 C M A C
的权向量。学习算法为:
其中,
是 C M A C 的权向量,C 为感受野的
宽度, 为学习率,而网络输出为:
这 是 一 个 六 输 入 二 输 出 的 神 经 网 络 ,每 个 输 入 的 量 化等级均为R=400,学习率 为0.6,感受野的宽度为80,物 理存储空间 M p = 5 0 0 0 0 。 2 运动目标位置预测
关 键 词:动 力 学;视 觉 伺 服;状 态 估 计 Abstract: Most of the research based on visual servo took on count of dynamics of the robot, regarding the robot as an ideal allocation equipment. This paper have been tied in robotic kinematics and dynamics, adopting method of visual servo controller based on position with FNN and CMAC controller, combined Kalman filter object motion state estimation, and have realized the tracking that the robot moves to the target. To verify the algorithm , emulator result based on two-link robot have been done. Key words: Dynamics ; Visual servo ; State estimation 中图分类号:TP2 文献标识码:A 文章编号:1001-9227(2010)05-0003-02
机器人手臂是一个复杂非线性、强耦合的时变系统, 采用模糊神经网络F N N 控制器、C M A C 网络控制器和传统的 P D 控制器相结合的控制方法,通过 F N N 控 可以补偿 F N N 控制器的逼近误差。该混合控制器(如图 1 ) 可以快速的恢复并维持较好的跟踪性能,同时改善机器人 系统的品质,减少由于不确定性引起的机械振动,从而延 长机器人手臂的寿命。