机器人视觉伺服定位控制与目标抓取

深度学习简介（插入）
结构性特征表示
小块的图形可以由基本edge构成，更结构化，更复杂，具有概念性的图形如何表示呢？ 更高层次的特征表示
深度学习简介（插入）
需要有多少个特征
我们知道需要层次的特征构建，由浅入深，但每一层该有多少个特征呢？
深度学习简介（插入）
Deep Learning的基本思想
XIAMEN UNIVERSITY
机器人视觉伺服定位控制与目标抓取
2017.5
内容
机器人抓取及其研究现状 机器人抓取位姿判别 基于视觉伺服的机器人定位控制 机器人视觉反馈控制在工业上的应用 总结
一 机器人抓取 VS 人的抓取
机器人抓取面临着挑战
随着机器人技术的发展，机器人越来越多的融入到人的生活和工作环境中， 代替人类完成各种作业，这必然要求机器人承担对比工业生产更加复杂的操 作务，比如机器人端茶倒水，递送物品，自动拣握工具等等。智机器人代表 了机器人发展的尖端技术，在日常生活、医疗、航天等领域具有广泛的用。 一方面，我们希望机器人具备一定自主性学习和自协调能力，且能够通过 学习掌握在新环境下操作的技能。 另一面，机器人对物体抓取操作是其自主作业当中经常面临的一个问题， 目前传统工业机器人定式的操作方式，限制了机器人抓取的自主性。
深度学习简介（插入）
关于特征
【通过传感器（例如CMOS）获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。】
深度学习简介（插入）
特征表示的粒度
学习算法在一个什么粒度上的特征表示，才有能发挥作用？ 素级特征 结构性
深度学习简介（插入）
初级（浅层）特征表示
像素级的特征表示方法没有作用，那怎样的表示才有用呢？ 复杂图形，往往由一些基本结构组成，比如正交的edges。
一般来说，抓取需要解决的两个基本问题：抓哪里，Where？怎 么去抓，How？
二 机器人抓取研究现状
解析抓取法
解析法使用动力学评价准则(如: force-closure)来估算抓取的稳定性，然 后寻求合适抓取方案，使得这个评价准则达到最优。该方法属于传统的抓 取方法，在2000年前占主导地位。
手模型
动力学 接触点
目标模型
力闭合
抓取准则
抓取生成
预选抓
抓取
取点 最优抓取判定 矢量
执行
机器人系统 结果
评价系统
任务约束
该方法的前提要求：1）精确的机械手动力学模型、目标物理模型； 2）机械手相对与目标物的位势信息。
百度文库
二 机器人抓取研究现状
经验学习抓取法
首先通过观察学习人的抓取，根据任务约束、然后学习系统产生一种 最佳的抓取模式，该方法的核心思想是基于模仿与学习理论 。
抓取学习/ 人工示范
特征
抓取模式 数据库
目标分割 特征
抓取生成 与判定
抓取
执行
矢量 机器人系统 结果
评价系统
场景/ 约束条件
该方法的前提要求：1）完整的目标几何模型（2/3D）信息； 2）机器人视觉系统严格标定，已知机械臂动力学模型。
二 机器人抓取研究现状
抓取类型一：3D目标抓取
实例1 3D几何匹配抓取 实例2 3D位势估计抓取
1、一种基于局部随机采 样一致性鲁棒几何描述的 3D匹配与位势估计抓取 方法，该方法在噪声、遮 挡环境测试中取得良好抓 取效果。
2、综合双目和单目视觉 信息、以及物体表面与几 何模型实现深度提取、目 标区域分割，以及位势估 计，该抓取系统在遮挡、 光照变化的室内环境中实 现了机器人抓取操作
缺点：依赖于物体的3D 信息，3D计算复杂。
二 机器人抓取研究现状
综上抓取方法可知：
1) 解析建模抓取法需要对目标进行2D/3D建模，在复杂环境下建模精度难 以保证。
2) 经验学习抓取法通过学习或模仿人的抓取，在一定程度上克服了解析抓 取法建模的固有缺陷。但是，现有学习算法在稀疏样本学习中，算法的 学习能力有限，机器人缺乏对新物体抓取的能力。
二 机器人抓取研究现状
抓取类型二：2D位置学习抓取
直接从2D图像平面学习获取抓取位置，该方法首先采用人工标记抓取点 的合成图像，提取分类图像特征向量，应用机器学习方法来训练抓点。
机器人单抓取点学习
机器人多抓取点学习 该方法实施步骤：给定视觉场景 学习模型得出抓取点 计算抓取参数
机器人动力学运动规划。
二 机器人抓取研究现状
抓取类型三：高级人工智能学习抓取
模仿抓取：通过观察人抓取目标的姿态，识别出人的抓取方式， 进而映射到机器人抓取系统中。
机器人模仿抓取
交互抓取：把人的操作嵌入到 机器人的控制循环中，对机器 人进行交互训练，使得机器人 自动产生抓取动作，最终把人 的抓取技能传授给机器人 。
人机交互抓取
3) 基于解析法和经验法的机器人抓取过程中，手臂的协调与定位都是需要 预先标定，而后求取机器人的逆动力学进行控制的。标定除了带来复杂 的计算外，同时也限制了机器人应用的拓广。
三 基于多模特征深度学习的机器人抓取判别
深度学习
2006年多伦多大学Hinton等人 在Science杂志上提出，该学习 算法避免了特征抽取过程中了 人为的干预，同时深度学习解 决了传统多层神经网络学习过 程局部收敛和过适性问题，深 受业内的广泛关注，如括谷歌、 百度在内的众多机构成立专门 的部门致力于该学习算法的研 究。
机器人抓取操作
一 机器人抓取 VS 人的抓取
人抓取的特性：灵活自主
对人而言，手不仅能够根据不同形状和不同尺寸的物体采取不同的抓 取姿态(如图所示)，而且人手抓取过程中，手的位置和方向能根据环境不 断地自主调整 。这反映出人抓取过程的自主性与协调性。
然而，对于机器人，则是不同，因为目前绝大多数机器人的操作行为 是在定式（标定）工作环境中进行的。改变传统定式的工作方式，攻克机 器人灵巧自主抓取问题是当今机器人研究领域的一个难点和热点。
目前深度学习已经成功用 于图像检索，语音识别，自然 语言处理等领域，而该算法在 机器人视觉领域的应用还处在 刚刚起步阶段。
深度学习网络
深度学习简介（插入）
人脑视觉机理
神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。 人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形 状或者目标的部分等，再到更高层，整个目标、目标的行为等。