机器人视觉伺服定位控制与目标抓取

一般来说，抓取需要解决的两个基本问题：抓哪里，Where？怎 么去抓，How？
二 机器人抓取研究现状
解析抓取法
解析法使用动力学评价准则(如: force-closure)来估算抓取的稳定性，然 后寻求合适抓取方案，使得这个评价准则达到最优。该方法属于传统的抓 取方法，在2000年前占主导地位。
深度学习网络
深度学习简介（插入）
人脑视觉机理
神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。 人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形 状或者目标的部分等，再到更高层，整个目标、目标的行为等。
深度学习简介（插入）
关于特征
【通过传感器（例如CMOS）获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。】
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训 练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因 此，“深度模型”是手段，“特征学习”是目的。
深度学习简介（插入）
Deep learning训练过程
非监督数据上建立多层神经网络的一个有效方法： 1）首先逐层构建单层神经元，这样每次都是训练一个单层网络。 2）当所有层训练完后，使用wake-sleep算法进行调优。
抓取准则 手模型
动力学 力闭合 抓取 矢量 执行 结果
抓取生成
接触点
预选抓 取点
最优抓取判定
机器人系统
评价系统
目标模型 任务约束
该方法的前提要求：1）精确的机械手动力学模型、目标物理模型； 2）机械手相对与目标物的位势信息。
二 机器人抓取研究现状
经验学习抓取法
首先通过观察学习人的抓取，根据任务约束、然后学习系统产生一 种最佳的抓取模式，该方法的核心思想是基于模仿与学习理论 。
XIAMEN UNIVERSITY
机器人视觉伺服定位控制与目标抓取
2017.5
内
机器人抓取及其研究现状
机器人抓取位姿判别
容
基于视觉伺服的机器人定位控制
机器人视觉反馈控制在工业上的应用
总结
一 机器人抓取 VS 人的抓取
机器人抓取面临着挑战
随着机器人技术的发展，机器人越来越多的融入到人的生活和工作环境 中，代替人类完成各种作业，这必然要求机器人承担对比工业生产更加复杂 的操作务，比如机器人端茶倒水，递送物品，自动拣握工具等等。智机器人 代表了机器人发展的尖端技术，在日常生活、医疗、航天等领域具有广泛的 用。 一方面，我们希望机器人具备一定自主性学习物体抓取操作是其自主作业当中经常面临的一个问 题，目前传统工业机器人定式的操作方式，限制了机器人抓取的自主性。
深度学习简介（插入）
Deep Learning的常用模型或者方法
AutoEncoder自动编码器 【自动编码器就是一种尽可能复现输入信号的神经网络】
1）给定无标签数据，用非监督学习学习特征：
因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。
深度学习简介（插入）
Deep Learning的常用模型或者方法
深度学习简介（插入）
Deep Learning的常用模型或者方法
Sparse Coding稀疏编码 Sparse coding分为两个部分： 1）Training阶段： 给定一系列的样本图片[x1, x 2, …]，我们需要学习得到一组基[Φ1, Φ2, …]，也就是字典。 训练过程就是一个重复迭代的过程，交替更改a和Φ使得下面这个目 标函数最小。
机器人抓取操作
一 机器人抓取 VS 人的抓取
人抓取的特性：灵活自主
对人而言，手不仅能够根据不同形状和不同尺寸的物体采取不同的抓 取姿态(如图所示)，而且人手抓取过程中，手的位置和方向能根据环境不 断地自主调整 。这反映出人抓取过程的自主性与协调性。 然而，对于机器人，则是不同，因为目前绝大多数机器人的操作行为 是在定式（标定）工作环境中进行的。改变传统定式的工作方式，攻克机 器人灵巧自主抓取问题是当今机器人研究领域的一个难点和热点。
小块的图形可以由基本edge构成，更结构化，更复杂，具有概念性的图形如何表示呢？ 更高层次的特征表示
深度学习简介（插入）
需要有多少个特征
我们知道需要层次的特征构建，由浅入深，但每一层该有多少个特征呢？
深度学习简介（插入）
Deep Learning的基本思想
假设有一个系统S，它有n层（S1,…Sn），输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O 如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失。
也就是说，这时候，我们需要将最后层的特征code输入到最后的分类器，通过有标签样 本，通过监督学习进行微调，这也分两种，一个是只调整分类器（黑色部分）；另一种： 通过有标签样本，微调整个系统 。
深度学习简介（插入）
Deep Learning的常用模型或者方法
Sparse AutoEncoder稀疏自动编码器：
2、综合双目和单目视觉信 息、以及物体表面与几何 模型实现深度提取、目标 区域分割，以及位势估计， 该抓取系统在遮挡、光照 变化的室内环境中实现了 机器人抓取操作 缺点：依赖于物体的3D信 息，3D计算复杂。
实例2 3D位势估计抓取
二 机器人抓取研究现状
抓取类型二：2D位置学习抓取
直接从2D图像平面学习获取抓取位置，该方法首先采用人工标记抓取点 的合成图像，提取分类图像特征向量，应用机器学习方法来训练抓点。
抓取学习/ 人工示范
目标分割 特征 特征 抓取 矢量 执行 结果
抓取模式 数据库
抓取生成 与判定
机器人系统
评价系统
场景/ 约束条件
该方法的前提要求：1）完整的目标几何模型（2/3D）信息； 2）机器人视觉系统严格标定，已知机械臂动力学模型。
二 机器人抓取研究现状
抓取类型一：3D目标抓取
1、一种基于局部随机采 样一致性鲁棒几何描述的 3D匹配与位势估计抓取方 法，该方法在噪声、遮挡 环境测试中取得良好抓取 效果。 实例1 3D几何匹配抓取
二 机器人抓取研究现状
综上抓取方法可知：
1) 解析建模抓取法需要对目标进行2D/3D建模，在复杂环境下建模精度难 以保证。 2) 经验学习抓取法通过学习或模仿人的抓取，在一定程度上克服了解析抓 取法建模的固有缺陷。但是，现有学习算法在稀疏样本学习中，算法的 学习能力有限，机器人缺乏对新物体抓取的能力。 3) 基于解析法和经验法的机器人抓取过程中，手臂的协调与定位都是需要 预先标定，而后求取机器人的逆动力学进行控制的。标定除了带来复杂 的计算外，同时也限制了机器人应用的拓广。
Min |I – O| + u*(|a1| + |a2| + … + |an |)
O = a1*Φ1 + a2*Φ2+….+ an*Φn， Φi是基，ai是系数，I表示输入，O 表示输出。
深度学习简介（插入）
Deep Learning的常用模型或者方法
Sparse Coding稀疏编码
比如在图像的Feature Extraction的最底层要做Edge Detector的生成，那么这里的工作就是从Natural Images中randomly 选取一些小patch，通过这些patch生成能够描述他们的“基”，也就是右边的8*8=64个basis组成的basis，然后给定一个 test patch, 我们可以按照上面的式子通过basis的线性组合得到，而sparse matrix就是a，下图中的a中有64个维度，其中非 零项只有3个，故称“sparse”。
深度学习简介（插入）
特征表示的粒度
学习算法在一个什么粒度上的特征表示，才有能发挥作用？ 素级特征 结构性
深度学习简介（插入）
初级（浅层）特征表示
像素级的特征表示方法没有作用，那怎样的表示才有用呢？ 复杂图形，往往由一些基本结构组成，比如正交的edges。
深度学习简介（插入）
结构性特征表示
2）sleep阶段：生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层 的状态，同时修改层间向上的权重。
【“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个 概念”】
深度学习简介（插入）
Deep learning训练过程
deep learning训练过程具体如下： 1）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）： 采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个 无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是feature learning过程）；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n 层，由此分别得到各层的参数。 2）自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网 络进行微调）： 基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个 有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于DL的第一步不 是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优， 从而能够取得更好的效果。
深度学习简介（插入）
Deep Learning的常用模型或者方法
AutoEncoder自动编码器 【自动编码器就是一种尽可能复现输入信号的神经网络】 3）有监督微调：
到这里，这个AutoEncoder还不能用来分类数据，可以在AutoEncoder的最顶的编码层添 加一个分类器，然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。
Denoising AutoEncoders降噪自动编码器：