基于机械臂灵巧手智能数据采集系统的设计与分析

基于机械臂灵巧手智能数据采集系统的设计与分析YANG Qingfeng;FENG Baolin;LI Lu;SHI Yungao;SUN Peng;MAO Wujun

【摘要】在非结构环境中机器人对不同形状、重量物体的有效抓取效率低.针对这一现状,自主设计了一套基于机械臂灵巧手的智能数据采集系统平台,该平台由Kinect2.0摄像机、BH8-282三指灵巧手、UR5六自由度机械臂等设备组成,通过对目标物体的自动识别和定位,自主运动规划路线完成对目标物体的抓取动作,并得到抓取目标物的视觉和触觉信息.实验表明,该平台可以在无人监督的情况下,完成对目标物体的有效抓取,并实现对视觉和触觉数据的完全自动化采集.实验过程中对3589组抓取目标物数据分析,未抓住目标物的比例为15.41％,抓稳的比例为42.91％,未抓稳的比例为41.86％,总体实验效果较好.

【期刊名称】《机械与电子》

【年(卷),期】2019(037)007

【总页数】6页(P75-80)

【关键词】机器人;机械臂;触觉;自动化采集

【作者】YANG Qingfeng;FENG Baolin;LI Lu;SHI Yungao;SUN Peng;MAO Wujun

【作者单位】;;;;;

【正文语种】中文

【中图分类】TP242

0 引言

在对机器人抓取的研究工作中，大量的数据是研究的基础，而数据的采集则依赖于良好的数据采集系统[1]。南加利福尼亚大学的Chebotar等人设计了一种触觉数据采集装置，采用Barrett WAMTM机械臂和带有BioTac传感器的Barrett灵巧手对圆柱状物体进行不断抓取，在对物体的抓取过程中完成触觉数据的采集。但该数据采集装置主要适应于抓取规则形状的物体，不能很好地完成多种类型目标物体的抓取，同时该装置无法进行视觉数据的采集[2]；哈佛大学的Wan等人设计了一套类似上述的装置，同样采用机械臂和灵巧手对目标物体进行抓取。不同的是在目标物体下面系上了1个质量为200 g的小球，这样当目标抓取物掉落时，它们就会掉落至固定位置，方便机械臂和灵巧手的重复抓取。同时，他们在装置上加入一台照相机，用来评估纠正目标抓取物的掉落位置。但该装置仍不适合多种类型物体的抓取，原则上可以实现视觉数据的采集，但效果不佳[3]；清华大学的人工智能实验室采用德国雄克公司的机械臂和BH8-280灵巧手设计了一套数据采集系统。该机械臂为7自由度工业机械臂，每个关节都可围绕各自的轴心转动，从而可以在多个方位进行操控。BH8-280灵巧手固定在机械臂末端，其手指上带有触觉传感器，在对物体的抓取过程中，可以采集到触觉数据。该系统可以实现对目标物体的抓取，但需要人为监督和调控完成数据的采集，不适合大量数据的采集工作。在此，主要采用Kinect 2.0摄像机、BH8-282三指灵巧手、UR5六自由度机械臂等设备搭建出一套全自动数据采集平台。该平台可以在无人监督的情况下对目标物体进行检测识别并进行定位，通过自主运动规划，实施对目标物体的抓取动作，同时自动标注抓取效果的稳定与否，实现对视觉数据和触觉数据的完全自动化采集[4]。

1 机械臂灵巧手操作系统的设计

在非结构化环境里如何实现良好的自主抓取一直是一个研究的热点[5]。增强机器人的感知系统是解决这种难题的重要途径之一，这样即使在未知的复杂环境里，机器人依然能够依靠良好的感知系统完成自主抓取动作。机器人的自主抓取大多是在视觉控制的条件下进行的[6]，例如视觉定位和视觉伺服[7]。在此，所搭建的机械臂灵巧手操作平台就是基于视觉定位的，主要包含3个模块：摄像机模块，操作台模块以及机械臂-灵巧手模块。3个模块有效地结合在一起，构成一套全新的数据自动采集平台，整个系统的构建模型如图1所示[8]。

图1 系统模型

1.1 摄像机模块

摄像机模块主要由Kinect2.0摄像机和三角架组成。三脚架用来固定摄像机，同时可以方便调节摄像机的高度和角度，以获得拍照的最佳视角。Kinect2.0摄像机用来对目标物体进行目标检测并定位，进而实现机械臂灵巧手对目标物体的准确抓取[9]。

Kinect摄像机是一款3D体感摄像机，是微软公司开发的一种体感外设，内置RGB彩色摄像机、红外摄像机以及麦克风阵列等传感器，通过采集人体姿态、位置和语音完成人机交互[10]。在此，采用第2代Kinect摄像机Kinect 2.0，如图2所示。

图2 Kinect 2.0摄像机

相对于第1代摄像机Kinect 1.0，Kinect 2.0摄像机具有更高的分辨率和色彩识别度，这使其具备了更高的精准性和更快的响应速度。Kinect 2.0摄像机拥有1 080 P高清分辨率，能够实时监控并获取优质的抓取目标物的画面；内置RGB彩色摄像机进行了更加合理的优化，可以捕获更加清晰的目标物体的RGB图片；同时，更广阔的视野有利于得到更大范围内的图像信息；Kinect 2.0摄像机配备有新型红外传感器，可以在相对较弱的光照强度条件下甚至黑暗的环境中对目标物体进行识

别，降低了对操作环境和使用场地的要求，这对实验平台的搭建提供了更多的便利；Kinect 2.0摄像机对内置深度传感器进行了改进，对噪声基底进行优化处理，使其具有良好的深度保真效果，获取更加精准的距离信息[11]。本实验平台采用Kinect2.0摄像机对目标物体进行检测和定位，可以完全满足实验要求。

1.2 操作台模块

操作台模块主要由高度可调的折叠桌和1个收纳箱组成，如图3所示。折叠桌高

度可以调节，方便操作台的上下移动，有利于获得最佳操作平面。由于灵巧手相对比较脆弱，操作台不能为硬质面板，因此将收纳箱的上盖换成一块布进行覆盖，获得1个平整而富有弹性的工作面，有益于对灵巧手的保护。同时，操作平台可操

作平面比较大，当目标抓取物掉落时，不会落入操作台以外的界面，方便机械臂灵巧手操作平台的下一次抓取。

图3 折叠桌和收纳箱

1.3 机械臂-灵巧手模块

机械臂-灵巧手模块主要由机械臂、灵巧手和基座组成[12]。机械臂为UR5六自由度工业机械臂，具有灵活、轻便和良好的柔性功能，噪音小、功耗低，编程简单易操作。灵巧手为BarrettHand BH8-282三指灵巧手，有手指1、手指2、手指3

和手掌S 4个传感器。基座为一个中空的铝合金框架，里面可以放置一些仪器设备，其底部装配有4个万向轮，可方便地移动和更换工位。

如图4所示，UR5机械臂质量仅18 kg，质量轻便，因此不需要坚固的重型底座，可以方便地移动和安置，同时所需安装空间小，很容易应用于各种场所；UR5机

械臂能够进行有效负荷为5 kg的作业，可以完美胜任轻量级协作过程，如采摘、放置和测试等；UR5机械臂模仿人类手臂进行设计，具有6个自由度，每个关节

都可围绕其自身轴心进行±360°旋转，工作半径可达850 mm，在此范围内，

UR5机械臂可以轻易地执行各种动作，满足多种任务要求；UR5机械臂支持的通

信标准为TCP/IP 100 M通讯，适用IEEE 802.3u协议标准和100BASE-TX通讯

介质标准，采用以太网socket连接和Modbus TCP连接，可以方便地进行通信。图4 UR5机械臂

Barrett公司的BH8系列的机械手为可编程灵巧手，仿人手进行设计，灵活性比较高，可以抓取不同种类、不同大小的物体，操作简单快捷[1]。本文采用BarrettHand BH8-282三指灵巧手，如图5所示，它具有紧凑的结构，通过法兰结构安装在UR5机械臂末端关节上，采用高速CAN总线通信方式。

图5 灵巧手

BarrettHand BH8-282灵巧手将通信电路、伺服控制系统和4个无刷电机集成在本体内部，布局巧妙合理。在它的3根多关节手指中，其中1根手指是固定不动的，另外2根手指可以对称地横向运动180°，用以支持完成更多的抓取方案，操

作灵活。除此之外，每个关节都配备高精度的位置反馈码盘以完成更加精准的控制和更精细的操作。Barrett Hand BH8-282灵巧手的3根手指和手掌各有1个触

觉传感器阵列，如图6所示，可以很方便地实现对触觉数据信息的采集，本文主

要使用3根手指采集到的触觉数据进行实验。

图6 BarrettHand灵巧手触觉传感器示意

为了固定UR5机械臂，设计了一个中空的基座，如图7所示。UR5机械臂以此为基础可以方便地进行运作。BarrettHand灵巧手通过法兰盘固定在UR5的末端，UR5机械臂通过运动规划可以到达目标物体的上方，BarrettHand灵巧手对目标

物体实施抓取，并进行触觉数据的采集。

图7 基座

2 IFOA-FCM的图像分割

本文采用Willow Garage公司开发的ROS机器人操作系统[13]。该系统为机器人提供与操作系统类似功能的软件平台，能够满足机器人领域的代码复用性和机器人

的模块化需求，在机器人领域的应用逐渐扩展。在基于Linux的Ubuntu操作系

统下，ROS能够提供资源管理、程序控制以及人机交互等操作系统应有的功能，

包括底层硬件的控制和一些功能包的管理等。在ROS 的基础上，开发人员开发出了很多软件包，例如识别、定位、运动规划以及其他一些高级功能包，因此利用该软件平台可以很方便地对机器人进行应用开发，ROS已经成为一种通用性很强的

机器人操作系统[14]。

2.1 ROS通信机制

ROS的核心功能是提供一种点对点通信机制，其核心框架有节点管理器、发布者

和订阅者3个主体，如图8所示[15]。节点管理器的主要功能是将各类节点的信

息进行注册登记并沟通节点与节点之间的通讯。发布者和订阅者自身是一类节点，需要在节点管理器上注册，在建立通信之前，双方是相互独立的，不存在耦合关系。当订阅者需要对一个话题订阅的时候，节点管理器会查询是否存在发布者发布该话题，一旦发现，节点管理器就会将发布者和订阅者联系起来，订阅者直接接收话题里面的消息，实现点对点通信[16]。

图8 ROS机器人系统核心框架

2.2 基于ROS 的机械臂灵巧手操作框架

在机械臂灵巧手操作平台对目标物体抓取的过程中，其抓取动作可以分为启动任务、搜索目标、追踪目标、调整位姿以及执行抓取任务等，如图9所示。在对目标物

体抓取之前，首先需要对Kinect2.0摄像机、机械臂、灵巧手等进行初始化设置，完成各种配置；其次，Kinect2.0摄像机搜索操作台上的目标物体，并对其进行定位；然后机械臂进行运动规划[17]，包括路径规划、碰撞检测、接近目标等；接着灵巧手调整位姿，为抓取目标物体做最后的准备，最后执行抓取操作，完成抓取任务。

图9 抓取动作划分

如图10所示，上述抓取动作的执行都是在ROS下完成的，Kinect2.0摄像机、机械臂、灵巧手分别建立节点，然后通过消息机制，建立一对一通信。摄像机节点会发布目标物体的三维坐标信息等到指定话题，机械臂节点会通过订阅该话题接收目标物体的三维坐标信息，进行运动规划。同样的，灵巧手也会发布完成抓取等信息到特定话题，摄像机节点会订阅该话题，进而采集抓取目标物体时刻的图像信息。另外，机械臂也会发布运动规划完成等信息到指定话题，灵巧手节点通过订阅该话题了解到机械臂运动规划结束，然后对目标物体进行抓取。Kinect2.0摄像机节点、机械臂节点和灵巧手节点在ROS下两两进行通信，有效地融合在一起，完成对目标物体的抓取。

图10 ROS下节点框架

3 机械臂灵巧手操作平台的数据采集过程

机械臂-灵巧手模块，操作台模块以及摄像机模块在ROS系统下共同组成了数据自动采集平台，如图11所示。该平台可以方便地对图像和触觉数据进行不间断的自动化采集[18-19]。

图11 机械臂灵巧手操作平台

数据采集过程如图12所示，具体步骤包括：

a.在ROS系统下对Kinect 2.0摄像机、UR5机械臂和BarrettHand灵巧手进行

初始化操作。打开Kinect 2.0摄像机，对Kinect 2.0摄像机进行初始化参数设置，并检测其工作是否正常，为下一步对目标物体进行检测和定位做准备。给定UR5

机械臂的初始位置，在ROS下对机械臂进行运动规划，UR5机械臂运动至初始位置。同样的，对BarrettHand灵巧手进行初始化设置，3根手指完全展开，为抓

取目标物体做准备。

b.Kinect 2.0摄像机对操作台上的目标抓取物进行识别检测，检测操作台上是否存在目标物体。如果在操作台上检测到目标物体，则对其进行定位，获取目标物体的

三维坐标信息，同时存储目标抓取物的RGB图像，然后通过坐标变换，将其坐标

信息转换为以UR5机械臂为基准的三维坐标信息。如果在操作台上未检测到目标

抓取物，则给出可能出现的未检测到目标抓取物的原因信息，并在显示器上显示，根据提示信息，做出下一步处理，直至能够对目标物体进行检测识别定位。

c.当Kinect 2.0摄像机在操作台上检测到目标物体，按照步骤b对目标物体进行

定位，UR5机械臂通过运动规划到达预定位置，为灵巧手对目标物体的抓取做准备，UR5机械臂末端给出一个随机角度以调整灵巧手的抓取角度，然后通过运动

规划，灵巧手到达目标抓取物上方，并开始对目标抓取物进行抓取，同时进行触觉数据的采集。当灵巧手手指力矩值或者其触觉传感器的值通过算法处理后大于预设值时，灵巧手停止抓取，触觉数据采集结束，Kinect 2.0摄像机对抓取状态图进行存储，获取视觉数据。

d.当灵巧手停止抓取后，UR5机械臂进行运动规划，到达预定位置，灵巧手左右

摆动各120°，以验证其抓取是否稳定。当目标物体在灵巧手摆动过程中没有出现

松动或者掉落，则将此次抓取标注为稳定状态，否则标注为未抓稳状态。另外，当灵巧手没有抓住目标抓取物时，则将此次抓取标注为未抓住状态。

e.当灵巧手摆动结束后，灵巧手的3根手指完全展开，松开目标物体，目标物体掉落至操作台上。UR5机械臂经过运动规划到达初始化位置，为下一次抓取做准备。如此往复循环。

图12 数据采集过程

4 实验及结果分析

本文采用搭建的机械臂灵巧手操作平台对数据进行自动采集。为了产生更有说服力和更多可对比性的实验数据，针对生活中常见的不同形状、不同类别、不同状态下的物体，利用机械臂灵巧手操作系统对其进行了不断抓取。在目标抓取物中，分为矩形纸质物体、矩形软质物体、矩形瓶装物体、锥形瓶装物体、柱状物体、球状物

体、袋状物体、软质玩偶等。同种物体也有不同的状态，例如对易拉罐进行抓取，分为全满状态和空瓶状态，以及3个不同颜色的薯片筒，全满/半满/全空的3瓶

绿茶瓶等。

通过对抓取目标物体后获得的触觉数据的整理，最终得到具有37个目标物体的3 589组数据的数据集。对每种目标物体的抓取次数经整理后其范围为47～199次，但每种物体的抓取次数基本维持在100次左右。鉴于目标物体较多，获得的数据

也较多，而本文主要聚焦在对目标物体的抓取稳定性分析方面，因此本文没有均衡每次对目标物体的抓取次数。机械臂灵巧手操作系统对目标物体进行抓取过程中，会自动给出物体抓取稳定与否状态，未抓住标签为0，抓稳标签为1，未抓稳标签为2。3种触觉数据的总体数量和比例如表1所示，未抓住状态相对较少，抓稳和未抓稳比例相当，接近1∶1，比较符合预期。

表1 3种触觉数据的总体数量和比例标签数量比例/%055315.4111 54042.9121 49641.68

5 结束语

在机器人精细操作领域，物体抓取对于机器人来说是一个简单而基本的任务，而如何对目标物体进行全自动化稳定而有效的抓取是一个值得研究的问题[20]。本文搭建了全自动化机械臂灵巧手操作系统，在对目标物体的抓取过程中采集触觉数据信息，并建立相关数据集。具体工作与研究成果如下：研究主要采用Kinect2.0摄像机、BH8-282三指灵巧手、UR5六自由度机械臂等设备搭建出一套机械臂灵巧手数据采集系统，该系统可以对目标物体进行检测识别并定位，实现自主运动规划，实施对目标物体的抓取。

系统可以实现在无人监督的情况下，对目标物体进行不间断抓取，并在对目标物体的抓取过程中，自动标注此次抓取稳定与否，实现对触觉数据的完全自动化采集。虽然抓取效果比较好，但是没有对抓取效率做进一步研究。接下来将继续研究如何

提高机械臂灵巧手数据采集的效率。

参考文献：

【相关文献】

[1] 韩峥，刘华平，黄文炳，等. 基于Kinect的机械臂目标抓取[J]. 智能系统学报,2013,8(2):149-155.

[2] Chebotar Y, Kroemer O, Peters J. Learning robot tactile sensing for object manipulation

[C]//International Conference on Intelligent Robots and Systems (IROS), IEEE, 2014.

[3] Wan Q, Adams R P, Howe R D. Variability and predictability in tactile sensing during grasping[C]// International Conference on Robotics and Automation (ICRA), IEEE, 2016.

[4] 李亮. 机械手对目标物体的抓取[D]. 成都：西华大学，2008.

[5] 李宪华，郭永存，张军，等. 模块化六自由度机械臂逆运动学解算与验证[J]. 农业机械学

报,2013,44(4):246-251.

[6] 战茜,屠大维. 移动机器人自主抓取作业[J]. 计算机应用,2016,36(增刊1):95-98，102.

[7] 王麟琨,徐德,谭民.机器人视觉伺服研究进展[J]. 机器人,2004，26(3):277-282.

[8] 杜峰，苏丽颖，焦继乐，等. 移动机械臂无碰抓取方法的研究[J]. 机械科学与技

术,2016,35(4):535-538.

[9] 杨东方，王仕成，刘华平，等. 基于Kinect系统的场景建模与机器人自主导航[J]. 机器

人,2012,34(5):581-589.

[10] 吴鑫. 融合Kinect深度和颜色信息的机器人视觉系统研究[D].沈阳：沈阳农业大学,2013.

[11] LV Q，Lin H，Wang G. ORB-SLAM-based Tracing and 3D Reconstruction for Robot using Kinect 2.0[C]∥29th Chinse Control and Decision Conference,2017.

[12] 罗建国,何茂艳,薛钟霄,等. 灵巧手研究现状及挑战[J]. 机械设计,2009,26(10):4-8，22.

[13] 王之元,周云,易晓东,等. 机器人操作系统研究型课程建设[J]. 计算机教育,2016(1):77-80.

[14] 安峰. 基于开源操作系统ROS的机器人软件开发[J]. 单片机与嵌入式系统应用,2017,17(5):27-29，33.

[15] 高雅,李晓娟,关永,等. 运用定理证明器ACL2验证机器人操作系统ROS节点间通信[J]. 小型微型计算机系统,2014,35(9):2126-2130.

[16] 陈盛龙,平雪良,曹正万,等. 基于ROS串联机器人虚拟运动控制及仿真研究[J]. 组合机床与自动化加工技术,2015(10):108-111.

[17] 孟韶南,梁雁冰,师恒. 基于ROS平台的六自由度机械臂运动规划[J]. 上海交通大学学

报,2016,50(增刊1):94-97.

[18] 陈前里，刘成良，贡亮，等. 基于ROS的机械臂控制系统设计[J]. 机电一体

化,2017,34(10):38-40.

[19] 曹正万，平雪良，陈胜龙，等. 基于ROS的机器人模型构建方法研究[J]. 组合机床与自动化加工技术,2015(8):51-54.

[20] 刘宇红,张明路,孟宪春,等. 移动机械手的稳定性及补偿方法现状与发展趋势[J]. 机电产品开发与创新,2008,21(2):5-7.