【CN109784297A】一种基于深度学习的三维目标识别与最优抓取方法【专利】
《基于深度学习的目标检测及抓取姿态估计算法研究》
《基于深度学习的目标检测及抓取姿态估计算法研究》
一、引言
随着人工智能技术的飞速发展，深度学习在计算机视觉领域的应用越来越广泛。目标检测和抓取姿态估计是机器人视觉系统中的关键技术，对于实现自动化、智能化的生产过程具有重要意义。本文将介绍基于深度学习的目标检测及抓取姿态估计算法的研究，旨在提高机器人的识别和操作能力，为机器人技术的进一步发展提供支持。
二、目标检测算法研究
目标检测是计算机视觉领域的重要任务之一，其目的是在图像中确定特定目标的位置和大小。基于深度学习的目标检测算法已经成为当前研究的热点。
2.1 算法原理
深度学习算法通过构建多层神经网络，从大量数据中学习目标的特征表示。在目标检测中，常用的深度学习算法包括基于区域的方法和基于回归的方法。基于区域的方法将图像划分为多个区域，对每个区域进行分类和回归操作；而基于回归的方法则直接在图像上回归出目标的边界框。这些算法通过不断优化网络结构和参数，提高目标检测的准确性和实时性。
2.2 算法应用 目标检测算法在机器人视觉系统中具有广泛的应用。例如，在工业生产中，机器人需要检测生产线上的零部件并进行抓取操作。通过应用深度学习算法，机器人可以快速准确地定位零部件的位置和大小，为后续的抓取操作提供支持。此外，目标检测算法还可以应用于安防监控、自动驾驶等领域。
三、抓取姿态估计算法研究
抓取姿态估计是机器人抓取操作中的重要环节，其目的是确定目标的姿态信息，以便机器人能够准确地执行抓取操作。基于深度学习的抓取姿态估计算法是当前研究的重点。
3.1 算法原理
抓取姿态估计算法主要通过深度学习算法对图像中的目标进行三维姿态估计。常用的算法包括基于模板匹配的方法和基于深度学习的方法。基于模板匹配的方法需要预先定义多种姿态模板，通过与图像中的目标进行匹配来确定姿态信息；而基于深度学习的方法则通过学习目标的特征表示和姿态信息之间的关系，实现姿态估计。这些算法通过不断优化模型结构和参数，提高姿态估计的准确性和鲁棒性。
《基于深度学习的目标检测及抓取姿态估计算法研究》 2
《基于深度学习的目标检测及抓取姿态估计算法研究》
一、引言
随着人工智能技术的不断发展，深度学习在计算机视觉领域的应用越来越广泛。目标检测和抓取姿态估计是机器人视觉系统中的关键技术，对于实现机器人的自主操作和智能化具有重要意义。本文将重点研究基于深度学习的目标检测及抓取姿态估计算法，以提高机器人的操作精度和效率。
二、目标检测算法研究
2.1 传统目标检测算法
传统目标检测算法主要依靠特征提取和分类器进行目标识别。然而，这种方法对于复杂场景和多样性的目标往往难以取得满意的检测效果。
2.2 深度学习目标检测算法
深度学习目标检测算法通过卷积神经网络提取目标的特征，并利用区域提议网络和回归方法实现目标的精准定位。其中，基于深度学习的目标检测算法如Faster R-CNN、YOLO（You Only
Look Once）和SSD（Single Shot MultiBox Detector）等在准确性和实时性方面表现出色。
2.3 本文研究内容 本文将研究基于深度学习的目标检测算法，通过优化网络结构和参数，提高目标检测的准确性和实时性。同时，针对不同场景和目标的特点，设计适应性强、鲁棒性好的目标检测模型。
三、抓取姿态估计算法研究
3.1 传统抓取姿态估计算法
传统抓取姿态估计算法主要依靠立体视觉或深度传感器获取目标的三维信息，然后通过几何计算和优化方法估计抓取姿态。然而，这种方法需要复杂的硬件设备和繁琐的计算过程。
3.2 深度学习抓取姿态估计算法
深度学习抓取姿态估计算法通过卷积神经网络学习目标的外观和空间信息，实现抓取姿态的快速估计。其中，基于深度学习的端到端抓取姿态估计算法在实时性和准确性方面具有显著优势。
3.3 本文研究内容
本文将研究基于深度学习的抓取姿态估计算法，通过设计合适的网络结构和损失函数，提高抓取姿态估计的准确性和鲁棒性。同时，将目标检测和抓取姿态估计相结合，实现机器人在复杂环境下的自主抓取操作。
基于深度学习的三维目标检测算法综述
2019年第23期信息与电脑China Computer & Communication算法语言
基于深度学习的三维目标检测算法综述
邵昀岑
（东南大学 软件学院，江苏 南京 211189）
摘 要：随着自动驾驶行业的快速发展，基于深度学习的三维目标检测技术也得到了快速发展，目前自动驾驶汽车
主要依赖图像与激光雷达点云进行环境感知。基于这两种数据的三维目标检测技术可提取出物体的空间结构信息，包括
物体的姿态、尺寸、运动方向、形状等，因此该技术不仅可用于自动驾驶的感知，还可用于工业机器人对物体的识别与
抓取，以及仓储机器人的视觉导航等。近年来，计算能力的提升、数据集的公开、深度学习的发展，为三维目标检测算
法带来了巨大的变革。关键词：3D目标检测；深度学习；激光雷达点云；计算机视觉；人工智能
中图分类号：TP18；TP391.41 文献标识码：A 文章编号：1003-9767（2019）23-026-05
3D Object Detection Based on Deep Learning
Shao Yuncen
(School of Software Engineering, Southeast University, Nanjing Jiangsu 211189, China)
Abstract: With the rapid development of the automatic driving industry, 3D target detection technology based on deep learning has also developed rapidly. At present, self driving vehicles rely mainly on image and LIDAR point clouds for environmental
perception. The three-dimensional target detection technology based on these two kinds of data can extract the spatial structure
基于深度学习的机械臂目标抓取方法
智能制造
Digital Space P.175[10]王怡,鄂旭. 基于物联网无线传感的智能家居研究 [J].计算机技术
与发展, 2015, 02: 234-237.
[11]田昀.物联网技术在智能家居的应用初探[J].电子测试,2017,04:
54-55.[12]王东美.基于物联网的智能家居系统设计 [D].沈阳:沈阳工业大学,
2017.
[13]叶高扬,毕冉.基于物联网的智能家居系统设计与实现 [J].计算机应
用, 2014, S1: 318-319.
基于深度学习的机械臂目标抓取方法
陈承志 冯应龙 戴桐生 林晓松 东莞理工学院 曹金梅 东莞理工学院 东莞市朝茗机电科技有限公司
摘要：传统视觉抓取方法需要进行复杂的相机标定与眼手标定，维护成本高，难以适应如今越发复杂多变的应用环境。针对此问题，本文提出了
一种基于深度学习的机器人抓取方法。得益于深度学习强大的特征学习能力和泛化能力和较强的鲁棒性，该方法能在复杂多变的环境下准确地完成
未知物体的抓取任务。并且在深度相机与机器人的相对位置发生变化后也无需进行复杂耗时的眼手标定。
关键词：深度学习 机器人 深度相机
前言：抓取是机器人的最重要的应用之一，其可应用于物流、汽
车工业、机械加工、电子电力等各种领域，完成加工、上下料，装配、
分拣等重要工作。传统的机器人完成抓取任务，最常见是通过示教，
但这样精度不但取决于机器人的重复定位精度，还取决于目标的摆放
位置。为了解决这个问题，可使用视觉辅助目标定位与抓取，然而，单
目视觉需要进行复杂费时的相机标定与眼手标定，一旦机械手与相
机的相对位置发生改变，就需要重新进行标定。且易受光照、颜色、
大小、位姿等影响。深度学习是Geoffrey Hinton在20016年在《科学》
上提出的，其具有有很强的特征学习能力和泛化能力。本文基于深度
学习方法，从三维点云数据中获取抓取位姿，比传统单目视觉方法更
具普适性，鲁棒性。
1 问题概述
生成抓取位姿的方法之一是点云配准，这种方法的主要缺点是
基于权值优化的多相机OpenPose的三维动作捕捉
现代电子技术ModernElectronicsTechniqueAug.2022Vol.45No.162022年8月15日第45卷第16期
0引言仿人机器人是模仿人体结构设计的可以模仿人体动作的机器，为了使机器人的动作更加接近真实的人体动作[1]，并且使仿人机器人替代人们在恶劣的环境完成重复性操作，对人体动作序列的研究是必不可少的。人体动作序列的获取是仿人机器人动作学习的前提，通过获取人体动作序列并进行分析、处理，让仿人机器人学习和掌握人体动作[2]，是仿人机器人研究的基本思路。因此，人体动作序列的精确获取对于仿人机器人的研究具有重要意义。目前人体动作捕捉系统[3]大多需要人体佩戴特定传感器，这些特定传感器可以主动发射特定的信号到周围部署的摄像机，实现多目定位。美国MotionAnalysis公司设计的光学式运动捕捉设备能够实现精确的人体运动姿态捕捉[4]。以上方法通常比被动形式的方法精准，但是要求人体佩戴较为昂贵的专用设备。为此，国内外专家对无标记的人体动作捕捉开展大量研究，例如：文献[5]借助OpenPose在二维图像中实现了人体关节点的像素坐标估计；QiaoS等提出了一种基于OpenPose的实DOI：10.16652/j.issn.1004⁃373x.2022.16.024引用格式：董鹏越，张雷，辛山.基于权值优化的多相机OpenPose的三维动作捕捉[J].现代电子技术，2022，45（16）：127⁃132.基于权值优化的多相机OpenPose的三维动作捕捉董鹏越，张雷，辛山（北京建筑大学电气与信息工程学院，北京100044）摘要：目前OpenPose应用于人体三维动作捕捉，仍然存在精度不够的问题。针对此问题，文中提出一种基于权值优化的多相机OpenPose的三维动作捕捉方法。首先，将多个相机对焦于同一捕捉区域，同步获取人体动作视频，并结合开源平台OpenPose的人体骨架识别模块，来获取人体关节点像素坐标序列；然后，在多目视觉原理的基础上，提出基于权值优化的多目重建优化算法，实现人体关节点三维坐标的精确获取；最后，采用真实案例实现人体三维动作捕捉。实验结果表明，文中方法较基于OpenPose的最小二乘三维重建方法精度提高约3%，并且较目前基于体感相机Kinect的捕捉结果精度提高约5%，可为仿人机器人的应用提供可靠的数据基础。关键词：人体动作捕捉；OpenPose；权值优化；同步获取；三维重建；多目视觉中图分类号：TN820.4⁃34；TP391文献标识码：A文章编号：1004⁃373X（2022）16⁃0127⁃06Multi⁃cameraOpenPose3DmotioncapturebasedonweightoptimizationDONGPengyue，ZHANGLei，XINShan（SchoolofElectricalandInformationEngineering，BeijingUniversityofCivilEngineeringandArchitecture，Beijing100044，China）Abstract：Atpresent，theaccuracyofOpenPoseinhuman3Dmotioncaptureisstillnothigh.Tosolvethisproblem，amulti⁃cameraOpenPose3Dmotioncapturemethodbasedonweightoptimizationisproposed.Firstly，multiplecamerasarefocusedonthesamecaptureareatoobtainhumanmotionvideosynchronously，andcombinewiththehumanskeletonrecognitionmoduleofopensourceplatformOpenPosetoobtainthepixelcoordinatesequenceofhumanjointpoints.Onthebasisoftheprincipleofmulti⁃objectivevision，amulti⁃objectivereconstructionoptimizationalgorithmbasedonweightoptimizationisproposedtoachievetheaccurateacquisitionofhumanjointpoints3Dcoordinates.Therealcasesareusedtorealizethehuman3Dmotioncapture.Theexperimentalresultsshowthattheaccuracyofthismethodisimprovedbyabout3%comparedwiththeleastsquare3DreconstructionmethodbasedonOpenPose，andbyabout5%comparedwithcaptureresultsbasedonKinect，whichcanprovideareliabledatabasefortheapplicationofhumanoidrobot.Keywords：humanmotioncapture；OpenPose；weightoptimization；synchronizationobtain；3Dreconstruction；multi⁃viewvision
基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计
2024年 第48卷 第3期Journal of Mechanical Transmission
基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计
李万艳1 阮观强2 张振东3
（1 上海东海职业技术学院 机电学院， 上海 200241）（2 上海电机学院 机械学院， 上海 201306）（3 上海理工大学 机械学院， 上海 200093）
摘要 针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题，研究针对家庭场景中
机器人做家务的场景，利用RGB图像信息为输入，完成对目标物体的抓取位姿估计。以目标检测模
型YOLOv5s为基础，利用其轻便、速度快的优点，结合数据增强以及迁移学习搭建网络架构，搭建
家庭场景数据集；将少量训练样本进行数据增强后，利用迁移学习将模型在目标数据集上训练，同
时微调参数，将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿，控制机械臂最终以固
定抓取姿态完成抓取任务；最后，通过搭建实验平台，操纵UR5机械臂进行实际抓取实验，验证了
算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%，应用在机械
臂抓取上可以高效地完成任务。
关键词 YOLOv5s 机械臂 位姿估计 目标检测 迁移学习
Target Detection and Robotic Arm Grasp Pose Estimation Based on YOLOv5
and Transfer Learning
Li Wanyan1 Ruan Guanqiang2 Zhang Zhendong3
(1 School of Mechanical and Electrical Engineering, Shanghai Donghai Vocational & Technical College, Shanghai 200241, China)(2 School of Mechanical Engineering, Shanghai Dianji University, Shanghai 201306, China)(3 School of Mechanical Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)
基于3D视觉的机器人无序抓取系统
基于3D视觉的机器人无序抓取系统
摘要：机器视觉因其具有适应性好、柔性强、非接触等特点，被广泛用于自动化生产线的工件尺寸检测、缺陷检测以及分拣中。使用机器视觉进行测量并配合多关节机器人进行工件的分拣，可以提高作业效率，降低工人作业的劳动强度。在自动化生产线中，零部件的抓取及安放，是一个非常重要的环节，也是目前自动化产线消耗人力最大的一个环节。有些类型的工件，若使用机械振动分拣装置，不仅可靠性低，而且振动噪声非常巨大，严重影响工人的身体健康。
关键字：3D视觉；机器人；无序抓取系统
0引言
随着科技的进步与发展，人们对自动化领域提出了无人工厂，高精度装配等理念，这些理念的核心作用就是降低人工参与度。而工业机器人的出现，一定程度上满足了人们对自动化行业提出的要求。如今越来越多的工业机器人系统集成了视觉接口，利用视觉技术配合机械手实现目标物体的定位，分类，检测。机器视觉的核心就是将相机采集的图像进行处理，提取图像的特征信息，来判断图像上层语义，进而替代人眼和人脑完成约定任务，甚至可以完成特殊环境下人眼无法完成的任务。除此之外视觉技术还运用在虚拟现实，汽车导航，瑕疵检测等领域。本文运用机械手与视觉技术的结合，将物料盒中的无序物料进行识别，定位，并引导机械手进行抓取，有序放入物料盒中。
1系统的硬件组成与搭建
1）CCD相机：相机采用大华公司A3600MG18型号相机，使用千兆网卡与工控机通讯，安装在物料盒，来料盒上方，与机械人末端下方。2）镜头：镜头采用日本COMPUTAＲ公司的25mm标准镜头。3）计算机：采用研华公司的工控计算机，软件运行环境为Window10，VisualStudio2017C#，CPU：Inteli5-4800，RAM：12GB。4）光源：光源采用上海愷威光电科技的LED环形光，此款源可以减少相机曝光时间，提高图像质量。5）机器人：采用雅马哈YK500-600XGL四轴机械手。该机械手末端重复精度可达到0.005mm，编程简单，采用TCP/IP协议与工控机通讯。
基于点云特征提取的电力刀闸三维状态识别方法
收稿日期:2021-06-09;修回日期:2021-07-20基金项目:成都市重大科技创新项目(2019-YU08-0067-GG)通信作者:廖 华(1981-),男,硕士,高级工程师,主要从事电力设备变电运维研究;E-mail:liaobaby2000@第37卷第3期电力科学与技术学报Vol.37No.32022年5月JOURNALOFEIECTRICPOWERSCIENCEANDTECHNOLOGYMay2022 基于点云特征提取的电力刀闸三维状态识别方法
廖 华1,周 庆2,蔡 宇1,袁卫义1,陈妍华3(1.中国南方电网有限责任公司超高压输电公司南宁监控中心,广西南宁530028;2.华雁智能科技(集团)股份有限公司,四川成都610000;3.华南理工大学电力学院,广东广州510641)摘 要:电力刀闸是电力系统基本组成部件,系统运维时刀闸状态往往需要人工多次确认。在此背景下,提出一种新的刀闸状态识别方法。首先,将输入的三维刀闸图像转换为彩色点云数据,并从彩色点云数据中提取场景特征;然后,利用现有的方向直方图颜色特征描述算法,基于局部纹理和形状信息构建识别特征的描述符,并根据给定提取的特征描述符,执行两阶段匹配过程以找到场景和目标的彩色点云模型之间的对应关系;其次,使用霍夫投票算法过滤对应集中的匹配误差,并估计刀闸的初始三维姿态;最后,姿态估计阶段采用随机样本一致性和假设验证算法来改进初始姿态,且过滤带有错误假设的不良估计结果。实验结果表明,该方法不仅能成功识别复杂电力场景中的刀闸部件,而且能准确估计目标的三维姿态信息。关 键 词:电力刀闸;三维图像识别;特征提取DOI:10.19781/j.issn.1673-9140.2022.03.023 中图分类号:TM863 文章编号:1673-9140(2022)03-0190-09Researchon3DstaterecognitionmethodofpowerswitchbasedonpointcloudfeatureextractionLIAOHua1,ZHOUQing2,CAIYu1,YUANWeiyi1,CHENYanhua3(1.NanningMonitoringCenterofEHVTransmissionCompany,ChinaSouthernPowerGridCo.,Ltd.,Nanning530028,China;2.HuayanIntelligentTechnology(Group)Co.,Ltd.,Chengdu610000,China;3.SouthChinaUniversityofTechnology,Guangzhou510641,China)Abstract:Thepowerswitchisabasiccomponentofthepowersystem.Theswitchstatusduringsystemoperationandmaintenanceoftenneedstobemanuallyconfirmedformultipletimes.Underthebackground,anewmethodforrec-ognizingthestateoftheknifeswitchisproposed.Firstly,theinput3Dknifegateimageisconvertedintocolorpointclouddata,andthescenefeaturesareextractedfromthecolorpointclouddata.Then,theexistingdirectionhisto-gramcolorfeaturedescriptionalgorithmisemployedtoconstructtherecognitionfeatureofdescriptorbasedonthelo-caltextureandshapeinformation.Withthegivenextractedfeaturedescriptors,atwo-stagematchingprocessisper-formedtofindthecorrespondencebetweenthesceneandthecolorpointcloudmodelofthetarget.Secondly,theHoughvotingalgorithmisutilizedtofilterthematchingerrorsinthecorrespondingsetandestimatetheinitialthree-
基于深度学习的机械臂视觉系统
2020年第8期203智能技术信息技术与信息化
基于深度学习的机械臂视觉系统
王科举* 廉小亲 陈彦铭 安飒 龚永罡 WANG Ke-ju LIAN Xiao-qin CHEN Yan-ming AN Sa GONG Yong-gang 摘 要 针对传统机械臂系统缺乏自主识别目标水果的问题，本文提出一种基于深度学习的机械臂视觉系统。给
出了由英伟达Jetson TX2开发板、深度摄像头和机械臂组成的系统总体框架，阐述了系统在实现过程中
软硬件设计思路，重点研究了深度学习模型在机械臂视觉中的应用。测试结果表明：针对苹果、梨和芒
果等水果进行识别抓取过程中，系统可稳定运行且机械臂抓取目标水果精准度高，降低了传统机械臂系
统抓取目标水果的成本，实现了与深度学习的结合，达到了精准识别抓取目标水果的目的，在水果分拣
方面具有很好的应用前景。
关键词 深度学习；深度摄像头；英伟达Jetson TX2；机械臂
doi：10.3969/j.issn.1672-9528.2020.08.069
* 北京工商大学计算机与信息工程学院 食品安全大数据技术北京市重点实验室 北京 100048[基金项目] 教育部2018年第二批产学合作协同育人项目（201802038008）；科技创新服务能力建设（PXM2018_014213_000033）；北京工商大学研究生培养-研究生教育质量提升计划项目（19008001491)0 引言
当前水果分类属于物体目标分类检测算法的一个常用分
支。在实际分拣过程中，随着水果品种不断增多，需要大量
的分拣员及时对水果进行分类，而传统的识别方式显然造成
了大量的人力物力的浪费[1]。机械臂视觉抓取行为在机器人
学、控制理论的基础上，融合了计算机视觉理论、深度学习、
物联网[2]和人工智能[3]等学科知识，具有重要的科研和应
用价值[4]。近年来机械臂系统被广泛应用，然而人们希望机
械臂系统可以更加智能且精准地抓取目标水果。传统机械臂