【CN109910014A】基于神经网络的机器人手眼标定方法【专利】

合集下载

一种机器人线激光快速手眼标定方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202011209147.3(22)申请日 2020.11.03(71)申请人武汉数字化设计与制造创新中心有限公司地址 430000 湖北省武汉市东湖新技术开发区里沟南路8号武汉智能装备园研发大楼5楼(72)发明人彭芳瑜　杨岑岑　吉鹏晖　周林　邓犇　唐小卫　(74)专利代理机构武汉知产时代知识产权代理有限公司 42238代理人易滨(51)Int.Cl.B25J 9/16(2006.01)(54)发明名称一种机器人线激光快速手眼标定方法(57)摘要本发明提供一种机器人线激光快速手眼标定方法，包括：将线激光相机安装在机器人末端，完成安装调试，同时准备一个顶部存在尖点的顶针；使用线激光相机照射顶针，标定变换矩阵的z向分量；保持线激光相机姿态不变，移动线激光相机照射顶针，标定变换矩阵的x向分量；求解变换矩阵的y向分量，并用于校正变换矩阵的x向分量；多次变换线激光相机的姿态，照射顶针，标定变换矩阵的位置分量；整合得到手眼变换矩阵。

本发明的有益效果：采用分解标定方法，简化了标定方程的求解；采用标定——校正——标定方法，提高了手眼标定精度。

权利要求书1页说明书6页附图2页CN 112549018 A 2021.03.26C N 112549018A1.一种机器人线激光快速手眼标定方法，其特征在于，包括以下步骤：S101：将线激光相机安装在机器人末端，完成安装调试，并准备一根顶部存在尖点的顶针置于工作台；S102：调整机器人，保持线激光相机姿态不变，以不同方式移动线激光相机，使线激光中心光束与顶针尖点多次重合，从而计算标定变换矩阵的z向分量；S103：调整机器人，保持线激光相机姿态不变，移动线激光相机照射顶针，并使线激光相机沿着激光线的方向进行移动，标定变换矩阵的x向分量；所述激光线经过顶针尖点但激光线中心不与顶针尖点重合；S104：求解变换矩阵的y向分量，并用于校正变换矩阵的x向分量；S105：多次变换线激光相机的姿态，照射顶针，标定变换矩阵的位置分量；S106：根据变换矩阵的x、y、z向分量整合得到手眼变换矩阵。

手眼标定方法

手眼标定方法
手眼标定是一种机器人控制技术，通过确定机械臂末端执行器的位置与相机视野之间的转换矩阵，匹配机器人运动和视觉信息。

这种标定方法在各种机器人应用中都非常常见，如机器人装配、质量检查和路径规划等。

手眼标定方法涉及机器人手臂和相机之间的几何关系。

它需要测量机器人末端执行器在特定位置走到相机视野的方式。

最常用的方法是将相机放在对准装有补偿圆柱体的标定架的位置上。

通过缩放标定架和坐标系之间的位置完成机器人与相机之间的关系的录入。

手眼标定的目标是获得机器人基坐标系（即机器人末端执行器的坐标系）与相机坐标系之间的转换矩阵。

手眼标定方法有许多实现，例如基于自动化算法和基于手动标定的方法。

在基于自动化算法的标定方法中，机器人手臂可以在自由空间中执行多个机器人姿态和相机影像，而自动化算法将执行所有必要的转换和图像处理，以推断两个参考帧之间的变换。

必要时，算法将放大探测误差并纠正最终结果。

与基于自动化算法的方法不同，基于手动标定的方法通常要求操作员在特定的检测环境中制定一系列指令，以执行机器人和相机的各种姿
态和运动。

在操作员完成该序列后，系统需要测量所有数据点，从而将两个相对位置之间的3D几何附加到标定程序中。

手眼标定方法需要一些专业的知识，因此在实际应用中，许多人使用商业软件工具进行标定，以便快速而准确地获得标定结果。

总之，手眼标定方法是一种非常常用的机器人控制技术，计算机视觉的发展有助于该技术的不断完善。

在未来，手眼标定方法将越来越重要，因为机器人技术的发展需要更精确和高效的控制方法来高效地把握机器人的动作特性。

机器人手眼系统的标定方法分析与比较

机器人手眼系统的标定方法分析与比较摘要：机器人手眼系统的准确标定对于机器人精准操作至关重要。

本文将分析和比较目前常用的机器人手眼系统标定方法，包括基于外部跟踪技术的标定方法、基于视觉特征的标定方法、基于运动约束的标定方法和基于自标定的方法。

通过比较各种方法的优缺点，旨在为机器人手眼系统的标定提供参考。

1. 引言机器人手眼系统即机器人手部和眼部的结合，是实现机器人精准操作的关键。

机器人手眼系统的精确标定对于提高机器人的操作精度至关重要。

标定系统包括标定板、相机、机器人手部和机器人控制系统等多个部分。

因此，针对机器人手眼系统的准确标定方法是一个极其重要且复杂的问题。

2. 基于外部跟踪技术的标定方法基于外部跟踪技术的标定方法使用外部传感器（如激光测距仪或相机）来追踪机器人手部和相机的运动轨迹，并通过计算来确定二者之间的相对关系。

这种方法的优势在于实时性好，定位准确。

然而，它需要额外的外部传感器并且对空间环境要求较高。

3. 基于视觉特征的标定方法基于视觉特征的标定方法是通过找到机器人手部和相机图像中的特征点，并计算它们在空间中的对应关系来进行标定。

这种方法不需要额外的外部传感器，只需利用相机获取图像信息。

优点是简单、灵活，但存在视觉特征提取困难、特征匹配误差的挑战。

4. 基于运动约束的标定方法基于运动约束的标定方法是通过分析机器人手部和相机在运动过程中的约束关系来进行标定。

这种方法充分利用了机器人手部和相机之间的物理关系，减少了外部传感器的需求。

然而，该方法对系统的运动模型要求较高，且计算过程较为复杂。

5. 基于自标定的方法基于自标定的方法是通过让机器人手部和相机自行完成一系列视觉和运动操作，从而实现标定过程。

该方法不需要任何外部帮助，可自适应不同的场景，具有较好的鲁棒性。

但准确性较低，并且需要较长时间的训练。

6. 方法比较与总结通过比较以上四种常用的机器人手眼系统的标定方法，我们可以看出每种方法都有其独特的优缺点。

两种手眼标定方法

两种手眼标定方法手眼标定是指机器人视觉引导的过程中，将相机的视野与机器人的运动空间进行关联，以实现准确的操作。

手眼标定方法的选择对于机器人系统的准确性和稳定性具有重要影响。

目前，常见的手眼标定方法包括基于外观的特征匹配方法和基于内参标定的方法，下面将详细介绍这两种方法。

1.基于外观的特征匹配方法：基于外观的特征匹配方法是指通过相机采集场景中的图像，利用图像中的特征点或线段等视觉特征与机器人末端执行器上的特征点或标志物进行匹配，然后计算相机的外部参数与机器人的末端执行器之间的关系。

常用的特征匹配算法包括SIFT（尺度不变特征变换）、SURF（加速稳健特征）、ORB（Oriented FAST and Rotated BRIEF）等。

这些算法通过对图像的特征点进行检测、描述和匹配，能够实现比较精确的手眼标定。

该方法的优点在于对标定板等外部标定物的依赖性较小，适用范围广泛，不受特定目标限制；但缺点是对图像质量和环境光照变化较为敏感，对计算资源的需求较高。

2.基于内参标定的方法：基于内参标定的方法是指在相机采集图像的通过相机固有的内部参数进行标定，如相机的焦距、主点、畸变等，并利用机器人运动学模型推导出相机与机器人末端执行器之间的位姿关系。

这种方法需要事先对相机内参进行精准标定，并需要较为准确的机器人运动学模型和外部传感器的辅助。

优点在于对图像质量和环境光照变化的要求较低，较为稳健；缺点在于需要事先进行相机内参标定，对运动学模型的精准度要求较高。

基于外观的特征匹配方法适用范围广泛，但对图像质量和环境光照的要求较高；基于内参标定的方法相对稳健，但需要事先对相机内参进行精准标定。

在实际应用中，可以根据具体需求和实际情况选择适合的手眼标定方法，以实现机器人系统的准确操作。

一种基于扫描仪的机器人手眼标定方法[发明专利]

专利名称：一种基于扫描仪的机器人手眼标定方法专利类型：发明专利
发明人：严思杰,李斌,徐小虎,朱大虎,丁汉
申请号：CN201510483410.0
申请日：20150803
公开号：CN105014679A
公开日：
20151104
专利内容由知识产权出版社提供
摘要：本发明公开一种基于扫描仪的机器人手眼标定方法，包括：建立机器人末端工具坐标系相对于机器人基座标系的变换矩阵；建立扫描仪坐标系相对于机器人的基座标系的变换矩阵；通过计算建立扫描仪坐标系与机器人末端工具坐标系之间的关系，完成机器人基于扫描仪的定位精度的标定。

本发明完成了机器人基于扫描仪的定位精度的标定,以此来计算扫描仪相对于机器人的固定位置关系,从而再利用扫描仪来对机器人末端加持工具进行扫描，得到机器人末端的工具相对于机器人末端坐标系的实际位置，克服了由于安装等技术操作上的不精确而产生的误差，使得标定后的工业机器人能够在不同的场合完成对工件的精确扫描，提高了加工的精度。

申请人：华中科技大学无锡研究院
地址：214174 江苏省无锡市惠山区堰新路311号创业中心3号楼11楼
国籍：CN
代理机构：北京品源专利代理有限公司
更多信息请下载全文后查看。

一种机器人延伸手眼标定方法[发明专利]

专利名称：一种机器人延伸手眼标定方法专利类型：发明专利
发明人：魏振忠,高明,张广军,孙军华
申请号：CN200710179004.0
申请日：20071207
公开号：CN101186038A
公开日：
20080528
专利内容由知识产权出版社提供
摘要：本发明提供了一种机器人延伸手眼标定方法，在该方法中，设置辅助摄像机，分别计算辅助摄像机坐标系与延伸手坐标系之间的空间转换关系、以及辅助摄像机坐标系与中介靶标坐标系之间的空间转换关系；计算眼摄像机坐标系与中介靶标坐标系之间的空间转换关系；之后，根据计算出的上述空间转换关系计算得到眼摄像机坐标系与延伸手坐标系之间的空间转换关系，即实现了机器人延伸手眼的标定。

本发明提供的机器人延伸手眼标定方法应用成本低，易于操作，且能够增强现场标定的便捷性和可靠性。

申请人：北京航空航天大学
地址：100083 北京市海淀区学院路37号
国籍：CN
代理机构：北京汇泽知识产权代理有限公司
代理人：张颖玲
更多信息请下载全文后查看。

机器人手眼标定方法、装置、计算设备、介质以及产品[发明专利]

专利名称：机器人手眼标定方法、装置、计算设备、介质以及产品
专利类型：发明专利
发明人：贺银增,陈颀潇
申请号：CN201980098348.X
申请日：20190719
公开号：CN114174006A
公开日：
20220311
专利内容由知识产权出版社提供
摘要：一种机器人手眼标定方法、装置、计算设备、介质以及产品。

方法包括：控制机器人手臂(102)末端的标定装置(108)移动至标定板(112)，当机器人手臂(102)上的力传感器(104)检测到标定装置的末端(110)与标定板(112)的接触达到预定大小的力时，机器人手臂(102)停止移动，标定装置的末端(110)在其与标定板(112)的接触位置处进行标记，机器人手臂(102)在垂直于标定板(112)的方向上向上移动至机器人手臂(102)末端处于预定高度的位置处停止，在该位置处，机器人手臂(102)末端的相机(106)对标定板(112)上的标记进行拍摄，记录标记在相机坐标系下的坐标，并且记录机器人手臂(102)停止在该位置处时，标定装置的末端(110)在机器人坐标系下的坐标；根据所记录的标定板(112)上的至少三个标记在相机坐标系下的坐标和对应的标定装置的末端(110)在机器人坐标系下的坐标来计算标定变换矩阵。

申请人：西门子(中国)有限公司
地址：100102 北京市朝阳区望京中环南路7号
国籍：CN
代理机构：北京康信知识产权代理有限责任公司
代理人：赵冬梅
更多信息请下载全文后查看。

基于神经网络的机器人手眼无标定平面视觉跟踪

基于神经网络的机器人手眼无标定平面视觉跟踪潘且鲁;苏剑波;席裕庚【期刊名称】《自动化学报》【年(卷),期】2001(027)002【摘要】在手眼关系及摄像机模型完全未知的情况下，建立了眼在手上机器人平面视觉跟踪问题的非线性视觉映射模型，将图像特征空间和机器人工作空间紧密地联系起来.在此基础上，设计了基于人工神经网络的视觉跟踪控制方案，将视觉跟踪问题转化为图像特征空间中的定位问题.仿真结果表明该算法能完全消除稳态跟踪误差，具有很强的环境适应性和容错能力，算法简单，易于实时实现.%In this paper, without explicit external and internal calibration, we propose a nonlinear visual mapping model for the eye-in-hand robotic visual tracking problem, which connects the image feature space with the robotic work space tightly. Moreover, a new visual control scheme based on artificial neural network is designed, and the visual tracking problem is converted into a servo problem in image feature space. Simulation results show that this method can drive the static tracking error to zero quickly and keep good robustness and adaptability at the same time. Additionally, the algorithm is very easy to be implemented with low computational complexity.【总页数】6页(P194-199)【作者】潘且鲁;苏剑波;席裕庚【作者单位】上海交通大学自动化研究所;上海交通大学自动化研究所;上海交通大学自动化研究所【正文语种】中文【中图分类】TP1【相关文献】1.基于优化神经网络ADRC的机器人无标定视觉跟踪 [J], 刘晓丽;李兰英;何勇2.基于自抗扰控制器的机器人无标定三维手眼协调 [J], 马红雨;苏剑波3.基于自抗扰控制器的机器人无标定手眼协调 [J], 苏剑波;邱文彬4.眼在手上机器人手眼无标定三维视觉跟踪 [J], 潘且鲁;苏剑波;席裕庚5.机器人无标定手眼协调系统视觉跟踪 [J], 秦伟洋;岳晓峰;吴焕新;张鹏飞因版权原因，仅展示原文概要，查看原文内容请购买。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910276856.4
(22)申请日 2019.04.08
(71)申请人上海嘉奥信息科技发展有限公司
地址 201304 上海市浦东新区书院镇丽正
路1628号4幢1-2层
(72)发明人肖建如　吕天予　
(74)专利代理机构上海汉声知识产权代理有限
公司 31236
代理人庄文莉
(51)Int.Cl.
B25J 9/16(2006.01)
(54)发明名称
基于神经网络的机器人手眼标定方法
(57)摘要
本发明提供一种基于神经网络的机器人手
眼标定方法，确定NDI坐标系、NDI工具坐标系、机
器人坐标系；根据NDI坐标系和工具坐标系，对机
械臂TCP末端的工具尖端进行位置标定，得到工
具尖端位置；采集m个点集组，每个点集组分别包
括NDI坐标系下的工具尖端的坐标位置、机器人
坐标系下的工具的位置和旋转矩阵，基于罗德里
格旋转公式对从机器人坐标系转换到NDI坐标系
的转换矩阵进行转换，构建正向传播网络，基于
正向传播网络，生成反向传播网络，得到参数的
偏导数；采用牛顿梯度下降进行计算，得到手眼
标定矩阵。

本发明方便快捷，易于实施，标定精
确，在标定过程中无需机械臂绕一点转动，可在
空间中任意采集姿态。

权利要求书1页说明书5页附图1页CN 109910014 A 2019.06.21
C N 109910014
A
1.一种基于神经网络的机器人手眼标定方法，其特征在于，包括：
坐标系确定步骤：分别确定红外定位装置NDI的NDI坐标系、机械臂TCP末端的NDI工具坐标系、机器人坐标系；
尖端标定步骤：根据NDI坐标系和工具坐标系，对机械臂TCP末端的工具尖端进行位置标定，得到工具尖端位置；
数据采集步骤：采集m个点集组，每个点集组分别包括NDI坐标系下的工具尖端的坐标位置P ndi 、机器人坐标系下的工具的位置和旋转矩阵M robot ，设置NDI工具坐标系下工具尖端的位置P robot ，从机器人坐标系转换到NDI坐标系的转换矩阵M robot2ndi ，所述工具尖端的坐标位置P ndi 满足P ndi ＝M robot2ndi *M robot *P robot ；
神经网络构建步骤：基于罗德里格旋转公式对转换矩阵M robot2ndi 进行转换，构建正向传播网络，基于正向传播网络，生成反向传播网络，得到参数的偏导数；
坐标求解步骤：基于偏导数，采用牛顿梯度下降进行计算，得到手眼标定矩阵。

2.根据权利要求1所述的基于神经网络的机器人手眼标定方法，其特征在于，所述尖端标定步骤是将工具尖端插入机械臂工具中，以设定角度做绕点旋转运动，采用最小二乘法求出尖端位置。

3.根据权利要求2所述的基于神经网络的机器人手眼标定方法，其特征在于，所述设定角度是30度至45度。

4.根据权利要求1所述的基于神经网络的机器人手眼标定方法，其特征在于，所述NDI 坐标系是NDI红外定位装置的坐标系；
所述NDI工具坐标系是绑定在工具上的四个红外小球构成结构所定义的坐标系；所述机器人坐标系是机器人底座中心所在位置的坐标系。

5.根据权利要求1所述的基于神经网络的机器人手眼标定方法，其特征在于，所述对转换矩阵M robot2ndi 进行转换使用以下公式：
θ←norm(r)
r ←r/
θ
其中，θ表示绕旋转轴旋转的角度；
r表示旋转轴；
norm(r)表示旋转轴单位向量；
r T 表示旋转轴的转置；
r x 、r y 、r z 分别表示旋转轴向量的xyz分量；
I表示单位矩阵；
R表示旋转矩阵。

6.根据权利要求1所述的基于神经网络的机器人手眼标定方法，其特征在于，采用tensorflow工具正向传播网络、生成反向传播网络，得到参数的偏导数。

权　利　要　求　书1/1页2CN 109910014 A。