机器人手眼立体视觉标定研究_杨世强
基于结构光视觉引导的工业机器人定位系统设计分析
基于结构光视觉引导的工业机器人定位系统设计分析研究提出了基于线结构光视觉引导下的工业机器人定位系统，其视觉传感器选择的是线结构光自扫描测量装置，在振镜转动作用下完成激光平面对目标对象的扫描，进而得到目标对象处于相机坐标系下的三维位姿。
然后采用机器人手眼关系联合工具坐标系标定法，对随机位姿目标对象进行工业机器人三维定位，结果证实该系统定位精度高、灵活性强，稳定性高，能够满足工业现场需求。
标签：结构光视觉；工业机器人；定位系统1 系统标定1.1 线结构光自动扫描装置参数设定线结构光装置参数如图1所示。
先要对相机内的参数进行标定，然后拍摄二维棋盘靶标图像，其主要反映的是在工作范围内不同的位姿，结合张正友摄像机标定算法合理设置相机内参数，用f表示相机焦距，主点坐标为（u0，v0），k1、K2、p1、p2均表示畸变系数。
振镜转轴主要指的是各个电压下出射光平面的交线，其垂直于各光平面法向量，将振镜转轴方向向量与光平面法向量相乘，可以得到优化目标，Xw轴方向上的向量在振镜坐标系，也能得到[2]。
控制电压表示为U0，振镜坐标系yw轴方向的向量也可以当做是Zw轴方向向量，可以采用Xw×Yw表示。
根据上述可以得到振镜坐标系下出射光平面的方程：cos·yw+sin·Zw。
通过目标点的坐标处于振镜坐标系下（xw，yw，zw）的相關数值能够计算出。
齐次变换矩阵主要利用相机坐标系与振镜坐标系相结合的方式计算，进而得到其坐标在目标点下为（xe，ye，ze）。
1.2 机器人手眼关系标定传统对视觉系统手眼关系标定主要是在机器人法兰末端固定上棋盘靶标，棋盘靶标会随着机器人运动而不断运动，棋盘靶标不论处于哪种位姿，都能够被纳入到相机拍摄范围，进而正确判断、处理机器人与相机所处的位姿关系。
本次研究则采用的是手眼关系与工具坐标系联合标定的方式，在工具一侧固定伤期盼靶标，其会随着工具运动而运动，此时相机不仅能够对不同位姿棋盘靶标进行拍摄，而且能够对机器人处于该位置的位姿进行记录。
OpenCV机器人手眼标定（九点标定法）
OpenCV机器⼈⼿眼标定（九点标定法） 对于初学者⽽⾔，对相机的标定经常模糊不清。
不知道机器坐标与相机坐标如何转换，两个坐标系⼜是如何建⽴？ 我们通常是利⽤张⽒标定法，针对于相机的畸变进⾏标定，利⽤校正得到的参数对图形进⾏处理后再呈现出来。
这个⽅法⽹上⽤的⼈很多，资料也较为全⾯。
这⾥就不做说明了。
本⽂主要是针对机械⼿的⼿眼标定，⼀般⽽⾔⽬前相机的畸变较⼩，精度也较为准确，使⽤该⽅法进⾏标定也能得到较好的效果。
⾸先，对于九点标定⽽⾔。
我们使⽤到的是OpenCv中的estimateRigidTransform 函数。
函数定义如下：Mat estimateRigidTransform(InputArraysrc,InputArraydst,boolfullAffine)前两个参数，可以是：src=srcImage (变换之前的图⽚Mat) dst=transImage（变换之后的图⽚Mat）也可以： src=array（变换之前的关键点Array） dst=array（变换之后的关键点Array）第三个参数： 1（全仿射变换,包括：rotation, translation, scaling,shearing,reflection）其主要原理为：如果我们有⼀个点变换之前是[x,y,1],变换后是[x’,y’,1] 则fullAffine表⽰如下:TX=Y展开后表⽰如果我们想求这【a-f】 6个变量需要有6个⽅程，也就是3组点。
但是⽐三个点多呢？⽐如：20个点。
那就是⽤最⼩⽅差。
标定步骤1、⾸先我们需要准备⼀块，标定板。
如果条件不⾜，可以使⽤⽩纸画上九个圆进⾏代替。
2、相机位置，机械⼿位置全部固定好，标定针固定在机械⼿上，固定好后不能够再移动。
标定针的位置⼀定要与夹⼿或吸盘之内的⼯具同⼀位置⾼度。
3、将标定板放到相机下⽅，位置区域要与机械⼿⼯作的区域⼀样，包括⾼度必须尽量⼀致，这是标定准确度的关键。
手眼标定操作方法
手眼标定操作方法手眼标定是指通过计算机视觉技术，将机器手臂与视觉传感器之间的相对位置和姿态关系进行确定的过程。
手眼标定是机器人视觉导航和操作中的重要环节，对于实现精确的机器人姿态控制和操作准确性至关重要。
下面将详细介绍手眼标定的操作方法。
1. 实验环境准备首先，需要准备一个标定场景。
场景中需要有一个待移动物体（可以是一个标定棋盘格等），一个机器人手臂，以及至少一个视觉传感器。
此外，还需要安装一套机器人视觉导航软件和相应的标定工具。
2. 视觉传感器标定一般来说，先进行视觉传感器的相机标定。
相机标定是确定相机内外参数的过程，主要包括相机镜头的焦距、畸变参数、相机光心等。
可以使用棋盘格标定法或多角度标定法等进行视觉传感器的标定。
3. 机器人手臂标定然后，进行机器人手臂的标定。
手眼标定是将机器人末端执行器与视觉传感器之间的相对位置和姿态关系进行确定的过程。
可以使用机器人自带的标定工具进行标定，或者借助外部标定工具。
标定要求手臂末端执行器对准标定物体，通过运动学逆解算法计算手臂的关节角度和末端执行器的位姿。
4. 标定数据采集在进行手眼标定之前，需要采集一系列机器人手臂末端执行器和视觉传感器之间的位姿数据。
这些数据可以通过机器人手臂的关节角度和末端执行器的位姿进行测量，或者使用外部的测量设备进行数据采集。
采集的数据应该包括机器人手臂末端执行器的姿态和视觉传感器的位姿。
5. 标定方法选择根据实际情况选择合适的手眼标定方法。
常用的手眼标定方法包括点对点法、体素法、直接解法、最小二乘法等。
不同的方法适用于不同的标定场景和数据集。
在选择方法时，应考虑标定精度、计算复杂度和数据适应性等因素。
6. 标定参数计算通过所选择的标定方法，计算机器人手臂和视觉传感器之间的相对位置和姿态关系。
这些参数可以用于机器人导航和操作中的姿态控制和精度校准。
7. 标定结果评估使用标定结果进行相关精度评估。
可以通过将机器人手臂移动到不同位置，与标定棋盘格或其他标定物体进行匹配，检查机器人手臂的姿态控制和操作精度是否达到要求。
一种固定视点的机器人手眼关系标定方法
2
中国测试
2018 年 6 月
生产应用中的柔性和智能化程度，极大提升了生产 效率和自动化水平[1-3]。
视觉系统与机器人关联方式主要有两种：非固 定 视 点 的 视 觉 （ eye-in-hand） 和 固 定 视 点 的 视 觉 （eye-to-hand）[4]。非固定视点的机器人视觉，摄像机 通常安装在机械手末端，并随着机械手末端移动， 是机器人实现主动视觉的主要途径；固定视点的机 器人视觉，摄像机和机械手分离，摄像机安装位置 固定且静置，因此系统结构安装方便，视觉系统不 会因为机器人运动而导致结构变化，精度相对较 高，在工业机器人上应用也比较广泛[5-6]。
目视觉测量值标定手眼关系中的平移矩阵。经视觉关联机器人定位准确度试验验证，使用该方法进行手眼关系标定
后，定位准确度空间距离偏差均值为 0.53 mm，标准差为 0.19 mm。该方法无需复杂求解，即可实现较高准确度，具
有一定应用价值。
关键词: 机器人; 固定视点; 手眼关系标定; 双目视觉
文献标志码: A
本文将阐述一种固定视点的机器人手眼关系标定方法根据固定视点机器人及视觉系统结构特点在双目立体视觉测量的基础上控制机械臂末端做3次平移运动和1次旋转运动通过双目相机获取测量点在相机坐标系下的坐标建立机器人基坐标系和相机坐标系之间相对位置关系的约束方程组线性求得相机坐标系和机器人基坐标系的转换矩阵无需复杂求解操作过程简单
摘 要: 针对固定视点的机器人手眼关系标定问题，根据固定视点机器人及视觉系统结构特点，提出一种固定视点机
器人手眼关系求解方法。该方法在双目视觉测量的基础上，首先控制机械臂末端进行 3 次平移运动，通过末端平移
量及双目视觉测量值标定手眼关系中的旋转矩阵；接下来控制机械臂末端进行 1 次旋转运动，通过末端旋转量及双
基于3D视觉传感器的龙门架机器人手眼标定方法
DOI:10.12086/oee.2021.200239机器人手眼标定方法程麒1，潘丰1*，袁瑜键21江南大学轻工过程先进控制教育部重点实验室，江苏无锡 214122；2无锡信捷电气股份有限公司，江苏无锡 214072摘要：针对龙门架机器人末端执行机构只具有三个正交方向上的平移自由度的工作特性，参照传统手眼标定的两步法，设计了一种直接对3D视觉传感器的点云坐标系与机器人执行机构的工具坐标系进行手眼标定的方法。
该方法只需要操作机器人进行两次正交的平移运动，采集三组标定板图片和对应点云数据，并通过执行机构的工具中心点(TCP)接触式测量出标定板上标志点的基坐标值，即可解算出手眼关系的旋转矩阵和平移矢量。
该方法操作简单，标定板易于制作且成本低。
采用XINJE龙门架机器人与3D视觉传感器搭建实验平台，实验结果表明，该方法具有良好的稳定性，适合现场标定，标定精度达到±0.2 mm。
关键词：视觉引导；手眼标定；龙门架机器人；3D视觉传感器；点云中图分类号：TP241.2 文献标志码：A程麒，潘丰，袁瑜键. 基于3D视觉传感器的龙门架机器人手眼标定方法[J]. 光电工程，2021，48(4): 200239Cheng Q, Pan F, Yuan Y J. Hand-eye calibration method of gantry robot based on 3D vision sensor[J]. Opto-Electron Eng, 2021, 48(4): 200239Hand-eye calibration method of gantry robot based on 3D vision sensorCheng Qi1, Pan Feng1*, Yuan Yujian21Key Laboratory of Advanced Process Control for Light Industry (Ministry of Education), Jiangnan University, Wuxi, Jiangsu 214122, China;2XINJE Electronic Limited Company, Wuxi, Jiangsu 214072, ChinaAbstract:Aiming at the working characteristics of the end-effector of the gantry robot with only three translational degrees of freedom, a method for calibrating the point cloud coordinate system of the 3D vision sensor and the tool coordinate system of the robot actuator is designed, on the basis of the traditional two-step method of hand-eye calibration. In this method, only three calibration target pictures and three sets of point clouds are collected by two orthogonal translation movements of the robot, the rotation matrix and translation vector of the hand-eye relationship can be calibrated by measuring the base coordinates of mark points on the target through the TCP contact of the actuator. The method is simple to operate, and the calibration target is easy to make with low cost. The XINJE gantryrobot and 3D vision sensor of structured light was used to build an experimental platform for experiments. The——————————————————收稿日期：2020-06-28；收到修改稿日期：2020-11-10基金项目：国家自然科学基金资助项目(61773182)作者简介：程麒(1995-)，男，硕士研究生，主要从事工业机器人视觉系统的设计。
手眼标定原理
手眼标定原理
手眼标定是指确定机器人系统的相机坐标系与机器人基坐标系之间的转换关系，以实现机器人系统与相机的协同工作。
其原理是通过采集多组相机与机器人末端执行器在不同位置下的图像与位姿数据来建立二者之间的关系模型。
在手眼标定的过程中，需要使用一个已知精度的标定板或者特征点作为参考物体。
首先需要让机器人运动到不同的位置，然后使用相机拍摄标定板或者特征点的图像，并记录机器人末端执行器的位姿。
接下来，利用计算机视觉算法识别出标定板或者特征点在图像中的位置，得到相机的内外参数以及特征点在相机坐标系下的位置。
同时，通过机器人反馈的位姿数据得到机器人末端执行器的位置信息。
最后，通过将相机坐标系下的特征点位置与机器人基坐标系下的末端执行器位置进行配准，可以得到机器人和相机之间的转换矩阵。
这个转换矩阵可以用来将相机坐标系下的点转换到机器人基坐标系下，从而实现机器人与相机的协同工作。
手眼标定的目的是为了在机器人操作过程中，能够准确地计算出相机所看到的物体在机器人基坐标系下的位置信息，以实现精确的控制和操作。
通过手眼标定，可以提高机器人的工作精度和稳定性，提高机器人系统的自动化水平和应用范围。
优化的手眼标定
而是使用了螺旋理论。Wang 1992 年的的文献[6]比较了文献[1]和文献[2]，并得出了[2]具有 轻微优势的结论。Zhuang 和 Shiu 1993 的文献[7]对两部分进行了非线性优化，最小化转换同 质矩阵的误差的一个类似于 F 范数的表达式。 他们额外提供了不考虑相机转动来进行估计的 一种可能。Fassi 和 Legnani 在 2005 年提出了一个相似的解法[8]。Park 和 Martin 1994 年的 文献[9]用同样的方式进行了非线性优化，但还是采用了旋转平移分离的公式。Lu 和 Chou 1995 年的文献[10]引入了基于四元数的 eight-space 公式，应用奇异值分解同时线性优化了 两个部分。Horaud 和 Dornaika 1995 年的文献[11]一对一地非线性优化了旋转部分（四元数 形式）和平移部分。Wei，Arbter 和 Hirzinger 1998 年的文献[12]通过非线性最小化代数距离 来同时进行手眼和相机标定。 Daniilidis 1999 年的文献[13]引入了双重四元数——一种用于描 述运动的螺旋理论代数表示。这使得作者能够发现一种快速的基于奇异值分解的联合解法， 以在线性公式内求解旋转和平移部分。 Bayro-Corrochano 等在 2000 年的文献[14]用同样方法 产生了基于奇异值分解的解法， 在几何代数框架内解决使用多个发动机的耦合问题。 Andreff 等在 2001 年的文献[15]正确地采用这个公式解决了 X-from-motion 问题——参见 2-C 节。他 们通过提升旋转部分的维数摆脱了 SO (3) （3X3 矩阵的特殊正交群或三维空间的旋转群）的 非线性正交约束，并且成功地将问题表述为一个单独的同质线性系统。 2)同时估计手眼转换关系和机器人到世界坐标的转换关系：也即 AX = ZB ，其中 A 是相机 坐标系 SC 相对于 SO 的位姿 oT c ， B 是机器人工具中心点 ST 相对于 S B 的坐标 bT t ， X 和 Z 分别是待确定的手-眼、世界坐标-机器人基座转换关系，也就是 cT t 和 oT b 。据我们所知，是 Wang 在 1992 年的文献[6]首先显式地提出了此公式用于手眼标定。令人惊讶的是，本文中 提到的后续研究没有一例参考他的文献。Zhuang 等 1994 年的文献[16]应用四元数并以奇异 值分解获得旋转部分的简单线性求解。Remy 等 1997 年的文献[17]通过最小化 SO 中重投影 三维欧式误差距离非线性优化了两部分。Dornaika 和 Horaud 1998 年的文献[18]通过四元数 线性解决了旋转问题同时通过一对一地最小化 F 范数和两个惩罚函数非线性优化了两个部 分——参见第 3 节。其他解法集成了手眼标定和原有的相机标定并且最小化了图像框架误 差的均方根。 两种解法的优化标准常常是次优的， 并且没有关注正确的参数化过程。 既然基于模型的标定 的目的是对系统模型的正确参数化， 当关于实际错误元素的模型拟合误差最小时才能得到最 大精度优化的标定。基于此，我们提出了一种刚体转换矩阵 SE (3) 的度量标准。 此外，考虑到文献[17]的例外，我们并未给出对于这些非常不同的解法的彻底比较。针对两 种途径， 本文展示了最精确的算法以及此处提出的方法。 并对他们涉及到问题本质的应用进 行评价。 本文结构如下：第 2 节阐述了手眼标定问题和与其最相关的公式。第 3 节展示了一种对于
机器人视觉传感器的标定与校正技术研究
机器人视觉传感器的标定与校正技术研究机器人视觉系统的发展，使得现代制造业可以更加高效地完成工业生产。
其中关键的一环就是视觉传感器的标定与校正技术。
机器人视觉传感器的标定与校正技术，是指将机器人视觉传感器的实际测量结果修正为实际测量值。
下文将探讨机器人视觉传感器的标定与校正技术。
一、机器人视觉传感器的标定机器人视觉传感器的标定是指将机器人视觉传感器的坐标系与机器人末端执行器坐标系、或机器人基坐标系建立对应关系。
标定的精度对于机器人的运动轨迹和定位精度有着非常重要的影响。
因此，为保证机器人视觉传感器的测量精度，需要通过标定校正来控制误差。
标定误差包括固有误差和随机误差。
1、固有误差固有误差是由于机器人系统自身结构和设计带来的固有误差。
因为所有影响机器人测量精度的因素相互作用，导致误差会增加，机器人系统特别容易受固有误差影响。
固有误差包括摆线误差、倾斜误差和回复误差等。
2、随机误差随机误差是由于外界因素的随机干扰的随机误差。
随机误差包括传感器的分辨率、环境条件、光线和传输信号等。
为解决固有误差和随机误差，机器人视觉传感器的标定就显得尤为重要。
二、机器人视觉传感器的校正机器人视觉传感器的校正是指根据已知目标特征和传感器测量结果，对机器人视觉传感器的内部参数进行修正，进而提高机器人系统的测量准确性。
机器人视觉传感器的校正即是基于之前标定得到的标定参数建立的。
校正常采用以下两种方法：1、基于特征的校正该方法使用物体表面的特征点进行标定，提高标定效果，同时使用标记点进行标定使标定能够更好的完成。
此时，机器人视觉传感器和标记点的正确匹配是非常重要的，因此可以在标记点的位置加上红绿青的或其他颜色来使标定工作更加轻松。
2、基于拍摄图像的校正基于拍摄图像的校正是一种简单高效的校整方法。
该方法基于物体表面的部分图像，根据拍摄的图像中相邻两幅图像的坐标系建立起目标物体的三维坐标系，再通过射线追踪算法和相机位置计算器确定机器人视觉传感器的参数误差同时校正。