手眼立体视觉的算法与实现
《2024年单目多视角三维重建算法设计与实现》范文
《单目多视角三维重建算法设计与实现》篇一一、引言随着计算机视觉技术的不断发展，三维重建技术在众多领域中得到了广泛应用，如无人驾驶、虚拟现实、三维测量等。
其中，单目多视角三维重建算法是一种重要技术，通过对同一物体在不同角度的图像进行融合与分析，以获得更准确的深度信息，最终实现物体的三维重建。
本文旨在详细阐述单目多视角三维重建算法的设计与实现过程。
二、相关背景及研究现状近年来，随着计算机视觉技术的发展，三维重建技术在学术界和工业界都得到了广泛关注。
单目多视角三维重建算法作为其中的一种重要技术，其核心思想是利用多个不同角度的图像来恢复物体的三维结构信息。
目前，该领域的研究主要集中在算法的优化和实时性上，以提高重建的准确性和效率。
三、算法设计（一）图像获取单目多视角三维重建算法的第一步是获取同一物体的不同角度图像。
这可以通过多种方式实现，如利用相机阵列拍摄多个角度的图像，或使用单个相机在不同位置拍摄不同角度的图像。
（二）特征提取与匹配获取到不同角度的图像后，需要提取并匹配图像中的特征点。
这一步主要依赖于特征提取算法和特征匹配算法。
常用的特征提取算法包括SIFT、SURF等，而特征匹配则可以使用最近邻匹配等方法。
（三）深度估计与三维重建在完成特征提取与匹配后，需要利用这些信息来估计物体在不同角度的深度信息。
这一步通常采用立体视觉或运动恢复结构（SFM）等方法。
最后，根据深度信息和相机参数，利用三角测量法等原理进行三维重建。
四、算法实现（一）软件环境算法的实现需要一定的软件环境支持。
常用的编程语言包括C++、Python等，而计算机视觉库如OpenCV、PCL等则提供了丰富的函数和工具，有助于加速算法的实现。
（二）具体实现步骤1. 读取并预处理图像数据；2. 提取并匹配图像中的特征点；3. 根据特征匹配结果估计物体在不同角度的深度信息；4. 利用三角测量法等原理进行三维重建；5. 对重建结果进行优化和可视化处理。
手眼标定求解方法
手眼标定求解方法
手眼标定是指在机器人的操作过程中，通过对手臂末端执行器和相机的相对位置关系进行标定，实现机器人在操作中对物体的准确抓取和定位。
手眼标定求解方法是指在手眼标定过程中，求解出相机和末端执行器的相对位置和姿态信息的方法。
手眼标定求解方法主要分为以下几种：
1. 基于单应性矩阵的求解方法：该方法基于单应性矩阵的特性，通过对相机和末端执行器的图像特征进行提取和匹配，计算出单应性矩阵，从而求解出相对位置和姿态信息。
2. 基于外参矩阵的求解方法：该方法基于机器人运动学模型，通过对机器人姿态和末端执行器的位置进行测量和计算，求解出机器人的外参矩阵，从而求解出相对位置和姿态信息。
3. 基于相机位姿反演的求解方法：该方法基于相机视野和末端执行器的位置关系，通过对相机位姿的反演计算，求解出相对位置和姿态信息。
4. 基于特征点匹配的求解方法：该方法基于特征点的匹配和识别，通过对相机和末端执行器的特征点进行匹配，求解出相对位置和姿态信息。
以上是手眼标定求解方法的主要内容，不同的方法适用于不同的场景和应用需求。
在实际应用中，需要根据具体的情况选择合适的方法进行求解。
- 1 -。
双目立体视觉技术的实现及其进展
双目立体视觉技术的实现及其进展摘要：阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。
指出双目体视技术的实现分为图像获取、摄像机标定、特征提取、立体匹配和三维重建几个步骤，详细分析了各个步骤的技术特点、存在的问题和解决方案，并对双目体视技术的发展做了展望。
关键词：双目立体视觉计算机视觉立体匹配摄像机标定特征提取双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。
80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双目匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。
相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目视觉直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。
1 双目体视的技术特点双目标视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。
1.1 图像获取双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。
其针孔模型如图1。
假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。
但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。
上海交大在理论上对会摄式双目立体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。
该点测量误差与两CCD光轴夹角是---复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。
一种基于双目视觉和Halcon的高效机器人手眼标定方法
现代电子技术Modern Electronics Technique2023年7月1日第46卷第13期Jul.2023Vol.46No.130引言随着生产技术发展和产业转型升级，机器人视觉在自动化和智能化的应用越来越广，工业机器人代替人工劳动是发展的趋势[1]。
视觉是机器人的“眼睛”，利用视觉可以实现对机器人的控制和定位，如基于Kinect 视觉功能的机器人控制[2]、基于双目立体视觉的目标识别定位[3]。
其中双目立体视觉是机器人视觉的一项重要研究内容，在机械制造、智能驾驶、医疗器械等领域应用广一种基于双目视觉和Halcon 的高效机器人手眼标定方法程强1，2，黄河1，2，许静静1，2，李江晗3，李迎1，2，张涛1，2（1.北京工业大学先进制造与智能技术研究所，北京100124；2.北京工业大学先进制造技术北京市重点实验室，北京100124；3.东北农业大学电气与信息学院，黑龙江哈尔滨150006）摘要：针对机器人在标定过程中追求快速、简捷、高效的特点，提出一种基于双目视觉和Halcon 的高效机器人手眼标定方法。
基于张正友棋盘格标定法和OpenCV 中亚像素角点检测算法完成对双目相机内外参数的获取，对比运用不同的立体匹配算法和三维重建生成具有三维坐标的立体空间点云，从而得到相机坐标系下目标的位置坐标，之后取机器人坐标下的10组末端位置坐标以及相机坐标系下对应的10组位置坐标后，借助Halcon 视觉软件的vector_to_hom_mat3d 算子求解出相机和机器人坐标系的转换矩阵，完成机器人手眼标定。
经过实验验证，该标定方法平均误差为3.58mm ，满足一般机器人工作要求，并且相比传统的手眼标定无需借助复杂的标定工具，且计算过程简捷高效。
关键词：机器人标定；手眼标定；双目视觉；相机标定；立体匹配；三维重建；实验分析中图分类号：TN911.73⁃34；TP242.3文献标识码：A文章编号：1004⁃373X （2023）13⁃0035⁃08An efficient robot hand⁃eye calibration methodbased on binocular vision and HalconCHENG Qiang 1,2,HUANG He 1,2,XU Jingjing 1,2,LI Jianghan 3,LI Ying 1,2,ZHANG Tao 1,2(1.Institute of Advanced Manufacturing and Intelligent Technology,Beijing University of Technology,Beijing 100124,China;2.Beijing Key Laboratory of Advanced Manufacturing Technology,Beijing University of Technology,Beijing 100124,China;3.School of Electrical and Information,Northeast Agriculture University,Harbin 150006,China)Abstract ：In view of the robot′s pursuit of fast,simple and efficient characteristics in the calibration process,an efficient robot hand ⁃eye calibration method based on binocular vision and Halcon is proposed.The acquisition of internal and external parameters of the binocular camera is completed on the basis of checkerboard calibration method proposed by Zhang zhengyou and sub⁃pixel corner detection algorithm in OpenCV.The stereo space point clouds with 3D coordinates,which are generated by different stereo matching algorithms and 3D reconstruction,are contrasted to get the coordinate of the target location under camera coordinate system.With the help of the vector_to_hom_mat3d operator of the Halcon vision software,the transformation matrix of the camera and the robot coordinate system is solved after 10groups of terminal location coordinates under camera coordinate system and corresponding 10groups of location coordinates are obtained.And the robot hand ⁃eye calibration is completed.The results of experimental verification indicate that the average error of this calibration method is 3.58mm,whichcan meet the working requirements of general robots.In comparison with the traditional hand ⁃eye calibration,this calibration method does not need complex calibration tools,and its calculation process is simple and efficient.Keywords ：robotic calibration;hand⁃eye calibration;binocular vision;camera calibration;stereo matching;3D reconstruc⁃tion;experimental analysisDOI ：10.16652/j.issn.1004⁃373x.2023.13.007引用格式：程强，黄河，许静静，等.一种基于双目视觉和Halcon 的高效机器人手眼标定方法[J].现代电子技术，2023，46（13）：35⁃42.收稿日期：2022⁃11⁃07修回日期：2022⁃11⁃23基金项目：国家自然科学基金资助项目（5197050489）35现代电子技术2023年第46卷泛[4]。
一文了解3D视觉成像原理.docx
3D视觉成像是工业机器人信息感知的一种最电要的方法,可分为光学和非光学成像方法.目前应用最多的还是光学方法，包括：飞行时间法、结构光法、激光扫描法、其尔条钗法、激光散班法、干涉法、照相测地法、激光跟踪法、从运动获得形状、从阴影获得形状,以及戈•他的ShaPefr o mX等.本次介绍几种典型方案.1.飞行时间3D成像飞行时间(TOF)相机"NMf利用光飞行的时间差来骁取物体的深.在经典的ToF测量方法中.探测潺系统在发射光脉冲的同时启动探测接收总元进行计时,当探测器接收到目标发出的光【可波时，探测器直接存储往返时,k目标距离Z可通过以下简单方程估算:这种测距方式也称为宜接TOFa)TOF)，D-ToF通常用于单点测距系统，为了实现面枳范围3D成像，通常•需要采用扫描技术。
无扫描TOF三维成像技术直到近几年才实现，因为在像素级实现亚纳秒电子计时是非常困难的.与直接计时的I)-ToF不同的方案是间接ToF(I-TOH,时间往返行程是从光强度的时间选通测吊中间接外推获得，I-ToF不需要精确的计时，而是采用时间选通光子计数器或电荷枳分着.它们可以在像素级实现.ITOF是目前基于TOF相机的电子和光混合潺的商用化解决方案。
ToF成像可用于大检野、远距离、低1«度、低成本的3D图像采集.其特点是:检海速度快、视野落B1.较大、工作距离远、价格便宜，但精度低，舄受环境光的干扰.2.扫描3D成像扫描3D成像方法可分为归指译距.主动三角法.色故共焦法*.其实,色放共焦法是扫描测距法的一种,考虑到目前在手机、平板显示等制造行业应用比较广泛.在此单独介绍.1.扫描窝距扫描测距是利用一条准直光束通过一维测斯扫描於个目标表面实现3D测量，典型扫描测距方法有：1、单点飞行时间法，如连续波艰率调制（FM∙=）窝距、脉冲那距（微光■达）9.2、激光IR射干涉法，如基于多波长干涉、全息干涉、白光干涉故意干涉等原理的干涉仪：3、共焦法，如色敛共焦、自聚焦答.单戊测距扫描30方法中，单点飞行时间法适合远距离扫描，冽果精度较低，•股在富米收级.其他几种单点扫描方法有：单点激光干涉法、共触法和愀点激光主动三地法，测量箱度校而，但前者对环境要求高：线扫描精度适中，效率高.比较适合于机械手第末湍执行3D测∣Λ的应是主动激光三角法和色敌共焦法。
三种手眼标定方法
三种手眼标定方法
以下是三种手眼标定方法的简介：
1. 传统两步法：这种方法需要已知相机的内部参数，通过内部参数与标定点坐标来计算旋转矩阵和平移向量。
然而，此算法的缺点在于旋转矩阵正交化之后再求出平移部分，而此时平移部分的解不再满足手眼矩阵。
2. 共同标定法：这种方法同时进行摄像机标定和手眼标定，但会忽略掉摄像机的畸变，导致系统的精度无法保证。
3. 数学法：这种方法通过“四元数、矩阵直积、拉直运算”等数学工具，求出机械手与摄像机之间的关系。
优点在于不需要对旋转矩阵和平移向量进行解耦，而且相对于传统的两步法，其精度更高、鲁棒性更强。
此外，还有基于矩阵直积的手眼标定的改进算法和九点法(二维)、AX=XB 方法(二维或三维)等。
以上信息仅供参考，建议咨询专业人士获取具体信息。
机器人与双目相机的手眼标定方法网络首发
首先，选择合适的标定参照物，如棋盘格、圆环等；然后，对参照物进行不同角度、不同位置的拍摄 ，得到一系列图像；接着，对图像进行处理，提取出参照物的特征点；最后，利用张氏标定法的公式 进行计算，得到相机的内部和外部参数。
基于棋盘格标定的手眼标定方法
棋盘格标定法的原理
该方法也是一种立体视觉的标定方法，其 原理与张氏标定法类似，但棋盘格的格子 数量和大小是已知的，因此可以更加准确 地求解出相机的内部和外部参数。
医疗应用
手眼标定可用于手术机器人等医疗 设备中，实现精确的手术操作。
手眼标定的研究展望
提高精度和稳定性
适应不同场景
目前的手眼标定方法精度和稳定性还有待提 高，未来的研究应致力于提高算法的精度和 稳定性。
目前的手眼标定方法主要针对特定的应用场 景，未来的研究应致力于开发适应不同场景 的手眼标定方法。
实验流程
首先对机器人和双目相机进行初始化设置，然后进行手眼标定实验，最后对实验结果进行 分析。
实验结果及分析
结果一
手眼标定实验的精度高，误差 在可接受范围内。通过比较实 验结果与理论值，发现误差平 均值小于0.5%。这表明手眼标
定方法的准确性很高。
结果二
手眼标定方法具有鲁棒性。在 多次重复实验后，标定结果仍 然保持稳定，没有出现明显的
04
手眼标定实验及结果分析
实验设定及流程
实验设备
使用Phantom Flex4D机器人，双目相机Epson-3D C1000，以及计算机系统（Intel Core i7-10700K CPU，NVIDIA GeForce RTX 3060 GPU）。
实验环境
在室内环境下进行实验，保证充足的光线和稳定的照明。
机器人手眼标定方法中双目相机的应用指南
机器人手眼标定方法中双目相机的应用指南机器人手眼标定方法中双目相机的应用指南机器人手眼标定方法是指通过对机器人手部与相机进行标定，使机器人能够准确地感知和操作周围环境。
双目相机是一种常用的感知装置，它能够提供三维深度信息，并且具有较高的测量精度。
下面将通过逐步思考的方式，来介绍双目相机在机器人手眼标定中的应用指南。
第一步：准备工作在进行机器人手眼标定之前，我们需要准备一些必要的工具和设备。
首先，需要一台双目相机，以及一台机器人手臂，这可以是一个自主移动机器人或者是一个固定的机械臂。
另外，还需要一些标定物体，例如棋盘格或者其他具有已知形状和尺寸的物体。
此外，还需要一台计算机来处理和分析图像数据。
第二步：安装和设置相机首先，我们需要将双目相机安装在机器人的手部。
确保相机位置固定，并且与机器人手臂的运动轨迹无碰撞。
然后，连接相机与计算机，并安装相机的驱动程序和图像采集软件。
根据相机的说明手册，设置相机的参数，例如分辨率、曝光时间和帧率等。
第三步：采集图像数据使用相机采集软件，开始采集图像数据。
将标定物体放置在机器人手部附近，保证其在相机视野范围内。
调整相机的焦距和视野角度，确保物体清晰可见。
通过不同的角度和距离，采集一系列图像。
第四步：提取特征点在图像数据中，我们需要提取一些特征点，用于后续的处理和计算。
常用的特征点提取算法包括角点检测、边缘检测和斑点检测等。
根据具体情况选择合适的算法，并提取出足够数量的特征点。
第五步：计算相机姿态根据提取的特征点，我们可以使用计算机视觉算法来计算相机的姿态信息。
常用的算法包括三维-二维映射、立体视觉和结构光等。
通过这些算法，可以得到相机的旋转矩阵和平移向量，即相机在世界坐标系下的位置和姿态。
第六步：计算机器人手臂姿态在得到相机的姿态信息后，我们需要根据机器人手臂的运动模型来计算其姿态信息。
根据机器人手臂的结构和关节角度，可以通过正向运动学或逆向运动学等方法，计算出机器人手臂在世界坐标系下的位置和姿态。
立体视觉的研究进展
立体视觉的研究进展杨亮;胡础图;刘密密;项凯;萨楚拉;芳原草【摘要】立体视觉是来自双眼视觉的深度感,是双眼视觉的最高形式,是出生后获得的.立体视觉是建立在双眼同时视和融合功能基础上的高级双眼视功能.立体视觉随着眼的发育而发育,是出生后逐渐发育完善的.立体视的判定受检查距离、视力、年龄、红绿眼镜、斜视弱视、屈光不正、屈光参差等因素的影响,其中斜视弱视是最重要的原因.立体视检查已广泛应用于临床,包括斜视、弱视的筛选,选择斜视手术的时机及术后评估.【期刊名称】《医学综述》【年(卷),期】2014(020)011【总页数】3页(P1965-1967)【关键词】同时视;融合功能;立体视【作者】杨亮;胡础图;刘密密;项凯;萨楚拉;芳原草【作者单位】呼伦贝尔市人民医院眼科,内蒙古呼伦贝尔021008;呼伦贝尔市人民医院眼科,内蒙古呼伦贝尔021008;呼伦贝尔市人民医院眼科,内蒙古呼伦贝尔021008;呼伦贝尔市人民医院眼科,内蒙古呼伦贝尔021008;呼伦贝尔市人民医院眼科,内蒙古呼伦贝尔021008;呼伦贝尔市人民医院眼科,内蒙古呼伦贝尔021008【正文语种】中文【中图分类】R778立体视觉是人类和高级动物的双眼判断外界物体三维立体空间的能力，是双眼视觉的高级组成部分。
立体视觉是建立在同时视和融合功能基础上的一种高级视觉功能，是双眼精确判断外物三维结构和距离的能力。
立体视觉能反映双眼单视功能的好坏，与人们的生活密切相关，使得手眼协调性更好。
立体视检查已广泛应用于临床[1-3]，包括斜视、弱视的筛选，选择斜视手术的时机及评价手术疗效的重要指标。
1 立体视觉的发育过程1.1 发育的早期以往很多研究认为，人的立体视觉发育开始于生后3～4个月[4-5]。
立体视觉的发育和精细的立体视锐度的形成依赖于准确协调的眼球运动功能及双眼黄斑中心凹注视。
立体视觉在出生时并没有发育完善，需要充分的黄斑中心凹视觉刺激来促进发育。
基于双目立体视觉技术的空间定位系统设计与实现
• 178•如今，三维重构技术广泛应用于工业检测、三维测量、虚拟现实等领域。
同时双目立体视觉也是计算机视觉的一个重要分支。
立体视觉是指从两个不同的角度去观察场景中的同一个物体，来获取不同视角下的二维图像，再运用成像几何原理来计算图像像素之间存在的位置偏差(视差)，从而获取物体的三维信息。
本文通过设计一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现方法，根据图像识别结果进而获得目标的三维信息。
一、立体视觉技术概述及应用1.立体视觉技术概述立体视觉技术是计算机视觉领域中一个非常活跃的研究热点，它结合了图像处理、计算机视觉、计算图形学以及生物生理学等诸多领域的理论和方法。
它通过对多张图像的分析处理来获取物体的三维几何信息，尽可能逼真地实现模仿人类的双目视觉的功能。
同时双目立体视觉也是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景，并通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。
2.本项目研究目的设计一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现方法。
该系统根据双目视觉原理，利用预制三维标定物对图像获取系统的内、外参数进行标定，求出投影变换矩阵，根据图像识别结果运用灰度模板、连续性假设和对极几何约束进行识别目标的特征匹配，进而获得目标的三维信息。
3.该技术当前发展状况立体视觉技术在国内外科学研究上都有广泛应用。
在国外，华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。
国内，维视图像公司采用双目ccd 相机，从工业相机内参标定、镜头畸变标定、立体匹配、特征点分割处理等方面给出了详细的数学模型和算法接口。
其双目标定软件ccas 可以实现机器人导航、微操作系统的参数检测、三维测量和虚拟现实等应用。
4.发展趋势1）探索新的适用于全面立体视觉的计算理论和匹配择有效的匹配准则和算法结构，以解决存在灰度失真，几何畸变（透视，旋转，缩放等），噪声干扰，及遮掩景物的匹配问题；2）算法向并行化发展，提高速度，减少运算量，增强系统的实用性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
文章编号:100220446(2001)0220113205
手眼立体视觉的算法与实现Ξ熊春山 黄心汉 王 敏(华中科技大学控制系 武汉 430074)
摘 要:传统的定位方法要求标定出摄像机的内外参数,本文基于直接将图像坐标映射到机器人参考坐标的“黑箱”思想,提出了末端执行器到机器人参考坐标系的一个恒定旋转矩阵.使用恒定旋转矩阵使得目标三维定位的算法与标定参数的过程大大简化,同时具有较高的定位精度.本文提出的三维目标定位方法同样可应用于移动式装配机器人和移动式操作手臂中.
关键词:手2眼视觉;目标定位;旋转矩阵;末端执行器;立体视觉中图分类号: TP24 文献标识码: B
ALGORITHMFORHAND-EYESTEREOVISIONANDIMPLEMENTATION
XIONGChun2shan HUANGXin2han WANGMin(ControlScienceandEngineeringDepartment,HuazhongUniversityofScienceandTechnology,Wuhan, 430074)
Abstract:Traditionalmethodforpositioningthelocationofwork2piecerequiresthattheinternalandexternalpa2rametersofcameramustbefirstcalibrated.Basedontheideaof“blackbox”thatdirectlymappingthecoordinateofcameratorobotcoordinate.Aconstantrotationmatrixthatmapsend2effectorcoordinatetorobotcoordinateisproposedinthispaper.Theconstantrotationmatrixsimplifiesthealgorithmandprocessofobject32Dposition,anditcanachievehighaccuracy.Themethodcanalsoimplementobjectpositionwhentheend2effectorchangesitsposition.Themethodforobjectpositioncanalsobeusedinmobileassemblyrobotandmobileoperator. Keywords:eye2in2handvision,objectposition,rotationmatrix,end2effector,stereovision
1 引言(Introduction)三维目标定位在装配机器人中有着重要的应用.利用视觉系统的视差可以实现目标的三维定位[1].固定式视觉系统需要使用两个摄像机来实现视
差[2],设备成本高,目标定位精度与其视场的大小之
间难以平衡.手2眼式视觉系统可通过移动末端执行器的位置而实现视差.不管是采用何种视觉系统都要对摄像机进行内外参数的标定[3,4],本文基于直接
将图像坐标映射到机器人参考坐标的“黑箱”思想,
即不标定摄像机的内外参数,找出了一种从图像坐标直接计算出目标位置的方法.为此,本文提出了末端执行器到机器人参考坐标系的一个恒定旋转矩阵.使用恒定旋转矩阵使得目标定位的算法与标定参数的过程大大简化,本文提出的三维目标定位方
法同样可应用于移动式装配机器人和移动式操作手臂中.
2 手-眼视觉坐标变换原理(Thecoordinate
transformationprincipleofeye-in-handvision)
2.1 机器人视觉坐标变换设摄像机参考坐标中的点cS,将其映射到机器人
末端执行器参考坐标的eS点,则方程为
eS=eRcePxyz01cS(1)
其中eR
c
为摄像机坐标到末端执行器坐标的3×
3的映射矩阵.eP
xyz
为摄像机坐标原点在末端执行器
坐标的三维坐标值.当视觉系统为手2眼视觉系统时,
第23卷第2期2001年3月机器人 ROBOT
Vol.23,No.2
March,2001
Ξ基金项目:国家自然科学基金项目(69585003)和国家863智能机器人子项目(863-512-20-01-9801)资助.
收稿日期:2000-03-08eRc与eP
xyz
恒定不变.
将末端执行器参考坐标点的eS映射到机器人参
考坐标的oS点,则方程为
oS=0ReoPxyz01eS(2)
其中oR
e
为末端执行器坐标到机器人参考坐标
的3×3的映射矩阵,它由末端执行器的姿态决定,
与机器人末端执行器所在位置无关.
o
P
xyz
为末端执行
器坐标原点在机器人参考坐标的三维坐标值,实际上也就是末端执行器的三维坐标值.
将式(1)代入式(2)可得
oS=oReoPxyz01eRcePxyz01cS
=oReeRcoRcePxyz+oPxyz01[cSxyz,1]T(3)由式(3)取出oS的三维坐标,可得
oSxyz=oReeRccSxyz+oReePxyz+oP
xyz
(4)
其中oSxyz表示oS点在机器人参考坐标系中的三
维坐标值.
2.2 机器人手2眼视觉坐标变换原理手2眼视觉系统采用小孔成像原理为
u=fxz=fcSxkucSz+up
v=fyz=fcSykvcSz+vp
(5)
其中[u,v]T为摄像机坐标中的cS在图像坐标的
二维坐标值,f为摄像机的焦距,焦距f为固定值.
cSx,cSy,cSz为c
S在摄像机坐标中x2y2z三个轴的
坐标值,ku与kv为摄像机在X与Y方向采样时的量化因子,up与vp的摄像机的图像中心在X与Y方向采样时的位置偏移量[5].
令f
-1
=1f,由式(5)可得
cSxyz=cSzf-1[ku(u-up],kv(v-vp),f]T(6)
由式(4)与式(6)可得oSxyz=oReeRccSzf-1
[ku(u-up),kv(v-vp),f]T+oRe8ePxyz+oP
xyz
=oReeRccSzf-1diag[ku,kv,1]([u,v,0]T
+[-up,-vp,f]T)+oReePxyz+oP
xyz
(7)
简化上式得到oSxyz=cSzK[u,v,0]T+cSzL+M+oP
xyz
K=oReeRcf-1diag[ku,kv,1]∈3×3L=K[-up,-vp,f]T∈3×1M=oReePxyz∈3×1(8)3 目标定位原理(Theprincipleofobjectivepositioning)3.1 恒定旋转矩阵若视觉系统在进行图像处理时,在任一位置的末端执行器到机器人参考坐标的旋转矩阵均oRe保持不变,则oRe为一恒定矩阵.3.2 目标三维定位算法结论1:若机器人的为一恒定矩阵,则oSxyz=cSzK3×2[u,v]T+cSzL+M+oPxyz(9)并且式(9)中K3×2为式(8)中K的前两列,K3×2,L,M均为恒定矩阵.如不作特别的说明,下文中的K实际上为K3×2的简写.结论1的意义在于当K,L,M都已知时,目标oSxyz的确定仅需要确定[u,v]T,cSz和oPxyz这三个变量.而[u,v]T可从摄像机的图像中计算出,oPxyz则直接从机器人状态中获取.cSz由立体视觉计算出来.4 定位参数的标定(Thecalibrationofposi-tioningparameters)下面讨论获取矩阵K,L,M的算法.4.1 矩阵K的标定不改变目标的位置,在保持cSz不变的条件下,移动末端执行器到三个不同的位置,由式(9)可得下式oSxyz=cSz(K[u1,v1]T+L)+M+oP1xyz=cSz(K[u2,v2]T+L)+M+oP2xyz(10)显然有cSzK([u1,v1]T-[u2,v2]T)=oP2xyz-oP1xyz(11)同理可得cSzK([u2,v2]T-[u3,v3]T)=oP3xyz-oP2xyz(12)由式(12)和式(11)可得cSzK=∃Pz(∃Uz)-1(13)其中∃Uz=u1-u2u2-u3v1-v2v2-v3∃Pz=[oP2xyz-oP1xyz oP3xyz-oP2xyz] 因∃U可直接从摄像机中得到,∃P从机器人的控制命令中得到,这样依据式(13)可以求出cSzK值,也就是从等高的三个不同的点中可以计算出cSzK.令cS’z=(c
Sz+h)重复上面的三个点的图像处理
过程,可以得到(cSz+h)K=∃Pz+h(∃Uz+h)-1(14)
411 机 器 人2001年3月