基于HALCON的双目视觉系统标定
基于Halcon标定靶的双目相机高精度标定方法
基于Halcon标定靶的双目相机高精度标定方法
黄建;李施阳;章秀华;吴锦梦
【期刊名称】《计算机与数字工程》
【年(卷),期】2022(50)4
【摘要】基于张氏标定原理的传统双目相机标定方法在单一背景下标定精度高,但在复杂背景下不能精确提取特征点坐标,导致相机标定精度受到影响。
文中提出一
种基于Halcon标定靶感兴趣区域约束的透视变换方法,可以从复杂背景中精确提
取特征点坐标,提高双目相机标定精度。
首先通过改进的角点提取方法从背景中提
取Halcon标定靶上的感兴趣区域,利用透视变换和最小二乘法提取特征点的精确
坐标;然后匹配左、右图像中同名的特征点,利用张氏标定原理计算双目相机的参数。
实验表明,利用文中方法标定的相机参数,计算特征点平均重投影精度达0.01像素,
相比于传统方法平均重投影精度提高0.02像素,提高了双目相机参数标定的精度。
【总页数】5页(P762-766)
【作者】黄建;李施阳;章秀华;吴锦梦
【作者单位】武汉工程大学电气信息学院
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于Halcon软件的双目立体视觉系统标定
2.基于HALCON的双目视觉系统标定
3.基于HALCON的双目摄像机标定
4.基于立体标定靶的扫描仪与数码相机联合标定
5.基于HALCON双目标定的算法优化研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于Halcon的工业机器人手眼标定方法研究
基于Halcon 的工业机器人手眼标定方法研究Research on hand-eye calibration method of industrial robot based on halcon田春林1，陈李博1，马国庆1，侯茂盛2，刘 涛2TIAN Chun-lin 1, CHEN Li-bo 1, MA Guo-qing 1, HOU Mao-sheng 2, LIU Tao 2（1.长春理工大学 机电工程学院，2.长春理工大学 光电工程学院，长春 130022）摘 要：机器人手眼标定是机器人视觉技术的重要研究内容，基于Halcon所提供的标定板，充分考虑相机镜头径向畸变对手眼标定的影响，设计一种全新的、高精度、高效率的Eye-in-Hand手眼标定方法，该方法在标定了相机内外参数的同时也建立了相机图像坐标系与机器人基坐标系之间的相互转换关系，并通过实验进行了验证，其平移误差在1mm，旋转误差在1。
以内。
实验结果表明该方法具有较高的标定效率与较高的标定精度，可广泛应用于工业机器人视觉系统手眼标定中。
关键词：工业机器人；相机标定；Eye-in-Hand；机器视觉中图分类号：TP242.2 文献标识码：A 文章编号：1009-0134(2018)03-0016-04收稿日期：2017-10-10基金项目：国家高技术研究发展计划（863计划）资助项目（2015AA7060112）；吉林省科技发展计划资助项目 （20160204016GX ）；吉林省省级产业创新专项资金资助项目（2016C088）；吉林省教育厅“十三五”科学 技术项目（JJKH20170626KJ ）；长春理工大学青年科学基金（XQNJJ-2016-04）作者简介：田春林（1972 -），男，吉林人，博士研究生，研究方向为精密、超精密加工和检测及装备。
0 引言随着现代生产的精密化、智能化，无人智能工厂对机器人视觉的依赖程度越来越高，尤其是在航空航天和汽车制造领域中的焊接与装配，物流领域中的码垛、分拣，工业2D 、3D 自动化检测等应用中，机器人视觉比比皆是。
基于Halcon软件的双目立体视觉系统标定
第 ９期
军 事 交 通 学
院 学 报
Ｖ０ ． ３ Ｎｏ． １１ ９ Ｓ ｐ．２ ｅ ｔ ０１１
２１ ０ １年 ９月
Ｊ ｕ ａ ｆＭｉ ｔ ｒ ｒｎ ｐ ｒ ｔ ｎ Ｕｎ ｖ ｒｉ ｏ ｒ ｌｏ ｌ ａｙ Ｔ ａ ｓ ｏ ｔ ｉ ｉｅ ｓ ｙ ｎ ｉ ａｏ ｔ
近 年 来 ， 备 自主 驾 驶 能 力 的智 能 车 日渐 成 具 为关 注 热 点 ， 研 究 涉 及 环 境 感 知 、 划 决 策 、 其 规 车
双 目立 体 视 觉 是 立 体 视 觉 的 一 种 重 要 形 式 ， 它 是 基 于 双 目视 差 理 论 并 利 用 成 像 设 备 从 不 同 的位 置 获 取 被 测 物 体 的 ２幅 图 像 ， 过 计 算 图像 通 对 应点 间 的 位 置 偏 差 ， 获 取 物 体 三 维 几 何 信 息 来
表1摄像机性能参数项目性能指标型号分辨率pixels单位像素尺寸m外形尺寸mmbasiera6016564909999604429将计算得到的摄像机镜头最小焦距和视场角与实际的镜头参数进行比较选择参数最相近的摄像机镜头产品以采集满足应用要求的最佳图万方数据万方数据48军事交通学院学报第l3卷第9期光照条件下同一摄像头的参数虽有差异但差异很小
Ｃ ｅ ｇ Ｘｉ ｏｏ ｇ Ｘｕ Ｙｏ ｃ ｕ Ｌ ａ，ｉ ｅ ｇ ｈ ｎ ａ ｌ ｎ ， ｕ ｈ ｎ， ｉＨｕ Ｊａ Ｐ ｎ
（ ｕ ｍｏｉ ｎ ｉｅｒ ｇＤ ｐｒ ｅｔ ｉｔｒ Ｔａｓｏ ａｉ ｎｖｒ ｔ， ｉ ｊ ０ １ １ ｈｎ ） Ａ ｔ ｂ ｅＥ ｇ ｅ ｎ ｅａｔ ｎ，Ｍ ｌａｙ ｒｎｐ ｒ ｔ ｎＵ ｉ ｓｙ Ｔａ ｉ ３ ０ ６ ，Ｃ ｉａ ｏ ｌ ｎ ｉ ｍ ｉ ｔ ｏ ｅｉ ｎｎ
基于HALCON的双目视觉系统深度信息测量技术研究
基于HALCON的双目视觉系统深度信息测量技术研究基于 HALCON 的双目视觉系统深度信息技术研究立体视觉技术是机器人技术研究中最为活跃的一个分支是智能机器人的重要标志双目立体视觉是通过对同一目标的两幅图像提取识别匹配和解释进行三维环境信息的重建其过程主要包括视频捕获摄像机定标图像预处理和特征提取立体匹配以及三维重建为解决智能移动机器人工业装配机器人家用机器人公共服务机器人的视觉问题双目立体视觉技术的进一步研究可对多目视觉具有重要的启发本文对双目立体视觉测深原理和双目视觉系统的结构进行了初步研究其图象处理主要包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分并且应用 HALCON 软件实现了这些步骤的算法最后对基于HALCON 双目视觉系统测量深度进行了初步编程测试关键字双目视觉系统 HALCON 标定IV基于 HALCON 的双目视觉系统深度信息技术研究AbstractStereo vision technology is one of active branches in the robot technology it is animportant symbol of the intelligent robot Inthe system the three-dimensionalreconstruction environmental information is reconstructedby the objective extractionfrom images identification matching and explanation The process includes videocapture camera calibration image pre-processing and feature extractionthree-dimensional matching and three-dimensional reconstruction In order to solve theproblems about the vision of smart mobile robots industrial robot household robotsrobot visual public service problems the further study on the three-dimensional visiontechnology could inspire to more eyes visionIn the thesis the principle of binocular stereovision measuring depth and thestructure of binocular stereo vision are studied preliminarily Itsimage process includesfive parts such as image acquisition calibrationimage pre-processing and featureextraction three-dimensional matching and information extraction Thehalcon softwareto realize the algorithm of these steps have been applied Finally theexperiment of theprogramming to measure the depth based on the halcon in the binocularvision systemhave been carried and tested preliminaryKey words Binocular vision system halcon CalibrationV基于 HALCON 的双目视觉系统深度信息技术研究目录第一章绪论 111 研究的背景及意义 112 双目立体视觉系统的现状及发展方向 1com 双目视觉系统技术的国内外现状1com 双目立体视觉系统发展方向313 本文的主要研究内容 3第二章双目立体系统测量深度原理 521 双目立体视觉原理 522 体视觉系统的图象处理 6com 图像的获取 6com 摄像机的标定 7com 图像预处理与特征提取9com 图像匹配 9com 获得立体信息 1023 双目视觉系统的结构 11com 系统的结构 11com 双目测量深度的硬件组成12 第三章双目视觉系统深度测量程序设计 1431 本程序的设计思路及程序框图 1432 利用HALCON进行双目测深图像处理结果14 com 获取标定板图像 14com 处理标定板图像 15com 双目视觉系统标定 17com 获取观察物图像 17com 矫正图像 18com 获得中心点 3D信息1833 生成VC程序及制作应用软件20第四章基于halcon双目测深实验结果及误差分析21 41 实验结果 21VI基于 HALCON 的双目视觉系统深度信息技术研究42 误差分析 21第五章设计总结与展望 23参考文献 24致谢 26附录 1 27附录2 38声明 42VII基于 HALCON 的双目视觉系统深度信息技术研究第一章绪论11 研究的背景及意义双目视觉系统技术的研究一直是机器视觉中的热点和难点使用双目立体视觉系统可以确定任意物体的三维轮廓并且可以得到轮廓上任意点的三维坐标因此双目立体视觉系统可以应用在多个领域双目立体视觉系统在机器视觉领域有着广泛的应用前景双目立体视觉是机器视觉的一种重要形式它是基于视差原理并由多幅图像获取物体三维几何信息的方法双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像并基于视差原理恢复出物体的三维几何信息重建物体三维轮廓及位置HALCON是德国MVtec公司的图像处理软件是世界公认具有最佳效能的机器视觉软件这是一套图像处理库由一千多个各自独立的函数以及底层的数据管理核心构成其中包含了各类滤波色彩分析以及几何数学变换形态学计算分析校正分类辨识形状搜索等等基本的几何以及图像计算功能由于这些功能大多并非针对特定工作设计的因此只要用得到图像处理的地方就可以用HALCON强大的计算分析能力来完成工作由于机器视觉技术的发展这种可以"取代人眼"对重复工作不会疲劳精度高且稳定的特质促进了高科技业的发展例如电子业[1]产量的大幅提升本文研究了基于 HALCON 实现双目立体视觉系统以及立体视觉的基本理论方法和相关技术搭建双目立体视觉系统和提高算法效率12 双目立体视觉系统的现状及发展方向com 双目视觉系统技术的国内外现状双目视觉系统技术应用非常广泛目前主要应用于四个领域机器人导航操作系统的参数检测三维测量和虚拟现实日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统利用双目体视的原理以每幅图像中相对静止的三个标志为参考实时计算目标图像的雅可比矩阵从而预测出目标下一步运动方向实现了对运动方式未知的目标的自适1基于 HALCON 的双目视觉系统深度信息技术研究应跟踪该系统仅要求两幅图像中都有静止的参考标志无需摄像机参数而传统的视觉跟踪伺服系统需事先知道摄像机的运动光学等参数和目标的运动方式日本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真机器人动态行走导航系统该系统实现分两个步骤首先利用平面分割算法分离所拍摄图像对中的地面与障碍物再结合机器人躯体姿态的信息将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系建立机器人周围区域的地图其次根据实时建立的地图进行障碍物检测从而确定机器人的行走方向华盛顿大学与微软公司合作为火星卫星探测者号研制了宽基线立体视觉系统使探测者号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航系统使用同一个摄像机在探测者的不同位置上拍摄图像对拍摄间距越大基线越宽能观测到越远的地貌系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配得到亚像素精度的视差并根据此视差计算图像对中各点的三维坐标相比传统的体视系统能够更精确地绘制探测者号周围的地貌和以更高的精度观测到更远的地形东南大学电子工程系基于双目立体视觉提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法可对三维不规则物体偏转线圈的三维空间坐标进行非接触精密测量哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部可以同时监视不同方位视点体现出比人类视觉优越的一面通过合理的资源分配及协调机制使机器人在视野范围测量精度及处理速度方面达到最佳匹配双目协调技术可使机器人同时捕捉多个有效目标观测相遇目标时通过数据融合也可提高测量精度在实际比赛中其他传感器失效的情况下仅仅依靠双目协调仍然可以实现全自主足球机器人导航火星 863 计划课题人体三维尺寸的非接触测量采用双视点投影光栅三维测量原理由双摄像机获取图像对通过计算机进行图像数据处理不仅可以获取服装设计所需的特征尺寸还可根据需要获取人体图像上任意一点的三维坐标该系统已通过中国人民解放军总后勤部军需部鉴定可达到的技术指标数据采集时间小于5s人提供身高胸围腰围臀围等围度的测量精度不低于10cm[2]2基于 HALCON 的双目视觉系统深度信息技术研究com 双目立体视觉系统发展方向就目前立体视觉技术的发展现状而言要构造出类似于人眼的通用双目立体视觉系统还有很长的路要走进一步的研究方向可归纳如下1如何建立更有效的双目体视模型能更充分地反映立体视觉不确定性的本质属性为匹配提供更多的约束信息降低立体匹配的难度2 探索新的适用于全面立体视觉的计算理论和匹配策略选择有效的匹配准则和算法结构以解决存在灰度失真几何畸变透视旋转缩放等噪声干扰特殊结构平坦匹域重复相似结构等及遮掩景物的匹配问题双目立体视觉这一有着广阔应用前景的学科随着光学电子学以及计算机技术的发展将不断进步逐渐实用化不仅将成为工业检测生物医学虚拟现实等领域的关键技术还有可能应用于航天遥测军事侦察等领域目前在国外双目体视技术已广泛应用于生产生活中而我国正处于初始阶段尚需广大科技工作者共同努力为其发展做出贡献13 本文的主要研究内容立体视觉的基本原理是从两个或多个视点观察同一景物以获取在不同视角下的感知图像通过三角测量原理计算图像象素间的位置偏差即视差来获取物体的三维信息这一过程与人类视觉的立体感知过程是类似的一个完整的双目立体视觉系统一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分本文研究内容为利用 HALCON 软件对图像进行处理通过图像匹配技术得到目标视差从而转化为物体所需的深度信息程序大致关键步骤分为图像获取―摄像机标定－物体识别－深度信息确定分析了各个步骤的相应问题和处理方法并将本课题的重点集中于测量深度信息各种算法 HALCON 软件编程这一部分第一章介绍了本文的研究意义以及双目立体视觉系统的国内外现状和发展方向最后介绍了本文的主要研究内容及章节安排第二章介绍了双目立体视觉原理及结构介绍了双目视觉的技术实现包括图像获取摄像机标定图像预处理与特征提取立体匹配信息提取3基于 HALCON 的双目视觉系统深度信息技术研究第三章研究了应用 HALCON 软件编程各种算法所得的整个程序四个主要步骤标定立体摄像系统获取图像矫正图像获得 3D 信息以及制作 VC 程序和应用软件第四章对基于 HALCON 双目视觉系统测量深度进行了实验对实验结果处理并分析了实验误差第五章最后介绍了本设计的总结及对今后的工作进行了展望4基于 HALCON 的双目视觉系统深度信息技术研究第二章双目立体系统测量深度原理21 双目立体视觉原理双目立体视觉三维测量是基于视差原理图 2-1 所示为简单的平视双目立体成像原理图两摄像机的投影中心分别为O 和O 点P为观察物上的中心点基线距b21为两摄像机的投影中心的连线距离两摄像机的焦距为f且相同左边摄像机的坐标系的原点在摄像机镜头的光心O处坐标系O_ x y z 如图 1 所示左右摄像机的c c c成像平面为O uv和O uv O 和O 分别为左右图像坐标系的原点在摄像机光轴与平21 2 1面的交点实际上摄像机的成像平面在镜头的光心后面f处这里绘制在镜头的光心前面f处成像平面的u轴和v轴和摄像机坐标系O_ x y z 的x 轴和y 轴方向一致c c c c c这样可以简化计算过程图2 －1 双目立体成像原理图点P在左摄像机成像平面和右摄像机成像平面中相应的坐标分别为Pu v 和11 1P u v 假定两摄像机的图像在同一个平面上则P点坐标y 在O uv和O uv系中v2 2 2c1 2坐标相同即v v 由三角几何关系得到215基于 HALCON 的双目视觉系统深度信息技术研究x x b ycu f c u c v v1 v2 f2-11 2 1z z zc c c视差定义为某一点在两幅图像中相应点的位置差其表达式为f bd u u2-21 2zc由此可计算出空间中某点P 在左摄像机坐标系中的坐标为b u1xc db vy c 2-3db fzcd因此只要能够找到空间中某点 P 在左右两个摄像机像面上的相应点并且通过摄像机标定获得摄像机的内外参数就可以确定这个 P 点的三维坐标这样深度信息的测量变为 P 点的 Z 轴之间的差值22 体视觉系统的图象处理一个完整的双目立体视觉系统的图象处理一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分com 图像的获取双目体视的图像获取是由不同位置的两台摄像机CCD 经过移动或旋转拍摄同一幅场景获取立体图像对其模型如图 2-2 假定摄像机C 与 C 的角距和内部参12数都相等两摄像机的光轴互相平行二维成像平面u O v 和u O v 重合P 与P 分1 1 12 2 2 1 2别是空间点P在C 与C 上的成像点但一般情况下两个摄像机的内部参数不可能1 2完全相同摄像机安装时无法看到光轴和成像平面故在实际中难以应用上海交大在理论上对会聚式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析并通过试验指出对某一特定点进行三角测量该点测量误差与两CCD光轴夹角是一个复杂的函数关系若两摄像头光轴夹角一定则被测坐标系与摄像头坐标系之间距离越大测量得到点距离的误差就越大在满足测量范围的前提下应选择两CCD之间夹角在 50-80 度之间[561012]6基于 HALCON 的双目视觉系统深度信息技术研究图2-2 双摄像机模型com 摄像机的标定计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的这些几何模型参数就是摄像机参数这个过程被称为摄像机标定根据摄像机参数性质可以分为内部参数和外部参数内部参数描述摄像机的内部光学和几何特性如图像中心焦距镜头畸变以及其它系统误差参数等相对于一个世界坐标系的摄像机坐标的三维位置和方向称为外部参数摄像机标定是立体视觉研究的重要组成部分首先建立 4 个坐标系见图 2-3 1 三维世界坐标系O_X YZ Xw ww wYw Zw 为物体点 P 的三维世界坐标 2 摄像机坐标系 O_X Y Z 图中光心到图c c c像平面距离OO 为摄像机有效焦距 f 3 成像平面坐标系 O XY P X Y1 uu u表示针孔模型下 P点的理想成像坐标P X Y 是由透镜径向畸变引起的偏离 Pd d d uX Y 的实际成像平面坐标 4 图像坐标系 O uv 原点 O 在图像平面u u 0 0的左上角每一像素的坐标u v 分别是该像素在数组中的列数和行数所以uv 是以像素为单位的图像坐标系的坐标[2389]7基于HALCON 的双目视觉系统深度信息技术研究图2-3四个坐标系图摄像机内参数的标定和单目视觉系统标定一致双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数 R 和 T 即两个摄像机之间的位置关系R 和 T 分别为旋转矩阵和平移向量一般方法是采用标准的 2D 或3D 精密靶标通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数具体的标定过程如下1将标定板放置在一个适当的位置使它能够在两个摄像机中均可以完全成像通过标定确定两个摄像机的内部参数以及他们的外部参数R T 与R T1 12 2则R T 表示左摄像机与世界坐标系的相对位置R T 表示右摄像机与世界坐标1 12 2系的相对位置2 假定空间中任意一点在世界坐标系左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为Xw Xc1 Xc2 则X R X T X R X T 11 2-41 C1 1 2W2 C W 2消去XW 得到1 1 11 2-5X R R X T R R T2 2 C 1 1 2 2 C 1 12两个摄像机之间的位置关系RT可以用以下关系式表示R R R T T R R T 1 1 2-62 1 2 2 1 128基于 HALCON 的双目视觉系统深度信息技术研究com 图像预处理与特征提取由光学成像系统生成的二维图像包含了各种各样的随机噪声和畸变因此需要对原始图像进行预处理突出有用信息抑制无用信息从而改善图像质量图像预处理的目的主要有两个一是改善图像的视觉效果提高图像的清晰度二是使图像变的更有利于计算机的处理便于各种特征分析图像预处理技术包括图像对比度的增强随机噪声的去除边缘特征的加强等特征提取是为了得到匹配赖以进行的图像特征由于目前尚没有一种普遍适用的理论可运用于图像特征的提取从而导致了立体视觉研究中匹配特征的多样性目前常用的匹配特征主要有点特征线特征和区域特征等一般来讲大尺度特征含有较丰富的图像信息在图像中的数目较少易于得到快速的匹配但它们的定位精度差特征提取与描述困难而小尺度特征数目较多其所含信息较少因而在匹配时需要较强的约束准则和匹配策略以克服歧义匹配和提高运算效率良好的匹配特征应具有可区分性不变性稳定性唯一性以及有效解决歧义匹配的能力[1415]com 图像匹配由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题然而对于实际的立体图像对求解对应问题极富挑战性可以说是双目立体视觉中最困难的一步为了能够增加匹配结果的准确性以及匹配算法的速度在匹配过程中通常会加入下列几种约束1 极线约束在此约束下匹配点已经位于两副图像中相应的极线上2 唯一性约束两副图像中的对应的匹配点有且仅有一个3 视差连续性约束除了遮挡区域和视差不连续区域外视差的变化都是平滑的4 顺序一致性约束位于一副图像极线上的系列点在另一幅图像中极线上有相同的顺序图像匹配的方法有基于图像灰度区域的匹配基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配针对模板匹配HALCON 提供了许多不同的方法方法的选择取决于图像的数据和需要解决的任务9基于 HALCON 的双目视觉系统深度信息技术研究基于灰度值的匹配gray-value-based macthing 是典型的匹配方法如果物体中灰度值变化不大没缺损部分和混乱这种方法可以被使用这种方法能够处理单一物体实例该实例在查找图像中可以是旋转的基于形状的匹配shape-based macthing 是机器视觉中的先进技术基于形状的匹配不是使用灰度值而是提取并使用轮廓的特征来产生模板和完成匹配在照明的变化和物体灰度值的变化的情况下这种方法得到的效果都是完全一致的他能够处理物体上的缺损部分混乱和噪声而且同一模板的多个实例可被同时发现多个的不同模板也可以被同时使用这种方法允许物体被旋转和缩放基于成分的匹配component-based matching 被认为是一种更高级的基于形状的匹配增强的功能是物体能够包含若干个可旋转和平移的部分旋转和平移是相对于这些部分之间进行的一个简单的例子是一对钳子逻辑上这被认为是一个物体但物体上它包含了两部分成分匹配允许只用一个查找步骤就能处理类似这样的复合物与将各个部分处理为整个特殊模型的方法相比成分匹配的优点在于提高了执行速度和算法的健壮性基于点的匹配point-based matching 目的是为了组合两幅有两幅重叠区域的图像首先在这两幅图像上提取有效点这些点被输入到实际的匹配过程匹配的结果是从一幅图像到另一幅图像映射允许平移旋转缩放和透视失真这种映射的典型应用是把两幅图像结合成一幅更大的图像当然一幅图像也可以作为模板对待另一幅图像则被视为包含需被查找模板实例的图像对待这种方法的优点在于能够处理没有校准的透视失真缺点在于增加了执行时间时间主要被用于有[1]效点的提取com 获得立体信息立体视觉的任务就是得出感兴趣场景的三维信息对于不同的应用可以有不同的要求但最基本的就是要计算目标的深度信息得到三维坐标若需要结果的可视化则可对场景进行重建己知立体成像模型和完成立体匹配后三维信息的恢复是比较容易的重要的是如何提高计算的精确度其影响因素是多方面的如摄像机参数标定图像特征定位的精确程度和立体匹配的准确性等等因此要提高三维重建的精度还需要更深入的研究而本文研究的正是最基本的目标获得深度信息得到三维坐标10基于 HALCON 的双目视觉系统深度信息技术研究23 双目视觉系统的结构com 系统的结构由上述双目视觉系统的基本原理可知为了获得三维空间中某点P 的三维坐标需要在左右两个摄像机像面上都存在该点的相应点立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体如图 2-4 所示为系统结构的实物图图2-4 一般双目立体视觉系统结构的实物图图2-4 所示双目视觉系统中两个真彩色摄像机型号均为 SSE1616两相机光轴中心设计在同一水平面上水平间距设计为 20Omm 且两摄像机之间的为50 度摄像机的图像传感器和镜头的物理参数分别为图像有效尺寸646515晶片尺寸617 H μm617 V μm 镜头焦距 f 16 mm 考虑到本系统为双目立体视觉系统要求双摄像机能够同时采集场景图像所以本文采用的是大恒公司 DH-VT121 视频采集卡它是基于 PC104-Plus 总线开发的可双路同时操作的视频采集卡它具有高品质的图像质量和稳定性因为深度信息的测量变为 P 点在不同位置的 Z 轴之间的差11基于 HALCON 的双目视觉系统深度信息技术研究值这样我们只要识别到一个点就可以因此我设定观察物为一张带有黑圆圈白纸P 点设为黑圆圈的中心点这样通过求得观察物上点P的两个摄像机的图像中相应点的图像坐标便可以由双目立体视觉测量原理求取点P在三维空间坐标基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上在进行双目视觉系统标定以及应用该系统进行测量时要确保摄像机的内参比如焦距和两个摄像机相对位置关系不能够发生变化如果任何一项发生变化则需要重新对双目立体视觉系统进行标定com 双目测量深度的硬件组成。
简述基于HALCON的四目标定方法
简述基于HALCON的四目标定方法摘要针对目前双目視觉标定技术中存在的不能覆盖目标整个视野和匹配过程中误差较大的情况而采用精度更高的四目标定技术对目标进行标定、图像采集继而三维重建。
实验结果表明：该方法能够利用HALCON内丰富的算子进行精准，快速标定。
突破了很多标定实验都需要依靠双目视觉标定技术而带来的一些问题，为以后的标定实验多了一个可参考方法。
关键词多目立体视觉；三维重建；HALCON标定前言近年来，随着计算机视觉技术的快速发展以及人们获取物体三维外形表面在诸多领域日益广泛的应用需求。
本文基于视觉领域公认的性能最好的视觉软件HALCON提出了一种四目标定的方法，并验证了结果的准确性，利用该方法可以更精确的对目标进行标定。
1 双目视觉系统原理以及标定原理1.1 双目视觉原理双目立体视觉[1-2]是立体视觉的一种基本形式，它的原理是基于双目视差原理[2]并利用相机设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点的位之间的位置偏差来获取三维几何信息的方法。
双目立体视觉原理图如图（1）所示：1.2 标定原理在计算机视觉的应用和图像测量中，为了确定空间中的物体表面某一个点的几何三维位置与其图像对应点之间的相互关系，我们必须建立相机成像的几何模型，这些几何模型参数就是相机参数[3]。
但是大多数条件下这些参数必须通过实验和计算才能得到，所以这个求解参数的过程就叫作相机的标定。
2 四目视觉扫描仪的设计方法2.1 标定流程利用HALCON里面完善的视觉集成开发环境和标准的视觉计算法[3]，从而可以快速地对相机进行标定。
用四个相机同时对标定板进行标定，必须保证标定板能够同时出现在四幅图像中。
标定主要分为4个步骤：①建立四目相机的标定数据模型；②获取并筛选出合适的图片；③把四目相机的测试数据添加到数据模型中；④执行标定2.2 建立四目相机的标定数据模型在建立标定数据模型之前，首先得调试各个相机的性能，包括相机的焦距，光圈大小等，保证每部相机在实验开始时都在最好的状态[4]。
基于HALCON的双目立体视觉系统实现
基于HALCON的双目立体视觉系统实现双目立体视觉系统是一种模拟人眼观察物体的视觉系统，通过两个摄像机模拟人眼的双眼观察物体的方式，获取物体的三维信息。
HALCON是一种广泛应用于机器视觉领域的开发工具，可以用于开发和实现双目立体视觉系统。
双目立体视觉系统通过两个距离较短的摄像机成像同一个场景，利用两个图像的差异来计算场景中物体的深度信息。
在HALCON中，实现双目立体视觉系统的关键步骤包括相机校准、图像获取、图像匹配以及深度计算。
首先，进行相机校准。
双目相机系统的校准是获取准确三维信息的基础，HALCON提供了相机标定工具来获取相机的内参和畸变参数。
通过使用标定板或者特定的标定物体拍摄一组图像，可以通过HALCON的相机标定工具获取相机的校准参数。
接下来，进行图像获取。
使用两个相机同时拍摄同一个场景的图像，获取左右两个相机的图像。
HALCON提供了图像处理的函数和工具，可以方便地读取和处理图像。
然后，进行图像匹配。
通过对左右两个相机的图像进行匹配，找到对应的视差点对。
HALCON提供了多种图像匹配算法，可以根据具体的应用需求选择合适的算法，例如基于相似度的匹配算法、基于特征点的匹配算法等。
最后，进行深度计算。
根据图像匹配得到的视差点对，可以通过三角测量方法计算物体的深度信息。
HALCON提供了三角测量的函数和工具，可以根据视差和相机间的基线距离计算出物体的深度。
除了基本的双目立体视觉系统实现，HALCON还提供了丰富的图像处理和计算机视觉函数，可以进行目标检测、目标跟踪、图像分割等进一步的应用开发。
双目立体视觉系统在智能制造、机器人导航、自动驾驶等领域具有广泛应用。
通过HALCON的支持，可以方便地实现双目立体视觉系统，并为各种应用场景提供高效可靠的解决方案。
总结来说，基于HALCON的双目立体视觉系统实现，需要进行相机校准、图像获取、图像匹配和深度计算等步骤。
HALCON提供了丰富的函数和工具，可以方便地实现这些步骤，并为双目立体视觉系统的应用提供强大的支持。
halcon自标定方法
halcon自标定方法Halcon自标定方法Halcon是一种常用的机器视觉软件，用于开发和实现各种图像处理和机器视觉应用。
在机器视觉领域，相机的标定是非常重要的一步，它能够精确地确定相机的内部参数和外部参数，从而提高图像处理的精度和准确性。
Halcon提供了自标定方法，使相机的标定过程更加简便和高效。
自标定方法基于相机的特征点，通过在图像中检测和匹配特征点来确定相机的内部参数和外部参数。
下面将详细介绍Halcon的自标定方法。
1. 特征点提取在自标定过程中，首先需要从图像中提取特征点。
Halcon提供了多种特征点提取算法，如Harris角点检测、SIFT算法等。
根据实际应用场景的需求，选择合适的算法进行特征点提取。
2. 特征点匹配特征点提取后，需要进行特征点的匹配。
Halcon提供了多种特征点匹配算法，如基于描述子的匹配算法、基于相似性变换的匹配算法等。
通过计算特征点之间的相似性，确定它们之间的对应关系。
3. 相机标定特征点匹配完成后，即可进行相机的标定。
Halcon提供了基于特征点的标定方法，通过求解相机的内部参数和外部参数，得到相机的准确标定结果。
标定过程中需要提供已知的标定板，通过测量标定板上的特征点坐标和图像中对应特征点的像素坐标，计算相机的内部参数和外部参数。
4. 标定结果评估标定过程完成后，需要对标定结果进行评估。
Halcon提供了多种评估方法，如重投影误差、畸变系数等。
通过对比实际观测值和标定结果的差异，评估标定的准确性和精度。
5. 标定结果应用标定结果可以应用于各种机器视觉应用中，如图像校正、目标检测和跟踪等。
通过应用标定结果，可以提高图像处理和机器视觉算法的准确性和稳定性。
总结：Halcon的自标定方法是一种简便高效的相机标定方法，通过特征点提取和匹配，求解相机的内部参数和外部参数，从而实现对相机的准确标定。
标定结果可以应用于各种机器视觉应用中，提高图像处理和算法的准确性和稳定性。
基于Halcon的固定视点手眼标定方法
２０２１年４月第４９卷第８期机床与液压ＭＡＣＨＩＮＥＴＯＯＬ＆ＨＹＤＲＡＵＬＩＣＳＡｐｒ．２０２１Ｖｏｌ ４９Ｎｏ ８ＤＯＩ：１０．３９６９／ｊ ｉｓｓｎ １００１－３８８１ ２０２１ ０８ ００７本文引用格式：杨伟姣，杨先海，薛鹏，等．基于Ｈａｌｃｏｎ的固定视点手眼标定方法［Ｊ］．机床与液压，２０２１，４９（８）：３５－３７．ＹＡＮＧＷｅｉｊｉａｏ，ＹＡＮＧＸｉａｎｈａｉ，ＸＵＥＰｅｎｇ，ｅｔａｌ．Ｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｏｆｆｉｘｅｄｖｉｅｗｐｏｉｎｔｂａｓｅｄｏｎｈａｌｃｏｎ［Ｊ］．ＭａｃｈｉｎｅＴｏｏｌ＆Ｈｙｄｒａｕｌｉｃｓ，２０２１，４９（８）：３５－３７．收稿日期：２０２０－０１－０２基金项目：国家自然科学基金青年科学基金项目（５１９０５３２０）作者简介：杨伟姣（１９９３ ），女，硕士研究生，研究方向为机器视觉及图像处理㊂Ｅ－ｍａｉｌ：１９６１５７２９５９＠ｑｑ ｃｏｍ㊂通信作者：杨先海（１９６３ ），教授，博士生导师㊂Ｅ－ｍａｉｌ：ｙｘｈ＠ｓｄｕｔ ｅｄｕ ｃｎ㊂基于Ｈａｌｃｏｎ的固定视点手眼标定方法杨伟姣１，杨先海１，薛鹏２，孙阳１，代瑞恒１，谭帅２（１ 山东理工大学机械工程学院，山东淄博２５５０４９；２ 胜利油田高原石油装备有限责任公司，山东东营２５７０００）摘要：在视觉引导机器人完成抓取的过程中，最重要的步骤是手眼标定，手眼标定的精度将直接影响后续工作的精度㊂充分考虑相机畸变对手眼标定的影响，在Ｈａｌｃｏｎ环境下，设计一种高精度的固定视点手眼标定方法，该方法在确定了机器人基础坐标系与相机图像坐标系之间关系的同时也标定了相机的内外参数，并通过实验进行验证㊂结果表明：该标定方法具有较高的精度，可广泛应用于视觉机器人的定位抓取工作㊂关键词：机器视觉；相机标定；手眼标定中图分类号：ＴＰ３９１Ｈａｎｄ⁃ｅｙｅＣａｌｉｂｒａｔｉｏｎＭｅｔｈｏｄｏｆＦｉｘｅｄＶｉｅｗｐｏｉｎｔＢａｓｅｄｏｎＨａｌｃｏｎＹＡＮＧＷｅｉｊｉａｏ１，ＹＡＮＧＸｉａｎｈａｉ１，ＸＵＥＰｅｎｇ２，ＳＵＮＹａｎｇ１，ＤＡＩＲｕｉｈｅｎｇ１，ＴＡＮＳｈｕａｉ２（１ ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，ＺｉｂｏＳｈａｎｄｏｎｇ２５５０４９，Ｃｈｉｎａ；２ ＳｈｅｎｇｌｉＯｉｌｆｉｅｌｄＰｌａｔｅａｕＰｅｔｒｏｌｅｕｍＥｑｕｉｐｍｅｎｔＣｏ．，Ｌｔｄ．，ＤｏｎｇｙｉｎｇＳｈａｎｄｏｎｇ２５７０００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎｔｈｅｐｒｏｃｅｓｓｏｆｖｉｓｕａｌｌｙｇｕｉｄｉｎｇｒｏｂｏｔｔｏｃｏｍｐｌｅｔｅｇｒａｓｐｉｎｇ，ｔｈｅｍｏｓｔｉｍｐｏｒｔａｎｔｓｔｅｐｉｓｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎ．Ｔｈｅａｃ⁃ｃｕｒａｃｙｏｆｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｗｉｌｌｄｉｒｅｃｔｌｙａｆｆｅｃｔｔｈｅａｃｃｕｒａｃｙｏｆｓｕｂｓｅｑｕｅｎｔｗｏｒｋ．Ｆｕｌｌｙｃｏｎｓｉｄｅｒｉｎｇｔｈｅｅｆｆｅｃｔｓｏｆｃａｍｅｒａｄｉｓｔｏｒｔｉｏｎｏｎｔｈｅｃａｌｉｂｒａｔｉｏｎｏｆｔｈｅｏｐｐｏｎｅｎｔ ｓｅｙｅｓ，ｉｎＨａｌｃｏｎｅｎｖｉｒｏｎｍｅｎｔ，ａｈｉｇｈ⁃ｐｒｅｃｉｓｉｏｎｆｉｘｅｄ⁃ｖｉｅｗｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｗａｓｄｅｓｉｇｎｅｄ．Ｉｎｔｈｉｓｍｅｔｈｏｄ，ｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｒｏｂｏｔ ｓｂａｓｉｃｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍａｎｄｔｈｅｃａｍｅｒａｉｍａｇｅｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍｗａｓｄｅｔｅｒｍｉｎｅｄｗｈｉｌｅｔｈｅｉｎｔｅｒｎａｌａｎｄｅｘｔｅｒｎａｌｐａｒａｍｅｔｅｒｓｏｆｔｈｅｃａｍｅｒａｗｅｒｅａｌｓｏｃａｌｉｂｒａｔｅｄ．Ｉｔｗａｓｖｅｒｉｆｉｅｄｂｙｅｘｐｅｒｉｍｅｎｔｓ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｈａｓｈｉｇｈａｃｃｕｒａｃｙａｎｄｃａｎｂｅｗｉｄｅｌｙｕｓｅｄｉｎｔｈｅｐｏｓｉｔｉｏｎｉｎｇａｎｄｇｒａｂｂｉｎｇｗｏｒｋｏｆｖｉｓｕａｌｒｏｂｏｔｓ．Ｋｅｙｗｏｒｄｓ：Ｍａｃｈｉｎｅｖｉｓｉｏｎ；Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ；Ｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎ０㊀前言机器人视觉控制是智能机器人领域的重要研究内容，也是现阶段研究的热点之一［１－２］㊂视觉与机器人的关联方式主要包括固定视点的眼到手配置模型（Ｅｙｅ－ｔｏ－Ｈａｎｄ）和非固定视点的眼在手配置模型（Ｅｙｅ－ｉｎ－Ｈａｎｄ）㊂本文作者主要针对摄像机固定安装在机械臂本体以外的Ｅｙｅ－ｔｏ－Ｈａｎｄ模型进行研究，Ｅｙｅ－ｔｏ－Ｈａｎｄ模型因其摄像机单独固定，避免了因机械臂运动造成的定位误差，在工业机器人定位抓取和装配等领域有着广泛的应用［３］㊂１㊀双目视觉系统原理双目视觉是根据视差原理，通过多幅图像获取测量物体三维信息的方法［４－５］㊂如图１所示为双目立体视觉原理图㊂其中ｘＬｙＬ表示左图像平面，ｘＲｙＲ表示右图像平面㊂对于空间任意一点ｐ，在左摄像机成像平面的投影点为ｐＬ，在右摄像机成像平面的投影点为ｐＲ，ｐＬ㊁ｐＲ相互对应㊂图１㊀双目立体视觉原理通过视差原理，可以计算空间点ｐ在相机坐标系下的三维坐标ｐ（Ｘｃ，Ｙｃ，Ｚｃ）：Ｘｃ＝ｘ－ｃｘｆＺ＝（ｘ－ｃｘ）Ｂｄ－ｃｘ＋ｃｘᶄＹｃ＝ｙ－ｃｙｆＺ＝ｙ－ｃｙ()Ｂｄ－ｃｘ＋ｃｘᶄＺｃ＝Ｂｆｄ－ｃｘ＋ｃｘᶄìîíïïïïïïïï（１）其中：Ｂ为基线距，ｍｍ；ｄ为视差，ｍｍ；ｆ为相机焦距；ｃｘ㊁ｃｘᶄ分别表示左右相机的图像中心与光心ｘ轴水平方向偏移量，ｍｍ；ｃｙ为左相机图像中心与光轴ｘ轴垂直方向偏移量，ｍｍ㊂２㊀摄像机标定坐标转换手眼标定的前提是要进行摄像机标定，求解空间中的世界坐标系与图像像素坐标系的关系，即为摄像机标定过程［６］㊂该过程中涉及的坐标系包括世界坐标系（ｘｗ，ｙｗ，ｚｗ）㊁摄像机坐标系（ｘｃ，ｙｃ，ｚｃ）㊁图像物理坐标系（ｘ，ｙ）㊁图像像素坐标系（ｕ，ｖ）㊂（１）世界坐标系与摄像机坐标系的转换ｘｃｙｃｚｃéëêêêêùûúúúú＝Ｒｘｗｙｗｚｗéëêêêêùûúúúú＋Ｔ＝ｒ１１ｒ１２ｒ１３ｒ２１ｒ２２ｒ２３ｒ３１ｒ３２ｒ３３éëêêêêùûúúúúｘｗｙｗｚｗéëêêêêùûúúúú＋ｔｘｔｙｔｚéëêêêêùûúúúú（２）其中：Ｒ为旋转变换矩阵；Ｔ为平移变换矩阵㊂（２）摄像机坐标系与图像坐标系的转换ｕ－ｕ０＝ｘ／ｄｘ＝ｓｘｘｖ－ｖ０＝ｙ／ｄｙ＝ｓｙｙ{（３）（３）世界坐标系与图像坐标系的转换Ｘｆ＝ｕ－ｕ０ｆｘ＝ｒ１１ｘｗ＋ｒ１２ｙｗ＋ｒ１３ｚｗ＋ｔｘｒ３１ｘｗ＋ｒ３２ｙｗ＋ｒ３３ｚｗ＋ｔｚＹｆ＝ｖ－ｖ０ｆｙ＝ｒ２１ｘｗ＋ｒ２２ｙｗ＋ｒ２３ｚｗ＋ｔｙｒ３１ｘｗ＋ｒ３２ｙｗ＋ｒ３３ｚｗ＋ｔｚìîíïïïï（４）将式（３）和式（４）代入式（２），可得齐次坐标为ｚｃｕｖ１éëêêêùûúúú＝ｆｘ０ｕ０００ｆｙｖ００００１０éëêêêùûúúúＲＴ０Ｔ１éëêêùûúúｘｗｙｗｚｗ１éëêêêêêùûúúúúú＝Ｍ１Ｍ２Ｘ＝ＭＸ（５）其中：ａｘ＝ｓｘｆｘ＝ｆｘ／ｄｘ，ａｙ＝ｓｙｆｙ＝ｆｙ／ｄｙ；Ｍ１为摄像机内部参数；Ｍ２为摄像机外部参数㊂３㊀固定视点手眼标定３ １㊀标定模型的建立在机器视觉中，机械手臂抓取运动过程中主要涉及机械臂基坐标系㊁工具坐标系㊁标定板坐标系㊁摄像机坐标系和世界坐标系［７－８］㊂整个过程的变换实质是将图像坐标系的坐标转换为机械臂基坐标的位姿变换㊂固定视点手眼标定模型如图２所示㊂图２㊀Ｅｙｅ－ｔｏ－Ｈａｎｄ模型㊀㊀手眼标定的目标：（１）求解摄像机坐标系下机械手基础坐标位姿ｃａｍＨｂａｓｅ；（２）求解工具坐标系下标定板坐标位姿ｔｏｏｌＨｃａｌ㊂３ ２㊀摄像机内参获取本文作者基于Ｈａｌｃｏｎ进行标定㊂Ｈａｌｃｏｎ是德国ＭＶｔｅｃ公司开发的图像处理软件，具有完善的综合标准软件库和机器视觉集成开发环境［９］㊂选用Ｈａｌｃｏｎ三维标定，该方法可以有效地消除径向畸变和视角畸变，在ｘ㊁ｙ㊁ｚ方向平移和旋转标定板，相机和镜头参数作为标定过程中算子ＳｔａｒｔＣａｍＰａｒ的初值㊂获取摄像机的内参的标定过程如图３所示㊂（１）选择标定板并初始化参数㊂标定过程选用７ˑ７的圆形阵列㊁直径为１０ｍｍ㊁圆心距为２０ｍｍ㊁厚度为０ １８ｍｍ的标定板，在标定初始选择标定文件路径和摄像机参数；（２）图像采集㊂将摄像机固定，机器人末端夹具带动标定板变换至不同空间位置，保存标定板位于㊃６３㊃机床与液压第４９卷不同位置时的摄像机图像，采集图像１５幅，由于Ｈａｌｃｏｎ图像采集对光照等条件要求较高，在实时采集过程中需要对标定板位置进行实时调整，采集满足标定要求的标定板图像；（３）提取原点中心并标定㊂提取标定板中阵列分布的原点中心并进行标定，去除图像畸变，获取校正后的摄像机内部参数㊂图４为标定图像㊂图３㊀摄像机内参的标定流程图４㊀标定图像３ ３㊀固定视点手眼标定通过机械臂末端工具带动标定板移动到不同位置，标定手眼关系同时获取摄像机内部参数，调用摄像机内参标定得到的二维图像，通过手眼关系的转换得到准确的三维信息，获取手眼标定的目标参数关系㊂获取机械臂末端工具相对于机械臂底座基坐标的位姿ｂａｓｅＨｔｏｏｌ以及标定板相对于摄像机的位姿ｃａｍＨｃａｌ，同时获取摄像机坐标系与机器人工具坐标系之间的相互关系，并得到了工具坐标系相对于相机坐标系的位姿ｃａｍＨｔｏｏｌ，从而可以得到手眼标定的结果，即基础坐标系下标定板位姿ｃａｍＨｃａｌ：ｃａｍＨｃａｌ＝ｃａｍＨｂａｓｅ㊃ｂａｓｅＨｔｏｏｌ㊃ｔｏｏｌＨｃａｌ基于Ｈａｌｃｏｎ进行手眼标定的流程如图５所示㊂图５㊀基于Ｈａｌｃｏｎ手眼标定流程标定板坐标系相对于基坐标系的位姿计算式为：ｂａｓｅＨｏｂｊ＝ｂａｓｅＨｃａｍ㊃ｃａｍＨｏｂｊ，表示出最终需要的工件位姿，得到这个位姿便可以给机器人发送运动指令，控制手抓进行抓取任务㊂４㊀实验结果及分析选用ＢＢ２双目摄像机和ＵＲ５机器人进行实验，摄像机通过支架固定于机械臂末端夹具上方，整个系统可获取摄像机内外参数以及摄像机与机械臂的相对位姿㊂通过文中提出的基于Ｈａｌｃｏｎ的标定方法，可以较为准确地获取图２中各坐标系之间的相互转换关系，满足了工业生产中对目标物体的准确抓取和定位工作，得到表１所示的标定结果㊂表１㊀手眼标定结果标定变量标定结果／ｍｍ标定变量标定结果／（ʎ）ｘ坐标０．１６２ｘ轴旋转量９０．１５９ｙ坐标０．００２ｙ轴旋转量０．２８４ｚ坐标０．０７３ｚ轴旋转量９０．０６５㊀㊀由表１可得标定结果仍存在一些误差㊂分析误差产生的主要原因有：（１）在图像采集过程中会受光照变化等噪声影响产生标定误差；（２）摄像机固有精度所带来的的实际误差；（３）各方面误差的累积影响标定结果㊂５㊀结束语本文作者提出基于Ｈａｌｃｏｎ的固定视点手眼标定方法，在获得机器人基础坐标与相机图像坐标之间关系的同时也标定了相机的内外参数㊂实验结果表明该方法标定精度较高，标定方法简便㊂该固定视点的手眼标定方法可广泛应用于流水线生产过程中的分拣和装配等工作㊂参考文献：［１］张艳芳，李倩，刘晓刚，等．基于开放平台的机器人视觉抓取控制系统设计［Ｊ］．机床与液压，２０１７，４５（２１）：３１－３４．ＺＨＡＮＧＹＦ，ＬＩＱ，ＬＩＵＸＧ，ｅｔａｌ．Ｄｅｓｉｇｎｏｆｒｏｂｏｔｖｉｓｉｏｎｇｒａｓｐｉｎｇｃｏｎｔｒｏｌｓｙｓｔｅｍｂａｓｅｄｏｎｏｐｅｎｐｌａｔｆｏｒｍ［Ｊ］．Ｍａ⁃ｃｈｉｎｅＴｏｏｌ＆Ｈｙｄｒａｕｌｉｃｓ，２０１７，４５（２１）：３１－３４．［２］丘椿荣．基于视觉伺服的机器人动态跟踪抓取技术研究［Ｄ］．武汉：华中科技大学，２０１９．ＱＩＵＣＲ．Ｓｔｕｄｙｏｎｒｏｂｏｔｉｃｄｙｎａｍｉｃａｌｔｒａｃｋｉｎｇａｎｄｇｒａｓｐｉｎｇｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｖｉｓｕａｌｓｅｒｖｏｉｎｇ［Ｄ］．Ｗｕｈａｎ：ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１９．（下转第７１页）㊃７３㊃第８期杨伟姣等：基于Ｈａｌｃｏｎ的固定视点手眼标定方法㊀㊀㊀ＴＩＡＮＪ，ＮＩＷＧ，ＺＨＵＳＸ．Ｍａｇｎｅｔｉｃｃｉｒｃｕｉｔａｎａｌｙｓｉｓａｎｄｓｉｍｕｌａｔｉｏｎｏｆｓｈｅａｒ⁃ｖａｌｖｅｍｏｄｅｍａｇｎｅｔｏｒｈｅｏｌｏｇｉｃａｌｄａｍｐｅｒ［Ｊ］．ＣｈｉｎｅｓｅＨｙｄｒａｕｌｉｃｓ＆Ｐｎｅｕｍａｔｉｃｓ，２０１５（１２）：４５－４８．［９］ＷＡＮＧＭＫ，ＣＨＥＮＺＢ，ＷＥＲＥＬＥＹＮＭ．Ｍａｇｎｅｔｏｒｈｅｏｌｏｇｉｃａｌｄａｍｐｅｒｄｅｓｉｇｎｔｏｉｍｐｒｏｖｅｖｉｂｒａｔｉｏｎｍｉｔｉｇａｔｉｏｎｕｎ⁃ｄｅｒａｖｏｌｕｍｅｃｏｎｓｔｒａｉｎｔ［Ｊ］．ＳｍａｒｔＭａｔｅｒｉａｌｓａｎｄＳｔｒｕｃ⁃ｔｕｒｅｓ，２０１９，２８（１１）：１１４００３．［１０］冯彪．飞机前起落架摆振仿真分析与参数优化［Ｄ］．南京：南京航空航天大学，２０１２．ＰＥＮＧＢ．Ｓｉｍｕｌａｔｉｏｎａｎｄｏｐｔｉｍｉｚａｔｉｏｎｏｆａｉｒｃｒａｆｔｎｏｓｅｌａｎｄ⁃ｉｎｇｇｅａｒｓｈｉｍｍｙ［Ｄ］．Ｎａｎｊｉｎｇ：ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＡｅｒｏ⁃ｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓ，２０１２．［１１］王功成．汽车前轮摆振系统动力学分析与评价平台开发［Ｄ］．合肥：合肥工业大学，２０１４．ＷＡＮＧＧＣ．Ａｎａｌｙｓｉｓａｎｄｅｖａｌｕａｔｉｏｎｐｌａｔｆｏｒｍｆｏｒｆｒｏｎｔｗｈｅｅｌｓｈｉｍｍｙｓｙｓｔｅｍ［Ｄ］．Ｈｅｆｅｉ：ＨｅｆｅｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，２０１４．［１２］许晓龙．基于磁流变减震器的起落架振动仿真平台开发［Ｄ］．天津：中国民航大学，２０１５．ＸＵＸＬ．ＤｅｖｅｌｏｐｍｅｎｔｏｆｖｉｂｒａｔｉｏｎｓｉｍｕｌａｔｉｏｎｐｌａｔｆｏｒｍｆｏｒｌａｎｄｉｎｇｇｅａｒｂａｓｅｄｏｎＭＲｄａｍｐｅｒ［Ｄ］．Ｔｉａｎｊｉｎ：ＣｉｖｉｌＡｖｉ⁃ａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，２０１５．［１３］刘照曦．基于磁流变减震器的起落架落震仿真模块开发［Ｄ］．天津：中国民航大学，２０１５．ＬＩＵＺＸ．Ｓｉｍｕｌａｔｉｏｎｍｏｄｅｌ ｓｅｘｐｌｏｉｔａｔｉｏｎｏｆＭＲｄａｍｐｅｒｏｎｌａｎｄｉｎｇｇｅａｒ［Ｄ］．Ｔｉａｎｊｉｎ：ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，２０１５．［１４］田静，王恕浩．飞机前轮摆振影响因素分析［Ｊ］．机械设计，２０１９，３６（７）：５２－５７．ＴＩＡＮＪ，ＷＡＮＧＳＨ．Ａｎａｌｙｓｉｓｏｎｔｈｅｉｎｆｌｕｅｎｃｉｎｇｆａｃｔｏｒｏｆｓｈｉｍｍｙｏｆｔｈｅａｉｒｃｒａｆｔ ｓｎｏｓｅｗｈｅｅｌ［Ｊ］．ＪｏｕｒｎａｌｏｆＭａ⁃ｃｈｉｎｅＤｅｓｉｇｎ，２０１９，３６（７）：５２－５７．［１５］胡挺，吴立军．ＣＡＴＩＡ二次开发技术基础［Ｍ］．北京：电子工业出版社，２００６．［１６］张越．基于ＶＢ对ＣＡＴＩＡ二次开发的非标零件标准化设计研究［Ｄ］．长春：长春理工大学，２０１８．ＺＨＡＮＧＹ．Ｒｅｓｅａｒｃｈｏｎｓｔａｎｄａｒｄｉｚａｔｉｏｎｄｅｓｉｇｎｏｆｎｏｎ⁃ｓｔａｎｄａｒｄｐａｒｔｓｂａｓｅｄｏｎＶＢＣＡＴＩＡｓｅｃｏｎｄａｒｙｄｅｖｅｌｏｐ⁃ｍｅｎｔ［Ｄ］．Ｃｈａｎｇｃｈｕｎ：ＣｈａｎｇｃｈｕｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１８．［１７］赵宏强，衡保利，谭青，等．利用ＭＡＴＬＡＢ与ＶＢ的传感器静态自动标定技术［Ｊ］．现代制造工程，２０１０（５）：３０－３２．ＺＨＡＯＨＱ，ＨＥＮＧＢＬ，ＴＡＮＱ，ｅｔａｌ．Ｓｅｎｓｏｒｓｔａｔｉｃａｕｔｏ⁃ｃａｌｉｂｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｂａｓｅｄｏｎＭＡＴＬＡＢａｎｄＶＢ［Ｊ］．ＭｏｄｅｒｎＭａｎｕｆａｃｔｕｒｉｎｇＥｎｇｉｎｅｅｒｉｎｇ，２０１０（５）：３０－３２．［１８］冯雪．基于ＭＡＴＬＡＢ与ＶＢ的工频波形分析系统［Ｄ］．上海：上海交通大学，２００９．ＦＥＮＧＸ．ＰｏｗｅｒｆｒｅｑｕｅｎｃｙｗａｖｅｆｏｒｍａｎａｌｙｓｉｓｓｙｓｔｅｍｂａｓｅｄｏｎＭＡＴＬＡＢａｎｄＶＢ［Ｄ］．Ｓｈａｎｇｈａｉ：ＳｈａｎｇｈａｉＪｉａｏＴｏｎｇＵｎｉｖｅｒｓｉｔｙ，２００９．［１９］ＬＯＲＤＣｏｒｐｏｒａｔｉｏｎ．ＭＲＦ－１３２ＤＧｍａｇｎｅｔｏ⁃ｒｈｅｏｌｏｔｉｃａｌｆｌｕｉｄ［Ｚ］．ＵＳＡ：ＬＯＲＤＣｏｒｐｏｒａｔｉｏｎ，２０１１．［２０］ＭＡＮＪＥＥＴＫ，ＳＵＪＡＴＨＡＣ．ＭａｇｎｅｔｏｒｈｅｏｌｏｇｉｃａｌｖａｌｖｅｓｂａｓｅｄｏｎＨｅｒｓｃｈｅｌ－Ｂｕｌｋｌｅｙｆｌｕｉｄｍｏｄｅｌ：ｍｏｄｅｌｌｉｎｇ，ｍａｇ⁃ｎｅｔｏｓｔａｔｉｃａｎａｌｙｓｉｓａｎｄｇｅｏｍｅｔｒｉｃｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＳｍａｒｔＭａｔｅｒｉａｌｓａｎｄＳｔｒｕｃｔｕｒｅｓ，２０１９，２８（１１）：１１５００８．（责任编辑：张艳君）（上接第３７页）［３］谢小鹏，彭泽林．一种固定视点的机器人手眼关系标定方法［Ｊ］．中国测试，２０１８，４４（６）：１－５．ＸＩＥＸＰ，ＰＥＮＧＺＬ．Ａｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｒｏｂｏｔｗｉｔｈｓｔａｔｉｏｎａｒｙｖｉｅｗｐｏｉｎｔ［Ｊ］．ＣｈｉｎａＭｅａｓｕｒｅｍｅｎｔ＆Ｔｅｓｔ，２０１８，４４（６）：１－５．［４］王之凤，张文君，许键．双目智能眼镜视差快速测试系统设计［Ｊ］．光学技术，２０１８，４４（１）：３０－３４．ＷＡＮＧＺＦ，ＺＨＡＮＧＷＪ，ＸＵＪ．Ｒａｐｉｄ⁃ｔｅｓｔｉｎｇｓｙｓｔｅｍｏｆｂｉｎｏｃｕｌａｒｓｍａｒｔｇｌａｓｓｏｐｔｉｃａｌｐａｒａｌｌａｘ［Ｊ］．ＯｐｔｉｃａｌＴｅｃｈ⁃ｎｉｑｕｅ，２０１８，４４（１）：３０－３４．［５］李长春，胡炜，顾寄南，等．上下料机器人视觉测量系统关键技术的研究［Ｊ］．机床与液压，２０１８，４６（１５）：６８－７０．ＬＩＣＣ，ＨＵＷ，ＧＵＪＮ，ｅｔａｌ．Ｒｅｓｅａｒｃｈｏｎｋｅｙｔｅｃｈｎｏｌｏｇｙｏｆｂｉｎｏｃｕｌａｒｖｉｓｉｏｎｍｅａｓｕｒｅｍｅｎｔｓｙｓｔｅｍｏｆｌｏａｄｉｎｇａｎｄｕｎｌｏａ⁃ｄｉｎｇｒｏｂｏｔ［Ｊ］．ＭａｃｈｉｎｅＴｏｏｌ＆Ｈｙｄｒａｕｌｉｃｓ，２０１８，４６（１５）：６８－７０．［６］胡松，王道累．摄像机标定方法的比较分析［Ｊ］．上海电力学院学报，２０１８，３４（４）：３６６－３７０．ＨＵＳ，ＷＡＮＧＤＬ．Ｃｏｍｐａｒａｔｉｖｅａｎａｌｙｓｉｓｏｆｃａｍｅｒａｃａｌｉｂｒａ⁃ｔｉｏｎｍｅｔｈｏｄｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒ，２０１８，３４（４）：３６６－３７０．［７］舒奇，黄家才．基于Ｈａｌｃｏｎ的机器人手眼标定方法研究［Ｊ］．南京工程学院学报（自然科学版），２０１９，１７（１）：４５－４９．ＳＨＵＱ，ＨＡＵＮＧＪＣ．Ａｓｔｕｄｙｏｎｒｏｂｏｔｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＨａｌｃｏｎ［Ｊ］．ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０１９，１７（１）：４５－４９．［８］陆艺，沈添秀，郭小娟，等．线结构光视觉传感器机器人手眼关系标定［Ｊ］．中国测试，２０１９，４５（１０）：６－９．ＬＵＹ，ＳＨＥＮＴＸ，ＧＵＯＸＪ，ｅｔａｌ．Ｒｏｂｏｔｈａｎｄ⁃ｅｙｅｒｅｌａｔｉｏｎ⁃ｓｈｉｐｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎｌｉｎｅｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｖｉｓｉｏｎｓｅｎｓｏｒ［Ｊ］．ＣｈｉｎａＭｅａｓｕｒｅｍｅｎｔ＆Ｔｅｓｔ，２０１９，４５（１０）：６－９．［９］田春林，陈李博，马国庆，等．基于Ｈａｌｃｏｎ的工业机器人手眼标定方法研究［Ｊ］．制造业自动化，２０１８，４０（３）：１６－１８．ＴＩＡＮＣＬ，ＣＨＥＮＬＢ，ＭＡＧＱ，ｅｔａｌ．Ｒｅｓｅａｒｃｈｏｎｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｏｆｉｎｄｕｓｔｒｉａｌｒｏｂｏｔｂａｓｅｄｏｎＨａｌｃｏｎ［Ｊ］．ＭａｎｕｆａｃｔｕｒｉｎｇＡｕｔｏｍａｔｉｏｎ，２０１８，４０（３）：１６－１８．（责任编辑：张艳君）㊃１７㊃第８期田静等：基于磁流变减摆器的摆振仿真平台开发㊀㊀㊀。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0 引言
根据标定方式的不同 ， 现有的相机标定方法可以分 为传统标定方法 、 自标定方法和基于主动视觉的标定方 法 。 传统标定方法是指利用一个尺寸已知的高精度标定 物作为空间参照 ， 通过建立标定物某点与其图像点的对 应关系 ， 利用相关算法获得相机的内外参数 。 此方法的 不足在于标定物的制造成本高 ， 其精度直接影响标定结 果 ， 而且某些场合下不适合放置标定物 。 自标定方法是 指不需要标定物 ， 仅利用场景约束或相机运动约束 ， 依 靠多幅图像对应点之间的关系进行标定 。 但此方法标定 精度不高 ， 不合适在精确测量的场合下使用 。 基于主动 视觉的标定方法是指在己知相机的某些运动信息下标定 相机的方法 。 虽然此算法简单 ， 鲁棒性较高 ， 但是该方
第 26 卷第 3 期 2013 年 5 月 文章编号 ： 1002－6673 （2013 ） 03－095－03
Development ＆ Innovation of Machinery ＆ Electrical Products
机电产品开发与创新
Vol．26,No．3 · 制造业信息化 May．,2013 ·
法需要使用高精度主动视觉平台进行相机标定 ， 实验设 备昂贵 ， 实验条件要求高 ， 且不适合运动参数未知或无 法控制的场合 。 因此 ， 在以上标定方法的基础上 ， 本文 介绍一种利用 HALCON 软件的平面圆靶标双目视觉标定方 法。 实验证明此方法测量精度高， 鲁棒性强， 适用范围广。
1 双目视觉系统以及标定的原理
关键词 ： 机器视觉 ； 双目视觉 ； 标定 Halcon 中图分类号 ： TP317 文献标识码 ： A
doi:10.3969/j.issn.1002-6673.2013.03.040
Binocular Vision System Calibration Based on HALCON
LI Zhe ， XIANG Hui-Yu ， HAN Bao-An ， HUANG Jia-Jun
1.1 双目视觉系统原理
双目立体视觉是立体视觉的一种重要形式 ， 它是基 于双目视差理论并利用成像设备从不同的位置获取被测 物体的幅图像 ， 通过计算图像对应点间的位置偏差 ， 从而 获取物体三维几何信息的方法 。 图 1 是双目视觉系统的原 理图 ， 其中 ， b 是两个相机光心的距离 ， f 是相机的主距 。 相机坐标系的原点位于光心处 ， 成像平面本应该位于相机 坐标系之后 ， 但是为了简化计算过程 ， 假想的使成像平面 位于相机坐标系之前 。 图像坐标系建立在成像平面上 ， 其 坐标轴用 u、 r 表示 。 P 是空间中一点 ， 它在图像坐标系 的投影分别是 P'， P"， 像 P 这样的点被称为共轭点 。
1.2 标定原理
在图像测量过程以及机器视觉应用中 ， 为确定空间
95
· 制造业信息化·
（4 ） 通过以上三步即可以获得左 、 右相机各自的内外 参数 。 假定空间中任意一点在世界坐标系 ， 左 、 右相机 坐 标 系 下 的 非 齐 次 坐 标 分 别 是 xw，x1，x2， 则
-1 -1
x =R x +T ， 姨 x -R x +T
基于 HALCON 的双目视觉系统标定
李 哲 ， 项辉宇 ， 韩宝安 ， 黄佳军
（ 北京工商大学 材料与机械工程学院 方法进行论述 ， 阐述了双目视觉系统的原理 ， 深入的介绍了双目视觉系 统标定的原理 ， 方法 。 此外 ， 针对如何使用 HALCON 软件进行双目标定进行了详细的论述 ， 分析 了面阵摄像机的标定过程 ， 该方法简单易行 , 充分发挥了 HALCON 的 函 数 库 功 能 ， 提 高了 标 定 精 度和计算速度 ， 而且具有良好的跨平台移植性 。
（School of Materials Science and Mechanical Engineering ， Beijing Technology and Business University ， Beijing 100048 ， China ）
Abstract ： This paper discusses existing binocular calibration method and elaborates the principle of binocular vision system. It also in-depth introduces the calibration of binocular vision system. In addition, This paper discusses how to use the HALCON software to achieve binocu lar calibration in detail, analysis the process of calibration. The method in this paper is simple, giving full play to the HALCON library, im proving the calibration accuracy and computational speed and has a good cross-platform portability. Key words: machine vision ； binocular vision ； calibration ； Halcon