基于HALCON的双目立体视觉工件尺寸测量
基于HALCON的双目立体视觉系统实现
图1双目立体成像原理图图3一般双目立体视觉系统原理图由此可计算出空间中某点P在左摄像机坐标系中的坐标为:因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。
1．2双目立体视觉的系统结构以及精度分析由上述双目视觉系统的基本原理可知，为了获得三维空间中某点的三维坐标，需要在左右两个摄像机像面上都存在该点的相应点。
立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体。
图3为原理图。
这样通过求得两个图像中相应点的图像坐标，便可以由双目立体视觉测量原理求取三维空间坐标。
事实上，获取两幅图像也可以由一个摄像机实现，如一个摄像机通过给定方式的运动，在不同位置观测同一个静止的物体，或者通过光学成像方式将两幅图像投影到一个摄像机，都可以满足要求。
各种双目视觉系统结构各有优缺点，这些结构适用于不同的应用场合。
对要求大测量范围和较高测量精度的场合，采用基于双摄像机的双目立体视觉系统比较合适；对测量范围要求比较小，对视觉系统体积和质量要求严格，需要高速度实时测量对象，基于光学成像的单摄像机双目立体视觉系统便成为最佳选择。
基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上，在进行双目视觉系统标定以及应用该系统进行测量时，要确保摄像机的内参(比如焦距)和两个摄像机相对位置关系不能够发生变化，如果任何一项发生变化，则需要重新对双目立体视觉系统进行标定。
视觉系统的安装方法影响测量结果的精度。
测量的精度可由下式得出:上式中⊿z表示测量得出的被测点与立体视觉系统之间距离的精度，z指被测点与立体视觉系统的绝对距离，f指摄像机的焦距，b表示双目立体视觉系统的基线距，⊿d表示被测点视差精度。
为了得到更高的精度，应该使摄像机的焦距以及基线长度增大，同时应该使被测物体尽可能的靠近立体视觉系统。
另外这个精度和视差的精度有直接的关系。
在HALCON中一般情况下视差结果可以精确到1/5~1/10个像素，如果一个像素代表7.4μm那么视差的精度可以达到1μm。
基于Halcon软件的双目立体视觉系统标定
第 ９期
军 事 交 通 学
院 学 报
Ｖ０ ． ３ Ｎｏ． １１ ９ Ｓ ｐ．２ ｅ ｔ ０１１
２１ ０ １年 ９月
Ｊ ｕ ａ ｆＭｉ ｔ ｒ ｒｎ ｐ ｒ ｔ ｎ Ｕｎ ｖ ｒｉ ｏ ｒ ｌｏ ｌ ａｙ Ｔ ａ ｓ ｏ ｔ ｉ ｉｅ ｓ ｙ ｎ ｉ ａｏ ｔ
近 年 来 ， 备 自主 驾 驶 能 力 的智 能 车 日渐 成 具 为关 注 热 点 ， 研 究 涉 及 环 境 感 知 、 划 决 策 、 其 规 车
双 目立 体 视 觉 是 立 体 视 觉 的 一 种 重 要 形 式 ， 它 是 基 于 双 目视 差 理 论 并 利 用 成 像 设 备 从 不 同 的位 置 获 取 被 测 物 体 的 ２幅 图 像 ， 过 计 算 图像 通 对 应点 间 的 位 置 偏 差 ， 获 取 物 体 三 维 几 何 信 息 来
表1摄像机性能参数项目性能指标型号分辨率pixels单位像素尺寸m外形尺寸mmbasiera6016564909999604429将计算得到的摄像机镜头最小焦距和视场角与实际的镜头参数进行比较选择参数最相近的摄像机镜头产品以采集满足应用要求的最佳图万方数据万方数据48军事交通学院学报第l3卷第9期光照条件下同一摄像头的参数虽有差异但差异很小
Ｃ ｅ ｇ Ｘｉ ｏｏ ｇ Ｘｕ Ｙｏ ｃ ｕ Ｌ ａ，ｉ ｅ ｇ ｈ ｎ ａ ｌ ｎ ， ｕ ｈ ｎ， ｉＨｕ Ｊａ Ｐ ｎ
（ ｕ ｍｏｉ ｎ ｉｅｒ ｇＤ ｐｒ ｅｔ ｉｔｒ Ｔａｓｏ ａｉ ｎｖｒ ｔ， ｉ ｊ ０ １ １ ｈｎ ） Ａ ｔ ｂ ｅＥ ｇ ｅ ｎ ｅａｔ ｎ，Ｍ ｌａｙ ｒｎｐ ｒ ｔ ｎＵ ｉ ｓｙ Ｔａ ｉ ３ ０ ６ ，Ｃ ｉａ ｏ ｌ ｎ ｉ ｍ ｉ ｔ ｏ ｅｉ ｎｎ
基于HALCON的双目视觉系统深度信息测量技术研究
基于HALCON的双目视觉系统深度信息测量技术研究基于 HALCON 的双目视觉系统深度信息技术研究立体视觉技术是机器人技术研究中最为活跃的一个分支是智能机器人的重要标志双目立体视觉是通过对同一目标的两幅图像提取识别匹配和解释进行三维环境信息的重建其过程主要包括视频捕获摄像机定标图像预处理和特征提取立体匹配以及三维重建为解决智能移动机器人工业装配机器人家用机器人公共服务机器人的视觉问题双目立体视觉技术的进一步研究可对多目视觉具有重要的启发本文对双目立体视觉测深原理和双目视觉系统的结构进行了初步研究其图象处理主要包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分并且应用 HALCON 软件实现了这些步骤的算法最后对基于HALCON 双目视觉系统测量深度进行了初步编程测试关键字双目视觉系统 HALCON 标定IV基于 HALCON 的双目视觉系统深度信息技术研究AbstractStereo vision technology is one of active branches in the robot technology it is animportant symbol of the intelligent robot Inthe system the three-dimensionalreconstruction environmental information is reconstructedby the objective extractionfrom images identification matching and explanation The process includes videocapture camera calibration image pre-processing and feature extractionthree-dimensional matching and three-dimensional reconstruction In order to solve theproblems about the vision of smart mobile robots industrial robot household robotsrobot visual public service problems the further study on the three-dimensional visiontechnology could inspire to more eyes visionIn the thesis the principle of binocular stereovision measuring depth and thestructure of binocular stereo vision are studied preliminarily Itsimage process includesfive parts such as image acquisition calibrationimage pre-processing and featureextraction three-dimensional matching and information extraction Thehalcon softwareto realize the algorithm of these steps have been applied Finally theexperiment of theprogramming to measure the depth based on the halcon in the binocularvision systemhave been carried and tested preliminaryKey words Binocular vision system halcon CalibrationV基于 HALCON 的双目视觉系统深度信息技术研究目录第一章绪论 111 研究的背景及意义 112 双目立体视觉系统的现状及发展方向 1com 双目视觉系统技术的国内外现状1com 双目立体视觉系统发展方向313 本文的主要研究内容 3第二章双目立体系统测量深度原理 521 双目立体视觉原理 522 体视觉系统的图象处理 6com 图像的获取 6com 摄像机的标定 7com 图像预处理与特征提取9com 图像匹配 9com 获得立体信息 1023 双目视觉系统的结构 11com 系统的结构 11com 双目测量深度的硬件组成12 第三章双目视觉系统深度测量程序设计 1431 本程序的设计思路及程序框图 1432 利用HALCON进行双目测深图像处理结果14 com 获取标定板图像 14com 处理标定板图像 15com 双目视觉系统标定 17com 获取观察物图像 17com 矫正图像 18com 获得中心点 3D信息1833 生成VC程序及制作应用软件20第四章基于halcon双目测深实验结果及误差分析21 41 实验结果 21VI基于 HALCON 的双目视觉系统深度信息技术研究42 误差分析 21第五章设计总结与展望 23参考文献 24致谢 26附录 1 27附录2 38声明 42VII基于 HALCON 的双目视觉系统深度信息技术研究第一章绪论11 研究的背景及意义双目视觉系统技术的研究一直是机器视觉中的热点和难点使用双目立体视觉系统可以确定任意物体的三维轮廓并且可以得到轮廓上任意点的三维坐标因此双目立体视觉系统可以应用在多个领域双目立体视觉系统在机器视觉领域有着广泛的应用前景双目立体视觉是机器视觉的一种重要形式它是基于视差原理并由多幅图像获取物体三维几何信息的方法双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像并基于视差原理恢复出物体的三维几何信息重建物体三维轮廓及位置HALCON是德国MVtec公司的图像处理软件是世界公认具有最佳效能的机器视觉软件这是一套图像处理库由一千多个各自独立的函数以及底层的数据管理核心构成其中包含了各类滤波色彩分析以及几何数学变换形态学计算分析校正分类辨识形状搜索等等基本的几何以及图像计算功能由于这些功能大多并非针对特定工作设计的因此只要用得到图像处理的地方就可以用HALCON强大的计算分析能力来完成工作由于机器视觉技术的发展这种可以"取代人眼"对重复工作不会疲劳精度高且稳定的特质促进了高科技业的发展例如电子业[1]产量的大幅提升本文研究了基于 HALCON 实现双目立体视觉系统以及立体视觉的基本理论方法和相关技术搭建双目立体视觉系统和提高算法效率12 双目立体视觉系统的现状及发展方向com 双目视觉系统技术的国内外现状双目视觉系统技术应用非常广泛目前主要应用于四个领域机器人导航操作系统的参数检测三维测量和虚拟现实日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统利用双目体视的原理以每幅图像中相对静止的三个标志为参考实时计算目标图像的雅可比矩阵从而预测出目标下一步运动方向实现了对运动方式未知的目标的自适1基于 HALCON 的双目视觉系统深度信息技术研究应跟踪该系统仅要求两幅图像中都有静止的参考标志无需摄像机参数而传统的视觉跟踪伺服系统需事先知道摄像机的运动光学等参数和目标的运动方式日本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真机器人动态行走导航系统该系统实现分两个步骤首先利用平面分割算法分离所拍摄图像对中的地面与障碍物再结合机器人躯体姿态的信息将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系建立机器人周围区域的地图其次根据实时建立的地图进行障碍物检测从而确定机器人的行走方向华盛顿大学与微软公司合作为火星卫星探测者号研制了宽基线立体视觉系统使探测者号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航系统使用同一个摄像机在探测者的不同位置上拍摄图像对拍摄间距越大基线越宽能观测到越远的地貌系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配得到亚像素精度的视差并根据此视差计算图像对中各点的三维坐标相比传统的体视系统能够更精确地绘制探测者号周围的地貌和以更高的精度观测到更远的地形东南大学电子工程系基于双目立体视觉提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法可对三维不规则物体偏转线圈的三维空间坐标进行非接触精密测量哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部可以同时监视不同方位视点体现出比人类视觉优越的一面通过合理的资源分配及协调机制使机器人在视野范围测量精度及处理速度方面达到最佳匹配双目协调技术可使机器人同时捕捉多个有效目标观测相遇目标时通过数据融合也可提高测量精度在实际比赛中其他传感器失效的情况下仅仅依靠双目协调仍然可以实现全自主足球机器人导航火星 863 计划课题人体三维尺寸的非接触测量采用双视点投影光栅三维测量原理由双摄像机获取图像对通过计算机进行图像数据处理不仅可以获取服装设计所需的特征尺寸还可根据需要获取人体图像上任意一点的三维坐标该系统已通过中国人民解放军总后勤部军需部鉴定可达到的技术指标数据采集时间小于5s人提供身高胸围腰围臀围等围度的测量精度不低于10cm[2]2基于 HALCON 的双目视觉系统深度信息技术研究com 双目立体视觉系统发展方向就目前立体视觉技术的发展现状而言要构造出类似于人眼的通用双目立体视觉系统还有很长的路要走进一步的研究方向可归纳如下1如何建立更有效的双目体视模型能更充分地反映立体视觉不确定性的本质属性为匹配提供更多的约束信息降低立体匹配的难度2 探索新的适用于全面立体视觉的计算理论和匹配策略选择有效的匹配准则和算法结构以解决存在灰度失真几何畸变透视旋转缩放等噪声干扰特殊结构平坦匹域重复相似结构等及遮掩景物的匹配问题双目立体视觉这一有着广阔应用前景的学科随着光学电子学以及计算机技术的发展将不断进步逐渐实用化不仅将成为工业检测生物医学虚拟现实等领域的关键技术还有可能应用于航天遥测军事侦察等领域目前在国外双目体视技术已广泛应用于生产生活中而我国正处于初始阶段尚需广大科技工作者共同努力为其发展做出贡献13 本文的主要研究内容立体视觉的基本原理是从两个或多个视点观察同一景物以获取在不同视角下的感知图像通过三角测量原理计算图像象素间的位置偏差即视差来获取物体的三维信息这一过程与人类视觉的立体感知过程是类似的一个完整的双目立体视觉系统一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分本文研究内容为利用 HALCON 软件对图像进行处理通过图像匹配技术得到目标视差从而转化为物体所需的深度信息程序大致关键步骤分为图像获取―摄像机标定－物体识别－深度信息确定分析了各个步骤的相应问题和处理方法并将本课题的重点集中于测量深度信息各种算法 HALCON 软件编程这一部分第一章介绍了本文的研究意义以及双目立体视觉系统的国内外现状和发展方向最后介绍了本文的主要研究内容及章节安排第二章介绍了双目立体视觉原理及结构介绍了双目视觉的技术实现包括图像获取摄像机标定图像预处理与特征提取立体匹配信息提取3基于 HALCON 的双目视觉系统深度信息技术研究第三章研究了应用 HALCON 软件编程各种算法所得的整个程序四个主要步骤标定立体摄像系统获取图像矫正图像获得 3D 信息以及制作 VC 程序和应用软件第四章对基于 HALCON 双目视觉系统测量深度进行了实验对实验结果处理并分析了实验误差第五章最后介绍了本设计的总结及对今后的工作进行了展望4基于 HALCON 的双目视觉系统深度信息技术研究第二章双目立体系统测量深度原理21 双目立体视觉原理双目立体视觉三维测量是基于视差原理图 2-1 所示为简单的平视双目立体成像原理图两摄像机的投影中心分别为O 和O 点P为观察物上的中心点基线距b21为两摄像机的投影中心的连线距离两摄像机的焦距为f且相同左边摄像机的坐标系的原点在摄像机镜头的光心O处坐标系O_ x y z 如图 1 所示左右摄像机的c c c成像平面为O uv和O uv O 和O 分别为左右图像坐标系的原点在摄像机光轴与平21 2 1面的交点实际上摄像机的成像平面在镜头的光心后面f处这里绘制在镜头的光心前面f处成像平面的u轴和v轴和摄像机坐标系O_ x y z 的x 轴和y 轴方向一致c c c c c这样可以简化计算过程图2 －1 双目立体成像原理图点P在左摄像机成像平面和右摄像机成像平面中相应的坐标分别为Pu v 和11 1P u v 假定两摄像机的图像在同一个平面上则P点坐标y 在O uv和O uv系中v2 2 2c1 2坐标相同即v v 由三角几何关系得到215基于 HALCON 的双目视觉系统深度信息技术研究x x b ycu f c u c v v1 v2 f2-11 2 1z z zc c c视差定义为某一点在两幅图像中相应点的位置差其表达式为f bd u u2-21 2zc由此可计算出空间中某点P 在左摄像机坐标系中的坐标为b u1xc db vy c 2-3db fzcd因此只要能够找到空间中某点 P 在左右两个摄像机像面上的相应点并且通过摄像机标定获得摄像机的内外参数就可以确定这个 P 点的三维坐标这样深度信息的测量变为 P 点的 Z 轴之间的差值22 体视觉系统的图象处理一个完整的双目立体视觉系统的图象处理一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分com 图像的获取双目体视的图像获取是由不同位置的两台摄像机CCD 经过移动或旋转拍摄同一幅场景获取立体图像对其模型如图 2-2 假定摄像机C 与 C 的角距和内部参12数都相等两摄像机的光轴互相平行二维成像平面u O v 和u O v 重合P 与P 分1 1 12 2 2 1 2别是空间点P在C 与C 上的成像点但一般情况下两个摄像机的内部参数不可能1 2完全相同摄像机安装时无法看到光轴和成像平面故在实际中难以应用上海交大在理论上对会聚式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析并通过试验指出对某一特定点进行三角测量该点测量误差与两CCD光轴夹角是一个复杂的函数关系若两摄像头光轴夹角一定则被测坐标系与摄像头坐标系之间距离越大测量得到点距离的误差就越大在满足测量范围的前提下应选择两CCD之间夹角在 50-80 度之间[561012]6基于 HALCON 的双目视觉系统深度信息技术研究图2-2 双摄像机模型com 摄像机的标定计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的这些几何模型参数就是摄像机参数这个过程被称为摄像机标定根据摄像机参数性质可以分为内部参数和外部参数内部参数描述摄像机的内部光学和几何特性如图像中心焦距镜头畸变以及其它系统误差参数等相对于一个世界坐标系的摄像机坐标的三维位置和方向称为外部参数摄像机标定是立体视觉研究的重要组成部分首先建立 4 个坐标系见图 2-3 1 三维世界坐标系O_X YZ Xw ww wYw Zw 为物体点 P 的三维世界坐标 2 摄像机坐标系 O_X Y Z 图中光心到图c c c像平面距离OO 为摄像机有效焦距 f 3 成像平面坐标系 O XY P X Y1 uu u表示针孔模型下 P点的理想成像坐标P X Y 是由透镜径向畸变引起的偏离 Pd d d uX Y 的实际成像平面坐标 4 图像坐标系 O uv 原点 O 在图像平面u u 0 0的左上角每一像素的坐标u v 分别是该像素在数组中的列数和行数所以uv 是以像素为单位的图像坐标系的坐标[2389]7基于HALCON 的双目视觉系统深度信息技术研究图2-3四个坐标系图摄像机内参数的标定和单目视觉系统标定一致双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数 R 和 T 即两个摄像机之间的位置关系R 和 T 分别为旋转矩阵和平移向量一般方法是采用标准的 2D 或3D 精密靶标通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数具体的标定过程如下1将标定板放置在一个适当的位置使它能够在两个摄像机中均可以完全成像通过标定确定两个摄像机的内部参数以及他们的外部参数R T 与R T1 12 2则R T 表示左摄像机与世界坐标系的相对位置R T 表示右摄像机与世界坐标1 12 2系的相对位置2 假定空间中任意一点在世界坐标系左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为Xw Xc1 Xc2 则X R X T X R X T 11 2-41 C1 1 2W2 C W 2消去XW 得到1 1 11 2-5X R R X T R R T2 2 C 1 1 2 2 C 1 12两个摄像机之间的位置关系RT可以用以下关系式表示R R R T T R R T 1 1 2-62 1 2 2 1 128基于 HALCON 的双目视觉系统深度信息技术研究com 图像预处理与特征提取由光学成像系统生成的二维图像包含了各种各样的随机噪声和畸变因此需要对原始图像进行预处理突出有用信息抑制无用信息从而改善图像质量图像预处理的目的主要有两个一是改善图像的视觉效果提高图像的清晰度二是使图像变的更有利于计算机的处理便于各种特征分析图像预处理技术包括图像对比度的增强随机噪声的去除边缘特征的加强等特征提取是为了得到匹配赖以进行的图像特征由于目前尚没有一种普遍适用的理论可运用于图像特征的提取从而导致了立体视觉研究中匹配特征的多样性目前常用的匹配特征主要有点特征线特征和区域特征等一般来讲大尺度特征含有较丰富的图像信息在图像中的数目较少易于得到快速的匹配但它们的定位精度差特征提取与描述困难而小尺度特征数目较多其所含信息较少因而在匹配时需要较强的约束准则和匹配策略以克服歧义匹配和提高运算效率良好的匹配特征应具有可区分性不变性稳定性唯一性以及有效解决歧义匹配的能力[1415]com 图像匹配由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题然而对于实际的立体图像对求解对应问题极富挑战性可以说是双目立体视觉中最困难的一步为了能够增加匹配结果的准确性以及匹配算法的速度在匹配过程中通常会加入下列几种约束1 极线约束在此约束下匹配点已经位于两副图像中相应的极线上2 唯一性约束两副图像中的对应的匹配点有且仅有一个3 视差连续性约束除了遮挡区域和视差不连续区域外视差的变化都是平滑的4 顺序一致性约束位于一副图像极线上的系列点在另一幅图像中极线上有相同的顺序图像匹配的方法有基于图像灰度区域的匹配基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配针对模板匹配HALCON 提供了许多不同的方法方法的选择取决于图像的数据和需要解决的任务9基于 HALCON 的双目视觉系统深度信息技术研究基于灰度值的匹配gray-value-based macthing 是典型的匹配方法如果物体中灰度值变化不大没缺损部分和混乱这种方法可以被使用这种方法能够处理单一物体实例该实例在查找图像中可以是旋转的基于形状的匹配shape-based macthing 是机器视觉中的先进技术基于形状的匹配不是使用灰度值而是提取并使用轮廓的特征来产生模板和完成匹配在照明的变化和物体灰度值的变化的情况下这种方法得到的效果都是完全一致的他能够处理物体上的缺损部分混乱和噪声而且同一模板的多个实例可被同时发现多个的不同模板也可以被同时使用这种方法允许物体被旋转和缩放基于成分的匹配component-based matching 被认为是一种更高级的基于形状的匹配增强的功能是物体能够包含若干个可旋转和平移的部分旋转和平移是相对于这些部分之间进行的一个简单的例子是一对钳子逻辑上这被认为是一个物体但物体上它包含了两部分成分匹配允许只用一个查找步骤就能处理类似这样的复合物与将各个部分处理为整个特殊模型的方法相比成分匹配的优点在于提高了执行速度和算法的健壮性基于点的匹配point-based matching 目的是为了组合两幅有两幅重叠区域的图像首先在这两幅图像上提取有效点这些点被输入到实际的匹配过程匹配的结果是从一幅图像到另一幅图像映射允许平移旋转缩放和透视失真这种映射的典型应用是把两幅图像结合成一幅更大的图像当然一幅图像也可以作为模板对待另一幅图像则被视为包含需被查找模板实例的图像对待这种方法的优点在于能够处理没有校准的透视失真缺点在于增加了执行时间时间主要被用于有[1]效点的提取com 获得立体信息立体视觉的任务就是得出感兴趣场景的三维信息对于不同的应用可以有不同的要求但最基本的就是要计算目标的深度信息得到三维坐标若需要结果的可视化则可对场景进行重建己知立体成像模型和完成立体匹配后三维信息的恢复是比较容易的重要的是如何提高计算的精确度其影响因素是多方面的如摄像机参数标定图像特征定位的精确程度和立体匹配的准确性等等因此要提高三维重建的精度还需要更深入的研究而本文研究的正是最基本的目标获得深度信息得到三维坐标10基于 HALCON 的双目视觉系统深度信息技术研究23 双目视觉系统的结构com 系统的结构由上述双目视觉系统的基本原理可知为了获得三维空间中某点P 的三维坐标需要在左右两个摄像机像面上都存在该点的相应点立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体如图 2-4 所示为系统结构的实物图图2-4 一般双目立体视觉系统结构的实物图图2-4 所示双目视觉系统中两个真彩色摄像机型号均为 SSE1616两相机光轴中心设计在同一水平面上水平间距设计为 20Omm 且两摄像机之间的为50 度摄像机的图像传感器和镜头的物理参数分别为图像有效尺寸646515晶片尺寸617 H μm617 V μm 镜头焦距 f 16 mm 考虑到本系统为双目立体视觉系统要求双摄像机能够同时采集场景图像所以本文采用的是大恒公司 DH-VT121 视频采集卡它是基于 PC104-Plus 总线开发的可双路同时操作的视频采集卡它具有高品质的图像质量和稳定性因为深度信息的测量变为 P 点在不同位置的 Z 轴之间的差11基于 HALCON 的双目视觉系统深度信息技术研究值这样我们只要识别到一个点就可以因此我设定观察物为一张带有黑圆圈白纸P 点设为黑圆圈的中心点这样通过求得观察物上点P的两个摄像机的图像中相应点的图像坐标便可以由双目立体视觉测量原理求取点P在三维空间坐标基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上在进行双目视觉系统标定以及应用该系统进行测量时要确保摄像机的内参比如焦距和两个摄像机相对位置关系不能够发生变化如果任何一项发生变化则需要重新对双目立体视觉系统进行标定com 双目测量深度的硬件组成。
基于HALCON的双目立体视觉系统实现
基于HALCON的双目立体视觉系统实现双目立体视觉系统是一种模拟人眼观察物体的视觉系统，通过两个摄像机模拟人眼的双眼观察物体的方式，获取物体的三维信息。
HALCON是一种广泛应用于机器视觉领域的开发工具，可以用于开发和实现双目立体视觉系统。
双目立体视觉系统通过两个距离较短的摄像机成像同一个场景，利用两个图像的差异来计算场景中物体的深度信息。
在HALCON中，实现双目立体视觉系统的关键步骤包括相机校准、图像获取、图像匹配以及深度计算。
首先，进行相机校准。
双目相机系统的校准是获取准确三维信息的基础，HALCON提供了相机标定工具来获取相机的内参和畸变参数。
通过使用标定板或者特定的标定物体拍摄一组图像，可以通过HALCON的相机标定工具获取相机的校准参数。
接下来，进行图像获取。
使用两个相机同时拍摄同一个场景的图像，获取左右两个相机的图像。
HALCON提供了图像处理的函数和工具，可以方便地读取和处理图像。
然后，进行图像匹配。
通过对左右两个相机的图像进行匹配，找到对应的视差点对。
HALCON提供了多种图像匹配算法，可以根据具体的应用需求选择合适的算法，例如基于相似度的匹配算法、基于特征点的匹配算法等。
最后，进行深度计算。
根据图像匹配得到的视差点对，可以通过三角测量方法计算物体的深度信息。
HALCON提供了三角测量的函数和工具，可以根据视差和相机间的基线距离计算出物体的深度。
除了基本的双目立体视觉系统实现，HALCON还提供了丰富的图像处理和计算机视觉函数，可以进行目标检测、目标跟踪、图像分割等进一步的应用开发。
双目立体视觉系统在智能制造、机器人导航、自动驾驶等领域具有广泛应用。
通过HALCON的支持，可以方便地实现双目立体视觉系统，并为各种应用场景提供高效可靠的解决方案。
总结来说，基于HALCON的双目立体视觉系统实现，需要进行相机校准、图像获取、图像匹配和深度计算等步骤。
HALCON提供了丰富的函数和工具，可以方便地实现这些步骤，并为双目立体视觉系统的应用提供强大的支持。
halcon双目测距原理
halcon双目测距原理摘要：一、引言二、Halcon双目测距原理1.双目视觉基本概念2.双目测距的计算方法3.Halcon软件在双目测距中的应用三、Halcon双目测距的实际应用1.自动驾驶2.机器人视觉3.无人机导航四、Halcon双目测距的发展趋势与挑战1.提高测距精度2.应对复杂环境3.与其他深度估计算法的比较五、总结正文：一、引言随着计算机技术、图像处理技术和人工智能技术的快速发展，双目测距技术在众多领域得到了广泛应用。
Halcon作为一款功能强大的图像处理软件，也在双目测距领域发挥着重要作用。
本文将详细介绍Halcon双目测距的原理及其在实际应用中的表现。
二、Halcon双目测距原理1.双目视觉基本概念双目视觉系统是指通过两个相机从不同的角度拍摄同一场景，然后通过计算机处理这两幅图像来获取场景中物体的三维信息。
2.双目测距的计算方法双目测距主要利用视差原理，通过比较两幅图像中的对应点，计算出物体在空间中的距离。
3.Halcon软件在双目测距中的应用Halcon提供了丰富的图像处理功能，包括图像预处理、特征提取、匹配以及三维重建等，为双目测距提供了强大的支持。
三、Halcon双目测距的实际应用1.自动驾驶Halcon双目测距技术可以实时获取车辆周围环境的三维信息，为自动驾驶提供可靠的安全保障。
2.机器人视觉双目测距技术在机器人领域也有广泛应用，如导航、抓取、避障等任务，都需要准确获取物体的距离信息。
3.无人机导航无人机在执行任务时，需要实时获取地形和障碍物的三维信息，Halcon双目测距技术可以帮助无人机实现这一目标。
四、Halcon双目测距的发展趋势与挑战1.提高测距精度随着深度学习技术的发展，可以通过深度神经网络对双目测距结果进行优化，提高测距精度。
2.应对复杂环境在复杂环境下，如强光照、遮挡、纹理缺失等情况下，双目测距的性能会受到影响，需要研究针对性的解决方案。
3.与其他深度估计算法的比较Halcon双目测距技术需要与其他深度估计算法进行比较，以找到最适合特定应用场景的解决方案。
基于双目视觉的工件尺寸三维测量_张璐铭
点定为0。
3.2 逐点法识别特征圆
根据上述已确定的阵列坐标的大标志圆， 对位于阵列其它位置的小特征圆进行预估定 位。考虑到相邻点的间距变化不大，采用逐点 确定法检测标靶行方向上的小标志圆。算法流
程图如图4所示。
3.4 识别所有特征圆 最后判断是否所有的特征圆都被识别到， 如果有一个圆没有被识别到，由该圆在标靶中 的相对位置，分别根据该圆行和列的各点应用 最小二乘法拟合直线，求两直线的交点，作为 该圆的图像坐标值。 4.图像特征点提取 图像的特征提取是指从图像中获得任何一 种有用的结构化信息。通过双目视觉系统获得 的图像含有大量丰富的信息，为了提高系统测 量的速度和精度，在提取特征点时，一般先对 图像进行预处理，流程图如图5所示。
(2) 其中 和 是三个点组成的两个向量，L的范 围为[0,1]，越趋向于0表示两条线段越具有共线 性，反之，越趋向于1表示两者越不共线。
图7 圆形度去噪 图8 椭圆拟合
》》
学术交流
图9 立体匹配
5.立体匹配 立体匹配就是根据不同的匹配算法将从 两幅图像中提取出来的特征进行一一对应。在 二维图像特征点提取以后，关键任务是寻求左 (右)图像中每个特征点在右(左)图像中相对应 的点，用以恢复图像的深度信息，求得某些特 征点的空间坐标以及由三维数据完成物体的三 维测量。 立体匹配的算法很多，其基本思想是基于相 似性度量、连续性假设或外极约束等原则[8]。本 文将椭圆拟合的圆心图像坐标，结合标定数据与 极线约束的原则进行图像对的立体匹配，将像素 坐标换算成世界坐标系下的三维坐标，最后根据 这些三维点坐标计算出绝对误差与相对误差，完 成物体的三维测量。图10为运用极线约束原则得 出的图像对的立体匹配效果图。
间距a 间距b 间距c 间距d 间距e
基于双目视觉的工件尺寸在机三维测量
．
Ａｂｓ ｔ ｒ ａ ｃ ｔ ：Ａ ｓ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏｎ ａ ｌ ｍｅ ａ ｓ ｕｒ ｉ ｎ ｇ ｍｅ ｔ ｈｏ ｄｓ ａ ｎｄ ｅ ｑｕ ｉ ｐ ｍｅ ｎｔ ｃ ａ ｎ ｎ ｏ ｔ ｍｅ ｅ ｔ ｔ ｈｅ ｒ ｅ ｑｕ ｉ ｒ ｅ ｍｅ ｎ ｔ ｏｆ ３ Ｄ ｍｅ ａ ｓ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｍｅ ｃ ｈ ａ ｎ ｉ ｃ ａ ｌ ａ ｎ ｄ Ａｕ ｔ ｏ ｍｏ ｔ ｉ ｖ ｅ Ｅｎ ｇｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ，Ｓ ｏ ｕ ｔ ｈ Ｃｈ ｉ ｎ ａ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ
Ｔｅ ｃ ｈ ｎｏ ｌ ｏ ｇｙ，Ｇｕ ａｎ ｇｚ ｈｏ ｕ ５ １ ０６ ４ ０，Ｃｈｉ ｎ ａ）
基 于 双 目视 觉 的 工 件 尺 寸 在 机 三 维 测 量
全燕鸣 ， 黎淑梅， 麦青群
（ 华南理工大学 机械与汽车工程学院， 广东 广Ｊ ， ｉ １ ５ １ ０ ６ ４ ０ ）
摘要： 由于 传 统 测 量 方 法 及 仪 器 设 备 无 法 满 足 在 机 实 时检 测 工 件 三 维 尺 寸 的要 求 ， 本 文 基 于 双 目立 体 视 觉 视 差 原 理 ， 搭
ｕｒ ｅ ｍｅ ｎ ｔ ｏ ｆ ｗｏ ｒ ｋｐｉ ｅ ｃ ｅ ｄｉ ｍｅ ｎ ｓ ｉ ｏ ｎｓ ｏｎ — ｍａ ｃ ｈｉ ｎ ｅ ｉ ｎ ｒ ｅ ａ ｌ — ｔ ｉ ｍｅ。ａ ｎ ｏ ｎ— ｍａ ｃ ｈｉ ｎｅ ３ Ｄ ｖｉ ｓ ｉ ｏ ｎ ｍｅ ａ ｓ ｕｒ ｉ ｎ ｇ ｓ ｙ ｓ ｔ ｅ ｍ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｔ ｈｅ ｐｒ ｉ ｎ ｃ ｉ ｐｌ ｅ ｏ ｆ ｂ ｉ ｎｏ ｃ ｕｌ ａ ｒ ｓ ｔ ｅ ｒ ｅ ｏ ｖ ｉ ｓ ｉ ｏｎ ｗａ ｓ ｅ ｓ ｔ ａ ｂ ｌ ｉ ｓ ｈｅ ｄ ｔ ｏ ｗｏｒ ｋ ａ ｔ ｔ ｈ ｅ ｗｏｒ ｋｓ ｈｏ ｐ．Ｆｉ ｒ ｓ ｔ ｌ ｙ，Ａ ｓ ｔ ｅ ｒ ｅ ｏ ｖｉ ｓ ｉ ｏ ｎ ｓ ｙｓ ｔ ｅ ｍ ｃ ａ ｌ ｉ ｂｒ ａ ｔ ｉ ｏｎ ｍ ｅ ｔ ｈｏ ｄ ｂ ｙ ｕｓ ｉ ｎ ｇ ａ ｐｌ ａ ｎｅ ｃ ａ ｌ ｉ ｂｒ ａ ｔ ｉ ｏｎ ｐｌ ａ ｔ ｅ ｗａ ｓ ｉ ｎｔ ｒ ｏ ｄｕ ｃ ｅ ｄ ． Ｔｈｅ ｎ， ｔ ｈ ｒ ｅ ｓ ｈｏｌ ｄ ｓ ｅ ｇ ｍｅ ｎｔ ａ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｏｒ ｉ ｔ ｈｍ ｗａ ｓ ｕ ｓ ｅ ｄ ｆ ｏｒ ｒ ｅ ｃ ｏｇ ｎｉ ｚ ｉ ｎ ｇ ａ ｎ ｄ ｅ ｘｔ ｒ ａ ｃ ｔ ｉ ｎ ｇ ｔ ｈ ｅ ｗｏ ｒ ｋ ｐｉ ｅ ｃ ｅ ｆ ｒ ｏｍ ｔ ｈｅ ｂ ａ ｃ ｋ ｇｒ ｏ ｕｎ ｄ ａ ｎｄ ｔ ｈｅ Ｃａ ｎｎｙ ｏｐ ｅ ｒ ａ ｔ ｏｒ ａ ｎ ｄ ｐｏ ｌ ｙ ｇｏ ｎａ ｌ ａ ｐ ｐｒ ｏｘ ｉ ｍａ ｔ ｉ ｏｎ ｍｅ ｔ ｈ ｏ ｄ ｗｅ ｒ ｅ ｕｓ ｅ ｄ ｆ ｏ ｒ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｎｇ ｔ ｈｅ ｗｏ ｒ ｋｐ ｉ ｅ ｃ ｅ ｃ ｏ ｎｔ ｏｕ ｒ ａ ｎ ｄ ｔ ｈ ｅ ｃ ｏｎ ｔ ｏ ｕｒ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｐｏ ｉ ｎ ｔ ｓ ． Ｆｕ ｒ ｔ ｈｅ ｒ ｍｏ ｒ ｅ ａ ｃ ｃ ｏ ｒ ｄｉ ｎ ｇ ｔ ｏ ｔ ｈｅ ｍａ ｔ ｃ ｈｉ ｎｇ ａ ｌ ｇ ｏｒ ｉ ｔ ｈ ｍ
halcon双目测距原理
halcon双目测距原理Halcon是一款强大的计算机视觉开发平台，广泛应用于工业自动化、机器人、品质检测等领域。
在其中，双目测距作为一项重要的技术，被广泛应用于三维重建、机器人导航、物体检测和位置定位等方面。
双目测距是指通过两个相互平行的相机，通过分析相机拍摄到的物体图像之间的位移关系，在图像上计算出物体的三维坐标。
这样的技术有助于解决单目视觉无法准确估计物体大小和深度的问题。
双目测距的原理主要基于视差法，即通过对比左右两幅图像上的像素颜色值差异来计算物体的深度。
视差是指在双目摄像头所拍摄的图像中，同一物体在左右两幅图像上的像素点之间的水平偏移量。
根据视差，可以通过三角测量原理推导出物体的距离。
在识别物体之前，首先需要进行立体标定。
立体标定是根据摄像机内外参数来对两个相机进行标定，以便后续的深度计算。
求解相机的内外参数可以通过标定棋盘格的方法进行。
标定棋盘格时，需要将棋盘格放置在不同位置，并利用两个相机分别拍摄图像。
通过分析棋盘格图像上的角点坐标，可以求解出摄像机的内参矩阵、畸变参数和外参矩阵。
在标定完成后，可以开始进行双目测距的计算。
首先，通过两个相机同时拍摄同一场景的图像，得到左右两幅图像。
然后，通过立体匹配算法，在两幅图像之间搜索对应的像素点。
立体匹配算法可以分为区域匹配算法和特征匹配算法两种。
区域匹配算法是基于图像亮度的像素级匹配。
该算法首先选取一定大小的区域，在左图像上找到对应的右图像的区域，并计算两个区域之间的亮度差异。
通过找到使亮度差异最小的区域，确定两个像素点之间的匹配关系。
特征匹配算法是基于图像特征的点级匹配。
该算法通过检测图像中的特征点，如角点、边缘点等，然后在两幅图像中寻找对应的特征点。
通过特征点之间的关系，确定两个像素点之间的匹配关系。
在确定了左右图像上的匹配关系后，可以计算视差。
视差的计算可以通过像素级或子像素级的方法进行。
像素级的视差计算是将图像上的像素点直接的水平偏移量作为视差值，而子像素级的计算则是通过对比两个像素点之间的灰度值的差异，来对视差进行精确的估计。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
０ 引 言
随着先进制造业自动化生产技术的发展，对在线测量技术 提出了更高的要求。而针对大量重复性的工作，人工视觉很难 长时间保持精神集中的状态，常出现测量效率低、精度不高、 容易损伤工件表面 等 问 题［１］。 对 于 普 通 的 机 械 测 量 工 具 而 言， 虽不易出现人工测量问题，但其测量过程复杂且成本较高、普 适性差，未达到测量的完全智能化［２］。而非接触式双目立体 视 觉测量系统不仅具有效率高、精度高、自动化程度高、造价低 等优点［３］，更为重要的是，由于双目摄像机的存在，可以 获 取 被测物体的特征几何参数与空间姿态参数，实现了工件三维尺 寸测量的智能化，因此受到了广大生产企业的青睐，已成为国 内外解决先进制造业中测量问题的研究热点。
关 键 词 ： 双 目 立 体 视 觉 测 量 ； 系 统 标 定 ； 特 征 点 提 取 ； 立 体 匹 配 ；Ｈａｌｃｏｎ
犕犲犪狊狌狉犻狀犵犇犻犿犲狀狊犻狅狀狅犳犘犪狉狋狊狅犳犅犻狀狅犮狌犾犪狉犞犻狊犻狅狀犅犪狊犲犱狅狀犎犪犾犮狅狀
ＺｈａｎｇＲｕｒｕ１，２，ＧｅＧｕａｎｇｙｉｎｇ１，２，ＳｈｅｎＺｈｅ１，２，ＱｉｎＴｅｎｇｆｅｉ１，２，ＤｏｎｇＴｅｎｇ１，２
测试与故障诊断
计 算 机 测 量 与 控 制 ．２０１８．２６（１） 犆狅犿狆狌狋犲狉 犕犲犪狊狌狉犲犿犲狀狋 牔 犆狅狀狋狉狅犾
· ５９ ·
文章编号：１６７１ ４５９８（２０１８）０１ ００５９ ０５ ＤＯＩ：１０．１６５２６／ｊ．ｃｎｋｉ．１１－４７６２／ｔｐ．２０１８．０１．０１５ 中图分类号：ＴＮ９１９．８ 文献标识码：Ａ
基于 犎犃犔犆犗犖 的双目立体视觉工件尺寸测量
张 如 如１，２， 葛 广 英１，２， 申 哲１，２， 秦 腾 飞１，２， 董 腾１，２
（１． 聊城大学 物理科学与信息工程学院，山东 聊城 ２５２０５９；
２． 山东省光通信科学与技术重点实验室，山东 聊城 ２５２０５９）
摘要：为了实现对大批量生产工件尺寸的精密测量，该文基于双目立体视觉视差原理，设计了一种工件尺寸实时测量系统；系统通 过两个工业数字摄像头实时采集工件不同角度的两幅图像，并基于机器视觉软件 ＨＡＬＣＯＮ 的 ＨＤｅｖｅｌｏｐ开发环境，对两幅图像进行相 关 预处理，获取感兴趣区域；提出一种基于ｃａｎｎｙ的亚像素边缘检测、边缘细化、基于ａｔｕｋｅｙ权重函数的最 小 二 乘 法 边 缘 拟 合 及 边 缘 均 匀 取点算法获取精确的边缘特征点，并通过双目系统标定、立体校正、极线约束与 ＮＣＣ 相结合的立体匹配、世界坐标转换、几何计算相结 合的非接触式双目视觉方法进行尺寸测量；通过大量实验证明，该方法可有效地获取工件特征点的三维坐标值，不借助外部测量仪器实 现工件关键尺寸的高精度实时检测，检测精度达±０．２ｍｍ 以上，简单快捷，具有较好的准确性和实时性。