空间目标的单目视觉测量技术研究
基于计算机视觉的测距算法研究
电子科技大学 2012级本科毕业设计（论文）开题报告表
只有这样计算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。 智能计算机不但使计算机更便于为人们所使用，同时如果用这样的计算机来控制各种自动化装置特别是智能机器人，就可以使这些自动化系统和智能机器人具有适应环境，和自主作出决策的能力。这就可以在各种场合取代人的繁重工作，或代替人到各种危险和恶劣环境中完成任务。 3、课题研究内容 将计算机视觉和图像处理技术应用到车辆驾驶辅助系统当中可以有效地为车辆行驶提供安全保障。而在计算机视觉中，利用视觉信息感知环境，由单幅二维投影图像确定目标与装载摄像机物体之间距离信息的研究，是目前智能交通系统(ITS)和智能车辆系统(IVS)的关键技术之一。本文主要研究针对ITS和IVS的单目视觉测距方法。基于单目视觉的测量技术是从计算机视觉领域中发展起来的新型非接触测量技术，它是一种结合图像处理技术，把图像当作检测和传递信息的手段或载体而加以利用的测量方法。本文利用投影几何原理和图像处理方法研究了单目测距算法，重点研究了摄像机标定技术、图像预处理方法、障碍物体检测及计算障碍物体距离的算法。本文首先采用了一种在照、摄像机内外部参数未知的条件下，利用图像平面中的平行线，以及它们形成的消隐点具有几何约束关系来实现摄像机标定的新方法。该方法与以前方法相比，计算复杂性不高，但相对而言，准确性和鲁棒性较高，且无须在使用前标定相机，更符合实际需要(因现今的照、摄像机都是变焦距的)，从而具有广泛的推广价值。其次，对多种图像预处理方法进行了分析、比较和选择，采用的方法兼顾了图像处理效果和实时性要求。最后，在分析道路特征的基础上建立了道路几何模型，并利用改进的Hough变换提取出道路边缘曲线模型。并在现有单一道路模型测距算法的基础上做了改进，提出了混合几何模型的单目测距算法。模拟试验结果表明该算法对视觉测距领域的研究有一定的借鉴意义。 4、关键问题及研究目标 本次研究目标主要是通过对已有基于计算机视觉的测距算法的实现和评估。关键问题在于如何用OpenCV实现这些算法并对其进行合适的评估。 5、研究特点 基于计算机视觉的距离测量主要是单目测距和多目测距，它们都有各自的优点，也
机器视觉检测系统简述及系统构成
机器视觉检测系统简述及系统构成 1机器视觉检测的一般模式 机器视觉检测的目标千差万别，检测的方式也不尽相同。农产品如苹果、玉米等通常是检测其成熟度，大小，形态等，工业产品如工业零件,印刷电路板通常是检测其几何尺寸，表面缺陷等。不同的应用场合，就需要采用不同的检测设备和检测方法。如有的检测对精度要求高，就需要选择高分辨率的影像采集装置；有的检测需要产品的彩色信息，就需要采用彩色的工业相机装置。正是由于不同检测环境的特殊性，目前世界上还没有一个适用于所有产品的通用机器视觉检测系统。虽然各个检测系统采用的检测设备和检测方法差异很大，但其检测的一般模式却是相同的。机器视觉检测的一般模式是首先通过光学成像和图像采集装置获得产品的数字化图像，再用计算机进行图像处理得到相关检测信息，形成对被测产品的判断决策，最后将该决策信息发送到分拣装置，完成被测产品的分拣。 机器视觉检测的一般模式如图1所示： 图1机器视觉检测的一般模式 1.1图像获取 图像获取是机器视觉检测的第一步，它影响到系统应用的稳定性和可靠性。图像的获取实际上就是将被测物体的可视化图像和内在特征转换成能被计算机处理的图像数据。机器视觉检测系统一般利用光源，光学镜头，相机，图像采集卡等设备获取被测物体的数字化图像。 1.2视觉检测 视觉检测通过图像处理的方法从产品图像中提取需要的信息，做出结果处理并发送相应消息到分拣机构。通常这部分功能由机器视觉软件来完成。优秀的机器视觉软件可对图像中的目标特征进行快速准确地检测，并最大限度地减少对硬件系统的依赖性，而算法设计不够成熟的机器视觉软件则存在检测速度慢，误判率高，对硬件依赖性强等特点。在机器视觉检测系统中视觉信息的处理主要依赖于图像处理方法，它包括图像增强,数据编码和传输，平滑，边缘锐化，分割，特征提取，目标识别与理解等内容。 1.3分拣 对于一个检测系统而言，最终是要实现次品（含不同种类的次品）与合格品的分离即分拣，这部分功能由分拣机构来完成。分拣是机器视觉检测的最后一个也是最为关键的一个环节"对于不同的应用场合，分拣机构可以是机电系统!液压系统!气动系统中的某一种。但无论是哪一种，除了其加工制造和装配精度要严格保证以外,其动态特性,特别是快速性和稳定性也十分重要，必须在设计时予以足够的重视。 2机器视觉检测系统的构成 一个典型的机器视觉检测系统主要包括光源、光学镜头、数字相机、图像采集卡、图像处理模块、分拣机构等部份。其构成如图2所示。 图2典型的机器视觉检测系统 3光源
视觉测量系统技术及应用
视觉测量系统技术及应用 1 引言 基于计算机的视觉检测系统是指通过计算机视觉产品将被摄取目标转换成图像信号，传送给图像处理系统，图像处理系统再根据像素分布和亮度、颜色等信息，转变成数字化信号，计算机图像系统对这些信号进行复杂运算来抽取目标的特征，进而根据判别的结果来控制设备动作。它具有非接触、速度快等优点，是一种先进的检测手段，非常适合现代制造业。可用于视觉检测的试验原理很多，如纹理梯度法、莫尔条纹法、飞行时间法等，然而诸多测试原理中，尤其基于三角法的主动和被动视觉测量原理具有抗干扰能力强、效率高、精度合适等优点，非常适合在线非接触测量。本文主要从视觉测量系统在实际中应用出发，展示视觉检测技术在制造业中的广阔应用[1-4]。 2 视觉测量系统技术的应用 2.1 汽车车身视觉检测系统 在汽车制造过程中，车身上总有很多关键的三维尺寸进行测量，采用传统的三坐标测量机只能离线抽样检测，效率低，更不能满足现代汽车制造在线检测的需要，而视觉检测系统能很好的适应该需要，典型的汽车车身视觉检测系统如图1所示[5]。 图1 车身视觉检测系统 车身检测系统主要依靠的是数个视觉传感器，其中还包括传送机构、定位机构，计算机图像采集、网络控制部分。每个传感器对应一个被测区域，然后通过传输总线传至计算机，通过计算机对每个视觉传感器进行过程控制。 汽车车身检测系统的测量效率很高，精度式中，并且可以在完全自动情况下完成，这个包含几十个测点的系统都能再几分钟内测量完成，因此可以适应汽车制造的在线检测。而且传感器的布置可以根据不同车型来布置，增加了应用要求，
因此减少了车身视觉系统的维护费用。 2.2 拔丝模孔形视觉检测系统 使用计算机视觉检测技术开发出的拔丝模孔形检测系统由光学成像系统、工业用摄像机图像采集卡、计算机及监视器组成，可以解决生产实际中的模具孔形检测问题．工作原理如下：先采用注入硅胶方法获得反映待检拔丝模尺寸及形状的硅胶凸模，然后把硅胶凸模放在光学系统的载物台上．硅胶凸模经光学成像放大，成像于CCD像面上，然后用图像采集卡采集CCD图像信息，最后由计算机视觉检测软件完成对孔形尺寸的自动计算，此时图像采集时需要配置特殊的光照系统．系统实现了自动数据采集、处理，实现采样、进样、结果一条龙，形成检测的自动化． 2.3 无缝钢管直线度和截面在线视觉检测 无缝钢管是一类重要的工业产品，在反应无缝钢管质量中，钢管直线度及截面尺寸是主要的几何参数。现代工业已经可以实现无缝钢管的大批量大规模生产，并且并无成熟的直线度、截面尺寸高效率的检测系统，主要原因为：无缝钢管空间尺寸大，需要很大的测量空间，一般的检测手段很难实现如此大尺度的检测。然而视觉检测却非常适合无缝钢管及截面尺寸的测量，其测量原理图如图2所示。 多个传感器组成了视觉检测系统，传感器的结构光所投射的光平面与被测钢管相交，从而得到钢管的部分圆周，传感器测量圆周在传感器三维空间位置，每一个传感器实现一个截面圆周测测量，然后通过拟合得到截面的圆心和其空间位置，从而实现对无缝钢管截面和直径的测量。 图2 无缝钢管在线检测 2.4 视觉测量在逆向工程中的应用 逆向工程是针对现有的工件，利用3D数字化测量仪准确快速地测量出轮廓坐标值，并建构曲面，经过编辑、修改后，将图形存档形成一般的CAD/CAM系统，再由CAM所产生刀具的NC加工路径送至CNC加工机制所需模具，或者以快速成型将物品模型制作出来。视觉测量一般使用三种激光光源：点结构光、线结构光、面结构光，图3为使用线结构光测量物体表面轮廓的结构示意图[6]。
机器视觉测量技术
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
单目视觉图像深度测量方法研究
单目视觉图像深度测量方法研究 相机与其它传感器相比,具有能够直观反映客观世界、数据量大、信息丰富等特点,而且通常价格较低、配置方便,是自动化装置和机器人感知环境传感器中的优先选择之一。但由于普通相机在拍摄时获得的是被拍摄场景投影到成像平面上的二维图像,丢失了场景的深度信息,这使得机器无法通过图像直接得到场景中物体的远近、大小和运动速度等信息,因此需要从二维图像中恢复深度信息,即深度测量。深度测量在工业自动化、智能机器人、目标检测和跟踪、智能交通、三维建模和3D视频制作等领域都有广泛的应用。深度测量方法有很多种,其中基于单目视觉的图像深度测量方法具有设备简单、成本低廉、操作方便等特点而成为研究热点,并且单目相机体积小,重量轻,在一些有空间大小或载荷限制的特定场合以及手眼系统等应用中,需要或只能使用基于单目视觉的图像深度测量方法,而目前该测量方法还很不成熟,有必要对其计算原理、技术方法等方面进行研究。 因此本文对基于单目视觉的图像深度测量方法开展研究,主要工作和创新点如下:(1)提出一种基于熵和加权Hu氏不变矩的目标物体绝对深度的测量方法。该方法用普通单目相机拍摄同一场景的两幅图像,拍摄时保持相机的参数不变,将相机沿光轴方向移动,分别在物距间隔为d的前后两处各拍摄一幅图像,然后采用LBF模型的方法分割出图像中的物体,并求出各个目标物体像的面积,再将物体像的熵的相对变化率和加权Hu氏不变矩结合起来实现图像内物体的自动匹配,最后运用本文推导的公式计算出各个目标物体的绝对深度。文中采用真实场景图像对该方法进行了实验验证并与其他方法进行了对比,结果表明了该方法的有效性。(2)提出一种基于SIFT特征的目标物体绝对深度的测量方法,该方法同样需要按照上面的方法获取同一场景的两幅图像,然后分别对这两幅图像进行图像分割和SIFT特征点提取,并进行图像中的目标物体匹配,接着用凸包和几何形状约束从匹配物体中选出一对最佳直线段,最后根据光学成像原理利用直线段长度计算出场景中静态目标物体的绝对深度信息。 由于是通过被测量物体上的两个SIFT特征点所成的直线段长度来计算出物体的绝对深度信息的,所以该方法鲁棒性较好,不受场景中被测量目标物体部分遮挡或缺失的限制,对比实验表明该方法测量精度高于现有其他方法。(3)提出一种基于梯度信息和小波分析的单幅图像相对深度测量方法。该方法首先利用图像
基于单目视觉的车辆测距系统研究
基于单目视觉的车辆测距系统研究 【摘要】本文，针对智能汽车单目视觉提出了通过镜头跟随汽车移动导致图像放大倍数的改变，然后根据图像大小的变化和移动距离来计算车辆与前方障碍物之间距离的方法，有效提高了车距测量的精确度。 【关键词】单目视觉;汽车测距系统 随着现代汽车智能化程度不断提高，利用机器视觉获取路况环境信息，进而对汽车实时控制是实现汽车智能化的重要方法之一，而通过单目视觉系统来监测本车与前方障碍物的距离是为汽车智能化纵向控制提供输入参数最常用的方法。 单目视觉系统通常使用对应点标定法来获取相关的参数，但由于汽车行驶过程中摄像机位置经常发生变化，进而引起系统参数发生变化，使得本方法的精确度经常发生变化。本文提出通过镜头跟随汽车移动导致图像放大倍数的改变，然后根据图像大小的变化和移动距离来计算车辆与前方障碍物之间的距离。 一、障碍物距离计算方法 本测量方法的理论依据是物体成像关系，汽车带动摄像头移动，摄像头对前方障碍物进行拍摄，拍摄图片由图像处理机处理，计算出障碍物距离。 假设汽车行驶在相对平整的路面上，我们采用计算机视觉中常用的透视投影，路况的光线均通过透镜的中心。经过透镜的中心且垂直于图像平面的直线可称之为光轴。下面我们分平行和垂直于光轴移动两种情况计算障碍物的移动。 1.障碍物平行于光轴移动的计算 图1 障碍物向镜头移动成像图 障碍物在AB位置时成像为CD;随着障碍物与摄像头距离变化后，障碍物在A’B’位置成像为C’D’;C’D’/CD=k;k为障碍物的图像放大率。假设障碍物在AB位置时的物距为U，像距为V，障碍物在A’B’位置时的物距为U’，像距仍然为V，则有式①和式②。 ①② ②式除以①式得： ③ 因为AB=A’B’，由③式得：
视觉检测系统报告样本
年春季学期研究生课程考核 ( 阅读报告、研究报告) 考核科目:视觉测量系统 学所在院( 系) :电气工程及自动化学院学生所在学科:仪器科学与技术 学生姓名:*** 学号:10S001*** 学生类别:工学硕士 考核结果: 阅卷人:
视觉测量系统课程报告 第一部分视觉测量系统发展现状综述 机器视觉自起步发展到现在, 已有的发展历史。应该说机器视觉作为一种应用系统, 其功能特点是随着工业自动化的发展而逐渐完善和发展的。 当前全球整个视觉市场总量大概在60～70亿美元, 是按照每年8.8%的增长速度增长的。而在中国, 这个数字当前看来似乎有些庞大, 可是随着加工制造业的发展, 中国对于机器视觉的需求将承上升趋势。 一、机器视觉的定义及特点 简言之, 机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指经过机器视觉产品( 即图像摄取装置, 分CMOS和CCD两种) 将被摄取目标转换成图像信号, 传送给专用的图像处理系统, 根据像素分布和亮度、颜色等信息, 转变成数字化信号; 图像系统对这些信号进行各种运算来抽取目标的特征, 进而根据判别的结果来控制现场的设备动作。 机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合, 常见机器视觉来替代人工视觉; 同时在大批量工业生产过程中, 用人工视觉检查产品质量效率低且精度不高, 用机器视觉检
测方法能够大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成, 是实现计算机集成制造的基础技术。 正是由于机器视觉系统能够快速获取大量信息, 而且易于自动处理, 也易于同设计信息以及加工控制信息集成, 因此, 在现代自动化生产过程中, 人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。在中国, 这种应用也在逐渐被认知, 且带来最直接的反应就是国内对于机器视觉的需求将越来越多。 二、机器视觉在国内外的应用现状 在国外, 机器视觉的应用普及主要体现在半导体及电子行业, 其中大概40%～50%都集中在半导体行业。具体如PCB印刷电路: 各类生产印刷电路板组装技术、设备; 单、双面、多层线路板, 覆铜板及所需的材料及辅料; 辅助设施以及耗材、油墨、药水药剂、配件; 电子封装技术与设备; 丝网印刷设备及丝网周边材料等。SMT表面贴装: SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、 SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等; 再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备: 电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用, 而且其产品在应用中占据着举足轻重的地位。除此之外, 机器视觉还用于其它各个领域。 而在中国, 以上行业本身就属于新兴的领域, 再加之机器视
机器视觉测量技术
机器视觉测量技术杨永跃合肥工业大学 2007.3 目录 第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD 相机类 2.4 彩色数码相机 2.5 常用的图像文件格式
2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像 2 5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从 x 恢复形状的方法 5.6 测距成像
第六章标定 6.1 传统标定 6.2 Tsais 万能摄像机标定法 6.3 Weng ’ s 标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术第八章图像测量软件 (多媒体介绍 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附:教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
3 第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中,面临着自身能力、能量的局限性, 因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界,有效解决问题。 人类感知外部世界:视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器,赋予人类视觉功能极其重要。 机器视觉:用计算机来模拟生物(外显或宏观视觉功能的科学和技术。 机器视觉目标:用图像创建或恢复现实世界模型,然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备:摄像机、红外线、激光、超声波、 X 射线、 CCD 、数字扫描仪、超声成像、 CT 等 数字化设备 2 低层视觉(预处理 :对输入的原始图像进行处理(滤波、增强、边缘检测 ,提取角点、边缘、线条色彩等特征。 3 中层视觉:恢复场景的深度、表面法线,通过立体视觉、运动估计、明暗特征、纹理分析。系统标定
【CN110031829A】一种基于单目视觉的目标精准测距方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910311557.X (22)申请日 2019.04.18 (71)申请人 北京联合大学 地址 100101 北京市朝阳区北四环东路97 号 (72)发明人 刘宏哲 王永森 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 刘萍 (51)Int.Cl. G01S 11/12(2006.01) (54)发明名称 一种基于单目视觉的目标精准测距方法 (57)摘要 一种基于单目视觉的目标精准测距方法属 于计算机视觉计算领域，主要应用于智能驾驶场 景感知中前方车辆目标测距技术中。该方法主要 分为相机标定、目标测距关键点选取、目标测距、 误差修正四大部分。通过选取合适的测距关键 点，结合多种测距算法以及对测距误差进行修 正，最终得到目标的精准距离。该方法可以应用 在基于视觉计算的很多行业中，如应用于无人驾 驶汽车前方车辆目标测距，城市交通车辆检测与 行为意图分析，智能机器人目标测距等应用中。 本方法较其他视觉测距方法精度更高。权利要求书2页 说明书4页 附图6页CN 110031829 A 2019.07.19 C N 110031829 A
1.一种基于单目视觉的目标精准测距方法，其特征在于，包括以下步骤： 步骤1：相机标定； 步骤1-1：打印一张用于相机标定的黑白相间的棋盘格，把它贴在一个平面上，作为标定物； 步骤1-2：使用需要标定的相机捕获棋盘格图像，要求整张棋盘格在图像内，每个棋盘格边长不能少于10个像素，并且捕获从不同角度拍摄的N张图像； 步骤1-3：打开MATLAB软件中相机标定模块，点击“add images ”，然后输入模板的方格大小d mm，选中步骤1-2中获取到的N张图像； 步骤1-4：添加完N张图像之后，选择“calibrate ”命令，出现标定结果统计图，点击保存calibration.mat文件，相机标定完成； 步骤1-5：从calibration. mat中取出内参矩阵其中，f x 、f y 分别是相机水平方向和垂直方向相对单位像素的焦距，(u 0,v 0)是光学中心坐标， 外参矩阵其中，分别是世界坐标到相机坐标的旋转 矩阵、平移矩阵； 步骤2：目标测距关键点选取； 步骤2-1：由已知的目标检测结果得到待测目标的矩形框位置(u v w h)，其中(u v)表示矩形框在图像中左上角顶点的坐标值，(w h)表示矩形框的宽度和高度像素值； 步骤2-2： 计算目标测距关键点C的像素坐标 步骤2-3：校验测距关键点坐标合法性，需要满足条件C＝{(x ,y)|0＜x＜W ,0＜y＜H}，其中W是图像总的像素宽度，H是图像总的像素高度； 步骤3：目标测距； 步骤3-1：选取世界坐标系，世界坐标系的坐标原点在相机正下方的水平路面上，x轴方向为正前方，y轴方向为正左方，z轴方向为正上方，符合右手定则； 步骤3-2：从步骤1中得到相机参数的内参矩阵K和外参矩阵P，从步骤2中得到待测目标的测距关键点C的像素坐标(u 1,v 1)， 其中令测距关键点C的世界坐标为(X w ，Y w ，Z w )，由于所计算的关键点C的世界坐标点位于水平地面上，所以Z w ＝0，最后通 过矩阵变换公式计算得到关键点C的相关性未知尺度因子s； 步骤3-3：根据步骤3-2所求的相关性未知尺度因子s ，关键点C 的像素坐标 权 利 要 求 书1/2页2CN 110031829 A
多目视觉测量技研究文献综述
多目视觉测量技术开题报告 第一章绪论 1.1研究背景和意义 多目视觉测量技术是计算机视觉技术的一个较小的研究分支。随着计算机运算能力的提高和图像采集成本的下降，计算机视觉技术发展越来越成熟，应用日益广泛。多目视觉测量技术通俗来讲，就是通过处理从多个角度采集的图像，获得场景的深度信息，进而用于三维场景的重建，构建三维立体模型。其中，基于双目视觉的测量理论尤为成熟，理解了双目视觉，可推及多目视觉技术。本文也将重点放在双目视觉技术的研究上。 多目视觉测量技术相对于一般测量技术具有非接触，高进度，高效率，自动化程度高的特点，具有非常广阔的应用前景。随着机器人技术产业的爆发增长，机器人具有了非常灵活的运动控制系统，但机器人大多依赖于既有程序，对周围环境的感知能力几乎为零。机器人迫切需要像人类一样的双眼去感知外界环境，多目视觉技术正好填补了这项空缺。 首先，多目视觉测量技术在导航中应用广泛。如无人机，Google的无人驾驶汽车都是通过采集图像来获取大量的环境信息，进而用于机器的行为控制。这项技术已经很成熟了，如美国卡梅隆大学的Navlab智能车的RALPH视觉系统，德国联邦大学的VaMoRs的BVV视觉系统，百度的无人车研究团队的导航系统也是基于计算机视觉技术。 虚拟现实被认为是下一个朝阳产业，以3D眼睛为代表的一系列虚拟现实设备也融入了多目视觉技术，由此通过平面图像的处理，使人产生3D感觉。增强现实技术是虚拟现实技术的升级版，其中对于真实环境信息的获取，3D立体环境的重建都是多目视觉测量系统的具体应用。 当今很火的3D打印技术也不例外，只需用户提供从不同角度拍摄的照片，机器就能自动生成对应的三维模型并打印出来，当然，此项技术构建的三维模型不是很精确，对拍摄的照片有较高的质量要求。我们可以应用软件感受一下，比如Google的photoscan，smart3D，Autodesk 123D Catch等。 多目视觉技术的从原理上理解较为简单，可用三角测距的原理概况，难点在于每幅图像上有上亿的像素点，三维重建技术是基于若干幅图像上的像素基于匹配而得到相应的深度信息。所以图像匹配算法直接决定了三维重建能否成功，是多目视觉测量技术的关键一步。由此也发展出了很多匹配算法，如区域匹配（也叫稠密匹配），特征匹配（也加稀疏匹配），相位匹配，在后文我会做相应的介绍。 1.2双目立体视觉技术 立体视觉是计算机视觉中的一个重要分支，一直是计算机视觉研究的重点和热点之一，它直接模拟了人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息，其作用是其他计算机视觉方法所不能取代，对它的研究，无论是从视觉机理角度还是在工程应用中都具有十分重要的意义。本文主要研究基于双目立体视觉的测量技术。 一个比较典型的双目立体视觉检测系统一般以计算机为中心，由光源系统，双目视觉传感器、高速图像采集系统以及图像处理系统、控制系统等组成。计算机
基于机器视觉的产品检测技术研究
基于机器视觉的产品检测技术研究 1、机器视觉 1.1机器视觉的概念 机器视觉被定义为用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像采集系统、数字图像处理与智能判断决策模块和机械控制执行模块。系统首先通过CCD相机或其它图像拍摄装置将目标转换成图像信号,然后转变成数字化信号传送给专用的图像处理系统，根据像素分布!亮度和颜色等信息，进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。 值得一提的是，广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字图像处理技术达到对客观事物图像的识别、理解。而工业应用中的机器视觉概念与普通计算机视觉、模式识别、数字图像处理有着明显区别，其特点是： 1、机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。这些技术在机器视觉中是并列关系。相互协调应用才能构成一个成功的工业机器视觉应用系统。 2、机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合理的性价比，要有通用的工业接口，能够由普通工作者来操作，有较高的容错能力和安全性，不会破坏工业产品，必须有较强的通用性和可移植性。 3、对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件的能力，更需要光、机、电一体化的综合能力。 4、机器视觉更强调实时性,要求高速度和高精度，因而计算机视觉和数字图像处理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过其在工业生产中的实际应用速度。 1.2机器视觉的研究范畴 从应用的层面看，机器视觉研究包括工件的自动检测与识别、产品质量的自动检测、食品的自动分类、智能车的自主导航与辅助驾驶、签字的自动验证、目标跟踪与制导、交通流的监测、关键地域的保安监视等等。从处理过程看,机器视觉分为低层视觉和高层视觉两阶段。低层视觉包括边缘检测、特征提取、图像分割等，高层视觉包括特征匹配、三维建模、形状分析与识别、景物分析与理解等。从方法层面看，有被动视觉与主动视觉之，又有基于特征的方法与基于模型的方法之分。从总体上来看，也称作计算机视觉。可以说，计算机视觉侧重于学术研究方面，而机器视觉则侧重于应用方面。 机器人视觉是机器视觉研究的一个重要方向，它的任务是为机器人建立视觉系统，使得机器人能更灵活、更自主地适应所处的环境，以满足诸如航天、军事、工业生产中日益增长的需要（例如，在航天及军事领域对于局部自主性的需要，在柔性生产方式中对于自动定位与装配的需要，在微电子工业中对于显微结构的检测及精密加工的需要等）。机器视觉作为一门工程学科，正如其它工程学科一样，是建立在对基本过程的科学理解之上的。机器视觉系统的设计依赖于具体的问题，必须考虑一系列诸如噪声、照明、遮掩、背景等复杂因素，折中地处理信噪比、分辨率、精度、计算量等关键问题。 1.3机器视觉的研究现状 机器视觉研究出现于60年代初期，电视摄像技术的成熟与计算机技术的发展使得机器视觉研究成为可能。它作为早期人工智能研究的一部分，由于技术条件的限制，进展缓慢。80年代初，在D·Marr提出的计算视觉理论指导下，机器视觉研究得到了迅速发展，成为
基于机器视觉的非接触尺寸测量技术研究
基于机器视觉的非接触尺寸测量技术研究 摘要 伴随着科学的快速腾飞，以机器视觉为基础的非接触性尺寸测量发法在工业领域里实现了十分普遍的运用用，该方法非接触、时效性强、效率高、受外界影响小，并且精确性特别好。机械零件的尺寸测量在工业生产的过程里属于十分重要的部分，测定结果的迅速程度和可信度直接关系到产品的效果以及工作的进度。但是先前的测量技术早就无法达到工业生产中对产品规格检测的迅速程度和可信度的规定，因此作者提出了以机器视觉为基础的非接触尺寸测定的方法，从而达到产品规格的快速及准确的测定。 首先，通过研究各个硬件的性能参数，选择了合适的硬件，并搭建了测量系统的硬件平台。这个测定系统的基础设施一般包括图像收集设备、实验操作区、CCD摄影仪、镜头、和电脑等部件。 然后，灰度转变、图像滤波、二值化、边缘测定等预先处理方法也被用于这种测定技术。图片的预先处理部分，对比剖析了多种多样的滤波方法，总结出以小波转变为基础的模极大值去噪方式，同时还一一描述介绍了多种的图片边缘测定方法，总结出以小波转变为基础的多尺度边缘测定方式。此外，作者还详细描述和剖析Hough方式，同时还给出了自己的优化建议。作者通过Matlab里所带有的GUIDE界面编辑功能，以GUI 为基础构造出该检测系统的软件设施，使其具备了处理图片所用到的多个计算方式以及规格鉴定的能力。 之后，作者通过对该系统的多次实践检验，研究了具体的调查数据，剖析了测定结果的误差原因，进而总结出尽量消除误差的策略。研究结果显示，以机器视觉为依据的非接触尺寸测的方法完全达到了理想的效果，在工业领域可以做到对产品规格测定的高效性和可信度的规定。 关键词：机器视觉，非接触测定，尺寸测定，图像处理
复杂光照环境下的单目视觉位姿测量技术研究
复杂光照环境下的单目视觉位姿测量技术研究单目视觉位姿测量技术由于精度高、速度快、结构简单、成本低、抗干扰能力强等优势在机器人、工业制造、交通运输、航空航天、生活娱乐等领域发挥着重要作用,但是复杂光照条件,如光照不均匀、低照度、阴影、局部反光、光照颜色和色温变化大等制约着视觉位姿测量技术在一些应用场景(隧道、球磨机、航天器、雨雪天气等)的有效实施,以此为背景,本文提出一套完整的单目视觉位姿测量技术,能在复杂光照条件下有效测量目标物位姿。首先设计合作靶标。进行仿真实验,通过大量的实验数据确定较优的靶标参数(特征点个数、特征点共面与否);通过视场计算确定合理的靶标尺寸;提出一种基于颜色的特征点编码方案,有效进行特征点匹配;最终设计出一种制作简单、易于识别、解码方便的合作靶标。然后针对复杂光照环境,进行图像增强、平滑滤波、颜色校正算法研究。 高斯同态滤波能均匀图像照度;中值滤波能有效去除低照度下的图像噪声;提出一种改进的镜面反射法,在图像颜色多与少、不同色温光照条件下均能有效校正图像颜色。接下来识别靶标特征点。将高斯同态滤波和Otsu算法结合,在光照不均匀、低照度、淡阴影、局部反光的环境中均能有效分割靶标区域;基于Hough直线变换识别靶标边框线,判定靶标区域;基于圆形度识别靶标特征点,改进连通域表示方法,解决圆形度计算异常的问题;定义了椭圆度,基于椭圆度识别靶标特征点;针对高斯同态滤波结合Otsu算法难以解决的靶标强阴影问题,提出一种基于椭圆度的靶标去阴影算法;在RGB颜色空间定义颜色距离,通过颜色识别进行特征点解码。最后解算位姿。 标定相机参数;根据识别的靶标特征点像素坐标,通过EPnP算法进行位姿解算,分别进行仿真实验和实物实验验证本文方法,实验结果证明,本文方法精度高,能满足实际需要。
三维尺寸视觉测量系统
现代计量测试1999年第1期 三维尺寸视觉测量系统 邾继贵 王 王 仲 叶声华 (天津大学精密测试技术及仪器国家重点实验室,天津 300072) 摘要:视觉测量技术是一种先进的非接触测量手段,具有系统组成灵活、工作空间大、精度合适、自动化程度高等特点,非常适合工业现场的在线测量与质量监控。本文分析视觉测量的原理及视觉测量系统的组成,研究了一个实际的视觉测量系统。 关键词:三维尺寸 视觉测量 0 引言 视觉测量是采用摄像机作为传感器件,借助计算机强大的数据处理能力实现对物体(物点)空间位置的测量。较大规模的视觉测量系统一般由多个视觉传感器组成,以完成大空间范围内的测量,要解决的主要问题有视觉传感器的设计、传感器的局部标定和系统全局标定等。如果被测空间较小,一个传感器应可以组成视觉测量系统,此时局部标定和全局标定是统一的。 视觉传感器的具体结构很灵活,由被测对象来决定,但它们的测量原理是一致的。 1 视觉测量原理 111 视觉传感器测量原理 本质上讲,视觉传感器是基于三角测量原理的,图1示出了光条传感器的测量原理。 图1 光条传感器测量原理由投射器投射出一个光平面,它与被测物体表 面相交形成光条,将物体表面与光条相交的某点记 为P w ,该点在摄像机象面上象点为P i 。设摄像机坐 标系为OXYZ ,P i 在象面上的坐标为(x i ,y i ),P w 在 OXYZ 中的坐标为(x w ,y w ,z w ),图1中存在下列关 系x i =f x (x w ,y w ,z w )y i =f y (x w ,y w ,z w )(1)式中f x ,f y 是由摄象机成像模型所决定的函数。如 果选择透视成像模型,则 f x =x w z w f f y =y w z w f 其中,f 为摄像机焦距。 此外,因为P w 在光平面内,所以存在如下约束
基于机器视觉的产品检测技术研究报告详述
机器视觉概念/研究现状/应用/检测 内容来源网络，由“XX机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多c加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在XX 机械展. 1、机器视觉 1.1机器视觉的概念 机器视觉被定义为用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像采集系统、数字图像处理与智能判断决策模块和机械控制执行模块。系统首先通过CCD相机或其它图像拍摄装置将目标转换成图像信号,然后转变成数字化信号传送给专用的图像处理系统，根据像素分布!亮度和颜色等信息，进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。 值得一提的是，广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字图像处理技术达到对客观事物图像的识别、理解。而工业应用中的机器视觉概念与普通计算机视觉、模式识别、数字图像处理有着明显区别，其特点是： 1、机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。这些技术在机器视觉中是并列关系。相互协调应用才能构成一个成功的工业机器视觉应用系统。 2、机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合理的性价比，要有通用的工业接口，能够由普通工作者来操作，有较高的容错能力和安全性，不会破坏工业产品，必须有较强的通用性和可移植性。 3、对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件的能力，更需要光、机、电一体化的综合能力。 4、机器视觉更强调实时性,要求高速度和高精度，因而计算机视觉和数字图像处理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过其在工业生产中的实际应用速度。 1.2机器视觉的研究X畴 从应用的层面看，机器视觉研究包括工件的自动检测与识别、产品质量的自动检测、食品的自动分类、智能车的自主导航与辅助驾驶、签字的自动验证、目标跟踪与制导、交通流的监测、关键地域的保安监视等等。从处理过程看,机器视觉分为低层视觉和高层视觉两阶段。低层视觉包括边缘检测、特征提取、图像分割等，高层视觉包括特征匹配、三维建模、形状分析与识别、景物分析与理解等。从方法层面看，有被动视觉与主动视觉之，又有基于特征的方法与基于模型的方法之分。从总体上来看，也称作计算机视觉。可以说，计算机视觉侧重于学术研究方面，而机器视觉则侧重于应用方面。
机器视觉检测系统
机器视觉检测系统 1机器视觉检测的一般模式 机器视觉检测的对象千差万别，检测的目的也不尽相同。农产品如柑橘、玉米等通常是检测其成熟度，大小，形态等，工业产品如工业零件,印刷电路板通常是检测其几何尺寸，表面缺陷等。不同的应用场合，就需要采用不同的检测设备和检测方法。如有的检测对精度要求高，就需要选择高分辨率的影像采集装置；有的检测需要产品的彩色信息，就需要采用彩色的影像采集装置。正是由于不同检测环境的特殊性，目前世界上还没有一个适用于所有产品的通用机器视觉检测系统。虽然各个检测系统采用的检测设备和检测方法差异很大，但其检测的一般模式却是相同的。机器视觉检测的一般模式是首先通过光学成像和图像采集装置获得产品的数字化图像，再用计算机进行图像处理得到相关检测信息，形成对被测产品的判断决策，最后将该决策信息发送到分拣装置，完成被测产品的分拣。 机器视觉检测的一般模式如图1所示： 图1 机器视觉检测的一般模式 1.1图像获取 图像获取是机器视觉检测的第一步，它影响到系统应用的稳定性和可靠性。图像的获取实际上就是将被测物体的可视化图像和内在特征转换成能被计算机处理的图像数据。机器视觉检测系统一般利用光源，光学镜头，相机，图像采集卡等设备获取被测物体的数字化图像。 1.2视觉检测 视觉检测通过图像处理的方法从产品图像中提取需要的信息，做出决策并发送相应消息到分拣机构。通常这部分功能由机器视觉软件来完成。优秀的机器视觉软件可对图像中的目标特征进行快速准确地检测，并最大限度地减少对硬件系统的依赖性，而算法设计不够成熟的机器视觉软件则存在检测速度慢，误判率高，对硬件依赖性强等特点。在机器视觉检测系统中视觉信息的处理主要依赖于图像处理方法，它包括图像增强,数据编码和传输，平滑，边缘锐化，分割，特征提取，目标识别与理解等内容。 1.3分拣 对于一个检测系统而言，最终是要实现次品（含不同种类的次品）与合格品的分离即分拣，这部分功能由分拣机构来完成。分拣是机器视觉检测的最后一个也是最为关键的一个环节"对于不同的应用场合，分拣机构可以是机电系统!液压系统!气动系统中的某一种。但无论是哪一种，除了其加工制造和装配精度要严格保证以外,其动态特性,特别是快速性和稳定性也十分重要，必须在设计时予以足够的重视。 2机器视觉检测系统的构成 一个典型的机器视觉检测系统主要包括光源、光学镜头、数字相机、图像采集卡、图像处理模块、分拣机构等部份。其构成如图2所示。 图2 典型的机器视觉检测系统
智能视觉检测系统
3.3 智能视觉检测系统 汽车注塑件是汽车的重要组成部分，在出厂前要进行形状和尺寸检测，表面质量检测等，如凹陷，翘曲，飞边等。由于人工检测的效率低，准确性差，成本高，不能满足实际质量检测的需求。机器视觉检测系统则有以下优势： 1. 非接触式检测，不损伤注塑件； 2 . 检测质量高，高分辨率镜头可达到高精度检测； 3.高检测效率，工业相机的帧率达每秒百帧； 4.实时性强，不出现漏检情况； 5.现场抗干扰能力强； 6.可靠性高，长时间稳定工作。 3.3.1 组成部分 机器视觉检测系统由三部分组成：图像的获取、图像的处理、输出显示。 图像获取设备包括光源、工业摄像机（配套镜头）等，光源可以使注塑件的表面特征得以完整显现，如表面缺陷，飞边等。摄像机可突出注塑件的关键特征，其部件CCD 实现 将图像光信号转换成电信号（模拟信号）的目的。 图像处理设备包括相应的软件和硬件系统。图像采集卡将得到的模拟信号转变为数字信号，然后供计算机软件系统处理。图像采集卡是一种可获得数字化视频图像信息存储并高速播放出来的设备。普通的传输接口无法满足图像信号的高速传输，因此需要专用的图像采集设备来实现。软件系统利用滤波算法对噪声滤除，然后进行图像匹配，得到尽可能最真实的图像。 输出显示设备与过程相连，包括监视界面，过程控制器和报警装置等。摄像数据通过计算机对标准和故障图像的分析和比较，若发现不合格产品，则通过NG 信号告警，由PLC 自动将其排除出生产线。机器视觉检测的结果可以作为计算机辅助质量CAQ （Computer Aided Quality ）系统的信息来源，也可以和其它控制系统集成。 3.3.2. 系统设计 注塑件生产线视觉检测系统采用国际先进的视觉传感器，高像素，可以记录多个不同物 件的标准画面，存储画面不合格物件图像，可以确定注塑件短射、飞边、裂纹、翘曲、气泡等多种不