机器视觉之工业相机传统标定与自标定
机器视觉之工业相机传统标定与自标定机器视觉的基本任务之一是从摄像机获取图像信息并计算三维空间中物体的几何信息，以此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定。
总的来说，工业相机的标定可以分为传统标定方法和自标定方法两大类。传统工业相机标定的基本方法是在一定的相机模型下，通过对特定标定参照物进行图像处理，并利用一系列数学变换公式计算及优化，来求取相机模型内部参数和外部参数。传统的工业标定方法按照标定参照物与算法思路可以分成若干类，如基于3D立体靶标的相机标定、基于2D平面靶标的相机标定、以及基于径向约束的相机标定等。
然而，该方法在场景未知和摄像机任意运动的一般情况下，其标定很难实现。20世纪90年代初，Faugeras，Luong，Maybank等人首次提出了摄像机自标定方法。这种自标定法利用摄像机本身参数之间的约束关系来标定，而与场景和摄像机的运动无关，不依赖于标定参照物，仅利用相机在运动过程中周围环境图像与图像之间的对应关系来对相机进行标定。目前已有的自标定技术大致可以分为基于主动视觉的摄像机自标定技术、直接求解Kruppa 方程的摄像机自标定方法、分层逐步标定法、基于二次曲面的自标定方法等几种。
相机自标定相对于传统方法有更好的灵活性和实用性，通过十多年的不懈努力，理论上的问题已基本解决，目前研究的重点是如何提高标定算法的鲁棒性以及如何很好地用这些理论来解决实际视觉问题。维视图像VS220双目立体视觉测量系统平台采用双相机或多相机对空间自由运动体的三维位置坐标及姿态进行高精度测量，高精度的标定模板、完善的摄像机标定数学模型对标靶特征点进行子像素检测，保证系统的标定精度，为系统的高精度测量提供保证。
基于OpenCV的CCD摄像机标定方法_雷铭哲_孙少杰_陈晋良_陶磊_魏坤
ＭｅｔｈｏｄｏｆＣＣＤＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＢａｓｅｄＯｎＯｐｅｎＣＶ ＬＥＩＭｉｎｇ－ｚｈｅ１，ＳＵＮＳｈａｏ－ｊｉｅ２，ＣＨＥＮＪｉｎ－ｌｉａｎｇ１，ＴＡＯＬｅｉ１，ＷＥＩＫｕｎ１ （１．North Automation Control Technology Institute ，Taiyuan ０３０００６，China ； ２．Navy Submarine Academy ，Qingdao ２６６０４２，China ）Ａｂｓｔｒａｃｔ： Ｃｏｍｐｕｔｅｒｖｉｓｉｏｎｈａｓｂｅｅｎｗｉｄｅｌｙｕｓｅｄｉｎｉｎｄｕｓｔｒｙ，ａｇｒｉｃｕｌｔｕｒｅ，ｍｉｌｉｔａｒｙ，ｔｒａｎｓｐｏｒｔａｔｉｏｎａｒｅａａｎｄｓｏｏｎ．Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｉｓｖｅｒｙｉｍｐｏｒｔａｎｔａｎｄａｌｓｏｔｈｅｋｅｙｒｅｓｅａｒｃｈｆｉｅｌｄｏｆｖｉｓｉｏｎｓｙｓｔｅｍ．ＴｈｉｓｐａｐｅｒｍａｉｎｌｙｒｅｓｅａｒｃｈｅｓｏｎｔｈｅｍｅｔｈｏｄｏｆＣＣＤｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ，ｔｈｅｐｉｎ－ｈｏｌｅｍｏｄｅｌｈａｓｂｅｅｎｉｎｔｒｏｄｕｃｅｄａｎｄａｐｐｌｉｅｄｉｎｐｒｏｃｅｓｓｏｆｃａｌｉｂｒａｔｉｏｎ．Ｓｐｅｃｉａｌｌｙ，ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙ，ｂｏｔｈｒａｄｉａｌａｎｄｔａｎｇｅｎｔｉａｌｌｅｎｓｄｉｓｔｏｒｔｉｏｎｈａｖｅｂｅｅｎｔａｋｅｎｉｎｔｏａｃｃｏｕｎｔｄｕｒｉｎｇｔｈｅｉｍｐｌｅｍｅｎｔｏｆｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎＯｐｅｎＣＶ．Ｔｈｉｓｋｉｎｄｏｆａｒｉｔｈｍｅｔｉｃｈａｓｐｒａｃｔｉｃａｌｖａｌｕｅｏｎｔｈｅａｐｐｌｉｃａｔｉｏｎｄｅｓｉｇｎｏｆｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ａｎｄｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｇｏｏｄｐｒｅｃｉｓｉｏｎ，ｗｈｉｃｈｃａｎｍｅｅｔｔｈｅａｐｐｌｉｃａｔｉｏｎｎｅｅｄｏｆｖｉｓｕａｌｉｎｓｐｅｃｔｉｏｎｏｒｏｔｈｅｒｖｉｓｉｏｎｓｙｓｔｅｍｓｗｅｌｌ． Ｋｅｙｗｏｒｄｓ： ｐｉｎ－ｈｏｌｅｍｏｄｅｌ，ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ，ｌｅｎｓｄｉｓｔｏｒｔｉｏｎ，ＯｐｅｎＣＶ摘要： 计算机视觉在工业，农业，军事，交通等领域都有着广泛应用。摄像机标定是视觉系统的重要环节，也是研究的关键领域。以摄像机标定技术为研究对象，选取针孔成像模型，简述了世界坐标系、摄像机坐标系和图像坐标系及其相互间的位置关系，对标定过程进行了深入研究。特别地，为提高标定精度，充分考虑了透镜径向和切向畸变影响及其求解方法，制作了棋盘格平面标定模板，基于开放计算机视觉函数库（ＯｐｅｎＣＶ）实现了摄像机标定。该标定算法能够充分发挥ＯｐｅｎＣＶ函数库功能，对于图像处理与计算机视觉方面的应用设计具有实用价值。实验结果表明该方法取得了较高精度，能够满足视觉检测或其他计算机视觉系统的应用需要。 关键词：针孔模型，摄像机标定，透镜畸变，ＯｐｅｎＣＶ中图分类号：Ｓ２１９ 文献标识码：Ａ 基于ＯｐｅｎＣＶ的ＣＣＤ摄像机标定方法 雷铭哲1，孙少杰2，陈晋良1，陶 磊1，魏坤1 （１．北方自动控制技术研究所，太原０３０００６；２．海军潜艇学院，山东青岛２６６０４２ ）文章编号：１００２－０６４０（２０１４） 增刊－００４９－０３Ｖｏｌ．３９，Ｓｕｐｐｌｅｍｅｎｔ Ｊｕｌ，２０１４ 火力与指挥控制 ＦｉｒｅＣｏｎｔｒｏｌ＆ＣｏｍｍａｎｄＣｏｎｔｒｏｌ第３９卷增刊 引言 摄像机标定是计算机视觉系统的前提和基础，其目的是 确定摄像机内部的几何和光学特性（内部参数）以及摄像机 在三维世界中的坐标关系（外部系数） ［１］ 。考虑到摄像机标定在理论和实践应用中的重要价值，学术界近年来进行了广泛的研究。 摄像机标定方法可以分为线性标定和非线性标定，前者简单快速，精度低，不考虑镜头畸变；后者由于引入畸变参数而使精度提高，但计算繁琐，速度慢，对初值选择和噪声敏感。本文将两者结合起来，采用由粗到精策略，以实现精确标定。 １摄像机模型 本文选取摄像机模型中常用的针孔模型［２－３］，分别建立三维世界坐标系（O w X w Y w Z w ），摄像机坐标系（O c X c Y c Z c ）及图像平面坐标系（O １xy ） 如下页图１所示。其中摄像机坐标系原点O c 为摄像机光心，Z c 轴与光轴重合且与图像平面垂直，O c O １为摄像机焦距f 。图像坐标系原点O １为光轴与图像平面的交点，x ，y 轴分别平行于摄像机坐标系X c 、Y c 轴。设世界坐标系中物点P 的三维坐标为（X w ，Y w ，Z w ），它在理想的针孔成像模型下图像坐标为P （X u ，Y u ），但由于透镜畸变引起偏离［４－５］，其实际图像坐标为P （X d ，Y d ）。图像收稿日期：２０１３－０９－２０修回日期：２０１３－１１－１０ 作者简介：雷铭哲（1977-），男，湖北咸宁人，硕士。研究方向：故障诊断系统。 ４９··
机器视觉测量技术
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
三维重建综述
三维重建综述 三维重建方法大致分为两个部分1、基于结构光的（如杨宇师兄做的）2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法： 基于图片的三维重建方法又分为双目立体视觉；单目立体视觉。 A双目立体视觉： 这种方法使用两台摄像机从两个(通常是左右平行对齐的，也可以是上下竖直对齐的)视点观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差信息转换为深度，一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下，然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟，能够稳定地获得较好的重建效果，实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。 代表文章：AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像，也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息，这些二维特征包括明暗度、纹理、焦点、轮廓等，因此也被统称为恢复形状法（shape from X） 1、明暗度（shape from shading SFS） 通过分析图像中的明暗度信息，运用反射光照模型，恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型，即从各个角度观察，同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出：Horn shape from shading：a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展：Vogel2008年提出了非朗伯特的SFS模型。 优势：可以从单幅图片中恢复出较精确的三维模型。 缺点：重建单纯依赖数学运算，由于对光照条件要求比较苛刻，需要精确知道光源的位置及方向等信息，使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉（photometric stereo） 该方法通过多个不共线的光源获得物体的多幅图像，再将不同图像的亮度方程联立，求解出物体表面法向量的方向，最终实现物体形状的恢复。 提出：Woodham对SFS进行改进（1980年）：photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展：Noakes：非线性与噪声减除2003年； Horocitz：梯度场合控制点2004年； Tang：可信度传递与马尔科夫随机场2005年； Basri：光源条件未知情况下的三维重建2007年； Sun：非朗伯特2007年； Hernandez：彩色光线进行重建方法2007年；
摄像机标定方法综述
摄像机标定方法综述 摘要：首先根据不同的分类方法对对摄像机标定方法进行分类，并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比，最后就如何提高摄像机标定精度提出几种可行性方法。 关键字：摄像机标定，传统标定法，自标定法，主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了最初的镜头校正。
机器视觉检测
机器视觉检测 一、概念 视觉检测是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉检测的特点是提高生产的柔性和自动化程度。 2、典型结构 五大块：照明、镜头、相机、图像采集卡、软件 1.照明 照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。目前没有通用的照明设备，具体应用场景选择相应的照明装置。照射方法可分为： 分类具体说明优点 背向照明被测物放在光源和摄像机之 间能获得高对比度的图像 前向照明光源和摄像机位于被测物的 同侧 便于安装 结构光将光栅或线光源等投射到被 测物上，根据它们产生的畸 变，解调出被测物的三维信 息 频闪光照明将高频率的光脉冲照射到物
体上，摄像机拍摄要求与光 源同步 2.镜头 镜头的选择应注意以下几点：焦距、目标高度、影像高度、放大倍数、影响至目标的距离、中心点/节点、畸变。 3.相机 按照不同标准可分为：标准分辨率数字相机和模拟相机等。 要根据不同的实际应用场合选不同的相机和高分辨率相机：线扫描CCD 和面阵CCD；单色相机和彩色相机。 为优化捕捉到的图像，需要对光圈、对比度和快门速度进行调整。 4.图像采集卡 图像采集卡是图像采集部分和图像处理部分的接口。将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。通过它，可以把摄像机拍摄的视频信号从摄像带上转存到计算机中。 5.软件 视觉检测系统使用软件处理图像。软件采用算法工具帮助分析图像。视觉检测解决方案使用此类工具组合来完成所需要的检测。是视觉检测的核心部分，最终形成缺陷的判断并能向后续执行机构发出指令。常用的包括，搜索工具，边界工具，特征分析工具，过程工具，视觉打印工具等。 3、关键——光源的选择 1.光源选型基本要素： 对比度机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特
机器视觉中的摄像机定标方法综述
机器视觉中的摄像机定标方法综述 吴文琪,孙增圻 (清华大学计算机系智能技术与系统国家重点实验室,北京100084) 摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。 关键词:机器视觉;摄像机定标;三维重建;镜头畸变 中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03 Overvie w of Camera Calibration Methods for Machine Vision WU Wen-qi,SUN Zeng-qi (State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China) Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed. Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion 1引言 在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。 摄像机定标在机器视觉中决定: (1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。 (2)外部参数给出摄像机坐标相对于世界坐标系的位置和方向,如旋转和平移。 在机器人的视觉应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于定标精度。 随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进。 2摄像机模型 摄像机的投影几何模型可以看作这样一个过程,把三维世界透视投影到一个球面(视球),然后把球面上影像投射到一个平面P,理想情况下,平面P关于光轴中心对称。从图像中心点出发到投射平面点的距离r(A)与光轴夹角A的关系有五种模型,每种都有其自己有用的特性[2]。 其成像简图如图1所示。 图1成像简图 2.1透视模型 透视模型公式为 r(A)=k tan A 理想状况下可以等价为小孔成像。许多最近的算法和判断不同算法的优劣的依据都是基于这个假设。但是,透视投影只是表示了视球的前半部。要是不在光轴的附近,物体的形状和密度都会发生畸变。这种模型符合人的视觉感受,理想情况下,直线投影仍为直线。透视模型在定标方法中被广泛采用,在视角不大的镜头情况下比较符合实际情况。 在视角比较大时,透视模型通过对镜头畸变进行校正来修正模型。根据镜头光学成像原理,畸变的模型为D x (x,y)=k1x(x2+y2)+(p1(3x2+y2)+2p2xy)+s1(x2+y2) D y (x,y)=k2x(x2+y2)+(p2(3x2+y2)+2p1xy)+s2(x2+y2) 式中,D x,D y是非线性畸变值,D x,D y的第一项称为径向畸 # 4 #计算机应用研究2004年 收稿日期:2002-11-18;修返日期:2003-03-22
基于OpenCV的摄像机标定的应用研究
38562009,30(16)计算机工程与设计Computer Engineering and Design 0引言 机器视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程称为摄像机标定(或定标)。标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着机器视觉的精度。迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决[1-5]。对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。 OpenCV是Intel公司资助的开源计算机视觉(open source computer vision)库，由一系列C函数和少量C++类构成，可实现图像处理和计算机视觉方面的很多通用算法。OpenCV有以下特点： (1)开放C源码； (2)基于Intel处理器指令集开发的优化代码； (3)统一的结构和功能定义； (4)强大的图像和矩阵运算能力； (5)方便灵活的用户接口； (6)同时支持Windows和Linux平台。 作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OpenCV可以直接应用于很多领域，是二次开发的理想工具。目前，OpenCV的最新版本是2006年发布的OpenCV 1.0版，它加入了对GCC4.X和Visual https://www.360docs.net/doc/5414445088.html,2005的支持。 1摄像机标定原理 1.1世界、摄像机与图像坐标系 摄像机标定中有3个不同层次的坐标系统：世界坐标系、摄像机坐标系和图像坐标系(图像像素坐标系和图像物理坐标系)。 如图1所示，在图像上定义直角坐标系 开发与应用
机器视觉系统设计五大难点【详解】
机器视觉系统设计五大难点 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、数控系统、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的
软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS 其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明 ＊图像聚焦形成 ＊图像确定和形成摄像机输出信号 1、照明 照明和影响机器视觉系统输入的重要因素，因为它直接影响输入数据的质量和至少30%的应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。 过去，许多工业用的机器视觉系统用可见光作为光源，这主要是因为可见光容易获得，价格低，并且便于操作。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。但是，这些光源的一个最大缺点是光能不能保持稳定。以日光灯为例，在使用的第一个100小时内，光能将下降15%，随着使用时间的增加，光能将不断下降。因此，如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。 另一个方面，环境光将改变这些光源照射到物体上的总光能，使输出的图像数据存在噪声，一般采用加防护屏的方法，减少环境光的影响。
机器视觉系统设计的五大难点
上海嘉肯光电科技有限公司:机器视觉光源的研发https://www.360docs.net/doc/5414445088.html, 机器视觉系统设计的五大难点 第一：打光的稳定性 工业视觉应用一般分成四大类：定位、测量、检测和识别，其中测量对光照的稳定性要求最高，因为光照只要发生10-20%的变化，测量结果将可能偏差出1-2个像素，这不是软件的问题，这是光照变化，导致了图像上边缘位置发生了变化，即使再厉害的软件也解决不了问题，必须从系统设计的角度，排除环境光的干扰，同时要保证主动照明光源的发光稳定性。 第二：工件位置的不一致性 一般做测量的项目，无论是离线检测，还是在线检测，只要是全自动化的检测设备，首先做的第一步工作都是要能找到待测目标物。每次待测目标物出现在拍摄视场中时，要能精确知道待测目标物在哪里，即使你使用一些机械夹具等，也不能特别高精度保证待测目标物每次都出现在同一位置的，这就需要用到定位功能，如果定位不准确，可能测量工具出现的位置就不准确，测量结果有时会有较大偏差。 第三：标定 一般在高精度测量时需要做以下几个标定，一光学畸变标定（如果您不是用的软件镜头，一般都必须标定），二投影畸变的标定，也就是因为您安装位置误差代表的图像畸变校正，三物像空间的标定，也就是具体算出每个像素对应物空间的尺寸。
上海嘉肯光电科技有限公司:机器视觉光源的研发https://www.360docs.net/doc/5414445088.html, 第四：物体的运动速度 如果被测量的物体不是静止的，而是在运动状态，那么一定要考虑运动模糊对图像精度（模糊像素=物体运动速度*相机曝光时间），这也不是软件能够解决的。 第五：软件的测量精度 在测量应用中软件的精度只能按照1/2—1/4个像素考虑，最好按照1/2，而不能向定位应用一样达到1/10-1/30个像素精度，因为测量应用中软件能够从图像上提取的特征点非常少。 上海嘉肯光电科技有限公司是一家专业从事机器视觉光源的研发、生产和销售为一体的高新技术企业。以工业检测、机器视觉、图像处理、科学研究等领域为主要研发及经营方向。此外，公司还代理工业镜头、工业相机、图像采集卡、图像处理软件和各类视觉附件。??上海嘉肯光电科技有限公司?将坚持“用心，创造未来”的企业经营理念，并持续不断地把最优秀、性价比最高的视觉产品提供给广大用户，以不断满足客户日益增长的要求。
机器视觉之工业相机传统标定与自标定
机器视觉之工业相机传统标定与自标定机器视觉的基本任务之一是从摄像机获取图像信息并计算三维空间中物体的几何信息，以此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定。 总的来说，工业相机的标定可以分为传统标定方法和自标定方法两大类。传统工业相机标定的基本方法是在一定的相机模型下，通过对特定标定参照物进行图像处理，并利用一系列数学变换公式计算及优化，来求取相机模型内部参数和外部参数。传统的工业标定方法按照标定参照物与算法思路可以分成若干类，如基于3D立体靶标的相机标定、基于2D平面靶标的相机标定、以及基于径向约束的相机标定等。 然而，该方法在场景未知和摄像机任意运动的一般情况下，其标定很难实现。20世纪90年代初，Faugeras，Luong，Maybank等人首次提出了摄像机自标定方法。这种自标定法利用摄像机本身参数之间的约束关系来标定，而与场景和摄像机的运动无关，不依赖于标定参照物，仅利用相机在运动过程中周围环境图像与图像之间的对应关系来对相机进行标定。目前已有的自标定技术大致可以分为基于主动视觉的摄像机自标定技术、直接求解Kruppa 方程的摄像机自标定方法、分层逐步标定法、基于二次曲面的自标定方法等几种。 相机自标定相对于传统方法有更好的灵活性和实用性，通过十多年的不懈努力，理论上的问题已基本解决，目前研究的重点是如何提高标定算法的鲁棒性以及如何很好地用这些理论来解决实际视觉问题。维视图像VS220双目立体视觉测量系统平台采用双相机或多相机对空间自由运动体的三维位置坐标及姿态进行高精度测量，高精度的标定模板、完善的摄像机标定数学模型对标靶特征点进行子像素检测，保证系统的标定精度，为系统的高精度测量提供保证。
一种基于机器视觉的仪表读取方法
一种基于机器视觉的仪表读取方法 摘要：从被许多类型产业采用的ISO 9000或/和ISO / IEC 17025的质量管理项目运动开始，校准人员就一直处在提高生产率的压力之中。这项工作是关于自动校准整个仪器过程的机器视觉方法。这项被提出的机器视觉方法被用来读取指针和数字仪器的示数,它们和电脑之间没有通信接口如GPIB或RS- 232。为了对仪表指针进行识别，这个方法采用了数字显示的光学字符识别技术，Canny边缘检测方法和Hough变换方法用来确定模拟显示中的直线位置从而加速了数据提取过程并使得出错几率大大减少。因此,它有助于提高校准质量和降低成本，增加有质量保证的测量仪器的数量。 1.引言 人们在面对重复性工作时是非常容易出错的。例如，在校准的测量仪器时，技术员一个接一个负责在一个电子表格写下所有的数据。如果由某种原因如疲劳，他/她在一个或多个值上犯了一个错误，这个校准过程和其可靠性就失去效果了。为了避免这类问题和提高校准人员的生产率，自动化水平越高越好。 通过通信接口，获得的数据可以被转移到一个主机的计算机，许多现代仪器校准过程很容易实现自动化。然而，对于一些数字或经典模拟仪表，由于没有一个计算机接口可能阻碍自动化校准过程。 为了提供一个仪表和主机之间的接口,机器视觉系统似乎是一个不错的解决方案。作为一种重要的工具，机器视觉在过程自动化领域得到广泛的应用。例如在汽车工业中调整或检验的汽车的脉速表正在变得更加普遍。同样,这也被应用与在交通管制中自动识别车辆牌照的智能计算机系统。 以前使用机器视觉校准测量仪器的一些工作可以在文学中被发现。例如，Foiatto et al提出了一个能够读取数字仪表示数的方法。读取指针示数是作者没有想到的。另一个类似的工作是由Andres完成的,他提出了一个用来读取数字和指针式仪表示数的方法，但这依赖于用户干的多目标任务。 本文提出了一个基于机器视觉系统的读取数字和指针式仪表示数的方法。一些有趣的计量问题是机器视觉似乎有助于提高读取指针示数的分辨率，同时提高原始仪器的精度。这里介绍的方法是利用普通机器视觉设备高性能和效率的读取各种各样的示数与好性能和效率。
单目视觉定位方法研究综述
万方数据
万方数据
万方数据
万方数据
单目视觉定位方法研究综述 作者：李荣明， 芦利斌， 金国栋 作者单位：第二炮兵工程学院602教研室,西安,710025 刊名： 现代计算机：下半月版 英文刊名：Modem Computer 年，卷(期)：2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报（工学版） 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02)
机器人视觉系统标定问题研究综述_田梦倩
收稿日期:2005-05-18 基金项目:江苏省自然科学基金资助项目(BK2002405)作者简介:田梦倩(1971-),女,副教授,研究领域为机电控制及自动化、机器人技术。 机器人视觉系统标定问题研究综述 田梦倩 (东南大学机械工程系,江苏南京210096) 摘要:在视觉反馈机器人的控制中,摄像机的标定是一个基本的、重要性的问题。该文首先对摄像机的成像模型进行分析,明确了视觉系统标定的主要任务,然后从离线标定和在线标定两方面阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。 关键词:机器人;视觉反馈;摄像机标定;离线标定;在线标定 中图分类号:TP242.6+ 2 文献标识码:A 文章编号:100020682(2006)022******* A survey of ca li bra ti on i n a v isi on 2robot system TI A N M eng 2qian (D ept of M echanical Engineering ,Southeast U niversity,J iangsu N anjing 210096,China ) Abstract:Ca mera calibrati on is a basic and crucial p r oble m in the field of r obot contr ol with visi on feedback .The paper analyses the i m age 2for m ing model of a ca mera t o decide how t o calibrate its main pa 2ra meters and then discusses the relevant methods according t o s ome different criteria,which are classified int o off 2line calibrati on and on 2line calibrati on . Key words:r obot;visi on feedback;ca mera calibrati on;off 2line calibrati on;on 2line calibrati on 0 引言 智能机器人是装备有某些类似人的感觉装置,具有感觉识别、判断功能,能根据周围环境的变化,按规则调整自己动作的机器人。在人的众多感觉中,视觉是人最重要的感官之一。因而,机器人视觉定位、视觉导引、视觉伺服也是智能机器人领域的研究热点之一。视觉反馈机器人可以广泛地应用在工业中的焊接、装配、搬运;工件表面质量、几何形状的测量;微电子器件的自动检测;空间技术中的交会对接、卫星回收等各种场合[1] 。这些应用能否准确实现,视觉系统能否获得高精度的反馈信息,都涉及到一个基本的、重要的问题,即视觉系统的高精度标定。 视觉系统的标定问题包括摄像机模型的建立及模型中各参数精确值的获得。确定这一参数值的过程可以分为两部分:摄像机内部参数标定、摄像机坐标系与机器人坐标系之间转换关系(即手-眼关系)的标定。 国外在机器人视觉标定方面做了大量的研究, 并提出了一系列切实可行的方法,而国内关于此方面的研究报道却不多,并且只限于静态的离线标定 方面[7～10] 。该文首先对机器人视觉系统的成像模型进行了详细的分析,按照标定过程是否与机器人控制相结合、是否为动态过程,将视觉反馈机器人的标定方法分为离线标定和在线标定两类,并分别阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。 1 摄像机的成像模型 由于空间某点的几何位置与其在图像中对应点的相互关系是由摄像机的成像模型决定的,因此,正确建立摄像机的成像模型是关键。 假定摄像机模型为针孔透视变换模型,图1中给出了单摄像机下,物点与像点的位置关系。该模型中建立了3个坐标系。 (1)世界坐标系:通常取世界坐标系与机器人基坐标系重合,三维空间中的目标点p 在世界坐标系中的坐标是p w (x w ,y w ,z w )。 (2)摄像机坐标系:其中心点o c 定义在摄像机的光学中心,其Z 轴与摄像机的主光轴重合。目标点p 在摄像机坐标系中的坐标是p c (x c ,y c ,z c )。
机器视觉及其应用实验报告
H a r b i n I n s t i t u t e o f T e c h n o l o g y 实验报告 课程名称：机器视觉及其应用实验名称：摄像机标定上机验证院系：自动化测试与控制系班级： 实验人：胡洋 学号：6100100311 教师：陈凤东 实验时间：2013.11.8 哈尔滨工业大学
《机器视觉及其应用》实验报告 一、 实验名称： 摄像机标定上机验证 二、 实验人员：胡洋 三、 实验日期：2013.11.8 四、 实验目的： 上机验证摄像机标定方法 五、 实验原理： 摄像机标定是一个确定摄像机内部参数(包括几何与光学参数)和外部参数(包括摄像机相对世界坐标的位置及方向)的过程。 摄像机标定的目的是建立摄像机世界坐标系中坐标T w w w z y x ),,(与其相应图像像素坐标(u,v)之间的关系。最终实现利用计算机采集得到的二维图像来恢复待测物体的三维信息的目的。 摄像机标定方法是视觉系统实现的前提和基础。目前现有的摄像机标定技术大体可以分成两类：传统的摄像机标定方法和摄像机自标定方法。 传统的摄像机标定方法是在一定的摄像机模型基础上，基于形状、尺寸已知的特定参照物，利用参照物上的特征点的世界坐标和相应的像素坐标之间的关系，通过一系列数学变换和计算方法，求取摄像机模型的内外参数。传统的摄像机标定方法需要高精度的已知结构信息，过程复杂，但是标定精度高，适用于多种摄像机模型。 而摄像机自标定方法则不依赖特定的标定参照物，仅仅利用摄像机获取的一系列图像信息来确定摄像机参数。摄像机自标定方法对环境适应较好，可以无人参与下完成标定，但是精度低，鲁棒性不足，不适用于测量场合。 传统的摄像机标定方法按其求解的方法可分为三类：线性方法、非线性优化方法和考虑畸变补偿的两步法[15]。 线性方法不需要迭代，速度较快。但是定标过程中忽略了摄像机镜头的非线性畸变，使得定标精度受到影响。一般的线性求解方法是透镜变换方法和直接线性变换(DLT)方法，他们都是利用一定数目的已知特征点的成像信息和公式(2-18)的投影变换矩阵求解。 ?? ?? ?? ????????????????=??????????1123222120 1312111003020100w w w z y x m m m m m m m m m m m m v u s (2-18) 本实验采用传统的摄像机标定方法。在传统的标定方法中，标定参照的标准 件的精度对标定结果的影响较大。但3D 立体靶标的制作成本较高，且加工精度
北航机器视觉摄像机标定实验报告
摄像机标定实验 一、实验目的 1. 掌握图像坐标系、摄像机坐标系和世界坐标系的定义及相互之间的变换关系，掌握摄像机透视投影原理及模型； 2. 了解摄像机标定的意义，掌握基于自由移动平面靶标的摄像机标定原理； 3. 了解摄像机镜头光学畸变模型，掌握摄像机镜头径向畸变校正原理和实现方法； 4．学习使用MATLAB 工具箱进行摄像机参数标定，精度评价以及畸变校正。 二、实验软件平台 MATLAB (R2014a,64bit)，摄像机标定工具箱TOOLBOX_calib。 三、实验内容 1. 先用AutoCAD 或者图像编程制作一个方格棋盘黑白靶标，并用打印机打印在A4 纸上，贴在某个平整的物面上，然后用摄像机从多个角度拍摄靶标图像7至10幅。 2. 利用MATLAB工具箱TOOL_BOX对拍摄得到的图像进行摄像机标定，精度分析。 四、实验步骤及结果 1. 下载MATLAB摄像机标定工具箱TOOLBOX_calib（2015年10月14日更新），解压该工具箱。 2. 使用摄像机从不同角度拍摄9幅方格棋盘黑白靶标的图片，将图片置于解压的工具箱文件夹内 3. 打开MATLAB软件，将MATLAB的path设置为解压后的TOOLBOX_calib文件夹。在命令窗口输入calib，弹出窗口，选择第一项Standard模式。 4. 点击Read images选项读入图片，将事先拍好的9幅靶标图片读入，如下图所示。
5. 在提取图像进入程序后，我们要对图像提取角点，点击Extract grid corners，根据提示进行操作。 此时程序会弹出图像请用户标出角点，通过选取，得到了下图。