计算机视觉_摄像机标定L4_高伟
摄像机标定方法综述
摄像机标定方法综述 摘要：首先根据不同的分类方法对对摄像机标定方法进行分类，并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比，最后就如何提高摄像机标定精度提出几种可行性方法。 关键字：摄像机标定，传统标定法，自标定法，主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了最初的镜头校正。
北理工贾云德《计算机视觉》chapter12标定
第12章 标定 本章将讨论各种摄象机系统及深度成像系统的标定方法．在摄影测量学领域中，已经建立了大量的摄象机和测距传感器标定方法．这些方法可以用来确定摄象机或测距传感器在场景中的位置和方向以及与场景坐标之间的关系． 在摄影测量学中有以下四个标定问题： (1) 绝对定位：通过标定点确定两个坐标系在绝对坐标系统中的变换关系，或确定测距 传感器在绝对坐标系中的位置和方向． (2) 相对定位：通过场景中的标定点投影确定两个摄象机之间的相对位置和方向． (3) 外部定位：通过场景中的标定点投影确定摄象机在绝对坐标系中的位置和方向． (4) 内部定位：确定摄象机内部几何参数，包括摄象机常数，主点的位置以及透镜变形 的修正量． 这些标定问题主要起源于高空摄影技术，是摄影测量中的经典问题．除了以上四个标定问题外，摄影测量学还解决以下两个问题：一是通过双目立体视差确定点在场景中的实际位置，二是对立体图像对进行校正变换，使得立体图像对的外极线与图像的行平行以便简化后续处理(见第十一章)． 摄象机标定过程中涉及到以下几种坐标，场景坐标、摄象机坐标、图像坐标和像素坐标等，这些坐标已经在1．7中介绍成像基础知识时引入．确定这些坐标之间的关系就是本章所要讨论的各种标定问题的目的． 12．1 刚体变换 物体位置和方向的任意变化都可以认为是刚体变换，因为物体的移动只改变其位置和方向，并不改变其形状和大小．假定通过两个处于不同位置的摄像机均可看到θ点，p 点在两个摄像机坐标系中的坐标分别是和()2222,,z y x =p ．显然两个摄象机位置之间的变换是刚体运动，因此，p 点在第一个视场中的坐标p 1可以通过旋转和平移变换到第二个视场中的坐标2p ， t Rp p +=12 (12．1) 其中矩阵R 是一个33?的正交方阵，用于旋转变换：
摄像机标定程序使用方法
一、材料准备 1 准备靶标： 根据摄像头的工作距离，设计靶标大小。使靶标在规定距离范围里，尽量全屏显示在摄像头图像内。 注意：靶标设计、打印要清晰。 2图像采集： 将靶标摆放成各种不同姿态，使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内，便于集中处理。 二、角点处理（Process菜单） 1 准备工作： 在程序debug文件夹下，建立data，left，right文件夹，将角探测器模板文件target.txt 复制到data文件夹下，便于后续处理。 2 调入图像： File->Open 打开靶标图像 3 选取角点，保存角点： 点击Process->Prepare Extrcor ，点击鼠标左键进行四个角点的选取，要求四个角点在最外侧，且能围成一个正方形区域。每点击一个角点，跳出一个显示角点坐标的提示框。当点击完第四个角点时，跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ，对该幅图的角点数据进行保存，最好保存到debug->data-> left文件夹下。命名时，最好命名为cornerdata*.txt，*代表编号。 对其余N-1幅图像进行角点处理，保存在相同文件夹下。这样在left文件夹会出现N 个角点txt文件。 三、计算内部参数（Calibration菜单） 1 准备工作： 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt，将其归为一组。将该组数据复制到data文件夹下，重新顺序编号，此时，文件名必须为cornerdata*，因为计算参数时，只识别该类文件名。 2 参数计算： 点击Calibration->Cameral Calibrating，跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵，且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档，重复步骤1和2；反复取上M组数据，保存各组数据。 注意：在对下一组图像进行计算时，需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计，要求|gama|<2，且gama为负，删掉不符合条件的数据。 2 挑出出现次数最高的一组数据。
计算机视觉简介
人们常说：眼睛是心灵的窗户，通过眼睛人们可以轻易地交流情感，眼睛也是与外界交流的窗口，这些都是通过“看”来完成的。 人们可以很容易“看到”一幅画，但这一“简单”过程并不如此简单，大致上它可以分为以下几个阶段：首先是通过眼睛将图成像在视网膜上；其次大脑对图像进行理解；最后根据处理的结果做出反应。用比较专业一点的语言来描述，该过程包括了识别、描述与理解三个层次；这其中还隐含了边缘检测（各物体的轮廓等）、图像的分割（各物体区域的划分）等阶段。以上实际上概述了视觉系统的三个层次，即低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物体的几何模型与图像特性表达阶段；高层阶段：基于景物知识的描述、识别与理解阶段，这是根据先验知识介入的程度划分的，且实现起来也越来越困难。 毫无疑问，如何人工实现这一过程是极具挑战性和应用前景的一项工作，计算机视觉也因此而应运而生。计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科，其目标是从图像或图像序列中获取对外部世界的认知和理解，即利用二维图像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、识别与理解。 计算机视觉的基础是各种成像设备，例如CCD(Charge Coupled Device )摄像机（数码相机属于此类型）、红外摄像机、医学上常用的核磁共振成像、X射线成像等，这些设备不仅可以成像，还可以获取比人眼更丰富的图像，人们可以形象地把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始，就为计算机视觉的诞生奠定了基础。 而计算机视觉的核心是数字电子计算机，其发展可谓突飞猛进，在计算和存储能力上，人脑已经无法与之相比，人们的目标就是利用计算机非凡的计算处理能力来代替人脑实现对图像的理解，而计算机日新月异的发展也使得这一愿望越来越成为可能。 用于指导“计算机”这个大脑运作的核心是计算机视觉的理论方法，计算机视觉使用的理论方法主要基于几何、概率和运动学计算与三维重构的视觉计算理论，它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。在20世纪70年代，视觉研究大多采用模式识别的方法；80年代，开始采用空间几何的方法以及物理知识进行视觉研究；90年代以后，随着智能机器人视觉研究的发展，引入了许多新的理论与技术如主动视觉理论、不变量理论、融合技术等，并应用于许多计算机视觉系统中。 研究计算机视觉，不得不提的是英国已故科学家戴维·马尔（David Marr），他在计算机视觉发展史上可谓写下了浓重的一笔。在20世纪70年代末，他提出了第一个
计算机视觉测量与导航_张正友法相机标定 _结课实验报告
H a r b i n I n s t i t u t e o f T e c h n o l o g y 计算机视觉测量与导航 实验报告 院系：航天学院 学科：控制科学与工程 姓名：TSX 学号： 任课教师：张永安卢鸿谦 日期：2014.05.13
摘要 人类视觉过程可看成是一个复杂的从感觉到知觉的过程,也就是指三维世界投影得到二维图像,再由二维图像认知三维世界的内容和含义的过程。信号处理理论与计算机出现以后,人们用摄像机等获取环境图像并转换成数字信号,完成对视觉信息的获取和传输过程,用计算机实现对视觉信息的处理、存储和理解等过程,形成了计算机视觉这门新兴学科。其中从二维图像恢复三维物体可见表面的几何结构的工作就叫做三维重建。随着计算机硬件、软件、图像采集、处理技术的迅速发展,三维重建的理论和技术已被广泛应用于航空航天、机器人技术、文字识别、工业检测、军事侦察、地理勘察、现场测量和虚拟植物可视化等领域。相机标定是三维重建必不可少的步骤,它包括对诸如主点坐标、焦距等与相机内部结构有关的内部参数的确定和对相机的旋转、平移这些外部参数的确定。价格低廉的实验器材、简单的实验环境、快捷的标定速度和较高的标定精度是现在相机标定研究追求的几大方向。数码相机的标定就是研究的热点之一。本次报告介绍了基于棋盘格模板标定的基本原理和算法，利用MATLAB的相机标定工具箱，使用张征友算法对相机进行了标定，记录了标定的过程，并给出结果，最后对影响标定精度的因素进行了分析。 关键词：相机标定张正友角点提取内外参
1基于棋盘格标定的基本原理和算法 1.1基础知识 1.1.1射影几何 当描述一张相机拍摄的图像时，由于其长度、角度、平行关系都可能发生变化，因此无法完全用欧氏几何来处理图像，而射影几何却可以，因为在射影几何中，允许存在包括透视投影的更大一类变换，而不仅仅是欧氏几何的平移和旋转。实际上，欧氏几何是射影几何的一个子集。 1.1.2齐次坐标 设欧氏直线上点p的笛卡尔坐标为(x,y)T，如果x1,x2,x3满足x=x1/x2，y =x2/x3，x3≠0，则称三维向量(x1,x2,x3)T为点P的齐次坐标。当x3= 0时，(x1,x2,0)T规定直线上的无穷远点的齐次坐标。 实际上，齐次坐标是用一个n+ 1维向量来表示原本n维的向量。应用齐次坐标的目的是用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系。形的几何变换主要包括平移、旋转、缩放等。以矩阵表达式来计算这些变换时，平移是矩阵相加，旋转和缩放则是矩阵相乘，综合起来可以表示为P’=R*P+T（R为旋转缩放矩阵，T为平移矩阵，P为原向量，P′为变换后的向量）。当n+1维的齐次坐标中第n+1维为0，则表示n维空间的一个无穷远点。
摄像机标定程序使用方法
摄像机内部参数标定 一、材料准备 1准备靶标：根据摄像头的工作距离，设计靶标大小。使靶标在规定距离范围里，尽量全屏显示在摄像头图像内。 注意：靶标设计、打印要清晰。 2图像采集：将靶标摆放成各种不同姿态，使用左摄像头采集N 幅图像。尽量保存到程序的 debug->data 文件夹内，便于集中处理。 二、角点处理（Process菜单） 1准备工作：在程序debug 文件夹下，建立data，left ，right 文件夹，将角探测器模板文件target.txt 复制到data 文件夹下，便于后续处理。 2调入图像： File->Open 打开靶标图像 3选取角点，保存角点： 点击Process->Prepare Extrcor ，点击鼠标左键进行四个角点的选取，要求四个角点在最外侧，且能围成一个正方形区域。每点击一个角点，跳出一个显示角点坐标的提示框。当点击完第四个角点时，跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ，对该幅图的角点数据进行保存，最好保存到debug->data-> left 文件夹下。命名时，最好命名为cornerdata*.txt ，*代表编号。 对其余N-1 幅图像进行角点处理，保存在相同文件夹下。这样在left 文件夹会出现N 个角点txt 文件。 三、计算内部参数（Calibration 菜单） 1准备工作： 在left 文件夹中挑出5 个靶标姿态差异较大的角点数据txt ，将其归为一组。将该组数据复制到data 文件夹下，重新顺序编号，此时，文件名必须为cornerdata* ，因为计算参数时，只识别该类文件名。 2参数计算： 点击Calibration->Cameral Calibrating ，跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0 、k1 、k2 七个内部参数和两组靶标姿态矩阵，且程序默认保存为文件CameraCalibrateResult.txt 。 3处理其余角点数据文件在原来N 个角点数据文件中重新取出靶标姿态较大的5个数据文档，重复步骤1和2； 反复取上M 组数据，保存各组数据。 注意：在对下一组图像进行计算时，需要将上一组在data 文件夹下的5 个数据删除。 四、数据精选 1将各组内部参数计算结果进行列表统计，要求|gama|<2，且gama为负，删掉不符合条件 的数据。 2 挑出出现次数最高的一组数据。 摄像机外部参数标定 一、材料准备 1 靶标准备：
计算机视觉
计算机视觉 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 目录 1定义 2解析 3原理 4相关 5现状 6用途 7异同 8问题
9系统 10要件 11会议 12期刊 1定义 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。 计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。我们中国人的成语"眼见为实"和西方人常说的"One picture is worth ten thousand words"表达了视觉对人类的重要性。不难想象，具有视觉的机器的应用前景能有多么地宽广。 计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它
的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。 2解析 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的 计算机视觉与其他领域的关系 研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机视觉开始于60年代初，但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关，对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 3原理 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如，计算机视觉的一个重要应用领域就是自主车辆的视觉导航，还没有条件实现象人那样能识别和理解任何环境，完成自主导航的系统。因此，人们努力的研究目标是实现在高速公路上具有道路跟踪能力，可避免与前方车辆碰撞的视觉辅助驾驶系统。这里要指出的一点是在计算机视觉系统中计算机起代替人脑的作用，但并不意味
双目摄像机标定
1.摄像机标定技术的发展和研究现状 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。真实的3D场景与摄像机所拍摄的2D图像之间有一种映射关系，这种关系是由摄像机的几何模型或者参数决定的。求解这些参数的过程就称为摄像机标定。摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系。 总的来说, 摄像机标定可以分为两个大类: 传统的摄像机标定方法和摄像机自标定法。传统摄像机标定的基本方法是, 在一定的摄像机模型下, 基于特定的实验条件如形状、尺寸已知的参照物, 经过对其进行图像处理, 利用一系列数学变换和计算方法, 求取摄像机模型内部参数和外部参数。另外, 由于许多情况下存在经常性调整摄像机的需求, 而且设置已知的参照物也不现实, 这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的, 与场景和摄像机的运动无关, 所以相比较下更为灵活。 1966年，B. Hallert研究了相机标定和镜头畸变两个方面的内容，并首次使用了最小二乘方法，得到了精度很高的测量结果。1975年，学者W. Faig建立的一种较为复杂的相机成像模型，并应用非线性优化算法对其进行精确求解，但是仍存在两个缺点，一是由于加入了优化算法导致速度变慢，二是标定精度对相机模型参数的初始值的选择有严重的依赖性，这两个缺点就导致了该标定方法不适于实时标定。1986年Faugeras提出基于三维立方体标定物通过拍摄其单幅
计算机视觉在各个方面的应用
计算机视觉在各个方面的应用 摘要 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 关键词：图像处理，模式识别，图像理解。 正文 1.1序言 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。 计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算计科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。 所需要的知识储备以及相关课程如下， 图1-1 图1-2
1.1.2 现阶段的形式 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的 图1-3计算机视觉与其他领域的关系 研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机视觉开始于60年代初，但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关，对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 人类正在进入信息时代，计算机将越来越广泛地进入几乎所有领域。一方面是更多未经计算机专业训练的人也需要应用计算机，而另一方面是计算机的功能越来越强，使用方法越来越复杂。这就使人在进行交谈和通讯时的灵活性与目前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉和听觉，语言与外界交换信息，并且可用不同的方式表示相同的含义，而目前的计算机却要求严格按照各种程序语言来编写程序，只有这样计算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。 智能计算机不但使计算机更便于为人们所使用，同时如果用这样的计算机来控制各种自动化装置特别是智能机器人，就可以使这些自动化系统和智能机器人具有适应环境，和自主作出决策的能力。这就可以在各种场合取代人的繁重工作，或代替人到各种危险和恶劣环境中完成任务。 1.1.3 简单原理 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如，计算机视觉的一个重
北理工贾云德《计算机视觉》chapter12标定
本章将讨论各种摄象机系统及深度成像系统的标定方法．在摄影测量学领域中，已经建立了大量的摄象机和测距传感器标定方法．这些方法可以用来确定摄象机或测距传感器在场景中的位置和方向以及与场景坐标之间的关系． 在摄影测量学中有以下四个标定问题： (1) 绝对定位：通过标定点确定两个坐标系在绝对坐标系统中的变换关系，或确定测距 传感器在绝对坐标系中的位置和方向． (2) 相对定位：通过场景中的标定点投影确定两个摄象机之间的相对位置和方向． (3) 外部定位：通过场景中的标定点投影确定摄象机在绝对坐标系中的位置和方向． (4) 内部定位：确定摄象机内部几何参数，包括摄象机常数，主点的位置以及透镜变形 的修正量． 这些标定问题主要起源于高空摄影技术，是摄影测量中的经典问题．除了以上四个标定问题外，摄影测量学还解决以下两个问题：一是通过双目立体视差确定点在场景中的实际位置，二是对立体图像对进行校正变换，使得立体图像对的外极线与图像的行平行以便简化后续处理(见第十一章)． 摄象机标定过程中涉及到以下几种坐标，场景坐标、摄象机坐标、图像坐标和像素坐标等，这些坐标已经在1．7中介绍成像基础知识时引入．确定这些坐标之间的关系就是本章所要讨论的各种标定问题的目的． 12．1 刚体变换 物体位置和方向的任意变化都可以认为是刚体变换，因为物体的移动只改变其位置和方向，并不改变其形状和大小．假定通过两个处于不同位置的摄像机均可看到θ点，p 点在两个摄像机坐标系中的坐标分别是和()2222,,z y x =p ．显然两个摄象机位置之间的变换是刚体运动，因此，p 点在第一个视场中的坐标p 1可以通过旋转和平移变换到第二个视场中的 坐标2p ， t Rp p +=12 (12．1) 其中矩阵R 是一个33?的正交方阵，用于旋转变换： ????????? ?=zz zy zx yz yy yx xz xy xx r r r r r r r r r R (12．2) 矢量T z y x t t t ),,(=t 表示平移，或者说点t 是第一个坐标系原点在第二个坐标系上的坐标， 如图12．1所示． 图12．1 两个摄像机坐标系 方程12．1可以认为是计算一个点经过旋转和平移以后的新坐标，或是计算空间中同一个点在不同坐标系中的坐标 ．前者用于刚体力学：在物体移动到一个新的位置以后，计算物体上一点的新坐标；后者用于标定问题：同一点在不同观察位置上观察将会得到不同的坐
计算机视觉系统及其应用
课程设计 课程名称工业自动化专题 题目名称_计算机视觉系统及其应用学生学院_____自动化________ 专业班级______ 学号 学生姓名____ 指导教师___________ 2013 年 6月 25日
机器视觉系统及其应用 摘要：主要介绍机器视觉系统的概要，简要分析机器视觉的特点、优越性和应用，具体介绍了机器视觉技术在印刷行业、农业、工业、医学中的实际应用，并且分别举例说明。机器视觉的诞生和应用在理论和实际中均具有重要意义。 关键词：机器视觉；标签检测；药物检测；水果品质检测；硬币检测。 1. 机器视觉系统 1.1 机器视觉系统简介 机器视觉系统是指利用机器替代人眼做出各种测量和判断。机器视觉是工程领域和科学领域中的一个非常重要的研究领域，它是一门涉及光学、机械、计算机、模式识别、图像处理、人工智能、信号处理以及光电一体化等多个领域的综合性学科。 机器视觉系统通过图像摄取装置将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号。机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成。 机器视觉系统的优点有：1.非接触测量，对于被检测对象不会产生任何损伤，而且提高了系统能够的可靠性；2.较宽的光谱响应范围，例如使用人眼看不见的红外测量，扩展人眼的视觉范围；3.长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉系统则可以长时间地作测量、分析和识别任务。 现在，机器视觉系统在工业、农业、国防、交通、医疗、金融甚至体育、娱乐等等行业都获得了广泛的应用，可以说已经深入到我们的生活、生产和工作的方方面面。 1.2 基本原理 图 1 是机器视觉系统的基本结构，在一定的光照（包括可见光，红外线甚至超声波等各种成象手段)条件下，成象设备（摄象机，图像采集板等）把三维场景的图像采集到计算机内部，形成强度的二维阵列——原始图象；然后，运用图像处理技术对采集到的原始图像进行预处理以得到质量改善了的图像；其次，运用机器视觉技术从图像中提取感兴趣的特征分类整理；，构成对图像的进一步，运用模式识别技术对抽取到的特征进行描述；最后，运用人工智能得到更高层次的抽象描述。完成视觉系统的任务。 图1机器视觉的基本结构
《计算机视觉》知识要点总结终极
1、、。；视觉是人类观察世界、认知世界的重要功能手段。人类从外界获得信息约有80%来自视觉系统。 2、计算机视觉是指用计算机实现人类的视觉功能，即对客观世界中三维场景的感知、加工和理解。 计算机视觉的研究方法只有有两种：一种是仿生学的方法，参照人类视觉系统的结构原理，建立相应的处理模块完成类似的功能和工作；另一种是工程的方法，即从分析人类视觉过程的功能着手，并不刻意模拟人，视觉系统内部结构，而仅考虑系统的输入和输出，并采用任何现有的手段来实现系统的功能。 计算机视觉主要研究目标有两个：一是建立计算机视觉系统来完成各种视觉任务； 二是把该研究作为探索人脑视觉工作机理的手段，即生物学机理。 3、计算机视觉系统的功能模块主要有以下几个模块：图像采集、预处理、基元检测、目标分割、表达描述、形状分析等，参考下图1.4.1 4、整个视觉过程是由光学过程，化学过程和神经处理过程这3个顺序的子过程所构成。 光学过程：我们需要掌握的是人眼水平截面的示意图，见图2.1.1。光学过程基本确定了成像的尺寸。类似照相机。
化学过程：视网膜表面的光接收细胞可分为：锥细胞（亮视觉）和柱细胞（暗视觉）。化学过程，基本确定了成像的亮度或颜色。 神经处理过程：将对光的感觉转换为对景物的知觉。视觉处理过程流图2.1,2如下： 5、形状知觉是对景物各部分相对关系的知觉，也与视野中各种空间关系的知觉有关。 6、轮廓（封闭的边界）是形状知觉中最基本的概念，人在知觉一个形状以前一定先看到轮廓。轮廓的构成如果用数学语言来说就是轮廓对应亮度的二阶导数。轮廓与形状又有区别，轮廓不等于形状。轮廓在帮助构成形状时还有“方向性”。轮廓通常倾向于对它所包围的空间发生影响，即轮廓一般是向内部而不是向外部发挥构成形状的作用。 7、主观轮廓：在没有直接刺激作用下产生的轮廓知觉。主观轮廓的形成是在一定感觉信息的基础上进行知觉假设的结果 8、空间知觉的问题本质是一个深度感知的问题。人对空间场景的深度感知主要依靠双目视觉实现。 9、图像采集是获取图像的技术和过程。对应于视觉过程中的光学和化学过程。需要利用几何学原理解决场景中目标的投影位置在图像中国的什么地方的问题和利用光度学原理（或辐射度学）建立场景中的亮度与图像中对应位置灰度的联系。 10、图像采集中主要的模型：几何成像模型和亮度成像模型 11、世界坐标系：也称为真实或现实世界坐标系XYZ，是客观事件的绝对坐标（也称为客观坐标系统）。一般的3-D场景都是用这个坐标系统来表示的。 摄像机坐标系：是以摄像机为中心指定的坐标系统xyz，一般取摄像机的光学轴为z轴。 图像平面坐标系：在摄像机内形成的图像平面的坐标系统x’y’。一般取图像平面与摄像机坐标系统xy平面平行，且x轴与x’轴，y与y’轴分别重合，这样图像平面的原点就在摄像机的光学轴上。 12、固态阵列中最常用的主要元件是用电荷耦合器件（change-coupled device，CCD），特点是具有非常快的快门速度。 CMOS（complementary metal oxide semiconductor）摄像机基于互补型金属氧化物半导体工艺，其传感器主要包括传感器核心、模/数转换器、输出寄存器、控制寄存器、增益放大器等。特点是低功耗、尺寸小，总体成本低。但是噪声水平比CCD高一个量级。 电荷注射器件（charge-injection device，CID），有一个和图像矩阵对应的电极矩阵，在每一个像素位置有两个隔离绝缘的能产生电位阱的电极。优点是，随机访问，不会产生图像浮散。但是相对CCD，CID对光电敏感度要低很多。 13、采集装置基本性能指标：线性响应，灵敏度，信噪比，阴影（不均匀度），快门速度，读取速率。 14、图像采集的方式主要由光源、采集器和景物三者决定。 15、空间分辨率（即数字化的空间采样点数）。幅度分辨率（即采样点值的量化级数）。辐射到图像采集矩阵中光电感受单元的信号在空间上被采样，而在强度上被量化。
计算机视觉大纲
课程名称：计算机视觉 课程编码：M510021 课程学分：3 适用学科：信息与计算科学、数学与应用数学 计算机视觉 Computer Vision 教学大纲 一、课程性质 计算机视觉是人工智能领域的一个重要部分，它的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。计算机视觉是以图象处理技术、信号处理技术、概率统计分析、计算几何、神经网络、机器学习理论和计算机信息处理技术等为基础，通过计算机分析与处理视觉信息。 二、课程教学目的 通过计算机视觉课程的学习，使硕士研究生掌握计算机视觉基本理论与方法以及计算机视觉的一些典型应用，初步具有设计、实现计算机视觉中比较简单的算法的能力，从而为学生进一步从事该方向的学习与研究工作打下基础。 三、教学基本内容及基本要求 计算机视觉主要内容分为六部分。基本要求与基本内容如下： 1、教学基本内容 (一)计算机视觉概述：计算机视觉的基本概念，计算机视觉的发展和应用，计 算机视觉的现状。 (二)摄像机成像原理及针孔摄像机成像模型。 (三)射影几何的基本介绍及几何元素的数学表达方法。 (四)多视几何理论，包括单视几何中的射影测量、两视几何中的外极几何的基 本概念、基本矩阵、本质矩阵的理论推导及其含义。 (五)立体视觉方法。使用双摄像机得到的图像恢复三维物体深度信息的方法， 包括直接重建和分层重建理论。 (六)视觉系统的标定，包括3D标定模板下的Tsai标定算法、2D标定模板下的 张正友标定算法、基于圆的标定算法、1D张正友标定算法、基于Kruppa方程的自标定算法。 2、教学基本要求 通过对计算机视觉的教学活动，对学生的要求按了解、理解、掌握三个层面给出，具体要求如下： (一)计算机视觉概述 1.理解计算机视觉的基本概念。 2.了解计算机视觉的应用前景及发展现状。 (二)摄像机成像 掌握针孔摄像机成像模型。 (三)射影几何
计算机视觉及其应用2
计算机视觉及其应用 1.计算机视觉概述 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 2.国内计算机图像视觉技术的应用现状 对产品质量、生产效率、精度等需要很高的新型的高科技生产领域，尤其在半导体和光电子工业，可以说所有全线产品和生产工艺等都需要应用到计算机图像和视觉技术，在电子装配工业，如SMT 设备、电子元件质量检测等也同样需要使用这门技术。在对传统工业设备和工艺流程等进行新技术改造或替换过程中，在各种安全监控领域，以及随市场发展而出现新的需要领域等等，都能够应用此技术，其市场非常大，发展潜力无穷。计算机图像和视觉技术已经在国外得到广泛的应用，并且技术也比较成熟。然而，在国内的情况并不乐观。随着国内市场成熟，巨大的市场驱动，加上此技术明显的固有优势，相信它将在国内得到广泛的应用，产生巨大的经济效率。 3.计算机视觉应用的关键技术 机器视觉系统中，视觉信息的处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。 （1）图像的增强 图像的增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。通常采用灰度直方图修改技术进行图像增强。图像的灰度直方图是表示一幅图像灰度分布情况的统计特性图表，与对比度紧密相连。如果获得一幅图像的直方图效果不理想，可以通过直方图均衡化处理技术作适当修改，即把一幅已知灰度概率分布图像中的像素灰度作某种映射变换，使它变成一幅具有均匀灰度概率分布的新图像，实现使图像清晰的目的。 (2)图像的平滑
计算机视觉期末复习
一、 1.什么是计算机视觉？理解计算机视觉问题的产生原理。 研究用计算机来模拟生物视觉功能的技术学科。具体来说，就是让计算机具有对周围世界的空间物体进行传感、抽象、分析判断、决策的能力，从而达到识别、理解的目的。 2.直方图的均衡化 处理的“中心思想”是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图均衡化就是把给定图像的直方图分布改变成“均匀”分布直方图分布。 是将原图像通过某种变换，得到一幅灰度直方图更为均匀分布的新图像的方法。设图像均衡化处理后，图像的直方图是平直的，即各灰度级具有相同的出现频数，那么由于灰度级具有均匀的概率分布，图像看起来就更清晰了。 二、 1.常见的几何变换：平移T x 为点（x ，y ）在x 方向要平移的量。 旋转 变尺度：x 轴变大a 倍，y 轴变大b 倍。 2.卷积掩膜技术：(,)(,)(,)(,)m n f i j h i m j n g m n =--∑∑ 对应相乘再相加 掩膜的有效应用——去噪问题 3. 均值滤波器（低通）：抑制噪声 主要用于抑制噪声，对每一个目标像素值用其局部邻域内所有像素值的加权均值置换。con 命令 高斯滤波器：一个朴素的道理，距离目标像素越近的点，往往相关性越大，越远则越不相干。所以，高斯 滤波器根据高斯函数选择邻域内各像素的权值 medfilt1 。 区别方法是：高通滤波器模板的和为0，低通滤波器模板的和为1 常用的非线性滤波器：中值滤波；双边滤波；非局部滤波 4.边缘检测算子：通过一组定义好的函数，定位图像中局部变换剧烈的部分（寻找图像边缘）。主要方法有：Robert 交叉梯度，Sobel 梯度，拉普拉斯算子，高提升滤波，高斯-拉普拉斯变换（都是高通滤波器） Canny 边缘检测 算法步骤：1. 用高斯滤波器平滑图像． 2. 用一阶偏导有限差分计算梯度幅值和方向. 3. 对梯度幅值进行非极大值抑制 ． 4. 用双阈值算法检测和连接边缘． 5.分割（大题 伪码？） （1）经典方法是基于灰度阈值的分割方法 *介绍单值阈值，它把一幅灰度图像转换成二值图像 *求T 的常用的方法是求解灰度直方图中的双峰或者多峰，并以两峰之间的谷底作为阈值。 *全局阈值是指整幅图像使用同一个阈值做分割处理，并产生一个二值图，区分出前景对象和背景。适用于背景和前景对比度大的图像 算法实现：-- 选取一个合适的阈值T ，逐行扫描图像 – 凡灰度级大于T 的，颜色置为255；凡灰度级小于T 的，颜色置为0 （2）自适应阈值：解决单值阈值无法工作的一个方法是将图像分割为子图像，并分别进行阈值化处理 6.Hough 变换：可用于将边缘像素连接起来得到边界曲线，主要优点在于受噪声和曲线间断的影响较小(鲁棒性好) ???≤>=T y x f T y x f y x g ),( 0),( 1),(如果如果1100cos sin 0[1][1]sin cos 0001x y x y θθθθ-?? ? = ? ???110000[1][1]0000a x y x y b ab ?? ?= ? ???(,)1[,][,]k l N h i j f k l M ∈=∑????? ??=1010001]1[]1[0011y x T T y x y x
摄像机标定方法综述
摄像机标定方法综述 李 鹏 王军宁 (西安电子科技大学,陕西西安710071) 摘 要:首先介绍了摄像机标定的基本原理以及对摄像机标定方法的分类。通过对最优化标定法、双平面标定法、两步法等传统摄像机方法的具体分析,给出了各种方法的优劣对比;同时对多种自标定方法的研究现状、发展情况以及存在问题进行了探讨。最后给出了发展传统摄像机标定方向、提高摄像机自标定精度的一些参考建议。 关键词:摄像机标定;传统标定;自标定;优化算法;成像模型 中图分类号:T N948.41 文献标识码:A 0 引言 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为摄像机标定[1]。无论是在图像测量或者机器视觉应用中,摄像机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此,做好摄像机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。 1 标定分类 摄像机标定的目的是利用给定物体的参考点坐标(x, y,z)和它的图像坐标(u,v)来确定摄像机内部的几何和光学特性(内部参数)以及摄像机在三维世界中的坐标关系(外部参数)。内部参数包括镜头焦距f,镜头畸变系数(k、s、p),坐标扭曲因子s,图像坐标原点(u0,v0)等参数。外部参数包括摄像机坐标系相对于世界坐标系得旋转矩阵R和平移向量T等参数。 传统摄像机标定的基本方法是,在一定的摄像机模型下,基于特定的实验条件如形状、尺寸已知的参照物,经过对其进行图像处理,利用一系列数学变换和计算方法,求取摄像机模型内部参数和外部参数。另外,由于许多情况下存在经常性调整摄像机的需求,而且设置已知的参照物也不现实,这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的,与场景和摄像机的运动无关,所以相比较下更为灵活。 总的来说,摄像机标定可以分为两个大类:传统的摄像机标定方法和摄像机自标定法。2 传统的摄像机标定方法 传统的摄像机标定方法按照其算法思路可以分成若干类,包括了利用最优化算法的标定方法,利用摄像机变换矩阵的标定方法,进一步考虑畸变补偿的两步法,双平面方法,改进的张正友标定法以及其他的一些方法等。 2.1 利用最优化算法的标定方法 这一类摄像机标定方法的优点是可以假设摄像机的光学成像模型非常复杂。然而由此带来的问题是:1)摄像机标定的结果取决于摄像机的初始给定值,如果初始值给得不恰当,很难通过优化程序得到正确的结果;2)优化程序非常费时,无法实时地得到结果。 根据参数模型的选取不同,这一类的方法主要以下两种: 1)摄影测量学中的传统方法:Faig在文[2]中提出的方法是这一类技术的典型代表。分析F aig给出的方法,可以看到在他的标定方法中,利用了针孔摄像机模型的共面约束条件,假设摄像机的光学成像模型非常复杂,考虑了摄像机成像过程中的各种因素,精心设计了摄像机成像模型,对于每一幅图像,利用了至少17个参数来描述其与三维物体空间的约束关系,计算量非常大。 2)直接线形变换法:直接线性变换方法是A bde-l A ziz 和Karara首先于1971年提出的[3]。通过求解线性方程的手段就可以求得摄像机模型的参数,这是直接线性变换方法有吸引力之处。然而这种方法完全没有考虑摄像机过程中的非线性畸变问题,为了提高精度,直接线性变换方法进而改进扩充到能包括这些非线性因素,并使用非线性的手段求解。 2.2 利用透视变换矩阵的摄像机标定方法[4] 从摄影测量学中的传统方法可以看出,刻划三维空间坐标系与二维图像坐标系关系的方程一般说来是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜头的非 山西电子技术 2007年第4期 综 述 收稿日期:2006-12-18 第一作者 李鹏 男 28岁 硕士研究生