摄像机畸变标定的模型参考逼近方法_徐嵩

摄像机标定方法综述

摄像机标定方法综述 摘要：首先根据不同的分类方法对对摄像机标定方法进行分类，并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比，最后就如何提高摄像机标定精度提出几种可行性方法。 关键字：摄像机标定，传统标定法，自标定法，主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了最初的镜头校正。

机器视觉测量技术

机器视觉测量技术 杨永跃 合肥工业大学 2007.3

目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像

5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。

第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位

摄像机标定程序使用方法

一、材料准备 1 准备靶标： 根据摄像头的工作距离，设计靶标大小。使靶标在规定距离范围里，尽量全屏显示在摄像头图像内。 注意：靶标设计、打印要清晰。 2图像采集： 将靶标摆放成各种不同姿态，使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内，便于集中处理。 二、角点处理（Process菜单） 1 准备工作： 在程序debug文件夹下，建立data，left，right文件夹，将角探测器模板文件target.txt 复制到data文件夹下，便于后续处理。 2 调入图像： File->Open 打开靶标图像 3 选取角点，保存角点： 点击Process->Prepare Extrcor ，点击鼠标左键进行四个角点的选取，要求四个角点在最外侧，且能围成一个正方形区域。每点击一个角点，跳出一个显示角点坐标的提示框。当点击完第四个角点时，跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ，对该幅图的角点数据进行保存，最好保存到debug->data-> left文件夹下。命名时，最好命名为cornerdata*.txt，*代表编号。 对其余N-1幅图像进行角点处理，保存在相同文件夹下。这样在left文件夹会出现N 个角点txt文件。 三、计算内部参数（Calibration菜单） 1 准备工作： 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt，将其归为一组。将该组数据复制到data文件夹下，重新顺序编号，此时，文件名必须为cornerdata*，因为计算参数时，只识别该类文件名。 2 参数计算： 点击Calibration->Cameral Calibrating，跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵，且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档，重复步骤1和2；反复取上M组数据，保存各组数据。 注意：在对下一组图像进行计算时，需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计，要求|gama|<2，且gama为负，删掉不符合条件的数据。 2 挑出出现次数最高的一组数据。

基于双摄像机的集装箱水平位置校正方案

基于双摄像机的集装箱水平位置校正方案 1总述 本方案主要通过双摄像机图像对比解决集装箱与车箱相对位置的校对问题，方案中摄像机与集装箱的中心位置相对固定，实际变化的是车箱位置。 2数据采集方案 集装箱装车时需要确定的主要是水平方向的位置，因此理想状态是从垂直方向拍摄整个场景的水平图，然而实际情况并不允许这样做。一方面得到整个水平图需要无限高的摄像机位置或与场景相同大的摄像头孔径，这两个条件显然都无法达到。另一方面，集装箱与车箱的尺寸很接近，从垂直方向看车箱很可能被完全遮挡。因此，只能采用侧上斜拍的方式，根据吊装环境的实际情况，可供选择的拍摄点有吊车室和司机室上的三个位置，既图1中的P1、P2、P3。其中P2，P3所拍摄到的图像中会包含司机室，为减少后续处理的复杂度，本文的研究主要采用P2、P3作为拍摄点. 图1摄像机的位置 3系统射影模型 由于车箱与集装箱相对摄像机的距离不相同，图像中直接观察到的位置关系并不等价于它们实际的位置关系。成像过程实际上是从三维到二维的映射过程，为从图像中获得实际事物的位置关系,必须恢复这种映射。从二维图像恢复到三维的映射是个困难的问题，通常还是病态的(ill-posed)问题，但集装箱的定位问题有一些有利条件使问题简化。首先，集装箱与车箱的方向通常都是平行或接近平行的，因此在计算它们位置关系时通常只需要考虑它们在某一个截面上的位置关系，也就是说我们只需要考虑将一个面映射到一条线的关系。其次，摄像机的高度是固定的，车箱高度也固定,因此可以事先确定摄像机到车箱的竖直高度H1。同时，我们还可以得到吊具的宽度，从而可以从图像中的吊具宽度推算集装箱的宽度和位置等信息。根据各种已知条件,我们可以抽象出如图2所示的门吊系统成像模型，其中F为摄像机的焦距。

halcon单摄像机标定

In the reference manual，operator signatures are visualized in the following way: operator ( iconic input : iconic output : control input : control output ) 在HALCON所有算子中，变量皆是如上格式，即：图像输入：图像输出：控制输入：控制输出，其中四个参数任意一个可以为空。控制输入量可以是变量、常量、表达式，控制输出以及图像输入和输入必须是变量，以存入算子计算结果中。 1.caltab_points：从标定板中读取marks中心坐标，该坐标值是标定板坐标系统里的坐标值，该坐标系统以标定板为参照，向右为X正，下为Y正，垂直标定板向下为Z正。该算子控制输出为标定板中心3D坐标。 2.create_calib_data：创建Halcon标定数据模型。输出 一个输出数据模型句柄。 3.set_calib_data_cam_param：设定相机标定数据模型中设置相机参数的原始值和类型。设置索引，类型，以及相机的原始内参数等。 4.set_calib_data_calib_object:在标定模型中设定标定对象。设定标定对象句柄索引，标定板坐标点储存地址。 5.find_caltab：分割出图像中的标准标定板区域。输出为标准的标定区域，控制 6.find_marks_and_pose：抽取标定点并计算相机的内参数。输出MARKS 坐标数组，以及估算的相机外参数。 即标定板在相机坐标系中的位姿，由3个平移量和3个旋转量构成。 7.set_calib_data_observ_points( : : CalibDataID, CameraId x, CalibObjIdx,CalibObjPoseIdx, Row, Column, Index, Pose : ) 收集算子6的标定数据，将标定数据储存在标定数据模型中。输入控制分别为标定数据模型句柄，相机索引，标定板索引，位姿索引，行列坐标，位姿。

摄像机各个名词解释

1. NR: 数字降噪. 在夜间，NR功能能使屏幕显示的糙点更少而使图像更清晰。降噪能力越强的机型，拍摄出来的照片就越显干净了。 2. WDR: 宽动态功能能够令摄像机逆光环境下也能清晰的拍摄出大量优秀的监控视频。使得光线强的空间不会曝光，光线暗的空间也不会看不清楚。通俗点说，超宽动态摄像机就是能很好的适应统一场景中不同部分光线强弱差别较大的情况，并能够在最终的视频中淡化这种光线亮度差异，使整个画面每一个部分都能清晰可辨。 3. ATR:自动色阶适应。自动色阶指令会自动调整影像的最暗点和最亮点，并且在每个色版中都会把部分的阴影和亮部剪裁掉，然后将每个彩色色版中最亮和最暗的像素对应到纯白色和纯黑色，也就是色阶255和色阶0。如此一来，中间像素值便会依照此比例重新分配。因此，使用“自动色阶”时，像素值会增加，而使影像的对比增强。相对的，如果影像中对比较低，则是因为像素值受到了压缩。因为“自动色阶”会个别地调整色版，所以可能会移除颜色或带入颜色投射。

4. HLC:强光抑制功能，简单意思就是把强光部分弱化，把暗光部分亮化，达到光线平衡。适用于银行，收费站，停车场出路口等。 5. OSD:屏幕菜单式调节方式。一般是按Menu键后屏幕弹出的显示器各项调节项目信息的矩形菜单。 6. Low Illumination:低照度摄像机。顾名思义，是可以在极其微弱的光照下工作的闭路电视摄像机。可以在低于正常视觉响应的光照情况下工作的闭路电视系统。 7. AGC:自动增益控制，使放大电路的增益自动地随信号强度而调整的自动控制方法。所有摄象机都有一个将来自CCD的信号放大到可以使用水准的视频放大器，其放大量即增益，等效于有较高的灵敏度，可使其在微光下灵敏，然而在亮光照的环境中放大器将过载，使视频信号畸变。为此，需利用摄象机的自动增益控制（AGC）电路去探测视频信号的电平，适时地开关AGC，从而使摄象机能够在较大的光照范围内工作，此即动态范围，即在低照度时自动增加摄象机的灵敏度，从而提高图像信号的强度来获得清晰的图像。具有AGC 功能的摄像机，在低照度时的灵敏度会有所提高，但此时的噪点也会比较明显。这是由于信号和噪声被同时放大的缘故。

双目摄像机标定

1.摄像机标定技术的发展和研究现状 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。真实的3D场景与摄像机所拍摄的2D图像之间有一种映射关系，这种关系是由摄像机的几何模型或者参数决定的。求解这些参数的过程就称为摄像机标定。摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系。 总的来说, 摄像机标定可以分为两个大类: 传统的摄像机标定方法和摄像机自标定法。传统摄像机标定的基本方法是, 在一定的摄像机模型下, 基于特定的实验条件如形状、尺寸已知的参照物, 经过对其进行图像处理, 利用一系列数学变换和计算方法, 求取摄像机模型内部参数和外部参数。另外, 由于许多情况下存在经常性调整摄像机的需求, 而且设置已知的参照物也不现实, 这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的, 与场景和摄像机的运动无关, 所以相比较下更为灵活。 1966年，B. Hallert研究了相机标定和镜头畸变两个方面的内容，并首次使用了最小二乘方法，得到了精度很高的测量结果。1975年，学者W. Faig建立的一种较为复杂的相机成像模型，并应用非线性优化算法对其进行精确求解，但是仍存在两个缺点，一是由于加入了优化算法导致速度变慢，二是标定精度对相机模型参数的初始值的选择有严重的依赖性，这两个缺点就导致了该标定方法不适于实时标定。1986年Faugeras提出基于三维立方体标定物通过拍摄其单幅

摄像机非线性模型中径向畸变系数的标定

A Method for Calibrating Cameras with Large Distortion in Lens De Xu1,2, You Fu Li1*, Min Tan2 1Department of Manufacturing Engineering and Engineering Management, City University of Hong Kong, Kowloon, Hong Kong 2 The Key Laboratory of Complex System and Intelligence Science, Institute of Automation, Chinese Academy of Sciences, Beijing 100080, P. R. China (*Corresponding author, Email: meyfli@https://www.360docs.net/doc/6d11238606.html,.hk) Abstract: In this paper, a new calibration method is proposed for calibrating cameras with large distortion in lens using a planar grid pattern. The distortions are adjusted with an iteration algorithm. When the points on each curve in the image of the grid pattern are fitted to a line equation in the image space, the distortion correction factors are determined. The camera’s optical center is obtained through Hough transform. Then, a group of linear equations and a cubic equation are established in the corrected image space. The remaining parameters of the camera are then deduced. Only one view of a planar grid pattern is needed for this method. The experimental results verified the effectiveness of the proposed method. Key words: Camera calibration, planar pattern, radial distortion, distortion correction, Hough transform. 1 Introduction Camera calibration is of practical importance to many tasks including visual measurement and extensive efforts have been made in the relevant research. In the early work, Faugeras et al. [1] presented a linear method to calibrate the intrinsic and

基于主动视觉摄像机标定方法_胡占义.

1 154 计算机学 , , 报 , 20 0 2 年运动; (2 ( 3 j ~ 1 2 … N } 同样满足投影关 系根据上面的两种算法之一求对应的H 。; , U U U l , 、、、 p l月 = ( p , A A ( A 一’ X , , 利用求得的多个不同的H C , 。 , 如第 3 节介绍的方法 Z, p 乡 X p 首先求矩阵、然后用 Ch o l e s ky K 分解法分解出矩阵 . {~ (p Z ` (A 一 X , 3, 本节介绍的方法可以说是至目前为止对设备要 ;X; 一 (p 3 A (A A , 一 ` X , 求最低从理论上来说非常完整的一种基于主动视觉的摄像机 标定方法该方法的唯一不足是在标定过程中把不同运动组看作是相互独立的没有当作一个整体来考虑这在实际应用中可能会产生对局部 噪声敏感的现象另外需要指出的是如果场景中含有平面信息最好使用算法法 2 , . . . {U 、 ` p 冰{ 二 j = , , (p、 , ( A一N , , ` X (28 , 1 2 … 式异 ( 25 中 4火 4 , 为一任意非奇 2 7 ( 矩阵式 ( 2 8 表明式中的投影矩阵和重 x , 洲 = 只A . {一 A 一’ x A 2 , o 来求解 H c . 由于算 1 建的空间点之间存在一个用定性 由于一个影变换 , . 4x 4 矩阵表示的不确 4x 4 中待定的未知变量比较少 所以一般比算法 . 矩阵在射影几何中表示一个射 : 的重建为射影重建( 注 , 的鲁棒性好些 7 所以称式〔 2 7 表示 A 如果不确定性矩阵是一个仿 射变换矩阵则式 , , 基于射影重建的标定方法李华等人吮〕最近提出 的基于射影重建的摄像 (2 7 称为仿射重建 ; 如果 A 是一个刚体变换矩 阵 . 则式 (2 7 称为欧氏空间重建即传统意义下的三维重建 , 机标定方法 是将多幅图像当作一个整体对待以期 , 给定 N 组 M 幅图像之间的对应 点以 ( i 一 , 1 2 , , 进一步提高算法鲁棒性的很好尝试基于射影重建的方法对摄像机运动的限制条件与第, . … M ;j 一 1 2 … ( 一1 2 … i , , , , , , ` N 射影重建下的投影矩阵尸 , , , 6 节中的方法 . M 可以很方便地计算出如文 献 [ 4 0 . 是一样的即要求摄像机至少作一次平移运动基于 4 1 〕介绍的 方法所以在讨论基于射影重建的标定 , 射影重建标定摄像机的重点不 是探索在哪种摄像机运动情况下摄像机的内参数矩阵可以线性唯一求解而旨在探索研究如何从多幅含噪声的图像中更鲁棒地对摄像机进 行标定当然基于射影重建方法 , . 方法时总假定当 (1 (H 、 , p `( i 一1 , , 2 , , … M 是已知的 , , , . , P` ( i 一1 : 2 l , … M 求出后如果 , P l 、 ; , 0 e ` ( 注如

张氏标定法原理及其改进1

张正友算法原理及其改进 由于世界坐标系的位置可以任意选取，我们可以假定世界坐标系和摄像机坐标系重合，故定义模板平面落在世界坐标系的0W Z =平面上。用i r 表示R 的每一列向量，那么对平面上的每一点，有： [][]12312 0111W W W W X u X Y s v A r r r t A r r t Y ?? ?? ?? ?? ??????==?????????????? ?? ?? 这样，在模板平面上的点和它的像点之间建立了一个单应性映射H ，又称单应性矩阵或投影矩阵。如果已知模板点的空间坐标和图像坐标，那么就已知m 和M ，可以求解单应性矩阵H 。)1,,(w w Y X )1,,(v u 因为11W W u X s v H Y ????????=????????????,其中11 121321222331 32 1h h h H h h h h h ?? ??=?????? ,可推出： 111213 21222331321 W W W W W W su h X h Y h sv h X h Y h s h X h Y =++?? =++??=++? 故， 1112133132212223313211W W W W W W W W h X h Y h u h X h Y h X h Y h v h X h Y ++?=?++? ? ++?=?++? 将分母乘到等式左边，即有 3132111213 31 32212223W W W W W W W W uX h uY h u h X h Y h vX h vY h v h X h Y h ++=++??++=++? 又令[]T h h h h h h h h h 3231232221131211 ='，则 1 00000 01W W W W W W W W X Y uX uY u h X Y vX vY v --???? '=????--??? ? 多个对应点的方程叠加起来可以看成Sh d '=。利用最小二乘法求解该方程，即1()T T h S S S d -'=，进而得到H 。 摄像机内部参数求解 在求取单应性矩阵后，我们进一步要求得摄像机的内参数。首先令i h 表示H 的每一列向量，需要注意到上述方法求得的H 和真正的单应性矩阵之间可能相差一个比例因子，则H 可写成： [][]1 2 312h h h A r r t λ=

单视图摄像机自标定

第25卷　第4期2004年12月 上　海　海　事　大　学　学　报JOURNA L OF SH ANGH AI M ARITI ME UNI VERSITY V ol.25　N o.4 Dec.2004文章编号:167229498(2004)0420047204 单视图摄像机自标定 杨忠根,张　振 (上海海事大学信息工程学院,上海　200135) 摘　要:首先定义基于模型的单视图情况下的单应性矩阵、外极线约束和基础矩阵,然后通过对基础矩阵的S VD 分析,证明使用经其左奇异变换阵变换过的数据集合可最优地估计一个能解析地确定单应性矩阵的四维参数,并进而计算摄像机内参数阵、三维运动参数和目标三维结构,从而开发了一个基于目标模型的从单视图特征点集进行摄像机自标定和三维重建的线性算法。关键词:计算机视觉;单视图摄像机自标定;三维重建;单应性矩阵;基础矩阵中图分类号:T N941.1 文献标识码:A C amera self 2calibration for single 2vie w Y ANG Zhonggen ,ZHANG Zhen (In formation Engineering C ollege ,Shanghai Maritime University ,Shanghai 200135,China ) Abstract :The hom ographic matrix ,epipolar constraint and fundamental matrix in the case of m odel 2based single 2view are firstly defined.Then ,by means of the S VD analysis of the fundamental matrix ,the 42dimensional parameter vector from which the hom ographic matrix is analytically and uniquely determined can be optimally estimated from the data trans 2formed by the left singular matrix of the fundamental matrix.At last ,the intrinsic parameter matrix ,the 3D m otion as well as the 3D reconstruction can be straightforwardly calculated from the determined hom ographic matrix.S o ,a linear alg orithm to self 2calibrate the intrinsic parameter matrix of a camera and to reconstruct the 3D shape of the target in the single 2view is success fully developed. K ey w ords :com puter vision ;camera calibration for single 2view ;3D reconstruction ;hom ographic matrix ;fundamental matrix 收稿日期:2004203224 基金项目:上海市高等学校科学技术发展基金项目资助(01G 02) 作者简介:杨忠根(19462),男,江苏高邮人,教授,硕士,研究方向为通信与信息技术,(E 2mail )zgyang @https://www.360docs.net/doc/6d11238606.html, 0　引　言 单视图三维复原并不是一个新课题[1～5],但是用单视图特征点集进行摄像机自标定和三维重建即无标定三维复原却是一个新课题。 计算机视觉的一个重要任务是从场景的二维视图进行目标的三维重建,因此必须进行摄像机标定。传统的摄像机标定技术采用离线方式进行,使得传 统的三维重建必须使用位于图像坐标系中的特征点集,这需要预先标定摄像机内参数阵。当摄像机内 参数阵没有预先标定或在线变化时(例如在凝聚注意力机制中,摄像机必须按要求随时变焦),这些传统技术就失效了。 随着计算机视觉技术的发展,在线自标定应运而生。自从Hartley [6]和Faurgeras [7]首次提出摄像机自标定思想后,摄像机自标定已成为计算机视觉

第五章 大屏幕无缝拼接校准

第5章大屏幕无缝拼接校准 5.1 引言 前三章节分别通过对集群机特点的分析，结合已有集群机实例，提出了极具有针对性的基于PC－cluster分布式并行图形绘制系统，并在此基础上，利用OSG和directshow技术作了浏览模型、观看视频和视频会议等一些应用，并提出两种模式下的同步控制模式，对各个子屏幕显示内容进行同步。本章针对大屏幕拼接中出现的拼接方式，提出了解决方法。并重点分析了几何，颜色亮度校准问题。 5.2 无缝拼接技术 5.2.1简介 多台投影机图像拼接不产生错位和比例失真，采用图像拼接边缘融合技术(soft edge)，消除边缘阴影，使整个屏幕达到一体化全景效果，从而使观测者全身心投入到虚拟世界中。无缝拼接中的边缘融合技术系统是一种特殊的、要求比较高的投影显示应用，它利用几何调整和颜色亮度融合技术，能在大屏幕上生成一个无缝的、颜色亮度均匀的画面。 5.2.2传统解决方式 想要得到超大屏幕和高分辨率，传统的解决办法有几种： 其一，将标准的VGA信号复制成三个输出（通过类似分屏器的转换装置）然后输入三台投影仪，每台投影仪只输出显示其中大约三分之一信息，然后适当叠加拼起来，再消隐。此方案可以在较低投入的基础上实现无缝拼接，但将大大降低分辨率，它的实质是将普通的VGA信号强行拉大，拼接后的分辨率非常低，每行像素只能达到1000点左右。 其二，使用外置的边缘融合机。融合机的功能是将三个屏幕的内容作部分叠加处理并消隐输出。此方案是现在比较多应用的方案，但缺点有二：需要针对每个应用软件做分屏、叠加功能的开发，客户应用非常局限；成本很高，融合机一般价格都以数十万计。 其三，使用软件系统，直接输出经过处理后的输出信号至投影仪。假如由3台投影仪组成，投影仪设置为1024x768输出的话，拼接后每行像素可达3000左右（减去叠加部分像素）。而且，客户的使用不受软件开发的限制，甚至可以不需要开发任何应用软件，使用通用软件就可以了。

基于OpenCV的摄像机标定

万方数据

Ｋ，乙）变换为摄像机坐标系中的坐标值只（疋，Ｋ，乙）如下 ㈧…＝㈠Ｍ㈤（２）将坐标值只（冠，Ｋ，ｚｃ）在针孔模型中进行规范化投影，得 只＝［妻甜引∽（３）引入透镜的畸变，畸变后的规范化坐标值可以用雎如砌 阱Ｘｄｃ，峨‰叫州黝；篙］㈤ 将Ｐｄ（ｘａ，ｙａ）转换为图像上像素坐标系上的坐标值Ｂ（“，访 ｆ吲：时‰（４） 够可＝ｆ／．劬ｓｘ／咖（５）像素之间的有效距离（ｍｍ／ｐｉｘｅｌ）；ｄｐｙ为计算机图像在垂直方向 换）方法计算出摄像机的内部参数和外部参数的初值Ⅲ。该步虑透镜畸变的影响，得到的参数值并不准确。不过作为下一 数据拟合目标函数““如式６所示。既要将图像上Ⅳ个角点的坐标值（Ｕ，Ｋ）（ｆ＝１，…朋拾取出来，还要利用上述畸变模型计算出这Ⅳ个标志点的坐标值（‰ｖＪ）（ｆ＝１，…朋，然后利用式６进行数 转化为求解非线性最小二乘的问题，通过非线性优化算法“”多次迭代，最后得到使目标函数的值最小的参数值，降低了求解难度。迭代的初值由第①步的ＤＬＴ方法算出，ＤＬＴ方法不 ２基于ＯｐｅｎＣＶ的摄像机标定 基于ＯｐｅｎＣＶ的摄像机标定采用平面棋盘格标定模板，一１９８一 为了提高角点提取的成功率，在标定方块的外围，还要求保留一个方块宽的白色空白区域，如图１所示。摄像机只需在不同的角度抓取几张平面标定模板的图片，就可以实现对摄像机的标定。显然，由于采用最小二乘法，抓得图越多，标定的结果就越精确。 图１平面棋盘格标定模板 虽然ＯｐｅｎＣＶ中自动寻找角点函数提取角点的成功率很高，但是若碰到光线被遮挡等情况，使得标定模板上的标定块在图像上不清晰或提取的角点数目与设定的数目不相符的状况，就会导致角点提取失败，如图２所示：因此ＯｐｅｎＣＶ并不保证能够提取所有图像上的角点。所以在设计标定算法时必须要考虑角点不能被提取的情况：一方面，如果角点提取成功的图过少，则标定出来的结果就不一定能满足精度的要求，需要重新采图；另一方面，由于摄像机外部参数的个数与标定图像的个数相关联，所以在最后计算标定结果时，应将提取角点失败的图像舍弃，再根据剩下图像的数目，动态地分配参数在内存中的储存空间，如果没有这么一个筛选的过程，盲目得在内存中分配参数的储存空间，则在提取角点失败的图像上，不能找到与角点在世界坐标系中的坐标值相对应的像素坐标系上的坐标值，在这种情况下强行计算的话，很容易出现程序报错，得不到标定结果的情况。因此，本文提出以下摄像机标定算法： （１）读取一组标定用图像数据； （２）用ｃｖＦｉｎｄＣｈｅｓｓｂｏａｒｄＣｏｍｅｒｓ（）筛选图像；将读入的一组图像数据分别代入ｃｖＦｉｎｄＣｈｅｓｓｂｏａｒｄＣｏｍｅｒｓ０函数，如果返回值是１，则表示在该幅图像上提取的角点数目和设定的相同，提取角点成功；若为０，则表示角点提取失败，该幅图要抛弃； （３）如果可用的标定图的数目满足设定的最少标定用图的数目，继续步骤（４）；否则，则应重新采图，返回步骤（１）； （４）根据筛选剩下图像的数目用ｃｖＣｒｅａｔｅＭａｔ０为摄像机的内外部参数、角点在世界坐标系的坐标值以及在图像坐标系中的坐标值分配内存存储空间； （５）将筛选剩下的图像代入ｃｖＦｉｎｄＣｈｅｓｓｂｏａｒｄＣｏｍｅｒｓ０，得到角点在图像像素坐标系中坐标值；再将图像和得到的图像像素坐标系中坐标值代入ＦｉｎｄＣｏｍｅｒＳｕｂＰｉｘ（）函数，进一步精 （ａ）角点提取失败（ｂ）角点提取成功 图２角点提取图像 　万方数据

摄像机标定方法综述

摄像机标定方法综述 李 鹏 王军宁 (西安电子科技大学,陕西西安710071) 摘 要:首先介绍了摄像机标定的基本原理以及对摄像机标定方法的分类。通过对最优化标定法、双平面标定法、两步法等传统摄像机方法的具体分析,给出了各种方法的优劣对比;同时对多种自标定方法的研究现状、发展情况以及存在问题进行了探讨。最后给出了发展传统摄像机标定方向、提高摄像机自标定精度的一些参考建议。 关键词:摄像机标定;传统标定;自标定;优化算法;成像模型 中图分类号:T N948.41 文献标识码:A 0 引言 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为摄像机标定[1]。无论是在图像测量或者机器视觉应用中,摄像机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此,做好摄像机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。 1 标定分类 摄像机标定的目的是利用给定物体的参考点坐标(x, y,z)和它的图像坐标(u,v)来确定摄像机内部的几何和光学特性(内部参数)以及摄像机在三维世界中的坐标关系(外部参数)。内部参数包括镜头焦距f,镜头畸变系数(k、s、p),坐标扭曲因子s,图像坐标原点(u0,v0)等参数。外部参数包括摄像机坐标系相对于世界坐标系得旋转矩阵R和平移向量T等参数。 传统摄像机标定的基本方法是,在一定的摄像机模型下,基于特定的实验条件如形状、尺寸已知的参照物,经过对其进行图像处理,利用一系列数学变换和计算方法,求取摄像机模型内部参数和外部参数。另外,由于许多情况下存在经常性调整摄像机的需求,而且设置已知的参照物也不现实,这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的,与场景和摄像机的运动无关,所以相比较下更为灵活。 总的来说,摄像机标定可以分为两个大类:传统的摄像机标定方法和摄像机自标定法。2 传统的摄像机标定方法 传统的摄像机标定方法按照其算法思路可以分成若干类,包括了利用最优化算法的标定方法,利用摄像机变换矩阵的标定方法,进一步考虑畸变补偿的两步法,双平面方法,改进的张正友标定法以及其他的一些方法等。 2.1 利用最优化算法的标定方法 这一类摄像机标定方法的优点是可以假设摄像机的光学成像模型非常复杂。然而由此带来的问题是:1)摄像机标定的结果取决于摄像机的初始给定值,如果初始值给得不恰当,很难通过优化程序得到正确的结果;2)优化程序非常费时,无法实时地得到结果。 根据参数模型的选取不同,这一类的方法主要以下两种: 1)摄影测量学中的传统方法:Faig在文[2]中提出的方法是这一类技术的典型代表。分析F aig给出的方法,可以看到在他的标定方法中,利用了针孔摄像机模型的共面约束条件,假设摄像机的光学成像模型非常复杂,考虑了摄像机成像过程中的各种因素,精心设计了摄像机成像模型,对于每一幅图像,利用了至少17个参数来描述其与三维物体空间的约束关系,计算量非常大。 2)直接线形变换法:直接线性变换方法是A bde-l A ziz 和Karara首先于1971年提出的[3]。通过求解线性方程的手段就可以求得摄像机模型的参数,这是直接线性变换方法有吸引力之处。然而这种方法完全没有考虑摄像机过程中的非线性畸变问题,为了提高精度,直接线性变换方法进而改进扩充到能包括这些非线性因素,并使用非线性的手段求解。 2.2 利用透视变换矩阵的摄像机标定方法[4] 从摄影测量学中的传统方法可以看出,刻划三维空间坐标系与二维图像坐标系关系的方程一般说来是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜头的非 山西电子技术 2007年第4期 综 述 收稿日期:2006-12-18 第一作者 李鹏 男 28岁 硕士研究生

第五章 运动目标接力跟踪极其调试

第五章多摄像机接力跟踪的研究与调试 5.1引言 “摄像头接力跟踪”属于智能监控技术中一个比较难的问题，同时也是很多用户感兴趣的一种特殊需求，这种需求在一些比较特殊的监控场合或监控要求下效果相当抢眼。 近年来，人们对多摄像机的视频监控问题也进行了深入的研究，分别从不同的角度对该问题进行了讨论，如摄像机的数目和种类不同(全景摄像机或普通摄像机，灰度或者彩色摄像机等)，摄像机应用的环境不同(室内或室外)，摄像机覆盖的区域范围不同(大厅或走廊等)，摄像机的安装方式不同(有重叠区域和无重叠区域)等。多摄像机之间的交互方式、摄像机的选择和多摄像机间的数据融合是多摄像机接力跟踪中的关键性问题。 本章主要对多摄像机接力跟踪中的一些关键问题与技术进行分析与研究，着重介绍了基于视野分界线的目标交接算法，并进行了仿真实验，结果表明该算法具有较高的鲁棒性，同时能够满足实时性要求。 5．2多摄像机之间的协调与同步 多摄像机之间的协调与同步是多摄像机接力跟踪中的两个重要问题。多摄像机之间的协调，就是保证多摄像机网络中的各个组成部分共同合作，统一作业，充分发挥多摄像机网络的优势。目前，许多的多摄像机系统并没有充分发挥其网络优势，即没有充分利用相邻摄像机之间的信息，仅仅是单个摄像机在运行。因此如何使每一个摄像机都发挥作用，如何提高整个摄像机网络协调合作的利用率，是亟待解决的一个重要问题。同时，如果各个摄像机之间的同步性很差，就会导致同一个被跟踪目标在不同的摄像机视野中被认为是两个不同的目标，从而导致接力跟踪失败，因此保持各个摄像机之间的同步也是一个很重要的问题。5．2．1多摄像机问的协调 多摄像机之间的协调主要体现在以下两个方面： (1)多摄像机的分布是实现多摄像机之间协调的前提。对于多摄像机网络来讲，摄像机的分布原则是：每个摄像机要与其周围相邻的摄像机之间有部分重叠区域，于是必须要保证相邻摄像机之间有充分的视野重叠区域；所有摄像机的视

摄像机标定原理及源码

计算机视觉摄像机标定实验报告 [实验名称]基于OpenCV的摄像机标定 [实验项目] 1、学会使用OpenCV 2、利用OpenCV进行摄像机标定，编程实现，给出实验结果及其分析。 [实验仪器设备]电脑+Visual Studio 2010+openCV.2.4.8。 [实验原理] 1、理论知识 如图，（u、v）表示以像素为单位的图像坐标系的坐标，（X、Y）表示以mm为单位的图像坐标系的坐标，在X、Y坐标系中，原点O1定义在摄像机光轴与图像平面的交点， 该点一般位于图像中心，但是由于制造原因，很多情况下会有偏移，若O1在U、V坐标系中坐标为（u0，v0）,每一个像素在X轴与Y轴方向上的无力尺寸为dx、dy，则图像任意一个像素在两个坐标系下的坐标有如下关系： 如图，Oc点为摄像机光心，Xc轴和Yc轴与图像的X轴与Y轴平行，Zc轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，极为图像坐标系的原点，由点Oc与Xc、Yc、Zc轴组成的直角坐标系称为摄像机坐标系，OOc为摄像机焦距：

由于摄像机可以安放在环境中任意位置，所以在环境中选择一个基准坐标系来描述摄像机位置，并用它描述环境中任何物体的位置，该坐标系为世界坐标系。它有Xw、Yw和Zw轴组成，摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量t来描述。 总体来说，世界坐标系到图像坐标系的关系可总结如下： 摄像头成像几何关系，其中Oc 点称为摄像头（透镜）的光心，Xc 轴和Yc 轴与图像的x轴和Y轴平行，Zc 轴为摄像头的光轴，它与图像平面垂直。光轴与图像平面的交点O1 ，即为图像坐标系的原点。由点Oc 与Xc 、Yc 、Zc 轴组成的坐标系称为摄像头坐标系，Oc O1 的距离为摄像头焦距，用f表示。