计算机视觉中的摄像机标定方法

计算机视觉中的摄像机标定方法
计算机视觉中的摄像机标定方法

作者简介:陈爱华(1978-),男,福建莆田人,助教.

计算机视觉中的摄像机标定方法

陈爱华,高诚辉,何炳蔚

(福州大学机械工程及自动化学院,福建福州 350002)

摘要:摄像机标定在三维重建、运动分析以及机器导航等领域中得到了广泛的研究和应用.根据标定技术特点,

将摄像机标定分为两大类:基于标定物的摄像机标定和摄像机自标定,介绍了这两大类中典型的摄像机标定方

法,回顾了其发展过程,并对各种方法的标定特点以及求解方法进行了分析,最后对摄像机标定方法的未来发展

进行了展望.

关键词:计算机视觉;摄像机标定;摄像机模型;三维重建

中图分类号:TP 387

Computer 2vision 2based camera demarcation method

CH EN A i 2hua ,GA O Cheng 2hui ,H E B i ng 2wei

(College of Mechanical Engineering and Automation ,Fuzhou University ,Fuzhou 350002,China )

Abstract :Camera demarcation has been intensively applied for 3D model reconstruction ,kinematical analysis and machine navigation.In the paper ,the camera demarcation technology is first classified into two cate 2gories :i.e.the mark 2based demarcation and camera 2centric demarcation.Subsequently ,the demarcation characteristics and methods are interpreted based on relevant literature review.Finally ,some future directions are highlighted with regard to camera demarcation technology.

Key words :computer vision ;camera demarcation ;camera modeling ;3dimensional reconstruction

近20多年,摄像机标定已成为计算机视觉领域的研究热点之一,目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域.所谓摄像机标定,就是从摄像机获取的图像信息出发,根据空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,构建摄像机成像的几何模型,再经实验与计算得到空间环境中三维物体的位置、形状等几何模型参数(摄像机参数)的过程.

从定义上看,摄像机标定实质上是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数,包括主点坐标(图像中心坐标)、焦距、比例因子和镜头畸变等;而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系,可用3×3的旋转矩阵R 和一个平移向量t 来表示.摄像机标定参数总是相对于某种几何成像模型,根据不同需要可建立不同的摄像机模型,一般将摄像机模型分为两大类[1,2]:一类是在标定中不考虑各种镜头畸变的线性模型,如针孔模型和直接线性变换模型[3,4],主要应用于镜头视角不大或物体在光轴附近的情况,是其他模型和标定方法的基础;另一类是非线性模型,是扩展的针孔模型,考虑了线性与非线性畸变的修正问题以获得较高的精度,主要应用于广角镜头的场合,如摄影测量法模型[5]、Tsai 模型[6,7]、Weng 模型[2]和双平面模型[8~10].

第4卷第4期

2006年10月中 国 工 程 机 械 学 报CHINESE JOURNAL OF CONSTRUCTION MACHINERY Vol.4No.4 Oct.2006

目前,基于上述摄像机模型的摄像机标定已在许多研究领域得到了广泛应用,满足了应用领域的精度、操作性和实时性等方面的要求,从而促进了其标定技术的研究和发展,使得摄像机标定领域学术思想活跃,出现了许多新技术、新方法.从广义上分,可将现有的摄像机标定技术分为两大类:基于标定物的摄像机标定法和摄像机自标定法.

1 基于标定物的摄像机标定方法

在标定过程中,基于标定物的摄像机标定方法都需要使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,利用一定的算法来确定摄像机模型的内外参数.根据标定参数的求解思想,大体上可分为三大类:线性变换法、非线性优化法和两步法.

1.1 线性变换法

线性变换法是在成像时不考虑任何的非线性补偿问题的情况下,建立了一组基本的线性约束方程来表示摄像机坐标系与三维物体空间坐标系之间的线性变换关系,采用鲁棒的最小二乘法来求解线性方程,获得投影矩阵M ,从而确定摄像机标定的内外参数.

线性变换法通过求解线性方程来获得标定参数,其算法简单,运行速度快,但需求解的未知参数多,计算量大,其标定结果的正确性对噪声很敏感,影响了标定精度.主要应用在镜头视角不大或物体在光轴附近的场合,直接线性转换(DL T )[3]是应用最为广泛的线性标定方法.

1.2 非线性优化法

摄像机的非线性标定是在考虑摄像机成像中存在的非线性畸变的基础上,建立了标定点的空间三维坐标与图像点坐标的投影关系,采用迭代算法对非线性方程求解,从而获得求解摄像机的内外参数和非线性畸变系数.这种标定方法主要用在摄像机广角镜头的场合,摄影测量学的大多数经典标定方法[2,5,11,12]都属于这一类.

这类方法的优点是考虑了所有的摄像机的非线性畸变,即可以选定任意的系统误差模型,因而如果提出的初始值估算模型比较好,而且能够很好地收敛时,可以达到很高的精度;其缺点是需要的计算量非常大,而且由于采用迭代算法,稳定性差,需选择合适的初始值才可获得有意义的解.为了解决这类方法所存在的问题,采用了各种求解优化方法:传统优化方法[2,5]、神经网络[13]和遗传算法[14]等,这些方法都极大提高了标定精度.

1.3 两步法

两步法是Tsai 于1986年首次提出的[6],介于传统的线性法和非线性优化法之间的一种灵活标定方法.该法将上述两种方法相结合,先采用解析方法直接线性计算部分参数,然后以这些参数作为非线性优化的初值,考虑畸变因素,对其余参数进行迭代优化,故称为两步法.该方法一方面克服了传统的线性模型的不足,考虑了镜头畸变,提高了标定精度,另一方面又通过解析法得到初值,从而减少了优化的次数,提高了运算速度,有稳定的解.

1987年Tsai 又提出了利用共面点求取摄像机内外参数的两步法[7].该法考虑了镜头径向畸变,并假设图像的主点是在图像中心,利用共面点就可以标定出摄像机的大部分内外参数,相对以前需要立体标定物的传统标定法,实验条件和要求大大降低,主要适用于图像传感器图像平面为方形,且图像采集频率与图像传感器的驱动频率一致时的场合.该法第一步利用径向平行条件将摄像机的一部分待标定参数(摄像机的旋转参数R 和X ,Y 方向上的平移参数,称第一类参数)独立出来,通过解线性方程,得到它们的解.第二步对与径向畸变相关的其余标定参数(等效焦距、Z 方向上的平移参数和非线性畸变系数,称第二类参数)求解,先假设畸变为零,由线性方程组得到第二类参数的初始估计值,然后考虑畸变并以透视投影方程误差最小的准则做多次迭代运算将第二类参数进行非线性迭代优化求解,以使第二类参数的估值趋于精确,从而获得较高的标定精度.1990年J.Weng 在Tsai 模型的基础上提出了更为精确的非线性模型[2],将摄像机畸变分为径向畸变、离心畸变和薄棱镜畸变.

基于两步法的思想,1998年张正友考虑径向畸变,提出了一种可以利用多幅平面模板标定摄像机所有内外参数的方法———平面标定法[15].该方法先假设标定模板在世界坐标系中Z =0,建立线性模型(针

9

94 第4期陈爱华,等:计算机视觉中的摄像机标定方法

孔模型),由平面模板上每个特征点与其图像上相应的像点之间的对应点关系确定平面模板映射矩阵H ,采用线性分析法求出摄像机的内部参数,然后用奇异值分解[16]求出外部参数,最后考虑径向畸变,并基于极大似然准则对线性结果进行非线性优化.而后张正友又在文献[17]中首次提出了一种由一系列共线且彼此相对位置关系已知的标定点组成的一维物体标定法.该方法不需要昂贵的标定物,标定过程简单,易于操作,灵活性高,其标定算法与平面标定法一样.这两种方法都使用针孔模型,既具有较好的鲁棒性,又不需昂贵的精制标定块,推动了计算机视觉从实验室向实际应用的迈进,是适合应用的两种灵活的新方法,适用于具有广角镜头的多摄像机视觉系统.但它们还存在一些问题:需要从不同的角度拍摄多幅标定物的图像,需标定的参数较多;需要利用自标定理论中的绝对二次曲线原理来获得内参数的初始估计值,算法较繁琐.

此外,还有一些特殊的标定技术:Martins [8],G.Wei [9,10]等提出了双平面标定法,还有提出了不需要任何摄像机几何模型而利用人工神经网络[18]、遗传算法[19]和统计方法[20]等方法来实现摄像机参数的标定.

2 摄像机自标定法

20世纪90年代初,S.J.Maybank 和O.D.Faugeras 在文献[21]中首先提出了自标定的概念,使得在场景未知和摄像机运动任意的一般情况下在线、实时地标定摄像机参数模型成为可能.摄像机的自标定方法(self 2calibration )克服了传统标定方法的不足,它不需要标定物,仅仅依靠多幅图像对应点之间的关系直接对摄像机进行标定.这种标定方法灵活性强,潜在的应用范围广,主要应用在精度要求不高的场合,如通讯、虚拟现实技术等.其最大的不足在于算法鲁棒性和稳定性都差,需要估计大量参数.

2.1 基于基本矩阵和本质矩阵的标定方法

在双摄像机的立体视觉中,设空间任意点Q 在两图像平面上的投影分别为q ,q ′,由光心C 和Q 形成的射线CQ 表示对于左图像平面来说点Q 的所有可能位置,它在右图像平面中的投影是极线l ′,即对应于左图像平面投影点q 的右图像平面点q ′一定在右图像平面的极线l ′上,这种几何关系即为极线几何约束[22,23].假设摄像机的成像模型为针孔模型,左摄像机坐标系为世界坐标系,由极线几何约束条件,可得两图像平面上对应点的关系表示如下:

q T Fq ′=0,

其中

F =(A -1)T s (t )R -1(A ′

)-1=(A -1)T E (A ′)-1(1)式中:q ,q ′分别为空间点在左、右图像平面上投影点q ,q ′的矢量坐标;矩阵F 为两个视图的基本矩阵(fundamental matrix ),表示任意两个视图间的双线性关系,包含了摄像机的内部参数和外部参数;A ,A ′为标定矩阵;s (t )为由平移向量t 元素构成的反对称矩阵;R 为旋转矩阵;矩阵E 为两个视图的本质矩阵(essential matrix ),表示两个摄像机坐标系之间相对运动位置关系,包含了摄像机的外部参数.F 和E 是由Longuet 2Higgins 首次引入的[24].

在标定中,如果已知两图像平面上的7个对应点对,即可通过一个非线性算法确定基本矩阵F [25],但计算过程在数值上并不稳定.如果已知8个或8个以上非共面的对应点对,先对数值进行适当的规范化,再用简单且速度快的8点算法的线性方法获得超定的线性方程组,然后使用最小二乘法求解出基本矩阵的估值[26,27],最后由奇异值分解(SVD )得到基本矩阵F ,从而求出摄像机内部参数、本质矩阵E 和摄像机外部参数.

2.2 基于K ruppa 方程的自标定方法

O.D.Faugeras 等在文献[25]中首次使用Kruppa 方程来实现自标定,随后在摄像机自标定上得到进一步的研究[28~31].Kruppa 方程实质上表示了绝对二次曲线或绝对二次曲面在图像平面上成像满足极线约束条件,即假设绝对二次曲线Ω在两个图像平面上分别成像为ω和ω′,两个极面Π1,Π2与绝对二次曲线Ω相切,在两个图像平面上的极线也必须相应地相切于ω和ω′,这些约束用Kruppa 方程表示如下[28]:

[e ′]×K ′[e ′]×∝F KF T

(2)005 中 国 工 程 机 械 学 报第4卷 

式中:e ′为第二个图像平面上的极点的矢量坐标;[e ′]×是与e ′的矢量乘积相关的斜对称矩阵;K ,K ′分别是绝对二次曲线在两图像平面上投影图像的矩阵,K =AA T ,A 为摄像机标定矩阵.

式(2)是Kruppa 方程的一种表达,它将摄像机的内部参数(即绝对二次曲线的图像)与极线几何联系起来,提供了从极线几何约束求取摄像机的内部参数的途径.根据Kruppa 方程可以获得2个独立方程,而矩阵K 含有5个未知参数,如果两个摄像机具有相同的内部参数(常量)K =K ′,即可知至少需要3个基本矩阵(摄像机至少运动3次)就可以求解出K ,从而求解出摄像机的内部参数,至于摄像机的外部参数可以通过基本矩阵F 获得本质矩阵E 来求解.Kruppa 方程也可以用于摄像机的内部参数是可变的情况[30].

虽然Kruppa 方程已在摄像机自标定中得到了广泛应用,但这种自标定方法存在许多问题:复杂的非线性问题,对噪声特别敏感;算法鲁棒性差,存在退化问题[32~34],如忽略了线性方法、不能约束绝对二次曲面具有相似的图像等.因而,这种自标定方法已渐渐被分级重构方法所替代.

2.3 基于几何学层级的自标定方法

目前,场景结构重建只是通过任意投影变换获得,如果要使之可视,需要通过几何变换由投影几何结构提升为欧氏几何结构.三维几何学可分成三个层级:投影几何学、仿射几何学和欧氏几何学,其中投影几何学是表达场景几何结构最简单最基本的方法,而欧氏几何学是最复杂最完整的[27,35].相应地,标定方法也分为三个阶段:投影标定(projective calibration )、仿射标定(affine calibration )和欧氏标定(euclidean cali 2bration ).

在双摄像机立体视觉系统中,如果已知基本矩阵F ,就可用投影标定实现场景的三维重构.仿射标定阶段是确定一个无穷远平面,并将其作为投影标定阶段的一个参考平面Πp ∞=[r T ∞ 

1]T ,r ∞为Πp ∞的矢量坐标,或者是结合无穷远映射H ∞和一个摄像机的极点e ~’来标定.欧氏标定阶段是将仿射标定和一个摄像机的标定矩阵A 结合起来,或者结合两个摄像机标定矩阵、两摄像机间旋转矩阵R 和按比例平移向量t .这三种阶段标定之间的转换矩阵如下:

T a p ∝I

r T ∞1,T e a

∝A 0r T ∞s ,T e p ∝A

0r T ∞A s 式中:I 为由最简单的投影矩阵P =10

00

1

00010的前三列所组成的矩阵,P 是对应于规范化的摄像机坐标系的,其中摄取像机的特殊参数可以省略.

在标定过程中,由摄像机标定可获得一系列投射投影矩阵:P 0p ∝I |0,P i p ∝Q i |q i ,Q i 为由投射投影矩阵前三列所组成的矩阵;q i 为由投射投影矩阵最后一列所组成的矩阵(3×1).这种标定方法的核

心问题在于寻找一个4×4非奇异矩阵T ,使投射投影矩阵转换为欧氏投影矩阵:P 0e ∝A

I |0,P i e ∝A R i |t i ,转换关系表示如下:

P i e ∝P i p T e p (3)

分别取式(3)两边的矩阵前三列可得Q i A +q i r T ∞A ∝A R i (4)

将式(4)两边同乘A -1,即得Q i +q i r T ∞∝A R i A

-1∝H i ∞(5) 以上三个方程式都含有与Q i 和q i 对应点对相关的8个未知参数(标定矩阵A 有5个未知参数,r ∞有3个未知参数),是基于几何学层级自标定算法的基础.

对于这种标定方法,摄像机内部参数(常量)的标定算法已在大量文献中提出[32,36~40].Hartley 在文献

[36]中通过对式(4)左边进行QR (矩阵分解定理)分解化简,指出了标定矩阵A 的未知参数可以由映射矩阵H i ∞直接计算,而r ∞的未知参数只能得到它们的估值,为了约束r ∞的估值,Hartley 提出了cheirality 约束条件[41].而Pollefey [39]则利用modulus 约束条件[42]来实现投影重建升级到仿射重建,除了第一个视图外,每个视图就可以为r ∞提供一个约束条件,需要4个视图来获得r ∞的未知参数,一旦获得仿射层级,由

105 第4期陈爱华,等:计算机视觉中的摄像机标定方法

H i ∞就可以求出摄像机的内部参数.另外,Heyden ,Astrom 在文献[38]中通过将式(4)的两边乘以各自的转置,从而消去未知参数R i ,使得方程两边的式子是对称的,除了第一个投影矩阵外每个投影矩阵就可以为8个未知参数提供5个方程,由三个视图就可以求解出唯一解.而对于内参数可变的摄像机自标定算法,Pollefeys 在文献[43]中较早地提出了这种方法来解决摄像机标定中焦距变化的问题,但它需要将纯平移运动作为两摄像机的初始状态.Heyden ,Astrom 则证明了当长宽纵横比已知且不考虑倾斜因子时,就可以实现内参数可变的摄像机自标定[44].随后,Pollefeys 在文献[45]中进一步指出了只要倾斜因子为零就可以实现内参数可变的摄像机自标定.

此外,还有一些特殊的自标定方法:纯旋转运动标定法[46]、纯平移运动标定法[47]和平面运动标定法[48],这些方法仅从图像对应点进行,不需要标定物,但需要控制摄像机做某些特殊运动,比如围绕光心旋转或纯平移,利用这种运动的特殊性计算出摄像机的内部参数.

3 结论与展望

随着CCD 摄像机在成像分辨率、图像采样速率及计算机图像处理速度的提高,摄像机标定与图像畸变校正在摄影测量、视觉检测、计算机视觉等领域得到更为广泛的研究和应用.

在摄像机标定过程中,需要建立摄像机成像的几何模型,从而实现从二维图像提取空间三维信息.根据不同的应用需求所建立的摄像机模型是不同的,所采用的摄像机标定方法也不同,摄像机几何模型直接影响了三维信息重建的精度.因此,设计并建立既符合摄像机成像物理模型而又便于分析计算的实用模型是提高摄像机标定技术的一个发展方向.

基于标定物的摄像机标定技术目前已经较为成熟,在计算机视觉、三维重建等领域已得到了广泛应用.目前应用最为广泛的标定方法有Tsai 的两步法和张正友标定法.今后这类摄像机标定方法的研究可从这几个方面入手:

(1)采用结构简单、便于操作的标定物(如一维[17])和标定系统(如Desktop [49])来简化标定过程.

(2)开发简单快速且应用范围广的标定算法.

(3)合理有效地确定非线性畸变校正模型的参数,选用合适的优化方法,来进一步提高标定精度.

摄像机的自标定技术由于不需要已知准确的三维度量信息,只需从图像序列中得到的约束关系就可以计算出摄像机模型的参数,可以在线、实时地校准摄像机模型参数,其标定方法灵活性强,在研究领域和应用领域倍受青睐.但是,摄像机自标定方法不管以何种形式出现,均是基于绝对二次曲线(absolute con 2ic )或者绝对二次曲面(absolute quadric )的方法,需要直接或间接地求解Kruppa 方程,存在着算法鲁棒性差、数据计算量大、非线性问题严重,对噪声非常敏感等问题.因此,探讨非线性问题的求解方法,在噪声的情况下提高解的稳定性、简化标定算法、提高标定精度等方面将是自标定技术领域研究的重点.目前基于三维重构分级的自标定技术得到了广泛的研究,这将积极推动特征提取、对应点匹配和多传感器数据融合等技术的研究.

参考文献:

[1] 马颂德,张正友.计算机视觉———计算理论与算法基础[M ].北京:科学出版社,1998.

[2] WEN G J ,COHEN P ,HERNIOU M.Camera calibration with distortion models and accuracy evaluation[J ].PAMI ,1992,14(10):965-

980.

[3] ABDEL 2AZIZ Y I ,KARARA H M.Direct linear transformation into object space coordinates in close 2range photogrammetry [C ]∥

KARARA H M.Proceedings of the Symposium on Close 2Range Photogrammetry.Urbana :American Society of Photogrammetry ,1971:1-18.

[4] LAV EST J M ,VIALA M ,DHOME M.Do we really need an accurate calibration pattern to achieve a reliable camera calibration [C ]∥

HANS B ,BERND N.Proc of the 5th European Conference on Computer Vision.Berlin :Springer 2Verlag ,1998:158-174.

[5] FAIG I W.Calibration of close rang photommetric system :mathematical formulation[J ].Photogrammetric Engineering Remote Sensing ,

1975.41(12):1479-1486.

2

05 中 国 工 程 机 械 学 报第4卷 

[6] TSAI R Y.An efficient and accurate camera calibration technique for 3D machine vision[C]∥LOS A.Proc of IEEE Conference on Comput 2

er Vision and Pattern Recognition.Washington :IEEE Computer Society ,1986:364-374.

[7] TSAI R Y.A versatile camera calibration technique for high 2accuracy 3D machine vision metrology using off 2the 2shelf cameras and lenses

[J ].IEEE Journal of Robotics and Automation ,1987,3(4):323-344.

[8] MARTINS H A ,BRIKJ R ,KELL EY R B.Camera models based no data from two calibration planes[J ].Computer Graphics and Imaging

Processing ,1981,17:173-180.

[9] WEI G Q ,MA S D.Two plane calibration :a unified model[C]∥GERARD M.Proceedings of IEEE Conference on Computer Vision and

Pattern Recognition.Washington :IEEE Computer Society Press ,1991:133-138.

[10] WEI G Q ,MA S D.Implicit and explicit camera calibration :theory and experiments[J ].PAMI ,1994,16(5):469-480.

[11] BROWN D C.Decentering distortion of lenses[J ].Photogrammetric Engineering ,1966,32(3):444-462.

[12] WON G K W.Mathematical foundation and digital analysis in close 2range photogrammetry[J ].Photogrammetric Engineering &Remote

Sensing ,1975,41(11):1355-1373.

[13] AHMED M T ,FARA G A A.A neural optimization framework for zoom lens camera calibration[C]∥DAVID K ,DAVID F.IEEE Com 2

puter Society Conference on Computer Vision and Pattern Recognition.Washington :IEEE Computer Society Press ,2000:403-409.

[14] BOUCHOU ICHA M ,KHEL IFA M B ,PU ECH W.A non 2linear camera calibration with genetic algorithms[C]∥SUVISOFT O L.Proc

7th Int Symposium on Signal Processing and Its Applications.Paris :IEEE Service Center ,2003:189-192.

[15] ZHAN G Z.A flexible new technique for camera calibration[J ].IEEE Trans Pattern Analysis and Machine Intelligence ,2000,22(11):

1330-1334.

[16] GOLUB G ,LOAN C V.Matrix computations[M ].3rd ed.Baltimore :The John Hopkins Univ Press ,1996.

[17] ZHAN G Z.Camera calibration with one 2dimensional objects[J ].IEEE Trans Pattern Analysis and Machine Intelligence ,2004,26(7):

Pages 892-899.

[18] SMITH L N ,SMITH M L.Automatic machine vision calibration using statistical and neural network methods[J ].Image and Vision Com 2

puting ,2005,23:887-899.

[19] J I Q ,ZHAN G Y.Camera calibration with genetic algorithms[J ].IEEE Trans on Systems ,Man ,and Cybernetics ,Part A :Systems and

Humans ,2001,31(2):120-130.

[20] CZAPL EWSKI R L.Misclassfication bias in area estimates[J ].Photogramm Eng Remote Sensing ,1992,58(2):189-192.

[21] MANBAN K S J ,FAU GERAS O D.A theory of self 2calibration of a moving camera[J ].International Journal of Computer Vision ,1992,

8(2):123-151.

[22] FAU GERAS O D ,LUON G Q.The geometry of multiple images[M ].Cambridge MA :The MIT Press ,1993.

[23] HARTL EY R ,ZISSERMAN A.Multiple view geometry in computer vision[M ].Cambridge ,U K:Cambridge University Press ,2000.

[24] LON GU ET 2HIGGINS H C.A computer algorithm for reconstruction a scene from two projections[J ].Nature ,1981,293(10):133-135.

[25] FAU GERAS O D ,LUON G Q ,Maybank S.Camera self 2calibration :theory and experiments[C]∥SANDINI G.Proc 2nd European Con 2

ference on Computer Vision.Berlin :Springer 2Verlag ,1992:321-334.

[26] HARTL EY R.In defense of the eight 2point algorithm[J ].PAMI ,1997,19(6):580-593.

[27] FAU GERAS O D.Three 2dimensional computer vision :a geometric viewpoint [M ].Cambridge ,MA :MIT Press ,1993.

[28] ZELL ER C ,FAU GERAS O D.Camera self 2calibration from video sequences :the kruppa equations revisited[R].Riviera ,France :INRI 2

A ,Sophia 2Antipolis ,1996.

[29] HARTL EY R.Kruppa ’s equations derived from the fundamental matrix[J ].PAMI ,1997,19(2):133-135.

[30] LOURA KIS M ,DERICHE R.Camera self 2calibration using the kruppa equations and the svd of the fundamental matrix :the case of vary 2

ing intrinsic parameters[R].Riviera ,France :INRIA ,Sophia 2Antipolis ,2000.

[31] HABED A ,BOU FAMA B S.Self 2calibration of a simplified camera using kruppa equations[C]∥IOANNIS R ,GREG M.1st Canadian

Conference on Computer and Robot Vision.Washington :IEEE Computer Society Press ,2004:446-450.

[32] TRIGGS B.Autocalibration and the absolute quadric[C]∥DEBORAH P ,IAN T.Proceedings of the 1997Conference on Computer Vision

and Pattern Recognition.Washington :IEEE Computer Society Press ,1997:609-614.

[33] STURM P.A case against kruppa ’s equations for camera self -calibration[J ].IEEE Transactions on Pattern Analysis and Machine Intelli 2

gence ,2000,22(10):1199-1204.

[34] MA Y ,VIDAL R ,K osecka J ,et al.Kruppa equation revisited :its renormalization and degeneracy[C]∥DAVID V.Proceedings of the 6th

European Conference on Computer Vision.Dublin :Springer ,2000:561-577.

[35] LUON G Q ,VIEVILL E T.Canonical representations for the geometries of multiple projective views[J ].CVIU ,1996,64(2):193-229.

[36] HARTL EY R I.Euclidean reconstruction from uncalibrated views[C]∥JOSEPH L M ,ANDREW Z ,DAVID A F.Proceedings of the Sec 2

ond Joint European 2US Workshop on Applications of Invariance in Computer Vision.London :Springer 2Verlag ,1994:237-256.

[37] DEV ERNA Y F ,FAU GERAS O D.From projective to euclidean reconstruction[C]∥KATSUSHI I.Proc of IEEE Conference on Comput 2

er Vision and Pattern Recognition.Washington :IEEE Computer Society Press ,1996:264-269.

3

05 第4期陈爱华,等:计算机视觉中的摄像机标定方法

[38] HEYDEN A ,ASTROM K.Euclidean reconstruction from constant intrinsic parameters.KATSUSHI I.Proc International Conference on

Pattern Recognition.Washington :IEEE Computer Society Press ,1996:339-343.

[39] POLL EFEYS M ,GOOL L V.A stratified approach to metric selfcalibration[C]∥DEBORAH P ,IAN T.Proc International Conference on

Computer View and Pattern Recognition.Washington :IEEE Computer Society Press ,1997:407-412.

[40] BOU GNOUX S.From projective to euclidean space under any practical situation ,a criticism of selfcalibration[C]∥DAVIS L.Proc of 6th

International Conference on Computer Vision.Washington :IEEE Computer Society Press ,1998:790-796.

[41] HARTL EY R I.Cheiralit y[J ].I J CV ,1998,26(1):41-61.

[42] POLL EFEYS M ,GOOL L V ,OOSTERL INCK A.The modulus constraint :a new constraint for selfcalibration [C ]∥YIANNIS A ,

RUZENA B.Proc International Conference on Pattern Recognition.Washington :IEEE Computer Society Press ,1996:31-42.

[43] POLL EFEYS M ,GOOL L V ,PROESMANS M.Euclidean 3D reconstruction from image sequences with variable focal lengths[C ]∥

BERNARD B.Proc European Conference on Computer Vision[C].London :Springer 2Verlag ,1996:31-42.

[44] HEYDEN A ,ASTROM K.Euclidean reconstruction from image sequences with varying and unknown focal length and principal point [C]

∥DEBORAH P ,IAN T.Proc of the IEEE Conf on Computer Vision and Pattern Recognition.Washington :IEEE Computer Society Press ,1997:438-443.

[45] POLL EFEYS M ,KOCH R ,GOOL L V.Self 2calibration and metric reconstruction in spite of varying and unknown internal camera parame 2

ters[J ].I J CV ,1999,32(1):7-25.

[46] HARTL EY R I.Self 2calibration of stationary cameras[J ].I J CV ,1997,22(1):5-23.

[47] MANBAN K S J ,FAU GERAS O D.A theory of self 2calibration of a moving camera[J ].International Journal of Computer Vision ,1992,

8(2):123-151.

[48] ARMSTRON G M ,ZISSERMAN A ,HARTL EY R I.Self 2calibration from image triplets[C]∥BERNARD B.Proc 4th European Conf on

Computer Vision.London :Springer 2Verlag ,1996:3-16.

[49] COLOMBO C ,COMANDUCCI D ,BIMBO A D.A desktop 3D scanner exploiting rotation and visual rectification of laser profiles[C]∥

LAN GSTON M A.Proc of the 4th IEEE International Conference on Computer Vision Systems.Washington :IEEE Computer Society Press ,2006:49-49.

?下期文章摘要预报?

基于键合图的物理模型降阶方法

于 涛,曾庆良,李文杰

基于动态系统物理表达方式———键合图法,给出了物理模型降阶方法———模型降阶

算法(MORA ),对流经组件的功率流进行比较,以确定元件的活跃性及相对活跃性,据此

对模型进行简化,并对MORA 进行了改进,同时给出了低活跃性元件去除的物理解释.最

后,对汽车的键合图模型进行了降阶.仿真结果证明,降阶后模型的动态特性与原模型动

态特性高度吻合,证明基于物理的模型降阶算法是非常有效的.

PC 机与MSP430单片机串行通信的实现方法

张 琦,张 英

阐述了运用可视化编程语言Delphi 实现上位机与MSP430单片机之间RS232串行

口通信的方法,并通过一个工程机械的故障诊断系统给出了详细的软硬件的实现方案,介

绍了MSP430单片机的串行通信模块的原理及程序框图.该设计方案解决了工程机械的

故障诊断系统中的串行通信问题.实际应用中,性能可靠,效果良好.405 中 国 工 程 机 械 学 报第4卷 

摄像机标定方法综述

摄像机标定方法综述 摘要:首先根据不同的分类方法对对摄像机标定方法进行分类,并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比,最后就如何提高摄像机标定精度提出几种可行性方法。 关键字:摄像机标定,传统标定法,自标定法,主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境,并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射,其中两空间之间的相互关系是由摄像机的几何模型决定的,即通常所称的摄像机参数,是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年,摄像机标定已成为计算机视觉领域的研究热点之一,目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看,摄像机标定实质上是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数,包括图像中心坐标、焦距、比例因子和镜头畸变等;而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系,可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正,对镜头校正的研究在十九世纪就已出现,二战后镜头校正成为研究的热点问题,一是因为二战中使用大量飞机,在作战考察中要进行大量的地图测绘和航空摄影,二是为满足三维测量需要立体测绘仪器开始出现,为了保证测量结果的精度足够高,就必须首先对校正相机镜头。在这期间,一些镜头像差的表达式陆续提出并被普遍认同和采用,建立起了较多的镜头像差模型,D.C.Brown等对此作出了较大贡献,包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展,现有的数码摄像机逐渐代替原有的照相机,同时随着像素等数字化概念的出现,在实际应用中,在参数表达式上采用这样的相对量单位会显得更加方便,摄像机标定一词也就代替了最初的镜头校正。

摄像机标定程序使用方法

摄像机内部参数标定 一、材料准备 1 准备靶标: 根据摄像头的工作距离,设计靶标大小。使靶标在规定距离范围里,尽量全屏显示在摄像头图像内。 注意:靶标设计、打印要清晰。 2图像采集: 将靶标摆放成各种不同姿态,使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内,便于集中处理。 二、角点处理(Process菜单) 1 准备工作: 在程序debug文件夹下,建立data,left,right文件夹,将角探测器模板文件target.txt复制到data文件夹下,便于后续处理。 2 调入图像: File->Open 打开靶标图像 3 选取角点,保存角点: 点击Process->Prepare Extrcor ,点击鼠标左键进行四个角点的选取,要求四个角点在最外侧,且能围成一个正方形区域。每点击一个角点,跳出一个显示角点坐标的提示框。当点击完第四个角点时,跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ,对该幅图的角点数据进行保存,最好保存到debug->data-> left 文件夹下。命名时,最好命名为cornerdata*.txt,*代表编号。 对其余N-1幅图像进行角点处理,保存在相同文件夹下。这样在left文件夹会出现N个角点txt 文件。 三、计算内部参数(Calibration菜单) 1 准备工作: 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt,将其归为一组。将该组数据复制到data文件夹下,重新顺序编号,此时,文件名必须为cornerdata*,因为计算参数时,只识别该类文件名。 2 参数计算: 点击Calibration->Cameral Calibrating,跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵,且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档,重复步骤1和2;反复取上M组数据,保存各组数据。 注意:在对下一组图像进行计算时,需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计,要求|gama|<2,且gama为负,删掉不符合条件的数据。 挑出出现次数最高的一组数据。2 摄像机外部参数标定

基于OpenCV的CCD摄像机标定方法_雷铭哲_孙少杰_陈晋良_陶磊_魏坤

MethodofCCDCameraCalibrationBasedOnOpenCV LEIMing-zhe1,SUNShao-jie2,CHENJin-liang1,TAOLei1,WEIKun1 (1.North Automation Control Technology Institute ,Taiyuan 030006,China ; 2.Navy Submarine Academy ,Qingdao 266042,China )Abstract: Computervisionhasbeenwidelyusedinindustry,agriculture,military,transportationareaandsoon.Cameracalibrationisveryimportantandalsothekeyresearchfieldofvisionsystem.ThispapermainlyresearchesonthemethodofCCDcameracalibration,thepin-holemodelhasbeenintroducedandappliedinprocessofcalibration.Specially,inordertoimprovetheaccuracy,bothradialandtangentiallensdistortionhavebeentakenintoaccountduringtheimplementofcalibrationbasedonOpenCV.Thiskindofarithmetichaspracticalvalueontheapplicationdesignofimageprocessingandcomputervision,andexperimentresultsshowgoodprecision,whichcanmeettheapplicationneedofvisualinspectionorothervisionsystemswell. Keywords: pin-holemodel,cameracalibration,lensdistortion,OpenCV摘要: 计算机视觉在工业,农业,军事,交通等领域都有着广泛应用。摄像机标定是视觉系统的重要环节,也是研究的关键领域。以摄像机标定技术为研究对象,选取针孔成像模型,简述了世界坐标系、摄像机坐标系和图像坐标系及其相互间的位置关系,对标定过程进行了深入研究。特别地,为提高标定精度,充分考虑了透镜径向和切向畸变影响及其求解方法,制作了棋盘格平面标定模板,基于开放计算机视觉函数库(OpenCV)实现了摄像机标定。该标定算法能够充分发挥OpenCV函数库功能,对于图像处理与计算机视觉方面的应用设计具有实用价值。实验结果表明该方法取得了较高精度,能够满足视觉检测或其他计算机视觉系统的应用需要。 关键词:针孔模型,摄像机标定,透镜畸变,OpenCV中图分类号:S219 文献标识码:A 基于OpenCV的CCD摄像机标定方法 雷铭哲1,孙少杰2,陈晋良1,陶 磊1,魏坤1 (1.北方自动控制技术研究所,太原030006;2.海军潜艇学院,山东青岛266042 )文章编号:1002-0640(2014) 增刊-0049-03Vol.39,Supplement Jul,2014 火力与指挥控制 FireControl&CommandControl第39卷增刊 引言 摄像机标定是计算机视觉系统的前提和基础,其目的是 确定摄像机内部的几何和光学特性(内部参数)以及摄像机 在三维世界中的坐标关系(外部系数) [1] 。考虑到摄像机标定在理论和实践应用中的重要价值,学术界近年来进行了广泛的研究。 摄像机标定方法可以分为线性标定和非线性标定,前者简单快速,精度低,不考虑镜头畸变;后者由于引入畸变参数而使精度提高,但计算繁琐,速度慢,对初值选择和噪声敏感。本文将两者结合起来,采用由粗到精策略,以实现精确标定。 1摄像机模型 本文选取摄像机模型中常用的针孔模型[2-3],分别建立三维世界坐标系(O w X w Y w Z w ),摄像机坐标系(O c X c Y c Z c )及图像平面坐标系(O 1xy ) 如下页图1所示。其中摄像机坐标系原点O c 为摄像机光心,Z c 轴与光轴重合且与图像平面垂直,O c O 1为摄像机焦距f 。图像坐标系原点O 1为光轴与图像平面的交点,x ,y 轴分别平行于摄像机坐标系X c 、Y c 轴。设世界坐标系中物点P 的三维坐标为(X w ,Y w ,Z w ),它在理想的针孔成像模型下图像坐标为P (X u ,Y u ),但由于透镜畸变引起偏离[4-5],其实际图像坐标为P (X d ,Y d )。图像收稿日期:2013-09-20修回日期:2013-11-10 作者简介:雷铭哲(1977-),男,湖北咸宁人,硕士。研究方向:故障诊断系统。 49··

三维重建综述

三维重建综述 三维重建方法大致分为两个部分1、基于结构光的(如杨宇师兄做的)2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法: 基于图片的三维重建方法又分为双目立体视觉;单目立体视觉。 A双目立体视觉: 这种方法使用两台摄像机从两个(通常是左右平行对齐的,也可以是上下竖直对齐的)视点观测同一物体,获取在物体不同视角下的感知图像,通过三角测量的方法将匹配点的视差信息转换为深度,一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下,然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟,能够稳定地获得较好的重建效果,实际应用情况优于其他基于视觉的三维重建方法,也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大,而且在基线距离较大的情况下重建效果明显降低。 代表文章:AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像,也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息,这些二维特征包括明暗度、纹理、焦点、轮廓等,因此也被统称为恢复形状法(shape from X) 1、明暗度(shape from shading SFS) 通过分析图像中的明暗度信息,运用反射光照模型,恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型,即从各个角度观察,同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出:Horn shape from shading:a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展:Vogel2008年提出了非朗伯特的SFS模型。 优势:可以从单幅图片中恢复出较精确的三维模型。 缺点:重建单纯依赖数学运算,由于对光照条件要求比较苛刻,需要精确知道光源的位置及方向等信息,使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉(photometric stereo) 该方法通过多个不共线的光源获得物体的多幅图像,再将不同图像的亮度方程联立,求解出物体表面法向量的方向,最终实现物体形状的恢复。 提出:Woodham对SFS进行改进(1980年):photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展:Noakes:非线性与噪声减除2003年; Horocitz:梯度场合控制点2004年; Tang:可信度传递与马尔科夫随机场2005年; Basri:光源条件未知情况下的三维重建2007年; Sun:非朗伯特2007年; Hernandez:彩色光线进行重建方法2007年;

摄像机标定程序使用方法

一、材料准备 1 准备靶标: 根据摄像头的工作距离,设计靶标大小。使靶标在规定距离范围里,尽量全屏显示在摄像头图像内。 注意:靶标设计、打印要清晰。 2图像采集: 将靶标摆放成各种不同姿态,使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内,便于集中处理。 二、角点处理(Process菜单) 1 准备工作: 在程序debug文件夹下,建立data,left,right文件夹,将角探测器模板文件target.txt 复制到data文件夹下,便于后续处理。 2 调入图像: File->Open 打开靶标图像 3 选取角点,保存角点: 点击Process->Prepare Extrcor ,点击鼠标左键进行四个角点的选取,要求四个角点在最外侧,且能围成一个正方形区域。每点击一个角点,跳出一个显示角点坐标的提示框。当点击完第四个角点时,跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ,对该幅图的角点数据进行保存,最好保存到debug->data-> left文件夹下。命名时,最好命名为cornerdata*.txt,*代表编号。 对其余N-1幅图像进行角点处理,保存在相同文件夹下。这样在left文件夹会出现N 个角点txt文件。 三、计算内部参数(Calibration菜单) 1 准备工作: 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt,将其归为一组。将该组数据复制到data文件夹下,重新顺序编号,此时,文件名必须为cornerdata*,因为计算参数时,只识别该类文件名。 2 参数计算: 点击Calibration->Cameral Calibrating,跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵,且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档,重复步骤1和2;反复取上M组数据,保存各组数据。 注意:在对下一组图像进行计算时,需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计,要求|gama|<2,且gama为负,删掉不符合条件的数据。 2 挑出出现次数最高的一组数据。

机器视觉中的摄像机定标方法综述

机器视觉中的摄像机定标方法综述 吴文琪,孙增圻 (清华大学计算机系智能技术与系统国家重点实验室,北京100084) 摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。 关键词:机器视觉;摄像机定标;三维重建;镜头畸变 中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03 Overvie w of Camera Calibration Methods for Machine Vision WU Wen-qi,SUN Zeng-qi (State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China) Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed. Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion 1引言 在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。 摄像机定标在机器视觉中决定: (1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。 (2)外部参数给出摄像机坐标相对于世界坐标系的位置和方向,如旋转和平移。 在机器人的视觉应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于定标精度。 随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进。 2摄像机模型 摄像机的投影几何模型可以看作这样一个过程,把三维世界透视投影到一个球面(视球),然后把球面上影像投射到一个平面P,理想情况下,平面P关于光轴中心对称。从图像中心点出发到投射平面点的距离r(A)与光轴夹角A的关系有五种模型,每种都有其自己有用的特性[2]。 其成像简图如图1所示。 图1成像简图 2.1透视模型 透视模型公式为 r(A)=k tan A 理想状况下可以等价为小孔成像。许多最近的算法和判断不同算法的优劣的依据都是基于这个假设。但是,透视投影只是表示了视球的前半部。要是不在光轴的附近,物体的形状和密度都会发生畸变。这种模型符合人的视觉感受,理想情况下,直线投影仍为直线。透视模型在定标方法中被广泛采用,在视角不大的镜头情况下比较符合实际情况。 在视角比较大时,透视模型通过对镜头畸变进行校正来修正模型。根据镜头光学成像原理,畸变的模型为D x (x,y)=k1x(x2+y2)+(p1(3x2+y2)+2p2xy)+s1(x2+y2) D y (x,y)=k2x(x2+y2)+(p2(3x2+y2)+2p1xy)+s2(x2+y2) 式中,D x,D y是非线性畸变值,D x,D y的第一项称为径向畸 # 4 #计算机应用研究2004年 收稿日期:2002-11-18;修返日期:2003-03-22

基于OpenCV的摄像机标定的应用研究

38562009,30(16)计算机工程与设计Computer Engineering and Design 0引言 机器视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息,并由此重建和识别物体,而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的,这些几何模型参数就是摄像机参数。在大多数条件下,这些参数必须通过实验与计算才能得到,这个过程称为摄像机标定(或定标)。标定过程就是确定摄像机的几何和光学参数,摄像机相对于世界坐标系的方位。标定精度的大小,直接影响着机器视觉的精度。迄今为止,对于摄像机标定问题已提出了很多方法,摄像机标定的理论问题已得到较好的解决[1-5]。对摄像机标定的研究来说,当前的研究工作应该集中在如何针对具体的实际应用问题,采用特定的简便、实用、快速、准确的标定方法。 OpenCV是Intel公司资助的开源计算机视觉(open source computer vision)库,由一系列C函数和少量C++类构成,可实现图像处理和计算机视觉方面的很多通用算法。OpenCV有以下特点: (1)开放C源码; (2)基于Intel处理器指令集开发的优化代码; (3)统一的结构和功能定义; (4)强大的图像和矩阵运算能力; (5)方便灵活的用户接口; (6)同时支持Windows和Linux平台。 作为一个基本的计算机视觉、图像处理和模式识别的开源项目,OpenCV可以直接应用于很多领域,是二次开发的理想工具。目前,OpenCV的最新版本是2006年发布的OpenCV 1.0版,它加入了对GCC4.X和Visual https://www.360docs.net/doc/ae2564999.html,2005的支持。 1摄像机标定原理 1.1世界、摄像机与图像坐标系 摄像机标定中有3个不同层次的坐标系统:世界坐标系、摄像机坐标系和图像坐标系(图像像素坐标系和图像物理坐标系)。 如图1所示,在图像上定义直角坐标系 开发与应用

张氏标定法原理及其改进1

张正友算法原理及其改进 由于世界坐标系的位置可以任意选取,我们可以假定世界坐标系和摄像机坐标系重合,故定义模板平面落在世界坐标系的0W Z =平面上。用i r 表示R 的每一列向量,那么对平面上的每一点,有: [][]12312 0111W W W W X u X Y s v A r r r t A r r t Y ?? ?? ?? ?? ??????==?????????????? ?? ?? 这样,在模板平面上的点和它的像点之间建立了一个单应性映射H ,又称单应性矩阵或投影矩阵。如果已知模板点的空间坐标和图像坐标,那么就已知m 和M ,可以求解单应性矩阵H 。)1,,(w w Y X )1,,(v u 因为11W W u X s v H Y ????????=????????????,其中11 121321222331 32 1h h h H h h h h h ?? ??=?????? ,可推出: 111213 21222331321 W W W W W W su h X h Y h sv h X h Y h s h X h Y =++?? =++??=++? 故, 1112133132212223313211W W W W W W W W h X h Y h u h X h Y h X h Y h v h X h Y ++?=?++? ? ++?=?++? 将分母乘到等式左边,即有 3132111213 31 32212223W W W W W W W W uX h uY h u h X h Y h vX h vY h v h X h Y h ++=++??++=++? 又令[]T h h h h h h h h h 3231232221131211 =',则 1 00000 01W W W W W W W W X Y uX uY u h X Y vX vY v --???? '=????--??? ? 多个对应点的方程叠加起来可以看成Sh d '=。利用最小二乘法求解该方程,即1()T T h S S S d -'=,进而得到H 。 摄像机内部参数求解 在求取单应性矩阵后,我们进一步要求得摄像机的内参数。首先令i h 表示H 的每一列向量,需要注意到上述方法求得的H 和真正的单应性矩阵之间可能相差一个比例因子,则H 可写成: [][]1 2 312h h h A r r t λ=

摄像机标定方法综述

摄像机标定方法综述 李 鹏 王军宁 (西安电子科技大学,陕西西安710071) 摘 要:首先介绍了摄像机标定的基本原理以及对摄像机标定方法的分类。通过对最优化标定法、双平面标定法、两步法等传统摄像机方法的具体分析,给出了各种方法的优劣对比;同时对多种自标定方法的研究现状、发展情况以及存在问题进行了探讨。最后给出了发展传统摄像机标定方向、提高摄像机自标定精度的一些参考建议。 关键词:摄像机标定;传统标定;自标定;优化算法;成像模型 中图分类号:T N948.41 文献标识码:A 0 引言 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为摄像机标定[1]。无论是在图像测量或者机器视觉应用中,摄像机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此,做好摄像机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。 1 标定分类 摄像机标定的目的是利用给定物体的参考点坐标(x, y,z)和它的图像坐标(u,v)来确定摄像机内部的几何和光学特性(内部参数)以及摄像机在三维世界中的坐标关系(外部参数)。内部参数包括镜头焦距f,镜头畸变系数(k、s、p),坐标扭曲因子s,图像坐标原点(u0,v0)等参数。外部参数包括摄像机坐标系相对于世界坐标系得旋转矩阵R和平移向量T等参数。 传统摄像机标定的基本方法是,在一定的摄像机模型下,基于特定的实验条件如形状、尺寸已知的参照物,经过对其进行图像处理,利用一系列数学变换和计算方法,求取摄像机模型内部参数和外部参数。另外,由于许多情况下存在经常性调整摄像机的需求,而且设置已知的参照物也不现实,这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的,与场景和摄像机的运动无关,所以相比较下更为灵活。 总的来说,摄像机标定可以分为两个大类:传统的摄像机标定方法和摄像机自标定法。2 传统的摄像机标定方法 传统的摄像机标定方法按照其算法思路可以分成若干类,包括了利用最优化算法的标定方法,利用摄像机变换矩阵的标定方法,进一步考虑畸变补偿的两步法,双平面方法,改进的张正友标定法以及其他的一些方法等。 2.1 利用最优化算法的标定方法 这一类摄像机标定方法的优点是可以假设摄像机的光学成像模型非常复杂。然而由此带来的问题是:1)摄像机标定的结果取决于摄像机的初始给定值,如果初始值给得不恰当,很难通过优化程序得到正确的结果;2)优化程序非常费时,无法实时地得到结果。 根据参数模型的选取不同,这一类的方法主要以下两种: 1)摄影测量学中的传统方法:Faig在文[2]中提出的方法是这一类技术的典型代表。分析F aig给出的方法,可以看到在他的标定方法中,利用了针孔摄像机模型的共面约束条件,假设摄像机的光学成像模型非常复杂,考虑了摄像机成像过程中的各种因素,精心设计了摄像机成像模型,对于每一幅图像,利用了至少17个参数来描述其与三维物体空间的约束关系,计算量非常大。 2)直接线形变换法:直接线性变换方法是A bde-l A ziz 和Karara首先于1971年提出的[3]。通过求解线性方程的手段就可以求得摄像机模型的参数,这是直接线性变换方法有吸引力之处。然而这种方法完全没有考虑摄像机过程中的非线性畸变问题,为了提高精度,直接线性变换方法进而改进扩充到能包括这些非线性因素,并使用非线性的手段求解。 2.2 利用透视变换矩阵的摄像机标定方法[4] 从摄影测量学中的传统方法可以看出,刻划三维空间坐标系与二维图像坐标系关系的方程一般说来是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜头的非 山西电子技术 2007年第4期 综 述 收稿日期:2006-12-18 第一作者 李鹏 男 28岁 硕士研究生

单目视觉定位方法研究综述

万方数据

万方数据

万方数据

万方数据

单目视觉定位方法研究综述 作者:李荣明, 芦利斌, 金国栋 作者单位:第二炮兵工程学院602教研室,西安,710025 刊名: 现代计算机:下半月版 英文刊名:Modem Computer 年,卷(期):2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报(工学版) 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02)

双目摄像机标定

1.摄像机标定技术的发展和研究现状 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境,并从中获取需要的信息用于重建和识别物体。真实的3D场景与摄像机所拍摄的2D图像之间有一种映射关系,这种关系是由摄像机的几何模型或者参数决定的。求解这些参数的过程就称为摄像机标定。摄像机标定实质上是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数,包括图像中心坐标、焦距、比例因子和镜头畸变等;而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系。 总的来说, 摄像机标定可以分为两个大类: 传统的摄像机标定方法和摄像机自标定法。传统摄像机标定的基本方法是, 在一定的摄像机模型下, 基于特定的实验条件如形状、尺寸已知的参照物, 经过对其进行图像处理, 利用一系列数学变换和计算方法, 求取摄像机模型内部参数和外部参数。另外, 由于许多情况下存在经常性调整摄像机的需求, 而且设置已知的参照物也不现实, 这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的, 与场景和摄像机的运动无关, 所以相比较下更为灵活。 1966年,B. Hallert研究了相机标定和镜头畸变两个方面的内容,并首次使用了最小二乘方法,得到了精度很高的测量结果。1975年,学者W. Faig建立的一种较为复杂的相机成像模型,并应用非线性优化算法对其进行精确求解,但是仍存在两个缺点,一是由于加入了优化算法导致速度变慢,二是标定精度对相机模型参数的初始值的选择有严重的依赖性,这两个缺点就导致了该标定方法不适于实时标定。1986年Faugeras提出基于三维立方体标定物通过拍摄其单幅图像的标定方法,该方法是基于理想线性模型的,标定精度较高,但是对标定立方体的制作和加工的精度要求太高,维护起来困难且并未考虑畸变参数的影响。1986年,在非线性优化标定理论的基础上R. Y. Tsai提出了Tsai摄像机模型,对应这种Tsai摄像机模型提出了经典的Tsai两步标定法。Tsai两步标定法的主要思想是:为了使迭代次数明显减少,计算速度也就得到加快,所以采用了除了少数标定参数利用了非线性的迭代方法求解,而标定过程中其他大部分参数则采用了常规的线性方法直接求解。不过这种Tsai两步标定法设定的相机模型畸变量较简单,没办法解决实际中比较复杂的畸变标定问题。由于Tsai两步标定法中存在的明显不足,J. Weng对Tsai的畸变模型进行改进之后,在此基础上对应的标定方法就能够很好的进行运用和实现较好的标定效果。1999年,微软研究院的张正友提出了一种基于移动平面模板的摄像机标定方法,该方法缩小了相机标定的成本,而且简单明了,并且标定的精度也明显提高了很多。

机器人视觉系统标定问题研究综述_田梦倩

收稿日期:2005-05-18 基金项目:江苏省自然科学基金资助项目(BK2002405)作者简介:田梦倩(1971-),女,副教授,研究领域为机电控制及自动化、机器人技术。 机器人视觉系统标定问题研究综述 田梦倩 (东南大学机械工程系,江苏南京210096) 摘要:在视觉反馈机器人的控制中,摄像机的标定是一个基本的、重要性的问题。该文首先对摄像机的成像模型进行分析,明确了视觉系统标定的主要任务,然后从离线标定和在线标定两方面阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。 关键词:机器人;视觉反馈;摄像机标定;离线标定;在线标定 中图分类号:TP242.6+ 2 文献标识码:A 文章编号:100020682(2006)022******* A survey of ca li bra ti on i n a v isi on 2robot system TI A N M eng 2qian (D ept of M echanical Engineering ,Southeast U niversity,J iangsu N anjing 210096,China ) Abstract:Ca mera calibrati on is a basic and crucial p r oble m in the field of r obot contr ol with visi on feedback .The paper analyses the i m age 2for m ing model of a ca mera t o decide how t o calibrate its main pa 2ra meters and then discusses the relevant methods according t o s ome different criteria,which are classified int o off 2line calibrati on and on 2line calibrati on . Key words:r obot;visi on feedback;ca mera calibrati on;off 2line calibrati on;on 2line calibrati on 0 引言 智能机器人是装备有某些类似人的感觉装置,具有感觉识别、判断功能,能根据周围环境的变化,按规则调整自己动作的机器人。在人的众多感觉中,视觉是人最重要的感官之一。因而,机器人视觉定位、视觉导引、视觉伺服也是智能机器人领域的研究热点之一。视觉反馈机器人可以广泛地应用在工业中的焊接、装配、搬运;工件表面质量、几何形状的测量;微电子器件的自动检测;空间技术中的交会对接、卫星回收等各种场合[1] 。这些应用能否准确实现,视觉系统能否获得高精度的反馈信息,都涉及到一个基本的、重要的问题,即视觉系统的高精度标定。 视觉系统的标定问题包括摄像机模型的建立及模型中各参数精确值的获得。确定这一参数值的过程可以分为两部分:摄像机内部参数标定、摄像机坐标系与机器人坐标系之间转换关系(即手-眼关系)的标定。 国外在机器人视觉标定方面做了大量的研究, 并提出了一系列切实可行的方法,而国内关于此方面的研究报道却不多,并且只限于静态的离线标定 方面[7~10] 。该文首先对机器人视觉系统的成像模型进行了详细的分析,按照标定过程是否与机器人控制相结合、是否为动态过程,将视觉反馈机器人的标定方法分为离线标定和在线标定两类,并分别阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。 1 摄像机的成像模型 由于空间某点的几何位置与其在图像中对应点的相互关系是由摄像机的成像模型决定的,因此,正确建立摄像机的成像模型是关键。 假定摄像机模型为针孔透视变换模型,图1中给出了单摄像机下,物点与像点的位置关系。该模型中建立了3个坐标系。 (1)世界坐标系:通常取世界坐标系与机器人基坐标系重合,三维空间中的目标点p 在世界坐标系中的坐标是p w (x w ,y w ,z w )。 (2)摄像机坐标系:其中心点o c 定义在摄像机的光学中心,其Z 轴与摄像机的主光轴重合。目标点p 在摄像机坐标系中的坐标是p c (x c ,y c ,z c )。

摄像机标定原理及源码

计算机视觉摄像机标定实验报告 [实验名称]基于OpenCV的摄像机标定 [实验项目] 1、学会使用OpenCV 2、利用OpenCV进行摄像机标定,编程实现,给出实验结果及其分析。 [实验仪器设备]电脑+Visual Studio 2010+openCV.2.4.8。 [实验原理] 1、理论知识 如图,(u、v)表示以像素为单位的图像坐标系的坐标,(X、Y)表示以mm为单位的图像坐标系的坐标,在X、Y坐标系中,原点O1定义在摄像机光轴与图像平面的交点, 该点一般位于图像中心,但是由于制造原因,很多情况下会有偏移,若O1在U、V坐标系中坐标为(u0,v0),每一个像素在X轴与Y轴方向上的无力尺寸为dx、dy,则图像任意一个像素在两个坐标系下的坐标有如下关系: 如图,Oc点为摄像机光心,Xc轴和Yc轴与图像的X轴与Y轴平行,Zc轴为摄像机光轴,它与图像平面垂直。光轴与图像平面的交点,极为图像坐标系的原点,由点Oc与Xc、Yc、Zc轴组成的直角坐标系称为摄像机坐标系,OOc为摄像机焦距:

由于摄像机可以安放在环境中任意位置,所以在环境中选择一个基准坐标系来描述摄像机位置,并用它描述环境中任何物体的位置,该坐标系为世界坐标系。它有Xw、Yw和Zw轴组成,摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量t来描述。 总体来说,世界坐标系到图像坐标系的关系可总结如下: 摄像头成像几何关系,其中Oc 点称为摄像头(透镜)的光心,Xc 轴和Yc 轴与图像的x轴和Y轴平行,Zc 轴为摄像头的光轴,它与图像平面垂直。光轴与图像平面的交点O1 ,即为图像坐标系的原点。由点Oc 与Xc 、Yc 、Zc 轴组成的坐标系称为摄像头坐标系,Oc O1 的距离为摄像头焦距,用f表示。

基于OpenCV的摄像机标定

万方数据

K,乙)变换为摄像机坐标系中的坐标值只(疋,K,乙)如下 ㈧…=㈠M㈤(2)将坐标值只(冠,K,zc)在针孔模型中进行规范化投影,得 只=[妻甜引∽(3)引入透镜的畸变,畸变后的规范化坐标值可以用雎如砌 阱Xdc,峨‰叫州黝;篙]㈤ 将Pd(xa,ya)转换为图像上像素坐标系上的坐标值B(“,访 f吲:时‰(4) 够可=f/.劬sx/咖(5)像素之间的有效距离(mm/pixel);dpy为计算机图像在垂直方向 换)方法计算出摄像机的内部参数和外部参数的初值Ⅲ。该步虑透镜畸变的影响,得到的参数值并不准确。不过作为下一 数据拟合目标函数““如式6所示。既要将图像上Ⅳ个角点的坐标值(U,K)(f=1,…朋拾取出来,还要利用上述畸变模型计算出这Ⅳ个标志点的坐标值(‰vJ)(f=1,…朋,然后利用式6进行数 转化为求解非线性最小二乘的问题,通过非线性优化算法“”多次迭代,最后得到使目标函数的值最小的参数值,降低了求解难度。迭代的初值由第①步的DLT方法算出,DLT方法不 2基于OpenCV的摄像机标定 基于OpenCV的摄像机标定采用平面棋盘格标定模板,一198一 为了提高角点提取的成功率,在标定方块的外围,还要求保留一个方块宽的白色空白区域,如图1所示。摄像机只需在不同的角度抓取几张平面标定模板的图片,就可以实现对摄像机的标定。显然,由于采用最小二乘法,抓得图越多,标定的结果就越精确。 图1平面棋盘格标定模板 虽然OpenCV中自动寻找角点函数提取角点的成功率很高,但是若碰到光线被遮挡等情况,使得标定模板上的标定块在图像上不清晰或提取的角点数目与设定的数目不相符的状况,就会导致角点提取失败,如图2所示:因此OpenCV并不保证能够提取所有图像上的角点。所以在设计标定算法时必须要考虑角点不能被提取的情况:一方面,如果角点提取成功的图过少,则标定出来的结果就不一定能满足精度的要求,需要重新采图;另一方面,由于摄像机外部参数的个数与标定图像的个数相关联,所以在最后计算标定结果时,应将提取角点失败的图像舍弃,再根据剩下图像的数目,动态地分配参数在内存中的储存空间,如果没有这么一个筛选的过程,盲目得在内存中分配参数的储存空间,则在提取角点失败的图像上,不能找到与角点在世界坐标系中的坐标值相对应的像素坐标系上的坐标值,在这种情况下强行计算的话,很容易出现程序报错,得不到标定结果的情况。因此,本文提出以下摄像机标定算法: (1)读取一组标定用图像数据; (2)用cvFindChessboardComers()筛选图像;将读入的一组图像数据分别代入cvFindChessboardComers0函数,如果返回值是1,则表示在该幅图像上提取的角点数目和设定的相同,提取角点成功;若为0,则表示角点提取失败,该幅图要抛弃; (3)如果可用的标定图的数目满足设定的最少标定用图的数目,继续步骤(4);否则,则应重新采图,返回步骤(1); (4)根据筛选剩下图像的数目用cvCreateMat0为摄像机的内外部参数、角点在世界坐标系的坐标值以及在图像坐标系中的坐标值分配内存存储空间; (5)将筛选剩下的图像代入cvFindChessboardComers0,得到角点在图像像素坐标系中坐标值;再将图像和得到的图像像素坐标系中坐标值代入FindComerSubPix()函数,进一步精 (a)角点提取失败(b)角点提取成功 图2角点提取图像  万方数据

相关文档
最新文档