计算机视觉_摄像机标定L4_高伟
计算机视觉中摄像机定标综述
计算机视觉中摄像机定标综述一、本文概述随着计算机视觉技术的快速发展，摄像机定标技术在许多实际应用中，如机器人导航、三维重建、增强现实等领域，发挥着越来越重要的作用。
摄像机定标，即确定摄像机的内部参数（如焦距、主点坐标）和外部参数（如旋转矩阵、平移向量），是计算机视觉任务中的基础且关键的一步。
本文旨在综述摄像机定标技术的研究现状、主要方法及其优缺点，并分析未来的发展趋势。
本文将首先回顾摄像机定标技术的发展历程，从早期的传统定标方法到现代的基于主动视觉和自定标的方法。
然后，重点介绍几种主流的摄像机定标方法，包括基于二维平面模板的定标、基于三维物体的定标、基于自然场景的定标等，并详细分析它们的原理、实施步骤及适用范围。
本文还将讨论摄像机定标精度的影响因素及提高定标精度的策略。
本文将对摄像机定标技术的发展趋势进行展望，包括新型定标方法的研究、定标精度和鲁棒性的提升、以及定标技术在更多复杂和动态场景中的应用等方面。
通过本文的综述，读者可以对摄像机定标技术有全面深入的了解，并为后续研究和实践提供有益的参考。
二、摄像机模型在计算机视觉中，摄像机模型是一个基础而重要的概念，它用于描述和解析摄像机如何捕捉和表示三维世界中的物体。
摄像机模型的理解和应用对于摄像机定标至关重要，因为它提供了从图像坐标到世界坐标的映射关系。
常见的摄像机模型主要有两种：针孔摄像机模型和径向镜头摄像机模型。
针孔摄像机模型是最简单也是最基本的模型，它假设光线通过一个小孔（即针孔）投影到成像平面上，形成一个倒立的实像。
在这个模型中，摄像机的内外参数可以通过几何关系直接计算出来。
然而，针孔摄像机模型忽略了实际摄像机镜头中的径向畸变，这在高精度应用中可能会产生较大的误差。
为了解决这个问题，人们引入了径向镜头摄像机模型。
这个模型在针孔模型的基础上，考虑了径向畸变的影响。
径向畸变主要是由于光线在通过镜头时，由于镜头形状和制造工艺的影响，光线在径向方向上的投影产生了偏差。
使用计算机视觉技术进行图像重识别与重标定的优化技巧
使用计算机视觉技术进行图像重识别与重标定的优化技巧图像重识别与重标定是计算机视觉领域的重要任务之一。
通过利用计算机视觉技术和算法，可以对图像进行准确的识别和标定，以便在不同的应用场景中进行优化。
本文将讨论一些优化技巧，帮助实现更准确和高效的图像重识别与重标定。
首先，为了实现准确的图像重识别和重标定，需要建立一个高质量的训练数据集。
数据集的质量对模型的性能和准确性起到至关重要的作用。
因此，首先需要对数据进行清洗和标注。
在数据清洗过程中，可以去除噪声、重复和低质量的图像。
在数据标注过程中，需要对图像进行正确的标定，以便模型能够准确地学习和识别目标。
其次，选择合适的特征提取方法可以提高图像重识别与重标定的准确性。
在计算机视觉领域，常用的特征提取方法包括色彩特征、纹理特征和形状特征等。
根据不同的应用场景，选择适合的特征提取方法可以提高模型对图像的表示能力。
例如，在图像分类任务中，可以使用深度学习模型中的卷积神经网络来提取图像的特征。
而在目标检测任务中，可以使用基于区域的卷积神经网络（R-CNN）来提取图像的特征和位置信息。
此外，使用合适的算法和模型也是优化图像重识别和重标定的关键。
在深度学习领域，常用的算法包括卷积神经网络（CNN）、循环神经网络（RNN）和生成对抗网络（GAN）等。
这些算法在图像处理领域表现出色，可以对图像进行高效和准确的重识别和重标定。
例如，使用卷积神经网络来进行图像分类和目标检测，使用循环神经网络来进行图像生成和图像描述等。
此外，生成对抗网络可以用于生成逼真的图像，从而扩大训练数据集的规模，提高模型的鲁棒性和泛化能力。
此外，引入强化学习算法可以进一步提升图像重识别与重标定的性能。
强化学习是一种通过与环境交互来学习最优策略的机器学习方法。
在图像处理中，可以将图像重识别和重标定任务视为一个强化学习问题，通过不断调整模型的参数和策略，来最大化图像的识别和标定精度。
例如，可以使用强化学习来确定合适的标定参数，使得图像在重标定过程中能够得到更准确和稳定的结果。
计算机视觉中的摄像机标定方法_陈爱华
作者简介:陈爱华(1978-),男,福建莆田人,助教.计算机视觉中的摄像机标定方法陈爱华,高诚辉,何炳蔚(福州大学机械工程及自动化学院,福建福州 350002)摘要:摄像机标定在三维重建、运动分析以及机器导航等领域中得到了广泛的研究和应用.根据标定技术特点,将摄像机标定分为两大类:基于标定物的摄像机标定和摄像机自标定,介绍了这两大类中典型的摄像机标定方法,回顾了其发展过程,并对各种方法的标定特点以及求解方法进行了分析,最后对摄像机标定方法的未来发展进行了展望.关键词:计算机视觉;摄像机标定;摄像机模型;三维重建中图分类号:T P 387 Computer -vision -based camera demarcation m ethodCHEN Ai -hua ,GAO Cheng -hui ,HE Bing -wei(College of Mechanical Engin eering an d Automation ,Fuzhou University ,Fuzhou 350002,China )Abstract :Camera demarcation has been intensively applied for 3D model reconstruction ,kinematical analy sis and machine navigation .In the paper ,the camera demarcation technology is first classified into tw o cate -go rie s :i .e .the mark -based dem arcation and camera -centric demarcation .Subsequently ,the dem arcation characteristics and methods are interpreted based on relevant literature review .Finally ,some future directions are highlighted w ith regard to camera demarcation technology .Key words :computer vision ;camera dem arcation ;camera modeling ;3dimensional reconstruction 近20多年,摄像机标定已成为计算机视觉领域的研究热点之一,目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域.所谓摄像机标定,就是从摄像机获取的图像信息出发,根据空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,构建摄像机成像的几何模型,再经实验与计算得到空间环境中三维物体的位置、形状等几何模型参数(摄像机参数)的过程.从定义上看,摄像机标定实质上是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数,包括主点坐标(图像中心坐标)、焦距、比例因子和镜头畸变等;而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系,可用3×3的旋转矩阵R 和一个平移向量t 来表示.摄像机标定参数总是相对于某种几何成像模型,根据不同需要可建立不同的摄像机模型,一般将摄像机模型分为两大类[1,2]:一类是在标定中不考虑各种镜头畸变的线性模型,如针孔模型和直接线性变换模型[3,4],主要应用于镜头视角不大或物体在光轴附近的情况,是其他模型和标定方法的基础;另一类是非线性模型,是扩展的针孔模型,考虑了线性与非线性畸变的修正问题以获得较高的精度,主要应用于广角镜头的场合,如摄影测量法模型[5]、Tsai 模型[6,7]、Weng 模型[2]和双平面模型[8～10].第4卷第4期2006年10月中 国 工 程 机 械 学 报CH INESE JO URNAL OF CONSTRUCT ION MACH INERY Vol .4No .4 Oct .2006目前,基于上述摄像机模型的摄像机标定已在许多研究领域得到了广泛应用,满足了应用领域的精度、操作性和实时性等方面的要求,从而促进了其标定技术的研究和发展,使得摄像机标定领域学术思想活跃,出现了许多新技术、新方法.从广义上分,可将现有的摄像机标定技术分为两大类:基于标定物的摄像机标定法和摄像机自标定法.1 基于标定物的摄像机标定方法在标定过程中,基于标定物的摄像机标定方法都需要使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,利用一定的算法来确定摄像机模型的内外参数.根据标定参数的求解思想,大体上可分为三大类:线性变换法、非线性优化法和两步法.1.1 线性变换法线性变换法是在成像时不考虑任何的非线性补偿问题的情况下,建立了一组基本的线性约束方程来表示摄像机坐标系与三维物体空间坐标系之间的线性变换关系,采用鲁棒的最小二乘法来求解线性方程,获得投影矩阵M ,从而确定摄像机标定的内外参数.线性变换法通过求解线性方程来获得标定参数,其算法简单,运行速度快,但需求解的未知参数多,计算量大,其标定结果的正确性对噪声很敏感,影响了标定精度.主要应用在镜头视角不大或物体在光轴附近的场合,直接线性转换(DLT )[3]是应用最为广泛的线性标定方法.1.2 非线性优化法摄像机的非线性标定是在考虑摄像机成像中存在的非线性畸变的基础上,建立了标定点的空间三维坐标与图像点坐标的投影关系,采用迭代算法对非线性方程求解,从而获得求解摄像机的内外参数和非线性畸变系数.这种标定方法主要用在摄像机广角镜头的场合,摄影测量学的大多数经典标定方法[2,5,11,12]都属于这一类.这类方法的优点是考虑了所有的摄像机的非线性畸变,即可以选定任意的系统误差模型,因而如果提出的初始值估算模型比较好,而且能够很好地收敛时,可以达到很高的精度;其缺点是需要的计算量非常大,而且由于采用迭代算法,稳定性差,需选择合适的初始值才可获得有意义的解.为了解决这类方法所存在的问题,采用了各种求解优化方法:传统优化方法[2,5]、神经网络[13]和遗传算法[14]等,这些方法都极大提高了标定精度.1.3 两步法两步法是Tsai 于1986年首次提出的[6],介于传统的线性法和非线性优化法之间的一种灵活标定方法.该法将上述两种方法相结合,先采用解析方法直接线性计算部分参数,然后以这些参数作为非线性优化的初值,考虑畸变因素,对其余参数进行迭代优化,故称为两步法.该方法一方面克服了传统的线性模型的不足,考虑了镜头畸变,提高了标定精度,另一方面又通过解析法得到初值,从而减少了优化的次数,提高了运算速度,有稳定的解.1987年Tsai 又提出了利用共面点求取摄像机内外参数的两步法[7].该法考虑了镜头径向畸变,并假设图像的主点是在图像中心,利用共面点就可以标定出摄像机的大部分内外参数,相对以前需要立体标定物的传统标定法,实验条件和要求大大降低,主要适用于图像传感器图像平面为方形,且图像采集频率与图像传感器的驱动频率一致时的场合.该法第一步利用径向平行条件将摄像机的一部分待标定参数(摄像机的旋转参数R 和X ,Y 方向上的平移参数,称第一类参数)独立出来,通过解线性方程,得到它们的解.第二步对与径向畸变相关的其余标定参数(等效焦距、Z 方向上的平移参数和非线性畸变系数,称第二类参数)求解,先假设畸变为零,由线性方程组得到第二类参数的初始估计值,然后考虑畸变并以透视投影方程误差最小的准则做多次迭代运算将第二类参数进行非线性迭代优化求解,以使第二类参数的估值趋于精确,从而获得较高的标定精度.1990年J .Weng 在Tsai 模型的基础上提出了更为精确的非线性模型[2],将摄像机畸变分为径向畸变、离心畸变和薄棱镜畸变.基于两步法的思想,1998年张正友考虑径向畸变,提出了一种可以利用多幅平面模板标定摄像机所有内外参数的方法———平面标定法[15].该方法先假设标定模板在世界坐标系中Z =0,建立线性模型(针499 第4期陈爱华,等:计算机视觉中的摄像机标定方法 孔模型),由平面模板上每个特征点与其图像上相应的像点之间的对应点关系确定平面模板映射矩阵H ,采用线性分析法求出摄像机的内部参数,然后用奇异值分解[16]求出外部参数,最后考虑径向畸变,并基于极大似然准则对线性结果进行非线性优化.而后张正友又在文献[17]中首次提出了一种由一系列共线且彼此相对位置关系已知的标定点组成的一维物体标定法.该方法不需要昂贵的标定物,标定过程简单,易于操作,灵活性高,其标定算法与平面标定法一样.这两种方法都使用针孔模型,既具有较好的鲁棒性,又不需昂贵的精制标定块,推动了计算机视觉从实验室向实际应用的迈进,是适合应用的两种灵活的新方法,适用于具有广角镜头的多摄像机视觉系统.但它们还存在一些问题:需要从不同的角度拍摄多幅标定物的图像,需标定的参数较多;需要利用自标定理论中的绝对二次曲线原理来获得内参数的初始估计值,算法较繁琐.此外,还有一些特殊的标定技术:Martins [8],G .Wei [9,10]等提出了双平面标定法,还有提出了不需要任何摄像机几何模型而利用人工神经网络[18]、遗传算法[19]和统计方法[20]等方法来实现摄像机参数的标定.2 摄像机自标定法20世纪90年代初,S .J .May bank 和O .D .Faugeras 在文献[21]中首先提出了自标定的概念,使得在场景未知和摄像机运动任意的一般情况下在线、实时地标定摄像机参数模型成为可能.摄像机的自标定方法(self -calibration )克服了传统标定方法的不足,它不需要标定物,仅仅依靠多幅图像对应点之间的关系直接对摄像机进行标定.这种标定方法灵活性强,潜在的应用范围广,主要应用在精度要求不高的场合,如通讯、虚拟现实技术等.其最大的不足在于算法鲁棒性和稳定性都差,需要估计大量参数.2.1 基于基本矩阵和本质矩阵的标定方法在双摄像机的立体视觉中,设空间任意点Q 在两图像平面上的投影分别为q ,q ′,由光心C 和Q 形成的射线CQ 表示对于左图像平面来说点Q 的所有可能位置,它在右图像平面中的投影是极线l ′,即对应于左图像平面投影点q 的右图像平面点q ′一定在右图像平面的极线l ′上,这种几何关系即为极线几何约束[22,23].假设摄像机的成像模型为针孔模型,左摄像机坐标系为世界坐标系,由极线几何约束条件,可得两图像平面上对应点的关系表示如下:q T Fq ′=0,其中F =(A -1)T s (t )R -1(A ′)-1=(A -1)T E (A ′)-1(1)式中:q ,q ′分别为空间点在左、右图像平面上投影点q ,q ′的矢量坐标;矩阵F 为两个视图的基本矩阵(fundamental matrix ),表示任意两个视图间的双线性关系,包含了摄像机的内部参数和外部参数;A ,A ′为标定矩阵;s (t )为由平移向量t 元素构成的反对称矩阵;R 为旋转矩阵;矩阵E 为两个视图的本质矩阵(essential m atrix ),表示两个摄像机坐标系之间相对运动位置关系,包含了摄像机的外部参数.F 和E 是由Longuet -Higgins 首次引入的[24].在标定中,如果已知两图像平面上的7个对应点对,即可通过一个非线性算法确定基本矩阵F [25],但计算过程在数值上并不稳定.如果已知8个或8个以上非共面的对应点对,先对数值进行适当的规范化,再用简单且速度快的8点算法的线性方法获得超定的线性方程组,然后使用最小二乘法求解出基本矩阵的估值[26,27],最后由奇异值分解(SVD )得到基本矩阵F ,从而求出摄像机内部参数、本质矩阵E 和摄像机外部参数.2.2 基于Kruppa 方程的自标定方法O .D .Faugeras 等在文献[25]中首次使用Kruppa 方程来实现自标定,随后在摄像机自标定上得到进一步的研究[28～31].Kruppa 方程实质上表示了绝对二次曲线或绝对二次曲面在图像平面上成像满足极线约束条件,即假设绝对二次曲线Ψ在两个图像平面上分别成像为ω和ω′,两个极面Π1,Π2与绝对二次曲线Ψ相切,在两个图像平面上的极线也必须相应地相切于ω和ω′,这些约束用Kruppa 方程表示如下[28]:[e ′]×K ′[e ′]×∝FKF T (2)500 中 国 工 程 机 械 学 报第4卷 式中:e ′为第二个图像平面上的极点的矢量坐标;[e ′]×是与e ′的矢量乘积相关的斜对称矩阵;K ,K ′分别是绝对二次曲线在两图像平面上投影图像的矩阵,K =AA T ,A 为摄像机标定矩阵.式(2)是Kruppa 方程的一种表达,它将摄像机的内部参数(即绝对二次曲线的图像)与极线几何联系起来,提供了从极线几何约束求取摄像机的内部参数的途径.根据K ruppa 方程可以获得2个独立方程,而矩阵K 含有5个未知参数,如果两个摄像机具有相同的内部参数(常量)K =K ′,即可知至少需要3个基本矩阵(摄像机至少运动3次)就可以求解出K ,从而求解出摄像机的内部参数,至于摄像机的外部参数可以通过基本矩阵F 获得本质矩阵E 来求解.Kruppa 方程也可以用于摄像机的内部参数是可变的情况[30].虽然Kruppa 方程已在摄像机自标定中得到了广泛应用,但这种自标定方法存在许多问题:复杂的非线性问题,对噪声特别敏感;算法鲁棒性差,存在退化问题[32～34],如忽略了线性方法、不能约束绝对二次曲面具有相似的图像等.因而,这种自标定方法已渐渐被分级重构方法所替代.2.3 基于几何学层级的自标定方法目前,场景结构重建只是通过任意投影变换获得,如果要使之可视,需要通过几何变换由投影几何结构提升为欧氏几何结构.三维几何学可分成三个层级:投影几何学、仿射几何学和欧氏几何学,其中投影几何学是表达场景几何结构最简单最基本的方法,而欧氏几何学是最复杂最完整的[27,35].相应地,标定方法也分为三个阶段:投影标定(projective calibration )、仿射标定(affine calibration )和欧氏标定(euclidean cali -bration ).在双摄像机立体视觉系统中,如果已知基本矩阵F ,就可用投影标定实现场景的三维重构.仿射标定阶段是确定一个无穷远平面,并将其作为投影标定阶段的一个参考平面Πp ∞=[r T ∞ 1]T ,r ∞为Πp∞的矢量坐标,或者是结合无穷远映射H ∞和一个摄像机的极点e ～'来标定.欧氏标定阶段是将仿射标定和一个摄像机的标定矩阵A 结合起来,或者结合两个摄像机标定矩阵、两摄像机间旋转矩阵R 和按比例平移向量t .这三种阶段标定之间的转换矩阵如下:T a p ∝I 0r T ∞1,T e a ∝A 0r T ∞s ,T e p ∝A 0r T ∞As 式中:I 为由最简单的投影矩阵P =10000100010的前三列所组成的矩阵,P 是对应于规范化的摄像机坐标系的,其中摄取像机的特殊参数可以省略.在标定过程中,由摄像机标定可获得一系列投射投影矩阵:P 0p ∝I 0,P i p ∝Q i qi ,Q i 为由投射投影矩阵前三列所组成的矩阵;q i 为由投射投影矩阵最后一列所组成的矩阵(3×1).这种标定方法的核心问题在于寻找一个4×4非奇异矩阵T,使投射投影矩阵转换为欧氏投影矩阵:P 0e ∝A I 0,P i e ∝A R i t i ,转换关系表示如下:P i e ∝P i p T e p(3)分别取式(3)两边的矩阵前三列可得Q i A +q i r T ∞A ∝AR i (4)将式(4)两边同乘A -1,即得Q i +q i r T ∞∝AR i A-1∝H i ∞(5) 以上三个方程式都含有与Q i 和q i 对应点对相关的8个未知参数(标定矩阵A 有5个未知参数,r ∞有3个未知参数),是基于几何学层级自标定算法的基础.对于这种标定方法,摄像机内部参数(常量)的标定算法已在大量文献中提出[32,36～40].Hartley 在文献[36]中通过对式(4)左边进行QR (矩阵分解定理)分解化简,指出了标定矩阵A 的未知参数可以由映射矩阵H i ∞直接计算,而r ∞的未知参数只能得到它们的估值,为了约束r ∞的估值,Hartley 提出了cheirality 约束条件[41].而Pollefey [39]则利用modulus 约束条件[42]来实现投影重建升级到仿射重建,除了第一个视图外,每个视图就可以为r ∞提供一个约束条件,需要4个视图来获得r ∞的未知参数,一旦获得仿射层级,由501 第4期陈爱华,等:计算机视觉中的摄像机标定方法 H i ∞就可以求出摄像机的内部参数.另外,Hey den ,Astrom 在文献[38]中通过将式(4)的两边乘以各自的转置,从而消去未知参数R i ,使得方程两边的式子是对称的,除了第一个投影矩阵外每个投影矩阵就可以为8个未知参数提供5个方程,由三个视图就可以求解出唯一解.而对于内参数可变的摄像机自标定算法,Pollefeys 在文献[43]中较早地提出了这种方法来解决摄像机标定中焦距变化的问题,但它需要将纯平移运动作为两摄像机的初始状态.Heyden ,Astrom 则证明了当长宽纵横比已知且不考虑倾斜因子时,就可以实现内参数可变的摄像机自标定[44].随后,Pollefeys 在文献[45]中进一步指出了只要倾斜因子为零就可以实现内参数可变的摄像机自标定.此外,还有一些特殊的自标定方法:纯旋转运动标定法[46]、纯平移运动标定法[47]和平面运动标定法[48],这些方法仅从图像对应点进行,不需要标定物,但需要控制摄像机做某些特殊运动,比如围绕光心旋转或纯平移,利用这种运动的特殊性计算出摄像机的内部参数.3 结论与展望随着CCD 摄像机在成像分辨率、图像采样速率及计算机图像处理速度的提高,摄像机标定与图像畸变校正在摄影测量、视觉检测、计算机视觉等领域得到更为广泛的研究和应用.在摄像机标定过程中,需要建立摄像机成像的几何模型,从而实现从二维图像提取空间三维信息.根据不同的应用需求所建立的摄像机模型是不同的,所采用的摄像机标定方法也不同,摄像机几何模型直接影响了三维信息重建的精度.因此,设计并建立既符合摄像机成像物理模型而又便于分析计算的实用模型是提高摄像机标定技术的一个发展方向.基于标定物的摄像机标定技术目前已经较为成熟,在计算机视觉、三维重建等领域已得到了广泛应用.目前应用最为广泛的标定方法有Tsai 的两步法和张正友标定法.今后这类摄像机标定方法的研究可从这几个方面入手:(1)采用结构简单、便于操作的标定物(如一维[17])和标定系统(如Desktop [49])来简化标定过程.(2)开发简单快速且应用范围广的标定算法.(3)合理有效地确定非线性畸变校正模型的参数,选用合适的优化方法,来进一步提高标定精度.摄像机的自标定技术由于不需要已知准确的三维度量信息,只需从图像序列中得到的约束关系就可以计算出摄像机模型的参数,可以在线、实时地校准摄像机模型参数,其标定方法灵活性强,在研究领域和应用领域倍受青睐.但是,摄像机自标定方法不管以何种形式出现,均是基于绝对二次曲线(absolute con -ic )或者绝对二次曲面(absolute quadric )的方法,需要直接或间接地求解Kruppa 方程,存在着算法鲁棒性差、数据计算量大、非线性问题严重,对噪声非常敏感等问题.因此,探讨非线性问题的求解方法,在噪声的情况下提高解的稳定性、简化标定算法、提高标定精度等方面将是自标定技术领域研究的重点.目前基于三维重构分级的自标定技术得到了广泛的研究,这将积极推动特征提取、对应点匹配和多传感器数据融合等技术的研究.参考文献:[1] 马颂德,张正友.计算机视觉———计算理论与算法基础[M ].北京:科学出版社,1998.[2] W ENG J ,COHEN P ,HERNIOU M .C amera cal ib ration w ith distortion models and accuracy eval uation [J ].PAM I ,1992,14(10):965-980.[3] ABDEL -AZIZ Y I ,KARARA H M .Direct linear transformation into object space coordinates in close -range photogrammetry [C ]∥KARARA H M .Proceedings of the S ym posium on Close -Range Photogrammetry .Urbana :American Society of Photogrammetry ,1971:1-18.[4] LAVES T J M ,VIALA M ,DHOM E M .Do w e reall y need an accurate calibration pattern to achieve a rel iabl e camera cal ib ration [C ]∥HANS B ,BERND N .Proc of the 5th European Conference on Computer Vis ion .Berl in :Springer -Verl ag ,1998:158-174.[5] FAIG I W .Calibration of close rang photommetric s ystem :mathematical formulation [J ].Photogrammetric Engineering Remote Sensing ,1975.41(12):1479-1486.502 中 国 工 程 机 械 学 报第4卷 [6] TSAI R Y .An efficient and accurate camera calibration tech nique for 3D machine vis ion [C ]∥LOS A .Proc of IEEE Conference on Com put -er Vis ion and Pattern Recognition .W ashington :IEEE Computer Society ,1986:364-374.[7] TSAI R Y .A versatil e camera calibration technique for high -accuracy 3D machine vis ion metrology using off -the -shelf cameras and lenses[J ].IEEE Journal of Robotics and Automation ,1987,3(4):323-344.[8] M ARTINS H A ,BRIK J R ,KE LLEY R B .Camera models based no data from tw o calibration planes [J ].Computer Graphics and ImagingProcessing ,1981,17:173-180.[9] W EI G Q ,M A S D .T wo plane cal ib ration :a unified model [C ]∥GE RARD M .Proceedings of IEEE Conference on Computer Vision andPattern Recognition .Washington :IEEE Com puter Society Press ,1991:133-138.[10] WE I G Q ,MA S D .Implicit and expl icit camera calibration :theory and experiments [J ].PAM I ,1994,16(5):469-480.[11] BROWN D C .Decentering distortion of lenses [J ].Photogrammetric Engineering ,1966,32(3):444-462.[12] WONG K W .M athematical foundation and digital analysis in cl ose -range photogrammetry [J ].Photogrammetric Engineering &RemoteSens ing ,1975,41(11):1355-1373.[13] AHM ED M T ,FARAG A A .A neural optimization framework for zoom lens camera calibration [C ]∥DAVID K ,DAVID F .IEEE Com -puter Society Conference on Computer Vision and Pattern Recognition .Washington :IEEE Computer S ociety Press ,2000:403-409.[14] BOUCHOUICHA M ,KHELIFA M B ,PUECH W .A non -linear camera calibration w ith genetic algorithms [C ]∥SUVISOFT O L .Proc7th Int Symposium on Signal Processing and Its Applications .Paris :IEEE S ervice Center ,2003:189-192.[15] ZHANG Z .A flexible new technique for camera calibration [J ].IEEE Trans Pattern Analys is and M achine In telligence ,2000,22(11):1330-1334.[16] GOLUB G ,LOAN C V .M atrix computations [M ].3rd ed .Baltimore :The John Hopkins Univ Press ,1996.[17] ZHANG Z .Camera cal ib ration with one -dimensional objects [J ].IEEE Trans Pattern Analysis and M achine Intelligence ,2004,26(7):Pages 892-899.[18] S M ITH L N ,SM ITH M L .Automatic machine vision calibration us ing statistical and neural netw ork methods [J ].Image and Vis ion Com -puting ,2005,23:887-899.[19] J I Q ,ZHANG Y .Camera calibration w ith genetic algorithms [J ].IEEE T rans on System s ,M an ,and Cybernetics ,Part A :Systems andHumans ,2001,31(2):120-130.[20] CZAPLEWSKI R L .M isclas sfication bias in area estimates [J ].Photogramm Eng Remote S ensing ,1992,58(2):189-192.[21] M ANBANK S J ,FAUGE R AS O D .A theory of self -calibration of a moving camera [J ].International Journal of Computer Vision ,1992,8(2):123-151.[22] FAUGERAS O D ,LUONG Q .T he geometry of multiple images [M ].Cambridge M A :The M IT Press ,1993.[23] HART LEY R ,ZISSE RM AN A .M ultiple view geometry in computer vision [M ].Camb ridge ,UK :Cambridge University Press ,2000.[24] LONG UET -HIGGINS H C .A computer algorithm for reconstruction a scene from two projections [J ].Natu re ,1981,293(10):133-135.[25] FAUGERAS O D ,LUONG Q ,M aybank S .Camera sel f -calibration :theory and experiments [C ]∥SANDINI G .Proc 2nd European Con -ference on Computer Vision .Berlin :S pringer -Verlag ,1992:321-334.[26] HART LEY R .In defense of the eigh t -point al gorithm [J ].PAM I ,1997,19(6):580-593.[27] FAUGERAS O D .Three -dimensional com puter vision :a geometric view point [M ].Camb ridge ,M A :M IT Press ,1993.[28] ZELLER C ,FAUGERAS O D .Camera self -calibration from video sequences :the kruppa equations revisited [R ].R iviera ,France :INRI -A ,Sophia -Antipolis ,1996.[29] HART LEY R .Kruppa 's equations derived from the fundamental matrix [J ].PAM I ,1997,19(2):133-135.[30] LOURAKIS M ,DE RICHE R .Camera s elf -calibration using the kruppa equations and the svd of the fundamental matrix :the case of vary -ing intrins ic parameters [R ].Riviera ,France :INRIA ,Sophia -Antipolis ,2000.[31] HABED A ,BOUFAM A B S .Self -calibration of a simpl ified camera using kruppa equations [C ]∥IOANNIS R ,GREG M .1st CanadianConference on Compu ter and Robot Vision .W ashington :IEEE Computer Society Press ,2004:446-450.[32] TRIGGS B .Au tocalibration and the absolute quadric [C ]∥DEBORAH P ,IAN T .Proceedings of the 1997Conference on Computer Visionand Pattern Recognition .W ashington :IEEE Computer Society Press ,1997:609-614.[33] S TURM P .A case against kruppa 's equations for camera self -calibration [J ].IEEE T rans actions on Pattern Anal ysis and M achine Intelli -gence ,2000,22(10):1199-1204.[34] M A Y ,VIDAL R ,Kos ecka J ,et al .Kruppa equation revis ited :its renormalization and degeneracy [C ]∥DAVID V .Proceedings of the 6thEuropean Conference on Computer Vision .Dublin :Springer ,2000:561-577.[35] LUONG Q ,VIEVILLE T .Canonical representations for the geometries of multiple projective view s [J ].CVIU ,1996,64(2):193-229.[36] HARTLEY R I .Euclidean reconstruction from uncalibrated view s [C ]∥JOSEPH L M ,ANDREW Z ,DAVID A F .Proceedings of the Sec -ond Joint European -US Workshop on Applications of Invariance in Computer Vision .London :Springer -Verlag ,1994:237-256.[37] DEVERNAY F ,FAUGE RAS O D .From projective to euclidean reconstruction [C ]∥KATSUSHI I .Proc of IEEE Conference on Com put -er Vis ion and Pattern Recognition .W ashington :IEEE Computer Society Press ,1996:264-269.503 第4期陈爱华,等:计算机视觉中的摄像机标定方法 [38] HEYDEN A ,AS TROM K .Eucl idean reconstruction from constant intrinsic param eters .KATS US HI I .Proc International C onference onPattern Recognition .Washington :IEEE Computer Society Press ,1996:339-343.[39] POLLEFEYS M ,GOOL L V .A stratified approach to metric selfcalibration [C ]∥DEBORAH P ,IAN T .Proc International Conference onComputer View and Pattern R ecognition .Washington :IEEE Com puter Society Press ,1997:407-412.[40] BOUGNOUX S .From proj ective to euclidean space under any practical situation ,a criticism of selfcalibration [C ]∥DAVIS L .Proc of 6thInternational Conference on Computer Vis ion .Washington :IEEE Com puter Society Press ,1998:790-796.[41] HART LEY R I .Cheiral ity [J ].IJCV ,1998,26(1):41-61.[42] POLLEFEYS M ,GOOL L V ,OOST ERLINCK A .T he modul us constraint :a new constraint for selfcalibration [C ]∥YIANNIS A ,RUZENA B .Proc International Conference on Pattern Recognition .Washington :IEEE Com puter Society Press ,1996:31-42.[43] POLLEFEYS M ,GOOL L V ,PROES M ANS M .Eucl idean 3D reconstruction from image sequences with variable focal lengths [C ]∥BERNARD B .Proc European Conference on Computer Vision [C ].London :S pringer -Verlag ,1996:31-42.[44] HEYDEN A ,AS TROM K .Euclidean reconstruction from image s equences with varying and unknow n focal length and principal point [C ]∥DEBORAH P ,IAN T .Proc of the IEEE Conf on C omputer Vision and Pattern Recognition .W ashington :IE EE Computer S ociety Press ,1997:438-443.[45] POLLEFE YS M ,KOCH R ,GOOL L V .Self -calibration and metric reconstruction in spite of varying and unknow n internal camera parame -ters [J ].IJC V ,1999,32(1):7-25.[46] HART LEY R I .Self -calibration of stationary cameras [J ].IJCV ,1997,22(1):5-23.[47] M ANBANK S J ,FAUGE R AS O D .A theory of self -calibration of a moving camera [J ].International Journal of Computer Vision ,1992,8(2):123-151.[48] ARM S TRONG M ,ZISSERM AN A ,HART LEY R I .Self -calibration from image triplets [C ]∥BERNARD B .Proc 4th European Conf onComputer Vision .London :S pringer -Verlag ,1996:3-16.[49] COLOM BO C ,COM ANDUCCI D ,BIM BO A D .A desktop 3D scanner exploiting rotation and visual rectification of laser profiles [C ]∥LANGSTON M A .Proc of the 4th IEEE International Conference on Computer Vis ion S ystems .Washington :IEEE Computer S ociety Press ,2006:49-49.·下期文章摘要预报·基于键合图的物理模型降阶方法于 涛,曾庆良,李文杰 基于动态系统物理表达方式———键合图法,给出了物理模型降阶方法———模型降阶算法(M ORA ),对流经组件的功率流进行比较,以确定元件的活跃性及相对活跃性,据此对模型进行简化,并对M ORA 进行了改进,同时给出了低活跃性元件去除的物理解释.最后,对汽车的键合图模型进行了降阶.仿真结果证明,降阶后模型的动态特性与原模型动态特性高度吻合,证明基于物理的模型降阶算法是非常有效的.PC 机与MSP430单片机串行通信的实现方法张 琦,张 英 阐述了运用可视化编程语言Delphi 实现上位机与MSP430单片机之间RS232串行口通信的方法,并通过一个工程机械的故障诊断系统给出了详细的软硬件的实现方案,介绍了MSP430单片机的串行通信模块的原理及程序框图.该设计方案解决了工程机械的故障诊断系统中的串行通信问题.实际应用中,性能可靠,效果良好.504 中 国 工 程 机 械 学 报第4卷 。
机器视觉中的摄像机定标方法综述
机器视觉中的摄像机定标方法综述吴文琪,孙增圻(清华大学计算机系智能技术与系统国家重点实验室,北京100084)摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。
关键词:机器视觉;摄像机定标;三维重建;镜头畸变中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03Overvie w of Camera Calibration Methods for Machine VisionWU Wen-qi,SUN Zeng-qi(State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China)Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed.Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion1引言在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。
目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。
通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。
摄像机定标在机器视觉中决定:(1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。
计算机视觉中摄像机定标综述
计算机视觉中摄像机定标综述
摄像机定标是计算机视觉中的一个重要问题，它旨在确定摄像机
的内部参数和外部参数。
内部参数包括焦距、主点位置、畸变系数等；而外部参数则包括摄像机在空间中的位置和朝向。
摄像机定标通常包
括两个步骤：标定和重建。
标定是指在已知一些已知深度的世界坐标系点时，通过摄像机捕
获的图像坐标来推导出摄像机内部和外部参数的过程。
标定中通常采
用的方法是通过对图像中已知世界坐标系点和对应的图像坐标进行计算，推导出摄像机的内部参数和外部参数。
主要的标定方法包括直接
线性变换（DLT）方法和基于优化方法的非线性标定方法。
重建则是指将摄像机拍摄的图像恢复成在真实世界中的实际坐标，这是基于相机的内部参数和外部参数的过程。
重建中通常采用的方法
是三角测量，即通过计算图像中点的位置和已知的相机内外参数，推
导出点在真实世界中的位置。
摄像机定标是计算机视觉和计算机图形学领域中的一个重要问题，它在计算机视觉领域中扮演着至关重要的角色。
例如，在三维重建、
虚拟现实、增强现实和机器视觉等领域中，摄像机定标是一个必要的
步骤。
机器视觉相机标定具体方法步骤
机器视觉相机标定具体方法步骤
机器视觉相机标定是一项重要的任务，它能够提高相机成像的精度和稳定性。
下面是一些机器视觉相机标定的具体方法步骤：
1. 收集标定数据：在标定过程中，需要使用一些已知的特征点，比如棋盘格或者圆点板，拍摄一些不同角度、不同方向的图像，以此来获取标定所需的数据。
2. 初始相机参数估计：在进行标定之前，需要对相机的内参和外参进行一个初步的估计。
这个过程可以通过观察相机的镜头参数来完成。
如果相机的参数已知，则可以跳过这一步。
3. 提取特征点：使用图像处理算法在图像中提取出特定的特征点，常用的算法有SIFT、SURF等。
这些特征点将被用于计算相机的内部参数和外部参数。
4. 计算内部参数：使用已知的特征点和相机的初始参数，计算相机的内部参数，包括焦距、主点位置和畸变系数。
5. 计算外部参数：使用已知的特征点和相机的内部参数，计算相机的外部参数，包括相机在空间中的位置和方向。
6. 优化参数：使用优化算法对计算得到的内部参数和外部参数进行优化，以提高相机成像的精度。
7. 验证标定结果：将标定后的相机应用于实际场景中，观察成像效果，如果达到了预期效果，则标定成功，否则需要重新调整参数并重新进行标定。
以上就是机器视觉相机标定的具体方法步骤。
标定的过程需要耐
心和精确，但标定结果将会对相机的成像质量产生重要的影响。
相机标定技术在机器人视觉系统中的应用研究
相机标定技术在机器人视觉系统中的应用研究引言机器人视觉系统是实现机器人自主感知和环境交互的重要手段，其中相机标定技术对视觉系统的定位、测量和跟踪等过程有着重要的应用。
相机标定技术指的是利用已知的空间坐标和图像拍摄的像素坐标来确定摄像机的内外部参数的一种方法。
在机器人视觉系统中的应用，需要通过相机标定技术来确定相机的内外部参数，以便实现机器人的自主感知、定位、抓取等功能。
本文将从相机标定技术的基本原理、标定方法和标定结果评估等方面，探讨其在机器人视觉系统中的应用研究。
一、相机标定技术的基本原理相机标定技术是估计摄像机内外参量的过程，使摄像机能够从二维图像转化为三维空间点的转换。
其基本原理是将空间空间中的三维点映射到摄像机成像平面上的二维点，建立起空间3D坐标和图像2D坐标之间的对应关系，以获取摄像机的内外参数。
其中，摄像机内参数包括焦距、主点和畸变等，而摄像机的外参数则包括摄像机的位置和姿态等。
在标定过程中，通过拍摄一些已知位置的标志物或平面，获取到不同位置观测到的标志物或平面在图像中的像素坐标，建立起二维坐标和三维坐标之间的对应关系，便可求解出摄像机的内外参数。
二、相机标定技术的标定方法目前，常用的相机标定技术主要有张氏标定法和Tsai's标定法。
1.张氏标定法张氏标定法（Zhang's method）是一种基于平面标定法（planar calibration）的相机标定方法。
该方法的关键是对平面标定板的数据处理，通过重叠平面标定板上的多个角度和位置下得到的图像，得到坐标系间的转换关系。
该方法的步骤如下：1）. 摄像机对准平面标定板，拍摄至少6张不重叠的图像，图像中的标定板必须摆放在不同的位置和角度。
2）. 提取标定板上的角点坐标，一般采用角点检测算法来实现，如Harris算法、SIFT算法等。
3）. 利用相邻的两张图像中的角点坐标求解出图像坐标系和实际三维坐标系之间的转换关系。
计算机视觉中摄像机定标综述
计算机视觉中摄像机定标综述
马伟
【期刊名称】《价值工程》
【年(卷),期】2013(32)24
【摘要】This paper puts forward the camera calibration method in computer vision, through analysis of principle of computer vision, and analyzes the application of camera calibration methods in computer vision.%本文通过对计算机视觉原理进行分析，提出了计算机视觉中摄像机的定标方法，并分析了计算机视觉中摄像机的定标方法的应用。
【总页数】2页(P193-194)
【作者】马伟
【作者单位】青海交通职业技术学院，西宁810028
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.计算机视觉中传统摄像机定标方法综述 [J], 伍雪冬;蒋新华;李建兴;黄靖
2.计算机视觉中的摄像机定标方法及应用特点 [J], 许志雄
3.计算机视觉中的摄像机定标方法及应用特点 [J], 许志雄
4.计算机视觉中摄像机定标综述 [J], 邱茂林;马颂德;李毅
5.计算机视觉中的摄像机定标方法及其应用特点探讨 [J], 毛士同
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 缺点：
– 依然对景物信息有要求，需要圆形物体
• => 可否完全利用图像信息完成标定？
相机标定之
相机自标定法
相机自标定法之
基于KRUPPA方程标定法
二次曲线
在非齐次坐标中，二次曲线的方程是：
二次曲线的切线
l x C
对偶二次曲线
二次曲线变换
绝对二次曲线(AC，Absolute Conic)
数据归一化
• 将数据归一化为一阶
– 将数据质心平移到原点 – 通过尺度缩放，使得均方根距离为1
数据归一化
几何误差
图像几何误差： 采用Levenberg-Marquardt等迭代技术优化：
黄金标准算法
直接线性变换法
?
RQ分解：
=
R
+
Q
直接线性变换法
直接线性变换法
• 优点：
– 标定精度高 – 计算简单
• 缺点：
– 需要高精度的标定设备 – 使用不方便
• => 单独平面可否标定？
传统相机标定法之
张正友平面标定法
张正友平面标定方法
张正友平面标定方法
Yc
M X , Y , 0
Zc
O
Yw
mu, v
Xc
Ow
Zw Xw
张正友平面标定方法
H
张正友平面标定方法
由正交矩阵的性质
每幅图像可以获得2个对内参数的基本约束
所用的模版
胡占义平面圆标定法
胡占义平面圆标定法
• 计算圆环点的像
模板平面
A2
O
A1
C1
B1
无穷远直线
B2 C2
胡占义平面圆标定法
胡占义平面圆标定法
• 优点：
– 全自动标定方法
• 缺点：
– 依然需要模板
• => 利用自然界信息，可以标定么？
传统相机标定法之
吴毅红平行圆标定法
吴毅红平行圆标定法
f) The enclosing but not concentric case
吴毅红平行圆标定法
8.0417 568.2194 1409.3835 K 0 1385 . 3772 349 . 3042 0 0 1
吴毅红平行圆标定法
• 优点：
– 利用自然物体信息，不需模板
– 图像对应点的确定 – 相机标定 – 图像间相机运动参数的确定
相机标定之
传统相机标定法
传统相机标定法之
直接线性标定法
相机投影模型
中心透视投影
直接线性变换法(DLT)
Rank = 2
直接线性变换法
直接线性变换法
SVD
退化配置
• 三维点位于一个平面上或过相机中心的直 线上
• 三维点和相机位于一个扭三次曲线上
相机标定
高 伟
机器人视觉研究组 模式识别国家重点实验室 中国科学院自动化研究所
课程计划
• • • • 相机与成像模型 射影几何 多视几何与相机标定 基于图像的三维重建
相关章节
• Szeliski, Ch. 6.2, 6.3 • Hartley, Ch. 4，19
胡占义主动视觉标定法
• 基于外极点的正交运动标定法
2 1
0
由于这两次平移运动是正交的，所以
胡占义主动视觉标定法
第1、2幅图像在第0幅图像上的外极点分别是：
5组正交平移运动可完全求解相机的5个内参数
小结
• 传统相机标定法
– 直接线性变换法 – 张正友平面标定法 – 胡占义平面圆标定法 – 吴毅红平行圆标定法
吴毅红平行圆标定法
吴毅红平行圆标定法
• 该方法从平行圆的最小个数出发，基于准 仿射不变性，分析了所有可能情况的计算 圆环点的方法
The line at infinity The line at infinity The line at infinity
a) The concentric case
b) The inner‐tangent case The line at infinity
c) The outer‐tangent case
The line at infinity
The line at infinity
d) The intersecting case
e) The separate case
主要内容
• 传统相机标定法
– 直接线性变换法 – 张正友平面标定法 – 胡占义平面圆标定法 – 吴毅红平行圆标定法
• 相机自标定法
– 基于Kruppa方程标定法 – 基于绝对对偶二次曲面标定法
• 主动视觉相机标定法
视觉目的
• 三维重建是人类视觉的主要目的，也是计 算机视觉的最主要的研究方向. (Marr 1982) • 所谓三维重建就是指从图像出发恢复出空 间点三维坐标的过程。 • 三维重建的三个关键步骤
二次曲面与对偶二次曲面
绝对对偶二次曲面绝对对偶二次曲 Nhomakorabea标定绝对对偶二次曲面标定
绝对对偶二次曲面标定
相机标定之
主动视觉相机标定法
主动视觉系统
• 主动视觉系统：相机被固定在一个可以精 确控制的平台上，且平台的运动参数可以 从计算机中读出的视觉系统或者是平台作 正交平移运动而无需已知运动参数的视觉 系统
• 相机自标定法
– 基于Kruppa方程标定法 – 基于绝对对偶二次曲面标定法
• 主动视觉相机标定法
下节课程 基于图像的三维重建
标定过程
• 重投影误差
标定过程
张正友平面标定方法
• 优点：
– 采用单个平面，即可标定，简单
• 缺点：
– 依旧需要确定模板上的点阵坐标与图像点之间 匹配关系
• => 全自动标定方法？
传统相机标定法之
胡占义平面圆标定法
胡占义平面圆标定法
• 张正友标定法依旧需要确定模板上的点阵 坐标与图像点之间匹配关系 • 全自动的标定方法呢？
张正友平面标定方法
标定过程
Camera Calibration Toolbox for Matlab
Jean-Yves Bouguet
标定过程
• 打印一张模板并贴在一个平面上
标定过程
• 从不同角度拍摄若干张模板图像
标定过程
• 检测图像中的特征点
标定过程
• 检测图像中的特征点
标定过程
• 求解相机内外参数
绝对二次曲线的图像(IAC)
绝对二次曲线的图像
绝对二次曲线的图像仅仅与相机的内参数有关
绝对二次曲线的对偶图像(DIAC)
Kruppa方程
Kruppa方程
Kruppa方程
Kruppa方程
基于Kruppa方程标定法
Kruppa方程
基于Kruppa方程标定法
相机自标定法之
基于绝对对偶二次曲面标定法