计算机视觉成象的非线性畸变研究与综述

１．１ 坐标系及成象模型 相机的光学成象过程可以分为 ３ 个步骤，隶属于 ４ 个 坐标系。这 ４ 个坐标系（图 １）分别为： Ｚｗ
Ｙｗ Ｕ Ｐ
图 １ ４ 个坐标系 基金项目：国家 863 示范工程资助项目 (863-511(98 通字 )092)
u f / dx Zc v = 0 1 0
X w 0 u0 Y w [ ] f / dy v0 R t Zw 0 1 1
在计算机视觉的研究和应用中， 数字图象的质量是相当 重要的，尤其是在三维重构和运动判别等定量分析的场合。 由于数字图象在成象过程中存在着非线性畸变，使得逆向视 觉过程的研究变得不适应和十分困难。目前使用的成象设备 （以下简称相机）主要有：胶片相机、摄象机、数码相机、数 码摄象机。它们都是利用光学镜头及针孔模型的原理实现成 象的，只是成象后的图象信息载体不同而已。由于光学镜头 的结构与理想的针孔模型存在着差异，使得图象中象素的实 际坐标与之对应的理论坐标并不一致，这就是非线性畸变引 起的误差。产生这种非线性畸变是由相机本身的制造误差所 致。掌握相机在成象过程中产生这种非线性畸变的规律是计 算机视觉研究的一个重要内容。随着 ＣＣＤ 制造技术的不断 提高，使得数字图象的分辨率越来越高，图象中的非线性畸 变的相对影响也越来越突出。
（１）
—108—
（１）世界坐标系 — 根据自然环境所选定的坐标系， 坐标 用 Ｘｗ ，Ｙｗ ，Ｚｗ 表示。
作者简介：姜大志（１９５８ ～） ，男，博士生，副教授，主研方向：计算 机 视 觉 、ＣＡＤ／ＣＡＭ／ＣＩＭ／ＣＩＳ ；郁 倩，硕士生；王冰洋，博士生；丁 秋林，博导 收稿日期：２ ０ ０ １ —０ ３ —１ ９
（２）图象坐标系 — 坐标原点在 ＣＣＤ 图象平面的中心， Ｘ 轴、Ｙ 轴分别为平行于图象平面的两条垂直边，Ｚ 轴与相 机光轴重合，坐标用 ｘ，ｙ 表示。 （３）光心坐标系 — 以相机的光心为坐标原点，Ｘ 轴、Ｙ 轴分别平行于图象坐标系的 Ｘ 轴和 Ｙ 轴，相机的光轴为 Ｚ 轴，坐标用 Ｘｃ ，Ｙｃ ，Ｚｃ 表示。 （４）象素坐标系 — 坐标原点在 ＣＣＤ 图象平面的左上 角，Ｕ 轴、Ｖ 轴分别平行于图象坐标系的 Ｘ 轴和 Ｙ 轴，坐标 用 ｕ ，ｖ 来表示，且为离散的整数值。 ３ 个步骤分别将世界坐标系中的信息（如空间点 Ｐ）转换 到光心坐标系，再由光心坐标系映射到图象坐标系，最后由 图象坐标系转换到象素坐标系。 光学成象的理论模型是针孔模型。根据这个模型，由光 心坐标系向图象坐标系的转换过程符合中心影射或透视投 影，可用齐次坐标与矩阵表示：
纳起来主要有 ４ 种方法。以下分别介绍这 ４ 种方法。 （１）ＣＣＤ 的制造误差，使得象素点间距 ｄｘ、ｄｙ 不完全相同。 （１）直接非线性最小优化法 这种方法是利用实际空 （２）镜头中的镜片的曲面误差。 间的控制点与其对应的图象象素坐标，利用空间点与图象平 （３）镜头中各镜片间的轴向间距。 面点之间的映射关系，建立一个包含成象相机的内部、外部 上述各种因素都是图象产生非线性畸变的原因，但它们 参数和镜头的畸变参数的方程组。选择一组待求参数的初始 各自的影响程度不同，实践证明上述影响因素中以镜头镜片 值，同时建立一个残差目标检验函数，设定目标残差的最小 组合间距误差产生的变形最为严重，其次是各镜片本身的曲 值，进行迭代运算。用这种方法求解的变形包涵了各种类型 线误差的影响。 图 ２、 图 ３ 是同一相机（ｏｌｙｍｐｕｓ Ｃ－２５００ｌ 的畸变， 可以得到较为精确的解（包括相机的内外参数和畸变 数码相机）分别在焦距为 ２８ｍｍ 和 ９．２ｍｍ 时拍摄的同一方 参数）。 但需要一组较为接近精确解的初始值， 否则很难有满 格图的照片，由图 ２、图 ３ 可见，图 ２ 中的变形使直线变成 意的结果。建立方程组考虑的因素多，把诸多的复杂因素都 了凹曲线，而图 ３ 中的变形使直线变成了凸曲线。 渗和在一起，使得方程组和算法过程都很复杂，方程组中的 未知参数至少有 １７ 个之多，而且所使用的相机、辅助设施 和测量过程都有相当高的要求。这种方法在早期的照相测量 学中有所应用，计算机视觉中应用较少。 （２）基于 ＲＡＣ 的两步法 两步方法是仅考虑有径向变 形而无切向变形的条件下进行的。也是通过已知点的空间坐 标和其对应的象素坐标，建立一组方程组。与上述方法不同 的是，它的求解过程是通过两步运算完成。第一步在不考虑 非线性畸变的条件下，通过求解一个线性方程组获得相机的 主要外部参数（除世界坐标系到光心坐标系在 Ｚｃ 方向的位移 图 ２ 焦距为 ２ ８ mm 时拍摄的照片 图 ３ 焦距为 9.2mm 时拍摄的照片 外的其他外部参数）和比例系数。 第二步首先将第一步中的结 实际上在考虑图象非线性变形的同时应该考虑 ＣＣＤ 象 果作为已知参数，不考虑图象的畸变，求出有效焦距和世界 素点间距 ｄｘ、ｄｙ 的大小。只有当图象的非线性变形量超过 坐标系的 Ｚｃ 方向位移的近似值， 然后再考虑图象畸变， 将上 ｄｘ、ｄｙ 才有研究的意义。随着 ＣＣＤ 制造技术的发展 ＣＣＤ 述解得的所有参数作为已知参数， 进一步求出有效焦距和 Ｚｃ 的象素值越来越大，象素点间距也变得越来越小，图象中的 的精确解以及变形系数 ｋ１、ｋ２。在这种方法中所涉及到的图 非线性变形在计算机视觉的研究中就显得越为重要。当然随 象坐标系的原点（即光轴与 ＣＣＤ 平面的交点）在象素坐标系 着相机的镜头制造质量的提高，镜头的这种非线性变形量也 中的坐标，一般不与图象中心点重合，采用图象中心点坐标 在减小。上述各项因素产生的非线性变形综合效果可用以下 代替图象坐标系的原点坐标， 对运算结果的精度影响很小［６］。 的数学模型来表示： 这种方法运算过程简洁、速度快。不足之处是只能求得径向 （ 2 2 2 2 2 2 变形系数，在象素分辨率较高时，相应的运算精度就显得比 δ x = k1 x (x + y ) + ( p1 (3 x + y ) + 2 p 2 xy ) + s1 (x + y ) （２） 较低了。 δ y = k 2 y (x 2 + y 2 ) + ( p 2 (3 x 2 + y 2 ) + 2 p1 xy ) + s 2 (x 2 + y 2 ) 式 （３）混合法 这种方法不需要设定所求参数的初始近 式中 δｘ、 δｙ 分别为图象象素点在图象坐标系中 ｘ、ｙ 方向的 似值，同时也能考虑到图象的径向变形和切向变形。公式（２） 变形量，ｘ、ｙ 分别是图象坐标系中的象素点的坐标，ｋ１、 的变形模型可改写成： ｋ２、ｐ１、ｐ２、ｓ１、ｓ２ 分别为变形系数。上式中的变形量可分 为三部分， 第一部分称为径向畸变， 第二部分称为离心畸变， δ x = ( g 1 + g 3 )x 2 + g 4 xy + g1 x 2 + k1 x x 2 + y 2 （４） 第三部分称为薄棱镜畸变。一般在应用中仅取第一部分的畸 δ y = g 2 x 2 + g 3 xy + ( g 2 + g 4 ) y 2 + k1 x 2 + y 2 变，这部分的变形已能足够描述非线性畸变，文献［５］指出， 由于在考虑非线性畸变时，相机定标需要使用非线性优化算 求解参数被分成两部分，一部分为相机的内部和外部参 法， 引入过多的非线性参数（如上述模型中的第二项和第三项） 数用向量 Ｍ 表示， 往往不仅不能提高精度，反而引起解的不稳定。由此可得： Ｍ＝（Ｕ０，Ｖ０，ｆｘ，ｆｙ，Ｔ，α，β，γ）Ｔ （５） x = x(1 + k1r 2 ) 式中 ｆｘ、ｆｙ 分别是 ｘ、ｙ 方向的有效焦距，Ｔ（Ｘｃ，Ｙｃ，Ｚｃ）、α、 （３） 2 β、 γ是世界坐标系向光心坐标系转换时在 ３ 个坐标轴方向的 y = y (1 + k 2 r ) 2 2 2 位移和转角。另一部分为变形参数用向量 Ｄ 表示， 式中 r = x + y ， x 和 y 分别是与实际图象中的坐标 Ｄ＝（ｋ１，ｇ１，ｇ２，ｇ３，ｇ４） （６） 为 ｘ 和 ｙ 相对应的变形校正后的坐标。 从公式（３）中可见， 从 建立一个误差目标函数 Ｆ（Ω，ω，Ｍ＊，Ｄ＊），其中Ω为一组三 光心与象平面的交点发出的径向直线，在图象发生非线性畸 维空间点的坐标，ω为与上述一组三维空间点所对应的图象 变前后仍保持其直线的性质不变，即基于 ＲＡＣ（Ｒａｄｉａｌ 点的坐标，Ｍ＊、Ｄ＊分别为 Ｍ、Ｄ 在运算过程中的参数组。设 ａｌｉｇｎｍｅｎｔ ｃｏｎｓｔｒａｉｎｔ）非线性畸变。由于非线性畸变的数 定一个误差目标值： 学模型的简化和它的 ＲＡＣ 特性，大大地方便了相机非线性畸 Ｆ＊＝ｍｉｎ Ｆ （Ω，ω，Ｍ，Ｄ） （７） 变的求解和图象的校正。 这种方法的运算过程如图 ４。 ２ 非线性畸变参数的求解 这种方法可以获得比较好的结果，但需要迭代运算，过 目前对相机镜头非线性畸变参数的求解方案有多种， 归
计算机视觉成象的非线性畸变研究与综述
姜大志 1,2 ，郁
摘
倩 1,2 ，王冰洋 1 ，丁秋林 1
(1.南京航空航天大学 324 信箱，南京 210016；2.盐城工学院，盐城 224003) 要：介绍了计算机视觉中光学镜头成象非线性畸变的原理及几种变形模型，提出产生了这种变形主要原因是镜片间的轴向间距的偏差。回顾并 总结了求解非线性畸变参数的 4 种方法，介绍各种方法的基本思想和相应的特点，分析、比较了各种方法的优缺点。 关键词 ：图象；畸变；象素；标定；非线性
Reserch and Overview of Imaging Nonlinear Distortion in Computer Vision
JIANG Dazhi1,2 ，YU Qian 1,2 ，WANG Binyang 1 ，DING Qiulin 1
(1.Nanjing University of Aeronautics and Astronautics,Nanjing210016； 2.Yancheng Institute of Industry and Technology ,Yancheng 224003) 【 Abstract】 In the paper principle and models are introduced about nonlinear distortion in imaging with optical camera lens in computer vision. It puts forward main distortion reason which is inaccuracy of axis distance of lens. Four slaving methods of nonlinear distortion parameters are viewed. Contents and feature of the methods are introduced,categorized and compared with. Some problems are discussed when they are used to practice. 【 Key words】 Image； Distortion； Pixel； Calibration； Nonlinear