双目摄像机标定

1.摄像机标定技术的发展和研究现状

计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。真实的3D场景与摄像机所拍摄的2D图像之间有一种映射关系，这种关系是由摄像机的几何模型或者参数决定的。求解这些参数的过程就称为摄像机标定。摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系。

总的来说, 摄像机标定可以分为两个大类: 传统的摄像机标定方法和摄像机自标定法。传统摄像机标定的基本方法是, 在一定的摄像机模型下, 基于特定的实验条件如形状、尺寸已知的参照物, 经过对其进行图像处理, 利用一系列数学变换和计算方法, 求取摄像机模型内部参数和外部参数。另外, 由于许多情况下存在经常性调整摄像机的需求, 而且设置已知的参照物也不现实, 这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的, 与场景和摄像机的运动无关, 所以相比较下更为灵活。

1966年，B.Hallert研究了相机标定和镜头畸变两个方面的内容，并首次使用了最小二乘方法，得到了精度很高的测量结果。1975年，学者W. Faig建立的一种较为复杂的相机成像模型，并应用非线性优化算法对其进行精确求解，但是仍存在两个缺点，一是由于加入了优化算法导致速度变慢，二是标定精度对相机模型参数的初始值的选择有严重的依赖性，这两个缺点就导致了该标定方法不适于实时标定。1986年Faugeras提出基于三维立方体标定物通过拍摄其单幅图像的标定方法，该方法是基于理想线性模型的，标定精度较高，但是对标定立方体的制作和加工的精度要求太高，维护起来困难且并未考虑畸变参数的影响。1986年，在非线性优化标定理论的基础上R. Y. Tsai提出了Tsai摄像机模型，对应这种Tsai摄像机模型提出了经典的Tsai两步标定法。Tsai两步标定法的主要思想是：为了使迭代次数明显减少，计算速度也就得到加快，所以采用了除了少数标定参数利用了非线性的迭代方法求解，而标定过程中其他大部分参数则采用了常规的线性方法直接求解。不过这种Tsai两步标定法设定的相机模型畸变量较简单，没办法解决实际中比较复杂的畸变标定问题。由于Tsai两步标定法中存在的明显不足，J. Weng对Tsai的畸变模型进行改进之后，在此基础上对应的标定方法就能够很好的进行运用和实现较好的标定效果。1999年，微软研究院的张正友提出了一种基于移动平面模板的摄像机标定方法，该方法缩小了相机标定的成本，而且简单明了，并且标定的精度也明显提高了很多。

目前已有的自标定技术大致可以分为几种：利用绝对二次曲线和极线变换性质解Kruppa 方程的摄像机自标定方法、分层逐步标定法、基于二次曲面的自标定方法、基于主动视觉的摄像机自标定技术以及其他改进的摄像机自标定技术。

20世纪90年代初，Faugeras ，Luong ，Maybank 等首先提出了自标定的概念, 使得在场景未知和摄像机任意运动的一般情形下标定成为可能。Faugeras 等从射影几何的角度出发证明了每两幅图像间存在着两个形如Kruppa 方程的二次非线性约束，通过直接求解Kruppa 方程组可以解出内参数。鉴于直接求解Kruppa 方程的困难，人们又提出了分层逐步标定的思想，即首先对图像序列做射影重建，在此基础上再仿射标定和欧氏标定。分层逐步标定的方法以Hartley 的QR 分解法，Triggs 的绝对二次曲面法，Pollefeys 的模约束法等为代表。

由于我们的需求总是在不断发生变化，研究效率需要不断提高，因此我们需要使用更灵活方便、运算更快、精度更高的标定方法，同时这也意味着我们需要更好地解决优化问题中存在的缺陷，这也是目前学者们不断提高标定技术的主要方向和研究的重要内容，而所说的优化缺陷指的就是冗余参数、模型表达、方程病态等问题。

2.视觉测量的基础理论

2.1 坐标系定义

一、世界坐标系（World Coordinate System ）w w w w O X Y Z -

用户定义的三维坐标系，用来描述真实物理世界中的物体坐标。 二、摄像机坐标系（Camera Coordinate System ）c c c c O X Y Z -

原点为摄像机光心，一般为镜头中心点。c z 轴沿光轴指向景物方向，c x 轴和c y 轴分别与像素行和列平行。

三、像平面坐标系（Image Coordinate System ）i o xy -

原点为光轴与像平面的交点，i x 轴和i y 轴分别与c x 轴和c y 轴平行且指向相同。 四、像素坐标系（Pixel Coordinate System ）o uv -

像素坐标（u ，v ）实际上是像点在像素阵列中的行数与列数，选择u 轴和v 轴分别平行于c x 轴和c y 轴且方向相同，原点位于像素阵列的一个角上，阵列内所有像素的u 和v 坐标为正值。 2.2 坐标系转换

摄像机的成像模型一般采用针孔模型（Pin-Hole Model ），是一个简单的线性模型，与我们中学时学的小孔成像是一个原理，如图1所示。

图1 两千多年前，墨子和学生进行了世界上第一个小孔成像实验 如图2左边所示，为了把成像模型解释清楚，我们来仔细看看摄像机的成像几何关系。同时我们把成像平面放到了小孔的前面，这样成像就是正立着的而不像上图那样倒立了。

图2 左：针孔成像模型；右：图像坐标系

——O 点称为摄像机的光心，由点O 与c X 、c Y 、c Z 轴组成摄像机坐标系。

——I 是成像平面（图像平面），我们把镜头对焦后，物体就成像在这个平面。图像平面构成了一个像平面坐标系，横坐标为i x ，纵坐标为i y 。

——c X 轴和c Y 轴与图像的i x 轴与i y 轴平行，c Z 轴为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点，即为像平面坐标系的原点xy O 。

——O 点和xy O 点之间的长度为摄像机焦距f 。

如图2右边所示，像平面坐标系以O xy 为原点，由x 、y 轴组成，单位是mm 。然而，在实际的相机中，并不是以物理单位（如mm ）来表示某个成像点的位置的，而是用像素的索引。比如一台相机的像素是1600×1200，说明图像传感器（也就是以前的胶片）横向有1600个捕捉点，纵向有1200个，合计192万个。对于某个成像点，实际上都是这样表示的：横坐标第u 个点，纵坐标第v 个点（而

不是横坐标x mm ，纵坐标y mm ）。假设O xy 在u 、v 坐标系中的坐标为00(,)u v ，每一个像素在x 轴与y 轴方向上的物理尺寸为宽x d mm ，高y d mm ，则图像中任意一个像素的索引坐标与物理坐标满足下面的换算关系：

00x y x u u d y v v d ?

=+??

?

?=+??

（1） 将上式写成矩阵的形式：

001

01

01100

1x y u d u x v v y d ????????????

????=???????

??????????????

?

（2） 这里把之前的坐标(,)u v 和(,)x y 都转成齐次坐标(,,1)u v 和(,,1)x y 了。齐次坐标（Homogeneous Coordinate ）的好处是：即使乘个系数(0)k k ≠，仍对应于原来的同一个点。同时，还便于几何变换（旋转、缩放、平移），只需用一个大一号的矩阵即可将变换矩阵的乘法（旋转、缩放）和加法（平移）合并到一块。此外，齐次坐标还可表示不同的无穷远点。

如图2左边所示，空间上任何一点P 在图像上的投影位置p 为光心O 与P 点的连线OP 与图像平面的交点，这种关系也被称为中心射影或透视投影。由几何比例关系可得出：

c c

x f

X Z =

（3） c c

y f Y Z = （4） 0

000

0010

101c c c c X x f Y

Z y f Z ????????

??????=????????????

??????

（5）

其中(,)x y 为p 的图像坐标，(,,)c c c X Y Z 为空间点P 在摄像机坐标系下的坐标。

摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R 与平移向量t 来描述，即：

T 111c w w c w w c w w X X X Y Y Y Z Z Z ????????????????????==??????

????????????????

b R t M 01（6）

其中R 为3×3的矩阵；t 为3×1的向量；b M 为4×4的矩阵，也被称为摄像机外部参数矩阵。

我们将公式（2）和公式（5）代入公式（6），就可以得到P 点在世界坐标系下的坐标(,,)w w w X Y Z 与其在图像平面的投影点p 的坐标(,)u v 的关系：

00T 1

00001

0000100

10100

1w x

w c w y u X d u f Y Z v v f Z d ??????

????????

???

???????=??

???????????

???????????

????

???

?

R t 01 00T 0

0000

101w x

w y

w X u Y v Z αα??

????

??????=??

????????????

??

R t 01 ==a b w w M M P MP （7）

其中，x x f

d α=

，y y

f d α=；=a b M M M 为3×4矩阵，称为投影矩阵；a M 完全由x α、y α、0u 、0v 决定的摄像机内部结构（如焦距、光心）有关，称为摄像机内

部参数；b M 完全由摄像机相对于世界坐标系的方位（如摆放位置和拍摄角度）决定，称为摄像机外部参数。确定某一摄像机的内部和外部参数，就被称为摄像机标定（Calibration ）。注意，很多情况下的摄像机定标仅指确定摄像机的内部参数。

3.张正友标定法

该方法最早由微软研究院的Zhengyou Zhang 教授提出，1998年发表在IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE ，论文题目为：A Flexible New Technique for Camera Calibration 。

（一）标定平面到图像平面的单应性

单应性(homography)：在计算机视觉中被定义为一个平面到另一个平面的投影映射。首先看一下，图像平面与标定物棋盘格平面的单应性。 符号定义：

T [,]m u v =，表示像平面二维点，增广形式T [,,1]m

u v = ； T [,,]M X Y Z =，表示空间三维点，增广形式T [,,,1]M X Y Z = 。 转换关系：

[,]sm M =A R t ，0000

0u v α

γ

β

??

??=?

?????

A （8） 其中，s 是尺度因子，对于齐次坐标，尺度因子不会改变坐标值的；A 表示摄像机的内参数；因为像素不是规规矩矩的正方形，γ代表像素点在,x y 方向上尺度的偏差。

因为标定物是平面，所以我们可以把世界坐标系构造在Z=0的平面上。然后进行单应性计算。令Z=0可以将上式转换为如下形式：

[][]123120111X u X Y s v Y ??

????

??

??????==??????????????

??

??

A r r r t A r r t （9） 既然，此变化属于单应性变化。那么我们可以给[]12

A r r t 一个名字：单

应性矩阵，用H 来表示，

sm M =H ，[]12=H A r r t （10）

H 是一个3×3的矩阵，并且有一个元素是作为齐次坐标。因此，H 有8个未知量待解。现在有8个未知量需要求解，所以我们至少需要八个方程。所以需要四个对应点。四点即可算出图像平面到世界平面的单应性矩阵H 。 （2）利用约束条件求解内参矩阵A

从上面可知，应用4个点我们可以获得单应性矩阵H 。但是，H 是内参阵和外参阵的合体。我们想要最终分别获得内参和外参。所以需要想个办法，先把内参求出来。然后外参也就随之解出了。

定义23[]=1H h h h ，由（10）可知，

[]2312[]λ=1h h h A r r t

式中λ是尺度因子。因为T 120=r r ，可得两个基本限制条件

T T 1120--=h A A h （11）

T T 1T T 1

1122----=h A A h h A A h （12）

式子中，1h , 2h 是通过单应性求解出来的那么未知量就仅仅剩下，内参矩阵A 了。内参阵A 包含5个参数：α，β，0u ，0v ，γ。那么如果我们想完全解出这五个未知量，则需要3个单应性矩阵。3个单应性矩阵在2个约束下可以产生6个方程。这样可以解出全部的五个内参了。那我们怎样才能获得三个不同的单应性矩阵呢？答案就是，用三幅标定物平面的照片。我们可以通过改变摄像机与标定板间的相对位置来获得三张不同的照片。（当然也可以用两张照片，但这样的话就要舍弃掉一个内参了0γ=）

定义

11

1213T 112

22

2313

23

33B B B B B B B B B --????==??????

B A A 0022220002222

22

22200000

0002222

2221

1

()()()1v u v u v v u v u v v u v γγβ

ααβ

αβ

γγγγβαβαββαββγβγγβγβαβ

αββ

αββ??

--

????

??-=-+--??????

----

-++??

??

（13） 注意到矩阵B 是对称阵，于是全部未知元素定义成一个6D 矢量

T 111222132333[,,,,,]B B B B B B =b （14）

矩阵H 的第i 列为T 123[,,]i i i i h h h h =，得到

T T i j ij h h =B v b （15）

其中，111221223113322333[,,,,,]T ij i j i j i j i j i j i j i j i j i j h h h h h h h h h h h h h h h h h h =+++v 。

因此，约束条件（11）、（12）可以写成如下形式

12

11220()T T ??=??

-??

v b v v （16）

通过至少含一个棋盘格的三幅图像，应用上述公式我们就可以估算出B了。得到B后，我们通过cholesky分解，就可以轻松地得到摄像机的内参阵A。

2

012131123112212

2

331301213112311

2

12

2

0013

()/()

[()]/

/

//

v B B B B B B B

B B v B B B B B

B

u v B

λ

α

β

γαβλ

γααλ

=--

=-+-

=

=

=-

=-

（17）

（3）已知内参矩阵A求解外部参数

从（10）可知，

1

1

λ-

=

1

r A h，1

22

λ-

=

r A h，

312

=?

r r r，1

3

λ-

=

t A h

（4）非线性模型的标定

之前考虑的都是理性化的针孔相机模型，真实的摄像机镜头总是存在着几何畸变。目前考虑较多并且对成像影响较大的是径向畸变。那么如何得到精度更高的标定结果呢？张氏标定法采用了最大似然估计的方法。

评价函数：

2

11

?(,,,)

n m

ij

i j

m m

==

-

∑∑i j

A R t M（18）

其中，n是图片张数，m是特征点个数。使（18）最小是一个非线性优化问题，使用Levenberg-Marquardt算法可以解出。该方法需要较准确的初值，可以

由前述方法给出。

（5）总结张氏标定的过程：

1. 打印一张棋盘格，把它贴在一个平面上，作为标定物。

2. 通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。

3. 从照片中提取特征点（如角点）。

4. 估算理想无畸变的情况下，五个内参和所有外参。

5. 极大似然法，优化估计，实际存在径向畸变下的畸变系数，提升估计精度。