张氏标定法

张氏标定法

张正友针对径向畸变问题提出了一个新的求解摄像机内外参数的方法，即张氏标定法，该方法是介于传统标定和自标定之间的一种方法，它只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定，由于该方法模板制作容易，使用方便，成本低，鲁棒性好，准确率高，因此得到了较为广泛的应用【49】。该算法也属于两步法，摄像机和模板可以自由的移动，不需要知道运动参数。本文即采用张氏摄像机标定的方法。 （1） 单应矩阵H 的计算

由前面所述内容可知，根据摄像机针孔成像模型，可以得到下面的等式：

[]?????

???????=?????

?

??????=????

??????11][13

21W W W W W W Z Y X t r r r A Z Y X t R A v u s 现在世界坐标系平面置于标定模板所在的平面，即0=W Z 。则上式可变为如下形式：

[]????

??????=?????

?

??????=????

??????110][12

1W W W W Y X t r r A Y X t R A v u s 其中，i r 表示旋转矩阵R 的第i 列向量。令[]T Y X M 1~

=，[]T v u m

1~=，则上式可简写为：

M H m s ~~=

其中：[]????

?

?????===1][32

31

232221

13121132

1

2

1

h h h h h h h h h h h t r r A H H 即为单应性矩阵。有M H m

s ~~=式子可以推出： ??

?

??++=++=++=1

323123222113

1211h X h s h Y h X h sv h Y h X h su 从而推得：

?

?

?++=++++=++232221323113

12113231h Y h X h v vYh vXh h Y h X h u uYh uXh 令：

[]323123

22211312

11'h h h h h h h h h =

则：

0'10000001=??

?

??

?------h v vY

vX

Y

X

u uY uX Y X 上式可以看作0'=Sh ，那么矩阵S S T

最小特征值所对应的特征向量就是该方程的最小二乘

解。再将解归一化得到所需的'h ，从而可以求得H 。由于线性解法所得的解一般不是最优的解，所以可以选取上面两个等式中的一个，构建评价函数，利用Levenberg-Marquarat 算法【51】计算出更高精度的解。 （2） 摄像机内外参数求解

由于（1）中求得的H 可能和真实的H 相差一个比例因子，因此将式子（3-45）写成如下形式：

[][]t r r A h h h 2

132

1

λ=

1r 与2r 为单位正交向量，有12211==r r r r T

T

，且021=r r T

，所以得到摄像机内部参数求解

的两个约束条件：???==------2

1

21112110

h A A h h A A h h A A h T T T T T T

（3-51） 令

()()()??

?????

?

?

?????????++--------+---

=??????????==--11

12

0222002

022002

00

2

022002

222

20022

3332

31

2122

21

131211

1ββαβγβ

βαβγγβ

αβ

γββαβγγββαγβαγ

βαβ

γβ

αγ

α

v u v v u v u v v u v u v B B B B B B B B B A A B T

B 是对称矩阵，可以用6维向量定义：

T B B B B B B b ][3323

13221211= 设H 第i 列向量表示为[]32

1

i i i i h h h h =，那么：

b V Bh h T

ij i T i =

其中：

将（3-51）写成关于b 的形式：

0221112=?

?

?

???-b V V V T T T 如有N 幅模板的图像，就可以得到：

[]

3333131311312

2122111j i j i j j i j j i j i j i j i ij h h h h h h h h h h h h h h h h h h V +++=

0=Vb

其中，V 是一个62?N 的矩阵，如果3≥N ，b 就可以被解出（带有一个比例因子），从而可以得到5个内参数【49】：

(2)最大似然估计

以上求解旋转矩阵R 的方法是基于最小距离的，不具备物理意义。接下对上面得到结果用最大似然估计来进行优化。 转动标定模板，从不同的角度拍摄棋盘标定模板的n 幅图像，设每幅图像都具有相同的标定点，标定点的个数为m ，并假设每个标定点的坐标都有独立同分布的噪声，那么最大似然估计可以通过求式（2-45）的最小值得到：

()∑∑==-=n i m

j j i i ij M t R A m

m 11

,,,?γ （2-45） 其中ij m 是三维场景中第i 个物点在第j 幅图像上的像点坐标矢量，i R 是第i 幅图像的旋转矩

阵，i t 是第i 幅图像的平移向量，j M 是三维场景中第j 个物点的空间坐标，()

j i i M t R A m

,,,?是通过已知初始值得到的像点估计坐标。

()j i i M t R A m

,,,?的求解是一个经典的非线性优化的问题，使评价函数最小的A ，i R ，i t 就是这个问题的最优解。可以取第一次得到的线性求解结果作为A 、{}

n i t R i i 1,=的初始值，解决这类问题的方法很多 ，在计算机视觉领域里通常使用Levenberg-Marquarat 算法【70】

进行求解。

[70] J. More.The levenberg-marquardt algorithm, implementation and theory.In G. A.Watson, editor, Numerical Analysis, Lecture Notes in Mathematics 630.Springer-Verlag,1977.

什么是最优化？

Levenberg-Marquardt 算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析 、最优设计、机械或电子设计等等。根据求导数的方法，可分为2大类。第一类，若f 具有解析函数形式，知道x 后求导数速度快。第二类，使用数值差分来求导数。根据使用模型不同，分为非约束最优化、约束最优化、最小二乘最优化。

什么是Levenberg-Marquardt 算法？

它是使用最广泛的非线性最小二乘算法，中文为列文伯格-马夸尔特法。它是利用梯度求最大（小）值的算法，形象的说，属于“爬山”法的一种。它同时具有梯度法和牛顿法的优点。当λ很小时，步长等于牛顿法步长，当λ很大时，步长约等于梯度下降法的步长。

LM 算法的实现并不算难，它的关键是用模型函数 f 对待估参数向量p 在其领域内做线性近似，忽略掉二阶以上的导数项，从而转化为线性最小二乘问题，它具有收敛速度快等优点。LM 算法属于一种“信赖域法”，所谓的信赖域法，即是：在最优化算法中，都是要求一个函数的极小值，每一步迭代中，都要求目标函数值是下降的，而信赖域法，顾名思义，就是从初始点开始，先假设一个可以信赖的最大位移s ，然后在以当前点为中心，以s 为半径的区域内，通过寻找目标函数的一个近似函数（二次的）的最优点，来求解得到真正的位移。在得到了位移之后，再计算目标函数值，如果其使目标函数值的下降满足了一定条件，那么就说明这个位移是可靠的，则继续按此规则迭代计算下去；如果其不能使目标函数值的下降满足一定的条件，则应减小信赖域的范围，再重新求解。 LM 算法需要对每一个待估参数求偏导，所以，如果你的拟合函数 f 非常复杂，或者待估参数相当地多，那么可能不适合使用LM 算法，而可以选择Powell 算法（Powell 算法不需要求导）。

镜头畸变的校正

由于透镜的结构特点，使大多数摄像机在成像过程中或多或少会存在镜头畸变，而其中对成像模型影响最明显的是径向畸变，下面重点介绍径向畸变校正技术。

在本标定方法中，对摄像机的非线性问题，只考虑了镜头的一阶和二阶径向畸变，且假设摄像机镜头在x 轴方向和y 轴方向的畸变系数相同。设径向畸变的畸变模型【72】为：

()()()()?????++++=++++=]

[][?2

2222212

222221y x k y x k y y y y x k y x k x x x

（2-46） 其中，（x,y ）为校正前的图像坐标，)?,(y

x

为校正后的图像坐标，1k ，2k 为一阶径向畸变和二阶径向畸变系数。由于透镜的中心对称性，所以式（2-46）中考虑x 方向上与y 方向上的径向畸变率是相同的。将式（2-46）转换到像素坐标有：

])()()[(?])()()[(?2222221022222210y

x k y x k v v v v

y x k y x k u u u u

+++-+=+++-+=

其中，),(v u 为校正前的图像像素坐标，)?,?(v u

为校正后的图像像素坐标。 当有n 幅图像时，就可以得到n 组类似于式（2-47）的方程组，将它们叠加可得：

写成矩阵形式： d Dk = （2-48）

然后，通过线性最小二乘的方法求出径向畸变系数：

d D D D k T T 1)(-= （2-49）

当摄像机的一级径向畸变系数1k 和二级径向畸变系数2k 求出以后，就可以用这一组系数来校正，从式（2-34）和式（2-35）中求出的各内参数和外参数，校正过程是一个非线性化优

化过程，可以用它们来重新计算()

j i i M t R A m

,,,?的值，然后重新应用最大似然估计，并利用Levenber-Marquarat 算法迭代进行最小化处理，进一步优化所有的参数。这样，在经过非线

性校正及优化的各个参数中，径向畸变的现象将大为削弱。 一种逐步求解的新的摄像机线性标定方法

设),,(w w w z y x 是三维世界坐标系中目标点P 的三维坐标，),,(z y x 是该点在摄像机坐标系中的三维坐标，摄像机坐标系oxyz 定义为：坐标原点o 在摄像机的光心，z 轴与光轴重合，图像坐标系OXY 定义为：坐标原点在光轴与图像平面的交点O ，其X 、Y 轴分别平行于摄像机坐标系的x 、y 轴。),(u u Y X 是在理想机模型下点的图像坐标，),(d d Y X 是由透镜径向畸变引起的偏离的实际图像坐标，),(i i Y X 是计算机图像坐标系中p 点的图像坐标，单位像素数有效焦距f 是光学中心到图像平面的距离。

根据投影和透视变换理论以及矩阵转换知识，把从三维世界坐标系到计算机图像坐标系的完整变换分为4步：

（1） 三维空间坐标系到摄像机坐标系的变换（),,(w w w z y x 到),,(z y x ）：

T z y x R z y x w w w +????

?

?????=?????????? （1） 其中，R 和T 分别为从世界坐标系到摄像机坐标系的旋转和平移变换，R 是一个33?的正

交矩阵，T 是一个13?的平移向量，独立变量共6个。

（2） 小孔摄像机模型下的理想透视投影变换（从),,(z y x 到),(u u Y X ）

z x

f

X u =（2） z y

f Y u = （3）

（3） 畸变模型：描述图像坐标系中实际图像坐标),(d d Y X 和理想图像坐标),(u u Y X 间的

关系。实验证明，图像中心点处的畸变很小，在图像边缘处的畸变较大，因此选择2

d

kR

作为畸变因子，建立如下的畸变模型：

u d d X kR X )1(2

+= (4) u d d Y kR X )1(2+= (5)

其中，222d d d Y X R +=，2

d

R 为径向半径的平方，k 为径向畸变系数。