摄像机标定张正友讲解

按图（a）的情况，则o的坐标可表示为：
其中 因为噪声的影响，图片中三条线不会准确的交于某个点， 所以需要用最小二乘法计算。 按图（b）的情况，则有：
与o的坐标：
Zo为比例因 子，计算可 消去。
上式两端分别叉乘a,b,c
约束条件：
• 由右图可得： •、
根据
上式转化：
将（8）（9）（10）带入上式有： 其中
X
u
sv


Ar1
r2
r3
t Y
0


Ar1
r2
X
t
Y

1

1

1
我们假定： H Ar1 r2 t 则原式可化为：
sm~ HM~
这里，矩阵H就是从世界坐标系到图像坐标系的3×3大 小的单应性矩阵。对H再次进行变形，假设h1,h2,h3是
r1 r2

A1h1 A1h2
tr3rA1 1rh23



1 A1h1

1 A1h2
畸变校正模型
由于透镜的中心对称 性，所以式中考虑x 方向上与y方向上的 径向畸变率是相同的
x y
x x[k1(x2 y2 ) k2 (x2 y2 )2 ] y y[k1(x2 y2 ) k2 (x2 y2 )2 ]
很显然，B是一个对称矩阵，我们假定：
b B11 B12 B22 B13 B23 B33 T
设H矩阵中第i列的向量为 hi hi1 hi2 hi3 T
带入到 h1T AT A1h2 0 中有：
hiT B hj vijT b
解得： vij hi1hj1 hi1hj2 hi2hj1 hi2hj2 hi3hj1 hi1hj3 hi3hj2 hi2hj3 hi3hj3
sin cos
y0

y'
z 1
cos sin cos

0
cos sin sin sin cos 0
cos cos 0
z0 1

z'
1

3 张正友方法简述
• 单应性矩阵H
假如世界坐标与摄像机坐标的XY平面重合，即Z=0，有：
张正友标定算法 及其改进算法
组员：
• 1 摄像机标定简介 • 2 成像变换与摄像机模型、参数 • 3 张正友标定算法原理 • 4 程序实现 • 5 改进型算法（基于三个非共线点的标定
方法）
1 摄像机标定简介
1 摄像机标定:求解摄像机参数的过程，建立摄像机图像像 素位置与场景点位置之间的关系，其途径是根据摄像机模 型，由已知特征点的图像坐标求解摄像机的模型参数。
u u (u u0 )[k1(x2 y2 ) k2 (x2 y2 )2 ] v v (v v0 )[k1(x2 y2 ) k2 (x2 y2 )2 ]
(u

(v

u0 )(x2 v0 )(x2

y2 y2
) )
(u (v

u0 )(x2 v0 )(x2
５ 改进型算法
以上讲述张的方法为基于匹配的方法，它是张在1999年的 论文《A Flexible New Technique for Camera Calibration》提出来的，目前已经得到广泛应用。它至 少需要4个已知点来求解每张图片的单应性矩阵H，至少 需要3张图片求解内置参数矩阵A。那么能不能以更少的 已知匹配点来求解参数呢？

y2 )2 y2 )2
k1

k2


u v

u
v

Dk d
然后，通过线性最小二乘的方法求出径向畸变系数：
k (DT D)1 DT d
４ 程序实现
• 张正友标定方法流程
1.打印一张标定板，然后附加到一个平坦的表面上。 2.通过移动相机或者平面拍摄标定板各种角度的图片。 3.检测图片中的特征点 4.计算5个内部参数和所有的外部参数 5.通过最小二乘法先行求解径向畸变系数。 6.通过求最小参数值，优化所有的参数
Thanks

齐次坐标形式:
v0
C
yd
xd
O1
Xd
u0
u fu
v



0
1 0
fu cot fv / sin
0
u0 xd
v0


yd

1 1
其中
1
1
fu dx , fv dy
成像模型与参数
sm~ A[R,t]M~
v0 (B12B13 B11B23 ) /(B11B22 B122 )



B33
[B132

v0 (B12 B13

B11B23 )]/
B11

fu

fv
/ B11 B11 /(B11B22 B122 )
s B12 fu2 fv /
u0 sv0 / fv B13 fu2 /
A
பைடு நூலகம்

0

v0

0 0 1
A中有5个未知数，我们需要 至少5个方程，也就是说至少 需要3幅图片求解Ａ。
我们假定：
B11 B12 B13
B

AT
A1


B21
B22
B23

B13 B23 B33
1

2



2
v0 u0
靠多幅图像之间的关系进行标定，灵活性强，非线性 标定， 鲁棒性不高。
2 成像变换与摄像机模型、参数
• 图像数字化
O1在 u, v 中的坐标为u0 ,v0
V
象素在轴上的物理尺寸为dx, dy
Yd
Affine Transformation :
u

u0

xd dx

yd
cot
dx
v

v0

dy
yd sin
H的列向量，有： H h1 h2 h3 Ar1 r2 t
H h1 h2 h3 Ar1 r2 t
r1

1

A1h1
r2

1

A1h2
r12 r22 r32 1 r1 r2 r2 r3 r3 r1 0
r1T r2 0
r1 r2 1
外参矩阵的求解
根据
并且已知K，我们可以得到
（A(i),B(i),C(i)）用G表示.
用(8)(9)(10)或者(16)(17)(18)式
代替
得到:
m1,m2m3取决于旋转轴的选取。 得到外参矩阵：
• 改进算法只需要至少3个非共线点与2幅图片即可 求出参数，并且避免了大规模矩阵运算。
基于该算法的特点，常用钟表盘与三角形进行标定。 实验表明该算法在图片大于6幅图、cos θ 介于[-0.5,0.5] 时，结果较精准。
r1

1

A1h1
r2

1

A1h2
r1T r2 0
r1 r2 1
h1T AT A1h2 0 h1T AT A1h1 h2T AT A1h2
求出 H h1 h2 h3 Ar1 r2 t 后，可应用上
述的约束矩阵来求解内置参数矩阵A。
u0
现在只有K 内含有5个 未知数，所 以至少只需 要两幅图片 即可求出K
第二种情况
将非共线点绕某条边转： O点坐标可表示为：
O坐标可表示为：
按第一种情况相同的方法可以得到:
将三式代入约束 条件，得到
其中h1,h2与第一种情况有相同结构。
• 求解内参矩阵K的方法和张正友的前期方法相同，不再介 绍。
h1T AT A1h2 0 h1T AT A1h1 h2T AT A1h2

v12T
b 0
(v11 v22)T
v12T b 0 (v11 v22 )T b 0
Vb 0
• Ｂ矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的 R，t也迎刃而解
旋转矩阵R=[r1,r2.r3];分别为xyz方向的旋转向量；我 们将用上述性质得到求解内置参数矩阵的约束方程。
sm~ HM~
上式中包含XY 两个方程；H为3乘3矩阵，包 含一个齐次坐标与8个未知数，要求出H，至 少需要8个方程，也就是说，一幅图片至少需 要已知的4个点才能求出H。
求解内置参数矩阵A
该方法步骤： • 1 旋转3个非共线点 • 2 得到中心点O与o坐标 • 3 根据约束条件建立方程 • 4 求解内参矩阵K • 5 求解外参[R，t]
图像的成像模式：
三个非共线点旋转
• 1.假如我们已知世界坐标中三个非共线的点（A，B，C） 和图像坐标中对应的点（a,b,c）坐标。 （A,B,C）可以得到一个向量（l1,l2, θ），如图：
该方法求解参数的 约束方程将从上述 向量得到。
旋转轴的选取： 1.三个非共线点绕垂直于支持平面的轴旋转180 度 2.将非共线点绕某条边转 第一种情况：
轴L为可以由（A,B,C）所表示的垂直于平面的直线，点O为轴 交平面的交点。旋转前为（A(i),B(i),C(i)）,旋转后为（A(j),B(j),C(j)） 对应的图像坐标点为（a(i),b(i),c(i)）, （a(j),b(j),c(j)）与点o.
x,y
x’ y’
u,v
Z=0
考虑径向失真
3 几种标定方法的介绍： 1.传统的摄像机标定方法
利用已知的景物结构信息，与图片坐标对比，常用到 标定块。
精度高，过程复杂，需要高精度已知信息。 2.主动视觉摄像机标定方法
已知摄像机的某些运动信息。可线性求解，鲁棒性高， 但大多数场合不能得到摄像机运动信息。 3.摄像机自标定方法
1 001
A
摄像机外参数矩阵 [R t]
xw
t


yw


zw

1
x cos cos
cos sin
sin x0 x'

y

sin

sin

cos
sin sin sin cos cos
张正友等人在2008年的一篇论文
《Camera Calibration With Three Noncollinear
Points Under Special Motions》中提出了至少只需要3个 已知非共线的点，和2幅图片的方法。
基于三个非共线点在特殊运动下的摄像机标定
• 我们知道至少三点可以确定一个平面，而张正友的标定方 法正是基于两个平面的匹配，所以三个非共线点的标定方 法理论是可行的。
2
2
2

1
2


(v0 2
u0
2
)

v0
2
u0
A


0

v0

0 0 1
v0 u0 2



(v0

2
(v0 u0 2 2
u0
2
)2
)v022v021
任意数
二维坐标 内参矩阵 旋转矩阵 平移矩阵 三维坐标
m [u, v]T 图像二维坐标
M [X ,Y , Z ]T 世界三维坐标 S为深度比例因子，方便计算，可消去。
摄像机的内参数矩阵 A
u ffu ffu cot u0
zc
v



0
ffv / sin v0 R
2 摄像机标定的目的：三维重建，就是指从图象出发恢复出 空间点三维坐标的过程。
Xc
x
Zc
Xw
Zw
u
Ow
Yw
世界坐标系
v O1
y
图像坐标系
O
摄像机坐标系
Yc
坐标系
• 三个坐标系：
1、世界坐标系： X w ,Yw , Z w
2、摄像机坐标系： x,y,z
3、图像坐标系: u, v x, y
Xw,Yw,Zw