摄像机标定张正友讲解
张正友标定算法原理详解
张正友标定算法原理详解
张正友标定算法是一种多摄像机标定的有效方法，它使用了一个具有内部参考点的3D物体来检测至少6个相互独立的2D-3D配准，从而确定每个摄像机之间的关系。
该算法的优点在于它能够利用棋盘格子上的多个点，从而使得标定更加可靠。
张正友标定算法主要分为三步：
(1)首先获取所有摄像机的内参和外参，这些参数表示每个摄像机的视角和位置，包括焦距、畸变参数和旋转参数等信息。
(2)计算每个摄像机的平面坐标系，这些平面坐标系将求解的不同摄像机之间的关系。
(3)把实际的物体点映射到每个摄像机的平面坐标系中，并计算所有摄像机之间的关系。
最后，张正友标定算法可以得出每个摄像机的位置和姿态，从而实现多摄像机视角的标定。
(完整版)张正友相机标定法
0 0 1
设H矩阵中第i列的向量为 hi hi1 hi2 hi3 T
带入到 h1T AT A1h2 0 中有：
hiT B hj vijT b
解得： vij hi1hj1 hi1hj2 hi 2hj1
hi2h j 2
hi3hj1 hi1hj3
0
x0 x'
y0
y'
z0 1
z'
1
R r1 r2 r3
T (t1, t2 , t3 )T
r12 r22 r32 1 r1 • r2 r2 • r3 r3 • r1 0
x
y z
R 0
1
x'
T 1
y' z'
1
图像数字化
O1 在 u, v 中的坐标为 u0, v0
象素在轴上的物理尺寸为 dx, dy
V
Yd
Affine Transformation :
u
u0
xd dx
yd
cot
dx
v
v0
dy
yd sin
齐次坐标形式:
v0
张正友相机标定方法
曲峰
2020/2/16
1 相机畸变
镜头畸变实际上是光学透镜固有的透视失真的总称
枕形畸变：又称鞍形畸变，视野中边缘区域的放大率远大于光轴中心附近 区域放大率。常出现在远摄镜头中。
桶形畸变：同枕形相反，视野中光轴中心附近区域放大率远大于边缘区域。 常出现于广角镜头和鱼眼镜头。
张正友标定法
小组成员：张文豪 张智宇 陈宇
一、张正友标定法简介
目 二、张正友标定法数学原理 录 三、张正友标定法程序实现
四、标定实验及结果
张正友标定法 简介
像机标定：
建立摄像机图像像素位置与场景点位置 之间的关系，其途径是根据摄像机模型， 由已知特征点的图像坐标求解摄像机的 模型参数。
➢ 张正友标定法是张正友教授于1998年 在名为“A Flexible New Technique for Camera Calibration”一文中提 出的单平面棋盘格的摄像机标定方法。
➢ 透视投影
像平面 光心
f z
x=RX +
r01 r11
r02 r12
X Y
Tx Ty
z r20 r21 r22 Z Tz
[R,T]矩阵被称为外参数
光轴
K=
x f
y
0
1 0
K1K2
0 0 xc
f
0
yc
0 1 zc
u 1/ dx
v
B
K
T
K
1
B21
B22
B23
B31 B32 B33
b [B11, B12 , B22 , B13, B23, B33 ]
化简 hiT Bhj VijTb 得：
Vij [hi1hj1, hi1hj2 hi2hj1, hi2hj2 , hi3hj1 hi1hj3 , hi3hj2 hi2hj3 , hi3hj3 ]T
0
1 0
0 1/ dy
0
u0 x
v0
y
1 1
K矩阵被称为内参数
K1 K2
➢ 单应性映射
摄像机标定张正友教材
~ ~ sm HM
上式中包含XY 两个方程；H为3乘3矩阵，包 含一个齐次坐标与8个未知数，要求出H，至 少需要8个方程，也就是说，一幅图片至少需 要已知的4个点才能求出H。
求解内置参数矩阵A
r1 r2 1
1
A 1h1 A 1h2
T T 1 h1 A A h2 0
T T 1 T T 1 h1 A A h1 h2 A A h2
精度高，过程复杂，需要高精度已知信息。 2.主动视觉摄像机标定方法 已知摄像机的某些运动信息。可线性求解，鲁棒性高， 但大多数场合不能得到摄像机运动信息。 3.摄像机自标定方法 靠多幅图像之间的关系进行标定，灵活性强，非线性 标定， 鲁棒性不高。
2 成像变换与摄像机模型、参数
• 图像数字化
O1在 u , v 中的坐标为 u 0 , v0 象素在轴上的物理尺寸为 dx, dy
基于三个非共线点在特殊运动下的摄像机标定
• 我们知道至少三点可以确定一个平面，而张正友的标定方 法正是基于两个平面的匹配，所以三个非共线点的标定方 法理论是可行的。 该方法步骤： • 1 旋转3个非共线点 • 2 得到中心点O与o坐标 • 3 根据约束条件建立方程 • 4 求解内参矩阵K • 5 求解外参[R，t] 图像的成像模式：
(v11 v22 )T b 0
T
vij b
T
h A A h2 0
T T 1 h1T AT A1h1 h2 A A h2
v12T b 0 (v11 v 22)T
Vb 0
• Ｂ矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的 R，t也迎刃而解
6.通过求最小参数值，优化所有的参数
张正友相机二维标定
ˆ A, Ri , ti , M j m
是通
ˆ A, Ri , ti , M j 的求解是一个经典的非线性优化的问题，使评价函数最小的A，Ri，ti就是 m
这个问题的最优解。可以取第一次得到的线性求解结果作为A、Ri , ti i 1n的初始值，解决 这类问题的方法很多 ，在计算机视觉领域里通常使用Levenberg-Marquarat(LM)算法进行求 解。
T
v12 b 0
(v11 v22 )T b 0
Vb 0
• V矩阵是2*6矩阵，也就是说每张照片可建立起两个方程组，6个未 知数。根据线性代数知识可知，解6个未知数需至少6个方程组，所 以也就是说我们至少需要三张照片才能求解未知数。b矩阵的解出， 相机内参矩阵A也就求解出，从而每张图像的R，t也迎刃而解。
r r 0
T 1 2
r1 r2 1
对单应性矩阵H的估算
• H就是我们常说的单应性矩阵，在这里描述的是空间中平面三维点
和相机平面二维点之间的关系。因为相机平面中点的坐标可以通过 图像处理的方式（哈里斯角点，再基于梯度搜索的方式精确控制点 位置）获取，而空间平面中三维点可以通过事先做好的棋盘获取。 所以也就是说每张图片都可以计算出一个H矩阵。
~ ~ sm HM
r1 r2 r3 1 r1 r2 r2 r3 r3 r1 0
2 2 2
X t Y 1
我们假定 H Ar1
r2
t 则原式可化为：
这里，矩阵H就是从世界坐标系到图像坐标系的3×3大小的单应性矩阵。 对H再次进行变形，假设h1,h2,h3是H的列向量，有：
uXh31 uYh32 u h11 X h12Y h13 vXh31 vYh32 v h21 X h22Y h23
2D相机标定
又由产家提供的焦距
f f0 f0 12.0501 12 12
，可得
100% 0.4157%
可见，通过标定得出的焦距值与理论焦距 值之间的差距很小，精度是比较高的。 因此，张正友平面标定法可以很好满足普 通用户的使用需求。
令 B A
T
A
1
B1 B2 B3
B2 B4 Biblioteka 5B3 B5 B6
v0 u 0
2
1 2 2 v0 u 0 2
2
2
2 2
1
2
( v0 u 0 )
2 标定板图样采集
通过CDC摄像机将获取的图样传至计算机中 成为灰度图像。经过CDC相机对图像的采集， 我们获得了5张不同的位姿的标定板图像。
3 边缘检测与中心提取
利用canny算法进行边缘检测。处理后的图像 如下。 再通过在边缘取出5个点。利用几何关系，对 其中心提取，最后对得到的中心点进行排列， 如图。
M
i
ˆ i || 2 || m i m
r2 t]
h3 ] A[ r1
为 一 常 数 因 子
求解摄像机参数矩阵
当H求解后，由R的正交性 可得到两个基本方程
r1 r2 0, r1 r1 r2 r2
T T T
h1T A T A 1 h 2 0 T T 1 T T 1 h1 A A h1 h 2 A A h 2
u s v A [ r1 1 r2 r3 y A[ r t] 1 0 1 r2 x t] y 1
张正友标定方法
张正友标定方法张正友标定方法是一种常用的相机标定方法，它可以用于计算相机的内部参数和外部参数，从而实现对图像的准确测量和三维重建。
下面将详细介绍张正友标定方法的原理和步骤。
一、原理张正友标定方法基于相机成像原理，通过对已知大小的标定板进行拍摄，从而得到标定板在图像中的像素坐标和实际物理坐标，进而计算出相机的内部参数和外部参数。
其中，内部参数包括相机的焦距、主点坐标和畸变系数，外部参数包括相机的旋转矩阵和平移向量。
二、步骤1. 准备标定板标定板可以是黑白相间的棋盘格或者其他规则的图案，要求图案清晰、对比度高、边缘锐利，同时要求标定板的大小足够大，以便在不同距离和角度下进行拍摄。
2. 拍摄标定板将标定板放置在平面上，保持相机与标定板垂直，同时保持相机位置和姿态不变，拍摄多张标定板的照片，要求标定板在不同位置和角度下都有足够的覆盖面积。
3. 提取角点使用图像处理软件对标定板的照片进行处理，提取出标定板上每个方格的角点坐标，要求角点坐标的提取精度高、稳定性好。
4. 计算内部参数根据相机成像原理，将标定板上每个角点的像素坐标和实际物理坐标进行对应，利用最小二乘法计算出相机的内部参数，包括焦距、主点坐标和畸变系数。
5. 计算外部参数根据标定板在不同位置和角度下的拍摄照片，利用三维重建算法计算出标定板在相机坐标系下的位置和姿态，进而计算出相机的旋转矩阵和平移向量。
6. 验证标定结果将标定结果应用于实际图像中，进行像素坐标和实际物理坐标的转换，计算出图像中物体的实际尺寸和位置，进而验证标定结果的准确性和稳定性。
三、总结张正友标定方法是一种常用的相机标定方法，它可以实现对相机的内部参数和外部参数的准确计算，从而提高图像的测量和三维重建精度。
在实际应用中，需要注意标定板的选择和摆放、角点的提取精度和稳定性等问题，以保证标定结果的准确性和可靠性。
SLAM入门之视觉里程计（6）：相机标定张正友经典标定法详解
SLAM ⼊门之视觉⾥程计（6）：相机标定张正友经典标定法详解想要从⼆维图像中获取到场景的三维信息，相机的内参数是必须的，在SLAM 中，相机通常是提前标定好的。
张正友于1998年在论⽂："A Flexible New Technique fro Camera Calibration"提出了基于单平⾯棋盘格的相机标定⽅法。
该⽅法介于传统的标定⽅法和⾃标定⽅法之间，使⽤简单实⽤性强，有以下优点：不需要额外的器材，⼀张打印的棋盘格即可。
标定简单，相机和标定板可以任意放置。
标定的精度⾼。
相机的内参数设P =(X ,Y ,Z )为场景中的⼀点，在针孔相机模型中，其要经过以下⼏个变换，最终变为⼆维图像上的像点p =(µ,ν):1. 将P 从世界坐标系通过刚体变换(旋转和平移)变换到相机坐标系，这个变换过程使⽤的是相机间的相对位姿，也就是相机的外参数。
2. 从相机坐标系，通过透视投影变换到相机的成像平⾯上的像点p =(x ,y )。
3. 将像点p 从成像坐标系，通过缩放和平移变换到像素坐标系上点p =(µ,ν)。
相机将场景中的三维点变换为图像中的⼆维点，也就是各个坐标系变换的组合，可将上⾯的变换过程整理为矩阵相乘的形式：s µν1=α0c x 0βc y1f 0000f 0001R t 0T1X Y Z1=f x 0c x 00f yc y 001Rt 0T1X Y Z1将矩阵K 称为相机的内参数,K =f x0c x 0f yc y 001其中，α,β表⽰图像上单位距离上像素的个数，则f x =αf ,f y =βf 将相机的焦距f 变换为在x,y ⽅向上像素度量表⽰。
另外，为了不失⼀般性，可以在相机的内参矩阵上添加⼀个扭曲参数γ，该参数⽤来表⽰像素坐标系两个坐标轴的扭曲。
则内参数K 变为K =f xγc x 0f yc y 01对于⼤多数标准相机来说，可将扭曲参数γ设为0. Multiple View Geometry in Computer Vision张⽒标定法在上⼀篇博⽂，介绍的单应矩阵表⽰两个平⾯间的映射。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
齐次坐标形式:
v0
C
yd
xd
O1
Xd
u0
u fu
v
0
1 0
fu cot fv / sin
0
u0 xd
v0
yd
1 1
其中
1
1
fu dx , fv dy
成像模型与参数
sm~ A[R,t]M~
A
0
v0
0 0 1
A中有5个未知数，我们需要 至少5个方程，也就是说至少 需要3幅图片求解Ａ。
我们假定：
B11 B12 B13
B
AT
A1
B21
B22
B23
B13 B23 B33
1
2
2
v0 u0
５ 改进型算法
以上讲述张的方法为基于匹配的方法，它是张在1999年的 论文《A Flexible New Technique for Camera Calibration》提出来的，目前已经得到广泛应用。它至 少需要4个已知点来求解每张图片的单应性矩阵H，至少 需要3张图片求解内置参数矩阵A。那么能不能以更少的 已知匹配点来求解参数呢？
y2 )2 y2 )2
k1
k2
u v
u
v
Dk d
然后，通过线性最小二乘的方法求出径向畸变系数：
k (DT D)1 DT d
４ 程序实现
• 张正友标定方法流程
1.打印一张标定板，然后附加到一个平坦的表面上。 2.通过移动相机或者平面拍摄标定板各种角度的图片。 3.检测图片中的特征点 4.计算5个内部参数和所有的外部参数 5.通过最小二乘法先行求解径向畸变系数。 6.通过求最小参数值，优化所有的参数
v0 (B12B13 B11B23 ) /(B11B22 B122 )
B33
[B132
v0 (B12 B13
B11B23 )]/
B11
fu
fv
/ B11 B11 /(B11B22 B122 )
s B12 fu2 fv /
u0 sv0 / fv B13 fu2 /
2 摄像机标定的目的：三维重建，就是指从图象出发恢复出 空间点三维坐标的过程。
Xc
x
Zc
Xw
Zw
u
Ow
Yw
世界坐标系
v O1
y
图像坐标系
O
摄像机坐标系
Yc
坐标系
• 三个坐标系：
1、世界坐标系： X w ,Yw , Z w
2、摄像机坐标系： x,y,z
3、图像坐标系: u, v x, y
Xw,Yw,Zw
H的列向量，有： H h1 h2 h3 Ar1 r2 t
H h1 h2 h3 Ar1 r2 t
r1
1
A1h1
r2
1
A1h2
r12 r22 r32 1 r1 r2 r2 r3 r3 r1 0
r1T r2 0
r1 r2 1
sin cos
y0
y'
z 1
cos sin cos
0
cos sin sin sin cos 0
cos cos 0
z0 1
z'
1
3 张正友方法简述
• 单应性矩阵H
假如世界坐标与摄像机坐标的XY平面重合，即Z=0，有：
u u (u u0 )[k1(x2 y2 ) k2 (x2 y2 )2 ] v v (v v0 )[k1(x2 y2 ) k2 (x2 y2 )2 ]
(u
(v
u0 )(x2 v0 )(x2
y2 y2
) )
(u (v
u0 )(x2 v0 )(x2
X
u
sv
Ar1
r2
r3
t Y
0
Ar1
r2
X
t
Y
1
1
1
我们假定： H Ar1 r2 t 则原式可化为：
sm~ HM~
这里，矩阵H就是从世界坐标系到图像坐标系的3×3大 小的单应性矩阵。对H再次进行变形，假设h1,h2,h3是
该方法步骤： • 1 旋转3个非共线点 • 2 得到中心点O与o坐标 • 3 根据约束条件建立方程 • 4 求解内参矩阵K • 5 求解外参[R，t]
图像的成像模式：
三个非共线点旋转
• 1.假如我们已知世界坐标中三个非共线的点（A，B，C） 和图像坐标中对应的点（a,b,c）坐标。 （A,B,C）可以得到一个向量（l1,l2, θ），如图：
按图（a）的情况，则o的坐标可表示为：
其中 因为噪声的影响，图片中三条线不会准确的交于某个点， 所以需要用最小二乘法计算。 按图（b）的情况，则有：
与o的坐标：
Zo为比例因 子，计算可 消去。
上式两端分别叉乘a,b,c
约束条件：
• 由右图可得： •、
根据
上式转化：
将（8）（9）（10）带入上式有： 其中
任意数
二维坐标 内参矩阵 旋转矩阵 平移矩阵 三维坐标
m [u, v]T 图像二维坐标
M [X ,Y , Z ]T 世界三维坐标 S为深度比例因子，方便计算，可消去。
摄像机的内参数矩阵 A
u ffu ffu cot u0
zc
v
0
ffv / sin v0 R
张正友等人在2008年的一篇论文
《Camera Calibration With Three Noncollinear
Points Under Special Motions》中提出了至少只需要3个 已知非共线的点，和2幅图片的方法。
基于三个非共线点在特殊运动下的摄像机标定
• 我们知道至少三点可以确定一个平面，而张正友的标定方 法正是基于两个平面的匹配，所以三个非共线点的标定方 法理论是可行的。
该方法求解参数的 约束方程将从上述 向量得到。
旋转轴的选取： 1.三个非共线点绕垂直于支持平面的轴旋转180 度 2.将非共线点绕某条边转 第一种情况：
轴L为可以由（A,B,C）所表示的垂直于平面的直线，点O为轴 交平面的交点。旋转前为（A(i),B(i),C(i)）,旋转后为（A(j),B(j),C(j)） 对应的图像坐标点为（a(i),b(i),c(i)）, （a(j),b(j),c(j)）与点o.
x,y
x’ y’
u,v
Z=0
考虑径向失真
3 几种标定方法的介绍： 1.传统的摄像机标定方法
利用已知的景物结构信息，与图片坐标对比，常用到 标定块。
精度高，过程复杂，需要高精度已知信息。 2.主动视觉摄像机标定方法
已知摄像机的某些运动信息。可线性求解，鲁棒性高， 但大多数场合不能得到摄像机运动信息。 3.摄像机自标定方法
1 001
A
摄像机外参数矩阵 [R t]
xw
t
yw
zw
1
x cos cos
cos sin
sin x0 x'
y
sin
sin
cos
sin sin sin cos cos
张正友标定算法 及其改进算法
组员：
• 1 摄像机标定简介 • 2 成像变换与摄像机模型、参数 • 3 张正友标定算法原理 • 4 程序实现 • 5 改进型算法（基于三个非共线点的标定
方法）
1 摄像机标定简介
1 摄像机标定:求解摄像机参数的过程，建立摄像机图像像 素位置与场景点位置之间的关系，其途径是根据摄像机模 型，由已知特征点的图像坐标求解摄像机的模型参数。
r1 r2
A1h1 A1h2
tr3rA1 1rh23
பைடு நூலகம்
1 A1h1
1 A1h2
畸变校正模型
由于透镜的中心对称 性，所以式中考虑x 方向上与y方向上的 径向畸变率是相同的
x y
x x[k1(x2 y2 ) k2 (x2 y2 )2 ] y y[k1(x2 y2 ) k2 (x2 y2 )2 ]
h1T AT A1h2 0 h1T AT A1h1 h2T AT A1h2
v12T
b 0
(v11 v22)T
v12T b 0 (v11 v22 )T b 0
Vb 0
• Ｂ矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的 R，t也迎刃而解
Thanks
2
2
2
1
2
(v0 2
u0
2
)
v0
2
u0
A
0
v0
0 0 1
v0 u0 2
(v0
2
(v0 u0 2 2