张正友相机标定法PPT课件
张正友标定法计算焦距
张正友标定法计算焦距张正友标定法是一种常用于计算相机焦距的方法。
该方法被广泛应用于计算机视觉领域，具有较高的精度和准确性。
下面将详细介绍张正友标定法的原理和步骤，并解释如何使用该方法计算相机的焦距。
一、张正友标定法的原理张正友标定法是基于相机投影几何原理的。
它通过使用已知的标定标志（通常是棋盘格模式）和相机拍摄的一系列图像，来计算相机的内部参数（如焦距、主点坐标）和外部参数（如相机的旋转矩阵和平移向量）。
其中，焦距是我们想要计算的重要参数之一。
二、张正友标定法的步骤1.准备标定标志：选择适当的标定标志，通常是棋盘格模式。
保证标志在图像中具有足够的对比度，且标志的尺寸要能够满足实际需求。
标定标志需贴在平整的表面上，以保持标志的形状和位置稳定。
2.拍摄图像：使用相机对标定标志进行拍摄，要保证拍摄时相机的位置和姿态有一定的变化。
可以采用不同的角度、距离和姿态进行多次拍摄，以提高标定结果的准确性。
3.检测角点：对于每张拍摄的图像，需要使用图像处理算法来检测标定标志中的角点。
通常使用角点检测算法（如Harris角点检测算法）或者直接使用OpenCV提供的函数来进行角点检测。
4.提取角点坐标：通过角点检测算法得到角点的像素坐标后，将其保存到一个列表中。
确保每个角点的像素坐标与标定标志上的物理坐标对应。
5.计算内部参数：根据已知的标定标志的物理坐标和对应的像素坐标，使用张正友标定法计算相机的内部参数，如焦距和主点坐标。
通过最小二乘法或其他优化算法，对标定标志的物理坐标和像素坐标之间的关系进行求解。
6.计算外部参数：在已知相机的内部参数的情况下，通过解一组方程，可以计算出相机的外部参数，如旋转矩阵和平移向量，描述相机的位置和姿态。
7.评估标定结果：评估标定结果的准确性和稳定性，可以计算重投影误差，即将像素坐标通过标定结果转换为物理坐标，再将物理坐标通过标定结果转换为像素坐标，然后计算两者之间的差距。
较小的重投影误差表示标定结果较为准确。
张正友相机标定算法解读
张正友相机标定算法解读一直以来想写篇相机标定方面的东西，最近组会上也要讲标定方面东西，所以顺便写了。
无论是OpenCV还是matlab标定箱，都是以张正友棋盘标定算法为核心实现的,这篇PAMI的文章《A Flexible New Technique for Camera Calibration》影响力极大，张正友是浙江大学的机械系出身，貌似现在是微软的终身教授了。
我就简单的介绍下算法的核心原理，公式的推理可能有点多。
一基本问题描述：空间平面的三维点与相机平面二维点的映射。
假设空间平面中三维点：（齐次坐标，世界坐标系）。
相机平面二维点：（齐次坐标，相机坐标系）。
那么空间中的点是如何映射到相机平面上去呢？我们用一个等式来表示两者之间关系：（1）注：A为相机内参矩阵，R，t分别为旋转和平移矩阵，s为一个放缩因子标量。
我们把等式（1）再简化下：（2）因为张正友算法选取的是平面标定，所以令z=0,所以平移向量只有r1,r2即可。
H就是我们常说的单应性矩阵，在这里描述的是空间中平面三维点和相机平面二维点之间的关系。
因为相机平面中点的坐标可以通过图像处理的方式（哈里斯角点，再基于梯度搜索的方式精确控制点位置）获取，而空间平面中三维点可以通过事先做好的棋盘获取。
所以也就是说每张图片都可以计算出一个H矩阵。
二内参限制我们把H矩阵(3*3)写成3个列向量形式，那么我们把H矩阵又可写成：（3)注:lamda是个放缩因子标量，也是s的倒数。
那么现在我们要用一个关键性的条件：r1和r2标准正交。
正交：（4）单位向量（模相等）：（5）这个两个等式是非常优美的，因为它完美的与绝对二次曲线理论联系起来了，这里就不展开了。
三相机内参的求解我们令：（6）我们可知B矩阵是个对称矩阵，所以可以写成一个6维向量形式：（7）我们把H矩阵的列向量形式为：（8）那么根据等式（8）我们把等式（4）改写成：（9）（10）最后根据内参数限制条件(等式（4）(5)):(11)即,(12)V矩阵是2*6矩阵，也就是说每张照片可建立起两个方程组，6个未知数。
张正友标定法
小组成员：张文豪 张智宇 陈宇
一、张正友标定法简介
目 二、张正友标定法数学原理 录 三、张正友标定法程序实现
四、标定实验及结果
张正友标定法 简介
像机标定：
建立摄像机图像像素位置与场景点位置 之间的关系，其途径是根据摄像机模型， 由已知特征点的图像坐标求解摄像机的 模型参数。
➢ 张正友标定法是张正友教授于1998年 在名为“A Flexible New Technique for Camera Calibration”一文中提 出的单平面棋盘格的摄像机标定方法。
➢ 透视投影
像平面 光心
f z
x=RX +
r01 r11
r02 r12
X Y
Tx Ty
z r20 r21 r22 Z Tz
[R,T]矩阵被称为外参数
光轴
K=
x f
y
0
1 0
K1K2
0 0 xc
f
0
yc
0 1 zc
u 1/ dx
v
B
K
T
K
1
B21
B22
B23
B31 B32 B33
b [B11, B12 , B22 , B13, B23, B33 ]
化简 hiT Bhj VijTb 得：
Vij [hi1hj1, hi1hj2 hi2hj1, hi2hj2 , hi3hj1 hi1hj3 , hi3hj2 hi2hj3 , hi3hj3 ]T
0
1 0
0 1/ dy
0
u0 x
v0
y
1 1
K矩阵被称为内参数
K1 K2
➢ 单应性映射
摄像机标定张正友教材
~ ~ sm HM
上式中包含XY 两个方程；H为3乘3矩阵，包 含一个齐次坐标与8个未知数，要求出H，至 少需要8个方程，也就是说，一幅图片至少需 要已知的4个点才能求出H。
求解内置参数矩阵A
r1 r2 1
1
A 1h1 A 1h2
T T 1 h1 A A h2 0
T T 1 T T 1 h1 A A h1 h2 A A h2
精度高，过程复杂，需要高精度已知信息。 2.主动视觉摄像机标定方法 已知摄像机的某些运动信息。可线性求解，鲁棒性高， 但大多数场合不能得到摄像机运动信息。 3.摄像机自标定方法 靠多幅图像之间的关系进行标定，灵活性强，非线性 标定， 鲁棒性不高。
2 成像变换与摄像机模型、参数
• 图像数字化
O1在 u , v 中的坐标为 u 0 , v0 象素在轴上的物理尺寸为 dx, dy
基于三个非共线点在特殊运动下的摄像机标定
• 我们知道至少三点可以确定一个平面，而张正友的标定方 法正是基于两个平面的匹配，所以三个非共线点的标定方 法理论是可行的。 该方法步骤： • 1 旋转3个非共线点 • 2 得到中心点O与o坐标 • 3 根据约束条件建立方程 • 4 求解内参矩阵K • 5 求解外参[R，t] 图像的成像模式：
(v11 v22 )T b 0
T
vij b
T
h A A h2 0
T T 1 h1T AT A1h1 h2 A A h2
v12T b 0 (v11 v 22)T
Vb 0
• Ｂ矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的 R，t也迎刃而解
6.通过求最小参数值，优化所有的参数
张正友相机二维标定
ˆ A, Ri , ti , M j m
是通
ˆ A, Ri , ti , M j 的求解是一个经典的非线性优化的问题，使评价函数最小的A，Ri，ti就是 m
这个问题的最优解。可以取第一次得到的线性求解结果作为A、Ri , ti i 1n的初始值，解决 这类问题的方法很多 ，在计算机视觉领域里通常使用Levenberg-Marquarat(LM)算法进行求 解。
T
v12 b 0
(v11 v22 )T b 0
Vb 0
• V矩阵是2*6矩阵，也就是说每张照片可建立起两个方程组，6个未 知数。根据线性代数知识可知，解6个未知数需至少6个方程组，所 以也就是说我们至少需要三张照片才能求解未知数。b矩阵的解出， 相机内参矩阵A也就求解出，从而每张图像的R，t也迎刃而解。
r r 0
T 1 2
r1 r2 1
对单应性矩阵H的估算
• H就是我们常说的单应性矩阵，在这里描述的是空间中平面三维点
和相机平面二维点之间的关系。因为相机平面中点的坐标可以通过 图像处理的方式（哈里斯角点，再基于梯度搜索的方式精确控制点 位置）获取，而空间平面中三维点可以通过事先做好的棋盘获取。 所以也就是说每张图片都可以计算出一个H矩阵。
~ ~ sm HM
r1 r2 r3 1 r1 r2 r2 r3 r3 r1 0
2 2 2
X t Y 1
我们假定 H Ar1
r2
t 则原式可化为：
这里，矩阵H就是从世界坐标系到图像坐标系的3×3大小的单应性矩阵。 对H再次进行变形，假设h1,h2,h3是H的列向量，有：
uXh31 uYh32 u h11 X h12Y h13 vXh31 vYh32 v h21 X h22Y h23
相机标定原理张正友法
相机标定原理张正友法
相机标定是指通过对相机的内部参数和外部参数进行精确测量
和计算，建立相机模型的过程。
其中，张正友法就是一种常用的相机标定方法，主要原理是利用一些已知的3D空间点和它们在2D图像中的对应点，通过最小二乘法求解相机的内外参数。
在具体实现中，首先需要采集一组已知的3D空间点和它们在2D 图像中的对应点。
然后，通过对这些点进行处理，计算出相机的内部参数，包括焦距、畸变系数等。
接着，利用已知的3D空间点和它们在2D图像中的对应点，求解相机的旋转矩阵和平移向量，即相机的外部参数。
最后，将求得的内部参数和外部参数结合起来，建立相机模型，从而可以用于图像的校正、三维重建等应用。
需要注意的是，张正友法还可以通过多次采集不同位置的图像，并利用薄板法进行标定，提高标定结果的精度。
- 1 -。
张正友标定方法
张正友标定方法张正友标定方法是一种常用的相机标定方法，它可以用于计算相机的内部参数和外部参数，从而实现对图像的准确测量和三维重建。
下面将详细介绍张正友标定方法的原理和步骤。
一、原理张正友标定方法基于相机成像原理，通过对已知大小的标定板进行拍摄，从而得到标定板在图像中的像素坐标和实际物理坐标，进而计算出相机的内部参数和外部参数。
其中，内部参数包括相机的焦距、主点坐标和畸变系数，外部参数包括相机的旋转矩阵和平移向量。
二、步骤1. 准备标定板标定板可以是黑白相间的棋盘格或者其他规则的图案，要求图案清晰、对比度高、边缘锐利，同时要求标定板的大小足够大，以便在不同距离和角度下进行拍摄。
2. 拍摄标定板将标定板放置在平面上，保持相机与标定板垂直，同时保持相机位置和姿态不变，拍摄多张标定板的照片，要求标定板在不同位置和角度下都有足够的覆盖面积。
3. 提取角点使用图像处理软件对标定板的照片进行处理，提取出标定板上每个方格的角点坐标，要求角点坐标的提取精度高、稳定性好。
4. 计算内部参数根据相机成像原理，将标定板上每个角点的像素坐标和实际物理坐标进行对应，利用最小二乘法计算出相机的内部参数，包括焦距、主点坐标和畸变系数。
5. 计算外部参数根据标定板在不同位置和角度下的拍摄照片，利用三维重建算法计算出标定板在相机坐标系下的位置和姿态，进而计算出相机的旋转矩阵和平移向量。
6. 验证标定结果将标定结果应用于实际图像中，进行像素坐标和实际物理坐标的转换，计算出图像中物体的实际尺寸和位置，进而验证标定结果的准确性和稳定性。
三、总结张正友标定方法是一种常用的相机标定方法，它可以实现对相机的内部参数和外部参数的准确计算，从而提高图像的测量和三维重建精度。
在实际应用中，需要注意标定板的选择和摆放、角点的提取精度和稳定性等问题，以保证标定结果的准确性和可靠性。
SLAM入门之视觉里程计（6）：相机标定张正友经典标定法详解
SLAM ⼊门之视觉⾥程计（6）：相机标定张正友经典标定法详解想要从⼆维图像中获取到场景的三维信息，相机的内参数是必须的，在SLAM 中，相机通常是提前标定好的。
张正友于1998年在论⽂："A Flexible New Technique fro Camera Calibration"提出了基于单平⾯棋盘格的相机标定⽅法。
该⽅法介于传统的标定⽅法和⾃标定⽅法之间，使⽤简单实⽤性强，有以下优点：不需要额外的器材，⼀张打印的棋盘格即可。
标定简单，相机和标定板可以任意放置。
标定的精度⾼。
相机的内参数设P =(X ,Y ,Z )为场景中的⼀点，在针孔相机模型中，其要经过以下⼏个变换，最终变为⼆维图像上的像点p =(µ,ν):1. 将P 从世界坐标系通过刚体变换(旋转和平移)变换到相机坐标系，这个变换过程使⽤的是相机间的相对位姿，也就是相机的外参数。
2. 从相机坐标系，通过透视投影变换到相机的成像平⾯上的像点p =(x ,y )。
3. 将像点p 从成像坐标系，通过缩放和平移变换到像素坐标系上点p =(µ,ν)。
相机将场景中的三维点变换为图像中的⼆维点，也就是各个坐标系变换的组合，可将上⾯的变换过程整理为矩阵相乘的形式：s µν1=α0c x 0βc y1f 0000f 0001R t 0T1X Y Z1=f x 0c x 00f yc y 001Rt 0T1X Y Z1将矩阵K 称为相机的内参数,K =f x0c x 0f yc y 001其中，α,β表⽰图像上单位距离上像素的个数，则f x =αf ,f y =βf 将相机的焦距f 变换为在x,y ⽅向上像素度量表⽰。
另外，为了不失⼀般性，可以在相机的内参矩阵上添加⼀个扭曲参数γ，该参数⽤来表⽰像素坐标系两个坐标轴的扭曲。
则内参数K 变为K =f xγc x 0f yc y 01对于⼤多数标准相机来说，可将扭曲参数γ设为0. Multiple View Geometry in Computer Vision张⽒标定法在上⼀篇博⽂，介绍的单应矩阵表⽰两个平⾯间的映射。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x f
y
1
1 zc
0
0
0 f 0
0 0 1
0 0 0
xc yc zc 1
第三个阶段，像点向像素坐标转化：
u 1/ dx cot / dx u0 x
v
0
1/(d y *sin ) v0
y
1 0
0
1 1
u ffu ffu cot u0
zc
v
0
ffv / sin v0 R
1 001
2019/10/18
A
xw
t
yw
zw
1
11
2019/10/18
x0 y0
矩阵表示
x cos
y
sin
sin cos
x' y'
x0 y0
齐次坐标
x cos
y
sin
1 0
sin c os
0
x0 x'
y0
y'
• 图像坐标系 是以图像的左上方为原点，的图像坐标系（u v）（此坐标以像素为单位），这里我们建立了图 像物理坐标系（x y）为xoy坐标系（此坐标系以毫米为单位）。
2019/10/18
5
一个二维点坐标被表示为m [u, v]T ，一个三维点被表示为M [X ,Y , Z ]T ，我们使用 ~x 去表示通过在矩阵最后面的元素加一个1的向量：m~ [u, v,1]T 和 M~ [X,Y, Z,1]T ，相机通常都是针孔模型：它的3D点M和它的图像投影 点m的关系为：
张正友相机标定方法
曲峰
2019/10/ 18
2019/10/18
1
1 相机畸变
2019/10/18
镜头畸变实际上是光学透镜固有的透视失真的总称
枕形畸变：又称鞍形畸变，视野中边缘区域的放大率远大于光轴中心附近 区域放大率。常出现在远摄镜头中。
桶形畸变：同枕形相反，视野中光轴中心附近区域放大率远大于边缘区域。 常出现于广角镜头和鱼眼镜头。
sm~ A[R,t]M~
任意数 2019/10/18
二维坐标 内参矩阵 旋转矩阵 平移矩阵 三维坐标
u0
A
0
v0
0 0 1
6
1 坐标变换
2019/10/18
首先从二维坐标变换进行理解
x
y
x' c os x' s in
y' s in y' c os
y,
)
0
cos
0
sin
sin
0 1 0
cos
sin
0
cos
cos sin 0
Rot(
z,
)
sin
cos
0
0
0 1
8
1 坐标变换
引申到三维空间，第一个阶段：我们依旧从旋转和平移两个步骤 来推算从世界坐标系到相机坐标系的坐标变换
0 1
r12 r22 1
r1 r2 0
7
1 坐标变换
2019/10/18
引申到三维空间，第一个阶段：我们依旧从旋转和平移两个步骤 来推算从世界坐标系到相机坐标系的坐标变换，
1 0
0
R ot( x,
)
0
cos
sin
Rot(
齐次坐标形式:
v0
C
yd
xd
O1
Xd
u0
U
u fu fu cot u0 xd
v
0
fv / sin
v0
yd
其中
fu
1 dx
,
fv
1 dy
1 0
0
1 1
2019/10/18
10
1 坐标变换
第二个阶段，空间点向像点转化：
2019/10/18
4
坐标系
• 世界坐标系（Xw Yw Zw） 用户定义的空间三维坐标系，用来描述三维空间中的物体和相机之间的坐标位置，满足右手法 则
• 摄像机坐标系（Xc Yc Zc） 以相机的光心作为原点，Zc轴与光轴重合，并垂直于成像平面，且取摄影方向为正方向，Xc、 Yc轴与图像物理坐标系的x,y轴平行，且OcO为摄像机的焦距f
x cos cos
y
sin
sin
cos
z cos sin cos
1
0
cos sin sin sin sin cos cos cos sin sin sin cos
0
sin sin cos cos cos
R
0
1
x'
T 1
y' z'
1
9
图像数字化
O1 在u, v中的坐标为 u0 , v0
象素在轴上的物理尺寸为 dx, dy
V
Yd
Affine Transformation :
u
u0
xd dx
yd
cot
dx
v
0
x0 x'
y0
y'
z0 1
z'
1
R r1 r2 r3
T (t1, t2 , t3 )T
r12 r22 r32 1 r1 r2 r2 r3 r3 r1 0
2019/10/18
x
y z
线性畸变：光轴同所拍摄的如建筑物类物体的垂平面不正交，则本应相互 平行的远端一侧同近端一侧，以不相同的角度汇聚产生畸变。这种畸变本 质上是一种透视变换，即在某一特定角度，任何镜头都会产生相似的畸变。
2
枕形畸变 2019/10/18
桶形畸变
线性畸变 3
1 针孔模型和透视投影
针孔模型：1/f=1/u+1/v 透视投影：中心投影法将形体投射到投影面上
sm~ A[R,t]M~
展开
X
u
sv Ar1
r2
r3
t
Y
Z
1
1
Z=0平面
X
u
sv
Ar1
r2
r3
t
Y
0
Ar1
r2
X
t
Y
1
1
1
12
2 单应性矩阵推导 u