系统标定中的透视投影模型
・３Ｏ・ 兵工自动化 Ｏｒｄｎａｎｃｅ Ｉｎｄｕｓｔｒｙ Ａｕｔｏｍａｔｉｏｎ ２０ｌ１．０３ ３０（３）
系统标定中的透视投影模型
钟韬，袁威，左炜亮 （西安交通大学自动化系，西安７１００４９）
摘要：以相机的透视投影模型为基础，根据椭圆拟合与投影变换，建立使用特定靶标计算两相机相对位置的标 定模型。分析在不同坐标系下物点与像点的坐标转换关系，分别通过椭圆拟合模型和精确模型，提出求解空间圆的 圆心在像平面上的像坐标的算法，并对精度和稳定性进行检验与分析。分析结果表明，椭圆拟合模型求解较简单、 方便；基于透视投影变换规律的精度模型结果较精确，但需给出较多的相机外部参数。 关键词：系统标定；透视投影模型；椭圆拟合；畸变误差 中图分类号：０２４１．１；Ｎ９４５．１２ 文献标志码：Ａ
Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｒｏｊ ｅｃｔｉｏｎ Ｍｏｄｅｌ ｉｎ Ｓｙｓｔｅｍ Ｃａｌｉｂｒａｔｉｏｎ Ｐｒｏｃｅｓｓ
Ｚｈｏｎｇ Ｔａｏ，Ｙｕａｎ Ｗｅｉ，Ｚｕｏ Ｗｅｉｌｉａｎｇ （Ｄｅｐｔ．ｏｆＡｕｔｏｍａｔｉｏｎ，Ｘｉ’ａｎ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ ７１００４９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ ａｎｄ ｐｒｏｊｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ，ｐｒｏｊｅｃｔｉｖｅ ｒｅｌａｔｉｏｎ ａｂｏｕｔ ｃｅｎｔｅｒ ｏｆ ｃｅｒｔａｉｎ ｃｉｒｃｌｅ ｉｓ ｓｅｔ ｕｐ ｆｏｒ ｃａｌｉｂｒａｔｉｎｇ ｔｈｅ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎ ｏｆ ｔｗｏ ｃａｍｅｒａｓ，ｂａｓｅｄ ｏｎ ｔｈｅ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅｌ ｏｆ ｃａｍｅｒａ．Ｔｈｅ ｔｒａｎｓｆｏｒｍ ｂｅｔｗｅｅｎ ｏｂｊｅｃｔ ｐｏｉｎｔ ａｎｄ ｉｍａｇｅ ｐｏｉｎｔ ｕｎｄｅｒ ｄｉｆｆｅｒｅｎｔ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅｓ ｉｓ ａｎａｌｙｚｅｄ．Ｂａｓｅｄ ｏｎ ｔｈｅ ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ ｍｏｄｅｌ ａｎｄ ｐｒｅｃｉｓｅ ｍｏｄｅｌ，ｔｈｅ ｍｅｔｈｏｄ ｔｏ ｇｅｔ ｔｈｅ ｉｍａｇｅ ｐｏｉｎｔ ｏｆ ａ ｃｉｒｃｌｅ’Ｓ ｃｅｎｔｅｒ ｉｓ ｐｕｔ ｆｏｒｗａｒｄ ａｎｄ ｉｔｓ ｐｒｅｃｉｓｉｏｎ ｉｓ ｃｈｅｃｋｅｄ．Ｔｈｅ ａｎａｌｙｓｉｓ ｒｅｓｕｌｔ ｓｈｏｗｓ ｔｈａｔ ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ ｍｏｄｅｌ ｉｓ ｓｉｍｐｌｅ ｂｕｔ ｃｏｎｖｅｎｉｅｎｔ，ａｎｄ ｔｈｅ ｐｒｅｃｉｓｅ ｍｏｄｅｌ ｉｓ ｍｏｒｅ ｐｒｅｃｉｓｅ ｗｉｔｈ ｍｏｒｅ ｐａｒａｍｅｔｅｒｓ ｆｒｏｍ ｔｈｅ ｃａｍｅｒａ． Ｋｅｙｗｏｒｄｓ：ｃａｌｉｂｒａｔｉｏｎ；ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅｌ；ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ；ａｂｅｒｒａｔｉｏｎａｌ ｅｒｒｏｒ
０ 引言
数码相机定位是指用数码相机摄制物体的相片
来确定物体表面某些特征点的位置。精确确定２部
相机的相对位置的过程就是系统标定。系统标定的
常见做法是在一块平板上画若干个点，同时用２部
相机照相，得到这些点在像平面上的像点，利用这
２组像点的几何关系得到这２部相机的相对位置。
由于无法直接得到没有几何尺寸的“点”，实际做法
是在物平面上画若干个圆（称为靶标），它们的圆心
就是几何的点。而它们的像一般会变形，故必须从
像中精确地找到成像圆圆心的像，以实现标定。笔 者建立使用特定靶标计算两相机相对位置的２种标
定模型，对模型进行求解和分析。
１靶标的设立
设计靶标如下：取１个边长为１００ ｍｍ的正方
形，分别以４个顶点（对应为Ａ、Ｃ、Ｄ、Ｅ）为圆
心，１２ ｍｍ为半径作圆。以ＡＣ边上距离 点３０ ｍｍ
处的 为圆心，１２ ｍｍ为半径作圆，如图１。
该靶标的基本思想是通过圆Ａ、Ｃ、Ｅ、Ｄ确定
平面，圆Ｂ可作为检验。在实际应用中也可根据需
要采用其它靶标实现标定。
收稿日期：２０１０—１０－３０；修叫日期：２０１ ０—１２ １３ 作者简介：钟韬（１９８７一），男，福建人，学士，从事系统工程研究 用一位置固定的数码相机摄得其像，建立数学
模型。确定像中各圆心在该相机像平面的像坐标；
对由图１给出的靶标及其像，计算靶标上圆的圆心
在像平面上的像坐标；通过所得坐标即可建立数学
模型。
图１ 靶标示意图
在不严重影响准确度的情况下，可作如下假设：
数码相机的成像原理符合透视投影相机模型；不考
虑实际相机成像的正／负失真，即不考虑图像坐标系
中各坐标轴不正交的情况。
２模型的建立
２．１ 相机的透视投影模型【ｌ
常见相机的透视投影模型是针孔成像模型，即
线性相机模型。空间中任何一点Ｐ在图像中的成像
位置可以用针孔成像模型近似表示。
设Ｐ在图像中的投影位置为Ｐ，Ｐ为光心０与 第３期 钟韬，等：系统标定中的透视投影模型
尸点的连线ＯＰ与图像平面的交点。这种关系也称
为中心射影或透视投影摄影。比例关系如下：
：鱼．Ｊ，： （１） ｚ ｚ 其中，（ ，ｙ）为Ｐ点的图像坐标；（ ，Ｙ，ｚ）为空间点
Ｐ在相机坐标系下的坐标；厂为驯平面与图像平面
之间的距离，即相机的焦距。用齐次坐标和矩阵表
示上述透视投影关系如下：
『Ｘ¨ｆ ｓ ｙ Ｉ＝１ ０ｌ １¨０ ０
其中，Ｓ为一比例因子： 为透视投影矩阵。而以
世界坐标系表示的Ｐ点坐标与其投影点Ｐ的坐标
（ ，ｖ）的关系如下：
１．——０ ｎｏ ｄＸ ０—１１， ｄＹ ” ０ Ｏ １ ０ Ｏ］ 一
Ｘ
１ Ｚ １
： ：ＭＸ （３）
其中， ＝厂／ｄＸ为Ｕ轴上尺度因子，或称 轴上
归一化焦距； ．．＝厂／ｄＹ为ｖ轴上尺度因子，或称ｖ ， 轴上归一化及焦距； 为３×３矩阵，称为投影矩阵：
Ｍ１由 、 、Ｕ０、 决定，由于 、 、Ｕ０、
只与相机内部参数有关，这些参数为相机内部参
数； 由相机相对于世界坐标系的方位决定，为
相机外部参数。
２．２靶标上圆心在相机像平面像坐标的求解
２．２．１ 椭圆拟合模型（模型１）
根据透视投影变换所固有的性质，靶标上的圆 在相机像平面上所成的像一般为椭圆［２１。
椭圆拟合是指在像平面上对圆投影形成的椭圆
的像进行拟合，可将椭圆图像的中心作为空间圆的 圆心对应的像点…。问题可转化为求解像平面中椭
圆的中心。
利用线性最小二乘模型，椭圆可以用一般的圆
锥曲线方程表示如下：
Ａｘ ＋Ｂｘｙ＋Ｃｙ ＋Ｄｘ＋Ｅｙ＋Ｆ＝０ ｆ４） 另外一种更直观的方式是用几何参数，即中心
位置（ ， ）、长轴和短轴（ ，ｂ）、长轴的转角 。
由下面的公式在２种参数表示方法之间进行转换：
ＢＥ一２ＣＤ ＢＤ一２ＡＥ
． ｃ 丽（５）
｛口， ＝２
（６）
＝ １ ｔａｎ一 Ａ Ｃ （一／） ２ 一 Ｌ
在使用最小二乘法计算椭圆时，求其代数参数
是非常方便的，而在挑选合适的椭圆进行拟合时，
使用几何参数更为方便和自然。
平面内某点（ ０，Ｙ０）到以方程Ｘｘ，ｘ）＝Ｏ所代表曲
线的代数方程的代数距离是Ｘｘ。，Ｙ０）。以下是以代数
方程距离作为距离度量的最小二乘法。
对一般形式的椭圆方程，可增加约束Ａ＋Ｃ＝Ｉ。
则目标函数ｆ（Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）为：
∑（ ＃＋ＢｘｉＹｉ＋ ＋眺＋ ＋ ） （８）
极小化目标函数，即可得到系数。由极值原理，
欲使ｆ（Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）值最小，则：
：望： ： ：望：０ （９） Ｂ Ｃ Ｄ Ｅ Ｆ 由此可得一个线性方程组，即可建立线性最小
二乘模型。求取的椭圆图像的中心点即作为空间圆
圆心在该相机像平面的近似像坐标。
２．２．２基于透视投影变换规律的精确模型（模型２）
为准确获取空间圆的圆心，模型１中的方法只
是一种近似，由于透视投影变换所固有的特性，只
有在空间圆截面与相机像平面平行时，这种处理方
法才是准确的。在大多数情形下，存在一定的偏差，
称为畸变误差。如果在实际应用中直接用像平面上
拟合得到的椭圆的中心像点代替空间椭圆中心的实 际像点，必然在测量中引入误差Ｉ３】，如图２。根据
透视投影变换的规律以及空间椭圆中心在相机像平 面上的畸变误差模型【ｌｊ建立了一种能精确提取空间
圆心图像位置的模型。
图２ 圆心透视投影示意图【 】 Ｏ厂，０ 。＿ Ｒ＿。 —．．． 。．．。． ．．．．．．Ｌ １●●●● ●，●●Ｊ ０ Ｏ ０ ，
・３２・ 兵工自动化 第３０卷
１）空间圆的透视投影变换
０为相机的光心，０ｌ为空间圆的中心。０
为相机坐标系，０’－ｘ＇ｙ’ 为新建坐标系，称为空间
圆坐标系，其坐标原点Ｄ’与Ｄ重合，ＺＩ轴的正向指
向正交于空间圆０】 １Ｂ】Ｃ１Ｄ１所在平面，即为其法
线方向。ｈ为相机像平面，与ｚ轴正交。如图３。
图３ 相机坐标系的圆投影 设 在０。一 ～Ｙ ｚ’中的坐标为（ 。， 。， 。），矢
量０＇０．在０’一ｘ＇ｙ’ｚ’坐标系中的方向角分别为
、 ，如图４。
图４ 空ｆｅ］圆坐标系
由于０ 与ｌ二）重合，即坐标系０一ｘｙｚ与坐标系
０’一ｘ＇ｙ’ｚ 之间只存在旋转关系。根据相机针孔成像
模型，三维平移向量 为零，有：
（１Ｏ）
其中， ～ 为旋转矩阵系数。
２）空间圆的圆心在相机像平面的实际投影坐
标空间圆０ｌ一 １ ｌＣ１Ｄ１的圆心Ｄ１在像平面ｈ上的
投影点的坐标，可以利用直线Ｏ０１与像平面ｈ的交
点来求取。
结合式（１０），有空间解析几何的知识得到直线
Ｏ０１在坐标系Ｄ— ｙｚ下的方程为：
＋ｒ２Ｙ＋ｒ３ｚ—ｒ４ｘ＋ｒｓＹ＋ｒ６ｚ ＣＯＳ ｃｏｓｆｌ
直线ＯＯｌ与像平面｜ｆＩ：ｚ＝ｆ代入式（５），得到
０１点的投影像点的坐标（ａ＇９ｂ’）的表达式为：
口’：鱼 ！二 ！ ！．ｂ’： ｌ 二 垡！ （１２） ｋｉｐｌ—ＦＩｔ ｋｌＰ１一 其中：
ｋｌ＝ｒｌ ＣＯＳ —ｒ７ ＣＯＳ／２＇，‘＝ｒ２ ＣＯＳ 一 ＣＯＳＯ￣
ｍ１＝（ｒ３ ＣＯＳ —ｒ９ＣＯＳ 厂，ｎａ＝ｒ４ ＣＯＳ —ｒ７ ｃｏｓｆｌ
Ｐｌ：ｒ５ ＣＯＳ —ｒｓ ｃｏｓｆｌ，ｑ１：（ｒ６ ＣＯＳ７－ｒ９ＣＯＳ ｆ
３模型的求解
３．１ 图像处理及相关算法
将靶标的像转换为一幅深度为１的位图，即可
简便地实现图像的边缘检测，由实际所得可见，结
果保持有很高的检测精度。设实际拍摄所得图像如
图５。该相机的像距是１ ５７７像素，相机分辨率为
１ ０２４×７６８像素。
图５靶标的像
由于处理后图像（１ ０２４Ｘ７６８的点阵）中各点
是相互离散的，严格来说并不存在图形的切线、公
切线等，因此在实际操作中使用下述算法进行处理：
１）切线的搜索算法
首先，扫描图像矩阵，分别记录下图像中各椭
圆的边界的点的坐标。
以过点 作圆ｃ的像的切线为例，在圆Ｃ的像
的边界上取一点Ｃｏ，连接ＡＣｏ得直线 ｏ，设其方程
ｙ（ｘ， ｚ）＝０。在边界上任取一异于Ｃ０的点Ｃｌ（ｊｃ１，Ｙｌ，ｚ１），
遍历边界上的点（Ｃｏ、Ｃ１除外），若存在点Ｇ ｆ）
使得ｊ￣ｘ，ｙ，ｚ）× Ｙ ｚｆ）＜Ｏ，则Ｌｏ为过圆Ｃ的割线，
则再取圆Ｃ上一点重复以上判断过程；否则，即边
界上其余的所有点都满足 ， ｚ）ＸＡｘ＾ Ｚｉ）≥０，此
圆柱曲面透视投影失真的图像校正
第 31 卷 第 11 期2023 年 6 月Vol.31 No.11Jun. 2023光学 精密工程 Optics and Precision Engineering
圆柱曲面透视投影失真的图像校正
夏晓华1，2*， 李玉强1， 邹易清2， 胡永彪1， 蒋立军2
（1.道路施工技术与装备教育部重点实验室（长安大学），陕西 西安 710064；
2.柳州欧维姆机械股份有限公司，广西 柳州 545006）
摘要：针对机器视觉系统中透视投影导致的钢管、桥梁拉索等圆柱表面缺陷测量不准的问题，提出了一种圆柱曲面透视
投影失真的图像校正方法。该方法在提取圆柱成像区域、明确横向和轴向方向的基础上，基于圆柱曲面的透视投影特
性，将产生的失真分解为轴向变形和横向变形，利用系统成像参数和圆柱半径建立校正图像与原图像的坐标对应关系，
通过最邻近插值法进行像素映射实现透视投影失真校正。实验结果表明，该方法对不同直径圆柱的图像均有良好的校
正效果，校正后的图像消除了圆柱曲面“近大远小”透视变形和倾斜投影变形；进行棋盘格模拟校正时，6个圆柱棋盘格
边长的测量误差从校正前最高的14.9%降低至校正后的1.2%；进行划痕测量时，两种直径的原图像的最大误差分别为78.0%与61.8%，经本文方法校正后，两种直径的最大误差仅为5.9%与5.5%，校正效果显著。
关键词：图像校正；圆柱曲面；透视投影；失真；测量
中图分类号：TP391.4；TN911.73 文献标识码：A doi：10.37188/OPE.20233111.1691
Image correction for perspective projection distortion of
cylindrical surface
XIA Xiaohua1，2*， LI Yuqiang1， ZOU Yiqing2， HU Yongbiao1， JIANG Lijun2
（1.Key Laboratory of Road Construction Technology and Equipment， Ministry of Education
移动机器人视觉传感器的现场标定技术
龙源期刊网
移动机器人视觉传感器的现场标定技术
作者：郑榜贵 段建民 田炳香
来源：《现代电子技术》2008年第22期
摘 要：提出一种实用的移动机器人双目视觉传感器的标定技术。为解决非线性标定过程中解的不稳定性，根据透视投影的交比不变性和透镜成像的径向排列约束(radial parallelism
constraint,RAC)，线性标定摄像机的内部参数。然后，假定内部参数不变，从双目成像机理出发推导出本质矩阵的分解形式，线性标定出旋转矩阵和与实际只相差1个比例因子的平移向量。最后，由已知两个控制点之间的距离，求出实际的平移向量。实验表明，该方法具有与传统方法相同的精度，并且可实现外参数的现场标定。
关键词：标定；双目视觉；交比不变性；本质矩阵；径向约束
中图分类号：TP391文献标识码：B
文章编号：1004-373X(2008)22-187-05
On-line Calibration Technique of Vision Sensor in Moving Vehicles
ZHENG Banggui,DUAN Jianmin,TIAN Bingxiang
(College of Electronic Information and Control Engineering,Beijing University of
Technology,Beijing,100124,China)
Abstract：A practical approach for stereo calibration in moving vehicles is proposed.To solve
the instability of solution in the nonlinear calibration,intrinsic parameters are computed using cross-ratio invariability and Radial Parallelism Constraint (RAC) linearly.Then,assuming that intrinsic
视觉伺服控制
有约束的无标定模型预测控制
在视觉伺服控制器的设计中，图像雅可比矩阵是建立运动学模型的关键。经
典的 IBVS 采用比例控制律，它利用图像雅可比矩阵的逆(或伪逆)。然而，比
例控制器可能存在局部极小问题。也就是说，如果视觉特征数大于 3，则图像雅
可比矩阵不是满秩的，图像误差可能存在于图像雅可比矩阵的逆(或伪逆)的零空
间中，从而导致局部收敛，使得最终的图像特征远离期望的图像特征。另外，系
统约束处理困难，尤其是可见性约束。当相机的初始位置和所需位置之间的距离
较大时，图像特征将不可见。在视觉伺服控制过程中，可能会违反关节的物理限
制和机器人的工作空间。此外，比例控制器的主要缺点是需要知道摄像机内参数、
摄像机外参数和特征点的深度参数，而这些特征点的精确值很难获得。
为了避免使用图像雅可比矩阵中元素的精确值，人们对图像雅可比矩阵的数
值估计进行了广泛的研究，如神经网络、迭代学习、拟牛顿方法和模糊控
制。文献提出了许多基于深度无关交互(或图像雅可比)矩阵的自适应
控制器，以克服深度限制问题。文献首次针对摄像机参数未知且深度随时间
变化的固定摄像机构型，提出了与深度无关的交互矩阵。文献提出了眼在手
和固定眼构型的自适应视觉跟踪控制的统一设计方法。然而，这些方案没有明确
考虑系统约束，而这些约束对于视觉伺服控制器的设计是至关重要的。
已经提出了许多方法来处理有约束的视觉伺服任务。例如路径规划、非线性
反馈等，但大多需要给定摄像机的外部参数，并且假定摄像机的内部参数和深度
信息是已知的。在 IBVS 中，通常采用模型预测控制(Model Predictive Control，
MPC)来处理系统约束，且 MPC 控制器具有在未知影响和模型误差的情况下对
系统进行控制的能力。因此，MPC 算法可以用来设计无标定环境下的视觉伺服
控制器。本章主要提出了一种新的基于 MPC 的 IBVS 设计方法，该方法明确地
全景摄像机标定方法综述
全景摄像机标定方法综述
张静;柴兴华;李小英;裴春琴
【摘 要】简要阐述了折反射系统的几何构成和全景摄像机系统的两种常用模型,详细分析了近年来全景摄像机的标定方法.根据标定过程中所需实体的不同将标定方法划分为五类:基于线的标定、基于二维标定板的标定、基于三维点的标定、自标定、偏振成像标定,并从使用模型、方法特点以及适用范围几方面对标定方法进行了总结和比较.
【期刊名称】《西安文理学院学报（自然科学版）》
【年(卷),期】2017(020)004
【总页数】7页(P59-65)
【关键词】全景摄像机;摄像机模型;标定
【作 者】张静;柴兴华;李小英;裴春琴
【作者单位】忻州师范学院计算机系,山西忻州034000;北京航空航天大学仪器科学与光电工程学院,北京100091;忻州师范学院计算机系,山西忻州034000;忻州师范学院计算机系,山西忻州034000
【正文语种】中 文
【中图分类】TP391.4
全景摄像机能够提供在单幅图像中的360°视场范围的景象.目前全景成像技术已经在电话视频会议、视频监控、地形地貌与建筑物的三维重建、辅助驾驶、机器人导航等领域得到广泛应用，并且有着十分广阔的前景.摄像机标定是求解摄像机参数的过程，计算空间三维点与其在图像中的二维点之间的对应关系，包括内部参数和外部参数.内部参数是摄像机内部的几何光学特性参数，如焦距、主点、镜头畸变系数；外部参数则是摄像机成像平面相对于外部某一参照坐标系的三维位置与姿态的参数，如旋转矩阵和平移矢量.由于摄像机标定是从周围环境中恢复测量信息必不可少的步骤.因此，提供精确全景摄像机标定结果是做好后续工作的前提.
目前扩大视场的技术主要有3种：(1)使用鱼眼镜头的摄像机，能获得接近或大于180°的全景视场，主要缺点是成像会产生严重的桶形畸变很难矫正，且图像边缘的分辨率低、模型较为复杂、成本昂贵；(2)将单个相机旋转或多个不同方向相机拍摄的多幅图像拼接，主要缺点其系统复杂并且需要特定的标定程序系统同步性较差，不适合实时全景测量；(3)折反射全向系统，使用传统成像系统与镜面相结合，具有结构和几何计算简单、安装灵活、同步性良好等优点，是目前最为常用的一种.
鱼眼相机联合标定计算单应矩阵 python
鱼眼相机联合标定计算单应矩阵 python
在计算机视觉领域，鱼眼相机是一种广泛应用的摄像设备。它拥有非常宽广的视角，因此可以用于监控、导航、无人驾驶等多种场景。然而，由于鱼眼相机的特殊成像方式，其成像模型与普通相机有所不同，因此在使用鱼眼相机时需要进行特殊的标定和矫正工作。本文将重点讨论如何利用Python计算鱼眼相机的单应矩阵，以实现联合标定的目的。
1. 鱼眼相机成像原理
我们需要了解鱼眼相机的成像原理。与普通相机不同，鱼眼相机采用鱼眼镜头，其广角度成像方式导致其成像畸变非常明显。传统的相机标定方法并不能很好地适用于鱼眼相机。为了解决这一问题，我们需要考虑使用特殊的成像模型和标定方法。
2. 鱼眼相机的标定方法
针对鱼眼相机的特殊成像方式，我们可以采用鱼眼相机模型进行标定。常用的鱼眼相机模型包括全景投影模型、透视投影模型等。在标定过程中，我们需要收集鱼眼相机拍摄的棋盘格图像，并利用棋盘格的特征点来计算相机的内参和畸变参数。这一过程需要使用相机标定板，并借助标定软件或者自行编写代码来完成。
3. 鱼眼相机标定的Python实现 在Python中，我们可以使用OpenCV等库来实现鱼眼相机的标定。我们需要利用OpenCV提供的函数将拍摄的棋盘格图片进行角点检测，并获取其内参和畸变参数。我们可以使用这些参数来计算鱼眼相机的单应矩阵。对于联合标定，我们需要同时标定多个相机，并将它们的单应矩阵进行联合计算，以实现更精确的标定结果。
4. 鱼眼相机单应矩阵的应用
一旦我们获得了鱼眼相机的单应矩阵，就可以将其应用于图像校正、姿态估计、三维重建等领域。利用单应矩阵，我们可以将鱼眼图像进行透视矫正，从而得到更加真实的成像结果。单应矩阵还可以用于估计相机的运动和姿态，以及恢复三维场景的结构信息。这些应用领域都需要利用单应矩阵进行图像匹配和投影变换，从而实现更加精确的结果。
5. 结语
通过本文的讨论，我们了解了鱼眼相机联合标定计算单应矩阵在Python中的实现方法。从鱼眼相机的成像原理开始，到标定方法、Python实现和单应矩阵的应用，我们对整个流程有了更深入的了解。通过学习这些知识，我们可以更好地应用鱼眼相机，并将其应用于更多领域，为计算机视觉技术的发展做出贡献。
基于改进球面透视投影的鱼眼图像畸变校正方法
基于改进球面透视投影的鱼眼图像畸变校正方法
王向军;白皓月;吴凡璐;叶秀玲
【摘 要】针对传统的球面透视投影计算量大、校正过程繁琐的问题,对主视图投影半径进行改进,以提高校正效率.首先采用Hough变换圆检测法求得鱼眼图像像主点和半径,并以一条弧线经过球面透视正向投影后拟合直线的相关系数作为评价指标,求得最优投影球面半径后校正鱼眼图像主视图;在此基础上提出一种新的2D校正法——扇区映射法,该方法从主视图边界在鱼眼图像中的投影轨迹出发,在极坐标中直接对鱼眼图像进行映射,得到校正后的周围视图.两个实例结果验证了所提方法的有效性与可行性.%The method of improving the constraints was proposed
to enhance the efficiency of image rectification and reduce the large
amount of calculation caused by using the traditional spherical perspective
projection and intricacy of calibration. Firstly, identify the principal point of
the fish-eye image and its radius by applying Hough transform circle
detection to the characteristics of fish-eye image, and set the condition
that a straight line comes out from the same arc through spherical
perspective positive rejection as a constraint. The main view of fish-eye
张氏标定法
张氏标定法
张正友针对径向畸变问题提出了一个新的求解摄像机内外参数的方法，即张氏标定法，该方法是介于传统标定和自标定之间的一种方法，它只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定，由于该方法模板制作容易，使用方便，成本低，鲁棒性好，准确率高，因此得到了较为广泛的应用【49】。该算法也属于两步法，摄像机和模板可以自由的移动，不需要知道运动参数。本文即采用张氏摄像机标定的方法。
（1） 单应矩阵H的计算
由前面所述内容可知，根据摄像机针孔成像模型，可以得到下面的等式：
11][1321WWWWWWZYXtrrrAZYXtRAvus
现在世界坐标系平面置于标定模板所在的平面，即0WZ。则上式可变为如下形式：
110][121WWWWYXtrrAYXtRAvus
其中，ir表示旋转矩阵R的第i列向量。令TYXM1~，Tvum1~，则上式可简写为：
MHms~~
其中：1][323123222113121132121hhhhhhhhhhhtrrAH
H即为单应性矩阵。有MHms~~式子可以推出：
13231232221131211hXhshYhXhsvhYhXhsu
从而推得：
23222132311312113231hYhXhvvYhvXhhYhXhuuYhuXh
令：
3231232221131211'hhhhhhhhh
则： 0'10000001hvvYvXYXuuYuXYX
上式可以看作0'Sh，那么矩阵SST最小特征值所对应的特征向量就是该方程的最小二乘解。再将解归一化得到所需的'h，从而可以求得H。由于线性解法所得的解一般不是最优的解，所以可以选取上面两个等式中的一个，构建评价函数，利用Levenberg-Marquarat算法【51】计算出更高精度的解。
相机 单应矩阵
相机单应矩阵
简介
相机单应矩阵（homography matrix）是计算机视觉中一个重要的概念，用于描述两个平面之间的投影关系。通过相机单应矩阵，我们可以将一个平面上的点映射到另一个平面上。在计算机图像处理、三维重建、增强现实等领域中，相机单应矩阵有着广泛的应用。
相机投影模型
在介绍相机单应矩阵之前，我们首先需要了解相机投影模型。相机投影模型描述了三维世界中的点如何被投影到二维图像上。
常用的相机投影模型有透视投影模型和正交投影模型。透视投影模型是最常见的一种模型，它通过将三维空间中的点映射到成像平面上来实现投影。而正交投影模型则是将三维空间中的点直接映射到成像平面上。
相机标定
在使用相机单应矩阵之前，我们需要对相机进行标定。相机标定是确定相机内部参数和外部参数的过程。
相机内部参数包括焦距、主点坐标等信息，它们与相机自身的特性有关。相机外部参数包括相机的旋转矩阵和平移向量，它们描述了相机在世界坐标系下的位置和朝向。
通过相机标定，我们可以得到相机的内外参数，为后续计算相机单应矩阵做准备。
相机单应矩阵的计算
给定两个平面上的对应点，我们可以通过这些点来计算相机单应矩阵。具体而言，我们需要至少4对对应点来计算出一个唯一的相机单应矩阵。
设平面1上的一点为P1=(X1, Y1, Z1)，其在平面2上的对应点为P2=(X2, Y2,
Z2)。那么我们可以将这两个点表示为齐次坐标形式：P1=(x1, y1, w1)和P2=(x2,
y2, w2)。
相机单应矩阵H满足以下关系：
x2 = h11 * x1 + h12 * y1 + h13 * w1
y2 = h21 * x1 + h22 * y1 + h23 * w1
w2 = h31 * x1 + h32 * y1 + h33 * w1
将以上关系写成矩阵形式： [x2] [h11 h12 h13] [x1]
[y2] = [h21 h22 h23] [y1]
系统标定中的透视投影模型
・３Ｏ・ 兵工自动化 Ｏｒｄｎａｎｃｅ Ｉｎｄｕｓｔｒｙ Ａｕｔｏｍａｔｉｏｎ ２０ｌ１．０３ ３０（３）
系统标定中的透视投影模型
钟韬，袁威，左炜亮 （西安交通大学自动化系，西安７１００４９）
摘要：以相机的透视投影模型为基础，根据椭圆拟合与投影变换，建立使用特定靶标计算两相机相对位置的标 定模型。分析在不同坐标系下物点与像点的坐标转换关系，分别通过椭圆拟合模型和精确模型，提出求解空间圆的 圆心在像平面上的像坐标的算法，并对精度和稳定性进行检验与分析。分析结果表明，椭圆拟合模型求解较简单、 方便；基于透视投影变换规律的精度模型结果较精确，但需给出较多的相机外部参数。 关键词：系统标定；透视投影模型；椭圆拟合；畸变误差 中图分类号：０２４１．１；Ｎ９４５．１２ 文献标志码：Ａ
Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｒｏｊ ｅｃｔｉｏｎ Ｍｏｄｅｌ ｉｎ Ｓｙｓｔｅｍ Ｃａｌｉｂｒａｔｉｏｎ Ｐｒｏｃｅｓｓ
Ｚｈｏｎｇ Ｔａｏ，Ｙｕａｎ Ｗｅｉ，Ｚｕｏ Ｗｅｉｌｉａｎｇ （Ｄｅｐｔ．ｏｆＡｕｔｏｍａｔｉｏｎ，Ｘｉ’ａｎ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ ７１００４９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ ａｎｄ ｐｒｏｊｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ，ｐｒｏｊｅｃｔｉｖｅ ｒｅｌａｔｉｏｎ ａｂｏｕｔ ｃｅｎｔｅｒ ｏｆ ｃｅｒｔａｉｎ ｃｉｒｃｌｅ ｉｓ ｓｅｔ ｕｐ ｆｏｒ ｃａｌｉｂｒａｔｉｎｇ ｔｈｅ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎ ｏｆ ｔｗｏ ｃａｍｅｒａｓ，ｂａｓｅｄ ｏｎ ｔｈｅ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅｌ ｏｆ ｃａｍｅｒａ．Ｔｈｅ ｔｒａｎｓｆｏｒｍ ｂｅｔｗｅｅｎ ｏｂｊｅｃｔ ｐｏｉｎｔ ａｎｄ ｉｍａｇｅ ｐｏｉｎｔ ｕｎｄｅｒ ｄｉｆｆｅｒｅｎｔ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅｓ ｉｓ ａｎａｌｙｚｅｄ．Ｂａｓｅｄ ｏｎ ｔｈｅ ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ ｍｏｄｅｌ ａｎｄ ｐｒｅｃｉｓｅ ｍｏｄｅｌ，ｔｈｅ ｍｅｔｈｏｄ ｔｏ ｇｅｔ ｔｈｅ ｉｍａｇｅ ｐｏｉｎｔ ｏｆ ａ ｃｉｒｃｌｅ’Ｓ ｃｅｎｔｅｒ ｉｓ ｐｕｔ ｆｏｒｗａｒｄ ａｎｄ ｉｔｓ ｐｒｅｃｉｓｉｏｎ ｉｓ ｃｈｅｃｋｅｄ．Ｔｈｅ ａｎａｌｙｓｉｓ ｒｅｓｕｌｔ ｓｈｏｗｓ ｔｈａｔ ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ ｍｏｄｅｌ ｉｓ ｓｉｍｐｌｅ ｂｕｔ ｃｏｎｖｅｎｉｅｎｔ，ａｎｄ ｔｈｅ ｐｒｅｃｉｓｅ ｍｏｄｅｌ ｉｓ ｍｏｒｅ ｐｒｅｃｉｓｅ ｗｉｔｈ ｍｏｒｅ ｐａｒａｍｅｔｅｒｓ ｆｒｏｍ ｔｈｅ ｃａｍｅｒａ． Ｋｅｙｗｏｒｄｓ：ｃａｌｉｂｒａｔｉｏｎ；ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅｌ；ｅｌｌｉｐｓｅ—ｓｉｍｕｌａｔｉｏｎ；ａｂｅｒｒａｔｉｏｎａｌ ｅｒｒｏｒ
机器视觉9点标定原理(一)
机器视觉9点标定原理(一)
机器视觉9点标定
什么是机器视觉9点标定？
机器视觉9点标定是一种常用的标定方法，用于校准相机镜头的畸变。它通过在不同位置放置一个规则的校准板，并采集板上的点坐标来计算畸变参数，以实现图像的准确测量和分析。
标定原理
机器视觉9点标定的原理基于相机模型和畸变模型。在相机模型中，我们将相机抽象为一个透视投影系统，可以通过将三维世界坐标映射到二维图像坐标来描述相机成像过程。而在畸变模型中，我们考虑相机镜头的畸变现象，主要包括径向畸变和切向畸变。
步骤
1. 准备校准板：在标定前，我们需要准备一个拥有明确区分特征的校准板。一般采用黑白相间的棋盘格样式，并且每个格子内至少包含一个角点特征。
2. 摄像头设置：将相机固定在一个位置，并确定相机参数（焦距、感光度等）。
3. 获取标定板图像：在不同位置和角度下，通过相机获取校准板的图像。 4. 检测角点：使用图像处理算法自动检测出每个格子的角点。
5. 提取角点坐标：根据角点检测结果，将每个格子的角点坐标提取出来，得到一个相对于相机坐标系的二维点集合。
6. 世界坐标生成：根据校准板的特征尺寸，可以将每个角点的世界坐标生成出来，得到一个相对于世界坐标系的三维点集合。
7. 标定参数计算：根据二维点集合和三维点集合，采用最小二乘法等方法计算出相机的畸变参数、内参数和外参数。
8. 检查标定结果：通过观察重投影误差等指标，判断标定结果的准确性。
9. 应用标定参数：将获得的标定参数应用于机器视觉系统中，以校正图像中的畸变，提高测量和分析的准确性。
优势和应用
机器视觉9点标定具有以下优势： - 简单易行：标定过程相对简单，只需要一块规则校准板和相机设备。 - 准确可靠：通过计算得到的畸变参数可以很好地校正图像中的畸变，提高测量和分析的准确性。
- 广泛应用：机器视觉9点标定可以应用于工业自动化、机器人导航、三维重建等领域。
总结
机器视觉9点标定是一种常用的相机校准方法，通过对校准板上的角点进行图像处理和计算，得到相机的畸变参数。这种标定方法简单易行，具有准确可靠的优势，并且被广泛应用于工业自动化和机器视觉领域。