鱼眼镜头图像变形校正算法研究
基于圆分割的鱼眼镜头图像畸变校正算法
２２６
此特点，对丁均匀分割的同心蚓曲线映射成方形曲 线的ｌｑ时，根摧Ｉ刮心旧榷近边缘ｆ自稗度，可以相麻 的对校正斤的＾彤曲线问的距离进行微调，使得图 像的校正教粜更理想。 微调算ｊ王如Ｆ：
５结论
本文研究丁一种基ｊ圆分割ｆ日鱼眼镜头校正算 法。通过将鱼眼州像舒割成若Ｔ同心吲线，利刖投
ｆ“’＝Ⅳ＋ｍ（０≤¨≤ｗＪ
具有相同的，０坐标值．如图中Ｈ和世点在无扭曲的
３基于圆分割的鱼眼镜头校正算法
本文提出的基于圆分割的鱼眼校正算法采用 了同心圆分割的方法，将鱼眼图像分割成一系列的 圆线，再利用函数法，将畸变图像中的圆线经过一 定的算法映射成方形线，这样从图像中心的小圆开 始，将畸变的鱼眼圆形图像校正为人们习惯的透视 投影图像。有效的解决了基于经度校正方法还存在 的拱形失真问题，
的距离成正比．，取值越大．则边缘处微调物件之
法中采用的嘲分割山沾，充分利用了鱼崛图像的圆 对称返特征，ＪＥ其对于鱼眼ｌ割像边缘处的｛交『Ｆ敏 粜，与墓＿’经度的畸变校正算法比较．本文提出的 算泣赦果更理想。微调系数的引入，使得算泣更灵
问的距离就越远，，的驭值可以根据宴％－情Ｉ兄设定。
４
ＭａｔＬａｂ实验结果
ｕｓｅｓ
ｔｈｅ ｆｕｎｃｔｉｏｎ ｍｅｔｈｏｄ ｉｍａｇｅ ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ．Ｍａｔｌａｂ
ｏｕｒ
ｔｈａｔ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ
ａｌｇｏｒｉｔｈｍ ｈａｓ
ｃｏｒｒｅｃｔｅｄ
ｃａｎ
ｔｈｅ
ｆｉｓｈｅｙｅ
ｉｍａｇｅ
ｓａｔｉｓｆａｃｔｏｒｉｌｙ ａｎｄ ｔｈｅ ｃａｌｃｕｌａｔｉｏｎ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｔａｋｅｓ ｌｅｓｓ ｔｉｍｅ，ＳＯ ｔｈａｔ ｉｔ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ． Ｋｅｙ ｗｏｒｄｓ：ｆｉｓｈ－ｅｙｅ ｌｅｎｓ；ｉｍａｇｅ ｄｉｓｔｏｒｔｉｏｎ；ｃｉｒｃｌｅ
鱼眼视频图像畸变的实时校正方法-吉林大学学报
第55卷 第1期吉林大学学报(理学版)V o l .55 N o .1 2017年1月J o u r n a l o f J i l i nU n i v e r s i t y (S c i e n c eE d i t i o n )J a n 2017d o i :10.13413/j .c n k i .jd x b l x b .2017.01.18鱼眼视频图像畸变的实时校正方法吕耀文,安 喆,徐熙平(长春理工大学光电工程学院,长春130022)摘要:采用鱼眼图像的球面投影模型,提出一种基于鱼眼透镜球面投影的实时校正方法.该方法将鱼眼图像映射在5个图像平面上,解决了鱼眼视频图像畸变严重,观测视觉体验效果较差的问题;根据图像在计算机中的内存布局,对校正算法中的空间映射计算和内存存储空间进行了优化,提高了算法的执行效率,减少了算法的内存消耗.实验结果表明,该方法能显著改善鱼眼图像的显示效果,对单帧图像的处理时间仅为18.37m s,能满足鱼眼视频图像实时校正的需要.关键词:图像校正;鱼眼图像;实时处理;球面投影中图分类号:T P 391 文献标志码:A 文章编号:1671-5489(2017)01-0103-06R e a l -T i m eC o r r e c t i o n M e t h o d f o rF i s h e y eV i d e o I m a ge sD i s t o r t i o n L ÜY a o w e n ,A NZ h e ,X U X i p i n g(S c h o o l o f O p t i c a lE n g i n e e r i n g ,C h a n g c h u nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,C h a n g c h u n 130022,C h i n a )A b s t r a c t :U s i n g s p h e r i c a l p r o j e c t i o n m o d e lo ff i s h e y ei m a g e ,w e p r o p o s e dar e a l -t i m ec o r r e c t i o n m e t h o db a s e do n s p h e r i c a l p r o j e c t i o n .T h em e t h o dm a d e t h e f i s h e y e i m a g em a p i n5i m a g e p l a n e ,s o a s t o s o l v e t h e p r o b l e mo f s e r i o u s d i s t o r t i o n a n d p o o r v i s u a l e f f e c t s f o r f i s h e y e v i d e o .A c c o r d i n g t o t h e l a y o u to f 2D i m a g e d a t a a l l o c a t i o n si n m e m o r y ,t h e s p a c e m a p p i n g c a l c u l a t i o n a n d m e m o r y m a n a g e m e n tw e r e o p t i m i z e d i n t h e c o r r e c t i o n a l g o r i t h m.T h e e f f i c i e n c y o f t h e a l g o r i t h m w a s i m p r o v e d a n d t h em e m o r y c o n s u m p t i o no f t h e a l g o r i t h m w a s r e d u c e d .T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t t h e m e t h o d c a n s i g n i f i c a n t l y i m p r o v e t h e v i s u a l e f f e c t so f f i s h e y e i m a g e s ,a n d t h e r u n n i n g t i m eo f s i n g l e f r a m e i m a g e i s o n l y 18.37m s ,w h i c h c a n s a t i s f y t h e n e e d o f r e a l -t i m e f i s h e y e v i d e o i m a g e c o r r e c t i o n .K e y w o r d s :i m a g e c o r r e c t i o n ;f i s h e y e i m a g e ;r e a l -t i m e p r o c e s s i n g ;s p h e r i c a l p r o j e c t i o n 收稿日期:2016-06-13.作者简介:吕耀文(1987 ),男,汉族,博士,讲师,从事数字图像处理和机器学习的研究,E -m a i l :l u o h o n g j u a n 05@163.c o m.基金项目:国家自然科学基金(批准号:11474041)和吉林省科技发展计划项目青年基金(批准号:20160520018J H ).鱼眼摄像机具有视场广㊁信息量丰富及制造成本低等优点,在安全监控㊁机器人导航㊁智能交通和全景展示等领域应用广泛[1-3].但由于鱼眼镜头在光学设计结构上将180ʎ的场景映射到单个成像平面探测器上,导致鱼眼图像畸变严重,观测视觉体验效果较差.因此通过后期软件处理技术校正鱼眼畸变图像,提高人眼观测视觉舒适度,已成为鱼眼摄像机应用的关键技术.目前,鱼眼图像的畸变校正方法主要分为两类:基于标定的校正方法[4-5]和基于投影变换模型的校正方法[1-2,6-7].基于标定的校正算法主要通过借助外部设备对鱼眼图像的畸变多项式系数进行标定,以获得畸变源图像到校正目标图像的点到点映射关系,从而实现鱼眼图像的畸变校正功能.主要包括基于射影几何中的对极几何[4,8]和消隐点[5]约束的标定方法㊁采用交叉衍射光学元件(C D O F )的标定法[9]㊁直线投影不变约束的圆拟合[10]和高斯拟合法[11-12]以及平面棋盘点位置坐标的标定方法[8].这些方法对鱼眼镜头的投影过程建立了复杂的数学模型,校正精度较高,但需要专用的标定设备和复杂的软件算法实现,且校正目的是为了获得数学模型上的对应,对于人眼视觉的观察并没有较大提升.基于投影模型的校正方法主要包括经纬映射投影法[1]㊁球面模型投影法[2]㊁柱面投影法[6]㊁数字畸变模型投影法[7]和椭球面模型投影法[13].模型投影法以一种简化的投影模型近似鱼眼镜头的复杂光学成像原理,虽然校正精度不如标定法,但具有校正原理简单㊁实现方便和视觉效果改善显著等优点.目前的校正方法多数只考虑最后的校正结果,未考虑校正算法的复杂性和实时性.因此,本文以鱼眼透镜的球面投影模型为基础,结合图像的内存布局方式,采用映射查找的方法,实现一种针对鱼眼视频图像畸变的实时校正方法.1鱼眼图像校正算法1.1图像的几何变换鱼眼图像的校正归属于图像的几何变换应用.几何变换包含两个基本操作:1)目标图像与源图像的空间映射关系,即目标图像的某个像素点在源图像中的空间位置,但这个映射的空间位置可能不一定为整数;2)灰度插值,典型的灰度插值按计算复杂度从低到高依次为最近邻插值㊁双线性插值和二次插值.图1为图像几何变换的示意图.1.2鱼眼图像的球面投影模型鱼眼图像的投影模型定义了校正图像与鱼眼图像的空间映射关系.图2为鱼眼图像的球面投影模型,其中:点s为校正目标图像上点p到鱼眼图像上的映射点,是球面点p1到鱼眼图像平面的垂直映射;p1是鱼眼图像中心点o和点p的连线o p与映射球的交点.映射关系确定后,要实现图像的校正,还需要解决两个问题:1)校正图像平面的空间位置;2)校正图像的大小.图1图像几何变换示意图F i g.1S c h e m a t i c d i a g r a mo f i m a g eg e o m e t r i c t r a n s f o r m a t i o n图2鱼眼图像的球面投影模型F i g.2S p h e r i c a l p r o j e c t i o nm o d e lo f f i s h e y e i m a g e校正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小,不影响最终校正图像的视觉效果;直线o c的角度变化产生了不同视角下的校正图像.如果校正图像太小会导致校正图像中包含的鱼眼图像信息过少,需要很多张校正图像才能覆盖鱼眼图像中的所有信息,导致校正算法复杂㊁计算量大且不便于观察者观看.图3为球面投影映射的切面图,鱼眼图像中的等距线段s1和s2在校正目标图像中产生了明显的大小差异,所以若校正图像过大,将导致校正图像的非线性畸变.因此,为了充分展现鱼眼图像的视觉信息,并减少校正图像由于球面映射导致的图像畸变,本文以包围半球最小长方体的5个面为校正平面,分别命名为顶视图㊁左视图㊁右视图㊁前视图和后视图,如图4所示.1.3校正方法下面从校正平面中的任一像素点p(j j,k k)开始,计算点p在鱼眼图像中对应点s的图像坐标(x,y).1)点p在o-x y z三维坐标系中坐标(u,v,w)的计算.顶视图为u=j j-R,v=k k-R,w=R;(1) 401吉林大学学报(理学版)第55卷图3 球面投影映射的切面图F i g .3 S e c t i o n c u t o f s p h e r i c a l p r o j e c t i o nm a p p i ng 图4 鱼眼图像校正平面F i g .4 C o r r e c t i o n p l a n e s o f f i s h e y e i m a ge 前视图为u =j j -R , v =-R , w =R -k k ;(2)后视图为u =j j -R , v =R , w =R -k k ;(3)左视图为u =-R , v =j j -R , w =R -k k ;(4)右视图为u =-R , v =j j -R , w =R -k k .(5)其中R 为鱼眼透镜圆形图像的半径.2)映射点s 在x o y 平面中坐标(x 1,y 1)的计算.(x 1,y1)等效于映射球上点p 1的x 坐标分量和y 坐标分量,因此由几何关系可得x 1=R u /(u 2+v 2+w 2)1/2, y 1=R v /(u 2+v 2+w 2)1/2.(6) 3)点s 的图像坐标(x ,y )为x =x 1+c x , y =y 1+c y ,(7)其中(c x ,c y )为坐标中心点o 在鱼眼图像中的图像坐标,即为鱼眼图像圆心的图像坐标.本文中鱼眼图像的中心和半径采用文献[13]的方法确定.校正图像到鱼眼图像的映射关系确定后,即可采用灰度插值算法实现鱼眼图像的校正.基于实时性的考虑,本文选择最近邻插值法.2 图像的内存布局及算法优化计算机只能处理存储在计算机内存中的数据.C P U 以寻址的方式读取计算机内存中的待处理数据,处理完毕后,又以寻址的方式写入到计算机内存中.该过程表现在编程语言上,对应为指针地址的赋值㊁指针所指内存空间的取值和赋值.计算机的寻址是一个一维过程,即计算机对内存的操作并未区分行和列,只以一个统一的32b i t (或64b i t )地址映射内存.二维图像以某种数据结构连续存储在计算机内存中,因此采用一维的寻址方式扫描二维图像的像素可提高算法的效率.以一维的方式正确扫描二维图像数据需要确定图像在计算机中的内存布局.二维图像变成一维排列有两种方式:1)列优先方式,即扫描以列为方向,MA T L A B 软件就是采用这种扫描方式;2)行优先方式,即扫描以行为方向,计算机视觉图像处理库O p e n c v 采用行优先方式.本文采用V i s u a l S t u d i o 2010和O p e n c v 2.3工具开发鱼眼图像校正算法,因此重点说明行优先方式.对于图像中的第i 行第j 列位置的一维寻优地址a d 为a d =i ˑC O L S +j ,(8)其中C O L S 为二维图像的列数.2.1 映射计算优化成像模型与鱼眼摄像机获得的图像内容无关,因此对鱼眼视频的每张图像采用的校正方法均一501 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法601吉林大学学报(理学版)第55卷致.为了避免重复映射关系计算,本文采用数组存储映射关系,在程序启动时,初始化该一维数组,一维数组的序号为校正目标图像内存布局的一维地址偏移量,其对应的存储值为映射鱼眼图像像素点的一维地址偏移量.在视频图像校正过程中采用数组读取的方式查找映射.2.2内存存储空间优化将计算变为映射查找可提高程序的执行效率,但映射查找表的存储需要消耗计算机的内存.本文需要校正5个视图,以1Kˑ1K分辨率图像计算,需要提前开销12M B的内存(顶视图需要1Kˑ1K 的索引,4个侧视图分别需要1Kˑ0.5K的索引,每个索引对应4B y t e的整数),因此存储映射表的内存消耗是图像大小的12倍.为了降低程序对系统内存的损耗,通过分析图4发现4个侧视映射平面是对称的,并且鱼眼图像的成像区域是一个圆,具有旋转对称性,因此4个侧视图只需要1个映射表就能完成鱼眼图像的侧视图校正.本文存储前视图的映射表,对于另外3个侧视图的校正,采用绕图像中心旋转的方式完成.例如,对于右视图的校正,将鱼眼图像旋转90ʎ即可变右视图为前视图.同理后视图和左视图的旋转角度分别为180ʎ和-90ʎ.图像90ʎ的旋转等效为二维图像矩阵的转置,180ʎ的图像旋转对应二维图像矩阵的上下翻转.矩阵的转置和翻转在计算机处理中只是二维数据的重新排列,其计算时间较少.因此,可通过矩阵的转置和翻转,将4个侧视映射表变为1个侧视映射表,在不降低算法运行效率的前提下,映射表的存储空间由12倍的图像大小降为6倍,显著提高了计算机内存的利用效率.优化后的程序流程如图5所示.图5优化后的程序流程F i g.5F l o wc h a r t o f o p t i m i z e d p r o g r a m3实验为验证本文算法的效果和性能,使用鱼眼摄像机分别采集了会议室和办公室两个不同场景的鱼眼视频图像,截取视频中的某一帧原始图像如图6(A)和图7(A)所示.实验平台采用W i n d o w s10专业版32位操作系统,I n t e l i33.3G H z双核C P U,4G B内存,开发环境为V i s u a l S t u d i o2010和O p e n c v2.3库.3.1校正效果实验对鱼眼图像进行校正,其校正结果分别如图6和图7所示.由图6和图7可见,原始图像中畸变直线,如图6(A)中的会议桌㊁长方形投影幕布的黑边框㊁遮挡玻璃门的连接线,图7(A)中的灯管㊁窗框和办公隔断等都已经校正成了直线.此外,由于校正映射平面改变引起视角变化而产生的4个视图相对于原图更符合人的观察习惯,如图6前视图中的矿泉水和花,图7左视图中的人,相对于原始图像,它们在校正图像中更容易被人眼观察和识别.3.2算法优化结果用本文优化方法对校正算法进行优化实验,算法优化前和优化后的运行时间列于表1.图6 会议室鱼眼图像校正结果F i g .6 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a ge s i n c o nf e r e n c e r o om 图7 办公室鱼眼图像校正结果F i g .7 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a ge s i nof f i c e r o o m 表1 算法运行时间(m s )T a b l e 1 R u n n i ng t i m e (m s )o f a l go r i t h m s 算法会议室办公室优化前102.69102.69映射优化12.6212.47内存优化18.3718.64 程序的计时采用O p e n c v 中提供的两个高精度计时函数g e t T i c k C o u n t ()和g e t T i c k F r e q u e n c y()701 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法801吉林大学学报(理学版)第55卷完成.表1中的运行时间为程序运行1000次的平均值.由表1可见:1)运行时间与场景无关,这是因为校正算法并不需要图像像素的灰度值;2)算法映射优化后,运行时间由原来的102m s降为12m s;3)采用矩阵的转置和翻转优化程序内存后,运行时间只增加了6m s,却节约了50%的内存空间.在实际应用中,可根据实际情况在程序运行效率和计算机内存占用间进行平衡.实验结果表明,经过优化后的算法完全可满足针对30帧/s鱼眼视频图像的实时校正.综上所述,本文针对鱼眼图像畸变严重㊁视觉效果差的问题,在深入分析鱼眼透镜球面投影模型的基础上,实现了一种采用映射查找法的实时校正方法.该方法选择包围半球最小长方体的5个面为校正平面,既充分展现了鱼眼图像的视觉信息,又减少了校正图像由于球面映射引起的图像畸变.本文从图像在计算机的内存布局出发,通过映射查找表和矩阵的转置与翻转,对算法从时间和空间上进行了优化.本文优化方法可以推广到其他有关图像几何校正(包括基于其他数学模型的鱼眼透镜图像校正)的算法实现中,优化方法具有一般性.实验结果表明,本文方法能显著改善鱼眼图像的显示效果,并满足鱼眼视频图像实时校正的要求.参考文献[1]魏利胜,周圣文,张平改,等.基于双经度模型的鱼眼图像畸变矫正方法[J].仪器仪表学报,2015,36(2):377-385.(W E IL i s h e n g,Z HO U S h e n g w e n,Z HA N G P i n g g a i,e t a l.D o u b l eL o n g i t u d e M o d e lB a s e dC o r r e c t i o n M e t h o d f o rF i s h-E y e I m a g eD i s t o r t i o n[J].C h i n e s e J o u r n a l o f S c i e n t i f i c I n s t r u m e n t,2015,36(2):377-385.)[2]赵瑞,郝书珍.一种大视角鱼眼图像校正算法的实现[J].河北农业大学学报,2014,37(3):106-110.(Z HA O R u i,HA O S h u z h e n.I m p l e m e n t a t i o no fC o r r e c t i o n A l g o r i t h m f o rL a r g e A n g l eF i s h e y eI m a g e s[J].J o u r n a l o fA g r i c u l t u r eU n i v e r s i t y o fH e b e i,2014,37(3):106-110.)[3]祝海江,徐晓波,周靖林.基于球面透视投影旋转矩阵的鱼眼图像匹配[J].光学学报,2013,33(2):0215001.(Z HU H a i j i a n g,X U X i a o b o,Z HO UJ i n g l i n.F i s h e y e I m a g eM a t c h i n g B a s e do nR o t a t i o n M a t r i xu n d e rS p h e r i c a l P e r s p e c t i v eP r o j e c t i o n[J].A c t aO p t i c aS i n i c a,2013,33(2):0215001.)[4] K a n n a l aJ,B r a n d tSS.A G e n e r i cC a m e r a M o d e l a n dC a l i b r a t i o n M e t h o df o rC o n v e n t i o n a l,W i d e-A n g l e,a n dF i s h-E y eL e n s e s[J].I E E ET r a n s a c t i o n sP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2006,28(8):1335-1340.[5] H u g h e sC,D e n n y P,G l a v i n M.E q u i d i s t a n t F i s h-E y eC a l i b r a t i o n a n dR e c t i f i c a t i o nb y V a n i s h i n g P o i n tE x t r a c t i o n[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2010,32(12):2289-2296.[6]霍薇薇,王作栋,高萌萌,等.基于坐标投影的鱼眼图像校正方法研究[J].电子测量技术,2014,37(5):25-28.(HU O W e i w e i,WA N GZ u o d o n g,G A O M e n g m e n g,e t a l.M e t h o do f F i s h e y e I m a g eC o r r e c t i o nB a s e do nC o o r d i n a t eP r o j e c t i o n[J].E l e c t r o n i cM e a s u r e m e n tT e c h n o l o g y,2014,37(5):25-28.)[7] HO U W e n g u a n g,D I N G M i n g y u e,Q I N N a n n a n,e t a l.D i g i t a l D e f o r m a t i o nM o d e l f o r F i s h e y e I m a g eR e c t i f i c a t i o n[J].O p t i c sE x p r e s s,2012,20(20):22252-22261.[8] H a r t l e y RI,K a n g SB.P a r a m e t e r-F r e eR a d i a lD i s t o r t i o nC o r r e c t i o nw i t hC e n t e ro fD i s t o r t i o nE s t i m a t i o n[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2007,29(8):1309-1321.[9] A r f a o u iA,T h i b a u l tS.F i s h e y e L e n s C a l i b r a t i o n U s i n g V i r t u a l G r i d[J].A p p l i e d O p t i c s,2013,52(12):2577-2583.[10] H u g h e sC,M c F e e l y R,D e n n y P,e ta l.E q u i d i s t a n t(fθ)F i s h-E y eP e r s p e c t i v e w i t h A p p l i c a t i o ni n D i s t o r t i o nC e n t r eE s t i m a t i o n[J].I m a g eV i sC o m p u t,2010,28:538-551.[11]王栋,朱明.利用图像畸变对称性实现相机中心位置标定[J].电子器件,2007,30(3):1003-1005.(WA N GD o n g,Z HU M i n g.C a m e r a sI m a g eC e n t e r M e a s u r e m e n t M e t h o dB a s e do fD i s t o r t e dS y mm e t r y[J].C h i n e s e J o u r n a l o fE l e c t r o nD e v i c e s,2007,30(3):1003-1005.)[12] HU A N GF u y u,WA N G Y o n g z h o n g,S H E N X u e j u,e t a l.M e t h o df o rC a l i b r a t i n g t h eF i s h e y eD i s t o r t i o nC e n t e r[J].A p p l i e dO p t i c s,2012,51(34):8169-8177.[13]杨中伟,杨鸣.基于椭球面模型的鱼眼图像校正方法[J].光学仪器,2014,37(2):127-131.(Y A N GZ h o n g w e i,Y A N G M i n g.A F i s h e y eI m a g eC o r r e c t i o n M e t h o dB a s e do nE l l i p s o i d M o d e l[J].O p t i c a l I n s t r u m e n t s,2014, 37(2):127-131.)(责任编辑:韩啸)。
全景鱼眼监控摄像机图像校正核心算法
Science and Technology & Innovation ┃科技与创新·71·文章编号：2095－6835（2016）17－0071－01全景鱼眼监控摄像机图像校正核心算法马朋飞，李柳群，潘云龙（北方民族大学，宁夏 银川 750021）摘 要：鱼眼镜头的视角范围远远大于平面镜头，为人们建立体积最小、质量最轻、功耗最少、视角最大的监控系统提供了可能性。
对于鱼眼镜头所成的像，由于受到景深曲率的影响，图像畸变十分严重，不符合正常视觉感受。
因此，需要图像校正算法消除鱼眼镜头畸变。
关键词：鱼眼镜头；全景监控；畸变校正；高清传感器中图分类号：TP391.41 文献标识码：A DOI ：10.15913/ki.kjycx.2016.17.071鱼眼镜头全景摄像机有四大关键技术，即鱼眼镜头、高像素传感器、处理软件和虚拟PTZ 。
上述四大技术中，高像素传感器和虚拟PTZ 技术基于近年高清传感器以及数字技术的迅猛发展已逐渐成熟，而鱼眼镜头及其处理软件还存在一些问题。
虽然多路视频全景摄像机可以避免鱼眼镜头图像失真，但或多或少也会存在融合边缘效果不真实、角度有偏差、分割融合后有“附加感”的问题。
1 全景摄像机技术全景摄像机作为一种特殊形态的产品，其有专用的应用领域和特色。
该技术不被某些特殊性和专用性束缚，表现出常规型摄像机应具有的功能，且环境适用性更强。
全景摄像机的优点在于能以最少的装机量实现最有效率的监控效果，即能减少护罩、布线与人员的施工费用，还能降低监控工程成本。
但其并未成熟，有不可忽视的缺陷，比如摄像机的单价偏高，监控距离较短，图像存储、还原等存在问题，急需调整和改进。
2 鱼眼图像失真分析鱼眼镜头全景摄像机的鱼眼镜头是一种超广角的特殊镜头，这种镜头的前镜片呈抛物状向镜头前部凸出，是一种焦距在6～16 mm 的短焦距镜头。
根据光学成像原理，短焦距镜头能呈现出大视场的监控效果，其三维视角可达到全景视角。
鱼眼镜头畸变校正算法的设计
科技创新导报 2020 NO.17
Science and Technology Innovation Herald
鱼眼镜头畸变校正算法的设计①
王赛男 刘涛 左震宇 (沈阳科技学院 辽宁沈阳 110167)
摘 要：鱼眼镜头的拍摄角度大，成像角度宽，但是在进行图像采集和成像的过程中存在大量畸变，直接使用采集而来的图
图片，本算法首先将棋盘格置于镜头前，获取畸变最大的 弧线，然后利用Matlab获取边缘畸变曲线的各个点坐标。 图2所示为采用本算法后畸变校正后的图像，仿真结果表 明，采用画圆 弧 法 畸 变 校 正算 法 后能 够 很 好 的 校 正 鱼 眼 镜头产生的桶形畸变，尤其在图像边缘校正效果明显。
4 结语 本 文 设 计了一种画圆弧法 畸 变校 正算 法，这 种 算 法将
鱼眼镜头的最大畸变边缘进行椭圆拟合，根据椭圆拟合曲 线进行图像校正，通过Matlab实验结果表明该算法对于鱼 眼 镜 头畸 变校 正 有着 较 好的 结果，该 算 法设 计 适 用于汽 车倒车影像系统，安全监控系统等。
2 画圆弧曲线拟合畸变校正算法 基于经度坐标对鱼眼图像进行校正和边缘直线拟合
算法是目前常用的鱼眼镜头畸变校正算法，但是经纬度坐 标 算 法在垂 直 方向校 正结果 较 好而在 水平方向仍 然 存 在 严重畸变，而边缘直线拟合算法需要首先 对镜头进行标 定，针对这两点缺点，本文提出了一种画圆弧曲线拟合畸变
校正算法，该算法在水平方向校正效果好，校正过程简单， 可不对镜头进行标定，简化了校正流程，减少了校正时间， 该 算 法 拟 通 过 对图像 底 部发 生畸 变 最 大 的圆进 分析，并 引入带 加 权的 偏 差 校 正 系数 从而 建 立校 正模 型，最 终 实 现鱼眼图畸变图像的校正。
提取鱼眼图像轮廓的算法改进及图像校正
Ａｂ ｔ ａ ｔ Ｔ ｅ ｕ ｅ ｏ ｓ ｅ ｅ ｌｎ ａ ｓ ｓ ｓ ｏ ｇ ｄ ｓ ｒ ｏ ｓ ｉ ｈ ｅ ｕｔ ｄ ｉ ｇ ｓ Ａｃ ｕ ａｅ ｃ ｎ ｏ ｒ ｅ ｔａ ｔ ｎ ｏ ｅ ｓｒ ｃ ： ｈ ｓ ｆ ｈ ｙ ｅ ｓｃ ｕ ｅ ｔ ｎ ｉｔ ｔ ｎ ｎ ｔ ｅ ｒ ｓ ｌ ｍａ ｅ ． ｃ ｒｔ ｏ ｔ ｕ ｘ ｒ ｃｉ ｆｔ ｉ ｆ ｒ ｏｉ ｅ ｏ ｈ ｉ ｅ ｅ ｉ ｇ ｓ ｒ ｒ ｑ ｉｉ ｆｒｉ ｇ ｏ ｒｃ ｉ ． ｒ ｄｔ ｎ ｌ ｌ ｏ ｔ ｍ ｓ ｎ ｆ ｔ ｏ ｓ ｐ ｒ ｓ ｈ ｏｓ ｓ ａ ｄ ｃ ｎ ｆ ｈ ｙ ｍａ ｅ ｉ ａ ｐ ｅ ｅ ｕ ｓｔ ｏ ｍａ ｅ ｃ ｒｅ ｔ ｎ Ｔ ａ ｉ ｏ ａ ａｇ ｒ ｈ ｉ ｉ ｅｆｃｉ ｅｔ ｕ ｐ ｅ ｓ ｔ ｅ ｎ ｉｅ ｎ ａ ｓ ｅ ｏ ｉ ｉ ｅ ｖ ｎ ｔｂ ｓ ｄ ｗｈ ｎ ｍａ ｓ ｅ ｂ ａ ｋ ｐ ｘ ｌ ａ ｐ ａ ｎ ｔ ｅ ｆ ｈ ｙ ｍａ ｅ Ｓｃ ｒｕ ａ ｕ ｉ ｅ ａｅ ． ｏ ａ ｍｐ ｏ ｅ ａ ｇ ｎ ｏ ｅ ｕ ｅ ｅ ｓ ｉ ｌｃ ｉｅｓ ｐ ｅ ｒｉ ｈ ｓ ｅ ｅ ｉ ｇ ｉ ｌｒ ｏ ｔ ｎ ｒ ａ Ｓ ｎ ｉ ｒｖ ｄ ｔ ｎ ｅ ｔ ｖ ｉ ｃ ｌ ｍｅ ｈ ｄ ｏ ｓ ｅ ｅ ｉ ｇ ｏ ｔｕ ｘｒ ｃ ｉｎ ｉ ｐ ｏ ｏ ｅ ｈ ｓｐ ｐ ｒ Ｔ ｅ ｅ ｐ ｒｍｅ ｔ ｅ ｕ ｓｓ ｏ ｈ ｔ ｈ ｒ ｐ ｓ ｄ ａ — ｔ ｏ ｆｆ ｈ ｙ ｉ ｍａ ｅ ｃ ｎｏ ｒｅ ｔ ｔ ｒｐ ｓ ｄ ｉ ｔ ｉ ａ ｅ ． ｈ ｘ ｅ ａ ｏ ｓ ｎ ｉ ｎ ｓ ｈ ｈ ｗ ｔ ａ ｅｐ ｏ ｏ ｅ ｒ ｔ ｌ ｇ ｒ ｈ ｃ ｎ ｅ ａ ｔｔ ｅ ｃ ｎ ｅ ｎ ａ ｉ ｓｏ ｅｆ ｈ ｙ ｍａ ｅ ｎ ａ ｂ ｉｕ ｕ ｅ ｏ ｔ ｆｈ ｇ ｒ ｃｓｏ ｎ ｏ ｄ ｏ ｉ ｍ ａ ｘ ｃ ｈ ｅ ｔｒａ ｄ ｒ ｄｕ ｆｔ ｓ ｅ ｅ ｉ ｇ ｓ ａ ｄ ｈ ｓ ｏ ｖｏ ｓ ｓ ｐ ｒ ｒ ｙ ｏ ｉｈ ｐ ｅ ｉｉｎ ａ ｄ ｇ ｏ ｔ ｈ ｉ ｉ ｉ ｒ ａ — ｍｅ Ｆ ｎ ｌ ａ ｓ ｔ ｆ ｃｏｙ ｅｆ ｃ ｆ ｓ ｅ ｅ ｉ ｇ ｉｔｒｉｎ ｃ ｒｅ ｔ ｎ ｉ ａ ｈｅ ｅ ｙ ａ ｐ ｙ ｎ ｐ ｅ ｃ ｏ ｒ ｉ ｅ ｔ ． ｉ ａ ｙ， ａ ｉ ａ ｔｒ ｆ ｔｏ ｈ ｙ ｍａ ｅ ｄ ｓ ｔ ｏ ｒ ｃｉ ｓ ｃ ｉｖ ｄ ｂ ｐ ｌｉ ｇ ｓ ｈ ｒ ａ ｃ ｄ － ｌ ｉ ｌ ｓ ｅ ｉ ｆ ｏ ｏ ｏ ｉ ｌ
鱼眼相机标定原理
鱼眼相机标定原理鱼眼相机是一种具有广角视野的特殊相机，它能够捕捉到更大范围的景象。
然而，由于鱼眼镜头的特殊形状，它会引起图像的畸变。
为了纠正这种畸变并获得准确的图像信息，我们需要对鱼眼相机进行标定。
鱼眼相机标定的原理是通过建立相机模型，将图像坐标与世界坐标进行映射，从而实现对图像畸变的校正。
常用的鱼眼相机模型有两种：圆柱投影模型和正交投影模型。
圆柱投影模型是最常用的鱼眼相机模型之一。
它假设鱼眼相机的镜头形状为圆柱体，并将图像坐标映射到一个圆柱体上。
在这个模型中，通过建立图像坐标和世界坐标之间的映射关系，可以实现对图像畸变的校正。
正交投影模型是另一种常用的鱼眼相机模型。
它假设鱼眼相机的镜头形状为正方体，并将图像坐标映射到一个正方体上。
与圆柱投影模型类似，通过建立图像坐标和世界坐标之间的映射关系，可以实现对图像畸变的校正。
鱼眼相机标定的过程可以分为两个步骤：内参数标定和外参数标定。
内参数标定是指确定相机的内部参数，包括焦距、主点坐标和畸变系数等。
为了进行内参数标定，我们需要采集一组已知的图像和对应的世界坐标。
通过对这些数据进行处理，可以得到相机的内部参数。
外参数标定是指确定相机的外部参数，包括相机的位置和朝向。
为了进行外参数标定，我们需要采集一组已知的图像和对应的世界坐标。
通过对这些数据进行处理，可以得到相机的外部参数。
在鱼眼相机标定的过程中，我们需要使用特殊的标定板。
这个标定板上通常会有一些特殊的标记点，以便于相机进行识别。
通过将标定板放置在不同的位置和角度，然后采集对应的图像和世界坐标，我们可以得到一组用于标定的数据。
在实际的标定过程中，我们需要使用相机标定的软件。
这个软件可以帮助我们进行数据的采集和处理，从而得到相机的内外参数。
在标定过程中，我们还需要注意一些细节，比如保证标定板和相机保持平行、避免阴影和反射等。
一旦完成了鱼眼相机的标定，我们就可以使用得到的参数对图像进行畸变校正。
通过将图像坐标映射到世界坐标，并使用内外参数进行逆映射，我们可以得到校正后的图像。
鱼眼图像畸变的双向经度快速校正方法
第 41 卷 第 10 期 2019 年 10 月
赵丹阳等：鱼眼图像畸变的双向经度快速校正方法
ZHAO Danyang，LYU Yong，LI Xiaoying
(School of Instrument Science and Opto-electronics Engineering, Beijing Information Science and Technology University, Beijing 100192, China)
变形，这为识别和测量等应用带来了不便。针对传统经度校正方法的不足，将算法改进为双向经度
鱼眼图像快速校正算法。通过对鱼眼图像有效区域进行划分，并对不同区域内的畸变点在横、纵两
个方向上分别建立校正模型，确定畸变图像与理想图像之间坐标映射关系，求取校正坐标的位置。
最后对图像进行非线性拉伸，改善图像中心与边缘放大率不同而产生的“膨胀感”，获得符合人眼
给镜头带来的成像缺陷就是产生了一定的径向畸变， 使得视场角达到甚至超过 180范围的场景弯曲成像 在平面图像上，所以鱼眼图像通常不符合人们的视觉 习惯[2]，在实际应用中需要对鱼眼图像做去畸变处理。
国内外学者也提出了很多去除鱼眼图像畸变的 方法，目前常用的去畸变方法可分为相机标定法和模 型校正法。相机标定法是运用标定工具对相机的内外 参数进行标定，主要分为棋盘格标定法[3-6]、同心圆模
0 引言
鱼眼镜头是一种超大视场的成像镜头，具有焦距 短、视场范围广的特点，鱼眼镜头的视场角通常可达 到甚至超过 180[1]。近年来，国内外鱼眼镜头的发展 十分迅速，应用也医疗内窥检查、安防监控、 视觉导航和国防军事领域等方面。同时，超大视场角
Abstract：Images taken with large field of view (FOV) fish-eye lenses exhibit distortion because of differing lateral magnification in different fields of view. This kind of distortion makes identification and measurement inconvenient. To resolve the shortcomings of the traditional longitude correction method, an improved rapid bidirectional longitude correction method is proposed. The effective area of the fish-eye image was divided into parts, and a correction model for different points in different vertical and horizontal areas was built to determine the coordinate mapping relationship between the distorted image and the ideal image. The position of the correction coordinates can then be obtained according to this relationship. Finally, nonlinear stretching was performed to abate the “swelling” caused by the difference of magnification between the center and edge of the image to obtain the image that accords with the human-perceived version. Three groups of images were corrected by using MATLAB. The results demonstrate that this method can correct the distortion of fish-eye images quickly and effectively. Key words：distortion, longitude correction, fish-eye image, coordinate mapping
鱼眼图像畸变校正算法
鱼眼图像畸变校正算法司 磊 朱学玲（安徽新华学院 信息工程学院 安徽 合肥 230088）摘 要： 根据鱼眼镜头成像的特点，选择合适的图像畸变校正算法，标定鱼眼图像的中心和半径，用标定得到的参数进行校正，推出校正模型，方法简单，易于实现，并对鱼眼图的畸变矫正问题提出意见与看法。
关键词： 鱼眼图像；畸变矫正；图像预处理；图像增强中图分类号：TP391 文献标识码：A 文章编号：1671－7597（2012）1110166－02鱼眼图像的畸变矫正是以某种独特的变换方式将一副鱼眼 2 有关鱼眼图片的粗略校正图像转换为理想图像的操作，这种操作在全方位视觉导航中具1）求取鱼眼图像行和列的比值有重要的作用，是系统自动识别、跟踪和定位目标所必须的基将投射生成标准圆变换为鱼眼图片并求取图片中心点的方础操作。
法与普通相机照相原理不同，对于提取出来的鱼眼图片的轮1 畸变图像的校正原理廓，我们先假定一个阈值，比如设一个灰度值30，用软件勾勒描绘出校正鱼眼图片大概的轮廓，然后先求出该轮廓的中心点根据畸变图像特点标定坐标图，求取标定点像素的理想值坐标，根据轮廓的图形和鱼眼图像的中心点的坐标，可计算出和实际值，同时生成坐标映射表，再把坐标映射表用于畸变图畸变图像的圆半径，从而求取鱼眼图像的中心点坐标和鱼眼图像的校正程序后，即可得到无畸变图像，具体处理过程如下：像的粗略轮廓的图像的半径相对比，以便于将鱼眼图像的大概1）标定坐标轮廓重新调整处理，变的更为精确和直观。
假定畸变校正的鱼镜头中心的畸变可以忽略为零，以镜头为中心，离镜头越眼图片的半径中的行坐标曲线和列坐标曲线不相等，则我们需远的地方畸变越大。
以镜头为中心标定坐标图，对图像进行坐要将畸变校正的鱼眼图像中的园的半径的曲线与下面的公式相标的标定，按正方形均匀排列圆点，如图1所示。
乘，然后就可以变换为普通的标准圆的图像。
下面公式中（u，v）是畸变校正的鱼眼图片的中心点，β为畸变校正的鱼眼图像行和列的比值。