鱼眼镜头图像变形校正算法研究
基于圆分割的鱼眼镜头图像畸变校正算法
２２６
此特点，对丁均匀分割的同心蚓曲线映射成方形曲 线的ｌｑ时，根摧Ｉ刮心旧榷近边缘ｆ自稗度，可以相麻 的对校正斤的＾彤曲线问的距离进行微调，使得图 像的校正教粜更理想。 微调算ｊ王如Ｆ：
５结论
本文研究丁一种基ｊ圆分割ｆ日鱼眼镜头校正算 法。通过将鱼眼州像舒割成若Ｔ同心吲线，利刖投
ｆ“’＝Ⅳ＋ｍ（０≤¨≤ｗＪ
具有相同的，０坐标值．如图中Ｈ和世点在无扭曲的
３基于圆分割的鱼眼镜头校正算法
本文提出的基于圆分割的鱼眼校正算法采用 了同心圆分割的方法，将鱼眼图像分割成一系列的 圆线，再利用函数法，将畸变图像中的圆线经过一 定的算法映射成方形线，这样从图像中心的小圆开 始，将畸变的鱼眼圆形图像校正为人们习惯的透视 投影图像。有效的解决了基于经度校正方法还存在 的拱形失真问题，
的距离成正比．，取值越大．则边缘处微调物件之
法中采用的嘲分割山沾，充分利用了鱼崛图像的圆 对称返特征，ＪＥ其对于鱼眼ｌ割像边缘处的｛交『Ｆ敏 粜，与墓＿’经度的畸变校正算法比较．本文提出的 算泣赦果更理想。微调系数的引入，使得算泣更灵
问的距离就越远，，的驭值可以根据宴％－情Ｉ兄设定。
４
ＭａｔＬａｂ实验结果
ｕｓｅｓ
ｔｈｅ ｆｕｎｃｔｉｏｎ ｍｅｔｈｏｄ ｉｍａｇｅ ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ．Ｍａｔｌａｂ
ｏｕｒ
ｔｈａｔ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ
ａｌｇｏｒｉｔｈｍ ｈａｓ
ｃｏｒｒｅｃｔｅｄ
ｃａｎ
ｔｈｅ
ｆｉｓｈｅｙｅ
ｉｍａｇｅ
ｓａｔｉｓｆａｃｔｏｒｉｌｙ ａｎｄ ｔｈｅ ｃａｌｃｕｌａｔｉｏｎ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｔａｋｅｓ ｌｅｓｓ ｔｉｍｅ，ＳＯ ｔｈａｔ ｉｔ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ． Ｋｅｙ ｗｏｒｄｓ：ｆｉｓｈ－ｅｙｅ ｌｅｎｓ；ｉｍａｇｅ ｄｉｓｔｏｒｔｉｏｎ；ｃｉｒｃｌｅ
鱼眼视频图像畸变的实时校正方法-吉林大学学报
第55卷 第1期吉林大学学报(理学版)V o l .55 N o .1 2017年1月J o u r n a l o f J i l i nU n i v e r s i t y (S c i e n c eE d i t i o n )J a n 2017d o i :10.13413/j .c n k i .jd x b l x b .2017.01.18鱼眼视频图像畸变的实时校正方法吕耀文,安 喆,徐熙平(长春理工大学光电工程学院,长春130022)摘要:采用鱼眼图像的球面投影模型,提出一种基于鱼眼透镜球面投影的实时校正方法.该方法将鱼眼图像映射在5个图像平面上,解决了鱼眼视频图像畸变严重,观测视觉体验效果较差的问题;根据图像在计算机中的内存布局,对校正算法中的空间映射计算和内存存储空间进行了优化,提高了算法的执行效率,减少了算法的内存消耗.实验结果表明,该方法能显著改善鱼眼图像的显示效果,对单帧图像的处理时间仅为18.37m s,能满足鱼眼视频图像实时校正的需要.关键词:图像校正;鱼眼图像;实时处理;球面投影中图分类号:T P 391 文献标志码:A 文章编号:1671-5489(2017)01-0103-06R e a l -T i m eC o r r e c t i o n M e t h o d f o rF i s h e y eV i d e o I m a ge sD i s t o r t i o n L ÜY a o w e n ,A NZ h e ,X U X i p i n g(S c h o o l o f O p t i c a lE n g i n e e r i n g ,C h a n g c h u nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,C h a n g c h u n 130022,C h i n a )A b s t r a c t :U s i n g s p h e r i c a l p r o j e c t i o n m o d e lo ff i s h e y ei m a g e ,w e p r o p o s e dar e a l -t i m ec o r r e c t i o n m e t h o db a s e do n s p h e r i c a l p r o j e c t i o n .T h em e t h o dm a d e t h e f i s h e y e i m a g em a p i n5i m a g e p l a n e ,s o a s t o s o l v e t h e p r o b l e mo f s e r i o u s d i s t o r t i o n a n d p o o r v i s u a l e f f e c t s f o r f i s h e y e v i d e o .A c c o r d i n g t o t h e l a y o u to f 2D i m a g e d a t a a l l o c a t i o n si n m e m o r y ,t h e s p a c e m a p p i n g c a l c u l a t i o n a n d m e m o r y m a n a g e m e n tw e r e o p t i m i z e d i n t h e c o r r e c t i o n a l g o r i t h m.T h e e f f i c i e n c y o f t h e a l g o r i t h m w a s i m p r o v e d a n d t h em e m o r y c o n s u m p t i o no f t h e a l g o r i t h m w a s r e d u c e d .T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t t h e m e t h o d c a n s i g n i f i c a n t l y i m p r o v e t h e v i s u a l e f f e c t so f f i s h e y e i m a g e s ,a n d t h e r u n n i n g t i m eo f s i n g l e f r a m e i m a g e i s o n l y 18.37m s ,w h i c h c a n s a t i s f y t h e n e e d o f r e a l -t i m e f i s h e y e v i d e o i m a g e c o r r e c t i o n .K e y w o r d s :i m a g e c o r r e c t i o n ;f i s h e y e i m a g e ;r e a l -t i m e p r o c e s s i n g ;s p h e r i c a l p r o j e c t i o n 收稿日期:2016-06-13.作者简介:吕耀文(1987 ),男,汉族,博士,讲师,从事数字图像处理和机器学习的研究,E -m a i l :l u o h o n g j u a n 05@163.c o m.基金项目:国家自然科学基金(批准号:11474041)和吉林省科技发展计划项目青年基金(批准号:20160520018J H ).鱼眼摄像机具有视场广㊁信息量丰富及制造成本低等优点,在安全监控㊁机器人导航㊁智能交通和全景展示等领域应用广泛[1-3].但由于鱼眼镜头在光学设计结构上将180ʎ的场景映射到单个成像平面探测器上,导致鱼眼图像畸变严重,观测视觉体验效果较差.因此通过后期软件处理技术校正鱼眼畸变图像,提高人眼观测视觉舒适度,已成为鱼眼摄像机应用的关键技术.目前,鱼眼图像的畸变校正方法主要分为两类:基于标定的校正方法[4-5]和基于投影变换模型的校正方法[1-2,6-7].基于标定的校正算法主要通过借助外部设备对鱼眼图像的畸变多项式系数进行标定,以获得畸变源图像到校正目标图像的点到点映射关系,从而实现鱼眼图像的畸变校正功能.主要包括基于射影几何中的对极几何[4,8]和消隐点[5]约束的标定方法㊁采用交叉衍射光学元件(C D O F )的标定法[9]㊁直线投影不变约束的圆拟合[10]和高斯拟合法[11-12]以及平面棋盘点位置坐标的标定方法[8].这些方法对鱼眼镜头的投影过程建立了复杂的数学模型,校正精度较高,但需要专用的标定设备和复杂的软件算法实现,且校正目的是为了获得数学模型上的对应,对于人眼视觉的观察并没有较大提升.基于投影模型的校正方法主要包括经纬映射投影法[1]㊁球面模型投影法[2]㊁柱面投影法[6]㊁数字畸变模型投影法[7]和椭球面模型投影法[13].模型投影法以一种简化的投影模型近似鱼眼镜头的复杂光学成像原理,虽然校正精度不如标定法,但具有校正原理简单㊁实现方便和视觉效果改善显著等优点.目前的校正方法多数只考虑最后的校正结果,未考虑校正算法的复杂性和实时性.因此,本文以鱼眼透镜的球面投影模型为基础,结合图像的内存布局方式,采用映射查找的方法,实现一种针对鱼眼视频图像畸变的实时校正方法.1鱼眼图像校正算法1.1图像的几何变换鱼眼图像的校正归属于图像的几何变换应用.几何变换包含两个基本操作:1)目标图像与源图像的空间映射关系,即目标图像的某个像素点在源图像中的空间位置,但这个映射的空间位置可能不一定为整数;2)灰度插值,典型的灰度插值按计算复杂度从低到高依次为最近邻插值㊁双线性插值和二次插值.图1为图像几何变换的示意图.1.2鱼眼图像的球面投影模型鱼眼图像的投影模型定义了校正图像与鱼眼图像的空间映射关系.图2为鱼眼图像的球面投影模型,其中:点s为校正目标图像上点p到鱼眼图像上的映射点,是球面点p1到鱼眼图像平面的垂直映射;p1是鱼眼图像中心点o和点p的连线o p与映射球的交点.映射关系确定后,要实现图像的校正,还需要解决两个问题:1)校正图像平面的空间位置;2)校正图像的大小.图1图像几何变换示意图F i g.1S c h e m a t i c d i a g r a mo f i m a g eg e o m e t r i c t r a n s f o r m a t i o n图2鱼眼图像的球面投影模型F i g.2S p h e r i c a l p r o j e c t i o nm o d e lo f f i s h e y e i m a g e校正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小,不影响最终校正图像的视觉效果;直线o c的角度变化产生了不同视角下的校正图像.如果校正图像太小会导致校正图像中包含的鱼眼图像信息过少,需要很多张校正图像才能覆盖鱼眼图像中的所有信息,导致校正算法复杂㊁计算量大且不便于观察者观看.图3为球面投影映射的切面图,鱼眼图像中的等距线段s1和s2在校正目标图像中产生了明显的大小差异,所以若校正图像过大,将导致校正图像的非线性畸变.因此,为了充分展现鱼眼图像的视觉信息,并减少校正图像由于球面映射导致的图像畸变,本文以包围半球最小长方体的5个面为校正平面,分别命名为顶视图㊁左视图㊁右视图㊁前视图和后视图,如图4所示.1.3校正方法下面从校正平面中的任一像素点p(j j,k k)开始,计算点p在鱼眼图像中对应点s的图像坐标(x,y).1)点p在o-x y z三维坐标系中坐标(u,v,w)的计算.顶视图为u=j j-R,v=k k-R,w=R;(1) 401吉林大学学报(理学版)第55卷图3 球面投影映射的切面图F i g .3 S e c t i o n c u t o f s p h e r i c a l p r o j e c t i o nm a p p i ng 图4 鱼眼图像校正平面F i g .4 C o r r e c t i o n p l a n e s o f f i s h e y e i m a ge 前视图为u =j j -R , v =-R , w =R -k k ;(2)后视图为u =j j -R , v =R , w =R -k k ;(3)左视图为u =-R , v =j j -R , w =R -k k ;(4)右视图为u =-R , v =j j -R , w =R -k k .(5)其中R 为鱼眼透镜圆形图像的半径.2)映射点s 在x o y 平面中坐标(x 1,y 1)的计算.(x 1,y1)等效于映射球上点p 1的x 坐标分量和y 坐标分量,因此由几何关系可得x 1=R u /(u 2+v 2+w 2)1/2, y 1=R v /(u 2+v 2+w 2)1/2.(6) 3)点s 的图像坐标(x ,y )为x =x 1+c x , y =y 1+c y ,(7)其中(c x ,c y )为坐标中心点o 在鱼眼图像中的图像坐标,即为鱼眼图像圆心的图像坐标.本文中鱼眼图像的中心和半径采用文献[13]的方法确定.校正图像到鱼眼图像的映射关系确定后,即可采用灰度插值算法实现鱼眼图像的校正.基于实时性的考虑,本文选择最近邻插值法.2 图像的内存布局及算法优化计算机只能处理存储在计算机内存中的数据.C P U 以寻址的方式读取计算机内存中的待处理数据,处理完毕后,又以寻址的方式写入到计算机内存中.该过程表现在编程语言上,对应为指针地址的赋值㊁指针所指内存空间的取值和赋值.计算机的寻址是一个一维过程,即计算机对内存的操作并未区分行和列,只以一个统一的32b i t (或64b i t )地址映射内存.二维图像以某种数据结构连续存储在计算机内存中,因此采用一维的寻址方式扫描二维图像的像素可提高算法的效率.以一维的方式正确扫描二维图像数据需要确定图像在计算机中的内存布局.二维图像变成一维排列有两种方式:1)列优先方式,即扫描以列为方向,MA T L A B 软件就是采用这种扫描方式;2)行优先方式,即扫描以行为方向,计算机视觉图像处理库O p e n c v 采用行优先方式.本文采用V i s u a l S t u d i o 2010和O p e n c v 2.3工具开发鱼眼图像校正算法,因此重点说明行优先方式.对于图像中的第i 行第j 列位置的一维寻优地址a d 为a d =i ˑC O L S +j ,(8)其中C O L S 为二维图像的列数.2.1 映射计算优化成像模型与鱼眼摄像机获得的图像内容无关,因此对鱼眼视频的每张图像采用的校正方法均一501 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法601吉林大学学报(理学版)第55卷致.为了避免重复映射关系计算,本文采用数组存储映射关系,在程序启动时,初始化该一维数组,一维数组的序号为校正目标图像内存布局的一维地址偏移量,其对应的存储值为映射鱼眼图像像素点的一维地址偏移量.在视频图像校正过程中采用数组读取的方式查找映射.2.2内存存储空间优化将计算变为映射查找可提高程序的执行效率,但映射查找表的存储需要消耗计算机的内存.本文需要校正5个视图,以1Kˑ1K分辨率图像计算,需要提前开销12M B的内存(顶视图需要1Kˑ1K 的索引,4个侧视图分别需要1Kˑ0.5K的索引,每个索引对应4B y t e的整数),因此存储映射表的内存消耗是图像大小的12倍.为了降低程序对系统内存的损耗,通过分析图4发现4个侧视映射平面是对称的,并且鱼眼图像的成像区域是一个圆,具有旋转对称性,因此4个侧视图只需要1个映射表就能完成鱼眼图像的侧视图校正.本文存储前视图的映射表,对于另外3个侧视图的校正,采用绕图像中心旋转的方式完成.例如,对于右视图的校正,将鱼眼图像旋转90ʎ即可变右视图为前视图.同理后视图和左视图的旋转角度分别为180ʎ和-90ʎ.图像90ʎ的旋转等效为二维图像矩阵的转置,180ʎ的图像旋转对应二维图像矩阵的上下翻转.矩阵的转置和翻转在计算机处理中只是二维数据的重新排列,其计算时间较少.因此,可通过矩阵的转置和翻转,将4个侧视映射表变为1个侧视映射表,在不降低算法运行效率的前提下,映射表的存储空间由12倍的图像大小降为6倍,显著提高了计算机内存的利用效率.优化后的程序流程如图5所示.图5优化后的程序流程F i g.5F l o wc h a r t o f o p t i m i z e d p r o g r a m3实验为验证本文算法的效果和性能,使用鱼眼摄像机分别采集了会议室和办公室两个不同场景的鱼眼视频图像,截取视频中的某一帧原始图像如图6(A)和图7(A)所示.实验平台采用W i n d o w s10专业版32位操作系统,I n t e l i33.3G H z双核C P U,4G B内存,开发环境为V i s u a l S t u d i o2010和O p e n c v2.3库.3.1校正效果实验对鱼眼图像进行校正,其校正结果分别如图6和图7所示.由图6和图7可见,原始图像中畸变直线,如图6(A)中的会议桌㊁长方形投影幕布的黑边框㊁遮挡玻璃门的连接线,图7(A)中的灯管㊁窗框和办公隔断等都已经校正成了直线.此外,由于校正映射平面改变引起视角变化而产生的4个视图相对于原图更符合人的观察习惯,如图6前视图中的矿泉水和花,图7左视图中的人,相对于原始图像,它们在校正图像中更容易被人眼观察和识别.3.2算法优化结果用本文优化方法对校正算法进行优化实验,算法优化前和优化后的运行时间列于表1.图6 会议室鱼眼图像校正结果F i g .6 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a ge s i n c o nf e r e n c e r o om 图7 办公室鱼眼图像校正结果F i g .7 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a ge s i nof f i c e r o o m 表1 算法运行时间(m s )T a b l e 1 R u n n i ng t i m e (m s )o f a l go r i t h m s 算法会议室办公室优化前102.69102.69映射优化12.6212.47内存优化18.3718.64 程序的计时采用O p e n c v 中提供的两个高精度计时函数g e t T i c k C o u n t ()和g e t T i c k F r e q u e n c y()701 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法801吉林大学学报(理学版)第55卷完成.表1中的运行时间为程序运行1000次的平均值.由表1可见:1)运行时间与场景无关,这是因为校正算法并不需要图像像素的灰度值;2)算法映射优化后,运行时间由原来的102m s降为12m s;3)采用矩阵的转置和翻转优化程序内存后,运行时间只增加了6m s,却节约了50%的内存空间.在实际应用中,可根据实际情况在程序运行效率和计算机内存占用间进行平衡.实验结果表明,经过优化后的算法完全可满足针对30帧/s鱼眼视频图像的实时校正.综上所述,本文针对鱼眼图像畸变严重㊁视觉效果差的问题,在深入分析鱼眼透镜球面投影模型的基础上,实现了一种采用映射查找法的实时校正方法.该方法选择包围半球最小长方体的5个面为校正平面,既充分展现了鱼眼图像的视觉信息,又减少了校正图像由于球面映射引起的图像畸变.本文从图像在计算机的内存布局出发,通过映射查找表和矩阵的转置与翻转,对算法从时间和空间上进行了优化.本文优化方法可以推广到其他有关图像几何校正(包括基于其他数学模型的鱼眼透镜图像校正)的算法实现中,优化方法具有一般性.实验结果表明,本文方法能显著改善鱼眼图像的显示效果,并满足鱼眼视频图像实时校正的要求.参考文献[1]魏利胜,周圣文,张平改,等.基于双经度模型的鱼眼图像畸变矫正方法[J].仪器仪表学报,2015,36(2):377-385.(W E IL i s h e n g,Z HO U S h e n g w e n,Z HA N G P i n g g a i,e t a l.D o u b l eL o n g i t u d e M o d e lB a s e dC o r r e c t i o n M e t h o d f o rF i s h-E y e I m a g eD i s t o r t i o n[J].C h i n e s e J o u r n a l o f S c i e n t i f i c I n s t r u m e n t,2015,36(2):377-385.)[2]赵瑞,郝书珍.一种大视角鱼眼图像校正算法的实现[J].河北农业大学学报,2014,37(3):106-110.(Z HA O R u i,HA O S h u z h e n.I m p l e m e n t a t i o no fC o r r e c t i o n A l g o r i t h m f o rL a r g e A n g l eF i s h e y eI m a g e s[J].J o u r n a l o fA g r i c u l t u r eU n i v e r s i t y o fH e b e i,2014,37(3):106-110.)[3]祝海江,徐晓波,周靖林.基于球面透视投影旋转矩阵的鱼眼图像匹配[J].光学学报,2013,33(2):0215001.(Z HU H a i j i a n g,X U X i a o b o,Z HO UJ i n g l i n.F i s h e y e I m a g eM a t c h i n g B a s e do nR o t a t i o n M a t r i xu n d e rS p h e r i c a l P e r s p e c t i v eP r o j e c t i o n[J].A c t aO p t i c aS i n i c a,2013,33(2):0215001.)[4] K a n n a l aJ,B r a n d tSS.A G e n e r i cC a m e r a M o d e l a n dC a l i b r a t i o n M e t h o df o rC o n v e n t i o n a l,W i d e-A n g l e,a n dF i s h-E y eL e n s e s[J].I E E ET r a n s a c t i o n sP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2006,28(8):1335-1340.[5] H u g h e sC,D e n n y P,G l a v i n M.E q u i d i s t a n t F i s h-E y eC a l i b r a t i o n a n dR e c t i f i c a t i o nb y V a n i s h i n g P o i n tE x t r a c t i o n[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2010,32(12):2289-2296.[6]霍薇薇,王作栋,高萌萌,等.基于坐标投影的鱼眼图像校正方法研究[J].电子测量技术,2014,37(5):25-28.(HU O W e i w e i,WA N GZ u o d o n g,G A O M e n g m e n g,e t a l.M e t h o do f F i s h e y e I m a g eC o r r e c t i o nB a s e do nC o o r d i n a t eP r o j e c t i o n[J].E l e c t r o n i cM e a s u r e m e n tT e c h n o l o g y,2014,37(5):25-28.)[7] HO U W e n g u a n g,D I N G M i n g y u e,Q I N N a n n a n,e t a l.D i g i t a l D e f o r m a t i o nM o d e l f o r F i s h e y e I m a g eR e c t i f i c a t i o n[J].O p t i c sE x p r e s s,2012,20(20):22252-22261.[8] H a r t l e y RI,K a n g SB.P a r a m e t e r-F r e eR a d i a lD i s t o r t i o nC o r r e c t i o nw i t hC e n t e ro fD i s t o r t i o nE s t i m a t i o n[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2007,29(8):1309-1321.[9] A r f a o u iA,T h i b a u l tS.F i s h e y e L e n s C a l i b r a t i o n U s i n g V i r t u a l G r i d[J].A p p l i e d O p t i c s,2013,52(12):2577-2583.[10] H u g h e sC,M c F e e l y R,D e n n y P,e ta l.E q u i d i s t a n t(fθ)F i s h-E y eP e r s p e c t i v e w i t h A p p l i c a t i o ni n D i s t o r t i o nC e n t r eE s t i m a t i o n[J].I m a g eV i sC o m p u t,2010,28:538-551.[11]王栋,朱明.利用图像畸变对称性实现相机中心位置标定[J].电子器件,2007,30(3):1003-1005.(WA N GD o n g,Z HU M i n g.C a m e r a sI m a g eC e n t e r M e a s u r e m e n t M e t h o dB a s e do fD i s t o r t e dS y mm e t r y[J].C h i n e s e J o u r n a l o fE l e c t r o nD e v i c e s,2007,30(3):1003-1005.)[12] HU A N GF u y u,WA N G Y o n g z h o n g,S H E N X u e j u,e t a l.M e t h o df o rC a l i b r a t i n g t h eF i s h e y eD i s t o r t i o nC e n t e r[J].A p p l i e dO p t i c s,2012,51(34):8169-8177.[13]杨中伟,杨鸣.基于椭球面模型的鱼眼图像校正方法[J].光学仪器,2014,37(2):127-131.(Y A N GZ h o n g w e i,Y A N G M i n g.A F i s h e y eI m a g eC o r r e c t i o n M e t h o dB a s e do nE l l i p s o i d M o d e l[J].O p t i c a l I n s t r u m e n t s,2014, 37(2):127-131.)(责任编辑:韩啸)。
全景鱼眼监控摄像机图像校正核心算法
Science and Technology & Innovation ┃科技与创新·71·文章编号：2095－6835（2016）17－0071－01全景鱼眼监控摄像机图像校正核心算法马朋飞，李柳群，潘云龙（北方民族大学，宁夏 银川 750021）摘 要：鱼眼镜头的视角范围远远大于平面镜头，为人们建立体积最小、质量最轻、功耗最少、视角最大的监控系统提供了可能性。
对于鱼眼镜头所成的像，由于受到景深曲率的影响，图像畸变十分严重，不符合正常视觉感受。
因此，需要图像校正算法消除鱼眼镜头畸变。
关键词：鱼眼镜头；全景监控；畸变校正；高清传感器中图分类号：TP391.41 文献标识码：A DOI ：10.15913/ki.kjycx.2016.17.071鱼眼镜头全景摄像机有四大关键技术，即鱼眼镜头、高像素传感器、处理软件和虚拟PTZ 。
上述四大技术中，高像素传感器和虚拟PTZ 技术基于近年高清传感器以及数字技术的迅猛发展已逐渐成熟，而鱼眼镜头及其处理软件还存在一些问题。
虽然多路视频全景摄像机可以避免鱼眼镜头图像失真，但或多或少也会存在融合边缘效果不真实、角度有偏差、分割融合后有“附加感”的问题。
1 全景摄像机技术全景摄像机作为一种特殊形态的产品，其有专用的应用领域和特色。
该技术不被某些特殊性和专用性束缚，表现出常规型摄像机应具有的功能，且环境适用性更强。
全景摄像机的优点在于能以最少的装机量实现最有效率的监控效果，即能减少护罩、布线与人员的施工费用，还能降低监控工程成本。
但其并未成熟，有不可忽视的缺陷，比如摄像机的单价偏高，监控距离较短，图像存储、还原等存在问题，急需调整和改进。
2 鱼眼图像失真分析鱼眼镜头全景摄像机的鱼眼镜头是一种超广角的特殊镜头，这种镜头的前镜片呈抛物状向镜头前部凸出，是一种焦距在6～16 mm 的短焦距镜头。
根据光学成像原理，短焦距镜头能呈现出大视场的监控效果，其三维视角可达到全景视角。
鱼眼图像校正及拼接的研究与实现
—190—鱼眼图像校正及拼接的研究与实现崔汉国，陈 军，王大宇（海军工程大学船舶与动力学院，武汉 430033）摘 要：鱼眼图像视角大，两幅图片即可拼接成全景图，但鱼眼图像存在严重变形。
该文利用场景中直线的鱼眼投影曲线，使用球面透视投影约束，得到径向和切向变形参数，实现了鱼眼图像的校正。
基于待拼接图像之间重叠部分亮度差最小的原理，确定了重叠区域，通过在重叠区域间的融合，实现了图像的无缝拼接。
校正及拼接结果表明，该方法能得到较为满意的效果。
关键词：鱼眼图像；全景图像；图像拼接；球面透视Study and Implementation of Distortion Correction andMosaics of Fisheye ImagesCUI Hanguo, CHEN Jun, WANG Dayu(College of Naval Architecture and Power Engineering, Naval University of Engineering, Wuhan 430033)【Abstract 】Though only two fisheye images can be mosaicked into one panorama image because of its wide angle of view, it has severe ing spherical perspective projection (SPP) constraint on fisheye image’s curves of space line’s projection, radial and tangential distortion parameters are calculated, thus distortion correction of fisheye image is accomplished in the paper. According to minimum brightness difference between overlap area of images to be mosaicked, panorama images mosaics based on image fission on overlap area is discussed in the paper.Satisfactory correction and mosaics results are obtained.【Key words 】Fisheye image; Panorama image; Image mosaics; Spherical perspective计 算 机 工 程Computer Engineering 第33卷 第10期Vol.33 No.10 2007年5月May 2007·多媒体技术及应用· 文章编号：1000—3428(2007)10—0190—03文献标识码：A中图分类号：TP3911 概述水下作战环境的模拟是现代作战指挥决策智能化的基础之一，研究水下作战环境的模拟具有重要的军事意义。
一种鱼眼图像逆向经纬映射的快速校正算法
关键词
鱼眼图像，逆向经纬映射，模板矩阵，坐标关系
Copyright © 2018 by authors and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). /licenses/by/4.0/
采用从源图像到目标图像的映射变换，会导致目标图上有大量的坐标像素点没有值。因此本文采用 逆向映射的坐标计算方法，从目标图像出发，对每一个目标图像的坐标点，反向计算其在源图像上对应 点的坐标[6] [9] [11] [12] [13] (图 2)。
(a)
(b)
(c)
(d)
Figure 1. The chart of forward longitude and latitude correction for fish-eye image. (a) Coordinate of fish-eye image; (b) Coordinate of 3D spherical surface; (c) Coordinate of longitude and latitude; (d) Coordinate of corrected image 图 1. 鱼眼图像正向经纬映射校正示意图。(a) 鱼眼图像坐标系；(b) 三维球面坐标系；(c) 经纬坐 标系；(d) 校正图像坐标系
A Fast Correction Method for Fish-Eye Image Based on Inverse Latitude-Longitude Projection
Xiuhua Zhang, Shengwei Guo, Wei Xu
提取鱼眼图像轮廓的算法改进及图像校正
Ａｂ ｔ ａ ｔ Ｔ ｅ ｕ ｅ ｏ ｓ ｅ ｅ ｌｎ ａ ｓ ｓ ｓ ｏ ｇ ｄ ｓ ｒ ｏ ｓ ｉ ｈ ｅ ｕｔ ｄ ｉ ｇ ｓ Ａｃ ｕ ａｅ ｃ ｎ ｏ ｒ ｅ ｔａ ｔ ｎ ｏ ｅ ｓｒ ｃ ： ｈ ｓ ｆ ｈ ｙ ｅ ｓｃ ｕ ｅ ｔ ｎ ｉｔ ｔ ｎ ｎ ｔ ｅ ｒ ｓ ｌ ｍａ ｅ ． ｃ ｒｔ ｏ ｔ ｕ ｘ ｒ ｃｉ ｆｔ ｉ ｆ ｒ ｏｉ ｅ ｏ ｈ ｉ ｅ ｅ ｉ ｇ ｓ ｒ ｒ ｑ ｉｉ ｆｒｉ ｇ ｏ ｒｃ ｉ ． ｒ ｄｔ ｎ ｌ ｌ ｏ ｔ ｍ ｓ ｎ ｆ ｔ ｏ ｓ ｐ ｒ ｓ ｈ ｏｓ ｓ ａ ｄ ｃ ｎ ｆ ｈ ｙ ｍａ ｅ ｉ ａ ｐ ｅ ｅ ｕ ｓｔ ｏ ｍａ ｅ ｃ ｒｅ ｔ ｎ Ｔ ａ ｉ ｏ ａ ａｇ ｒ ｈ ｉ ｉ ｅｆｃｉ ｅｔ ｕ ｐ ｅ ｓ ｔ ｅ ｎ ｉｅ ｎ ａ ｓ ｅ ｏ ｉ ｉ ｅ ｖ ｎ ｔｂ ｓ ｄ ｗｈ ｎ ｍａ ｓ ｅ ｂ ａ ｋ ｐ ｘ ｌ ａ ｐ ａ ｎ ｔ ｅ ｆ ｈ ｙ ｍａ ｅ Ｓｃ ｒｕ ａ ｕ ｉ ｅ ａｅ ． ｏ ａ ｍｐ ｏ ｅ ａ ｇ ｎ ｏ ｅ ｕ ｅ ｅ ｓ ｉ ｌｃ ｉｅｓ ｐ ｅ ｒｉ ｈ ｓ ｅ ｅ ｉ ｇ ｉ ｌｒ ｏ ｔ ｎ ｒ ａ Ｓ ｎ ｉ ｒｖ ｄ ｔ ｎ ｅ ｔ ｖ ｉ ｃ ｌ ｍｅ ｈ ｄ ｏ ｓ ｅ ｅ ｉ ｇ ｏ ｔｕ ｘｒ ｃ ｉｎ ｉ ｐ ｏ ｏ ｅ ｈ ｓｐ ｐ ｒ Ｔ ｅ ｅ ｐ ｒｍｅ ｔ ｅ ｕ ｓｓ ｏ ｈ ｔ ｈ ｒ ｐ ｓ ｄ ａ — ｔ ｏ ｆｆ ｈ ｙ ｉ ｍａ ｅ ｃ ｎｏ ｒｅ ｔ ｔ ｒｐ ｓ ｄ ｉ ｔ ｉ ａ ｅ ． ｈ ｘ ｅ ａ ｏ ｓ ｎ ｉ ｎ ｓ ｈ ｈ ｗ ｔ ａ ｅｐ ｏ ｏ ｅ ｒ ｔ ｌ ｇ ｒ ｈ ｃ ｎ ｅ ａ ｔｔ ｅ ｃ ｎ ｅ ｎ ａ ｉ ｓｏ ｅｆ ｈ ｙ ｍａ ｅ ｎ ａ ｂ ｉｕ ｕ ｅ ｏ ｔ ｆｈ ｇ ｒ ｃｓｏ ｎ ｏ ｄ ｏ ｉ ｍ ａ ｘ ｃ ｈ ｅ ｔｒａ ｄ ｒ ｄｕ ｆｔ ｓ ｅ ｅ ｉ ｇ ｓ ａ ｄ ｈ ｓ ｏ ｖｏ ｓ ｓ ｐ ｒ ｒ ｙ ｏ ｉｈ ｐ ｅ ｉｉｎ ａ ｄ ｇ ｏ ｔ ｈ ｉ ｉ ｉ ｒ ａ — ｍｅ Ｆ ｎ ｌ ａ ｓ ｔ ｆ ｃｏｙ ｅｆ ｃ ｆ ｓ ｅ ｅ ｉ ｇ ｉｔｒｉｎ ｃ ｒｅ ｔ ｎ ｉ ａ ｈｅ ｅ ｙ ａ ｐ ｙ ｎ ｐ ｅ ｃ ｏ ｒ ｉ ｅ ｔ ． ｉ ａ ｙ， ａ ｉ ａ ｔｒ ｆ ｔｏ ｈ ｙ ｍａ ｅ ｄ ｓ ｔ ｏ ｒ ｃｉ ｓ ｃ ｉｖ ｄ ｂ ｐ ｌｉ ｇ ｓ ｈ ｒ ａ ｃ ｄ － ｌ ｉ ｌ ｓ ｅ ｉ ｆ ｏ ｏ ｏ ｉ ｌ
鱼眼图像畸变的双向经度快速校正方法
第 41 卷 第 10 期 2019 年 10 月
赵丹阳等：鱼眼图像畸变的双向经度快速校正方法
ZHAO Danyang，LYU Yong，LI Xiaoying
(School of Instrument Science and Opto-electronics Engineering, Beijing Information Science and Technology University, Beijing 100192, China)
变形，这为识别和测量等应用带来了不便。针对传统经度校正方法的不足，将算法改进为双向经度
鱼眼图像快速校正算法。通过对鱼眼图像有效区域进行划分，并对不同区域内的畸变点在横、纵两
个方向上分别建立校正模型，确定畸变图像与理想图像之间坐标映射关系，求取校正坐标的位置。
最后对图像进行非线性拉伸，改善图像中心与边缘放大率不同而产生的“膨胀感”，获得符合人眼
给镜头带来的成像缺陷就是产生了一定的径向畸变， 使得视场角达到甚至超过 180范围的场景弯曲成像 在平面图像上，所以鱼眼图像通常不符合人们的视觉 习惯[2]，在实际应用中需要对鱼眼图像做去畸变处理。
国内外学者也提出了很多去除鱼眼图像畸变的 方法，目前常用的去畸变方法可分为相机标定法和模 型校正法。相机标定法是运用标定工具对相机的内外 参数进行标定，主要分为棋盘格标定法[3-6]、同心圆模
0 引言
鱼眼镜头是一种超大视场的成像镜头，具有焦距 短、视场范围广的特点，鱼眼镜头的视场角通常可达 到甚至超过 180[1]。近年来，国内外鱼眼镜头的发展 十分迅速，应用也医疗内窥检查、安防监控、 视觉导航和国防军事领域等方面。同时，超大视场角
Abstract：Images taken with large field of view (FOV) fish-eye lenses exhibit distortion because of differing lateral magnification in different fields of view. This kind of distortion makes identification and measurement inconvenient. To resolve the shortcomings of the traditional longitude correction method, an improved rapid bidirectional longitude correction method is proposed. The effective area of the fish-eye image was divided into parts, and a correction model for different points in different vertical and horizontal areas was built to determine the coordinate mapping relationship between the distorted image and the ideal image. The position of the correction coordinates can then be obtained according to this relationship. Finally, nonlinear stretching was performed to abate the “swelling” caused by the difference of magnification between the center and edge of the image to obtain the image that accords with the human-perceived version. Three groups of images were corrected by using MATLAB. The results demonstrate that this method can correct the distortion of fish-eye images quickly and effectively. Key words：distortion, longitude correction, fish-eye image, coordinate mapping
鱼眼图像校正
鱼眼图像校正这两天在做鱼眼图像的校正，也就是鱼眼镜头拍摄的照⽚的校正。
⾸先，先贴两张图，学学siggraph，哈哈哈。
开玩笑。
梦寐以求的图形学年会啊！
这⾥采⽤的⽅法，是从鱼眼图像成像的原理⼊⼿，反投影到平⾯图像，所以，很简单。
⽽且景深可以调节，调节景深，可以看到不同的⽅位的图像。
注意，可以发现，校正后的图像，似乎缺少了很多原图的信息。
是的。
因为，从成像的原理⼊⼿，那么，原来视⾓有200多度的鱼眼图像，校正到平⾯图像，肯定会有⼀些景物，在平⾯图像上是显⽰不出来的。
但是，我们可以调节景深，从⽽可以达到看到更多景物的⽬的。
所以，要从根本上理解成像的原理，才可以理解。
也正应了那句⽼话，理论是最根本的，数学是最根本的。
调节景深，可以得到如下的结果图：
可以看到，发⽣了变化。
所以，从理论上讲，就很容易理解。
这个⽅法，与⼀般的校正不⼀样，尤其是采⽤多项式的图像校正，那些完全是基于图像，⽽与图像的内容以及畸变的机理压根没有关系，没有思考。
不过，话说回来，这⾥还是有⼀些问题的，因为投影⾯，我假设为球，所以，还有很多值得思考，和去完善。
下⼀步⼯作：
1. 如果有时间，采⽤GPU加速，并达到实时，还可以调节窗⼝。
2. 基于鱼眼图像的三维重建。
\(^o^)/ 欧耶！
再来两张图吧，。