贝叶斯框架下的单幅图像去雾算法

第22卷第10期2010年10月计算机辅助设计与图形学学报Journal o f Computer A ided Desig n &Co mputer Gr aphicsV ol.22N o.10Oct.2010收稿日期:2009-11-10;修回日期:2010-04-15.基金项目:中国博士后科学基金资助项目.王多超(1982 ),男,硕士,主要研究方向为数字图像处理;王永国(1965 ),男,学士,副教授,硕士生导师,论文通讯作者,主要研究方向为数值计算、图像处理、数据库应用(ygw ang21@);董雪梅(1979 ),女,博士,主要研究方向为小波分析、机器学习及统计分析;胡晰远(1984 ),男,博士研究生,主要研究方向为图像与信号处理、图像配准;彭思龙(1971 ),男,博士,研究员,博士生导师,主要研究方向为小波理论及应用、模式识别、图像处理等.贝叶斯框架下的单幅图像去雾算法王多超1),王永国1)*,董雪梅2),胡晰远2),彭思龙2)1)(安徽大学数学科学学院 合肥 230039)2)(中国科学院自动化研究所国家专用集成电路设计工程技术研究中心 北京 100190)(splade2009@)摘要:在有雾天气条件下拍摄的图像,由于光线在传播过程中受到空气中悬浮颗粒的散射,导致图像内容模糊不清,颜色偏灰白色.为了恢复出清晰的图像,根据大气散射物理模型,利用图像的稀疏先验知识,在贝叶斯框架下提出一种单幅图像去雾算法.该算法用图像梯度稀疏性先验来约束优化结果,并认为图像成像噪声服从零均值的高斯分布,然后用IRL S 方法对其求解.实验结果表明,该算法能够很好地恢复图像的对比度和保持图像的真实颜色,噪声小,便于应用.关键词:去雾;贝叶斯框架;稀疏先验;大气散射模型中图法分类号:T P391.41Single Image Dehazing Based on Bayesian FrameworkWang Duo chao 1),Wang Yongg uo 1)*,Dong Xuem ei 2),H u Xiy uan 2),and Peng Silo ng 2)1)(S chool of M athematica l S cie nces ,A nhui Univ er sity ,H e f ei 230039)2)(National A S IC Design Eng ineering Ce nter ,I nstitu te o f A utomation ,Chine se Ac ade my o f S cience s,Beij ing 100190)Abstract :Because o f light scattered by the suspended particles in the atm osphere,pho to graphs taken in the fo gg y day lo ok g ray and are lack of visibility.In order to unv eil the clear imag e s structures and colors,w e pr opo se a new algor ithm based o n the atm osphere scattering m odel using a single imag e and the image sparsity prior in Bayesian framewo rk.The fog remov al r esult is optimized under the constraint of the prior of the image gr adient sparsity and the noise in the fogg y imag e being the normal distributio n w ith zero mean,and then the o ptimization functio n is com puted using the IRLS alg orithm.In our ex periments,the alg orithm has a g ood effect on resto ring the clear image s co ntents and preserving the image s true co lors.T he no ise in the output im age is very w eak that has advantag e for many applicatio ns.Key words :dehazing;Bay esian framew ork;spar sity prior;atmosphere scattering m odel 对户外场景进行普通光学成像时经常会受到有雾天气的影响.在有雾天气条件下,从物体表面反射的光线到达成像设备之前,会受到大气中悬浮颗粒的影响发生散射,散射的程度和悬浮颗粒的种类、大小、形状及其在大气中的聚集程度,即雾的浓度以及光的波长有关[1].当雾较浓时,成像设备所得到的图像的对比度较低,颜色偏向灰白色,导致图像中的物体辨认不清,直接影响到大多数基于计算机视觉算法的自动化图像系统的正常工作,如交通运输、户外监视、地形侦测系统等.因此,图像去雾算法的研究有着现实和理论的迫切需要.在已有的文献中,人们提出了多种去雾方法.一种方法是利用相机附带的偏振光滤波器,以及同一场景点在不同偏振光条件下获得的图像,实现多幅图像去雾[2];该方法的缺点是对动态场景处理效果不好.另一种方法是利用同一场景在不同雾强度下进行拍摄所得的多幅图像来去雾[1],该方法由于需要等到天气条件的改变才能拍摄多幅图像,有很强的时间限制,同样不能很好地处理运动场景.还有学者利用单幅图像和附加的场景深度或者场景结构信息来实现去雾.文献[3]提出了基于图像的退化模型,在用户有限的交互操作下,实现了单幅图像的去雾算法;但是该算法需要的附加信息往往不太容易获得.近年来,基于单幅图像来实现图像去雾已逐渐成为图像处理与计算机视觉领域的研究热点.Fattal[4]运用独立成分分析的方法,基于图像表面阴影和大气传递函数在图像局部块上统计不相关的假设,利用雾天图像退化模型,在马尔可夫随机场(M arkov random field,M RF)框架的约束下实现了单幅图像的去雾.该方法去雾效果显著,但对于图像各个分量变化不大的情况处理效果不好.几乎在同一时期, T an[5]基于无雾图像的对比度比有雾图像的对比度要高的事实,通过最大化局部对比度,并基于M RF 框架对结果进行规整化,也实现了单幅图像的去雾.该方法极大地增强了图像的对比度,但是容易导致图像的颜色失真,并且在场景深度不连续的地方会产生光圈效应.H e等[6]从新的角度提出户外自然图像的先验知识,通过对大量户外自然图像的统计实验得出,在户外无雾图像中,绝大多数图像块中都有一些在某个色彩通道亮度值很小的像素.基于该实验结论,H e等[6]提出了暗通道先验模型,通过暗通道假设直接恢复出无雾图像.该方法对那些符合暗通道假设的图像效果非常显著,而对那些有大片白色区域的图像处理的效果会失真. 本文在前人工作的基础上,根据图像的稀疏先验,基于贝叶斯框架建立了图像去雾的优化模型,实现了单幅图像的去雾.该方法处理的效果比较显著,不仅能恢复图像的对比度,而且能保持图像的真实色彩,同时生成的图像噪声较文献[6]要小,便于后续的高层次图像处理算法的应用.1 雾天图像退化模型空气中除了氮气、氧气、水蒸气等成分之外,还有一部分是悬浮在空气中的颗粒,如粉尘、燃烧产生的烟雾、火山灰等,这些分散在大气中的小颗粒对空气湿度变化很敏感.随着空气湿度的增大,这些颗粒的表面会包裹着一层水汽,形成小水滴.这些小水滴的形状、大小、在空气中的聚集程度等因素决定了不同的天气条件,形成阴霾、薄雾、雾等多种天气状况[1].有雾天气对光线在大气中的传播有着很大的影响,大体上可以分为散射、吸收和发射3类,其中光的散射起到主要的作用.根据M cCartney提出的大气散射模型可知,起主要作用的是衰减模型和环境光模型[1,4 6].1.1 衰减模型由于大气中悬浮颗粒的散射作用,从场景表面反射的光线在到达相机的过程中部分光线偏离原来的传播方向,使得到达观测者的入射光的光照强度变弱,如图1所示.图1 大气衰减模型 入射光的衰减可以用模型E d(d, )=E0(x)e- ( )d(x)d(x)2来描述[1,4 6].其中,E d(d, )表示观测者接收到的场景点光照强度;E0(x)表示场景点光照强度;d(x)表示场景点到观测者之间的距离; 表示光波长; ( )称为大气散射系数.由于雾是均匀同质物质,并且空气中悬浮的颗粒的半径比较小,可以认为其对各个波长散射能力是相同的,即 ( )是一个与 无关的常量[4,6].衰减模型描述了随着场景成像距离的增加,到达观测者的光照强度呈指数减少这样一个事实.1.2 环境光模型如图2所示,直射的阳光、天空漫射的光线、地面1757第10期王多超,等:贝叶斯框架下的单幅图像去雾算法反射的光线等构成环境光.环境光经过大气中悬浮颗粒的散射后,有部分到达观察者.这一过程可以表述[1,4 6]为L (x )=L ( , )(1-e - ( )d(x)).其中,L ( , )是沿着观测者的视线方向无穷远处的环境光的强度[1];L (x )是由于散射作用,大气光中进入观测者的那部分光照强度;x 表示场景点的位置;其他参数意义同上.环境光模型描述了随着成像距离的增加,到达观察者的环境光线的增多.这导致了图像颜色的漂移,使得有雾图像看起来整体上偏灰白.图2 大气光模型1.3 图像退化模型有雾天气条件下图像的退化模型主要包含光线的衰减模型和大气光模型2个部分,它们的共同作用导致了图像质量的退化.所以在有雾天气条件下,图像的退化模型在RGB 颜色空间中可以表述[1,4 6]为I (x )=E 0(x )e - d (x)d(x )2+L (1-e- d (x))=J (x )t(x )+(1-t(x ))A(1)其中,I (x )是观测到的有雾图像在x 位置处的颜色值;J (x )=E 0(x )d(x )是清晰无雾图像在x 位置处的颜色值;称t(x )=e - d (x)为传递系数,它是一个标量,反映光线穿透雾的能力,其值越大,表明从场景表面反射的光线穿透雾到达观察者的数量就越多.t(x )=1,表明从场景表面反射的光线全部到达观察者,没有发生散射;t(x )=0,表明从场景表面反射的光线被完全散射出去了.本文中约束t(x )的取值范围是[0,1].A 是一个常向量,表示在沿着观测者视线方向无穷远处的光照强度.在一个图像小区域中,假设t(x )=t <1是一个常量,则有[4 6]!x∀I (x )∀=!x∀tJ (x )+(1-t) A ∀=t!x∀J (x )∀<!x∀ J (x )∀,表明退化模型可以很好地解释有雾天气下所拍摄的图像的对比度的降低.2 图像去雾的贝叶斯框架H e 等[6]根据户外自然图像的统计特点,提出了暗通道的先验,取得了很好的去雾效果.本文在他们工作的基础上,从另一个角度,利用图像的稀疏先验,在贝叶斯框架下实现了新的单幅图像去雾算法.本文对式(1)进行变形,得到A -I (x )=(A -J (x ))t(x ).由于成像中存在噪声,本文在该式中添加一项噪声项n(x ),即A -I (x )=(A -J (x ))t(x )+n(x ).写出其更简洁的形式为I #(x )=J #(x )t(x )+n(x ).其中,称I #(x )=A -I (x )是∃观测图像%,J #(x )=A -J (x )是∃清晰无雾图像%,t(x )是传递系数,n(x )是图像成像噪声,这就是我们要处理的图像的成像模型.在观测图像I #已知的情况下,可以通过最大化后验概率P (J #,t |I #)来求得清晰图像J #和t.根据贝叶斯公式,可以得到P (J #,t |I #)=P (I #|J #,t)P(J #|t)P (t)P (I #).一方面,由于观测图像是已知的,P(I #)是一个常数,可得到P (J #,t |I #)&P(I #|J #,t)P(J #|t)P (t).另一方面,由于清晰图像的先验知识和场景深度是不相关的[4],有P(J #|t)=P(J #).从而有arg max J #,t{P(J #,t |I #)}=a rg m in J #,t{-lo g P (J #,t |I #)}=arg min J #,t{-log P(I #|J #,t)-lo g P(J #)-lo g P (t)}(2)下面将分别建立式(2)中各部分的概率模型.2.1 图像和噪声的先验虽然清晰自然图像的色彩千变万化,毫无规律,但是人们最近在自然图像统计学的研究中发现,自然图像的梯度有稀疏性[7 8],反映在直方图上就是在靠近零点处有陡峭的尖峰,并伴随着很长的拖尾.给人们直观上的解释就是,清晰自然图像包含大量的平滑区域,在平滑区域有着锐利的边缘.最近,人们基于图像梯度的稀疏先验提出了一些效果非常好的算法,如去噪声[9]、图像超分辨[10]、去运动模糊[11 13]等.由于稀疏先验能够比较真实地描述清晰自然图像的内在性质,本文去雾算法采用图像梯度稀疏性先验来约束优化结果,其概率密度函数为1758计算机辅助设计与图形学学报 第22卷P(J#)=const∋ex p-!i∀Q i J#∀p(3)其中Q i(i=1,2)为一阶和二阶差分算子对应的矩阵,一般取p=0.8[11].由于t主要依赖于场景点到成像平面的距离,可以认为t是分片平滑的,所以对t也应用稀疏先验,同时对t加上平滑性约束.实验表明,增加平滑性约束可以很好地抑制去雾结果图中的噪声.t的概率分布为P(t)=cons t∋ex p{- #1∀t-t^∀2- #2∀!i Q i t∀p}(4)式(4)中,第一项是t平滑性约束项,其中t^是利用文献[6]方法得到t的一个估计值;第二项是梯度稀疏性先验项; #1和 #2是与方差有关的常数项.图像的获得过程中不可避免地会出现噪声,这种噪声对求解病态逆问题有很大的影响.本文认为图像成像噪声n(x)服从零均值的高斯分布[4],即P(I#|J#,t)=const∋ex p{-∀I#-J#∋t∀2}(5) 2.2 交替迭代求解把式(3)(4)(5)代入式(2),并调整常数项的值,使首项系数为1,可以得到arg maxJ#,t {P(J#,t|I#)}=ar g minJ#,t{∀I#-J#∋t∀2+1!i ∀Q i J#∀p+ 2∀t-t^∀2+ 3∀Q i t∀p}(6)其中 1, 2, 3是首项系数归一化后产生的3个常量,这3个常量可以根据实际图像的不同情况来手动调整.一般情况下, 1, 2, 3取值在[0,2]之间即可.本文使用交替迭代的方法来求解式(6).首先固定t,则式(6)可以化简成J#=ar g minJ#{∀I#-J#∋t∀2+ 1!i∀Q i J#∀p}(7)对给定的J#,式(6)可以化简成t=arg mint{∀I#-J#∋t∀2+2∀t-t^∀2+ 3∀!i Q i t∀p}(8) 对式(7)(8)直接求解比较困难,可以分别用IRLS(iterative rew eighted least square)方法[7 8]来求解这种非凸优化问题.整个算法流程如下:Step1.初始化t0=0.Step2.对给定t j(j=0,1,2,(),根据I RLS算法计算J#j=arg minJ#j ∀I#-J#j∋t∀2+ 1!i∀Q i J#j∀p.Step3.根据计算出来的J#j来更新t j+1,即t j+1=arg mintj+1{∀I#-J#∋t∀2+2∀t j+1-t^∀2+ 3!i∀Q i t j+1∀p}.St ep4.交替执行Step2,Step3,直到∀J#j+1-J#j∀2<.St ep5.输出清晰无雾图像J=A-J#.2.3 A值的确定理论上,A的值应该选择为雾最浓的那个像素点的颜色值.但是在大多数基于单幅图像的去雾算法中,通常选择图像中亮度值最大的像素点的颜色值作为A的值.如图3所示,雾最浓的地方是c,而亮度值比较大的地方是d和e.本文认为文献[6]估计A值的方法比较合理,并且容易计算,因此使用文献[6]方法通过暗通道来直接估计出A的值,并同时求出t^的估计值.图3 A值的选择的示意图[6]3 实验结果及分析为了检验本文算法的有效性和实用性,我们利用图4a将本文算法和国内外最新提出的一些算法做了对比实验.从图4c中可以发现,本文算法不仅能够很好地恢复图像的对比度和颜色,而且处理的结果在视觉上更柔和、真实.从图4b中可以发现,本文算法处理的结果在远处过渡得更自然.对比文献[6]处理结果的一个小区域图4d和本文处理的结果的一个小区域图4e可以发现,在远处,文献[6]处理的结果噪声很多,颜色也不自然.这主要是由于文献[6]根据经验设置的阈值不符合实际图像的情况造成的.而本文处理的结果过渡自然,较好地保持住了图像的真实颜色.从文献[6]恢复出来的深度图4f中也可以明显地看出,由于设置的阈值导致深度图在远处没有变化,因此本文的深度图4g在远处过渡比较自然.1759第10期王多超,等:贝叶斯框架下的单幅图像去雾算法图4 与文献[6]的对比实验图5中对比了文献[4]的结果,可以发现,本文的结果图5c 和文献[4]结果图5b 的效果都很好.对比文献[4]处理的结果图5b 的一个小区域图5d 和本文处理结果图5c 的一个小区域图5e,可以发现,文献[4]处理的结果有点过于饱和,颜色失真.其主要原因是,文献[4]算法基于物体的表面发射性质和t 统计不相关的假设,需要足够的色彩信息和变化;而本文处理的结果在恢复图像对比度的同时很好地保持住了图像的真实色彩.图6中对比了文献[5]的结果,从给出的小区域1760计算机辅助设计与图形学学报 第22卷特写中可以发现,文献[5]处理的结果图6d色彩严重失真,这主要是由于文献[5]只关注图像对比度的增强而忽略图像色彩信息造成的,本质上,文献[5]是一种图像增强方法.本文的处理结果图6e很好地恢复了图像的色彩和对比度.4 结 论本文根据图像的稀疏先验知识,基于贝叶斯框架提出了新的单幅图像去雾的求解方法,该方法能够有效地去薄雾.在实验的过程中我们发现,对于大雾和浓雾天气,基于单幅图像的处理效果都不是太好.这是因为有雾天气条件下,图像的内容也会有一定程度的模糊.我们下一步的研究目标是对有雾天气条件下图像的模糊进行建模,来处理浓雾天气下图像的复原.参考文献(References):[1]Nayar S K,Narasimhan S G.Vision in bad w eather[C]Proceedings of th e7th IEEE In ternational Conferen ce on Computer Vis ion,Kerkyra,1999,2:820 827[2]Sch echner Y Y,Naras imhan S G,Nayar S K.Instantdeh azin g of im ages using polarization[C] Proceedings of IEEE Computer Society Confer ence on Computer Vision an d Pattern Recogn ition,H aw aii,2001,1:I 325 I 332[3]Narasim han S G,Nayar S K.Interactive(d e)w eathering ofan i mage using physic al models[OL].[2009 11 10].http: lik.imag.fr membres Bill.T riggs events iccv03 cdrom cpmcv03 31_ naras imhan.pdf[4]Fattal R.Single image dehazing[J].ACM T ransactions onGraph ics,2008,27(3):Article No.72[5]T an R T.Vis ibility in bad w eather fr om a single im age[C]Proceedin gs of IEEE Con feren ce on Com pu ter Vision and Pattern Recognition,Anchorage,2008:1 8[6]H e K M,Sun J,Tang X O.S ingle image haze rem oval usingdark chann el p rior[C] Proceedings of IEEE Conference on Com puter Vision and Pattern Recognition,M iami,2009:1956 1963[7]Levin A,Fergu s R,Du rand F,et al.Image and d epth from aconventional camera w ith a coded apertur e[J].ACM T ransactions on Graphics,2007,26(3):701 709[8]Levin A,Weiss er assisted separation of reflectionsfrom a sin gle im age usin g a s pars ity prior[J].IEEE T ransactions on Pattern Analysis and M achin e Intelligence,2007,29(9):1647 1654[9]Roth S,Black M J.Fields of experts:a framew ork forlearning imag e priors[C] Proceedings of IEEE C om puter S ociety C onference on Computer Vision and Pattern Recognition,S an Diego,2005,2:860 867[10]T appen M F,Russell B C,Freeman W T.Exploitin g th es par se derivative prior for s uper resolution and image demosaicing[OL].[2009 11 10].http w ~m tappen iccv sctv.pdf[11]Fergus R,S ingh B,H ertz man n A,e t al.Rem ovin g cameras hake from a s ingle ph otograph[J].ACM T ransactions on Graphics,2006,25(3):787 794[12]S han Q,Jia J,Agarw ala A.H igh quality motion deblurringfrom a single image[J].ACM T ran sactions on Graph ics,2008,27(3):Article No.73[13]Ch en Xi,Wang Yangang,Peng Silong.Res toration ofdegrad ed image from partially know n mixed blu r[J].Journal of C om puter Aided Design&Compu ter Graphics,2010,22(2):272 278(in Chinese)(陈 曦,汪彦刚,彭思龙.部分模糊核已知的混合模糊图像复原算法[J].计算机辅助设计与图形学学报,2010,22(2):272 278)1761第10期王多超,等:贝叶斯框架下的单幅图像去雾算法。