图像去雾增强算法的研究-文献综述
福州大学
专业英语文献综述
题目：图像去雾增强算法的研究
姓名：
学号：
专业：
一、引言
由于近年来空气污染加重，我国雾霾天气越来越频繁地出现，例如：2012底到2013年初，几次连续七日以上的雾霾天气笼罩了大半个中国，给海陆空交通，人民生活及生命安全造成了巨大的影响。因此，除降低空气污染之外，提高雾霾图像、视频的清晰度是亟待解决的重要问题。
图像去雾实质上就是图像增强的一种现实的应用。一般情况下，在各类图像系统的传送和转换（如显示、复制、成像、扫描以及传输等）总会在某种程度上造成图像质量的下降。例如摄像时，由于雾天的原因使图像模糊；再如传输过程中，噪声污染图像，使人观察起来不满意；或者是计算机从中提取的信息减少造成错误，因此，必须对降质图像进行改善处理，主要目的是使图像更适合于人的视觉特性或计算机识别系统。从图像质量评价观点来看，图像增强技术主要目的是提高图像可辨识度。通过设法有选择地突出便于人或机器分析的某些感兴趣的信息，抑制一些无用信息，以提高图像的使用价值，即图像增强处理只是增强了对某些信息的辨别能力[1]。
二、背景及意义
近几年空气质量退化严重，雾霾等恶劣天气出现频繁，PM2.5[2]值越来越引起人们的广泛关注。在有雾天气下拍摄的图像，由于大气中混浊的媒介对光的吸收和散射影响严重，使“透过光”强度衰减，从而使得光学传感器接收到的光强发生了改变，直接导致图像对比度降低，动态范围缩小，模糊不清，清晰度不够，图像细节信息不明显，许多特征被覆盖或模糊，信息的可辨识度大大降低。同时，色彩保真度下降，出现严重的颜色偏移和失真，达不到满意的视觉效果[3-6]。上述视觉效果不佳的图像部分信息缺失，给判定目标带来了一定的困难，直接限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦察等系统效用的发挥，给生产与生活等各方面都造成了极大的影响[7-9]。以公路监控为例，由于大雾弥漫，道路的能见度大大降低，司机通过视觉获得的路况信息往往不准确，进一步影响对环境的判读，很容易发生交通事故，此时高速封闭或者公路限行，给人们的出行带来了极大的不便[10]。而且，雾天获得的退化图像给监控交通情况也造成了很大的困难。又比如在军事侦察和遥感导航方面，雾天退化图像对信息的识别和处理会造成偏差，无法正确判别目标，从而带来严重
的后果[11-12]。某些情况下，受到条件限制，侦察和监视工作不可能重复进行，所以依据有限的图像资料获得更准确的目标信息是极其重要的。尤其是给机载可见光成像系统带来的影响更大，严重干扰了其工作的稳定性和可靠性，大大限制了其在地质灾害监测方面的应用，而地质灾害发生前后多伴有大雾等恶劣天气，对现场搜索救援工作产生严重的影响。由此可见，为增强航拍数据的有效性和可用性，降低气象条件对航空成像测量的限制[13]，对雾天图像进行有效的去雾处理有着现实和理论的迫切需要，是户外成像系统能在恶劣天气下稳定、可靠工作的保证。
三、课题国内外现状
在图像增强领域，人们提出了很多种算法。最为通常的方法是直方图均衡化（Histogram Equalization）[14]，通过直方图均衡化来实现自动的对比度增强，直方图上灰度分布较密的部分被拉伸，灰度分布稀疏的部分被压缩，从而使一幅图像的对比度在总体上得到增强。但是在原图像直方图中有一个很大分量情况下，增强的图像会出现“褪色”和“散斑”效应，使得增强的图像在视觉效果上较差。为了解决这个问题，人们提出了局部直方图均衡化（Local Histogram Equalization）[15]，将直方图均衡化运算压缩到图像的局部区域，然后遍历所有的局部区域，这种方法要遍历图像的所有像素，所以它的时间复杂度很高，不利于实时处理。如果用不重叠的直方图均衡化（Partially Overlapped Sub-block Histogram Equalization,or POSHE）[16],把每次局部直方图均衡计算的有效像素点数从一个扩展到多个，从而减少了局部运算的次数，降低了算法的计算代价。为了消除块效应，需要对图像进行相应的插值运算，这在很大程度上影响了算法的效率。
Lee提出的图像增强算法[17]的优点是处理后的图像比较清晰，对比度高，并且基本上保持图像原来的灰度范围，缺点是实验参数较多，而且实验结果强烈地依赖于参数的选取，因此带有较强的实验性和难操作性，Deng等人[18]提出了一种基于LIP模型的Lee图像增强的新方法，并且在其中使用了非线性变换，提高了图像增强的能力，也减弱了对参数的过分依赖性。
M.Nilsson提出了SMQT(Successive Mean Quantization Transform)方法[19]，它可以根据像素的分布适当地拉伸和压缩直方图，达到很好的调节图像动态
范围的效果，同时保持了原直方图的形状，对于这种方法，在变换程度上主要取决于构建二叉树的层数，构建的层数越高，其时间复杂度也就越高。
恶劣天气条件下的退化图像往往对比度大幅度下降，模糊不清，如雾天图像。由于雾对图像的影响随图像的深度变化而变化，所以去雾算法具有很强的挑战性。研究者提出了很多基于多幅图像和附加信息的去雾算法。
基于颜色恒常理论的彩色图像增强算法研究方面，在1977年Edwin Land首次提出了一种被称为Retinex的色彩理论，Retinex这个词本来就是有视网膜Retina和大脑皮层Cortex两个词组合构成的。Retinex理论主要包含了两个方面的内容：物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均性的影响，具有一致性。20世纪80年代初期美国宇航局下属的一个研究机构（NASA’s Langley Research Center）将Retinex理论用于处理航空器拍摄的外太空图片且获得了非常好的处理效果。近年来Retinex的应用范围越来越广泛，人们对它的研究也逐渐深入。比如，Z.Rahman，D.J.Jobson，G.A.Woodell将这种理论运用到彩色图像增强领域，取得了非常好的效果[20]
Y.Y.Schechnner等人提出的极化滤波（Polarization Filtering）[21-22]方法，利用两幅或者多幅不同程度的偏极化图像来进行去雾处理。Narasimhan等人[23-24]提出的基于大气模型的去雾算法需要利用同一场景下多幅不同的天气条件的图像。他们的另一个思路是利用交互的方法得到场景的深度信息[25]。这些方法在处理效果上确实能够对图像的质量进行改善，但是对于我们应用来说，这些方法过多的依赖先验信息或者多幅图像信息，在我们应用中很难得到满足，并且不利于图像的实时处理。
近来，基于单幅图像的去雾算法获得了很大的进步。这类方法的成功的相似之处在于它们在分析雾的成因后在算法中作出了一些强制性的假设。Tan[26]等人通过观察，提出了没有雾的图像一定比有雾的图像具有更强的对比度，并且通过最大化局部对比度来复原图像。这种方法能够明显的增强对比度，但是使图像变得不自然。Fattal[27]等人假定介质的传导率和表面的光照变化的不相关性，通过估计场景的反射率推断介质的传导率。该方法在物理上较为合理并且具有很好的复原效果，但是这种方法不能很好的适应图像中雾较浓的情形。
Kaiming He等人提出了一种优先暗通道的单幅图像去雾算法。优先暗通道
是一种雾图的数据统计。这种方法基于一种重要的观察，大多数雾图的局部块中在某个色彩通道具有较小的强度。使用这种假设和雾图模型结合，能够直接估计雾的浓度和恢复雾图的图像质量。
在国内，对雾天图像恢复技术的研究主要集中在研究所和高校里面。如华中科技大学的图像识别与人工智能研究所在这方面做出了很大贡献，桑梓勤等早在1999年就发表了关于大气效应对成像影响的论文，在国内属于开创性工作。随后，他们[28] 又从图形学角度开展研究，通过输运理论与解析理论的结合, 得出了能见距离与图像对比度及分辨率的理论关系，从而合成雨雾天气下的图像。解放军理工大学的刘锦锋等人对Narasimhan给出的输运方程的数值解进行简化，减少了图像复原算法的计算量。在CVPR2009出现了一篇Best Paper[29]之后，雾天图像恢复有了新的突破，安徽大学的王多超[30]在图像退化模型上加了一个噪声项，利用图像的稀疏先验知识，在贝叶斯框架下提出了一种新的图像去雾算法；利用图像的梯度稀疏性先验来对去雾后的图像进行优化，并将具有零均值的高斯分布作为图像成像的噪声分布，然后求解。天津大学的张加万[31]等，假设大尺度的色度变化是由于光线的传输引起的，而小尺度的亮度变化是由于场景的辐照度的变化，在这个假设下提出迭代求取传输图的方法；并利用一个非线性边缘保留滤波器逐步精细传输图，同时仍然保持传输图的锐化。
四、当前研究存在的不足
尽管国内外科学家在围绕雾霾条件下图像增强方面做了大量的研究工作，也取得了很多的研究成果。但是相关领域的研究仍处在起步阶段，还存在很多的没有解决的问题，当今研究中的基于图像增强的去雾图像处理还有待进一步的研究和完善。此处，将相关的主要问题简要归纳如下。
(l) 能够用来评价图像增强效果的客观的指标体系不完善。评价图像增强效果的方法可分为两类，即主观的评价方法和客观的评价方法[32]。主观评价方法就是目测法，这种方法主观性比较强，对某些视觉效果明显的图像进行评价，具有直观、快捷、方便的特点。而用低能见度，即雾霾比较严重的情况下，主观评价略显不足。
(2) 单纯的图像处理算法其信息来源不足，视觉改善效果有限。现有的用于雾天视觉改善的算法大多来源于图像处理中的纹理增强算法。如采用全局的和局
部的直方图方法，也有采用在空区域分离的方法实现局部有针对性的增强。所有这些算法都会有一定的增强效果，但图像本身提供的信息有限，相应其视觉改善的效果亦有限。
(3) 随着摄像技术的发展，人们对图像清晰度的要求越来越高，图像尺寸越来越大，这就对图像增强技术的速度提出了要求。Retinex算法和暗原色先验算法使复杂度较高的算法[33]，如何又好又快地实现是一个重要问题。
(4) 在交通领域，相关的研究中在建立偏微分方程模型时没有充分考虑和使用交通环境中一些特有的特征量。在交通场景中通常有周边车辆、行人、交通标志、道路线型及其它障碍物等，在建立模型时，应充分考虑和利用这些特征进行有针对性的、较深层次的融合增强。
(5) 通常在雾天等低能见度条件下，不论采用现有的哪一种可见光设备，获取的图像信号都非常有限。若采用常规的滤波、光滑、增强处理方法，很难达到理想的效果。
(6) Retinex图像增强方法，但仍然存在以下问题：第一，算法为多尺度加权求和且需对红绿蓝三分量分开处理，所以算法复杂度较高；第二，多尺度滤波的使用导致在亮度变换较大的边缘区域可能出现比较严重的光晕现象[34]。
五、趋势和前景
基于图像处理的图像增强方法具有对比度提高显著、图像细节突出、视觉效果明显的特点，该方法已经在实践中获得了广泛的应用。而基于物理模型的图像复原方法[35]针对性强，得到的复原结果自然，且一般不会有信息损失，该技术必将获得更大的发展。尽管对图像去雾技术的研究已经取得了若干成果，但下述几点仍然有可能是今后研究的热点问题，迫切需要引起研究人员的高度关注。
1) 考虑雾天图像的模糊信息。从图像处理学角度提出的增强方法和基于物理模型的复原方法虽然均能改善雾天降质图像的质量，然而这些方法都没有考虑到降质图像固有的模糊属性。景物由三维空间到二维图像的映射过程，必然会造成信息的大量丢失( 如深度信息、被遮挡物体的信息)；且在有雾天气下，由于大气粒子的散射作用和粒子的自身成像，使得获取的图像对比度较低，边缘轮廓及景物的特征都比较模糊。因此，如何充分考虑降质图像的这些模糊信息，再结合大气散射的物理机制，从而更好地实现能见度的提高将是研究人员在今后相当
长的一段时间内所面临的主要任务。
2) 对雾天视频进行去雾处理。雾天动态视频处理需要解决的首要问题是去雾算法的运行效率，以便满足实际应用的实时性要求。目前，已有研究者采用基于深度关系的图像复原方法对视频监控系统中的视频进行了去雾实验。此外，已有雾天视频清晰化装置系统[36]采用图像增强方法中的插值自适应直方图均衡化算法对雾天视频进行了清晰化处理。因此，研究高效的去雾算法处理雾天视频应该受到足够的重视。
3) 探索更完备的物理模型。基于物理模型的雾天图像复原算法已经取得了极大的进展，但是由于景物退化与场景深度呈非线性关系，由此带来的一个最大问题是很难保证所建立的景物退化模型的正确性和宽适性。目前，大多数的图像复原方法都建立在大气散射模型的基础上，并受到了此类模型的限制。即在某些天气情况下，使用该模型的复原方法将会失效。因此，采用更加完备的物理模型来描绘复杂的大气状况，并探索研究基于这些模型的去雾算法在未来一段时间内都将是一个具有挑战性的课题。
4) 利用可编程图形硬件加速图像去雾算法。图像去雾任务本身通常含有大量复杂的数据处理算法，例如大型矩阵的分解，大规模方程组的求解以及众多的非线性优化问题，以往这些运算只能在CPU上进行，需要较长的处理时间，因而在某些对实时性要求高的场合无法达到预期的执行速度，所以利用可编程图形硬件加速图像去雾算法必然成为未来研究的一个热点[37]。
总之，随着国民经济的迅速发展和环境资源的不断变化，雾霾天气中的各种问题亟需解决，比如雾霾天的交通问题越来越引起人们的重视。如何保证雾天下的交通安全是社会发展中亟需解决的问题，其中既有许多技术问题等待攻克，又有很多的基础理论问题需要研究。图像增强与视觉增强系统研究中存在很多的信息和数学方面的理论基础问题及大量的数据处理与安全辅助驾驶对实时性要求存在巨大的矛盾冲突，迫切需要在数学模型和信息科学的方法上对提高计算速度、保证实时性上作专门研究。