湍流图像退化复原

湍流退化图像复原

1、引言

由于人类活动和太阳辐照等因素引起了大气温度的变化，这一温度变化又引起了大气密度的随机变化，导致大气折射率发生随机变化，从而产生了对光学系统对目标的成像分辨率和成像质量的重要影响，这种现象后经对其定义指大气中任意一点的运动，其速度的方向和大小都时刻发生着不规则的变化，从而引起各个气团相对于大气整体平均运动的不规则运动，这种现象被称为大气湍流。

大气湍流是造成图像退化的原因之一，大气湍流能够造成图像模糊降晰，它能够退化远距离拍摄的图像质量，如通过望远镜观测到外太空的星星表现出的模糊降晰，因为地球上的大气退化了图像的质量，大气湍流随机地干扰,使像元强度分布扩散、峰值降低、图像模糊、像素位置偏移及抖动,给目标识别带来了较大的困难。光学器件受到大气湍流的影响主要是当光经过折射率不均匀的大气结构到达接收器件后，其振幅和相位等参数都产生了随机的起伏变化。传统的图像复原技术都是在退化模型确定和已知的情况下进行复原的，即先确定点扩展函数或其参数，然后利用诸如逆滤波和维纳滤波这样的方法恢复图像。但这些方法对光学系统的设计和光学器件的加工工艺都提出了更高的要求，并且不能消除系统像差中由大气湍流引起的部分，而且湍流流场对目标成像的影响是复杂多变的，导致湍流光学点扩展函数难以测定，其形式也是无法事先确定，所以往往单幅图像中所包含的信息量很少，而且不够全面，很难进行图像复原。因此通常大气湍流图像的复原都是在图像序列基础上进行的。为了消除大气湍流导致的成像抖动和模糊，很多学者进行了广泛深入的研究，如今已有很多针对大气湍流图像的复原算法，其中有不少取得的不错的进展。

2、国内外研究现状及方法

湍流退化图像的复原是一个世界性的难题，也是国内外不少科学家们多年来一直想致力解决的问题。大气湍流退化图像复原的困难之处在于其退化模型是未知的和随机变化的，且很难用数学解析式来描述，另外退化图像还含有噪声，这进一步增加了复原的难度。传统的图像复原方法主要集中在退化模型已知情况下的图像复原。退化模型未知情况下的图像复原方法研究室近几年来图像处理技术中极富挑战性的课题，它具有很大的应用前景。

湍流退化图像的复原有很多种方法，一种方法被称为“幸运成像”，由于大气湍流对图像产生的影响是随机的，所以在目标的短曝光图像中，存在一定比例接近衍射极限的好图像，它们只存在低阶像差，幸运成像正是运用这些“好图像”进一步复原图像。所以幸运成像技术的基本原理是：按照一定标准将拍摄图像中一些接近衍射极限的好图像选取出来，再进行配准叠加，从而复原出更加清晰的图像，提高图像的成像质量，使得原本无法显示的弱目标得以显示，原本无法分辨的细节得以分辨。由于这种方法的成本比空间望远镜的成本低很多，且复原图像的效果也比较好，所以很多学者都在深入研究如何更好的将这种方法应用天文观测领域。但是这种方法也存在一定的缺陷，首先由于长曝光图像受到大气湍流的影响较大，很难出现接近衍射极限的好图像，所以“幸运成像”技术只适用于短曝光图像；其次由于在短曝光图像中出现“好图像”的比例也很低，因此这种成像技术要求拍摄大量的短曝光图像（通常为几百幅，甚至上千幅），这样就大大增加了还原算法的计算量。

另外加利福利亚大学电气工程学院实验室针对大气湍流退化图像也提出了图像复原方法。这种算法是利用多帧图像重建的算法来复原图像序列中的某一幅图像，其基本步骤如下：首先对所拍摄的图像序列进行平均化处理，此时处理过的图像可以看做为一参考图像；然后利用非刚性图像配准技术对所得的图像进行配准，得到图像的变形矩阵Fk；最后利用贝叶斯图像重建算法对图像进行重建，从而得到更加清晰的图像。这种方法与“幸运成像技术”相比，所需拍摄的图像数较少，而且其应用不仅局限于短曝光图像，它同样可以应用长曝光的

图像序列。

美国在大气湍流对图像的退化方面，也进行了许多系统的理论研究，并建立了一系列的数学模型及相应的实验验证系统，同时揭示了一些规律，例如，图像模糊、抖动程度与探测器的成像积分（短曝光）时间有关，积分时间越长，湍流抖动引起的图像模糊越严重等。

美国研制的一些光学分析软件可以对湍流效应引起的像偏移、像模糊进行分析和预测。同时美国也系统的开展湍流退化图像校正复原理论研究，提出了一些校正复原的新原理、新方法。如基于LES仿真理论的湍流流场预测与控制技术、盲目迭代去卷积图像复原技术、基于自适应空间可变正则化图像复原技术等。

近些年来，国内也有许多科研机构开始对湍流退化图像的复原进行研究。华中科技大学图像识别与人工智能研究所提出了一种基于图像统计模型和极大似然估计准则的交替迭代多帧复原算法。该算法利用多帧湍流退化图像数据信息的互补，将航天图像的Poisson随机场概率模型作为先验知识，序列多帧湍流退化图像被一齐进行极大似然估计，建立了有关多帧图像数据的对数似然函数。通过极大化该对数似然函数，推导出了目标图像及各帧点扩展函数离散。经过实验证明，这种算法具有较好的抗噪声能力和稳定性，对湍流退化图像具有很好的恢复效果。但此算法依然存在多帧图像复原算法普遍存在的缺点，即要求图像的数量较多，当图像数量和迭代次数有限的情况下，是不不可能将目标图像完全地恢复出来，图像帧数越多，恢复的效果越好，但随之而来的计算量和耗时也将增加。

由于湍流点扩展函数是未知的和随机变化的，因此瞬时点扩展函数（退化模型）是难以确定的。当在湍流退化模型未知的情况下，直接从退化图像中估计目标的强度，必须转而借助盲目去卷积，为此人们提出了盲目去卷积方法。1968年Oppenheim等人以及1975年Stockham等人发表了具有开创性意义的研究成果。后来，Lane和Bates论证了用单帧图像进行盲目去卷积是可能的。1988年GR.Ayers和J.C.Dainty提出了基于单帧的迭代盲目去卷积方法，简称为IBD（Iterative Blind Deconvolution），并将其应用在大气湍流退化图像的复原中，这种方法在以后的研究中被证明是非常有发展前途的，此后的很多算法都是在IBD 算法基础上进行修正和改进的，如https://www.360docs.net/doc/a24856022.html,ne提出的共轭梯度极小的盲目去卷积技术、https://www.360docs.net/doc/a24856022.html,ne和https://www.360docs.net/doc/a24856022.html,w提出的基于最小二乘优化的盲目复原方法、以及Davey等人通过对维纳滤波进行迭代和在目标估计中使用支持域约束条件所进行的改良等。由上述发展可知，盲目去卷积方法是在未知湍流点扩展函数的情况下，利用一些合理的先验知识，如目标的强度和点扩展函数值都是非负的，支持区域大小以及频率域上某些已知的特性，来估计目标强度，它的关键是关于退化性质和图像的先验知识的应用。

为避免对先验知识的过多依赖和点扩展函数支持域大小的精确限制，D.Kundur和D.Hatzinakos提出了一种基于递归逆滤波的盲目去卷积算法，它不需要知道点扩展函数的支持域大小，利用目标图像的非负性和目标图像支持域。这种算法具有更好的可靠性、更快的收敛性和更低的计算复杂性，但其对噪声仍然较为敏感。随后，C.A.Ong和J.A.Chambers对这种算法进行了改进和提高。近十年间，人们对于盲目去卷积中正则化的理论研究和自适应方法有所进展，一些正则化技术既可以平滑噪声同时又尽可能保留图像细节，是图像复原尽可能恢复出更多的图像细节。

上述一些单帧盲卷积方法不够完善，对噪声十分敏感，不能有过多的噪声，而且有时其解还存在不确定性，所以这类还原算法对于大气湍流退化图像的复原效果不是十分理想。与单帧图像复原方法相比，显然多帧图像的使用对于确定和控制像抖动，实现稳定复原是有重要作用的，因此越来越多的科学家开始致力于多帧湍流图像复原。图像建模是用数学的解析式来表达图像的基本属性。图像模型可作为先验知识或约束于图像复原和图像重建中，这对于图像复原的意义是十分重要的。对于被复原的原始目标图像而言，采用多个不同的模糊帧是一个强有力的约束条件。这样可以针对地面目标图像，将其统计模型及其数学模型作为先验知识，使其复原问题变成参数化问题，从而实现稳定的湍流退化图像复原。国内外有很多的科研机构在研究湍流退化图像的复原工作，且有很多取得了很好的复原效果。

3、湍流退化图像的关键技术

通常来说，在不同条件下，如气候、照度、摄影位置和角度等获得的两幅或多幅图像之间会存在一定的差异，它们之间的差异表现在不同的分辨率、不同的灰度属性、不同的位置平移和旋转、不同的比例尺、不同的非线性变形等等。图像配准的最终目的是消除以上所述两幅或多幅图像之间存在的种种差异，建立图像之间的对应关系，确定其最佳匹配关系，使它们在目标几何形状上匹配一致，为进一步的分析处理做准备。

目前大气湍流退化图像复原主要方法是利用多帧图像进行复原，而多帧图像复原多是利用图像序列所包含的数据信息互补这一特点，因此其最关键的技术就是图像配准技术。

图像配准是解决图像融合、图像镶嵌和变化检测等问题的必要前提，其应用遍及军事、遥感数据分析、医学和计算机视觉等多个领域。概括的说，图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像进行匹配、叠加的过程,包括像素灰度匹配和空间位置对齐。

3.1 图像配准

图像配准就是将不同时间、不同成像设备或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。首先对两幅图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数，最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。这种方法的基本思想是基于对误差的积累进行分析。所以对于大部分非匹配点来说，只需计算模板中的前几个像素点，而只有匹配点附近的点才需要计算整个模板。这样平均起来每一点的运算次数将远远小于实测图像的点数，从而达到减少整个匹配过程计算量的目的。

3.2 图像配准的方式

图像配准的方式可以概括为相对配准和绝对配准两种：

①相对配准是指选择多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统是任意的。

②绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。

3.2 图像配准的分类

总的来说，可以将图像配准方法大致分为三类：

①基于模型的配准方法。这种方法是根据图像失真的数学模型来对图像进行非线性校准的配准，多用于医学图像。

②基于象素的配准方法。这类方法根据配准图像的相关函数、Fourier变换等关系式来计算配准参数。一般来说，基于象素的配准算法把匹配点周围区域的点的灰度都考虑进来计算，故匹配计算量大，速度慢。

③基于特征的配准方法。这类方法是根据需要配准图像的重要特征之间的几何关系来确定配准参数。因此这类方法首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征如边缘、角点、线、曲率等，建立特征点集之间的对应关系，由此求出配准参数。常用到的图像特征有：特征点（包括角点、高曲率点等）直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。基于特征的算法提取了图像的显著特征，大大压缩了图像信息量，故计算量小，速度快。

第一类方法(对应于局部几何变换)只适合图像中对象之间的局部的非线性的非刚性变形

情况，这种失真如果是由于成象系统的非线性引起，则需要根据成象系统的非线性失真模型来实现配准，此时可归为几何精确校正处理。后两种方法是全局图像配准技术，这两类方法通常需要假设图像中的对象仅是刚性的改变位置，姿态和刻度，改变的原因往往是由摄影器材运动引起的。

一般来说，基于象素的配准算法把匹配点周围区域的点的灰度都考虑进来进行计算，故匹配计算量大，速度较慢。而基于特征的算法提取了图像的显著特征，大大压缩了图像信息量，故计算量小，速度较快。

3.4 图像配准的几种典型方法

在两幅图像灰度信息相似的情况下，常用的匹配方法有:投影匹配方法、基于傅立叶变换的相位相关匹配方法和互信息匹配方法。

①投影匹配方法

投影匹配方法是把二维的图像灰度值投影变换成一维的数据，再在一维数据的基础上进行匹配运算，通过减少数据的维数来达到提高匹配速度的目的。投影坐标(t,θ)与原坐标(x,y)间的对应关系定义如下:

(,)(cos sin ,sin cos )p t f t s t s ds θθθθθ=-+? (3-3)

其中f(x,y)为图像函数，s 为投影方向，t 为其垂直方向。当θ固定时，p(t, θ)为t 的函数，是一个一维波形。当θ变化时就可以得到不同方向上的投影。图像窗口的一维投影数据可以利用互相关方法来进行相似性度量。也可以采用一维数据的差分字符串匹配技术来提高运算速度。

②基于傅立叶变换的相位相关匹配方法

基于傅立叶变换的相位相关匹配是利用傅立叶变换的性质而出现的一种图像配准方法。图像经过傅立叶变换，由空域变换到频域，则两组数据在空域上的相关运算可以变为频域的复数乘法运算。设图像f 1(x,y)和f 2(x,y)，且有f 2(x,y)=f 1(x-x 0,y-y 0)，则这两幅图像在频

域中的关系为:

002()

21(,)(,)x y j x y x y x y F F e πωωωωωω-+= (3-4)

可见空域上图像的平移在频域中表现为相位的差异，这个相位差异可以通过计算两幅图像的互功率谱来得到:

00*2()

1212(,)(,)

(,)(,)(,)x y j x y x y x y x y x y x y F F Q e F F πωωωωωωωωωωωω-+== (3-5)

对互功率谱求傅立叶反变换就可以在匹配点得到一个冲激响应。通过寻找最大值的位置就可以得到准确的匹配位置。

③互信息匹配方法

通过测量两个随机变量的互信息可以判断这两个随机变量的统计依赖。互信息定义为:

(,)(,)(,)log

()()

y Y x X p x y I X Y p x y f x g y ∈∈=∑∑ (3-6) 其中P(x,y)为随机变量X,Y 的联合概率密度函数，f(x)和g(y)分别为随机变量X 和Y 的概率密度函数。互信息越大两个随机变量的统计依赖性越强，如果将图像看作一个随机变量，则表明这两幅图像越相似。此前曾有研究将此技术应用到MRI 图像配准和3D 模型与真实场景的

匹配上。寻找互信息函数的极值，是个多维函数的优化问题，这里的维数指的是畸变类型参数的自由度。最简单的解决办法是贪婪搜索，尽管它很费时，但是如果只有简单畸变类型存在时也会经常采用。

4、当今湍流退化图像复原面临的难点

当今对于湍流退化图像的复原，主要面临如下3个难点：

①计算复杂性和整体结果对计算误差的敏感性。当湍流单元数目及参数随时间变化时，用现有的非线性迭代方法求解每个“斑点函数”权重和位置的精确值是非常困难和耗时的。

②原图像退化的湍流单元数目，事先是未知的，很难从已摄取的湍流退化图像中正确估计出；

③由于各种随机因素的干扰，各“斑点函数”的形式和参数是多变的，在不同的瞬时（短曝光）和在不同的空间位置上，或多或少会发生改变，甚至有一些会消失或再现。假设它们形状不变，湍流光学单元数目不变，不适合于瞬息万变的实际湍流环境，与实际相去甚远；

5、结论

通过上述一些方法的介绍可知，如今利用多帧图像进行湍流图像复原的各种方法都是利用了图像序列所包含的数据信息互补这一特点，从而获得比较清楚的复原图像。虽然多帧图像处理在图像信息容量和噪声控制方面有很明显的优势，复原的效果也较好。但是由于这类方法通常需要拍摄大量的图像，从而使得计算量大大增加，程序整个运行时间也较长，因此基于序列图像的湍流退化图像的复原算法，还需我们进一步进行研究，尤其是在快速实时处理方面，是我们现在急需解决的问题。