图像的超分辨率处理方法研究现状
基于双目图像和深度学习的图像超分辨率重建方法研究
基于双目图像和深度学习的图像超分辨率重建方法研究标题：基于双目图像和深度学习的图像超分辨率重建方法研究摘要：随着高清晰度显示设备的普及，图像超分辨率重建成为了计算机视觉领域一个重要的研究方向。
本文以基于双目图像和深度学习的图像超分辨率重建方法为研究对象，通过对图像超分辨率重建技术的相关背景及发展进行综述，介绍了双目图像和深度学习在图像超分辨率重建中的应用。
另外，从数据集构建、特征提取和重建网络设计等方面，探讨了当前的主流方法及其存在的问题，并指出了未来的研究方向和挑战。
一、引言图像超分辨率重建是指通过利用一系列低分辨率图像重建高分辨率图像的技术。
在实际应用中，由于种种因素的限制，如摄像头的物理限制、图像采集的噪声和图像传输等，导致获取的图像往往具有较低的分辨率。
而高分辨率图像对于很多任务来说十分重要，例如图像识别、目标跟踪和人脸识别等。
因此，图像超分辨率重建技术的研究具有重要的现实意义。
二、图像超分辨率重建技术的发展与研究现状在过去的几十年中，图像超分辨率重建技术取得了长足的发展。
最早的方法是基于插值的方法，如双立方插值和最近邻插值等。
这些方法通过对像素进行简单的复制或者线性插值，来实现图像的放大。
然而，这些方法无法恢复图像的高频信息，导致图像边缘和细节模糊。
为了解决这一问题，研究者们提出了一些基于样本的方法，如K-SVD、BM3D和LLE等。
这些方法通过对低分辨率图像进行训练或者利用图像的自相似性，来实现图像的恢复。
然而，这些方法仍然存在一些问题，如对于不同场景的图像无法有效重建。
近年来，深度学习技术的兴起为图像超分辨率重建带来了新的机遇。
深度学习基于神经网络的模型可以通过大量的图像数据进行训练，自动学习到图像的高层次特征，并实现更好的重建效果。
其中，卷积神经网络（Convolutional Neural Network，CNN）是应用最为广泛的一种深度学习模型。
通过构建合适的损失函数和网络结构，可以实现对低分辨率图像进行恢复和重建。
图像超分辨率重建技术的研究
图像超分辨率重建技术的研究随着人类生产和生活发展，图像处理技术已经成为了一种重要的技术手段，并随之催生了一个重要领域－图像超分辨率重建技术。
图像超分辨率重建技术是基于现有图像数据，通过一定的算法手段将图像处理至更高清晰度和更高分辨率的技术。
本文将依次从技术基本原理、应用场景和研究前沿等方面，对当前图像超分辨率重建技术的研究做一简单介绍。
一、技术基本原理普通的图像拍摄设备无法拍摄到大尺寸、高质量的图像。
图像超分辨率重建技术就是利用数学模型等一系列手段，从已有的图像数据中重建一个尺寸更大、分辨率更高的图像。
在图像超分辨率重建技术的研究中，经验和算法模型是两个重要的研究方向。
其中经验模型主要依托于训练样本库中的图像。
这个样本库越大、越丰富，超分辨率重建的精度也就越高。
而算法模型主要基于复杂数学公式的计算，常见模型包括双三次插值、基于步进的算法、单隐含层神经网络等。
概括来说，图像超分辨率重建技术通过新增像素点、提高亮度对比度等技术，增加图像细节信息，从而再现出更多更精细的细节，提高图像质量。
二、应用场景随着科技不断进步，图像超分辨率重建技术在各个行业都有不同程度的应用，这里仅列举其中的几个典型应用场景。
（1）照相机选择现今照相机有不同的像素大小和分辨率设置，使用超分辨率重建算法后，用户就可以根据自己的具体需求自由选择相机的拍摄模式，同时还可以通过软件后处理，将图像还原至更清晰、更精细的状态。
（2）超分视频和超分图像图像超分辨率重建技术可以应用于视频处理领域，通过对视频的分离、处理等技术的综合运用，将低分辨视频转化为高分辨视频，获得质量更优、细节更多的高清晰度视频。
（3）医学影像处理医学图像需要表现出肿瘤、骨骼、血管、间质甚至微小分子等多种细节信息，而图像超分辨率重建技术的应用可以补偿原本微小的细节，并进一步显示出更细致、精确的信息，帮助医生更好地诊断和治疗病情。
三、研究前沿虽然图像超分辨率重建技术已经有了广泛的应用场景，但是仍然存在许多挑战和难点，下面我们将介绍几个研究前沿问题。
计算机视觉中的图像超分辨率重建算法研究
计算机视觉中的图像超分辨率重建算法研究随着人们对图像质量的要求越来越高，图像超分辨率重建成为了计算机视觉领域的研究热点之一。
图像超分辨率重建，就是将低分辨率图像恢复成高分辨率图像的过程。
本文将从实际应用需求出发，介绍计算机视觉中的图像超分辨率重建算法的研究现状以及未来发展。
一、背景介绍图像超分辨率重建技术可以应用于许多领域，如医学影像、无人机图像、安防监控等。
在这些领域中，往往需要对图像进行精细的分析和处理。
而图像的分辨率对这些领域的分析和处理结果影响很大。
如果图像分辨率过低，会导致图像中信息丢失，从而影响分析和处理的准确性。
因此，图像超分辨率重建技术应用广泛。
二、图像超分辨率重建算法研究现状在图像超分辨率重建方面，研究人员主要采用两种方法：插值法和预测法。
1.插值法插值法是一种将低分辨率图像插值成高分辨率图像的方法。
插值法的原理是对低分辨率图像进行补点，使其变得更加平滑。
这样可以提高图像的分辨率，但是也会降低图像的清晰度。
2.预测法预测法是一种根据已知信息预测未知信息的方法。
在图像超分辨率重建中，预测法通常采用一些模型进行预测。
常用的预测模型包括线性预测模型、非线性预测模型等。
预测法在图像分辨率的恢复上具有更好的效果，但是计算成本比插值法更高。
三、未来发展趋势目前，深度学习技术在图像超分辨率重建中的应用呈逐年增长的趋势。
深度学习技术通过建立深度神经网络模型来实现图像超分辨率重建。
该技术减少了人工干预的成本，且具有更好的图像重建效果。
但是，深度学习技术需要较大的数据集，且训练过程较为复杂。
因此，该技术的发展还需要进一步的研究和探索。
同时，在图像超分辨率重建中，也需要对传统算法进行优化和改进。
例如，在预测模型中引入时空信息，加强对图像中结构的预测，从而提高图像的重建质量。
此外，也需要结合其他计算机视觉技术，如图像去噪、图像增强等，综合应用来完善图像超分辨率重建算法。
四、结论图像超分辨率重建算法的研究已经在计算机视觉领域中有着较为广泛的应用。
超分辨率成像技术的研究进展及应用前景
超分辨率成像技术的研究进展及应用前景随着科学技术的不断发展，图像分辨率的提高成为了研究人员和工程师们必须面对的重要问题。
超分辨率成像技术应运而生，成为了解决这一问题的有力工具。
本文将探讨超分辨率成像技术的研究进展及应用前景。
一、超分辨率技术的发展历程早期的超分辨率成像技术是通过传感器阵列在时间和空间上的传输来实现的，而现在的超分辨率技术则是通过使用计算机算法来增加精度的。
这种技术大大提高了图像分辨率及质量。
在过去的几年里，科研人员已经提出了许多新的超分辨率成像算法。
例如，超分辨率插值算法(Super resolution interpolation)和Deep learning算法。
这些算法可以快速地计算成像结果，同时还可以消除噪声和对齐像素，从而提高图像的清晰度和质量。
二、超分辨率技术的应用领域超分辨率技术不仅可以用于卫星、天文、医疗等领域的图像处理，还可以应用于汽车安全、娱乐和游戏等领域。
汽车安全：高分辨率的图像可以帮助汽车识别障碍物和处理复杂的场景。
例如，在交通堵塞时，汽车可以利用高分辨率图像来识别其他车辆和行人，从而预测和避免潜在的事故。
娱乐和游戏：游戏和娱乐产业需要高清晰度和清晰度的图像来提高用户体验。
超分辨率技术可以优化游戏和娱乐产业的图像质量，增加图像的清晰度和分辨率，使得用户可以更好地沉浸在游戏和娱乐世界中。
三、超分辨率技术的挑战尽管超分辨率技术在图像处理中有着重要的应用价值，但仍然面临着一些挑战。
数据量的增加：超分辨率技术需要大量的图像数据来扩大应用场景，而获取这些数据则面临经济和监管方面的限制。
性能提升：现有的超分辨率技术仍需要不断突破，以应对新的场景和任务要求。
算法的设计：设计优化的超分辨率算法需要对影响算法的参数、权重、公式等等因素进行调整和优化，否则就会影响到算法的结果。
四、超分辨率技术的未来展望在未来，超分辨率技术有可能会成为智能行业中的新趋势。
随着扩展性、可靠性和计算速度不断提高，超分辨率技术的应用前景将会更加广泛。
图像超分辨率技术研究及应用
图像超分辨率技术研究及应用随着科技不断进步，我们的生活变得越来越数字化。
数字图像的应用越来越广泛，比如说医学图像、卫星图像、安防监控等等。
但是，某些场景要求的像素密度过高，然而对应的成像设备并不存在，如何让低分辨率图像转化为高分辨率图像成为了一个亟待解决的问题。
图像超分辨率技术就是解决这个问题的方法。
本文将介绍图像超分辨率技术的研究现状和应用情况。
一、图像超分辨率技术的定义和分类图像超分辨率技术（Image Super-Resolution，ISR）是一种将低分辨率图像（Low-Resolution，LR）转化为高分辨率图像（High-Resolution，HR）的技术。
根据超分辨率方法的不同，可以将其分类为插值法、基于边缘的方法、基于稀疏表示的方法、基于深度学习的方法等。
1.插值法：最简单的超分辨率方法，也是最古老的一种方法，其利用邻域像素点之间的差异性来增加图像的分辨率。
插值法只是简单的重复像素来扩大图像的大小，它不能提高图像的质量。
2.基于边缘的方法：它将边缘区域分离出来，然后将其放大，最后将使用插值法将其与原始图像合并，并通过重新构建来使用边缘信息增加分辨率。
3.基于稀疏表示的方法：通过利用稀疏性的先验知识，该方法可以准确地恢复高分辨率图像。
它的缺点是训练一个有较好性能的稀疏表示模型需要大量的计算资源。
4.基于深度学习的方法：它是最近很热门的一种方法，因为它可以自动提取必要的特征并获得不错的结果。
基于深度学习的ISR分为两种方式：单图像超分辨率和多图像超分辨率，前者仅使用通过采样所得到的低分辨率图像，而多图像超分辨率法则利用全局高分辨率图像的一小部分块来预测其余分辨率，加速了计算过程并提高了结果的质量。
二、图像超分辨率技术的应用现状1.安防监控领域：在安防监控领域，图像质量对于保护公共安全是至关重要的。
但是，由于摄像头的技术限制，图像的分辨率通常很低。
通过运用ISR技术，可以让低分辨率监控画面转化为高清晰度让人更好的辨认特定细节（例如车牌号码或面部特征）。
超分辨率成像技术及其应用
超分辨率成像技术及其应用近年来，随着科学技术的不断发展，超分辨率成像技术逐渐成为研究热点。
这种技术通过提高图片的分辨率，使观察者能够得到更准确、更清晰的图像，从而开拓了科技研究的新门路。
本文将重点阐述超分辨率成像技术的原理及其应用领域。
一、超分辨率成像技术的原理超分辨率成像技术是一种利用计算机算法实现图像分辨率增强的技术。
在传统的成像过程中，分辨率是由感光元件和光学透镜的分辨能力决定的，分辨率的提高需要提高光学系统的分辨率或增大成像器件的像素数，这往往需要更高的成本和更复杂的设备。
而超分辨率成像技术则通过数学算法对多幅低分辨率图像进行整合、重构，形成更高分辨率的图像。
这种技术使得计算机能够在固定的像素数下实现更高的图像分辨率，同时也减少了成像设备的投入成本。
超分辨率成像技术的主要方法有三种：插值、超分辨率重建和基于深度学习的超分辨率重建。
其中，插值方法是最简单、最容易实现的一种方法，具体是通过对低分辨率图像进行像素插值，从而得到一个更高分辨率的图像。
超分辨率重建方法则是利用低分辨率图像中携带的信息进行像素补全，从而实现对图像的增强。
而基于深度学习的超分辨率重建方法则是利用深度学习中的卷积神经网络进行图像修复，从而实现对图像的超分辨率重构。
在这三种方法中，基于深度学习的超分辨率重建方法具有最高的准确度和鲁棒性。
二、超分辨率成像技术的应用领域超分辨率成像技术具有广阔的应用前景。
在医学影像领域中，超分辨率成像技术可以帮助医生更准确、更快速地诊断疾病，提高医疗效率。
例如，针对胰腺癌的诊断，超分辨率成像技术能够显示更细微的细节，并且可以帮助医生确定更准确的诊断结果。
在安防领域中，超分辨率成像技术可以帮助警察更快速地发现犯罪嫌疑人。
例如，在犯罪现场采集的低分辨率图像中，超分辨率成像技术可以增强图像，使嫌疑人的面部特征更为明显，从而更方便民警开展抓捕工作。
在航空航天领域中，超分辨率成像技术可以帮助科学家更加清晰地观察航天器或卫星上的目标物体，从而更好地了解宇宙环境。
超分辨率成像技术的研究现状及发展前景
超分辨率成像技术的研究现状及发展前景随着科技的不断进步和发展，人们对图像和视频质量的要求也越来越高。
然而，由于受到硬件和成像原理的限制，传统的图像和视频质量难以满足人们对于高分辨率、高清晰度、高保真度的需求，因此超分辨率成像技术应运而生。
超分辨率成像技术，即通过图像处理算法对低分辨率图像进行重建，得到高分辨率图像的一种技术。
在很多领域都有着广泛的应用，如自然图像处理、医疗影像、安防监控等。
对于人类生活和科学研究都具有重要的意义。
一、超分辨率成像技术研究现状1.1 传统算法的局限性早期的超分辨率技术大多都是基于传统的插值和滤波算法，如双三次插值、双线性插值等。
通过这些算法可以得到较为平滑的高分辨率图像，但是对于复杂细节部分的重建效果并不理想。
同时，也忽略了低分辨率图像中存在的高频细节信息，导致高分辨率图像缺失细节信息，不真实。
1.2 基于深度学习的算法随着深度学习技术的发展，许多基于深度学习的超分辨率算法应运而生。
这些算法采用卷积神经网络（CNN）作为核心，将原图与低分辨率图像同时输入网络中，通过神经网络对低分辨率图像进行处理，得到高分辨率图像。
这些算法包括SRCNN、VDSR、ESPCN、SRGAN等。
这些算法的优势在于能够从大量的训练数据中学习到图像的特征，从而对图像进行更加精准的重建。
同时，还能够有效地处理低分辨率图像中的高频细节信息，得到更加真实、更加细致的高分辨率图像。
1.3 图像重建评价指标对于超分辨率算法的评价，除了视觉效果之外，还需要考虑到一些量化指标。
例如，PSNR（峰值信噪比）、SSIM（结构相似性）、MS-SSIM（多尺度结构相似性）等方面的评估指标。
这些指标可以帮助评价算法重建图像的质量和准确程度，为算法的改进提供了重要的参考。
二、超分辨率成像技术的发展前景2.1 应用前景广泛超分辨率技术的应用涉及到很多领域，如航空航天、无人驾驶、自然图像处理、遥感影像、医疗影像等。
通过超分辨率技术，可以提高图像的分类精度、目标检测的准确性、识别能力等，为人类生产和社会发展带来更多的变革和创新。
超分辨率图像重建的研究现状和展望
超分辨率图像重建的研究现状和展望超分辨率图像重建是一种通过将低分辨率图像升级到高分辨率图像的方法，用于提高图像质量和清晰度的技术。
在过去几十年中，超分辨率重建已经成为计算机视觉领域最活跃的研究方向之一，涉及到各种应用领域，如医学影像、监控、军事侦察、电影和电视制作等。
超分辨率图像重建的研究现状超分辨率图像重建是一个广泛的研究领域，涉及到多个学科，涵盖了对机器学习、图像处理和数学的深刻理解。
研究人员们已经提出了多种算法，包括基于插值的方法、基于回归的方法和基于学习的方法等。
基于插值的方法是最简单的超分辨率重建方法之一，它通过简单的算法来增加图像的分辨率。
这种方法的主要缺点是容易发生伪像，图像的细节信息无法得到充分提取。
基于回归的方法则利用了显式或隐式的建模技巧来实现超分辨率图像重建。
这种方法需要大量的训练样本，能够减少伪像的发生并提高图像的细节信息。
基于学习的方法则是当前超分辨率图像重建的主流方法之一。
这种方法通过对训练集中的大量低分辨率和对应高分辨率图像对进行学习，生成一个映射函数，可以将低分辨率图像映射到高分辨率图像。
这种方法可以提高图像的质量和清晰度，并能更好地处理图像的细节信息。
超分辨率图像重建的研究展望近年来，基于深度神经网络的超分辨率图像重建方法已经取得了很大的进展。
通过利用深度学习理论，这种方法可以更好地处理图像的细节信息，并能够充分利用图像中的上下文信息，使得重建的图像质量更加逼真。
未来，我们可以期待深度学习在超分辨率图像重建领域的更广泛应用。
此外，超分辨率图像重建领域还有很多挑战需要克服。
例如，对于复杂的场景、光照条件和噪声干扰等情况，如何有效提取图像细节和纹理信息仍然是一个难题。
此外，如何充分利用各种图像传感器和数据源提出更高水平的算法也是一个需要解决的问题。
总的来说，超分辨率图像重建的研究现状已经很成熟，但仍存在很多问题需要解决。
我们可以期待在不久的将来，这种方法将在多个应用领域中得到更广泛的应用，并且可以通过不断的研究和实践得到进一步的提升。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。
介绍了超分辨率图像处理技术的概念和起源;综述了超分辨率图像恢复研究现状。
重点对单帧和多帧超分辨率图像处理的主要方法进行了评述,并总结对比了频域和空域方法的优缺点。
最后对超分辨率图像处理技术的技术难点和前沿问题研究前景进行介绍和展望。
0引言图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨率降质图像(LR,lowresolution)来重建高分辨率高质量图像(HR,highresolution)的技术[1]。
图像超分辨率处理技术可突破图像采集设备的分辨率限制,充分利用多帧图像之间的互补信息,实现像素级的图像信息融合。
在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。
图像超分辨率处理常被认为是广义的图像复原(Restoration)或图像重建(Reconstruction)。
实际上它与两者有一定联系但是又不完全相同。
图像复原是指去除或减轻获取数字图像过程中发生的图像质量下降(退化)[2],目标是恢复光学系统截止频率以内的成分,而图像超分辨率处理的目标是得到系统截止频率以外的成分。
图像重建可用于现有成像系统不能提供满意图像分辨率的情况,如提高遥感图像、CT、核磁共振、超声波图像和各种监控图像等的分辨率[3]。
在超分辨率处理中,多帧低分辨率降质图像可以认为是高分辨率理想图像经成像系统在观测平面上的一个投影,因此图像超分辨率处理也可以认为是由多帧低分辨率降质图像来重建高分辨率理想图像。
1超分辨率图像处理技术研究概况J.L.Harris[4]和J.W.Goodman[5]提出的基于单帧图像的Harris-Goodman频谱外推法是最早的超分辨率图像处理的方法。
随后,Tsai与Huang提出了基于序列或多帧图像的超分辨率重建问题,并给出了基于频域逼近的重建图像方法。
此后,极大后验概率估计法、反向投影迭代法、凸集投影法和自适应滤波方法等许多有使用价值的方法被提出并发展。
目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包[6];美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。
香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法[7]。
以色列耶鲁撒冷大学M.Elad等[8]对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。
以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。
印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法[9]。
韩国Pohang理工大学在各向异性扩散用于超分辨率[10]方面进行了研究。
国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距[11]。
2超分辨率图像处理方法图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。
单帧图像处理也称为图像放大,是指利用一帧探测器采集到的低分辨率图像的信息,通过重建算法提高图像分辨率的方法。
为了增加利用图像的信息,人们逐渐将研究热点转向多帧图像处理。
多帧图像处理充分利用了不同帧图像之间的互补信息,其超分辨率复原能力好于利用单帧图像处理。
其主要方法大致可以分为两类:频域法和空域法。
早期的超分辨率图像处理方法研究都集中在频域,后来转向空域超分辨率图像处理复原方法的研究。
频域法不能利用图像的先验知识,而空域方法则能够充分利用图像先验知识。
频域方法的基本流程如图1(a)所示。
其中图像配准和运动模型估计的精度越高,图像重建的效果就越好。
当考虑到普遍的运动类型以及退化模型时,频率域方法仅能进行整体运动估计,很难将采样空间中变化的运动模型局部等价到其Fourior变换域上。
因而产生了空域处理方法,具体流程如图1(b)所示。
显然,空间域方法进行超分辨率重建时,将复杂的运动模型与相应的插值或迭代及滤波重采样放在一起处理,这样更符合图像退化的复杂过程。
超分辨率图像处理方法很多,下面对一些目前正在研究和经常使用的方法进行重点研究。
2.1单帧超分辨率图像处理单帧超分辨率技术利用空间有界和频带限制之间的不相容性来重建特定图像中衍射极限以外的频谱。
Wang等[12]提出了有向滤波器,保护有向多项式表示的有向图像特征。
Ayazifar[13]提出了边缘保持的插值技术,该技术不仅能沿线性边缘插值,也能沿弯曲的轮廓插值。
Schultz等[14]将插值图像看作是非连续性保持的Huber-Markov随机场,并计算它的最大后验概率(MAP)估算,以获得高分辨率图像。
Thurnhofer等[15]提出了图像插值的自适应算法,并进行了视觉边缘增强。
由于实际成像和图像探测过程中误差因素的存在,使基于单帧图像的超分辨率处理方法难以应用于工程实际。
2.2频域方法频域法是最早出现的超分辨率图像处理方法,是指通过在频率域消除频谱混叠而改善图像的空间分辨率的方法。
频域方法的理论基础为傅里叶变换的平移特性,主要包括:解混叠重建法、递归最小二乘法、递归整体最小二乘法等方法。
由频域解混叠进行超分辨率重建最早由Tsai和Huang于1984年提出[16],图像序列被模型化为同一幅场景图经整体平移后欠采样的结果,欠采样过程在频域表现为频谱的混叠。
该法的不足之处是其模型中没有考虑光学系统点扩散函数(PSF),也没有考虑运动模糊和观测噪声。
Tekalp等人于1992年提出一种改进的方法[17],采用的模型中包括了线性平移不变的点扩散函数(LSI PSF, LinearShift Invariant PSF)和观测噪声。
Kim等人[18]提出了用递归最小二乘法(RLS,Recursive Least Squares)、加权递归最小二乘法(WRLS,Weighted Recursive LeastSquares)求解频谱混叠系统线性方程组,使得超分辨率重建过程可以包含观测噪声、空间模糊等因素。
由于噪声和误差的影响可能导致递归最小二乘法不收敛,为此Bole提出了递归整体最小二乘法(RTLS,RecursiveTotal Least Squares)[19]。
该方法所采用的模型有效地考虑了观测图像的LSI模糊因子,但未考虑运动模糊。
2.3空域方法空域方法就是指在图像像素的尺度上,通过对图像像素点的变换、约束进而改善图像质量的方法。
空域方法主要包括非均匀采样内插法、代数滤波反向投影法、基于概率论的方法、凸集投影迭代法、混合法、自适应滤波法、Tikhonov-Arsenin正则化法等。
2.3.1非均匀采样内插法该技术将运动估计、非均匀插值、去模糊3个过程依次执行,先用估计的相对运动信息,然后用插值方法得到HR图像后,最后用传统的图像恢复方法去除模糊和噪声。
该技术的优点是计算复杂度低,易于实用化。
不足之处在于观测模型只适用于所有的LR图像的模糊和噪声特征都相同的情况。
此外,由于恢复时忽略了插值过程引入的误差,无法保证整个复原算法的最优。
该技术比较突出的研究如下:Keren等人提出了一种包括整体平移和旋转的超分辨率重建模型[20],其特点是在超分辨率重建阶段分为内插、模拟修正两步。
这一方法的缺点是其内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。
Aizawa等提出了另一种基于内插的方法[21],他们分析了通过立体相机获取超分辨率图像的方法。
该种方法没有考虑光学模糊和运动模糊,该种模型同样也不能够利用任何先验信息。
2.3.2反向投影法在对高分辨率图像的迭代计算中,将高分辨率图像估计结果退化为低分辨率图像,计算该退化图像与真实退化图像的残差,由残差和图像模糊构造后向投影来修正下一次的迭代。
迭代后向投影方法的优点是简单直观,缺点是解不唯一,也难以进行正则处理。
Friden等[22]提出了代数层析滤波后向投影方法、迭代反向投影方法( IBP, Iterative BackProjection)等方法,进一步提高了迭代反向投影算法的性能并将其推广应用到彩色视频序列的超分辨率重建上。
2.3.3统计复原方法常用的统计复原方法包括极大后验概率估算(Maximum a Posteriori,MAP )和最大似然估算。
最大后验概率的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大。
最大似然估算方法可被认为是最大后验概率估算方法在等概率先验模型下的特例。
SchultzHardie等人[23]分别提出了相关算法。
目前,MAP超分辨率图像重建算法己经得到广泛的应用,这主要是因为该算法的框架模型是直接考虑先验知识的,以MAP作为先验知识的模型可以提供十分方便、直观和符合实际的成像模型;并且在MAP这样的框架内可以实现运动估计和超分辨率重建的同时求解。
2.3.4基于集合的凸集投影方法(Projection OntoConvex Set,POCS)在这种算法中,约束集定义为超分辨率解空间中可行解的限制条件,每一个限制条件则定义为向量空间中的凸集合(Convex Set)。
这些限制条件一般为超分辨率解提供较理想的性质,比如正定性、能量有界性、观测数据一致性以及光滑性等。
求解过程就是从多个约束集合的交集中求解高分辨率图像,该方法易于实现,可处理复杂的退化模型。
Youla和Webb在1982年最先将凸集投影的理论应用于图像恢复。
文献[24]提出了包含系统矩阵的运动模型,该法原理简单、观察模型灵活,能强有力地利用先验知识,近几年来在图像超分辨率重建领域受到广泛重视。
但同时具有解的不唯一性、对初始值的依赖性、需要可观的计算代价和较多的迭代次数等缺点。
2.3.5混合ML/MAP/POCS法Elad等把MAP,ML和POCS三种方法合并成统一的算法族[25]。
混合MAP/POCS方法相当于在最大后验概率方法的迭代优化过程中加入了一些先验约束,混合方法的特点是所有的先验知识都可以有效地结合使用,与POCS方法相比,该法能保证有一个最优解,图像复原性能优于MAP和POCS。
2.3.6滤波方法通过滤波可直接消除退化因素获得高分辨率图像。
该方法的不足是最优滤波方法不能包含先验,自适应滤波方法不能包含非线性先验。
自适应滤波、Wiener滤波和Kalman滤波等几类方法可以应用在高清晰度电视标准和合成视频变焦这些运算速度要求较高的场合。