超分辨率算法综述
超分辨率算法
基于学习的图像超分辨率算法林宙辰微软亚洲研究院，北京1001901 引言超分辨率（superresolution）算法是增强图像或视频分辨率的技术，它的目的是要使得输出的图像或视频的分辨率比任意一幅输入的图像或输入视频的任意一帧的分辨率都要高。
这里的“提高分辨率”意味着已有内容更加清晰或者用户能看到原来没有的细节。
在获取高质量的图像或视频比较困难或者代价比较昂贵的时候，使用超分辨率算法是很有必要的。
比如在视频监控（video surveillance）中，人脸所占的区域往往只有几十个像素；在遥感（remote sensing）中，超高分辨率器材的价格会远远高于一般分辨率器材的价格；而且用户对提高分辨率的需求没有止境。
超分辨率技术自Tsai和Huang [1] 1984年提出以来算法甚多，按照其主要原理大致可分为四类[2–4]。
第一类是基于插值的算法。
这类算法先把低分辨率图像配准（register）到要计算的高分辨率图像的格点上，然后运用非均匀插值（non-uniform interpolation）技术把高分辨率图像每一像素的值插值出来，最后再反卷积以进一步提高清晰度。
第二类是基于频率的算法。
这类算法利用了傅立叶变换（Fourier transform）空域上的平移对应于频域上的相移的性质，从具有不同相位的低分辨率图像的频谱中估计出高分辨率图像的频谱，然后做傅立叶反变换重构出高分辨率图像。
第三类算法是基于重构（reconstruction-based）的算法。
这类算法先是根据低分辨率图像和高分辨率图像之间的配准关系，得出每个高分辨率像素对每个低分辨率像素灰度值的贡献，由此得到一个联系高分辨率像素构成的矢量和低分辨率像素构成的矢量的线性方程组，再通过求解该线性方程组获得高分辨率图像。
第四类算法是近年来才涌现出来的新型算法，即基于学习的算法。
相比之下，前三类算法只是把图像作为信号来处理，而基于学习的算法更注重对图像内容和结构的理解，它利用和问题及数据相关的先验知识来提供更强的约束，因此经常能得到更好的结果。
超分辨率算法研究综述
文章编号： （ ） １ ６ ７ ２ ３ ９ ６ １ ２ ０ ０ ９ ０ １ ０ ０ ０ １ ０ ６
超分辨率算法研究综述
浦剑１， 张军平１ ， 黄华２
（ 复旦大学计算机科学技术学院，上海 ２ ；２ 西安交通大学电信学院，陕西 西安 ７ ） １ ． ０ ０ ４ ３ ３ ． １ ０ ０ ４ ９
０ 计一个高分辨率图像作为初始解 ｘ ， 通常采用单幅 低分辨率图像的插值结果 ． 然后根据系统模型， 计算
１ 超分辨率系统模型及技术概述
对超分辨率问题的求解， 通常是构造一个前向
】 ２ ， 低分辨率图像和高分辨率图像之间的 关系模型【
关系可以表述为： ，１ ， ， ｙ Ｂ Ｍｋ ｘ ｋ ， ≤ｊ ≤ｐ ｋ ＝Ｄ ｊ ｊ ｊ＋ｎ ｊ （ ） １ 为图像序列帧数， 、 其中， ｐ ｘ ｙ ｊ ｋ和 ｎ ｊ分别为待求的 第ｊ 帧高分辨率图像、 第 ｋ帧观察到的低分辨率图 、 分别为 像和图像获取时的噪声， 矩阵 Ｄ Ｂ ， ｊ和 Ｍｋ ｊ 下采样矩阵、 模糊矩阵和第 ｊ 帧和第 ｋ帧之间运动 矢量所构成的运动矩阵 ． 关于模糊矩阵和运动矩阵 的先后关系， 王兆东等 指出， 如果更换两者的位置 会引起系统误差 ． 设 Ｈ ＝Ｄ 则式（ ） 即可简化为 Ｂ Ｍ， １ （ ） ｙ ＝Ｈ ｘ ＋ｎ ． ２ 求解式（ ） 需要确定 Ｈ， 也就是求解或者确认 ２ 式（ ） 中的 Ｄ ， ， ， 这包括以下几个问 １ Ｂ Ｍ 和噪声 ｎ 题： （ ）运动估计： 需要从观察到的低分辨率图像得 １ 到精确的运动矢量， 并使用插值等方法去近似高分 辨率图像的运动矢量； （ ）图像模糊的估计： 通常需 ２ 要对点扩散函数进行计算或假设； （ ）噪声估计： 噪 ３ 声会极大地影响系统的求解， 对于噪声的估计是非 常重要的一步 ． Ｓ Ｒ技术在早期研究中仅指基于多幅图像的还 】 ４ 原方法， 将基于单幅图像的增强称为插值【 ， 而目前 多数文献中将这两种情况均称为超分辨率 ． 超分辨
超分算法原理
超分算法原理Super-resolution algorithm is a technique used in digital image processing to enhance the resolution of an image beyond its original quality.超分辨率算法是数字图像处理中的一种技术，用于提高图像的分辨率，使其超出原始质量。
One of the primary principles behind super-resolution algorithms is to use information from multiple low-resolution images to construct a single high-resolution image.超分辨率算法的主要原理之一是利用多个低分辨率图像的信息构建单个高分辨率图像。
By combining the finer details from different low-resolution images, the super-resolution algorithm is able to produce an image with enhanced sharpness and clarity.通过合并不同低分辨率图像中的细节，超分辨率算法能够产生具有增强锐度和清晰度的图像。
There are various approaches to implementing super-resolution algorithms, including interpolation-based methods, reconstruction-based methods, and learning-based methods.实现超分辨率算法的方法有很多种，包括基于插值的方法、基于重建的方法以及基于学习的方法。
Interpolation-based methods involve using mathematical techniques to estimate the missing high-frequency information in a low-resolution image.基于插值的方法涉及使用数学技术来估计低分辨率图像中丢失的高频信息。
超分辨率图像重建方法综述
超分辨率图像重建方法综述超分辨率图像重建方法综述摘要：随着数字图像技术的迅猛发展，人们对于高质量图像的需求日益增强。
然而，由于各种原因限制，例如硬件设备和网络带宽的限制，很多图像都存在分辨率低、模糊等问题。
超分辨率图像重建技术应运而生，旨在通过图像处理方法将低分辨率图像重建为高分辨率图像，以实现更好的图像质量。
本文将对超分辨率图像重建方法进行综述，包括传统方法、基于插值的方法和深度学习方法，并对各类方法进行比较分析。
一、介绍超分辨率图像重建是一项重要的研究课题，旨在通过一系列的图像处理技术，将低分辨率图像提升至高分辨率图像，以满足人们对于高质量图像的需求。
在近年来，超分辨率图像重建技术得到了广泛的研究和应用，不仅能够改善普通图像的质量，还能在医学影像、监控图像等领域起到重要作用。
二、传统方法传统的超分辨率图像重建方法主要包括插值法、边缘推断法和重建模型法。
插值法是最简单直接的方法，通过对低分辨率图像进行像素插值来增加图像的分辨率。
然而，这种方法容易导致图像出现模糊和失真。
边缘推断法通过根据图像边缘信息进行推断来提高图像分辨率，但在实际应用中对边缘信息的准确性要求较高。
重建模型法则是使用一系列的模型和算法来重建图像，例如自回归模型、小波变换等。
这些传统方法在一定程度上可以提高图像的分辨率，但往往在处理复杂纹理和细节等方面效果有限。
三、基于插值的方法随着深度学习技术的发展，基于插值的超分辨率图像重建方法得到了很大的提升。
这类方法通过构建卷积神经网络模型，学习和捕获图像的高频信息，进而对低分辨率图像进行插值和重建。
此类方法比传统方法更加准确和稳定，能够解决复杂纹理和细节方面的问题。
然而，基于插值的方法对于训练样本的要求较高，且计算量较大。
四、深度学习方法深度学习方法是目前超分辨率图像重建领域的热门研究方向。
通过建立深度神经网络模型，利用大量的样本进行训练和学习，可以有效地提高图像的分辨率。
其中，卷积神经网络（CNN）是最常用的深度学习方法之一。
超分辨率算法综述
超分辨率复原技术的发展The Development of Super2Re solution Re storation from ImageSequence s1、引言在图像处理技术中,有一项重要的研究内容称为图像融合。
通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥补观测图像上的有限信息量是一个需要解决的问题。
图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅)携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。
（图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。
由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。
从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。
增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。
增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提高图象的空间分辨率。
对图象空间分辨率进行增强的技术也叫超分辨率(super2resolution) 技术,或亚像元分析技术。
本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。
）（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。
图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。
超分辨率算法综合报告
超分辨率算法综合报告图像超分辨率技术基础研究及心得所谓图像超分辨率技术（以下简称SR）就是在不改变图像探测系统的前提下,利用已有的低分辨率图像采用某种方法使其获得较高的分辨率的图像观测。
SR按处理得图像源可分为单幅图像超分辨率和多幅图像超分辨。
单幅图像超分辨率是指恢复出由于图像获取时丢失的信息（主要是高频信息），多幅图像超分辨率是指从低分辨率图像序列中恢复出高分辨率图像。
SR按实现的具体方法主要可分为空域法和频域法。
频域方法是在频域上消除频谱混叠，改善空间分辨率；空间域方法是在图像像素的尺度上，通过对图像像素点的变换、约束而改善图像质量的方法。
频率域方法目前比较流行的是能量连续降减法和消混叠重建方法。
消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。
目前图像超分辨率研究分为3个主要范畴：基于插值、基于重建和基于学习的方法。
我主要详细研究了双线性插值算法，TAOHJ等提出的小波域的插值算法，以及目前比较热门的基于学习的算法。
双线性插值算法插值方法较之与其他方法是最为简单的一种,但这种方法的弱点(误差大)与优点(算法简洁)几乎是难分上下。
目前,经常用到的插值方法包括双线性插值、B样条插值和SINC函数等.图像的双线性插值放大算法中，目标图像中新创造的象素值，是由源图像位置在它附近的2*2 区域4 个邻近象素的值通过加权平均计算得出的。
算法简单，主要集中在如何x,y方向插值公式的计算，还有特殊位置相邻点的选择（向右下方扩展，最后两行的边界，四点的值设为一样）。
x方向δR2 = Color Q22?Color Q12??col+ Color Q12?256 (1)δR1 = Color Q21?Color Q11??col+ Color Q11 ?256 (2)其中：?col= (DestColNumber ?((SrcWidth ?8)/DestWidth))&255Color(X)表示点X 的颜色，具体算法使用的是24 位真彩色格式。
单图像超分辨率方法综述
随着科技的不断进步，图像处理技术也在不断发展。
在图像处理领域中，单图像超分辨率技术是一个非常重要的研究方向，它旨在从单个低分辨率图像中重建高分辨率图像。
在许多实际应用中，需要对低分辨率图像进行增强、重建，这时候就需要用到超分辨率技术。
单图像超分辨率技术主要有两种方法，一种是基于插值的方法，另一种是基于重建的方法。
基于插值的方法简单直接，但是难以处理复杂的图案和纹理。
基于重建的方法需要更多的计算，但是可以通过将低分辨率图像转换成高分辨率图像来提高图像质量。
本文主要综述单图像超分辨率方法的研究进展和发展趋势。
一、基于插值的方法基于插值的方法是一种简单粗暴的方法，对于低分辨率图像可以通过插值算法实现一定程度的提升。
根据插值算法的不同，可以将基于插值的方法进一步分为最近邻插值、双线性插值、三次卷积插值等方法。
最近邻插值是最简单的插值方法之一，这种方法操作简单，可以很快地计算出图像的高分辨率版本。
计算方法是用从原图截取下来的一个像素点的值替换目标图像中对应位置的像素点。
虽然这种方法速度快，但是在重建灰度级时会产生锯齿状的图像，效果不佳。
双线性插值是常用的一个插值方法，它基于周围四个像素点的值来计算新像素点的值，然后将所有新像素点插入到目标图像的位置中，得到高分辨率的图像。
在重建灰度级时效果较好，但是对于复杂图案和纹理效果不佳。
三次卷积插值方法是在双线性插值方法的基础上，通过对像素点进行加权平均来减少图像锯齿，可以得到更加平滑的图像。
该方法能够更好地重建图像的灰度级和纹理，但是计算代价较高，难以实现实时处理。
基于插值的方法相对简单，能够快速地实现图像的重建和提升，但是对于复杂图案和纹理的处理效果不佳，无法满足实际应用中的需求。
二、基于重建的方法基于重建的方法是一种能够提供更好的图像重建效果的方法，但是需要更多计算资源和算法实现。
基于重建的方法通常将低分辨率图像转换为高分辨率图像，具体实现有如下几种方法。
1. 线性插值方法线性插值方法是一种简单的重建方法，它通过线性插值来实现图像的重建。
(图像增强技术)第四章超分辨率技术综述
超分辨率重建模型
01
02
03
重建目标
从低分辨率图像中恢复出 高分辨率图像，提高图像 的清晰度和细节表现力。
重建模型
描述超分辨率重建过程的 数学模型，通常包括图像 先验知识、正则化项和优 化算法等。
重建模型的作用
为超分辨率重建提供算法 框架和实现方法，有助于 实现高效、稳定和准确的 超分辨率重建。
重建算法分类与比较
主观评价
通过观察超分辨率重建后的图像质量，如边缘清晰度、纹理细节丰富度、色彩鲜 艳度等方面进行评估。这种方法依赖于观察者的主观感受和经验，具有一定的主 观性和不确定性。
客观评价
采用峰值信噪比（PSNR）、结构相似性（SSIM）等客观指标对超分辨率重建后的 图像质量进行定量评估。这些指标可以衡量重建图像与原始高分辨率图像在像素级 别上的相似度，以及结构信息的保持程度，具有客观性和可重复性。
重建算法性能评估
峰值信噪比（PSNR）
一种客观评价指标，用于衡量重建图像与原始高分辨率图像之间的像素级差异。PSNR值越高，说明重建图像的质量 越好。
结构相似性（SSIM）
一种综合考虑亮度、对比度和结构信息的图像质量评价指标。SSIM值越接近1，说明重建图像与原始高分辨率图像在结构 上越相似。
主观评价
基于学习的方法
利用机器学习或深度学习技术，通过学习低分辨率到高分 辨率的映射关系，实现图像的超分辨率重建，如稀疏编码 、卷积神经网络等方法。
基于重建的方法
通过引入先验知识或正则化项，优化重建过程，如最大后 验概率法、迭代反投影法等，能够较好地保持边缘和纹理 信息。
最新研究进展
近年来，随着深度学习技术的快速发展，基于深度学习的 超分辨率方法取得了显著成果，如残差网络、生成对抗网 络等模型的应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
超分辨率复原技术的发展The Development of Super2Re solution Re storation from ImageSequence s1、引言在图像处理技术中,有一项重要的研究内容称为图像融合。
通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥补观测图像上的有限信息量是一个需要解决的问题。
图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅)携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。
（图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。
由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。
从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。
增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。
增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提高图象的空间分辨率。
对图象空间分辨率进行增强的技术也叫超分辨率(super2resolution) 技术,或亚像元分析技术。
本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。
）（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。
图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。
按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。
显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。
超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。
超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。
例如在遥感应用中,通过利用超分辨率复原技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测。
正因为如此,超分辨率图像复原在近年来已成为国际上图像复原领域最为活跃的研究课题,）（图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,图像提供的信息越丰富。
在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。
由于受成像系统物理条件和天气条件的影响,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。
这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。
由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1 ] ,因此对减小像素尺寸的方法技术和经济成本要求较高。
将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2 倍或2 3 倍[2 ] ,但在应用上通过探测元排列方式提高分辨率不容易实现。
相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。
）(在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。
造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能(如点扩散函数: PSF)引起的光学模糊以及采集对象的运动带来的运动模糊。
另外,在成像、传输、存储过程中,会引入不同类型的噪声(如高斯、椒盐噪声等) ,且其引入方式也不同(加性或乘性噪声) ,这都会直接影响到图像的分辨率。
此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。
图1所示为图像的降质过程。
提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器(如CCD)的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[ 1 ]。
提高图像分辨率的另一方法是提高芯片尺寸,但这将导致电容的增加和电荷转移速度的下降。
一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率SR( super2resolution)重建,它利用多帧图像序列进行处理,提取图像序列中附加的空域和时域信息,生成一幅高分辨率HR ( high2resolution)图像。
若利用一个滑动窗口对多帧低分辨率LR ( low2resolution)图像序列进行处理,则可以生成HR图像序列。
SR重建技术的优点是不涉及硬件,成本低,现有的图像系统还可以使用,是一种比较经济的方案。
由于SR重建技术可以克服图像系统内在分辨率的限制,改进图像处理中大多数图像的性能,因而这一技术在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用,具体有如下几个方面:)(图像超分辨率技术的应用很广泛。
就目前来看，图像超分辨率技术已经应用到遥感技术应用领域中的资源调查、土地划界、植被监测、农作物和灾害监测等环节，应用在社会公共安全领域中的银行、机场、交通路口等公共场合的安全监控和刑事犯罪侦破等环节以及医学领域中的检测识别和定位精度等等。
该项技术还可以很好应用于工业自动化控制领域，机器人视觉领域，天文观察、多光谱成像、超声成像等领域，具有很重要的理论研究意义和实用研究价值。
)1、超分辨率复原技术的含义许多成像系统,如红外成像仪和CCD 照相机等,在采集宽快速视场图像的过程中,受其固有的传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质(理论依据是奈奎斯特采样定理) 。
虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度,使获取的图像有可能避免变形效应的发生,但这要求光学元件与传感器阵列进行有效组合,这在实际应用场合中是很难做到的。
如果采用增加传感器阵列密度的办法来提高图像分辨率和消除变形效应,则费用可能很昂贵或者很难实现。
解决这一问题的一个有效办法就是超分辨率复原技术。
这种方法的目的就是由一些低分辨率变形图像(或视频序列) 来估计一幅较高分辨率的非变形图像,同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。
大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。
单帧图像复原技术经过几十年的研究,逐步形成了一套统一的理论框架。
虽然单帧图像复原技术的研究还远未成熟,但这类方法的固有局限性严重阻碍了图像复原效果的大幅度提高。
在传统的单帧图像复原问题中,因为只有一幅输入图像上的信息可以利用,图像复原和分辨率增强效果受到极大的限制,而在超分辨率复原方法中,可以利用图像序列中的附加空域时域信息,这样就能够重建超过任何一幅低分辨率图像带宽的超分辨率图像。
（超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图象序列) 换取空间分辨率,实现时间分辨率向空间分辨率的转换。
由于超分辨率重建利用多帧图象序列进行处理,能提取序列图象中的附加空域时域信息,使得重建视觉效果超过任何一帧低分辨率图象的超分辨率图象成为可能。
但超分辨率并不能创造奇迹,它也不是万能的,单帧或序列图象中子像素信息的提取是以其本身存在场景的额外信息为前题的,因此只有在多帧图象中存在非冗余信息的情况下,才能进行图象超分辨率重建。
）3 超分辨率复原技术的类型超分辨率复原技术主要分成两类方法:频域方法和空域方法。
频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[1 ] 。
频域方法有以下优点:理论简单;运算复杂度低;很容易实现并行处理;具有直观的去变形超分辨率机制。
但这类方法还存在以下缺点:只能局限于全局平移运动和线性空间不变降质模型;包含空域先验知识的能力有限。
所以目前这类方法不再成为研究的主流。
（3. 1 频率域方法频率域方法是图象超分辨率重建中的一类主要方法,目前采用的主要是消混叠重建方法(Re2construction via Alias Removal) 。
消混叠重建方法是通过解混叠而改善影像的空间分辨率,进行超分辨率重建,最早的研究工作是由Tsai 和Huang 在1984 年进行的。
在原始场景信号带宽有限的假设条件下,利用离散Fourier 变换和连续Fourier 变换之间的平移、混叠性质,给出了一个由一系列欠采样观测影像数据重建HR 影像的公式,使得多帧观察图象经混频的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来,方程组的解就是原始场景的频率域系数,再利用求解的频率域系数进行傅立叶逆变换就可实现原始场景的精确重建,该方法要求图象间位移参数的估计达到子像素精度,而且每一帧观察图象都必须只对方程组中的一个不相关的方程作出贡献。
Tsai&Huang 的方法具有计算简单的优点,但不足之处在于模型没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。
由于模型建立在整体平移的基础上,缺少灵活性,从而限制了在大多数实际情况下频率域方法的适用性。
Tekalp ,Ozkan 和Sezan 针对Tsai&Huang 方法的限制, 于1992 年提出一种改进的方法, 对Tsai&Huang 的方法进行了扩展,该方法的模型中包括了线性平移不变的点扩散函数LSI PSF (LinearShift Invariant) 和观测噪声。
Tekalp 在《数字视频处理》中用整整一个章节介绍了超分辨率技术,对频率域方法进行了说明,并对能包含场景移动、光学和系统点扩散函数影响的各种观察模型进行了讨论,Tsai&Huang 方法及Tekalp 等人对Tsai&Huang 方法的扩展都在该书中得到了体现,但从试验结果来看并没有取得有意义的新成果。
Kaltenbacher 和Hardie 于1996 年在Tsai&Huang 算法的基础上提出了另一种估计帧间整体平移参数的解算方法,该方法最主要的贡献在于计算整体平移时与Tsai&Huang 方法相比有重大的进步,对提高计算效率方面有很大的帮助。