图像超分辨率重建处理算法研究概要
第4l卷第ll期 2011年11月
激光与红外
LASER &INFRARED
V01.41,No.11 November,2011
文章编号:1001-5078(201111-1278-04
图像超分辨率重建处理算法研究
?图像与信号处理?
万雪芬1,杨义2,崔剑3
(1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191
摘要:超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投
影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。
关键词:图像处理;超分辨率;低分辨率重建
中图分类号:TP751文献标识码:A DOI:10.3969/j.issn.1001-5078.2011.11.023
Research on super-resolution image reconstruction
WAN Xue—fenl,YANG Yi2,CUI Jian3
(I.Nordl China Institute of Science and Technology,Sanhe 065201,China;2.Donghua University,Shanghai 201620,China; 3.Beihang University,Beijing 100191,China
Abstract:Super-resolution image reconstruction is a technique to reconstruct high resolution image or video from a 8e-
quence of low resolution images.It has been widely used in digital TV,medicinal processing,military and remote剐m8一
ing.The super resolution method is summarized in this paper.Some super resolution image reconstructions ale dis—
cussed for super-resolution image reconstruction.The tendency and development prospect a弛also discussed.
Key words:image processing;super resolution;low resolution image reconstruction
l 引言
近年来,数字图像采集技术已被广泛应用于工控、安监、军事与消费等领域。但由于价格成本因素限制,很多情况下通过低端图像采集设备获得的图片质量与分辨率较低,往往不能满足实际的要求。利用一系列相似的低分辨的图像,经过超分辨率技术的处理,可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。采用超分辨率技术可以在不更换原有设备的前提下,提高图像的分辨率、改善图像的质量。
超分辨率技术用途较为广泛。在数字电视领域,可以利用超分辨率重建技术将数字电视信号转化为与高清晰度电视接收机相匹配的信号,提高观众的体验。在医疗领域,提高医学图像的分辨率,可以帮助医生做出正确的诊断。在军事、气象领域,通过侦查卫星与气象卫星获得图片的分辨率通常难以达到人们期望的分辨率级别,使用超分辨率技术,通过对观测结果做后期处理,可以更好地识别目标,更好地服务于军事安全和日常生活。
2超分辨率算法模型
超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列换取空间分辨率,实现时间分辨率向空间分辨率的转换。超分辨率重建通过融合多帧相似的低分辨图像提高分辨率。多帧的低分辨率图像是对同一场景偏移一定角度或位置
基金项目:上海市科委重点实验室项目(No.08DZ2231100 资助。
作者简介:万雪芬(1979一,女,教师、硕士,主要研究方向为图像处理,虚拟现实技术。E—mail:calmer@https://www.360docs.net/doc/ab18770880.html,
收稿Et期:201l-05-28
万方数据
激光与红外No.11201I 万雪芬等图像超分辨率重建处理算法研究 1279
采样的结果。对超分辨率的理解,首先从图像的成像模型去考察。假设原始图像为,,可以看作高于奈奎斯特频率采样的结果,得到的低分辨率图像Y。可以用公式(1表示,其中仇是降采样因子,风是模糊因子,F是变形因子,因此低分辨图像是高分辨率经过降采样,模糊,变形后加上噪声的影响的结果。公式中前一项的参数部分可以用一个矩阵Ⅳ表示,因此公式(1可以写成公式(2。这样超分辨率重建可以总结为图像复原模型,因此超分辨率重建本质上是图像复原问题。
Yk=D^HkF^×,+畋,虬一N{0,口: (1 扎=舷+心(1≤%≤p (2 要求解公式(2,需要确定日,这涉及以下几个问题:①运动估计,需要估计多帧低分辨率图像的相对位移。得到精确的运动矢量;②图像模糊的估计, 通常情况下需要假设点扩散函数的模型;③噪声估计,通常认为噪声符合高斯噪声模型,噪声估计会影响系统的求解,噪声的估计同样是图像超分辨率重建很重要的一步。图像超分辨率算法原理如图2所示。
誓墨口墨
●■一—J_●
图1图像超分辨事算法原理
3常用超分辨率重建算法
超分辨率算法最早是由Tsai与Huang…在 1984年提出的,目前超分辨率实现技术的方法有多种,这里我们阐述几个目前晟常使用的方法。
3.1频域方法
频域方法…是基于以下假设:第一,用于重建的LR图像之间的位移是平移关系;第二,图像在频域的信号带限;第三,不考虑成像系统的点扩散函数,运动模糊和噪声。假设f(i,,为连续的HR图像,Y。(i√是采样得到的低分辨图像,5:。和乱是在 *和Y方向的平移,在周期z和Y方向上被周期分别为r。和咒均匀采样成离散信号,则,(f,』和 Y。(iJ的关系为:
Yt(f√=,(iL+如.j疋+k (3 根据傅里叶变换的移位性质得到扎(u,v=一霄(“+
枷’F(Ⅱ,p和带限信号的假设,以及关系 m=21r/Tj,toy=2xt/疋,L,和￡,分别是水平和垂直方向的放大因子,在频域HR图像和LR图像的关系可以表示为:
h=一l“ffi—l
yI(m,n=l/LB.∑..∑.F’ (4 F’卸[I"2qrm._+ira,,嚣“峰 (5 最终HR图像可以用傅里叶逆变换求出。频域方法理论简单直观,仅仅是一些傅里叶变换的操作, 计算较为方便。但是该方法仅限于空间移位不变的模型,因此应用范围受到了很大的限制。
3.2非均匀插值方法
非均匀插值方法是目前超分辨率研究中最直观的方法”“1。通过对多帧图像进行比较估计,得到它们之间的相对关系信息,以此获得高分辨率图像在非均匀间距采样点上的像素值。然后通过直接或者迭代的方式非均匀插值的方法。就可以得到一幅高分辨率的图像。得到的图像会存在噪音、模糊等问题还需要进行去模糊等
处理,因此可以通过图像恢复技术进行一定的修复,这一步通常采用维纳滤波等卷积的方法使图像清晰。非均匀插值方法包括三个步骤:运动估计、非均匀插值和去模糊。非均匀插值方法的优点是计算复杂度低,易于实现。缺点是由于恢复时忽略了插值过程引入的误差.无法保证整个复原算法的最优。
3.3迭代反投影算法
迭代反投影算法(iterative back p叫ectim,IBP 是由Irani和Peleg提出的”j。该算法首先求出一个超分辨率重建的初始解z”’,这个初始解通常由参考帧的插值得到。得到超分辨率的初始解后接下来模拟图像的降至过程,产生模拟的降至图像
Y“’,将模拟的降质图像和真实的低分辨图像相减的差值反向投影到估计的高分辨率图像。模拟的降质过程如公式(6所示,反向投影过程采用公式(7,H为点扩散函数,日”为反向投影算子,r/为噪声。
Y‘”=Hx‘o’+n (6 x‘“+”2z‘“’+H。9(y—y(8’ (7 在上述设定的基础上同时定义误差阈值,如公式(8所示,当误差小于一个指定阈值时停止迭代输出结果,其中P是LR
图像的帧数。
万方数据
激光与红外第41卷
e“’-^/÷。莹o Y。一以曲o 22(8 Y r…
迭代反向投影算法思路比较简单,这种方法很好地解决了模糊和噪声问题,但是算法的解不唯一。 Irani等证明了该算法是收敛的,但是收敛慢。另外反向投影矩阵酽’较难选择,不能加入一些先验信息。
3.4凸集投影算法
凸集投影算法(POCS算法是一种基于集合的理论哺.8】,该算法利用空域中的模型,把需要复原的图像的各种先验信息,如正定、能量有界、光滑等,定义为约束凸集,每一约束条件对应于一个含有理想超分辨率图像的凸集。超分辨率重建图像
的解作为 .一个点被包含在这些凸集合的交集内。每一个集合用C。表示,它们的交集用c0表示,则重建的高分辨率图像Y应满足公式:
yE互Ci 2Co (9 POCS算法是一种迭代过程,相应约束集合的投影算子将解空间中的一个点投影到距离凸集表面最近的点上,反复执行迭代运算,就可以得到一个收敛于凸约束集合的交集的解。假设给出高分辨率图像的初始值五,为每一个约束集定义一个凸集投影算子P置,则凸集投影法超分辨率重建的解如式(10 所示:
髫。=PN…P2P2Pl戈o (10 其中,Ⅳ是约束集合个数。上述凸集可定义为: G(髫lYl=t厂(菇l,Y1:|rI(菇,yl≤瓯Tk(,,,= |lv—lⅣ一l
Yk x,,,一∑.∑.f 7(菇l,Y1?^I(茗,y;xl,Y1(11 其中,k=l,2,…,P,P表示LR图像的帧数,瓯= ctr≥O反映了理想估计的HR图,’(戈,Y位于凸集 C。(茗。,Y。内的统计置信度,例如当c=3时,置信度为99%。对于任何一点以髫,Y在凸集C。(茗。,Y。的投影满足公式(12:
Y‘“+1’【舅I,Yl】=y‘”’【菇l,Yl】+
r∽【菇,,,】一艿‘【省,,】?^IIx,Y,菇1,Yl】
Eh:[x,Y,茗l,Yl】’
r∽【戈,,,】>艿‘【并,,】
r∽【茗,,】I<8k[髫,,】(12 r∽【髫,,,】+6k【茗,,,】?^IIx,Y,菇1,Y1】
∑^:【戈,y,zl,YI】’
r∽【菇,yl<一艿I【菇,,,】式中,h“茗,,,,菇。,Y,]代表图像在点(茗,Y处降质的
点扩散函数。凸集投影法的算法简单,能够充分利用先验知识,缺点在于解不唯一,收敛过程依赖初值的选择,解不稳定。同时,凸集投影方法的降噪能力差。
3.5最大后验概率方法
最大后验概率方法(MAP则基于贝叶斯理论, 将超分辨率重建问题看成是统计估计问题[9一引。根据贝叶斯理论,多帧LR图像儿的HR图像.厂的最大后验概率的解丘。为:
k=一P{警㈤,
式中,P{y。I n是似然函数,舍弃常数项,并取对数可以得到公式(14:
L=argmaxP{log【P{yt I力】+log【P价” (14 最大后验概率算法对噪声和模型都具有较好的鲁棒性,并且能够很好地加入先验信息,如果有合理的先验假设可以获得非常好的图像边缘效果,但是该算法的缺点是运算量较大。
3.6基于学习的方法
近年来基于学习的超分辨率图像处理技术成为该领域的研究热点之一。该方法利用人工智能技术和给定的训练图像集,获得计算测试样本与训练图像集之间的领域关系,以及最优权值约束。通过该方法可以在先验知识的基础上获得对高分辨率测试样本的逼近结果。该方法在低分辨率图像中包含的信息较难满足高分辨率图像恢复要求时,可以获得较多的图像高层信息。该方法的核心是获得确定高分辨率图片与低分辨率图片之间关系的架构模型。这一模型可以用插值核、查找表和映射系数等表示。该领域中较为成熟的模型有基于样例(Example. based的方
法¨1|、邻域嵌入(Neighbor Embedding 方法¨21、稀疏表示(Sparse Presentation方法[131及向量回归方法(SVR¨41等。基于样例的方法需要先进行图像分块,将样例图像划分为子域,从而通过处理获得转移矩阵。该方法对高频信息处理较好, 但是存在着对训练样本要求高及噪声敏感度强等缺点。邻域嵌入方法假定高分辨率和对应的低分辨率图像块在特征空间可以形成具有相同局部几何结构的流形。利用二者对应的领域表示。之后结合加权系数,获得对应关系。该方法噪声特性较好,且需要较少的训练样本。但是其领域前提的限定制约了其适用范围。稀疏矩阵方法克服了领域嵌入方法中领
万方数据
激光与红外No.112011万雪芬等图像超分辨率重建处理算法研究 1281
域大小选择的问题。该方法先期随即提取高分辨率图片的部分信息生成一个过完备词典、之后获得稀疏矩阵表示。该方法的缺陷在于由于其过完备超分辨率恢复词典的限制,仅能适用于部分有针对性的领域。而支持向量回归的方法通过加入额外的约束条件形成二次规划求解格局。其实现了对样本的的自动选择,训练集较小。但是通过该方法恢复的图像对比度有所不足。
4未来的发展趋势
人们在最近20年中对超分辨图像重建技术进行了大量的研究,超分辨率技术也得到了迅速的发展。但该领域仍存在着许多需要解决的问题,如降质模型、运动估计、重建算法等。在上述方法的基础上,于超分辨重建过程中加入正则项约束,以得到更好的边缘效果。为了克服解不唯一和模糊等问题, 将上述方法结合起来的混合方法是考虑的方向,如混合的最大后验概率和凸集投影算法。又如随着放大倍数的提高,单纯依靠LR图像提供的信息不足, 改善基于学习的方法,通过建立更有效的相似图像训练集,以获得更多的先验信息及关系模型。
在未来的研究中,将通过跨领域的技术融合及导入更优的人工智能方法,对噪声处理、先验知识、自学习训练样本选取、运算速度及算法质量评估标准等超分辨率算法领域的核心问题进行更深入地研究。
参考文献:
[1]Wan Xuefen,et a1.Super-resolution image reconstruction [C]//IEEE International Conference on Computer Appfi? cation and System Modeling,2010,8:V8351一V8355.
[2]S P Kim,N K Bose,H M Valenzuela.Recursive recon— struction of hi}gh resolution image from noisy undersam-pied muhiframes[J].IEEE Tram.Aconst.Speech,Signal Processing,1990,38(6:1013—1027.
[3]Michael E1ad,Arie Feuer.Super—resolution reconstruction of image sequences[J].IEEE Transactions on Pattern A— nalysis and Machine
InteHigence,1999,21(9:
8l‘7—834.
[4]M S Alam,et a1.Infrared image registration and hish—re8--ohtion reconstruction using multiple translational shifted aliased video frames[J].IEEE Tram.Instnan.Meas., 2000,49(10:915—923.
[5]M Irani,S Peleg.Improving resolution by image registra-tion[J].CVGIP:Graphical Models and Image Proc., 1991,53(5:231—239.
[6]H Stark,P Oskoui.High-resolution image recovery from image plane arrays using convex projections[J].J.Opt. Soc.Amer.A,1989,6:1715—1726.
[7]A M Tekalp,M K Ozkan,M I Sezan.Hish-resolution im-age reconstruction for lower—resolution image sequences and space—varying image restoration[C]//IEEE Interna-tional Conference on Acoustics,Speech,and Signal Pro-cessing,1992,3:169—172.
[8]A J Patti,M I Sezan,A M TekMp.Super resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time[J].IEEE Trans.on Image Processing, 1997,6(8:1064—1076.
[9]P Cheeseman,B Kanefsky,et a1.Super-resolved surface reconstruction from multiple images[J].NASA Technical Report,1994。12:FIA-94一12.
[10]R Schulz,R L Stevenson.Extraction of hish—resolution frarfles from video sequences[J].IEEE Tram.Image Pro-cessing,1996,5(6-996—1011.
[11]W Freeman,T Jones,Pasztor E C.Example based super-resolution[J].IEEE Computer Graphics and Applica-tions,2002,22(2:56—65.
[12]K Su,T Qi,X Qing,et a1.Neighbor hood Issue in single— frame image super?resolution[C].IEEE International Conference on Multimedia and Expo,Amsterdam,2005: 1122一1125.
[13]C Yang,J Wright J,Y MA,et a1.Image super—resolution as sparse representation of raw image patches[C].Pro-ceedings of IEEE Conf
CVPR.Anchorage,2008:128.
[14]K Ni,T Ngnyen.Image super-resolution using support vector regression[J].IEEE Transactions on Image Pro-cessing,2007,16(6:1596—1610.
万方数据
图像超分辨率重建处理算法研究
作者:万雪芬 , 杨义 , 崔剑 , WAN Xue-fen, YANG Yi, CUI Jian
作者单位:万雪芬,WAN Xue-fen(华北科技学院,河北三河,065201 , 杨义,YANG Yi(东华大学,上海,201620 , 崔剑,CUI Jian(北京航空航天大学,北京,100191 刊名:激光与红外
英文刊名:Laser & Infrared年,卷(期:
2011,41(11
1. K Su;T Qi;X Qing Neighbor hood Issue in singleframe image super-resolution 2005
2. W Freeman;T Jones;Pasztor E C Example based superresolution 2002(02
3. R Schulz;R L Stevenson Extraction of high-resolution frames from video sequences[外文期刊] 1996(06
4. Wan Xuefen Super-resolution image reconstruction 2010
5. P Cheeseman;B Kanefsky Super-resolved surface reconstruction from multiple images 1994
6. A J Patti;M I Sezan;A M Tekalp Super resolution video reconstruction with arbitrary sampling lattices andnonzero aperture time[外文期刊] 1997(08
7. A M Tekalp;M K Ozkan;M I Sezan High-resolution image reconstruction for lower-resolution image sequences andspace-varying image restoration 1992
8. H Stark;P Oskoui High-resolution image recovery from image plane arrays using convex projections 19899. M Irani;S Peleg Improving resolution by image registration 1991(05
10. M S Alam Infrared image registration and high-resolution reconstruction using multiple translational shiftedaliased video frames 2000(10
11. Michael Elad;Arie Feuer Super-resolution reconstruction of image sequences[外文期刊] 1999(09
12. S P Kim;N K Bose;H M Valenzuela Recursive reconstruction of high resolution image from noisy undersampledmultiframes [外文期刊] 1990(06
13. K Ni;T Nguyen Image super-resolution using support vector regression[外文期刊] 2007(06
14. C Yang;J Wright J;Y MA Image super-resolution as sparse representation of raw image patches 2008
本文链接:https://www.360docs.net/doc/ab18770880.html,/Periodical_jgyhw201111023.aspx
提高显微镜分辨率的方法简述
目录 1 选题背景 (1) 2 方案论证及过程论述 (1) 2.1 像差 (1) 2.1.1 球面像差 (1) 2.1.2 慧形像差 (2) 2.1.3 色像差 (2) 2.2 照明对显微镜分辨率的影响 (2) 2.2.1 非相干光照明 (2) 2.2.2 相干光照明 (2) 2.2.3 部分相干光照明 (3) 2.2.4 临界照明 (3) 2.3 衍射 (3) 2.3.1 对两个发光点的分辨率 (3) 2.3.2 对不发光物体的分辨率 (4) 2.4 光噪声 (6) 3 结果分析 (6) 4 结论 (7) 4.1 提高光学显微镜与电子显微镜分辨率的方法 (7) 4.1.1 提高光学显微镜分辨率的方法 (7) 4.1.2 如何提高电子显微镜分辨率 (7) 参考文献 (9)
1 选题背景 显微镜是实验室最重要的设备之一，对观察微小物体细节的显微镜来说，评价光学显微镜及电子显微镜的重要指标之一是分辨本领。显微镜的分辨能力是指其分辨近距离物体细微结构的能力，它主要是显微镜的性能决定。通常是以显微镜的分辨率级即显微镜能分辨开两个物点的最小距离d来表示，d值越小，则显微镜的分辨能力越强。 人眼本身就是一台显微镜，在标准照明条件下，人眼在明视距离(国际公认为25cm)上的分辨率约等于1/10mm。对于观察两条直线来说，由于直线能刺激一系列神经细胞，眼睛的分辨率还能提高一些，这就是显微镜的分划板使用双线对准的原理所在。人眼的分辨率只有1/10mm，那么比1/10mm小的物体或比1/10mm近的两个微小物体的距离，人眼就无法分辨了。这时人们开始研制出放大镜和显微镜，显微镜的分辨率计算公式为：d=0.61入/NA；式中：d为分辨率(μm)；入为光源波长(μm)；NA为物镜的数值口径(也称镜口率)。 造成显微镜光学像欠缺的因素主要在物镜组，有像差、衍射和光噪声等，它们是影响显微镜分辨率的主要因素，其次照明对显微镜的分辨率也有一定的影响。 对于显微镜的使用者来讲，应该对造成显微镜分辨率下降的因素有比较清楚的认识，并知道克服和减少这些因素的方法。本文从几何像差、色像差、衍射、干涉和照明几个方面分析了对显微镜分辨率的影响,指出了孔径数的增加，从衍射角度看对显微镜分辨率的提高有好处，但从几何像差的角度看则会降低显微镜的分辨率;并指出了照明对显微镜分辨率的影响是不可忽略的等。 2 方案论证及过程论述 2.1 像差 像差可分为单色像差和色像差两大类。单色像差有五种：（1）球面像差；（2）彗形像差；（3）像散；（4）像场弯曲；（5）畴变。其中（1）和（2）是由大孔径引起的，（3）、（4）、（5）是由大视场引起的。显微镜需要大孔径，但不需要大视场，所以显微镜的单色像差主要是（1）和（2）。 2.1.1 球面像差 单球面公式只有在满足近轴光线的条件下才能成立。当孔径较大时，有许多远轴光线也进入了透镜，近轴光线和远轴光线经透镜折射后不能在同一点上会聚。换句话说，主轴上一物点经透镜成像后，像不是一个点，而是一个圆斑，这样就产生了球面像差。消除的方法有二：一是在透镜前加一光阑，用以限制远轴光线的进入。这样做，会使显微镜的孔径数降低，从而降低了显微镜的分辨率。二是用复合透镜法，显微镜物镜就是采用这种方法制作的。
超分辨率图像重建方法综述_苏衡
第39卷第8期自动化学报Vol.39,No.8 2013年8月ACTA AUTOMATICA SINICA August,2013 超分辨率图像重建方法综述 苏衡1,2周杰1张志浩1 摘要由于广泛的实用价值与理论价值,超分辨率图像重建(Super-resolution image reconstruction,SRIR或SR)技术成为计算机视觉与图像处理领域的一个研究热点,引起了研究者的广泛关注.本文将超分辨率图像重建问题按照不同的输入输出情况进行系统分类,将超分辨率问题分为基于重建的超分辨率、视频超分辨率、单帧图像超分辨率三大类.对于其中每一大类问题,分别全面综述了该问题的发展历史、常用算法的分类及当前的最新研究成果等各种相关问题,并对不同算法的特点进行了比较分析.本文随后讨论了各不同类别超分辨率算法的互相融合和图像视频质量评价的方法,最后给出了对这一领域未来发展的思考与展望. 关键词超分辨率图像重建,计算机视觉,图像处理,方法综述 引用格式苏衡,周杰,张志浩.超分辨率图像重建方法综述.自动化学报,2013,39(8):1202?1213 DOI10.3724/SP.J.1004.2013.01202 Survey of Super-resolution Image Reconstruction Methods SU Heng1,2ZHOU Jie1ZHANG Zhi-Hao1 Abstract Because of its extensive practical and theoretical values,the super-resolution image reconstruction(SRIR or SR)technique has become a hot topic in the areas of computer vision and image processing,attracting many researchers attentions.This paper categorizes the SR problems according to their input and output conditions into three main cat-egories:reconstruction-based SR,video SR and single image SR.For each category,the development history,common algorithm classes and state-of-the-art research achievements are reviewed comprehensively.We also analyze the charac-teristics of di?erent algorithms.Afterwards,we discuss the combination of di?erent super-resolution categories and the evaluation of image and video qualities.Thoughts and foresights of this?eld are given at the end of this paper. Key words Super-resolution image reconstruction,computer vision,image processing,survey Citation Su Heng,Zhou Jie,Zhang Zhi-Hao.Survey of super-resolution image reconstruction methods.Acta Auto-matica Sinica,2013,39(8):1202?1213 超分辨率图像重建(Super resolution image re-construction,SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术.它在视频监控(Video surveillance)、图像打印(Image printing)、刑侦分析(Criminal investigation analysis)、医学图像处理(Medical image processing)、卫星成像(Satellite imaging)等领域有较广泛的应用. 收稿日期2011-08-31录用日期2013-01-29 Manuscript received August31,2011;accepted January29, 2013 国家自然科学基金重大国际(地区)合作研究项目(61020106004),国家自然科学基金(61005023,61021063),国家杰出青年科学基金项目(61225008),教育部博士点基金(20120002110033)资助 Supported by Key International(Regional)Joint Research Pro-gram of National Natural Science Foundation of China(6102010 6004),National Natural Science Foundation of China(61005023, 61021063),National Science Fund for Distinguished Young Scholars(61225008),and Ph.D.Programs Foundation of Min-istry of Education of China(20120002110033) 1.清华大学自动化系北京100084 2.北京葫芦软件技术开发有限公司北京100084 1.Department of Automation,Tsinghua University,Beijing 100084 2.Beijing Hulu Inc.,Beijing100084 超分辨率问题的解决涉及到许多图像处理(Im-age processing)、计算机视觉(Computer vision)、优化理论(Optimization problem)等领域中的基本问题[1],例如图像配准(Image registration)、图像分割(Image segmentation)、图像压缩(Image com-pression)、图像特征提取(Image feature extrac-tion)、图像质量评价(Image quality estimation)、机器学习(Machine learning)、最优化算法(Opti-mization algorithm)等,超分辨率是这些基本问题的一个具体应用领域,同时也对它们的研究进展起到了推动的作用.因此超分辨率问题本身的研究具有重要的理论意义.目前超分辨率问题已经成为相关研究领域的热点之一. 在上世纪80～90年代,就有人开始研究超分辨率图像重建的方法,1984年Tsai的论文[2]是最早提出这个问题的文献之一.在这之后有很多相关的研究对超分辨率的问题进行更加深入的讨论.有关超分辨率问题的研究成果,在计算机视觉、图像处理与信号处理领域的顶级会议和期刊都有大量收录. 1998年,Borman等[3]发表了一篇超分辨率图像重建的综述文章.2001年,Kluwer出版了一本详细介
图像超分辨率重建
收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘 要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １ 缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９
超分辨率算法综述
超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥 补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提 高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率 (super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如 光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极
能够充分提高照片像素的方法!
能够充分提高照片像素的方法！ 初玩摄影的朋友，是否为照片的像素不高而烦恼？下面分享能够提高照片素质12招，希望可以给大家带来帮助！ 1. 尽量使用三脚架 很多情况下，照片图像模糊、不清晰的原因，是拍摄者在按动快门时产生“手振”或相机反光板抬升产生“机振”所造成的。如果使用了三脚架，无论快门速度设定到如何的“慢”，甚至长时间的曝光，即可防止图像由于“抖动”而产生的图像模糊。但要注意，使用三脚架时，要尽可能地使用快门线，忽视这一点，仍有可能在手指接触快门时产生的震动而影响清晰度。 2. 尽可能地使用高速快门 在手持照相机拍照的情况下，尽可能采用高速快门来拍摄。没有经验的拍摄者，快门速度设定在1/30s以下时，照片拍虚的概率较大。即使专业摄影工作者，也不能保证在低速快门拍摄时有百分之百的把握。提高快门速度，会相应提高照片清晰度的概率。当然，在手持照相机提高快门速度的情况下，势必开大光圈，因而会失去“大景深”，但为保证照片的清晰度，放弃景深是不得已的办法。 3. 尽可能使用“最佳光圈” 任何镜头都存在不同程度的成像误差，这些成像误差将使镜头的成像质量受到不同程度的影响。由于镜头球面的曲率不同，光线经过透镜中心和边缘时因折射率不同而不能聚焦于同一焦点，从而导致清晰度下降。如使用镜头的最大光圈拍摄，将导致该镜头像差缺陷的最大暴露，导致图像清晰度下降，而使用镜头的最小光圈拍摄，会产生光的衍射，也会导致图像清晰度下降。为改善像差而引起的清晰度下降问题，通常采用缩小光圈的办法来提高成像的质量。一般来说镜头的最佳光圈为该镜头最大光圈缩小2~3档左右，拍摄者可对某个镜头的最佳光圈进行比较。 4. 尽可能采用手动对焦 目前大多数相机具有自动对焦功能。然而，在景深特别小的情况下，自动对焦往往会聚焦不准确，特别是在向主体近距离对焦，使用长焦距镜头，采用大光圈拍摄人像特写的情况下，要特别小心。如果此时采用自动对焦，“靶子”非要对在人物的眼睛上，如果没有十分的把握，宁可放弃自动对焦，而采用手动对焦。人们不希望照片上人物的耳朵或鼻子是清晰的，而传神的眼睛是模糊的。 5. 尽量使用遮光罩 遮光罩的使用，很多人并不在意。在用正面光、前侧光或侧光时，遮光罩的作用并不明显。但是在逆光或侧逆光拍摄时，必须使用遮光罩，有时即便使用了遮光罩，阳光仍会直射到镜头上，造成画面“冲光”，产生雾翳，影响被摄体的色彩饱和度和清晰度。这时，应调整镜头角度，避开直射到镜头上的光线。此外，遮光罩还有助于防止镜头镜面损伤，同时避免手指接触到镜面。 6. 合理利用景深 景深的大小是根据拍摄者拍摄的目的来决定。如果是拍摄风光摄影，景深就要求大，目的是为让照片上景物的清晰范围从近至远都表现得很清楚。如果是拍摄特写，景深就要求小，目的是让照片上主体的背景（也可能是前景）虚化（模糊），突出被摄主体。用小景深来表现风光题材，或用大景深去表现被摄体特写，从摄影表现手法上来说适得其反。如何合理运用景深呢？请记住：采用小光圈、短焦距镜头、远距离对焦拍摄三种方法，景深就大。采用大光圈、长焦距镜头、近距离对焦拍摄三种方法，景深就小。采用其中一种或两种拍摄方法也行，但效果没有三种方法合起来使用作用更明显。 7. 尽可能选用低值感光度 要获得影像的高清晰度，让照片看起来具有丰富的质感，除选择使用高像素的数码照相
超分辨率算法综述
图像超分辨率算法综述 摘要：介绍了图像超分辨率算法的概念和来源，通过回顾插值、重建和学习这3个层面的超分辨率算法，对图像超分辨率的方法进行了分类对比，着重讨论了各算法在还原质量、通用能力等方面所存在的问题，并对未来超分辨率技术的发展作了一些展望。 关键词：图像超分辨率；插值；重建；学习； Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study;
1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution， HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。 图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形
课程设计参考报告——提高光学光刻分辨率的方法研究
微电子工艺课程设计 提供光学光刻分辨率的方法研究
目录 摘要 (5) 关键词 (5) 引言 (5) 正文 (5) 一、提高分辨率的方法 (5) 1. 影响图形光刻分辨率的主要因素 (5) 1.1掩膜（Mask） (6) 1.2照明系统（Illumination system） (6) 1.3投影（Projection） (7) 1.4发射和过滤特性 (7) 1.5成像(Image) (8) 1.6曝光（Expose） (9) 1.7烘烤（Bake） (10) 1.8显影（Develop） (10) 1.9一些效应的影响 (12) 2. 提高分辨率的措施 (14) 2.1掩膜 (14) 2.2照明系统 (15) 2.3投影（Projection） (16) 2.4发射和过滤特性 (17) 2.5成像（Image） (18) 2.6曝光（Expose） (18) 2.7烘烤（Bake） (19) 2.8显影（Develop） (20) 2.9一些常见且有效的技术 (22) 2.10采用先进的光刻技术 (28) 二、一个优化的工艺组合方案的各参数的确定 (31) 1 掩膜版和照明窗口的设计 (31) 仿真1 (33) 仿真2 (35) 仿真3 (36) 仿真4 (37) 仿真5 (39) 仿真6 (40) 结论 (41)
2 数值孔径 (42) 3光照波长 (42) 仿真1： (42) 仿真2： (43) 仿真3： (44) 仿真4： (45) 结论 (46) 4 照明系统与光轴的角度和离轴照明技术的结合使用 (46) 仿真1： (47) 仿真2： (47) 仿真3： (48) 仿真4： (49) 仿真5： (49) 结论： (50) 5 光刻胶的厚度、光照强度和曝光剂量 (50) 仿真1 (50) 仿真2 (51) 仿真3 (52) 仿真4 (52) 仿真5 (53) 仿真6 (54) 仿真7 (54) 仿真8 (55) 仿真9 (56) 仿真10 (56) 结论 (57) 6 耀斑数 (57) 仿真1 (58) 仿真2 (58) 仿真3 (59) 结论 (60) 7 损伤因子 (60) 仿真1 (60) 仿真2 (61) 仿真3 (63) 结论 (64) 8反射的次数和POWER MIN (64) 仿真1 (64)
图像超分辨率重建处理算法研究概要
第4l卷第ll期 2011年11月 激光与红外 LASER &INFRARED V01.41,No.11 November,2011 文章编号:1001-5078(201111-1278-04 图像超分辨率重建处理算法研究 ?图像与信号处理? 万雪芬1,杨义2,崔剑3 (1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191 摘要:超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投 影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。 关键词:图像处理;超分辨率;低分辨率重建 中图分类号:TP751文献标识码:A DOI:10.3969/j.issn.1001-5078.2011.11.023 Research on super-resolution image reconstruction WAN Xue—fenl,YANG Yi2,CUI Jian3
(I.Nordl China Institute of Science and Technology,Sanhe 065201,China;2.Donghua University,Shanghai 201620,China; 3.Beihang University,Beijing 100191,China Abstract:Super-resolution image reconstruction is a technique to reconstruct high resolution image or video from a 8e- quence of low resolution images.It has been widely used in digital TV,medicinal processing,military and remote剐m8一 ing.The super resolution method is summarized in this paper.Some super resolution image reconstructions ale dis— cussed for super-resolution image reconstruction.The tendency and development prospect a弛also discussed. Key words:image processing;super resolution;low resolution image reconstruction l 引言 近年来,数字图像采集技术已被广泛应用于工控、安监、军事与消费等领域。但由于价格成本因素限制,很多情况下通过低端图像采集设备获得的图片质量与分辨率较低,往往不能满足实际的要求。利用一系列相似的低分辨的图像,经过超分辨率技术的处理,可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。采用超分辨率技术可以在不更换原有设备的前提下,提高图像的分辨率、改善图像的质量。 超分辨率技术用途较为广泛。在数字电视领域,可以利用超分辨率重建技术将数字电视信号转化为与高清晰度电视接收机相匹配的信号,提高观众的体验。在医疗领域,提高医学图像的分辨率,可以帮助医生做出正确的诊断。在军事、气象领域,通过侦查卫星与气象卫星获得图片的分辨率通常难以达到人们期望的分辨率级别,使用超分辨率技术,通过对观测结果做后期处理,可以更好地识别目标,更好地服务于军事安全和日常生活。
视频的超分辨率增强技术综述
收稿日期:2004202226;修返日期:2004206211 基金项目:国家专项工程项目(“613”项目);国家杰出青年科学基金资助项目(60225015);高等学校优秀青年教师教学科研奖励计划资助项目 视频的超分辨率增强技术综述 3 王 勇1,2,郑 辉1,胡德文2 (11西南电子电信技术研究所国家重点实验室,四川成都610041;21国防科学技术大学机电工程与自动化学 院,湖南长沙410073) 摘 要:视频超分辨率增强的目的在于从时间上弥补视频采样设备采样帧率的不足,描述高速运动变化对象的细节信息;在空间上复原视频图像截止频率之外的信息,以使图像获得更多的细节。这项技术广泛应用于视频通信、监控、遥感和高清晰度电视等多个领域。从视频超分辨率的含义、发展现状、主要技术方法和未来研究展望等方面,对视频超分辨率增强领域的研究进行了综述。关键词:视频;图像;超分辨率;时空 中图法分类号:TP391 文献标识码:A 文章编号:100123695(2005)0120004204 Survey on Video Super 2Resolution Enhancement W ANG Y ong 1,2,ZHE NG Hui 1,H U De 2wen 2 (11National K ey Laboratory ,Southwest Institute o f Electronic &Telecommunication Techniques ,Chengdu Sichuan 610041,China ;21College o f Mecha 2tronics &Automation ,National University o f De fense Technology ,Changsha Hunan 410073,China ) Abstract :Video super 2res olution enhancement technique has tw o main aims.T he first is rein forcing the sh ortage of video device frame rate ,describing the details of fast 2m oving object.An other is recovering the lost image space in formation.T he technique is widely ap 2plied to many fields ,such as video communication ,surveillance ,rem ote 2sensing and H DT V.T his paper gives an overview of super 2res o 2lution in term of main used techniques.W ith the present problems in this area ,the paper gives s ome w ork and open issues that can be researched m ore in the future.K ey w ords :Video ;Image ;Super 2Res olution ;S pace 2T ime 1 引言 视频的超分辨率增强是指融合来自相同动态场景的多个低分辨率视频序列的信息,去重构一个高时空分辨率的视频序列。可想而知,视频超分辨率包括时间超分辨率和空间超分辨率。视频中某些事件发生变化比较快,这样就需要用所谓高速(高帧率)的摄像机来采样,如果使用普通帧率的摄像机,那么在时间上就会有一些细节信息的丢失。视频的时间超分辨率就是要恢复这些丢失的时间上的细节信息,而视频空间超分辨率就是通常人们提到的图像超分辨率复原。 摄像机在时间和空间上的分辨率能力是有限的。空间分辨率取决于摄像机光学传感器的空间密度及其本身引入的模糊误差,这些因素限制了图像中被观察到的物体或特征的最小空间尺寸;时间分辨率取决于摄像机的帧率和曝光时间,这就限制了视频序列中能被观察到的动态事件的最大变化速度。比摄像机帧率发生更快的动态事件在记录下来的视频序列中是不可见或者不正确的,如在网球比赛的视频中是不可能观察到高速运动的网球的全部运动和状态的。有两类非常 典型的由高速运动引起的可视化效果:①运动模糊,它是摄像机的曝光时间引起的,如高速运动的网球所带有的尾迹;②运动混淆,它是由于帧率限制的时间采样引起的,如一个小球以正弦波形向前运动,摄像机的帧率如果与小球正弦运动周期可比或相等,记录下的视频上就将观察到小球以很长的周期正弦运动或直线运动,这类似于一维信号的欠采样。这两种视频效果都不能依靠视频的慢速播放而消除,甚至使用复杂的时间插值算法来增加帧率也收效甚微[1],这是因为包含在单个视频序列中的信息是不足以恢复高速动态事件中丢失的信息。多个视频序列提供了附加的动态时空场景采样,这样就可融合这些信息去弥补丢失的信息,产生一个高时空分辨率的视频序列。 2 相关工作 图像超分辨率的概念和方法最早由Harris 和G oodman [2,3] 于20世纪60年代提出;随后有许多人对其进行了研究,并相继提出了各种方法,如长椭球波函数法[4]、线性外推法[5]、叠加正弦模板法[6]。以上这些方法虽然能给出令人印象深刻的仿真结果,但在实际应用中并没有获得理想的结果。80年代末之后,人们在超分辨率图像复原方法研究上取得了突破性的进展。Hunt 等人不仅在理论上说明了超分辨率存在的可能性[7],而且提出和发展了许多有实用价值的方法,如能量连续降减法[8]、Bayesian 分析法[9～12]和凸集投影法[13]。超分辨率 ?4?计算机应用研究2005年
【CN110148085A】人脸图像超分辨率重建方法及计算机可读取的存储介质【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910323776.X (22)申请日 2019.04.22 (71)申请人 智慧眼科技股份有限公司 地址 100193 北京市海淀区昆明湖南路51 号中关村军民融合产业园C座207 (72)发明人 刘蒸蒸 刘伟华 (74)专利代理机构 长沙智嵘专利代理事务所 (普通合伙) 43211 代理人 刘宏 (51)Int.Cl. G06T 3/40(2006.01) (54)发明名称 人脸图像超分辨率重建方法及计算机可读 取的存储介质 (57)摘要 本发明公开了一种人脸图像超分辨率重建 方法。本发明的人脸图像超分辨率重建方法，独 创性地提取了两种人脸语义先验知识，将两种人 脸先验信息和人脸超分辨率重建网络的编码部 分拼接合并后作为人脸超分辨率重建网络的解 码部分的输入，确保了重构的人脸图像包含更多 的人脸先验信息，并且将人脸超分辨率重建网络 和多任务人脸语义先验知识提取网络共同作为 生成对抗网络的生成器，使得重建后的高分辨率 人脸图像更加真实逼真，执行速度也很快，对于 不同程度低分辨率的人脸图像都具有良好的鲁 棒性。本发明的人脸图像超分辨率重建方法，对 于由于采集设备和环境以及网络传输介质、图像 压缩等因素引起的低分辨率图像的超分辨率重 建具有良好的应用效果。权利要求书3页 说明书8页 附图5页CN 110148085 A 2019.08.20 C N 110148085 A
1.一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，其特征在于， 包括以下步骤： 步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps； 步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分； 步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入； 步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数； 步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数； 步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。 2.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于， 所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建： 步骤S11：采用3个Residual模块和2个Hour -Glass模块并结合skip connection机制构建多任务人脸语义先验知识提取网络； 步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型。 3.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于， 所述基于像素级别L2范数的损失函数为 其中，p truth 表示真实的人脸先验信息，p estimate 表示多任务人脸语义先验知识提取网络估计的人脸先验信息。 4.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于， 所述步骤S11具体包括以下步骤： 步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV -BN -ReLU ”卷积结构，“CONV -BN -ReLU ”卷积结构输出人脸图像； 步骤S112：将“CONV -BN -ReLU ”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像； 步骤S113：将Residual模块输出的人脸图像输入至2个Hour -Glass模块，Hour -Glass模块输出人脸图像； 步骤S114：采用两个单独的1*1卷积核对Hour -Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的特征图和表示face landmark 权 利 要 求 书1/3页2CN 110148085 A
图像超分辨率重建技术的研究背景意义及应用
图像超分辨率重建技术的研究背景意义及应用图像超分辨率重建技术的研究背景意义及应用 1 研究背景及研究意义 2 图像超分辨率重建的应用 1 研究背景及研究意义 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如:医学图像要求能够显示出那些人眼不能辨别出的细微病灶;卫星地面要求卫星图像至少能够辨别出人的脸相甚至是证件;有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。 1970年以来，CCD和CMOS图像传感器广泛的被用来获取数字图像，在很多的 应用场合，需要获取高分辨图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难，通常采用的方法是减少单位像素的尺寸(即增加单位面积内的像素数量)，对于数字摄机，比如CCD，就是减少其传感单元的尺寸从而提高传感器的阵列密度，使其能够分辨出更多场景细节。但是这样将导致数字摄像机的价格大幅度提高。技术工艺的制约也限制了图像分辨率的进一步提高。事实上随着像素尺寸的减少，每个像素接收到的光照强度也随之降低，传感器自身的噪声将严重影响图像的质量，造成拍摄的影像信噪比不高，因此，像素尺寸不可能无限制的降低，而是有下限的，当CCD传感器阵列密度增加到一定程度时，图像的分辨率不但不会提高反而会下降，