图像超分辨
基于稀疏表示的图像超分辨率重构算法
ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ｈ ｉ ｇ ｈ— － ａ ｎ ｄ ｈ ） ｗ —ｒ ｅ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ｉ ｍａ ｇ ｅ ｓ ｕ ｎ ｄ ｅ ｒ ｃ ｏ ｒ ｒ ｅ ｓ ｐ ｏ ｎ ｄ ｉ ｎ ｇ ｄ ｉ ｃ ｔ ｉ ｏ ｎ ａ ｒ ｉ ｅ ｓ ． Ｃ ｏ ｍｐ ａ ｒ ｅ ｄ ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｅ ｘ ｉ ｓ ｔ ｉ ｎ ｇ ｉ ｍａ ｇ ｅ ｓ ｕ ｐ ｅ ｒ—ｒ ｅ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ｒ ｅ ｔ ． ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｏ ｉ ｒ ｔ ｈ ｍｓ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｓ ｐ ａ ｒ ｓ ｅ ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ，ｔ ｈ ｅ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ｍｅ ｔ ｈ ｏ ｄ ｅ ｓ ｔ ａ ｂ ｌ ｉ ｓ ｈ ｅ ｓ ｄ ｕ ａ ｌ ｍｏ ｄ ｅ ｌ ｓ ｔ ｏ ｓ ｏ ｌ ｖ ｅ ｔ ｈ ｅ ｏ ｒ ｉ ｇ ｉ ｎ ａ ｌ ｏ ｐ ｔ ｉ ｍｉ ｚ ａ ｔ ｉ ｏ ｎ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｉ ｎ ｔ ｈ ｅ ｓ ｔ ａ ｇ ｅ ｏ ｆ ｓ ｐ ａ ｒ ｓ ｅ ｃ ｏ ｄ ｉ ｎ ｇ ｉ ｎ ｓ ｔ ｅ ａ ｄ ｏ ｆ ｃ ｏ ｍｂ ｉ ｎ ｉ ｎ ｇ ｓ ｐ ａ ｒ ｓ ｉ ｔ ｙ ａ ｎ ｔ ｉ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｅ ｒ ｒ ｏ ｒ ｂ ｙ Ｌ ａ ｇ ｒ ａ ｎ ｇ ｅ ｍｕ ｌ ｔ ｉ ｐ ｌ ｉ ｅ ｒ ｓ ． Ｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｄ ｅ ｍｏ ｎ ｓ ｔ ｒ ａ ｔ ｅ ｔ ｈ ａ ｔ ，ｃ ｏ ｍｐ ａ ｒ ｅ ｄ ｗ ｉ ｔ ｈ ｏ ｔ ｈ ｅ ｒ ａ ｐ ｐ ｒ ｏ ａ ｃ ｈ ｅ ｓ ，ａ ｌ ｅ ｓ ｓ ｎ ｕ ｍｂ ｅ ｒ ｏ ｆ ｐ ａ ｒ ａ ｍｅ ｔ ｅ ｒ ｓ ａ ｒ ｅ ｍａ ｎ ｕ ａ ｌ ｌ ｙ ｓ ｅ ｔ ｕ ｐ， ａ ｎ ｄ ｔ ｈ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｏ ｆ ｔ ｈ ｉ ｓ ｍｅ ｔ ｈ ｏ ｄ ａ ｒ ｅ ａ ｌ ｓ ｏ ｉ ｍｐ ｒ ｏ ｖ ｅ ｄ ．
在多尺度Contourlet域中的SAR图像正则化超分辨
Ｃ ｍ ｕｅ ｎ ｅｎ ｇ ａｄ Ａ ｐｉ ｔ ｎ 计算机工程与应用 ｏ ｐ ｔｒＥ ￣ｎ ｅ ｎ ｎ ｐ ｌ ａｉ ｓ ｃｏ
在 多尺度 Ｃ ｎｏ ｒ ｔ 中的 Ｓ ｏ ｔｕｌ 域 ｅ ＡＲ图像正则化超 分辨
王 强 ， 彭国华 ， 陈 晓
Ｋｅ ｒ ｓ ｓ ｐ ｒ ｒ ｓ ｌ ｔ ｎ ｒ ｃ ｎ ｔ ｃｉ ｎ Ｓ ｙ ｗｏ ｄ ： ｕ ｅ － ｅ ｏｕ ｉ ｅ ｏ ｓｒ ｔ ； ＡＲ ｍａ ｅ ｒ ｇ ｌｒｚ ｔ ｎ； ｏ ｔｕ ｌｔ ｔ ｎ ｆ ｒ ｔ ｎ ｏ ｕ ｏ ｉ ｇ ； ｅ ｕ ａ ｉａ ｉ Ｃ ｎ ｏ ｒ ｒ ｓｏ ｍａｉ ｏ ｅ ａ ｏ
ｐ ｓ ｄ ａ ｐ ｏ ｃ ｎ ｔ ｉ ｐ ｐ ｒｃ ｎ ｐ ｏ ｅ ｙ ｒｔ ｅ ｅ ｔｅ ｍａ ｎ ｉｆ ｒ ｔ ｎ ｏ ｒ ｉ ａ ｍａ ｅ ａ ｄ ｉ ｓ ｐ ｒｏ ｏ ｔ ｅ ｏ ｈ ｒ ｔ ｏ ｍｅ ｈ ｄ ． ｏ ｅ ｐ ｒ ａ ｈ ｉ ｈ ｓ ａ ｅ ａ ｒ ｐ ｄ ｅ ｒ ｖ ｈ ｉ ｎ ｏ ｍａ ｉ ｆｏ ｇ ｎ ｉ ｇ ｎ ｓ ｕ ｅ ｒｔ ｈ ｔ ｅ ｗ பைடு நூலகம் ｔ ｏ ｓ ｉ ｏ ｉ ｌ ｉ
ＷＡ Ｇ Ｑ ａ ｇ Ｐ Ｎ ｕ － ｕ ， Ｈ Ｎ Ｘ ａ Ｎ ｉｎ ，Ｅ Ｇ Ｇ ｏ ｈ ａ Ｃ Ｅ ｉｏ
西北工业 大学 理学院 ， 西安 ７ ０７ １０ ２
Ｓ ｈ ｏ ｆ Ｓ ｉｎ ｅ Ｎｏ ｔｗｅ ｔ ｒ ｏｙ ｅ ｈ ｉａ ｉ ｅ ｓ ｙ Ｘｉ ａ ０ ２， ｈ ｎ ｃ ｏ ｌ ｏ ｃｅ ｃ ， ｒ ｈ ｓｅｎ Ｐ ｌｔ ｅ ｎ ｃ Ｕｎ ｖ ｒｉ ， ’ ｎ ７ ０ ７ Ｃ ｉ ａ ｌ ｔ １ Ｅ— ｉ： ｈ ｎ ｉｏ ３ ８ ６ ．ｏ ｍａｌ ｅ ｅ ｘ ａ ０ １ ＠１ ３ｃ ｒ ｎ
sim超分辨成像原理
sim超分辨成像原理
SIM超分辨成像是一种先进的成像技术，其原理是通过使用特定的成像模式和算法，在传统的光学显微镜中突破了分辨率的限制，从而获得更高分辨率的图像。
下面我们将从几个方面详细介绍SIM超分辨成像的原理。
首先，我们需要了解的是，传统的光学显微镜受到光的波动性质的限制，其理论分辨率被限制在大约λ/2NA，其中λ是光的波长，NA是物镜的数值孔径。
然而，SIM超分辨成像技术通过使用特殊的光照明模式和图像处理算法，成功地突破了这一分辨率限制。
其次，SIM超分辨成像的关键在于使用所谓的结构照明。
这种照明模式可以生成多个不同相位和方向的照明图案，这些图案穿过样品后被传统的显微镜成像。
由于不同图案之间的差异，我们可以从多个角度获取样品的结构信息，从而获得更高的分辨率。
此外，SIM技术还利用了图像处理算法来进一步增强所获得的图像。
这些算法可以对从多个照明图案中获得的图像进行复杂的数学运算，从而提取出更多的结构信息。
通过这种方式，SIM技术可以显著提高光学显微镜的分辨率，使其远远超过传统的限制。
总之，SIM超分辨成像的原理是通过使用特殊的结构照明模式和先进的图像处理算法，在传统的光学显微镜中实现了分辨率的突破。
这种技术可以为我们提供更高分辨率的图像，从而帮助科学家更好地理解和解析微观世界。
基于稀疏表示的图像超分辨率算法
ｘ ｔ ＋ ｜ ＝ ｘ ｔ ＋ （ （ ｙ — Ｌ ｘ ｔ ） Ｔ Ｓ ） Ｐ （ １ — ８ ） 其中 Ｘ 表示 ｔ 次 迭代 后 的高 分辨 率 图像 结 果 ， ｖ表 示
解， 得 到高 分辨率 图像 。 训练 图像 集 中总 共采 集 的 图像 块 数 Ｐ ａ ｔ ｃ ｈ Ｎ ｕ ｍ＝ １ ０ ０ ０ ０ ０ 。 ２ 基于稀 疏表 示 的图像超 分 辨率算 法 ⑤ 实验图像块 间重叠像素数 ｏ ｖ ｅ ｒ ｌ ａ ｐ ＝ ５ 。 ⑥Ｋ — Ｓ Ｖ Ｄ算法迭 ２ ． １ 字典 库训练 ① 对高 分辨率 图像 进行 退化 操作 （ 包 代 次数 为 ４ ０次。 括 下 采样 等） 得 到低 分 辨率 图像 。② 对低 分辨 率 图像块 进 ３ ． ２ 实验 结 果 将 本 文 基 于 稀 疏 表 示 的超 分 辨 算 法 行 特征 提 取操 作 ，并用 Ｐ Ｃ Ａ 方法 对 图像块 集 合进行 降维 Ｓ Ｒ Ｂ Ｐ同插值 法（ Ｂ ｉ ｃ ｕ ｂ ｉ ｃ ） 在 峰值信 噪 比（ Ｐ Ｓ ＮＲ） 和结 构相
程
ｖ ： ｖ ， ＋ 【 ∑Ｒ Ｒ ｋ ］ 一 ， ∑Ｒ
ｋｅ ０ ｋ∈ ０
（ １ — ６ ）
图像 超 分辨 的流 程 图如 图 ３所 示。
图１ 低 分 辨率 图 像产 生过 程
可用公 式（ １ —１ ） 表示 上述过 程 ｙ ＝ Ｓ Ｈ ｘ ＋ ｎ ＝Ｌ Ｘ ＋ ｎ （ １ —１ ）
Ｘ
（ １ — ７ ）
如 果公 式（ １ —１ ） 中的噪声较 小 ， 可 以认 为 ， ｖ Ｌ ｘ（ １ — ２ ） 这里 将 Ｘ和 Ｙ用 稀疏表 示模 型来表 示 则有 ：
ｆ ｘ ＝Ｄｈ Ｉ （ １
－
其中 Ｙ 是前 面两 个步 骤 中得到 的高 分 辨 图像 ， Ｌ表 示
超分辨处理理论基础
2超分辨处理理论基础2.1超分辨率基础知识2.1.什么是分辨率分辨率是屏幕图像的精密度，是指显示器所能显示的像素的多少。
由于屏幕上的点、线和面都是由像素组成的，显示器可显示的像素越多，画面就越精细，同样的屏幕区域内能显示的信息也越多，所以分辨率是个非常重要的性能指标之一。
可以把整个图像想象成是一个大型的棋盘，而分辨率的表示方式就是所有经线和纬线交叉点的数目。
分辨率决定了位图图像细节的精细程度。
通常情况下，图像的分辨率越高，所包含的像素就越多，图像就越清晰，印刷的质量也就越好。
同时，它也会增加文件占用的存储空间。
用于量度位图图像内数据量多少的一个参数。
通常表示成ppi（每英寸像素）。
包含的数据越多，图形文件的长度就越大，也能表现更丰富的细节。
但更大的文件也需要耗用更多的计算机资源，更多的ram，更大的硬盘空间等等。
在另一方面，假如图像包含的数据不够充分（图形分辨率较低），就会显得相当粗糙，特别是把图像放大为一个较大尺寸观看的时候。
所以在图片创建期间，我们必须根据图像最终的用途决定正确的分辨率。
这里的技巧是要首先保证图像包含足够多的数据，能满足最终输出的需要。
同时也要适量，尽量少占用一些计算机的资源。
通常，“分辨率”被表示成每一个方向上的像素数量，比如640x480等。
而在某些情况下，它也可以同时表示成“每英寸像素”（ppi）以及图形的长度和宽度。
比如72ppi，和8x6英寸。
2.1.1什么是超分辨图像的超分辨率(super resolution , SR)是指由一幅低分辨率图像(low resolution , LR)或图像序列恢复出高分辨率图像(high resolution , HR )。
低分辨率的图像包含的细节信息较少，但我们可以得到一系列低分辨率的图像，这些图像包含的部分细节信息各有不同，能够相互补充。
通过这一系列低分辨的图像，经过一定的处理，可以得到一幅分辨率较高、包含信息较多的图像。
这个处理过程就是超分辨率重建。
用BP神经网络进行系统辨识的红外图像超分辨力复原方法
(2) (3)
G (u, v) = F (u, v) H (u, v) + N (u , v)
统的调制传递函数(MTF)。
式中大写字母表示的函数分别是(2)式中小写字母表示函数的傅立叶变换。H(u,v)称为退化系
2.1 热成像系统的点扩散函数
根据线性滤波理论， 对于由一系列具有一定频率特性的分系统所组成的热成像系统， 只 要逐个求出分系统的传递函数， 其乘积就是整个系统的传递函数。 热成像系统中影响系统传 递函数的两个主要因素是光学系统和探测器[5]。 由于红外光波波长比可见光波长大 20 多倍，导致了前视红外光学系统为衍射限的。具 有圆形出射光瞳的衍射限光学系统所对应的光学传递函数(OTF)为
用 BP 神经网络进行系统辨识的红外图像 超分辨力复原方法1
张楠，金伟其，苏秉华
北京理工大学光电工程系(100081)
Email: zhangnan@
摘
要：由于受到光学系统衍射限和像元尺寸的影响，红外热像仪获取图像的分辨力不高，
难以满足实际应用的更高要求。 超分辨力图像复原算法可以对退化图像进行处理， 使其复原 接近没有退化前的理想图像， 主要分为以下几个类型： Bayes 分析法、 基于集合理论的方法、 频率域的方法等。 以上这些方法均要求系统点扩散函数已知或可精确估计。 本文提出一种利 用 BP 神经网络对红外图像进行系统辨识的新方法。认为红外系统的调制传递函数近似为高 斯型。 通过数学分析证明了用神经网络对包含刀口靶的红外图像进行系统辨识的可行性。 利 用神经网络的辨识结果， 选取基于 Markov 约束的 Poisson-MAP 图像超分辨力复原算法(MPMAP) 对同一热像仪拍摄的红外图像进行复原。实验结果表明，复原图像中包含更多的高频成分， 可以实现超分辨力观测。 关键词：红外，系统辨识，超分辨力，神经网络，刀口，MPMAP
超分辨率重建图像质量评价报告
图像质量评价技术路线1 研究现有图像质量评价方法，利用Livedatabase对其进行分类实验，得出其适用图像降质类型和评价的精确程度。
2 提出几种新的针对压缩重建图像和超分辨重建图像的质量评价算法。
利用Livebase进行验证。
3 由于遥感影像相对于自然影像，有其特殊性，必须建立遥感影像主观评价库，将新算法应用于此图像库，验证其在评价遥感压缩影像上的有效性。
主观评价方法主观评价主要是由人在感性认识上从主观感觉和统计结果的角度对图像质量做出相应的判定，主要的方法是目视判读。
人类视觉系统被认为是最精密的光学成像系统，通过人眼接收物体的反射光在大脑中成像，然后由大脑根据储存的经验知识进行分析得到结论，这个过程所需时间很短。
因此主观评价方法具有直观、简单的优点。
图像质量评价离不开视觉评价，主观评价方法可以从配准、影像的整体亮度、色彩、反差、清晰度、影像内纹理、地物边缘、是否有蒙雾或马赛克等现象出现等方面做出判定，直观地得到图像在空间分解力、清晰度等方面的差异。
但是这种方法的主观性比较强，人的视觉对影像上的各种变化并不都很敏感，图像的视觉质量强烈地取决于观察者，具有主观性、不全面性。
客观评价方法目视判读的优点是操作简单、效率高，可以有效剔除一些质量差的影像，避免无谓的工作，但是这种判定会因为观察人员的素质、经验、水平的不同以及外部环境的影响而产生较大的差异，因此需要有易于掌控和科学支持的定量评价方法。
客观评价方法主要就是采用定量的评价指标对影像做定量分析，由此获取对图像质量好坏的判定。
按照对参考图像的需求，可将客观评价方法分为三类，分别为：无参考、部分参考和完全参考图像质量评价。
分类介绍如下：1 无参考图像质量评价方法单幅图像的信噪比SNR给定一幅图像，若需要估计它的信噪比，则可以在图像上找一个平坦区域，在平坦区域计算局部方差并平均作为噪声方差，在许多情况下图像中没有适合的平坦区域，则可以用如下算法来估计信噪比：计算图像的局部方差，图像边界附近的方差不考虑在内。
图像稀疏表示及图像超分辨应用分析
图像稀疏表示及图像超分辨应用分析韩小虎【摘要】随着科学技术的进步，图像稀疏表示以及图像超分辨在当下的图像处理中得到了较为广泛的应用，对于图像高效率表示来说，具有十分重要的影响。
图像稀疏表示技术以及图像超分辨应用对于促进图像应用发展起到了较为不错的效果，其在应用过程中，主要基于图像稀疏表示模型，对稀疏分解以及字典构造问题进行了表述。
文章对图像稀疏表示及图像超分辨过程中的稀疏表示及图像超分辨应用上的图像去噪、修复以及识别问题进行了总结和分析，希望能够为图像稀疏表示及图像超分辨应用提供一些参考和建议。
%With the progress of science and technology, the image sparse said, image super resolution has been extensively applied in the current image processing, for efifcient image representation that has very important inlfuence. Image sparse said technology and image superresolution application for promoting the image application development process, the effect is good, the in the application process, mainly based on image sparse representation model, the sparse decomposition and dictionary structure are described. The image sparse said and image superresolution application analysis process, mainly the sparse said and super-resolution image application in image denoising, repair and recognition Summarizing and analyzing the problems, I hope this study can provide some reference and suggestions for image sparse representation and image super-resolution.【期刊名称】《无线互联科技》【年(卷),期】2016(000)003【总页数】2页(P112-113)【关键词】图像稀疏表示;图像超分辨应用;图像处理【作者】韩小虎【作者单位】河南大学，河南开封 473004【正文语种】中文图像稀疏表示及图像超分辨应用是信息技术发展到一定阶段的产物，这2种技术手段在图像处理过程中发挥着重要作用。
深度学习超分辨率第一篇论文——SRCNN原理和实验细节
深度学习超分辨率第⼀篇论⽂——SRCNN原理和实验细节SRCNN（SRCNN 深度学习⽤于SR问题第⼀篇论⽂）1 简介超分辨率（super resolution）的任务⽬标是将输⼊的低分辨率的图像转换为⾼分辨率的图像，与图像去噪、图像去模糊等⼀脉相承。
超分辨率关注的是从⼩尺⼨到⼤尺⼨图像如何填充新的像素；图像去噪则是关注在图像尺⼨不变的情况下，将被“噪声污染”的像素替换为正确的像素。
SRCNN是⾸个使⽤CNN结构（即基于深度学习）的端到端的超分辨率算法，这个相当于什么呢？就像faster R-CNN在⽬标检测的地位⼀样，将整个算法流程⽤深度学习的⽅法实现了，并且效果⽐传统多模块集成的⽅法好。
SRCNN流程如下:⾸先，输⼊预处理。
对输⼊的低分辨率LR图像使⽤bicubic算法进⾏放⼤，放⼤为⽬标尺⼨。
那么接下来算法的⽬标就是将输⼊的⽐较模糊的LR图像，经过卷积⽹络的处理，得到超分辨率SR的图像，使它尽可能与原图的⾼分辨率HR图像相似。
2 ⽹络模型SRCNN的结构较简单,整个卷积⽹络包括三个卷积层，没有池化和全连接层。
如图所⽰1. 对低分辨率的图进⾏卷积操作，⽣成n1维的feature maps。
2. 对n1维的feature map进⾏卷积操作⽣成n2维 feature maps。
3. 对n2维的feature maps进⾏卷积⽣成超分辨的图像。
3 设计思路作者这个思路是从稀疏编码得来的，并把上述过程分别表述为：Patch extraction, Non-linear mapping, Reconstruction。
Patch extraction: 提取图像Patch，进⾏卷积提取特征，类似于稀疏编码中的将图像patch映射到低分辨率字典中。
Non-linear mapping: 将低分辨率的特征映射为⾼分辨率特征，类似于字典学习中的找到图像patch对应的⾼分辨字典Reconstruction：根据⾼分辨率特征进⾏图像重建。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
卫星遥感
(2) 局部块匹配和光流法 (3) 概率运动场
实际视频
基于非局部正则化和可靠运动估计的超分辨重建
序列超分辨的观测模型：
Wt yt Wt DHFt x nt t 1, 2, ,T
(1)
Wt yt Wt DFt z nt， z Hx
(2)
基于非局部正则化和可靠运动估计的超分辨重建
(c)真实光流场 (d) 传统光流结果 (e) 本文方法
光流法失效原因分析
问题1：混叠破坏了传统光强不变假设
解决：“coarse-to-fine”的迭代优化策略
光流法失效原因分析
问题2：光强不变假设成立，光流求解的稳定性
“光强不变”假设： I1( p) I2 ( p d )
(1)
光流方程：
答辩人：卢 健
超分辨的背景和意义
成本过高 物理极限
应用场景
1) 消费电子：数字高清电视（HDTV)。 2) 卫星遥感图像分析。 3) 安检监控。 4) 医学影像处理。
颈动脉MRI图像超分辨重建
国内外的研究进展
最早提出超分辨率重建概念的是 Harris和Goodman：
Harris J L. Diffraction and resolving power[J]. Journal of the Optical Society of America, 1964, 54(7): 931-933.
解决：可靠光流的自适应传播
扩散系数的自适应变换：
光流法失效原r）
空域约束 亮度域约束
Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C] ICCV, 1998: 839-846.
Lukosz 提出序列超分辨：
Lukosz W. Optical systems with resolving powers exceeding the classical limit[J]. JOSA, 1966, 56(11): 1463-1471.
通过提高成像 时间分辨率 来换 取成像 空间分辨率 的提高。
解答：基于学习的单幅超分辨方法
基于学习的单幅超分辨方法
样本多义性的问题
高分辨率图像与低分辨率图像间的多义性示意图
目前超分辨重建中需要解决的问题
可靠运动估计问题 重建方法鲁棒性问题 序列中信息有破缺的问题 单幅图像重建中的样本多义性问题
基于非局部正则化和可靠运动估计的超分辨重建
传统方法： (1) 全局运动假设
(b)总变分去噪图像 (c)非局部平均去噪图像
基于非局部正则化和可靠运动估计的超分辨重建
运动场先验条件：
Horn-Schunck 光 流约束：片段光滑
最大后验概率的问题的求解
将求解最大后验概率的问题转换为能量最小化的问题：
交替迭代求解：
运动场： 图像重建：
可靠运动估计（配准）
传统光流法无法直接应用于超分辨场合
逆问题的MAP建模：
{z*,{Ft}*,{Wt}*} arg max P(z,{Ft},{Wt} | { yt})
z,{Ft },{Wt }
根据贝叶斯公式，最大后验概率可表示为： 图像先验条件
P(z,{Ft},{Wt}{yt}) P({yt}根z,据{Ft},{Wt}) P(z) P({Ft},{Wt})
似然条件
运动场先验条件
基于非局部正则化和可靠运动估计的超分辨重建
似然条件：
P( yt
z,
Ft
,Wt
)
exp
DFt z yt
2 2
2 Wt
(1)
，其中 a 2 aTWa W
假定各帧低分辨图像获取的过程中是统计独立，则
根据
T
P({yt} z,{Ft},{Wt}) P( yt z, Ft ,Wt ) t 1
光流法失效原因分析
问题：数值解的稳定性
对光流d的求解，可利用最小二乘法求解：
光流法失效原因分析
问题：数值解的稳定性
应当可逆，考虑到抗噪性，其能量不应过小
------
特征值
不应过小。
的条件数应该接近于1。
------
特征值比值
应该接近于1。
光流法失效原因分析
解决：光流场可靠性度量
光流法失效原因分析
T
exp
DFt z
yt
2 Wt
t 1
2 2
(2)
基于非局部正则化和可靠运动估计的超分辨重建
图像先验条件：
Slover1 Slover2
非局部平均去噪 NLM ( Non-Local Means )
Patch to be denoised
根据
(a)噪声图像
匹配权重计算
匹配权重描述的是重建高分辨率图像在经过运动场 和下 采样 的作用之后，与输入低分辨率帧之间的匹配程度：
扩散效果： .
多约束自适应扩散滤波器
光流域约束
I ' I Gs ( x, s (, )) GI ( x, I ) Gd (d, d )
空域约束
亮度域约束
可靠性约束
扩散范围：
s
(
,
)
0 0
+
3
如果 =1 如果 =0
其中， 为不可靠区域半径函数
序列超分辨例子
序列超分辨的基本步骤
超分辨重建技术主要分为 配准 和 融合 两个阶段：
在低分辨图像进 行运动估计，估 计的可靠性？
(1) 配准： 估计各低分辨率图像的相对移动关系；
(2) 重建： 根据配准结果将低分辨率图像放置到高分辨率网格上，
融合重建高分辨率图像。 (3) 后处理： 去模糊等，增强图像。
0 It ( p) d T I ( p)
(2)
I
[Ix
I y ]T
[
I2 x
] I2 T
y
It I2 I1
考虑光流方程的病态本质，需要添加额外的约束才能求得光流: (1) Horn-Schunck 光流约束：片段光滑 (2) Lucas-Kanade 光流约束：邻域光流一致
病态问题，算法 的鲁棒性，有效 的先验正则化？
超分辨的极限
问题：时间分辨率
空间分辨率
Baker S, Kanade T. Limits on super-resolution and how to break them[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2002, 24(9): 1167-1183.