结构化人脸超分

果，不能突破原有的信息量。 3. 图像超分辨率重建能使放大后图像仍能保持原始输入图像的细节部分，它涵盖了图像 复原技术和图像插值。
算法效果 •
3
引言
图1 不同样本选择方法的 SR重建效果比较： 相 关 工 作 本文算法
(a) (b) (c) (d) (e) (f)
低分辨率图像 Bicubic 插值 随机样本 自适应样本 全体样本 原始高分辨率图像
参见：《图像超分辨率算法综述》 江静，张雪松，红外技术，2012-01.
算法效果
6
引言 •
[1] Hallucination faces (S.Barker ,T.Kanade,2000)
通过利用以金字塔形式组织的正面人脸图像的梯度分布先验，在最大后验 概率的框架下完成超分辨率重建。由于重建过程是逐像素进行的，因此容易缺 失一些人脸的全局性约束，如对称性和亮度的一致性等。他们在定义HR图像的 先验分布时，使用的是从训练人脸库中搜索出的最相似像素的水平和竖直梯度 ，这使得HR图像的先验项是与输入的LR图像相关的，即基于识别的梯度先验。
每个器官的梯 度图组合起来

c
（3 ）
算法效果
L j*
H j*
相应的HR原图像
Uc
最佳匹配的LR样本图像
17
引言1.2
j arg min M l ( p) V ( p) V j ( p)
* jS pI l
2
（4）
V j ： L j 梯度图 Note: V ：I l 梯度图 相 M h ：HR掩模图，当像素值属于器官 ，其值为1，否则，为0 关 工 M l ：通过公式（3），对 M h 降采样得到 作 本文算法 S :由器官 c 和眼镜标识确定

n
e i
e i
) (x , y )
b i b i
2
（2）
x , y 算法效果 x , y
e i
b i
e n i i 1 ：样本图像中标记器官的n个关键点
。
b n ：I b 中标记器官的n个关键点， I b 由LR图像 I l 双立方插值得到 i i 1 。
16
引言 1.2 样本图像确定（Determining exemplar images）
算法效果
(a)
(b)
(c)
(d)
(e)
(f)
4
引言
• Why
相 关 • 工 作 本文算法 •
• 放大图像空间尺寸，图像会出现锯齿现象，尤其是原始输入图像 中的细节信息，很容易出现过模糊现象。 高分辨率图像能提供丰富的细节信息，对客观场景的描述更准确 细致。 通常在视频监控等情况下获取的人脸图像分辨率较低，不能直接 使用。超分辨率技术可以在高分辨率下高质量显示图像。
• 人脸图像超分辨率重建是图像超分辨率技术在人脸上的应用。它 还可以应用在很多领域，除了人脸识别，还有人脸视频图像传输 算法效果 、人脸图像恢复、人脸图像表情分析等。
5
引言
• 1. 基于重建的方法： •
相 关 工 • 作 本文算法 •
采用“重建约束”，即高分辨率图像经过变形和下采样，生 成低分辨率的输入图像，来复原出高分辨率图像。 2. 基于学习的方法： 通过学习低分辨率图像与高分辨率图像之间的关系，获得高 分辨率图像的先验知识，同时结合重建约束来指导对图像的超分 辨率。
重建的HR图像
10
引言Biblioteka 本文算法I h arg min I U
I
2
s.t. ( I G) I l
Uc
（1）
相 关 工 作 本文算法
Note ：
：卷积 G ：σ宽的高斯核 ：下采样
：梯度算子
Ue
整合
Ub
arg min ：使目标函数取最小值时的变量值
算法效果 关键问题：求 U c ,U e ,U b
利用块匹配方法[1]寻找最相似LR样本块，减少计算量。
Ub
相 关 利用公式 Lj (H j G) ，从匹配的数据集中产生LR样本图像集。 工 作 本文算法 后向投影算法[2] 梯度图 对应 HR 块 HR Ub LR 块 算法效果 [1]
C. Barnes, E. Shechtman, D. B. Goldman, and A. Finkelstein.The generalized patchmatch correspondence algorithm.In ECCV, 2010.
14
引言
样本库
Multi-PIE dataset （320*240，包含年龄，姿势，表情的变化）
相 关 工 作 本文算法
1. 289个人的2184张正面人脸图像 2. 60个人的283张30度角的人脸图像 每张人脸图像对应: 1). 一个标记关键点的文件； 2). two labels: 一个标记姿势,一个标记是否存在眼 镜（手动标记）。 two labels用来限制搜索区域
从 S1 ( p),...,S K ( p) 到 T1 ( p),...,TK ( p)，并不改变相应的梯度幅度，因此 算法效果 ，保留了方向的相似性。
21
引言
Tk
Il
相 关 工 作 本文算法
Id
Sk
算法效果
方向保持下采样
图像 I d 的边缘虽然clear，smooth，但不够sharp，需要恢复边缘锐度。
（7 ）
m ：I d 的梯度幅度 q, r ：在法线的两个相反方向上，与 p 相邻
的两个像素。
m
算法效果
'
：训练图像 I h 的梯度图的幅度
针对I d 的每个像素p ，提取特征集合 mp , mp , mc , d
'


23
引言
m , m , d
p c
建立查询表（lookup table） _
c
算法效果
S
如果某个器官（比如眼睛对）有眼镜遮挡，就可以通过眼镜标识排除 那些不戴眼睛的样本图像。
18
引言
相 关 工 作 ，，x, y 本文算法
算法效果
Note : 不同的器官来 自不同的人的 样本图像
19
引言 2. 面部轮廓的梯度图（Gradient Maps for Facial Contours
算法效果
Landmarks
15
引言1. 面部器官的梯度图（Gradient Maps for Facial Components）
Uc
1.1
样本图像配准（Alighing exemplar images）
相 arg min T ( x , y 关 , , x , y i 1 工 作 本文算法 Note: T ：非反射对称变换。

高斯函数是单值函数。这表明，高斯滤波器用像素邻域的加权均值来 代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调 增减的。这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑 算法效果 运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失 真。
12
引言
宽高斯核
0.2
[2] M. Irani and S. Peleg. Improving resolution by image registration.CVGIP, 53(3):231–239, 1991.
26
引言
4. 整合梯度图（Intergrating Gradient Maps ）
•
相 关 工 作 • [9] Face hallucination:Theory and practice (C.Liu ,H.-Y.Shum.etc,2007) 本文算法 • Liu 等人提出了人脸超分辨率的两步法：首先,在特征脸子空间中，用一个 全局参数模型根据低分辨率输入图像估计出高分辨率人脸图像；然后，用一个 局部非参数马尔科夫网络模型来补偿第一步中重建的高分辨率图像与原始高分 算法效果 辨率图像间的残差。但是第一步中的全局参数模型需要已知降晰函数，而且第 二步中的马尔科夫网络也需要复杂的计算。
•
HR
降采样
由低分辨率图像（low-resolution images, LR）复原出高分 辨率图像（high-resolution images, HR）的技术。
图像超分辨率重建 VS 图像复原、图像插值 1. 图像复原是在不改变图像尺寸的情况下恢复一幅图像。
•
1. 图像插值可以提高图像分辨率，但只是可以增加图像的像素尺寸，改变图像的视觉效
）
Ue
已有算法是基于插值后图像产生边缘，这样产生的边缘会出现缺口（jaggy） ，而本文通过学习统计先验保存图像边缘结构，恢复边缘锐度。 相 2.1 方向保持下采样（Direction-preserving upsampling 关 ） 工 针对 I l中的每一个像素p ，计算其方向相似度（the directional similarity）： 作 本文算法 f k ( p ) exp( P Qk / ), k 1,...,K （5
theta=4.6
相 关 工 作 本文算法
0.15
0.1
0.05
0 60 40 50 40 20 0 10 0 30 20
算法效果
4 .6
13
引言 文中所用
theta=1.6
相 关 工 作 本文算法
0.4
0.3
0.2
0.1
0 60
算法效果
40 20 0 10 0 30 20
50 40
1 .6
7
摘要
结构化的
人脸超分
本文提出一种基于局部图像结构的人脸超分方法。每 幅人脸图像可由面部器官（facial components）、轮廓 （contours）、平滑区（smooth regions）三部分表示。 1. 面部器官：进行图像配准，产生准确的样本，变换高 频细节用来保存结构上的一致性。 2. 轮廓： 在高分辨率图像（HR）中学习统计先验， 产生显著的结构。 3. 平滑区： 块匹配方法。