人脸识别幻灯片讲义

将人脸识别这一多类问题转化为判断每一对 图像为类内 (同一个人 )还是类间 (不同人 )图像 的两类问题 。 利用局部特征而非全局特征进行识别 。 利用boosting的方法挑选出局部特征并构造 分离器。 分类器采用 cascade结构来解决类间样本过 多，无法一次全部参与训练的问题。
v v
v
相似度函数
v 基于贝叶斯区分特征的方法等
Alignment 的主流方法是ASM(Active Shape Models)
人脸识别的研究历史及现状
方法 几何特征 优点 比较直观 缺点 特征点的定位准确度要求 高 ，计算量大 计 算 量 大 ，对环境变化的 适应性较差 要 求 对 齐 准 确 度 高， 成像 条件不能有较大变化 对单训练样本集合无法计 算类内扩散矩阵 要求对齐准确度高 计算量大 网 络 结 构 、参数调整比较 复 杂；
题
纲
模板匹配 主成分分析 线性判别分 析 局部特征分 析 弹性模板匹 配 神经网络
成像条件不变的情况下效 果较好 方 便、易于实现 利 用 了 类 别 信 息， 效果较 好 ，尤适用于多训练样本 将局部与整体特征结合， 已在实际中应用 效果较好 ，能适应一定程 度的光线和角度变化 学习能力较强
１． 人脸识别简介 ２． 研究目的与系统框架 ２． 研究目的与系统框架 ３． 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 ４． 基于弹性模板匹配的特征点定位 ５． 基于 ５． 基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ人脸识别 人脸识别 ６． 基于三维可形变模型的人脸识别 ６． 基于三维可形变模型的人脸识别 ７． 已完成的工作和以后的工作 ７． 已完成的工作和以后的工作
δ
检测结果
题
纲
１． 人脸识别简介 ２． 研究目的与系统框架 ２． 研究目的与系统框架 ３． 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 ４． 基于弹性模板匹配的特征点定位 ５． 基于 ５． 基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ人脸识别 人脸识别 ６． 基于三维可形变模型的人脸识别 ６． 基于三维可形变模型的人脸识别 ７． 已完成的工作和以后的工作 ７． 已完成的工作和以后的工作
Φ i (I 1 ) − Φ i (I 2 )
v
训练分类器
v
识别结果
v
因为通过采用相似度函数将识别问题转化为两类问 题，所以可以采用人脸检测中的分类器形式和训练策 略得到识别的分类器，也就是
1, C (I 1 , I 2 ) = 0, if if F (I 1, I 2 ) > θ F (I 1, I 2 ) <= θ
v
银行或者安全部门的身份验证 海关、机场的监控系统 视频会议 图像检索 人机交互等
人脸识别简介
v
人脸识别简介
v
人脸识别的难点：影响人脸图像之间的差异因 素包括身份 、姿态、光照、饰物、表情、年 龄。并且除身份以外的其他因素往往比身份对 人脸图像有更大的影响。
人脸识别系统的框架
外的其他影响
x, y∈R ( x0 ,y0 )
∑
(v x
∂I ∂I + vy + ∆ I ( x , y ))2 ∂x ∂y
D = ∏d i
i =1 K
F = ∏ fi
i =1
K
训练数据集
v
训练结果
人脸训练集 ： ７５６４人脸图像
v
非人脸训练集：利用bootstrapping方法从非人 脸图像和含有人脸的图像的非人脸子窗口中得 到上百外的非人脸训练图像 。
v
均值方差归一化： I [i][ j] = δ 0 ( I[ i][ j] − µ ) + µ0
v
采用的特征
v
相似度函数描述了一对图像间的相似程度，也 就相当于给出了两张人脸图像属于同一个人的 置信度。 相似度函数等于各个局部特征所对应的弱分离 器的线性组合。
F ( I1 , I 2 ) = ∑ fi ( I1 , I 2 )
i= 1 n
应该注意的是这里的正负样本分别是类内图像 对和类间图像对。两张图分别对下图中的特征 求值，再将所得的两个值作差后求绝对值就是 我们所采用的特征 ，也就是
v
三维可形变模型
v
基于光流求解对应关系
v
用一组样本的形状向量和材质向量的任意凸组 合都能生成有真实感的人脸 。
S = ∑ a iS i
i =1 m
灰度图像序列上的光流：
dI ∂I ∂I ∂I = vx + vy + = 0 dt ∂x ∂y ∂t
T = ∑ bi Ti
i =1
m
v 求解vx , vy 的方法：
v
题
纲
v
基于三维可形变模型的人脸识别
人脸识别的主要困难在于很难把外在成像条件 的影响从图像中分离出来，使输入模式间的差 异仅仅是由不同的身份造成的。 该算法通过重建输入人脸图像的三维模型，从 而可以有效的去除角度、光照等外在因素对人 脸图像的影响，大大提高人脸识别的准确率 。
１． 人脸识别简介 ２． 研究目的与系统框架 ２． 研究目的与系统框架 ３． 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 ４． 基于弹性模板匹配的特征点定位 ５． 基于 ５． 基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ人脸识别 人脸识别 ６． 基于三维可形变模型的人脸识别 ６． 基于三维可形变模型的人脸识别 ７． 已完成的工作和以后的工作 ７． 已完成的工作和以后的工作
E(x 0 , y 0 ) =
v
三维激光扫描数据的样本集 ：
用Ｃｙｂｅｒｗａｒｅ3030PS激光扫描器对２００名成年人头部进 行扫描得到形状和材质扫描数据。并对扫描数据作一 些预处理。
I ( h, φ ) = (r ( h, φ ), R ( h, φ ), G(h ,φ ), B (h ,φ )) T
特征的选取
v特征的选取 ：四种矩形特征
Ø矩形区域内像素灰度值合之差。矩形 具有相同的尺寸和形状，并且在位置 上是水平或者竖直相邻的。
积 分 图 象
v 借助于积分图像可以快速计算特征
ii( x, y) =
x′≤x , y′≤ y
∑i (x′, y′)
v特征的特点 ： Ø简单而且具有一定的表达能力 Ø计算效率高 、无须计算图像金字塔 Ø表达能力的有限性可以由计算的高效性补偿
题
纲
人 脸 识 别
１． 人脸识别简介 ２． 研究目的与系统框架 ２． 研究目的与系统框架 ３． 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 ４． 基于弹性模板匹配的特征点定位 ５． 基于 ５． 基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ人脸识别 人脸识别 ６． 基于三维可形变模型的人脸识别 ６． 基于三维可形变模型的人脸识别 ７． 已完成的工作和以后的工作 ７． 已完成的工作和以后的工作
v
１． 人脸识别简介 ２． 研究目的与系统框架 ２． 研究目的与系统框架 ３． 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 ４． 基于弹性模板匹配的特征点定位 ５． 基于 ５． 基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ人脸识别 人脸识别 ６． 基于三维可形变模型的人脸识别 ６． 基于三维可形变模型的人脸识别 ７． 已完成的工作和以后的工作 ７． 已完成的工作和以后的工作
研究目的与系统框架
v
题
纲
研究目的：利用并改进当前比较优越的人脸检 测和人脸识别的算法，实现一个自动 、可靠的 人脸识别系统。 系统框架： Ø 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 Ø 基于弹性模板匹配的特征点定位 Ø 基于boosted local feature的人脸识别
v
国内研究人脸识别的机构：
微软亚洲研究院、中科院计算所、中科院自动化所、 清华大学、北京大学、南京大学、哈工大等
人脸检测的研究历史及现状
v
Alignment的研究历史及现状
v
人脸检测有代表性的算法有 ： v 神经网络方法 v 本征脸方法 v 高斯混合模型法 v SVM方法 v 基于AdaBoost的方法
题
纲
v
人脸识别简介
人脸识别的目标：使计算机具有像人一样的定 位和识别人脸的功能。 人脸识别具有十分广泛的应用前景：
Ø Ø Ø Ø Ø
１． 人脸识别简介 ２． 研究目的与系统框架 ２． 研究目的与系统框架 ３． 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 ４． 基于弹性模板匹配的特征点定位 ５． 基于 ５． 基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ人脸识别 人脸识别 ６． 基于三维可形变模型的人脸识别 ６． 基于三维可形变模型的人脸识别 ７． 已完成的工作和以后的工作 ７． 已完成的工作和以后的工作
输入人脸 图像
整体粗定位
精确定位 每个特征点
FGB
调整个别点
眼睛模板
眼睛模板
0 0 -1
0 1 1
1 2 2 1
2 1 1 2 1
2 1 1 2 1
1 2 2
0 1 1
0 0 -1 0
-1, -1
1 -1 -1 -1 -2
0, -2 -1
题
纲
基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ 基于 Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ的人脸识别 的人脸识别