三维可形变模型在人脸识别领域的应用ppt课件
合集下载
人脸识别幻灯片讲义
将人脸识别这一多类问题转化为判断每一对 图像为类内 (同一个人 )还是类间 (不同人 )图像 的两类问题 。 利用局部特征而非全局特征进行识别 。 利用boosting的方法挑选出局部特征并构造 分离器。 分类器采用 cascade结构来解决类间样本过 多，无法一次全部参与训练的问题。
v v
v
相似度函数
v 基于贝叶斯区分特征的方法等
Alignment 的主流方法是ASM(Active Shape Models)
人脸识别的研究历史及现状
方法 几何特征 优点 比较直观 缺点 特征点的定位准确度要求 高 ，计算量大 计 算 量 大 ，对环境变化的 适应性较差 要 求 对 齐 准 确 度 高， 成像 条件不能有较大变化 对单训练样本集合无法计 算类内扩散矩阵 要求对齐准确度高 计算量大 网 络 结 构 、参数调整比较 复 杂；
题
纲
模板匹配 主成分分析 线性判别分 析 局部特征分 析 弹性模板匹 配 神经网络
成像条件不变的情况下效 果较好 方 便、易于实现 利 用 了 类 别 信 息， 效果较 好 ，尤适用于多训练样本 将局部与整体特征结合， 已在实际中应用 效果较好 ，能适应一定程 度的光线和角度变化 学习能力较强
１． 人脸识别简介 ２． 研究目的与系统框架 ２． 研究目的与系统框架 ３． 基于 基于ＡｄａＢｏｏｓｔ ＡｄａＢｏｏｓｔ的实时人脸检测 的实时人脸检测 ４． 基于弹性模板匹配的特征点定位 ５． 基于 ５． 基于Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ人脸识别 人脸识别 ６． 基于三维可形变模型的人脸识别 ６． 基于三维可形变模型的人脸识别 ７． 已完成的工作和以后的工作 ７． 已完成的工作和以后的工作
应用人脸识别PPT课件
从应用的角度，人脸识别包括两大类 （1）人脸身份识别：即根据人脸图像识别出人物的身 份，解决是谁的问题； （2）人脸身份确认或验证：判断图像中的人脸是否是 指定的人，即解决是不是某人的问题。
2）人脸识别研究的意义
人脸识别技术不需要携带任何电子、机械“钥匙”，可以 杜绝丢失钥匙、密码的现象，如果配合IC卡、指纹识别等技 术可以使安全系数成倍增长。
2）人脸识别研究的意义
近年来，随着对人类行为科学、人机交互技术的研究，以 及在计算机动画设计、视频会议或远程教育系统、自动身 份验证、视觉监视监控系统等应用领域的需求，人脸的计 算机检测、定位和识别技术受到了广泛的重视。这方面的 工作以人脸的检测和识别为典型代表，还包括头部运动的 跟踪体势和运动信息的提取，手势手语的识别，嘴唇运动 的辨识以及人脸表情的识别等等。人们试图对过这些工作， 把握人类不同情况下的行为举止，探索友好的人机交互方 式，并满足更有个性化的服务和人际交流的需要。
2）人脸数据库：AR 人脸数据库
AR人脸数据库是普渡大学机器人视觉研究中心的Aleix教授 和Benavente教授建立的，它也是人脸识别研究中用得比较 多的数据库之一。AR数据库共包括126 个不同的人（70 个 男性，56 个女性）的4000 多幅人脸图像，每个人大约26 幅左右，图像为24 位彩色图，分辨率为768*576（宽*高） 象素大小，格式为RAW格式。AR数据库中的人脸图像是正 面的人脸图像，具备表情、光照和遮挡等的变化，表情变化 和遮挡是这个数据库的主要特点之一。该数据库不仅可以用 于人脸识别，而且还可以用于表情识别。使用者只需要在互 联网上进行（）简单的注册，就能够获得该数据库。
2）人脸识别研究的意义
安全验证：如银行金融系统。在ATM 自动取款机上应用人 脸识别技术，可以免除用户忘记密码的苦恼，还可以有效防 止冒领、盗取的事件发生。
人脸识别ppt
➢ 人体生物的生物特征包括生理特征和行为特征两大类 ⑴人体的生理特征主要包括人脸、指纹、掌纹、掌形 虹膜、视网膜、静脉、DNA、颅骨等，这些特征是与生 俱来的，是先天形成的； ⑵而行为特征包括声纹、签名、步态、耳形、按键节 奏、身体气味等，这些特征是由后天的生活环境和生 活习惯决定的。
➢这些生物特征本身固有的特点决定了其在生物认证中 所起的作用是不同的.
基于先验形状的水平集图像分割
XDZX
➢优势：既包括使全局形状一致的隐含曲面约 束 ,又保持了水平集捕捉局部形变的能力 。
➢经典处理过程：首先在水平集空间利用一样 本集构造一个形状模型 , 此形状模型使用变 分框架由隐含函数来描述先验形状的变化 。 然后模型引入能量函数作为先验形状项 ,该 项的目的是使演化曲线与形状模型的距离最 小。
2 基于相关匹配的方法
XDZX
➢基于相关匹配的方法包括模板匹配法和等强 度线方法。
➢①模板匹配法：Poggio和Brunelli专门比较了 基于几何特征的人脸识别方法和基于模板匹 配的人脸识别方法。
➢②等强度线法：等强度线利用灰度图像的多级 灰度值的等强度线作为特征进行两幅人脸图 像的匹配识别。
3 基于神经网络的方法
三.基于水平集的图像分割方法
XDZX
定义：水平集方法是将n维曲面的演化问题转化为n+1维空 间的水平集函数曲面演化的隐含方式来求解。
优势：非参数化、自动处理拓扑结构的变化、捕捉局部形 变、提供一个自然的方法来估计演化曲线的几何特 性
劣势：不能有效的处理有噪声、不完整数据的图像
水平集方法研究现状
XDZX
虹膜 High High High Medium High Low High
视网膜 High High Medium Low High Low High
➢这些生物特征本身固有的特点决定了其在生物认证中 所起的作用是不同的.
基于先验形状的水平集图像分割
XDZX
➢优势：既包括使全局形状一致的隐含曲面约 束 ,又保持了水平集捕捉局部形变的能力 。
➢经典处理过程：首先在水平集空间利用一样 本集构造一个形状模型 , 此形状模型使用变 分框架由隐含函数来描述先验形状的变化 。 然后模型引入能量函数作为先验形状项 ,该 项的目的是使演化曲线与形状模型的距离最 小。
2 基于相关匹配的方法
XDZX
➢基于相关匹配的方法包括模板匹配法和等强 度线方法。
➢①模板匹配法：Poggio和Brunelli专门比较了 基于几何特征的人脸识别方法和基于模板匹 配的人脸识别方法。
➢②等强度线法：等强度线利用灰度图像的多级 灰度值的等强度线作为特征进行两幅人脸图 像的匹配识别。
3 基于神经网络的方法
三.基于水平集的图像分割方法
XDZX
定义：水平集方法是将n维曲面的演化问题转化为n+1维空 间的水平集函数曲面演化的隐含方式来求解。
优势：非参数化、自动处理拓扑结构的变化、捕捉局部形 变、提供一个自然的方法来估计演化曲线的几何特 性
劣势：不能有效的处理有噪声、不完整数据的图像
水平集方法研究现状
XDZX
虹膜 High High High Medium High Low High
视网膜 High High Medium Low High Low High
人脸识别技术ppt课件
整理课件
8
难点五
研究面向三维人脸模型的分类与匹配技术也是一 个值得思考的问题。
整理课件
9
三维人脸深度图像前景展望：
首先，在三维人脸深度图像的预处理上，通过改进预处 理算法，可以运用ICP等配准算法，使得三维人脸在深 度图像中的成像对齐，归一化，更有利于下面特征提取 工作的进行。
其次，在三维人脸深度图像的特征提取上，还可以采用 改进的LPP算法提取人脸特征，例如带有参数的扩展 LPP算法以及正交LPP算法，在三维人脸的深度图像上 进行实验。
三维人脸识别可以克服或减轻这些因素的影响,因 而受到越来越多的重视。
整理课件
3
三维图像处理
三维人脸识别不同于二维人脸识别的关键在于所采 用的数据不同，其所具有的优势也来源于此： 1. 采集获得的脸部三维形状数据可看作是不随光照、 视图的变化而变化，且化妆等附属物对图像影响很 大而对三维数据影响不明显．因而，三维人脸识别 被认为具有光照不变、姿态不变的特性。 2. 三维数据具有显式的空间形状表征，因此在信息量 上比二维图像丰富
最后，基于三维人脸模型的特征提取方法有很多种，有 基于三维人脸模型局部特征的，还有基于三维人脸模型 整体特征的。每种特征提取方法都有其优缺点，如何充 分利用各种三维人脸的特征，将其有效的综合和组合， 是今后的一个探索方向。
整理课件
10
人脸识别技术
整理课件
1
局限性
影响人脸识别技术发展的主要因素： I. 光照
光线的强弱和光的方向是影响人脸识别的一个重要的 因素，也是比较难以攻克的科学难题。比如在使用笔记 本时，不同光线和位置情况会极大地影响具体的识别效 果。
II.表情
同一个人不同的表情对应的人脸识别效果也是不同的
三维可形变模型在人脸识别领域应用
❖ 2003 年 9 月 他 们 两 人 再 次 在 PAMI 上 发 表 Face recognition based on fitting a 3D morphable model 被引用次数：1255
❖ 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在 2009 Advanced Video and Signal Based Surveillance 上发表A 3D Face Model for Pose and Illumination Invariant Face Recognition被引用次数：70 。
▪ 首次提出BFM 贝塞尔face model 一个提供公开下载的3D
face model。 ▪ 亮点是：采用结构光，2个投影仪，3个相机高分辨率以及优
秀的对齐方法。 ▪ 是我们采用的model。
3DMM基本流程
3D Morphable Model 怎么来的？
Optimal Step Nonrigid ICP （ iterative closest point ） Algorithms
3DMM
简单的应用
输入的2维图片
得到：光照、姿态、 形状无限接近输入 的2维图片的一个 三维模型。
3DMM 发展
❖ 1999年Volker Blanz ，Thomas Vetter在计算机图形 学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣 小组）上发表第一篇关于3DMM的文章A Morphable Model For The Synthesis Of 3D Faces 迄今16年，被 引用次数高达2363
❖ 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在 2009 Advanced Video and Signal Based Surveillance 上发表A 3D Face Model for Pose and Illumination Invariant Face Recognition被引用次数：70 。
▪ 首次提出BFM 贝塞尔face model 一个提供公开下载的3D
face model。 ▪ 亮点是：采用结构光，2个投影仪，3个相机高分辨率以及优
秀的对齐方法。 ▪ 是我们采用的model。
3DMM基本流程
3D Morphable Model 怎么来的？
Optimal Step Nonrigid ICP （ iterative closest point ） Algorithms
3DMM
简单的应用
输入的2维图片
得到：光照、姿态、 形状无限接近输入 的2维图片的一个 三维模型。
3DMM 发展
❖ 1999年Volker Blanz ，Thomas Vetter在计算机图形 学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣 小组）上发表第一篇关于3DMM的文章A Morphable Model For The Synthesis Of 3D Faces 迄今16年，被 引用次数高达2363
人脸识别课件
04
人脸识别技术的发展趋势与挑战
人脸识别技术的性能优化
1 2 3
特征提取优化
采用更有效的特征提取方法，如深度学习技术 ，提高人脸识别的准确性和速度。
模型训练优化
利用更大量的数据和强大的计算资源，训练出 更精准、更高效的模型，提高人脸识别的准确 性和速度。
算法改进
不断研究和改进算法，提高人脸识别的准确性 和速度。
特征提取与匹配
总结词
特征提取与匹配是人脸识别技术的核心环节，其目的是从人脸图像中提取出 具有区分度的特征，并将这些特征与已知的人脸特征进行比较，从而实现对 人脸的识别。
详细描述
特征提取与匹配通常采用基于深度学习的算法，通过训练大量带标签的人脸 图像数据集来学习人脸的特征，并利用这些特征对新的未知人脸图像进行分 类和识别。
详细描述
人脸识别技术为人机交互提供了新的交互方式。通过人脸识别技术，计算机可以快速地识别人的面部 表情和情感，从而进行更加智能化的交互。在智能客服、智能助手等应用中，人脸识别技术使得人机 交互更加自然、便捷和高效。
THANKS
谢谢您的观看
02
人脸识别技术的基本原理
人脸的几何特征提取
01
基于几何特征的人脸识别方法是最早的人脸识别方法之一，也是目前仍在广泛 应用的方法之一。其主要思想是通过人脸的几何特征来识别人的身份。
02
人脸的几何特征包括眼睛、鼻子、嘴巴、下巴等部位的形状、大小、位置等信 息。这些特征可以通过人脸图像的像素信息进行提取。
总结词
安全、可靠、实时
详细描述
人脸识别技术在安防领域发挥了重要作用。在公共场所，如机场、车站、银行等，人脸识别技术被用于监控和 报警系统，有效地防范了恐怖袭击和犯罪行为。同时，人脸识别技术也在智能楼宇、智能家居等场景中得到了 应用，提高了安全防范的可靠性。
人脸识别授课课件
7
人脸识别的意义
Bill Gates: 以人类生物特 征进行身份验证的生物 识别技术，在今后数年 内将成为IT产业最为重 要的技术革命
人脸识别的军事应用
导弹基地、军火库房等要地的门禁或通道控制 核能设施等重要军事装备的启动控制 中国人民银行规定所有的金库安防监控系统都要有人脸识别 功能
9
研究现状
这对最大化类间差异（即不同人之间的差异）并最小化类内差异 （即同一人的不同图像间的差异）很有效
用PCA将2维数据降到1维的例子，绿色点表示二维 数据，PCA的目标就是找到这样一条直线，使得所 有点在这条直线上的投影点之间的平均距离最大。 也就是最大化地保留了原数据的差异性
本征脸方法
直接计算C 的本征值和本征向量是困难的，可以通过
➢ 国内众多大学和研究所都有人员从事人脸及人脸表情识 别的研究
人脸识别的关键问题
1.人脸面部形态（面型、眼睛、鼻子） 2.人脸识别中的视觉特征 （早期MARR理论框架3个层次计算理论、算法、实现机制； 现多层次） 3人脸识别中的光照问题 4.人脸识别中的姿态问题
人脸识别的过程
人脸识别的过程
登记过程 识别过程
总结与展望
人脸自动识别技术已取得了巨大的成就，随着科技的发展， 在实际应用中仍然面临困难，不仅要达到准确、快速的检 测并分割出人脸部分，而且要有效的变化补偿、特征描述、 准确的分类的效果。
下一个大师在哪里？
2 基于相关匹配的方法
基于相关匹配的方法包括模板匹配法和等强度线方法。 ①模板匹配法：Poggio和Brunelli专门比较了基于几何特
征的人脸识别方法和基于模板匹配的人脸识别方法。 ②等强度线法：等强度线利用灰度图像的多级灰度值的
等强度线作为特征进行两幅人脸图像的匹配识别。
人脸识别系统精ppt课件
20
我们的眼睛靠什么识别？
皮肤和肤色
光滑/粗糙，黝黑/白皙
动态特征
酒窝，皱纹
局部特性
黑痣，刀疤，独眼龙
人的优势：强大的背景知识！ 21
人类视觉识别系统特性简介及其借鉴 意义
人脸识别是否是一个特定的过程？
证据：“人脸识别能力缺失症（Prosopagnosia）”患者的 存在，患有此症的人可以正常的识别其他物体，甚至可以正确
评测：FERET(94-97), FRVT(2000/2002), (X)M2VTS, FVC…
国内研究机构简况 大学：清华大学3家，哈尔滨工业大学,上海交大，浙大研究所： 计算所，自动化所等
29
国际研究现状
在比较良好的环境条件情况下，对1000人 左右基本正面人脸进行识别的性能：
共同决定了最终的成败共同决定了最终的成败13人脸识别的相关背景14应用模式典型具体应用特点说明应用领域身份识出入境管理过滤敏感人物间谍恐怖分子等国家安全公共安全嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份敏感人物智能监控监控敏感人物间谍恐怖分子等网上追逃在pda等移动终端上进行现场比对会议代表身份识别防止非法人员进入会场带来危险因素关键场所视频监控如银行大厅预警可能的不安全因素家政服务机器人能够识别家庭成员的智能机器人人机交互自动系统登陆自动识别用户身份提供个性化界面智能agent自动识别用户身份提供个性化界面真实感虚拟游戏提供真实感的人物面像增加交互性身份验护照身份证驾照等各类证件查验海关港口机要部门等查验持证人的身份是否合法公共安全准考证查验防止替考问题教育机要部门物理门禁避免钥匙和密码被窃取造成失窃公共安全机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全面像考勤系统方便快捷杜绝代考勤问题企业应用金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全电子商务身份验证安全可靠的身份验证手段金融安全智能卡安全可靠的授权信息安全会议代表身份验证防止非法人员进入会场带来危险因素公共安全屏幕保护程序方便快捷的允许合法用户打开屏保人机交互15人脸识别相关研究内容人脸动画faceanimation16生物特征识别技术biometrics17与其他生物特征识别的比较18fromsameperson
我们的眼睛靠什么识别？
皮肤和肤色
光滑/粗糙，黝黑/白皙
动态特征
酒窝，皱纹
局部特性
黑痣，刀疤，独眼龙
人的优势：强大的背景知识！ 21
人类视觉识别系统特性简介及其借鉴 意义
人脸识别是否是一个特定的过程？
证据：“人脸识别能力缺失症（Prosopagnosia）”患者的 存在，患有此症的人可以正常的识别其他物体，甚至可以正确
评测：FERET(94-97), FRVT(2000/2002), (X)M2VTS, FVC…
国内研究机构简况 大学：清华大学3家，哈尔滨工业大学,上海交大，浙大研究所： 计算所，自动化所等
29
国际研究现状
在比较良好的环境条件情况下，对1000人 左右基本正面人脸进行识别的性能：
共同决定了最终的成败共同决定了最终的成败13人脸识别的相关背景14应用模式典型具体应用特点说明应用领域身份识出入境管理过滤敏感人物间谍恐怖分子等国家安全公共安全嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份敏感人物智能监控监控敏感人物间谍恐怖分子等网上追逃在pda等移动终端上进行现场比对会议代表身份识别防止非法人员进入会场带来危险因素关键场所视频监控如银行大厅预警可能的不安全因素家政服务机器人能够识别家庭成员的智能机器人人机交互自动系统登陆自动识别用户身份提供个性化界面智能agent自动识别用户身份提供个性化界面真实感虚拟游戏提供真实感的人物面像增加交互性身份验护照身份证驾照等各类证件查验海关港口机要部门等查验持证人的身份是否合法公共安全准考证查验防止替考问题教育机要部门物理门禁避免钥匙和密码被窃取造成失窃公共安全机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全面像考勤系统方便快捷杜绝代考勤问题企业应用金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全电子商务身份验证安全可靠的身份验证手段金融安全智能卡安全可靠的授权信息安全会议代表身份验证防止非法人员进入会场带来危险因素公共安全屏幕保护程序方便快捷的允许合法用户打开屏保人机交互15人脸识别相关研究内容人脸动画faceanimation16生物特征识别技术biometrics17与其他生物特征识别的比较18fromsameperson
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖ 2003 年 9 月 他 们 两 人 再 次 在 PAMI 上 发 表 Face recognition based on fitting a 3D morphable model 被引用次数：1255
❖ 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在 2009 Advanced Video and Signal Based Surveillance 上 发 表 A 3D Face Model for Pose and Illumination Invariant Face Recognition 被 引用次数：70 。 ▪ 首 次 提 出 BFM 贝 塞 尔 face model 一 个 提 供 公 开 下 载 的 3D
这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表 现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方 向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变 量系统。
精品课件
形状系数的在形状形变上的效果
从下图 可以看到不同的主成分从不同角度对人脸形状产生了影响:第1 主成分主 要描述了性别的差异,第3 主成分主要控制嘴部以下的长度,第6 主成分主要调节 人脸的宽度(不同人脸库训练得到的主成分效果会有所区别,但当人脸库足够大时 ,这种效果会趋于稳定).
Through Principal Component Analysis (PCA)
精品课件
如何拟合？实现针对2维输入的3维建模
纹理的距离
形状的距离
防止形状和纹理形变系数出现过拟合。采用 贝叶斯公式计算各系数的概率，最大化概率 来构成cost function。
精品课件
EF的计算方法
从物体坐标系到相机坐标系
-----三维可行变 模型在
人脸识别中的应用
2015.5.7
精品课件
维度？
0维指点，且这个点没有大小，只表位置
1维指线，没有宽度的线，但长度可以延伸
2维指平面，但平面没有厚度，只是无限延伸
3维指立体，就有厚度了，体现我们现在所处的空间
4维嘛~很多人很难说清楚，有些人说是时间，有些人说 是2维、3维在数学上的直接推广，甚至说，把一个四维 立方体展开后是六个普通立方体！
更高维呢，就很抽象了，一般来讲没有什么明确概念， 甚至数学家与物理学家都有不同意见；比较费解的是， 竟然有些物理学家认为宇宙有11维！
精品课件
3D Morphable Model 能做什么？
3DMM
在1999年提出时， 模型对胖瘦，年龄， 表情等都做了考虑。
后来的应用中主 要使用重建出的3维模 型来做识别。
twz=gamma_star(3); thetx=gamma_star(4); thety=gamma_star(5); thetz=gamma_star(6); f=gamma_star(7); Lramb=gamma_star(8); Lgamb=gamma_star(9); Lbamb=gamma_star(10); Lrdir=gamma_star(11); 等） Lgdir=gamma_star(12); Lbdir=gamma_star(13); thetl=gamma_star(14); phail=gamma_star(15); cc=gamma_star(16); gr=gamma_star(17); gg=gamma_star(18); gb=gamma_star(19); or=gamma_star(20); og=gamma_star(21); o精b=品g课am件ma_star(22);
精品课件
从相机坐标系到像平面坐标系
EI的计算方法
输入图像上每点和投影图像上每对应点的rgb值差的平方之和。 所以很显然 我们要先做初步的姿态估计以后EI 才有意义。
因为是对 点云的投影点球纹理的差 所以不用考虑输入图片的背景。
精品课件
三个参数α β ρ的构成
22个ρ参数 twx=gamma_star(1); twy=gamma_star(2);
face model。 ▪ 亮点是：采用结构光，2个投影仪，3个相机高分辨率以及优
秀的对齐方法。 ▪ 是我们采用的model。
精品课件
3DMM基本流程
精品课件
3D Morphable Model rigid
ICP （
iterative
closest point ）
Algorithms 2007. CVPR
3DMM数据包括： 1、n个人脸的平均模型 2、形状部分的主成分 3、纹理部分的主成分 两个n-1维的： 特征向量和特征值
PCA
精品课件
PCA简介
在统计学中，主成分分析（principal components analysis,PCA）是一 种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标 系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第 二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据 集的维数，同时保持数据集对方差贡献最大的特征。这是通过保留低阶主成分， 忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。
精品课件
利用3DMM构成人脸的公式表达
Since we assume all faces in full correspondence.new shapes Smodel and new textures T-model can be expressed as a linear combination of the shapes and textures of the M exemplar faces.
精品课件
简单的应用
3DMM
输入的2维图片
精品课件
得到：光照、姿 态、形状无限接 近输入的2维图片 的一个三维模型。
3DMM 发展
❖ 1999年Volker Blanz ，Thomas Vetter在计算机图形 学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣小 组 ） 上 发 表 第 一 篇 关 于 3DMM 的 文 章 A Morphable Model For The Synthesis Of 3D Faces 迄今16年， 被引用次数高达2363
❖ 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在 2009 Advanced Video and Signal Based Surveillance 上 发 表 A 3D Face Model for Pose and Illumination Invariant Face Recognition 被 引用次数：70 。 ▪ 首 次 提 出 BFM 贝 塞 尔 face model 一 个 提 供 公 开 下 载 的 3D
这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表 现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方 向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变 量系统。
精品课件
形状系数的在形状形变上的效果
从下图 可以看到不同的主成分从不同角度对人脸形状产生了影响:第1 主成分主 要描述了性别的差异,第3 主成分主要控制嘴部以下的长度,第6 主成分主要调节 人脸的宽度(不同人脸库训练得到的主成分效果会有所区别,但当人脸库足够大时 ,这种效果会趋于稳定).
Through Principal Component Analysis (PCA)
精品课件
如何拟合？实现针对2维输入的3维建模
纹理的距离
形状的距离
防止形状和纹理形变系数出现过拟合。采用 贝叶斯公式计算各系数的概率，最大化概率 来构成cost function。
精品课件
EF的计算方法
从物体坐标系到相机坐标系
-----三维可行变 模型在
人脸识别中的应用
2015.5.7
精品课件
维度？
0维指点，且这个点没有大小，只表位置
1维指线，没有宽度的线，但长度可以延伸
2维指平面，但平面没有厚度，只是无限延伸
3维指立体，就有厚度了，体现我们现在所处的空间
4维嘛~很多人很难说清楚，有些人说是时间，有些人说 是2维、3维在数学上的直接推广，甚至说，把一个四维 立方体展开后是六个普通立方体！
更高维呢，就很抽象了，一般来讲没有什么明确概念， 甚至数学家与物理学家都有不同意见；比较费解的是， 竟然有些物理学家认为宇宙有11维！
精品课件
3D Morphable Model 能做什么？
3DMM
在1999年提出时， 模型对胖瘦，年龄， 表情等都做了考虑。
后来的应用中主 要使用重建出的3维模 型来做识别。
twz=gamma_star(3); thetx=gamma_star(4); thety=gamma_star(5); thetz=gamma_star(6); f=gamma_star(7); Lramb=gamma_star(8); Lgamb=gamma_star(9); Lbamb=gamma_star(10); Lrdir=gamma_star(11); 等） Lgdir=gamma_star(12); Lbdir=gamma_star(13); thetl=gamma_star(14); phail=gamma_star(15); cc=gamma_star(16); gr=gamma_star(17); gg=gamma_star(18); gb=gamma_star(19); or=gamma_star(20); og=gamma_star(21); o精b=品g课am件ma_star(22);
精品课件
从相机坐标系到像平面坐标系
EI的计算方法
输入图像上每点和投影图像上每对应点的rgb值差的平方之和。 所以很显然 我们要先做初步的姿态估计以后EI 才有意义。
因为是对 点云的投影点球纹理的差 所以不用考虑输入图片的背景。
精品课件
三个参数α β ρ的构成
22个ρ参数 twx=gamma_star(1); twy=gamma_star(2);
face model。 ▪ 亮点是：采用结构光，2个投影仪，3个相机高分辨率以及优
秀的对齐方法。 ▪ 是我们采用的model。
精品课件
3DMM基本流程
精品课件
3D Morphable Model rigid
ICP （
iterative
closest point ）
Algorithms 2007. CVPR
3DMM数据包括： 1、n个人脸的平均模型 2、形状部分的主成分 3、纹理部分的主成分 两个n-1维的： 特征向量和特征值
PCA
精品课件
PCA简介
在统计学中，主成分分析（principal components analysis,PCA）是一 种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标 系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第 二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据 集的维数，同时保持数据集对方差贡献最大的特征。这是通过保留低阶主成分， 忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。
精品课件
利用3DMM构成人脸的公式表达
Since we assume all faces in full correspondence.new shapes Smodel and new textures T-model can be expressed as a linear combination of the shapes and textures of the M exemplar faces.
精品课件
简单的应用
3DMM
输入的2维图片
精品课件
得到：光照、姿 态、形状无限接 近输入的2维图片 的一个三维模型。
3DMM 发展
❖ 1999年Volker Blanz ，Thomas Vetter在计算机图形 学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣小 组 ） 上 发 表 第 一 篇 关 于 3DMM 的 文 章 A Morphable Model For The Synthesis Of 3D Faces 迄今16年， 被引用次数高达2363