三维可形变模型在人脸识别领域的应用

EI的计算方法
输入图像上每点和投影图像上每对应点的rgb值差的平方之和。 所以很显然 我们要先做初步的姿态估计以后EI 才有意义。
因为是对 点云的投影点球纹理的差 所以不用考虑输入图片的背景。
三个参数α β ρ的构成
22个ρ参数 twx=gamma_star(1); %平移变量tw x坐标 twy=gamma_star(2); %平移变量tw y坐标 a=gamma_star(23:23+198); twz=gamma_star(3); %平移变量tw z坐标 模型形状变化的组合系数α thetx=gamma_star(4); %x方向 旋转角θ‎‎ b=gamma_star(23+dim_egnv:23 thety=gamma_star(5); %y方向 旋转角θ thetz=gamma_star(6); %z方向 旋转角θ +dim_egnv+198); f=gamma_star(7); %摄像机焦距f 模型纹理变化的组合系数β Lramb=gamma_star(8); %漫反射亮度系数红色分量 Lgamb=gamma_star(9); %漫反射亮度系数绿色分量 Lbamb=gamma_star(10); %漫反射亮度系数蓝色分量 Lrdir=gamma_star(11); %镜面反射和环境光反射亮度系数（为简化光照模型 设为相等） Lgdir=gamma_star(12); %镜面反射和环境光反射亮度系数 绿色分量 Lbdir=gamma_star(13); %镜面反射和环境光反射亮度系数 蓝色分量 thetl=gamma_star(14); %点光源，入射光向量的经度角θl phail=gamma_star(15); %点光源，入射光向量的纬度角φl cc=gamma_star(16); %亮度Luminance 转换为 颜色度Intensity 的对比系数cc gr=gamma_star(17); %亮度 转换为 颜色度 的增益系数gr 红色分量 gg=gamma_star(18); %亮度 转换为 颜色度 的增益系数gg 绿色分量 gb=gamma_star(19); %亮度 转换为 颜色度 的增益系数gb 蓝色分量 or=gamma_star(20); %亮度 转换为 颜色度 的偏移系数or 红色分量 og=gamma_star(21); %亮度 转换为 颜色度 的偏移系数og 红色分量 ob=gamma_star(22); %亮度 转换为 颜色度 的偏移系数ob 红色分量
Since we assume all faces in full correspondence.new shapes S-model and new textures T-model can be expressed as a linear combination of the shapes and textures of the M exemplar faces.
在3DMM中对粒子群优化算法的改进
p = [0 2000 27 2 2 0.9 0.4 1500 1e-25 250 NaN 0 1];
惯性权重的修改
认知因子的修改
3D Morphable Model 能做什么？
3DMM
在1999年提出时， 模型对胖瘦，年龄， 表情等都做了考虑。 后来的应用中主要 使用重建出的3维模型 来做识别。
简单的应用
3DMM
输入的2维图片
得到：光照、姿态、 形状无限接近输入 的2维图片的一个 三维模型。
3DMM 发展
1999年Volker Blanz ，Thomas Vetter在计算机图形 学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣 小组）上发表第一篇关于3DMM的文章A Morphable Model For The Synthesis Of 3D Faces 迄今16年，被 引用次数高达2363 2003 年 9 月 他 们 两 人 再 次 在 PAMI 上 发 表 Face recognition based on fitting a 3D morphable model ‎ 被引用次数：1255 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在 2009 Advanced Video and Signal Based Surveillance 上发表A 3D Face Model for Pose and Illumination Invariant Face Recognition被引用次数：70 。 首次提出 BFM 贝塞尔 face model 一个提供公开下载的 3D
face model。 亮点是：采用结构光， 2 个投影仪， 3 个相机高分辨率以及优 秀的对齐方法。 是我们采用的model。
3DMM基本流程
3D Morphable Model 怎么来的？
Optimal Step Nonrigid ICP （ iterative closest point ） Algorithms 2007. CVPR
Through Principal Component Analysis (PCA)
如何拟合？实现针对2维输入的3维建模
纹理的距离
形状的距离
防止形状和纹理形变系数出现过拟合。采用 贝叶斯公式计算各系数的概率，最大化概率 来构成cost function。
EF的计算方法
从物体坐标系到相机坐标系
从相机坐标系到像平面坐标系
数学之美番外篇：平凡而又神奇的贝叶斯方法 BY （暗时间）刘未鹏
贝叶斯是机器学习的核心方法之一。这背后的深刻原因在于，现实世界本身就是不 确定的，人类的观察能力是有局限性的，我们日常所观察到的只是事物表面上的结 果，这个时候，我们就需要提供一个猜测。但也绝对不是两眼一抹黑瞎蒙——具体 地说，我们需要做两件事情：1. 算出各种不同猜测的可能性大小。2. 算出最靠谱的 猜测是什么。第一个就是计算特定猜测的后验概率，对于连续的猜测空间则是计算 猜测的概率密度函数。第二个则是所谓的模型比较，模型比较如果不考虑先验概率 的话就是最大似然方法。
3DMM数据包括： 1、n个人脸的平均模型 2、形状部分的主成分 3、纹理部分的主成分 两个n-1维的： 特征向量和特征值 PCA
PCA简介
在统计学中，主成分分析（principal components analysis,PCA）是一种简化 数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中， 使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在 第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同 时保持数据集对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成 分做到的。这样低阶成分往往能够保留住数据的最重要方面。 这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现 为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向， 然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系 统。
形状系数的在形状形变上的效果
从下图 可以看到不同的主成分从不同角度对人脸形状产生了影响:第1 主成分主 要描述了性别的差异,第3 主成分主要控制嘴部以下的长度,第6 主成分主要调节 人脸的宽度(不同人脸库训练得到的主成分效果会有所区别,但当人脸库足够大时, 这种效果会趋于稳定).
利用3DMM构成人脸的公式表达
目标函数的优化
Cost function： 利用粒子群优化算法优化这22+199+199个参数，因为粒子群优化算法对 初值的不依赖 和 信息的交互机制，既可以避免陷入局部极值又可以提高收 敛速度。适合优化高维参数。
原始型粒子群优化算法
表示第 i 个粒子曾经到过的历史优点,(Personal best,pbest ）
D是观测到的现象，h是推测出的事实。
正比于符号。
各种正态分布的假设
The task at hand is to find the parameters with maximum posterior probability given the input image and the feature points F. According 防止形状和纹理形 to Bayes rule: 变系数出现过拟合。 采用贝叶斯公式计 算各系数的概率， 最大化概率来构成 cost function
表 示 整 个 种 群 所 能 找 到 的 历 史 最 优 点(Global best，gbest)
c1 是自身认知因子，表示自身经历的历史最优值对当前运动状态的影响. c 2是社会认知因子，表示整个种群经历的历史最优值对当前运动状态的影响.
r1和r 2是区间[0，1]内的随机数。
惯性权重因子w，是指粒子前一时刻的运动状态对当前时刻运动状态的影响程度。
-----三维可行变模型在 人脸识别中的应用
蔡英
2015.5.7
维度？
0维指点，且这个点没有大小，只表位置
1维指线，没有宽度的线，但长度可以延伸 2维指平面，但平面没有厚度，只是无限延伸 3维指立体，就有厚度了，体现我们现在所处的空间 4维嘛~很多人很难说清楚，有些人说是时间，有些人说 是2维、3维在数学上的直接推广，甚至说，把一个四维 立方体展开后是六个普通立方体！ 更高维呢，就很抽象了，一般来讲没有什么明确概念， 甚至数学家与物理学家都有不同意见；比较费解的是， 竟然有些物理学家认为宇宙有11维！