融合全局和局部特征的人脸识别

全局和局部分类分类器进行粗略的匹配，第二层中把全局和局部分类器集成 起来(也就是总体集成分类器)进行精细的确认。从各个分类器的构建过程中可以 看出，全局分类器利用的特征较少，因此速度较快，但正确率较低；而总体集 成分类器由 N+1 个分量分类器组成，利用的特征较多，因此速度较慢，但正确 率较高。因此，第一层采用全局分类器可以提高识别的速度，而第二层加入局 部分类器可以提高识别的正确率。
实验与分析
• 分类器串行集成后的性能分析
虽然全局和局部分类器的集成可以带来正确率上的提升，但是这种多分 类器系统速度相对较慢。因为在每一次人脸图像对比中，都必须计算 由 1 个全局分类器和 30 个局部分量分类器所得到的 31 个相似度， 对于一次人脸图像对比，全局分类器只需要 1 次相似度计算，局部分类 器需要 30 次相似度计算，而总体分类器需要 31 次相似度计算。对于 大规模的人脸识别（或确认）任务来说，系统速度的瓶颈在于相似度 计算而不是特征提取。
• 对图像进行Gabor特征提取是通过多个Gabor核函数分别与图像进行卷 积操作来完成的。从公式的定义中可以看出，当Gabor核函数与图像 进行卷积时，主要提取的是靠近高斯函数中心的图像信息，而忽略距 离中心较远的图像信息。因此，与傅里叶变换提取整幅图像的信息相 比，Gabor变换更加关注人脸图像局部区域内多尺度、多方向的信息。
实验与分析
• 为了更清楚的说明串行集成策略带来的系统速度提升，表 3-3 中给出了候选图像数量 M 取不同的值时系统速度（假 设总体分类器速度为单位 1）和正确率（首选识别率）的 对比。本文提出的串行集成策略可以在基本不降低系统正 确率的情况下将系统速度提高 7 倍左右。
实验与分析
• 人脸确认中
融合全局和局部特征的人脸识别
期刊取自：IEEE TRANSACTIONS ON IMAGE PROCESSING 介绍：葛月月 201421070541 自动 化工程学院
目录
• • • • • • 课题研究背景和意义 全局和局部特征的不同作用和意义 全局和局部特征的提取 全局和局部分类器层级集成 实验与分析 结束语
局部Gabor特征提取
• 将人脸图像进行均匀分块，落在每个图像子块内的 Gabor特征组成一个特 征向量： 提取多个局部 Gabor 特征向量（Local Gabor Feature Vector， LGFV）
全局和局部分类器层级集成
• 并行集成
过全局和局部特征提取之后，图像可以表示为 1 个全局 Fourier 特征向量 和 N 个局部 Gabor 特征向量 • 全局和局部分类器分别包含不同的判别信息，采用加权求和的方式将 全局分类器和局部分量分类器进行并行集成会提升人脸识别系统的正 确率。 • 将 N 个局部分量分类器进行加权求和，得到局部集成分类器
全局和局部特征的不同意义
在人类人脸识别的过程中，人脸的全局特征和局部 特征都起到了作用。 人脸的全局特征主要包括肤色、脸型、五官的分布 等，用来进行粗略的匹配； 人脸的局部特征主要指面部五官的特点以及面部的 奇异特征，用来进行精细的确认。 局部特征已经广泛的用于人脸识别，并取得了很好 的效果。相对而言，基于全局特征的识别方法效 果却不甚理想
FD0 表示原始的人脸数据库，而 FD1 表示经过全局分类器排除候选之后的人脸数据 库。
全局和局部分类器层级集成
• 对于人脸确认任务，系统首先在第一层中利用全局分类器得到输入人脸 图像和与用户宣称身份相符的数据库中人脸图像的相似度。这个相似度 比较粗略，但是也包含一定的判别信息：如果这个相似度低于某个很小 的阈值（T1），那么说明这两张人脸图像极有可能不属于同一个人，因 此系统可以直接判定两张图像的身份不一致；相反，如果这个相似度大 于某个很大的阈值（T2），那么说明这两张人脸图像极有可能属于同一 个人，因此系统可以直接判定两张图像身份一致。调节阈值 T1和 T2，以 达到系统速度和正确率之间的平衡
局部Gabor特征提取
• Gabor 特征由于其良好的空间局部性和方向选择性，能够很好的描述 图像的局部细节变化。此外，作为一种局部特征，Gabor 特征对人脸 的表情变化和局部遮挡具有较强的鲁棒性。因此，Gabor 特征近年来 已经成为最为有效的人脸表示方法之一。二维 Gabor 滤波器的核函数 定义为一个用高斯包络函数约束的平面波。
实验与分析
• 阈值 T1取不同的值时系统速度（假设整体分类器速度为单位 1）和正 确率（确认率）的对比。从表 3-4 中可以得出结论：本文提出的串行 集成策略可以在基本不降低系统正确率的情况下将系统速度提高大约 5 倍。 •
结束语
1)全局和局部特征的融合。实验表明，尽管全局特征中包含的判别信息 远不如局部特征中包含的多，但是按照一定规则将两种特征进行融合 还是可以带来性能上的显著提升。 2) 多个分类器的集成。在机器学习领域，多分类器集成方法已经被认为 是避免过学习、提高分类器推广能力的一种成功的方法。在本章的方 法中，分类器在两个层次上进行集成：一个是各个局部分量分类器的 集成，另一个是全局分类器和局部分量分类器的集成。实验表明，与 单分类器相比，多个分类器集成之后会带来非常显著的性能提升。 3) Gabor 特征与 FLDA 的结合。近年来，Gabor 特征被认为是最为成功的 人脸表示方法之一，也有很多研究者提出利用 FLDA 来进一步提高 Gabor 特征的判别能力。Gabor 特征的缺点在于其维数较高，因此本 文提出将 Gabor 特征进行分组并利用 FLDA 进行一步的降维。这样可 以利用尽可能多的 Gabor 特征，减少判别信息的丢失。这也是系统性 能提升的主要原因之一。
• 通过设置两个阈值 T1和 T2来控制第一层中全局分类器的处理范围第 一层的主要目的就是排除这些属于不同人的图像对一个人的图像对直 接送到第二层进行处理阈值参数 T1需要调节：T1的值越大，第一层所 处理的图像对就越多，系统的速度也就越快。但当 T1的值增大时，第 一层产生错误的决策也随之增加，系统的正确率也就会相应降低
实验与分析
• 本节采用 FERET 和 FRGC v2.0 人脸数据库来进行实验。由 于局部分类器由多个局部分量分类器构成，我们分别测试 了各个局部分量分类器的性能，并与局部分类器进行了对 比。
实验与分析
• 全局和局部特征不同作用的验证
• 在实验中全局分类器在FAR=0.1%时的确认率为50.7%，局部分类器的 确认率为79.9%，而整体分类器的确认率为85.5%。这个实验结构证明 了：全局和局部特征在人脸表示中的作用不同，包含互补的判别信息。 因此，二者应该进行集成。
实验与分析
人脸识别中
• 通过改变第一层分类后保留的候选图像数 M 调节系统的正确率和速度。 M 的取值越小，第一层排除的候选图像越多，系统的速度也就越快， 但正确率会相应降低 当第一层中保留的候选图像数量 M 小于 100 时， 系统的首选识别率开始显著下降。因此，为了保证系统的正确率，M 的取值被设置为 100。
研究背景和意义
人脸识别是计算机视觉和模式识别研究中的热点问题。目前， 最好的人脸识别系统在理想情况下已经能够取得令人满意 的识别性能。但大量测试和实践的经验表明：非理想条件 下的人脸识别技术还远未成熟。本文主要针对人脸识别中 的特征提取问题，提出将全局的Fourier特征与局部的 Gabor特征进行层级集成：第一级分类器采用全局特征， 进行粗略的分类；而第二级分类器同时采用全局和局部特 征，进行更为精确的分类。实验结果表明，全局和局部特 征的层级集成不仅可以提高人脸识别系统的正确率，也能 够使系统速度得到较大提升。
图像 f ( x, y )是一个实值函数，因此傅里叶变换的输出是复数形式即：
全局傅里叶特征的提取
• 经过傅里叶变换后图像可以表示为所有频段的实 部和虚部变换系数。一般来说，低频系数反映的 是图像整体的变化，而高频系数反映的是图像局 部细节的变化 。在本文中，只有低频段的 Fourier 变换系数被用作全局特征。利用低频Fourier 变换 系数重构的图像中，局部的变化基本消失了而全 局的变化依然存在。
• 全局分类器和局部分类器也可以通过加权求和的方式进行集成，得到 总体分类器。
全局和局部分类器层级集成
• 全局特征主要反映人脸的整体属性，因此较低分辨率的人脸图像就可 以满足要求。但是，人脸图像包含的区域要足够大，特别是要包含人 脸的轮廓。相反，局部特征反映人脸的细节变化，因此需要较高分辨 率的人脸图像。
全局和局部特征的不同作用
• 图 1 全局和局部特征在人脸识别中的不同作用 •
全局傅里叶特征的提取
• 全局特征是指其特征向量的每一维都包含了人脸图像上所有部分（甚 至所有像素）的信息，因此反映的是人脸的整体属性。傅里叶变换是 一种常用的频谱分析方法。本文采用二维离散傅里叶变换系数的低频 部分作为全局特征。对一幅人脸图像进行二维离散傅里叶变换可以用 下面的公式表示：