人脸的性别分类

人脸的性别分类
武勃 艾海舟 肖习攀 徐光佑 （清华大学计算机科学与技术系，智能技术与系统国家重点实验室，北京 100084） 摘要： 人脸的性别分类是指根据人脸的图象判别其性别的模式识别问题。 本文系统地研究了 不同的特征提取方法和分类方法在性别分类问题上的性能，其中包括主分量分析（PCA）、 Fisher 线性鉴别分析（FLD）、最佳特征提取、Adaboost 算法、支持向量机（SVM）。给出 了在我们的 9 姿态人脸库、FERET 人脸库和一个网络图片人脸库上的对比实验结果。实验表 明人脸中的性别信息集中存在于某个子空间中， 因此在分类前对样本进行适当的压缩降维不 但不会明显降低分类器的性能， 而且可以大大减少分类的时间开销。 最后介绍了将性别分类 器与自动人脸检测和特征提取平台集成起来的基于人脸图象的性别判别系统。 关键词：性别分类，主分量分析，线性鉴别判别，Adaboost，支持向量机
T
散度矩阵为 S w = P (ϖ 1 ) S1 + P (ϖ 2 ) S 2 ，其中 P (ϖ i ) 是第 i 类的先验概率；样本的类间离散 度矩阵为 S b = ( µ1 − µ )( µ1 − µ ) + ( µ 2 − µ )( µ 2 − µ ) 。Fisher 准则定义为
T T
J F ( w) =
1, h( x ) = 0,
∑
T
t =1
α t g t ( x) ≥ threshold 。理论上随着弱分类器个数的增加，得到的强分类器在
otherwise
训练样本上的分类错误按指数递减[12]。 （ 4 ） PCA+ADABOOST+SVM 从理论上讲，显然由 Adaboost 算法挑选出来的本征向量要优于简单的根据本征值大小 挑选出来的本征向量。因为根据本征值大小挑选出来的本征向量只在表示熵[8]的意义下是 最优的，它没有考虑任何类别信息，而 Adaboost 算法则是充分考虑了各个本征向量的线性 分类能力。因此不妨用 Adaboost 挑选的本征向量集合对训练样本进行投影降维，然后再用 降维后的特征向量训练 SVM 分类器。 （ 5 ） FLD+CSCIE+SVM 主分量分析虽然在表示熵的意义下是最优的， 但它并没有充分利用训练样本中的类别信 息，这些信息显然对分类器的训练是有用的。最佳特征抽取方法[8]应该包含两部分信息， 其一是包含在类平均向量中鉴别信息的最优压缩信息， 理论上这部分信息就是具有统计不相 关性的最优鉴别信息[14]， 对于两类的情况这部分等价于 FLD 抽取的信息； 另一是包含在类 中心化向量中的鉴别信息提取。有关最佳特征抽取在[8]中有系统阐述，这里只简单介绍。 Fisher 线性判别分析是主分量分析的直接推广。对于两类问题，设两类样本集合分别 为ϖ 1 和ϖ 2 ，定义各类内离散度矩阵为 S i = E[( x − µ i ) ( x − µ i ) | ϖ i ] ，i = 1,2 ；总类内离
1
的结论是：样本尺度大小对 SVM 分类器有一定影响，这个结果与[6]有所不同。最后，我们 采用 PCA+SVM 方法实现了一个自动性别分类系统，在网络图片人脸库上的正确率为 79.75%。 本文的实验共用到了三个人脸库——清华大学计算机系的 9 姿态人脸库、 FERET 人脸库 和网络图片人脸库。 用 FERET 人脸库是由于它是当今世界上公认的比较完全， 规模较大的人 脸库，具有一定的代表性。使用网络图片人脸库是因为其更接近实际应用。
~ =P 一化处理，第 i 类第 j 个分量的归一化方差为 γ ij i
γ ij ，其中 λ j 是产生矩阵 S w 的第 j 个 λj
本征值， Pi 是第 i 类的先验概率。 γ ij 是第 i 类第 j 个分量的方差， γ ij 可以由下式计算
γ ij = u T j S i u j ，其中 u j 是 S w 的第 j 个本征向量， S i 是第 i 类的协方差矩阵。用上式计算第
3
方差不同就可以分类， x ∈ [α 1 , α 2 ] 时则认为其为第一类， x ∈ ( −∞, α 1 ) ∪ (α 2 ,+∞) 时认为 其为第二类。 为了衡量包含二阶分类信息的多少，可以用总体熵 H P = −E[log p(x)] 。空间坐标系的产 为了计算总体熵， 先对方差进行归 生矩阵采用 Fisher 线性判别中的总类内离散度矩阵 S w 。
T
2
中 c 是常数，为分类器的阈值。这样得到一个大的弱分类器集合。使用 Adaboost 算法从这 个弱分类器集合中找出一个小子集， 这个子集中的弱分类器可以联合构成一个强分类器用来 解决性别分类问题。首先以各个本征向量为权向量，初始化弱分类器的阈值 c 。然后将 Adaboost 算法作用于这些弱分类器，最终的强分类器可以表示为一系列弱分类器的加权和
2.
性别分类算法
性别分类是一个典型的二分类问题， 按照抽取特征的不同和分类方法的不同有多种解决 方案。本文考虑的抽取特征有：象素特征本身、PCA 特征、LDA 特征、最佳特征提取，分类 方法有 Adaboost 算法、支持向量机（SVM）（以高斯径向基函数为核函数）。将其中用到的 典型的 5 种组合介绍如下。 （ 1 ） 基于 象素特征 的 支持向量 机 方法 以人脸区域的象素展开矢量为特征，用以高斯径向基为核函数的 SVM 方法进行性别分 类，这是 Moghaddam 等在论文[6]中使用的方法。假设共有 M 个训练样本(xi,yi)，其中 xi∈ RN，yi 是 xi 对应的指标，yi∈{0,1}，则支持向量机分类器的形式为如下分类超平面：
FLD 方法和 CSCIE 方法都利用了样本的类别信息。但对于二分类问题，FLD 只能找到一 个投影方向，这对于线性不可分问题是不够的。可以将 FLD 和 CSCIE 结合起来，如果要提取
1.
引言
人脸是人类最重要的生物特征之一， 反映了很多重要的信息， 如身份、 年龄和性别等等。 性别分类就是根据输入的人脸图象判断性别的过程。 虽然对人来说识别男女并没有什么神秘 的地方，但用计算机进行自动的性别分类并不是一个简单的问题。 有关性别分类的研究可大致划分为两个阶段， 一个阶段主要源于心理学研究的需要或纯 粹作为一个实验问题来看待，主要采用人工神经网络方法，包括 Gollomb 等[1]的两层神经 元网络 SEXNET 方法，用来识别 30×30 的人脸样本的性别；Cottrell 等[2]先对样本进行主 分量分析，然后训练 BP 神经元网络用于识别人脸的表情和性别；Edelman 等[3]采用线性神 经元网络进行分类，用人脸的三个不同部分（整个人脸、人脸上半部分和下半部分）分别训 练， 对这三种情况下的分类器性能加以比较分析； Alice 等[4]系统地研究了人脸女性化程度、 男性化程度、可识别程度和漂亮程度之间的关系，并用 PCA 模型对人脸中所含信息的统计 结构进行了定量计算；他们还用 PCA 方法从人脸的三维模型（结构和纹理）中提取特征， 并用于训练性别分类的感知机[5]。近年来随着人脸检测研究的进展和对智能视觉监视的需 求日益高涨，自动性别分类受到关注，Moghaddam 等[6]采用了基于象素特征的支持向量机 (SVM)方法，并与一些经典的方法（RBF 网络、Fisher 线性鉴别分析（FLD） ）做了系统的 比较，在 FERET 人脸库上得到了比较理想的效果（错误率只有 3.4%） ，Shakhnarovich 等[7] 将基于积分图象特征的 Adaboost 方法应用于性别分类问题，并且完成了一个自动性别分类 系统，使用普通网络图片测试正确率达 78%。 为了深入探讨性别分类的应用前景，考虑基本正面的人脸（平面内旋转小于±15°，平面 外旋转小于±30°） ， 我们通过实验系统地分析了几种解决方案， 包括基于象素特征的 SVM 方 法、PCA+SVM 方法、PCA+Adaboost 方法、PCA+Adaboost+SVM 方法和最佳特征提取即 FLD+CSCIE（Centralized Sample’s Classification Information Extracting [8]）+SVM 方法，并 比较了这 5 种方法之间的优劣。 实验结果表明采用主分量分析进行特征抽取后的本征向量作 为分类器的输入和直接采用原始象素作为分类器输入，最终的分类正确率并没有很大差别。 这就说明由主要的本征向量张成的特征子空间已经包含了人脸中的大部分性别信息， 在分类 前进行特征提取起到了压缩样本，减少计算量的作用，而且不会明显降低分类正确率。本文 还考察了 SVM 分类器在各种输入尺度(16×16，24×24，32×32，40×40)下的性能。得到
~ log γ ~ 。为了从坐 J (u j ) = −∑ γ ij ij
i =1
2
图 2. 9 姿态人脸库
标轴中选取具有最大二阶判别信息 的 d 个坐标轴，将坐标轴按照总体熵准则 J (u j ) 从小到大排列
J (u1 ) ≤ " ≤ J (u d ) ≤ " ≤ J (u n ) ，取前 d 个坐标轴即可。
i 类第 j 个分量的方差时的一个假设是， S w 的本征向量可以使 S1 和 S 2 同时对角化。这个假
设通常在各类的协方差矩阵都相同 的情况下才可能满足。这个假设使 得方差的计算得到的只是一个近似 值，如果这两类中心化后的分布差 别很大，那方差的值与真实值会相 差很大。对于两类问题，第 j 个坐 标轴 u j 的总体熵准则函数定义为
wT S b w n ，其中 w ∈ R 。 T 使得
J F ( w) 达到最大值。该 w ∗ 是满足
S b w ∗ = λS w w ∗ 的广义本征向量。对于
c 类问题而言这样的 w∗ 最多只有 c − 1
个。
图 1. 中心化样本向量中的类判别信息
虽然 FLD 方法考虑了类别信息，但 它只利用了包含在类均值向量中的类别 信息。而中心化后的样本向量仍然对分类很有帮助。如图 1 所示，均值相同的两类只要条件