一种基于核主成分分析的人脸识别方法

河北科技师范学院学报　第22卷第3期,2008年9月

Journal of Hebei Nor mal University of Science&Technol ogy Vol.22No.3Sep te mber2008

一种基于核主成分分析的人脸识别方法

杨　绍　华

(宁夏大学数学计算机学院,宁夏银川,750021)

摘要:针对主成分分析(PC A)算法中存在不能提取非线性特征的问题,提出了利用KPCA提取图像特征,最近邻法分类的人脸识别改进方法。基于ORL数据库的相关实验表明,这样的系统能够取得比传统PC A更好的识别性能。

关键词:人脸识别方法;核主成分分析;主成分分析

中图分类号:TP391 文献标志码:A 文章编号:167227983(2008)0320045204

人脸识别是模式识别领域一个重要的研究方向,与指纹、语言、虹膜等其他人体生物特征相比,人脸识别更加直接、友好,在身份识别、安检监控、视频会议领域具有广阔的应用前景。主成分分析(Princi2 pal Component Analysis)[1,2]是人脸图像识别中经典的线性特征提取方法,其通过对原始样本的协方差矩阵进行分解,选取前面R最大特征值所对应的特征向量组成最优投影矩阵,通过将样本数据在最优投影矩阵上投影,将其映射到主成分空间中,达到数据压缩和去除样本之间相关性的目的。目前,这种方法仍广泛应用于人脸识别等模式识别问题中[3～5]。

然而,PCA算法是一种线性方法,它无法揭示出人脸图像中的非线性特征。PCA从特征最大的角度而不是最优角度出发进行特征提取,因而这些非线性特征对识别可能也是有益的。此外,线性方法只能处理具有属性值的数据,在很多应用中可能不知道数据的属性值,而只知道相互关系(相似或不相似),线性方法无法直接应用于这样的场合[6]。针对上述特点,笔者在人脸特征提取过程中首先通过核函数映射,将原始样本映射到核函数空间中,利用KPCA方法[7,8]提取特征,最后最近邻法作为分类器进行分类识别。在ORL和Y ALE数据库上的相关实验表明,该方法较传统PCA有着更好的识别性能。

1　PCA提取特征的原理

设x

i ∈R n(i=1,2,…,m)是M个n维的观测样本,X=(x

1

,x2,…,x M)T为观测样本矩阵,其总体样

本的均值为:

μ=1

M ∑

M

i=1

x i(1)

在此用(x

i

-μ)表示样本均值,这里的讨论是以样本的零均值情况进行的。样本集的协方差矩阵定义为:

C x=E[(x i-μ)(x i-μ)T]

1

M

∑[(x

i

-μ)(x i-μ)T](2)

因为C

x 是实对称的,找到一组r个标准正交特征向量总是可能的。令λ

i

,i=1,2,…,r表示C x的r

个非零特征根,且按照顺序λ

1≥λ

2

≥…λ

r

排列,这些特征值相对应的特征向量为u

i

,i=1,2,…,r,构成

一个n×r矩阵

U=[u1,u2,…,u r](3)那么,对任何一个观测样本x∈R n来讲,基于投影矩阵U的投影系数是

y=U T x(4)

基金项目:宁夏大学自然科学基金资助项目(项目编号:ZR200716)。

收稿日期:2008206203;修改稿收到日期:2008207216

2　基于核方法的特征提取

许多利用机器学习的数据分析任务中,

都需要对数据进行合适的表示或描述。一个有效的数据表示能够使数据的内在结构更清晰、减少数据的维数,以利于进一步计算。KPCA (核主成分分析)的基本思想是通过一个非线性映射,把输入数据映射到一个高维的特征空间,在特征空间上进行线性主成分分

析[7]。设输入数据X k 被映射为φ(X k ),假设它们已经被中心化即满足如下条件:

∑N

k =1φ(X k )=0(5)

其中,X k 是N 维输入训练样本,φ(X k )是变换后的训练样本。映射后训练样本的协方差矩阵C 为:

C =1N ∑N j =1

φ(X j )φ(X j )T (6)求解该协方差的特征方程:

λV =CV (7)

根据再生核理论,特征向量V 一定位于由φ(X 1)…

φ(X N )长成的空间内,即V 可以由φ(X 1)…φ(X N )的线性组合表示:

V =∑N i =1αi φ(X i )(8)

其中α1,…,αN 为常数。

定义一个N ×N 的矩阵K,K ij =φ(X i )T φ(X i )

(9)

K 称为核矩阵,将公式(6),(8),(9)代入(7)式得:K

α=N λα(10)这样,求解式(7)的特征向量V 的问题就转换为求解(10)式中特征向量α。由式(9)得知,核矩阵K 是对称的、半正定方阵,其具有非负的特征向量。通过求解特征方程(10)得到一组非零特征值λj 以及对应满足归一化条件

(αj ,αj )=1(11)

的特征向量αj (j =1,…,N ′)(N ′≤N )。根据(8)式得到特征空间上的投影主分量V j (j =1,…,N ),设X

是测试样本,那么X 在投影主分量V j (j =1,…,N )上的投影为:

(V j )T <(X )=∑N j =1a j i <(X i )T <(X )=∑N j =1

a j i K (X i ,X )(12)于是将R f 空间的PCA 问题转换为R f 空间的内积问题,在求解过程中只要知道K (X i ,X )的表达式

即可,K (X i ,X )称为核函数,核函数的选择必须满足Mercy 定理,常用的核函数有

(1)线性函数　K (X i ,X )=

(2)二次核函数　K (X i ,X )=(+1)

(3)多项式核函数　K (X i ,X )=[+c]d

,d =1,2,…,当d =1,c =0时该函数为线性核函数。(4)Sig moid 核函数　K (X i ,X )=tanh [v (X ?X i )+c ]

(5)高斯径向基函数　K (X i ,X )=exp (-q ‖X -X i ‖2

)图1　ORL 人脸库部分图像

3　计算机仿真算法描述与实验结果

3.1　实验参数描述

本次实验是在I ntel Core T M Duo Pr ocess or T5500

1.66,内存512M ,W indows xp s p2机器上利用Mat 2

lab 7.0编程实现的。使用ORL 人脸数据库作为实

验数据集。ORL 数据库有40个人的人脸图像,每人

有10幅112×92像素的脸部图像,256级灰度。其64河北科技师范学院学报 22卷　

中人的脸部表情和脸部细节有着不同程度的变化,如笑或不笑,眼睛睁或闭,戴或不戴眼镜等;人脸姿态也有相当程度的变化,深度旋转和平面旋转可达20°;图1是ORL 人脸库的部分图像。

3.2　算法描述

核函数方法首先采用非线性映射将原始数据由数据空间映射到特征空间,进而在特征空间进行相应的线性变换,由于运用了非线性映射,且这种非线性映射往往是非常复杂的从而大大增加了非线性数据的处理能力,在实际应用中核函数的选择及相关参数的确定是问题的关键和难点所在,本次研究选择的是常用的多项式核函数,算法如图3所示

。

图2　基于核主成分分析的算法框图

训练阶段:

读入训练样本图像,构建人脸图像数据库,然后选择多项式核函数进行训练样本到核函数空间的映射,然后在核空间中实施PCA 方法,这样就将线性空间中的非线性问题转换为非线性空间中的线性问题来进行处理。选择合适的主成分分量维数构建核空间中的最优投影矩阵;训练样本在该投影矩阵上进行映射,获得训练样本的特征系数。

测试阶段:

读入测试样本图像,并在训练阶段产生的核空间最优投影矩阵上进行映射,获得测试样本的特征系数。分类阶段:

选择最近邻分类器进行分类,最近邻分类器的原理是通过计算测试样本特征系数到每个训练样本特征系数的距离,确定离测试样本最近的那个样本的类别为测试样本的类别。其中,度量距离选用的是欧氏距离。

3.3　实验与实验结果

实验1　多项式阶数d 的变化对识别率的影响。

多项式核函数K (X i ,X )=[〈X ?X i >+c ]d ,d =1,2,…中取多项式偏差c =1,需要调整的参数是多项式阶数d 。实验1比较了多项式阶数分别取1到7时,ORL 人脸数据库上识别性能的变化。其中每类人脸选取前5个作为训练样本,剩下5个作为测试样本。为了观察多项式阶数变化对识别性能的影响,主分量维数固定取值为32,表1给出了实验结果。

表1　ORL 数据库上不同多项式阶数下识别性能

多项式阶数d

训练时间/s 错误数正确数识别率/%测试时间/s 1

8.521518592.504.722

8.441518592.504.723

8.501618492.004.704

8.551718391.504.705

8.581818291.004.726

8.611918190.504.7578.552417688.004.72

74　3期 杨绍华　一种基于核主成分分析的人脸识别方法

实验2　主分量维数的变化对识别性能和识别时间的影响。

KPCA实际上是PCA的一种改进算法,即在核映射空间中实施PCA方法。因此,KPCA算法中选择不同的主分量数对人脸特征的贡献也是不同的。图3给出了主分量数变化过程中,KPCA算法和PCA 算法识别性能的变化比较;图4给出了主分量数变化过程中,KPCA算法和PCA算法识别时间的变化比较。实验中取每类人脸前5副图像进行训练,剩下的5副进行测试,KPCA中多项式阶数d=2。

表1结果表明,随着多项式阶数的增加,识别率并没有明显增加,反而随着多项式阶数的增加有所下降。其中算法在多项式阶数为1(线性情况)和多项式阶数为2和3(非线性情况)时的识别性能最好。这是因为通过核空间的映射后实施PCA方法,能够获得更多有益于样本进行分类的非线性特征,所以识别率较高。但随着多项式阶数的增加,映射过程变得更为复杂,然而复杂的核函数映射并没带来更多有利于人类的非线性特征,反而带来了干扰K NN正确分类的因素,当多项式阶数大于6时这种不利更为明显。

图3结果显示,随着主分量数的增加识别率呈明显增加趋势。因为排列在前面的主分量对原始人脸图像的表征意义最大,所以当主分量数从1到10的变化过程中,算法的识别率变化明显。但当主分量数达到一定的数量后,其对人脸正确分类的贡献就不再明显,这样在具体的识别问题中只需取前面个别的主分量数就能很好的表征人脸,起到很好的数据降维目的。同时也注意到由于KPCA能够提取到有益于人脸正确分类的非线性特征,因此有着比PCA更好的识别性能。图4结果表明,PCA方法中随着主分量的增加,识别时间呈较明显的上升趋势,KPCA算法中即使核映射过程增加了系统的开销,但还是表现出了较PCA更好的识别效率,在人脸识别这类实时性和准确性要求较高的应用中具有更好的实用价值。

图3　主分量数对识别性能的影响 图4　主分量数对识别时间的影响笔者通过分析PCA中存在不能提取图像中非线性特征的问题,提出利用KPCA进行特征提取(即通过核函数方法将原始样本空间映射到核空间中实施线性PCA),最近邻法进行分类的人脸识别方法,在ORL人脸数据库上表现出较传统PCA更好的识别性能,同时也注意到实验中相关参数的调整是通过实验来获得的。另外,虽然KPCA方法的识别效率较传统PCA更好,但随着训练样本的增加核函数映射过程会带来更大的系统开销,降低识别的效率,如何自适应的选择参数和有效降低数据维数提高识别效率是进一步要研究的问题。

参考文献:

[1]　T URK M,PE NT LAND A.Eigenfaces f or Recogniti on[J].Journal of Cognitive Neur oscience,1991,3(1):71286.

[2]　PETER N B,JOAO P H,DAV I D J K.Eigenfaces vs Fisherfaces:Recogniti on using class s pecific linear p r ojecti on[J].

I EEE Trans on Pattern AnalMachine I ntell,1997,19(7):7112720.

[3]　杨健,杨静宇.具有统计不相关性的图像投影鉴别分析及人脸识别[J].计算机研究与发展,2003,40(3):4472452.

(下转至第62页)

[8]　王汝成.园林规划设计[M ].北京:中国建筑工业出版社,1999.

[9]　赵宁,李兵营.孟家滩花园居住小区规划设计[J ].青岛理工大学学报,2007,28(1):43247.

作者简介:母传伟(19702),男,高级工程师、注册城市规划师。主要研究方向:城市规划、总图运输、景观设计。

(责任编辑:朱宝昌)

Bu ild i n g Har m on i ous Ne i ghborhood Env i ronm en t

———Q i n huangdao Sh ijiji a yuan Ne i ghborhood Pl ann i n g Concept

MU Chun 2wei 1,ZHANG L i 2ju

2(1Cap ital Engineering &Research I ncor porati on (Q inhuangdao )Co .L i m ited,Planning Centre,

2A rchitectural Design Centre,Q inhuangdao Hebei,066001,China )

Abstract:The paper discusses the p lanning concep t of Q inhuangdao Shijijiayuan based on the p ractice of o 2verall layout,architectural design,and landscape design .This concep t e mphasizes “har moni ous co 2existence of peop le,building and envir on ment ”,with an ai m t o build har moni ous and war m neighborhood envir on ment .Key words:har mony;Shijijiayuan;overall layout;landscape design

(上接第48页)

[4]　Y ANG J,ZHANG D,Y ANG J Y .T wo 2di m ensi onal PCA:A ne w App r oach t o Appearance 2based Face Rep resentati on and

Recogniti on[J ].I EEE Trans on Pattern AnalM achine I ntell,2004,26(1):1312137.

[5]　陈伏兵,陈秀宏,张生亮,等.模块二维主成分分析———人脸识别新方法[J ].计算机工程,2006,32(14):1792180,

183.

[6]　ZHANG D Q,CHE N S C,ZHOU Z H.Non 2negative matrix fact orizati on on kernels[C ]//Pr oceedings of the 9th pacific ri m

internati onal conference on artificial intelligence (PR I CA I’06),Guilin China:LNA I 4099,2006:4042412.

[7]　SCH O ??

LK OPF B,S MOLA A,ROBERTMULLER K .Nonlinear component analysis as a kernel eigenvalue p r oble m [J ].Neu 2

ral computer,1998(10):129921319.

[8]　M U ??LLER K R,M I K A S,R A ??TSCH G,et al .An I ntr oducti on t o Kernel 2Based Learning A lgorith m s[J ].I EEE Trans on Neu 2

ral Net w orks,2001,12(2):1812201.作者简介:杨绍华(19782),男,讲师,硕士。主要研究方向:模式识别,图形图像处理与多媒体技术。

(责任编辑:朱宝昌)

A Face Recogn iti on M ethod Ba sed On Kernel 2PCA

Y ANG Shao 2hua

(School ofMathe matics and Computer Science,N ingxia University,Yin chuan N ingxia,750021,China )Abstract:T o s olve the p r oble m s that Princi pal Component Analysis (PCA )can not extract nonlinear charac 2ter,this paper p resents an i m age recogniti on method .Thismethod makes use of Kernel 2PCA t o extract the fea 2ture inf or mati on of i m ages and the NN (Nearest Neighbor )is selected t o recognize the character .The experi 2ment based on ORL 2Database showed that this method could get better perf or mance than traditi onal PCA meth 2ods .

Key words:face recogniti on;kernel PCA;PCA