基于人脸局部特征和SVM的表情识别

基于人脸局部特征和SV M 的表情识别

董李燕1,刘艺蕾2,王晓峰3

(1.上海大学数学系,上海　200444;2.上海财经大学信息管理与工程学院,上海　200433;

3.新疆师范大学数理信息学院,乌鲁木齐　830032)

摘　要:提出了一种基于人脸局部特征的表情识别方法.首先选取人脸重要的局部特征,对得到的局部特征进行主成分分析,然后用支持向量机(S VM )设计局部特征分类器来确定测试表情图像中局部特征,同时设计支持向量机(S VM )表情分类器,确定表情图像的所属类别.对JAFFE 人脸图像数据库进行仿真实验.结果表明,该方法要优于一般的基于整体特征的人脸表情识别方法.

关键词:表情识别;主成分分析;支持向量机

中图法分类号:TP391 文献标识码:A 文章编号:1673-162X (2009)01-0024-04

表情识别是利用计算机对人脸表情信息进行特征提取,按照人的认识和思维方式加以归类和理解.如快乐、惊奇、愤怒、恐惧、厌恶、悲伤等,涉及心理学、计算机视觉、模式识别、认知科学等领域的一个极富挑战性的交叉学科.表情识别的难点在于表情特征提取的准确性和有效性,因为各个表情本身体现在各个特

征点运动上的差别不是很大,比如嘴巴张开并不代表大笑,还有可能是哭或者是惊讶等[1,2].随着人机交

互研究的深入和巨大的应用前景,人脸面部表情识别已经成为当前模式识别和人工智能领域的一个研究热点.在过去几十年内,研究者已经提出了很多用于面部表情识别的方法.目前的人脸面部表情识别方法

可以分为两种:基于局部特征[3,4]和基于整体特征[5]的.基于局部特征的人脸面部表情识别是利用每个人

的面部特征(眉毛、眼睛、鼻子、嘴巴和面部轮廓等)的位置、大小及其相互位置的不同进行特征提取,达到人脸面部表情识别的目的.基于人脸整体特征的识别是从整个人脸图像出发,提取整体的统计特征实现人脸面部表情识别.基于局部特征的方法很大程度上减少了输入的数据,但是用有限的特征点来代表人脸图像,一些重要的表情识别和分类信息就会丢失.

支持向量机(Support Vect orMachine )是近年来在统计学习理论基础之上发展起来的一种全新的机器

学习算法.它基于统计学习理论的结构风险最小化原则[6],将最大化分类间隔的思想和基于核的方法结

合在一起,表现出很好的泛化能力.由于S VM 方法有统计学习理论作为其坚实的数学基础,并且可以很好地克服“维数灾难”和“过拟合”等传统算法所不可避免的问题,所以受到了越来越多的研究人员的关注,

成为机器学习领域的一个研究热点,在字符识别、图像分类、生物序列分析和遥感图像分析等[7,8]领域得

到了成功的应用.

该文考虑了人脸局部特征在表情识别中的重要性,使局部信息在识别过程中得到了很好的利用,并且使用构造两层分类机来降低人脸表情、姿态变化对识别率的影响,通过仿真试验看出这种方法具有很好的识别效果.

1　人脸局部特征的提取

1.1　特征向量提取

特征向量的选择直接影响到识别效果,人脸各种表情的不同主要是局部细节信息发生变化.在人脸灰度图像中梯度发生急剧变化的区域通常是人脸的局部区域[2]

,如眼睛、鼻子、嘴巴、耳朵等.正因为这些器

官的形状、大小各种变化才使得人脸表情千差万别[9].因此可以选取左眼、右眼、眉间、鼻子、嘴巴这五个

部分作为人脸表情分类.首先对所要训练的图像进行规一化处理,选择局部特征矩形框时要保证任何的表情下的局部特征都在矩形框内,选择出的局部特征如图1.

收稿日期:2008-09-13 修回日期:2008-11-01

作者简介:董李燕(1983—),女,山东日照人,上海大学数学系2005级硕士研究生;研究方向:系统分析与集成

.

(自然科学版)Journal of Hefei University (Natural Sciences )　2009年2月　第19卷第1期 Feb .2009Vol .19No .1　

图1　选取的局部特征(局部的大小是由统计得到的统一大小)

1.2　主成分分析(PCA )

得到人脸局部特征之后,要对其进行主成分分析(PCA ),设一幅人脸重要特征大小为h =M r i ×M r j (r

=1∶5),每个重要特征排成一列,然后按照眼睛、鼻子、嘴巴的顺序将每一幅图像的所有重要特征排成一列,即若训练m 个人n 幅图像,然PCA 分析过程如下:

(1)训练数据集为X ={x 1,x 2,…,x N },(N =n ×m ),x i 为维数为h 的列向量;

(2)计算x i 的平均向量:珔X =1

N ∑N i =1x i

;(1)

(3)计算协方差矩阵:Φi =x i -珔X;则协方差矩阵为:C =

1N ∑N i =1Φi ΦT i ,(2)即若A =[Φ1,Φ2,…,ΦN ]T ,则C =AA T ;

(4)计算利用S VD 分解计算协方差矩阵的前M 特征值和特征向量.

由于求AA T 的特征向量和特征值计算量太大,所以先求A T A 的特征值和特征向量并将特征值按由大

到小的顺序进行排序,然后再求AA T 的特征向量u i :

u i =A u ′i λ-12i ,(i =1,2,3,…,M ),(3)

则u i 即C 的前M 个特征向量,并将由u i 组成的一个基矩阵表示为W ={u 1,u 2,u 3,…,u M },即每一幅人脸图像都可以投影到由u 1,u 2,u 3,…,u M 张成的子空间中,为了减少计算量,可以选取前d 个特征向量作为子空间,可以按照特征值所占的能量比例来选取最大的前d 个特征向量:

∑d

i =1

λi ∑M i =1λi

≥α;(4)

要得到系数矩阵为:

g i =W T ×Φi ,(i =1,2,…,d ).(5)

2　SV M 分类器

2.1　SV M 与多分类

S VM 的分类原理可概括为:寻找一个分类超平面,使得训练样本中的两类样本点能被分开,并且距离该平面尽可能地远;而对线性不可分问题,通过核函数将低维输入空间的数据映射到高维空间,从而将原低维空间的线性不可分问题转化为高维空间上的线性可分问题.

对于两类问题,给定样本集(x i ,y i ),x i ∈R d ,y i ={1,-1},i =1,2,…,l,以及核函数K (x i ,x j )=

(Φ(x i )?Φ(x j )),其中Φ是非线性映射函数.S VM 训练出的学习机器为:

f (x )=(w ?Φ(x ))+b,(6)其中w 是权重,b 是偏置.

标准S VM 只能处理两类问题,下面为多分类S VM 分类方法思路.

[10]5

2第1期董李燕,等:基于人脸局部特征和S VM 的表情识别

(1)一对多(1-a-r)方法:此算法是对于K类问题构造K个2类分类器,第i个S VM用第i类中的训练样本作为正的训练样本,而将其他的样本作为负的训练样本.这个算法称为1-a-r(1-against-rest).最后的输出是2类分类器输出为最大的那一类(此时,2类分类器的判决函数不用取符号函数sgn).这种方法的优点是:只需要训练K个2类分类支持向量机,故其得到的分类函数的个数(K个)较少,其分类速度相对较快.

(2)一对一(1-a-1)方法:此方法方法是由Knerr提出的,该算法在K类训练样本中构造所以可能的两类分类器,每类仅仅在K类中的2类训练样本上训练,结果共构造K(K-1)/2个分类器.可称之为1 -a-1(1-against-1)方法.组合这些2类分类器很自然地用到了投票法,得票最多(MaxW ins)的类为新点所属的类.Ukrebel用该方法训练多类S VM取得了很好的结果.1-a-1方法的优点是:其训练速度较1 -a-r方法快.1-a-1方法的缺点是:1)如果单个两类分类器不规范化,则整个K类分类器将趋向于过学习;2)推广误差无界;3)分类器的数目K(K-1)/2随类数K急剧增加,导致在决策时速度很慢.采用一对多类分类方法[7],并使用后验概率来判断类别归属.Platt[11]提出一种S VM决策函数的输出映射为类后验概率的算法:

p(y=1|f(x))=1/(1+e A f(x)+B),(7)其中参数A和B通过最小化交叉熵损失函数[8]获得.对于c类输入样本,可由一对余方法训练出c个S VM 分类器,再由式(6)得到样本关于每个分类器的概率

p j=p(y=j|x)=1/(1+e A j f j(x)+B j),j=1,2,…,c,(8) p j是样本x属于第j类的概率.取p j最大的类别为样本x所属类,即决策规则为

y(x)=arg m ax

j=1,2,…,c (p

j

).(9)

2.2　SV M分类器

基于局部特征的识别系统由特征分类器和人脸表情分类器组成.特征分类器的目的是体现重要特征与非特重要特征的类间差,用于在待识别脸中搜索特征区域;人脸分类器体现出不同的人的类间差,它以特征分类器搜索出的特征为输入,确定输入类别.设训练数据集由c类{X

1

,X2,…,X c},每类N幅人脸图像{x1,x2,…,x N}组成.

(1)重要特征分类器:特征分类器体现了特征与非特征的差别.记第i类所有训练人脸中特征k组成

的集合为C

ik

(1≤i≤N,1≤k≤5).对第i类的部件k,以C ik的特征向量为正样本,并以相同数目非特征区域的特征向量为负样本,系统总共训练c×5个部件分类器.

(2)人脸分类器对第i类的特征C k,以C k(j=i)的特征向量为正样本,以C k(j≠i)的特征向量为负样本,训练人脸分类器.系统总共训练c×5个人脸分类器.

3　仿真实验及结果

3.1　实验过程

实验用数据库是日本女性的面部表情(JAFFE)数据库.该数据库包含了10个人的213幅图像.每个人做出7种基本表情(高兴、悲伤、惊奇、愤怒、厌恶、恐惧、中性),而且每种表情都做出3或4次.图2给出了数据库的几个样本.图像大小为256×256,选择其中每个人一种表情,即每种表情10幅图像进行试验,试验之前先要对试验图像进行预处理,一般人脸识别的对象应该是纯脸(pure face),而不应该包括头发,肩膀和背景等不相关的数据,如果待识别的人脸库中含有这些非纯脸的信息,很有可能这些信息对决策起关键作用,也不算真正意义上的人脸识别.因此该文首先使用使用人工的方法对图像作纯脸部分的分割如图3所示,形成100×120的图像,然后对分割后的图像进行标准化和规一化处理,以便表情特征的提取,分析和识别.基于重要特征的识别系统由特征分类器和人脸分类器组成.仿真实验步骤如下:

(1)输入训练样本找出训练样本中眼睛、鼻子、嘴巴等局部特征的位置;

(2)对(1)找到的局部区域进行PCA分析;

(3)设计局部特征S VM分类器,找出测试图像中的局部特征;

(4)设计整体S VM人脸分类器,对找到的重要特征进行分类.

62合肥学院学报(自然科学版)第19卷

由于样本比较少,每次随机的选择其中的5幅作训练样本,剩下的5幅作为测试样本,随机选择10次取平均值作为每种表情的识别率,最后的识别率为这7种表情识别率的平均值,识别结果如表1.

表1　识别试验结果对比

PCA 选取能量75%

PC A 选取能量85%PCA 选取能量95%2DPCA 56.7%

72.5%81.6%该文方法

65%79%88.5% 从试验数据可以看出,该文使用的方法要比一般整体方法要好,识别率要高.由于试验过程中两次使用手工分割图像,导致识别率没有达到预期的试验效果,但是由于在试验仿真过程中两次使用了S VM ,这就使得试验的时间比其他的使用S VM 方法进行人脸识别的时间要长,如何在保证识别率不下降的前提下提高识别时间也成了今后研究的一个方面.

参考文献:

[1]　郭凤英,王万森.基于人工情感的脸部表情识别的研究[J ].计算机仿真,2006(4):2042207.

[2]　刘晓曼,谭华春,章毓晋.人脸表情识别研究的新进展[J ].中国图像图形学报,2006(10):135921369.

[3]　Pantic M ,Rothkrantz L.Facial Acti on Recogniti on for Facial Exp ressi on Analysis fr om Static Face I m ages [J ].I EEE

Transacti ons on Syste m s,Man and Cybernetics —Part B,2004,34(3):14921461.

[4]　M a L,Khorasani K .Facial Exp ressi on Recogniti on U sing Constructive Feedf or ward Neural Net w orks[J ].I EEE Transacti ons

on Syste m s,Man and Cybernetics —Part B,2004,34(3):158821595.

[5]　颜志英,吴福理,方声涛,等.人物脸部图片的修改与实现[J ].计算机应用研究,2007(10):1932196.

[6]　W en Z,Huang T .Cap turing Subtle FacialMoti ons in 3d Face Tracking[C ].∥Pr oceedings of I EEE I nternati onal Conference

on Computer V isi on,N ice:[s .n .],2003:134321355.

[7]　韩璇璇,王益文,洪慧,等.面孔呈现顺序对局部表情识别的影响[J ].山东师范大学学报:自然科学版,2008(2):482

51.

[8]　张敏贵,潘泉,张洪才,等.基于支持向量机的人脸分类[J ].计算机工程,2004,30(11):1102112.

[9]　王宏漫,欧宗瑛.基于支持向量机的人脸识别方法研究[J ].小型微型计算机系统,2004,25(1):1392142.

[10]　BartlettM S,Movellan J R,Sejnowski T J.Face Recogniti on by I ndependent Component Analysis[J ].I EEE Trans Neural

Net w orks,2002(11):145021464.

[11]　Platt J C .Pr obabilities f or Support Vect or Machines[C ].∥Advances in Large M argin Classifiers,Massachusetts:M I T

Press,2000:61274.

[责任编校:李　军]

(下转第31页)

72第1期董李燕,等:基于人脸局部特征和S VM 的表情识别

参考文献:[1]　夏骄雄.I nternet 与信息管理系统[J ].计算机工程与应用,2000,36(3):1422144.

[2]　杨云江,罗淑英.基于W E B 环境的科研管理信息系统的设计与实现[J ].贵州大学学报,2004(1):86288.

[3]　王喜媛,张平平,叶明,等.用C /S 和B /S 模型构建高校科研管理信息系统的网络平台[J ].科研管理,2005,25(2):42244.

[4]　张景元,巴连良.基于W eb 的科研信息管理系统[J ].计算机工程与设计,2007,28(19):475524756.

[5]　蔡长安,王琪.基于B /S 模式的学生信息管理系统设计与实现[J ].计算机工程与设计,2006,27(14):206622069.

[6]　王晟.V isual C#.NET 数据库开发经典案例解析[M ].北京:清华大学出版社,2005:3812386.

[责任编校:罗季重]

Research on Un i versity Sc i en ti f i c Research M anage m en t

I nfor ma ti on Syste m Ba sed on ASP .NET

T A IDe 2yi a ,G UO Chang 2jian b

(a .Depart m ent of Scientific Research,b .Depart m ent of Computer Science and

Technol ogy;Hefei University,Hefei 230601,China )

Abstract:T o i m p r ove the efficiency of university scientific manage ment,a scientific infor mati on manage ment syste m based on B /S was designed and i m p le mented by using ASP .NET,https://www.360docs.net/doc/7216275558.html, technol ogy and Access 2003database .The syste m structure,functi on mode,key technol ogy and mechanis m s of net w ork were discussed .The i m p le mentati on of the syste m highly i m p r oved the accuracy and efficiency of scientific research manage ment .

Key words:scientific research manage ment;inf or mati on manage ment syste m;B /S mode;three architecture

(上接第27页)

A Face Expressi on Recogn iti on M ethod Ba sed

on Face Fea tures and Support Vector M ach i n e

DONG L i 2yan 1,L IU Yi 2lei 2,WANG Xiao 2feng 3

(1.Depart m ent of M athe matics,Shanghai University,Shanghai 200444;

2.School of I nfor mati on Manage ment and Engineering,Shanghai University of Finance and Econom ics,Shanghai 200433;

3.School ofM ath Physics and I nfor mati on,Xinjiang Nor mal University,U ru mqi 830032,China )

Abstract:A method f or face exp ressi on recogniti on based on face component features was p r oposed .Face regi onal component feature was first selected .The p rinci p le component analysis (PCA )coefficients were extracted as feature vect ors fr om the face component i m age .Then,support vect or machine (S VM )was used t o design feature classificati on machine f or distinguishing the component regi ons in the face i m age .Meanwhile,face exp ressi on classificati on machine was als o designed t o deter m ine which pers on the i m age bel ongs t o .Some experi m ents have been made on the JAFFE face exp ressi on i m age database .The result sho wed that this method was better than other methods that used the whole features .

Key words:exp ressi on recogniti on;p rinci p le component analysis;support vect or machines

1

3第1期

台德艺,等:基于ASP .NET 的高校科研管理系统的研究