人脸表情识别

图像处理与模式识别

------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。

本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。

关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important meansthatwe communicateand express the emotions.Without special training, People often difficult to conceal their facial expression.So, by the analyzing facial expression, we can obtain important information. Facial expression recognitionis animportant component that the implementation of human-computer interaction, and animportant research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic.

In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial expression feature extraction.

Keywords：facelocation; integral projection; facialexpression recognition; manifold learning;GILTSA

目录

1 简介 (1)

2 研究背景及意义 (1)

3 国内外研究概况及发展趋势 (2)

4 几种最新的表情特征提取方法 (3)

4.1 静态图像的表情特征提取方法 (3)

4.2 动态图像序列的表情特征提取方法 (4)

1 简介

自然语言和形体语言是人体语言的主要部分。通过面部的不同变化来进行表达是形体语言的一种表达方式，我们把这种表达方式称之为面部表情，是我们进行交往和表达情绪的一种重要手段。情绪的产生通常会出现相应的形体语言行为，比如面部表情和身体的动作，而面部表情不经过特殊训练很难进行掩饰。因此，当一个人准备对其交流的人进行欺骗时，自然语言的掩饰往往比面部表情更为容易。在日常的生活中,人类通过人脸的细小的变化可以精确且充分的传递各种信息，同样的，也可以通过人脸表情信息去识别对方所要表达的态度和内心观点，因此人脸表情在人类平常的生活交流和交往中占据着重要的作用。

专家研究表明：在人类的日常交流中，情感信息的表达主要是通过语言、声音、和面部表情来传递的，其中通过语言传递的信息占信息总量的 7%，声音传递的信息（主要包括音调的高低，语速的快慢等因素）为 38%，而通过人脸表情传递的信息却达到信息总量的 55%。因此可知，人脸表情是进行人与人之间情感信息交流的重要方式。不同于常见的人为的通过人眼去观察脸部表情的变化来获取信息，我们所指人脸表情识别是通过软件分析人面部表情的变化来获得其内心的情绪和思想活动，进而得到大量的更加真实的内在信息。在人机（人类与计算机或者机器人）交互中，如果机器能够获取并理解人脸表情的一些信息，机器能够更好的理解人的表达和需求，这样可以使得机器更加的智能化，更有利于机器人的实际应用发展。同时，利用计算机对人类表情进行分析也能够更好的促进人与人之间的交流，使得人与人之间，尤其是残障人士更好的表达自己，也能使得彼此之间能够更好的理解彼此的所表达的实际内心想法。然而在人脸表情识别研究中我们发现，相对于预处理和最终的识别过程，在特征提取过程中，由于人脸是易变的、非刚性的，很难用固定的模型进行描述，因此特征提取是人脸识别技术中一个基本而又十分重要的环节。这里将会对特征提取和降维技术以及它们存在的问题进行研究，以求得更好的表情识别率，更好的将表情识别运用的实际的生活中去，进而推动表情识别的研究、应用。

2 研究背景及意义

人类表情识别技术的研究和实现的意义主要体现在以下几个方面: （1）能

够很大的拓展相关学科的研究范围，促进其发展。面部表情识别在本质上一个机器视觉领域的问题，但是人的面部表情识别的研究融合了认知科学、生理学、心理学等多门学科的问题。如何利用现有的心理学、生理学的知识通过计算机去判断、解释这些学科上的问题，是人工智能领域和机器视觉领域的核心问题，在这个课题上的研究可极大促进这些学科的成熟和发展。

（2）提高案件侦破效率。当今社会，犯罪人员越来越会伪装，使得办案人员，有时候无法识别犯罪嫌疑人的供词的真假。根据在不同提问时犯罪嫌疑人的不同表情，可以更好的甄别出谎言。这对办案人员的案件侦破效率将会有极大的提高。

（3）改善现有的人机交互，获得更加智能化的人机交互环境。如果机器人能通过人脸表情分析，来获得人类的真实内在的想法，则可以极大的提高机器人的智能化水平，更好的促进智能机器人的更好，更快，更实用化的发展。

（4）在教育领域。通过在课堂上对老师和学生的实时表情分析观察可以更好的了解学生的兴趣爱好，老师的教学能力。以便于老师能够更好的改进自己的教学方式，促进教师与学生的非语言交流，使老师能够在课堂上更好的把握学生的心里发展。

（5）医疗领域。在利用机器人进行手术操作和利用机器人进行病人的护理中，根据病人表情的变化来了解病人身体状况，可以更好的进行手术和护理操作，避免悲剧发生。

3 国内外研究概况及发展趋势

未来研究方向主要有以下几个方面：

（1）人脸为非刚性的柔体，人脸的不同表情表现在图像上会产生多种不同的变化，如五官的位置，形状等。不同的表情特征对于表情识别的识别率和速度影响极大。因此如何提取表情的有效特征,对于这些特征如何进行有效的表达？这些是科研人员必须要解决的问题。

（2）人类表情千变万化，而且存在时间很短，对于整个表情识别的过程需要进行人脸定位、特征提取和识别，因此计算量必然很大。如果对于这些过程进行粗略处理，那么识别结果必然会受到一些因素的影响，识别率一般不会太高；而进行精细处理，虽然能有效的提高识别率，但是时间的花费必然很高。如何提

出一种有效的算法，既能具有较低的时间去处理这些过程，又能具有较高的识别率，是科研人员不得不需要面对的一个问题。

（3）人脸表情会受到多种因素的影响，比如光照、姿态的变化，脸部阻挡等。如何解决这些问题对表情识别的影响，也是比较大的一个挑战。

4几种最新的表情特征提取方法

4.1静态图像的表情特征提取方法

静态图像就是无变化的静止图片，在经过一系列的预处理( 如旋转校正、人脸定位、尺度归一、缩放等)之后就作为后续处理过程的对象。

a、几何特征提取方法

几何特征的提取方法是一种宏观的方法，也就是说从总体上表示出人脸的结构变化。该方法的主要工作是提取人脸面部的特征点，通过利用特征点之间的几何关系来提取人脸表情特征。但是，几何特征的获取对特征点提取的准确性要求比较高，对细微变化的信息区分性不够。

代表性的几何特征提取方法主要有以下三种:

(1) 主动形状模型( Active Shape Models，ASM) 。是由 Cootes 等提出的一种基于统计模型的特征匹配方法，首先提取表情轮廓的特征点，特征点的集合形成训练集。这样就可以用点分布模型进行描述，得到样本的统计模型。然后 ASM 方法使用局部纹理模型在人脸表情图像中寻找特征点的最佳位置，并且根据搜索结果来调整统计模型的参数，这样可以使模型与人脸表情图像的轮廓逐步逼近，就可以达到准确定位目标的目的。

(2) 活动外观模型。1998 年，Cootes 等首先在ASM 模型的基础上提出了活动外观模型 ( ActiveAppearance Models，AAM ) 方法。跟 ASM 类似的是，AAM也是在对训练数据进行统计分析的基础之上建立模型，再利用该模型对目标来进行拟合计算。Cheon等提出了一种差分主动外观模型(AAM) 和流形学习相结合的人脸表情识别方法，首先用差分AAM功能计算输入的人脸图像和一个模型之间的差异，然后用流行学习算法将提取的特征投影到连续的特征空间，最后进行表情的分类识别。

(3) 尺度不变特征转换 ( Scale-invariant FeatureTransform，SIFT)。是一种局部描述子，它具有尺度不变性，可在图像中检测出关键点。Berretti 等

提出一种方法，利用 SIFT 描述子来描述图像的深度及纹理，然后选择最相关的功能特征，特征提取后再利用SVM 进行分类，在 BU-3DFE 数据库中，已获得77． 5%的平均识别率。

b、外貌特征提取方法

外貌特征的提取方法是一种微观的方法，外貌特征是基于使用全部人脸图像像素性质的特征，反映了人脸图像底层的信息，尤其表现了局部细微变化的信息。代表性的外貌特征提取方法主要有以下二种:

（1）局部二值模式 ( Local Binary Pattern，LBP)。是一种有效的纹理描述算子，是用来做图像局部特征比较的，它能对灰度图像中局部邻近区域的纹理信息进行度量和提取，并且能有效抑制光照的影响。

使用 LBP 算子的优点是它具有良好的旋转以及灰度的不变性，而且能够克服图像的位移、旋转以及光照不均衡等方面的问题。它的计算比较简单，能够有效提取代表图像本质的纹理特征信息。Shan等人用增强的 LBP 算法来进行特征提取，而且他们发现通过用支持向量机( SVM) 的方法来分类的话，可以得到很好的识别效果。除了这个，他们还用 LBP 算法来对低分辨率的图像就行特征提取，发现它还是有着稳定的表现。

（2）Gabor 小波变换。是人脸表情特征提取的一种经典手段，利用一组滤波器对图像进行滤波，其结果就可以反映局部像素之间的关系( 梯度、相关性、纹理等) 。Gabor 小波的方法已经被广泛应用于人脸表情的特征提取，它能够检测多尺度、多方向的纹理变化，同时受光照变化影响较小。Liu 等提出了一种结合Gabor 小波和核主成分分析 ( KPCA) 进行人脸表情识别的方法，取得了较好的性能。

4.2动态图像序列的表情特征提取方法

基于动态图像序列的特征提取方法与静态图像的不同之处在于: 动态序列图像反映了人脸表情运动的连续过程，因此动态图像序列的表情特征主要由人脸的形变及面部各个区域的肌肉运动上体现出来。目前，基于动态图像序列的特征提取方法主要有光流法、模型法、特征点跟踪法和弹性图匹配法等。

a、光流法

1998 年，Negahdaripour将光流重新定义为动态图像的几何变化和辐射度

变化的全面表示，研究景象中物体的结构及其运动与图像灰度在时间上的变化关系。在人脸表情识别中，多采用光流法提取动态图像序列的表情特征，这主要在于光流法具有突出人脸形变、反映人脸图像序列运动趋势的优点。Yacoob 等首先使用连续帧之间的光流场和梯度场来表示图像的时空变化，实现图像序列中人脸图像的表情区域跟踪;然后根据特征区域运动矢量的变化，计算人脸肌肉的运动，进而分类对应不同的表情。

b、基于特征点跟踪的方法

将特征点选在灰度变化较大的区域，比如眼角点、嘴角点等。跟踪这些点便于得到脸部特征的位移或形变信息。Tie 等提出了一个自动从视频序列的面部模型上提取 26 个基准点，并通过多个粒子过滤器来进行跟踪的方法。根据基准点的位移，可以构成一个网络模型，最后可从计算得到人脸表情的变化。

C、基于模型跟踪的方法

不同于特征点的跟踪，基于模型跟踪的目标是整个人脸。这里的模型可以是2 维或 3 维的，但大多数模型都需要较复杂的计算。Huang 等使用多分辨率的 3 维变形的人脸模型来对人脸图像建模，而且采用了多层次的跟踪方法。全局形变的跟踪由底层的数千个节点来完成，对于局部的纹理变化，用非刚性面部跟踪算法来进行获取。该方法适用于 3 维人脸深度扫描数据，可以对细微的表情细节进行提取和跟踪。

d、弹性图匹配法

弹性图匹配法的基本原理是: 在输入的人脸表情图像上选取特征点来构成具有一定拓扑结构的弹性图，然后提取每个节点上的特征矢量，构造相似度函数来比较特征矢量和拓扑结构的相似程度。如果相似度最大，就可以完成匹配。曹宇嘉等选定 34 个特征点，再将部分节点连接起来后形成一定的拓扑结构，并在每个节点上用差值模板来提取 1 × 40 维的特征矢量，就构成了一张弹性图。然后还要经过全图匹配阶段、子图匹配阶段、逐点调整阶段。

参考文献：

[1]王志良,孟秀艳.人脸工程学[M].北京：机械工业出版社，2008:15-40.

[2]王映辉.人脸识别——原理,方法与技术[M]. 北京：科学出版社，2010:25-40.

[3]张利伟,张航,张玉英.面部表情识别方法综述[J]. 自动化技术与应用,2009,28(1):93-97.

[4]冯亚丽,蒋文文,刘泽光.一种改进的基于肤色分割和 PCA 人脸检测方法

[J]. 科学术与工程,2010,10(10):2345-2346.

[5]梁路宏,艾海舟,肖习攀,等. 基于模板匹配与支持矢量机的人脸检测[J]. 计算机学报,2002,25(1):22-29.

[6] 徐毅琼,李弼程,王波.基于隐马尔可夫模型的自动人脸识别方法[J]. 计算计应用,2004,24(B12):225-227.