人脸识别与人脸检测

1 绪论

1.1人脸表情识别研究的目的和意义

人脸是人最重要的外貌特征，由于脸部信息可以通过非接触的方式（如摄像头）取得，所以非常适合于作为身份鉴别的依据。人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步确定每张人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每张人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每张人脸所代表的个人。

人脸识别是一个交叉学科，它的研究内容涉及计算机视觉、模式识别、计算机图形学、图像处理、生理学、心理学、认知科学等。人脸识别技术可采用非接触式的、连续的和实时的方式，在国家安全、军事安全和公安、司法、民政、金融、民航、海关、边境、口岸、保险及民用等领域实际应用具有极广阔的前景。这一技术典型应用如下：

（1）身份鉴定（一对多的搜索）：在鉴定模式下，确定一个人的身份，该技术可以快速地计算出实时采集到的面纹数据与面像数据库中已知人员的面纹数据之间的相似度，给出一个按相似度递减排列的可能的人员列表，或简单地返回鉴定结果（相似度最高的）和相对应的可信度。

（2）身份确认（一对一的比对）：在确认模式下，待确认人已知的面纹数据可以存储在智能卡中或数码记录中，该技术只需要简单地将实时的面纹数据与存储的数据相比对，如果可信度超过一个指定的阀值，则比对成功，身份得到确认。

（3）监视：可以在监控范围内发现人脸，而不论其远近和位置，能连续地跟踪该人脸图像并将其从背景中分离出来，将面像与监控列表进行比对。整个过程完全是无需干预的，连续的和实时的。

（4）面像数据压缩：能将面纹数据压缩到84字节以便用于智能卡、条形码或其他仅含有有限存储空间的设备中。

（5）多通道的人机交互界面:可以把跟踪得到的人脸表情作为一种人机交互的手段。为使用者提供一个个性化、智能、便捷的工作环境，这也是智能计算机研究的重要内容。

人脸表情识别研究的主要目的在于：

（1）在人机接口中实现计算机对人脸面部表情的自动识别；

（2）在视频片段检索中实现面部表情的跟踪与识别；

（3）研究人脸表情编码模型，解决低带宽的脸部数据传输、多媒体中的脸部图像压缩等问题。

进行这项研究的意义在于：

（1）作为情感计算研究的重要组成部分，可以有效地促进人机交互系统的发展和计算机图像理解的研究；

（2）对实现人体语言与自然语言的融合，以及语言与表情连接模型的建立与实现具有重要意义；

（3）可以为表情合成、与表情无关的人脸检测与跟踪、人脸识别等领域的研究提供理论基础；

这些年表情识别技术发展相当迅速，北京奥运将首次使用人脸识别综合报警系统，这里我们简单介绍一下在2008年北京奥运会使用的人脸识别系统的主要功能：

（1）对所有进出机场、海关、火车站、奥运场馆的人通过摄像机自动识别;人员通行考勤、外人登记、生物特征人脸识别验证真伪。

（2）对于危险人摄像机自动识别，向网络报警中心报警。

（3）对不受欢迎的人，一经录入，自动识别防止进入。

（4）各种工人、后勤、食品运送人员自动人脸识别，未经登记授权限制进入。

（5）对于恐怖行危险人员、情绪偏激不稳定人员、牵连到奥运场馆和奥运活动区域群体事件的问题人员和等影响社会稳定人员，自动识别人脸，防止进入奥运区;并且根据人脸等生物特征智能查询进出纪录。

（6）对于奥运场馆和奥运活动区域内各种服务实现不用带卡的自动人脸识别安全服务和优质服务。

（7）对于党和政府的领导通过联网自动人脸识别掌握奥运活动区域准确人员管理情况、预估风险实现远程管理和控制。

人脸表情识别和理解(Face Recognition)的研究范围广义上大致包括以下5个方面的内容：

（1）人脸检测(Face Detection):即从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光照、噪声、面部倾斜度以及各种各样遮挡的影响。

（2）人脸表征(Face Representation):即采取某种表示方式表示检测出的人脸和数据库中的已知人脸。通常的表示法包括几何特征(如欧氏距离、曲率、角度)、代数特征〔如矩阵特征矢量)、固定特征模板、特征脸等。

（3）人脸识别(Face Identification):即将待识别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。

（4）表情/姿态分析(Expression/Gesture Analysis):即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。

（5）生理分类(Physical Classification) 即对待识别人脸的生理特征进行，得出其年龄、性别等

相关信息。

1.2表情识别的现状

现阶段的研究当中，完整的人脸识别系统至少包括三个主要环节。首先在输入图像中找到人脸的位置，将人脸从背景中分割出来；其次，将分割后的人脸图像进行特征提取和定，最后根据提取的特征进行人脸识别。如图1.1所示：

图1.1 识别过程简图

Fig1.1 Identify process simple diagram

1.2.1人脸图像检测方法现状

人脸图像检测与定位就是在输入图像中找到人脸确切的位置,它是人脸表情识别的第一步。人脸检测的基本思想是用知识或统计的方法对人脸建模,比较待检测对象与所建的人脸模型的匹配程度,从而得到可能存在人脸的区域。根据思想的不同基本上分为下面两种检测方法:

(1)基于统计的人脸检测

是将人脸图像视为一个高维向量,将人脸检测问题转化为高维空间中分布信号的检测问题。(2) 基于知识的人脸检测

是利用人的知识建立若干规则,从而将人脸检测问题转化为假设→验证问题。

1.2.2基于统计的人脸检测方法

（1）样本学习:将人脸检测视为从非人脸样本中识别人脸样本的模式分类问题,通过比较人脸样本和非人脸样本来提取各自的特征，进行学习来产生分类器。目前国际上普遍采用的是人工神经网络。

（2）模板法:模板法是把测试样本与参考模板进行比较,由阈值大小来判断测试样本是否是人脸。阈值一般是通过对大量的模板进行统计得来的，并不是一个固定的值。

（3）子空间方法:Pentland 将KL 变换引入了人脸检测,利用主元子空间(特征脸) ,而人脸检测利用的是次元子空间(特征脸空间的补空间) 。用待检测区域在次元子空间上的投影能量,也即待检测区域到特征脸子空间的距离作为检测统计量,距离越小,表明越像人脸。子空间方法的特点在于简便易行,但由于没有利用反例样本信息,对与人脸类似的物体辨别能力不足。

1.2.3基于知识建模的人脸检测方法

（1）人脸规则:人脸规则是人脸遵循的一些几乎是普遍适用的空间相关性。它包括: ①灰度分布规则。如五官的空间位置分布大致符合“三停五眼”等,人脸不同区域的明暗关系不变,眼睛的灰度总是比前额和颧骨低,鼻梁的灰度一般比两侧亮等。②轮廓规则。人脸的轮廓可以简单地看成一个近似椭圆,而人脸检测可以通过椭圆检测来完成。③运动规则。通常相对背景人总是在运动的,利用运动信息可以简单有效地将人从任意复杂背景中分割出来。

（2）颜色、纹理信息:同一种族人的面部肤色在颜色空间中的分布相对比较集中,颜色信息在一定程度上可以将人脸从大部分背景区分开来。

（3）对称性:人脸具有一定的轴对称性,各器官也具有一定的对称性。Reisfeld 提出广义对称变换方法[1]检测局部对称性强的点来进行人脸器官定位。

1.3本文的结构

本文的章节做如下安排。第一章绪论介绍量表情识别研究的目的意义和现状；第二章对人脸检测与定位方法、脸部特征定位方法、人脸识别方法作了综述；第三章在上述方法的基础上，重点叙述了毕业设计采用的方法，并用VB开发了一个人脸表情识别系统；第四章对面部表情识别技术以后的发展方向和工作重点做了总结。

2 相关技术综述

2.1引言

情绪使人产生生理和行为的显著变化，面部表情是情绪的外显行为的一个重要方面。眼、眉、嘴、鼻、脸色等的变化最能表示一个人的情绪。如两眼闪光之惊喜，眼泪汪汪之悲哀委屈，眉毛紧锁之忧愁，扬眉之得意，双目圆睁之愤怒，嗤之以鼻之厌恶，脸色苍白之惊恐等。这是由于人的各种情绪同脸部肌肉和血管等的变化有关，故而脸部肌肉和血管的变化能表示一定的情绪状态。例如，喜悦与颧肌有关，痛苦与皱眉肌有关，忧伤与三角肌有关，羞愧因血管舒张而脸红，恐怖因血管收缩而苍白。本文就是通过对人面部表情进行识别来达到对人的情绪的判断。人们做出各种表情，正是表情肌肉运动的结果[2]。

2.2人脸模式的特征

人脸模式的特征包括肤色特征和灰度特征。

2.2.1肤色特征

肤色是人脸的重要信息，不依赖于面部的细节特征，对于人脸表情发生的任何变化情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述，常用的肤色模型有高斯模型、混合高斯模型和直方图模型。

2.2.2灰度特征

灰度特征包括人脸轮廓特征、人脸灰度分布特征（镶嵌图特征、直方图特征等）、器官特征（对称性等）、模板特征等。本文所采取的人脸识别方法就是基于灰度特征，具体的识别方法将在下文叙述。

2.3面部表情的分类

由于表情产生的原因、表情表现得程度、人们对表情的控制能力和表情的倾向等多方面的原因，使得表情的变化细微而复杂，对表情的概括也变得更为复杂。例如，恐惧表情可能同时伴随着悲伤、生气、厌恶的产生。一中混合的表情也就表现出来了。最经常的是恐惧和惊奇的混合表现即惊恐。

关于情绪的类别，长期以来说法不一。我国古代有喜、怒、忧、思、悲、恐、惊的七情说；美国心理学家普拉切克(Plutchik)提出了八种基本情绪：悲痛、恐惧、惊奇、接受、狂喜、狂怒、警惕、

表2.1 表情特征

Table2.1 expression characteristic

憎恨；汤姆金也列出八种基本情绪：兴趣、快乐、惊奇、痛苦、恐惧、愤怒、羞怯、轻蔑；还有的心理学家提出了九种类别。虽然类别很多，但一般认为有四种基本情绪，即快乐、愤怒、恐惧和悲

哀。

针对表情广义性，表2.1中总结出了每种表情的特点及其在生成过程中所涉及到的重点表情区域的动作。

由表2.1我们可以看出，样本表情必须非常典型，而且有点夸张。因此要求采集的样本在做出各种表情时，各个重点位置的表情必须符合表2-1的动作，这样才能正确的辨别样本表情。

2.4人脸检测与定位方法

近年来,人脸和面部表情识别已经吸引了更多科研人员的注意。任何人脸处理系统的第一步都是检测人脸在图像中的位置。但是,从一幅图像中检测人脸是一项极具挑战性的任务,因为其尺度、位置、方向和位姿都是变化的,面部表情、遮挡和光照条件也是变化的。

人脸检测(Face Detection)是指在输入图像中确定所有人脸(如果存在) 的位置、大小和位姿的过程。人脸检测作为人脸信息处理中的一项关键技术,近年来已成为模式识别与计算机视觉领域内一项受到普遍重视,研究十分活跃的课题。

人脸识别或辨认、人脸定位以及人脸追踪等都与人脸检测密切相关。人脸定位的目的是确定图像中人脸的位置。假设一幅图像中只存在一张脸,则面部特征检测的目的是检测特征的存在和位置,如眼睛、鼻子(鼻孔)、眉毛、嘴(嘴唇)、耳朵等。人脸识别或辨认是将输入图像与数据库中的图像比对,如果存在,报告匹配结果。人脸识别的目的是检验输入图像中的个体的身份,而人脸追踪方法是实时地、连续地估计在图像序列中的人脸的位置和可能的方向。而面部表情识别涉及识别人类的情感状态(高兴、悲伤、厌恶，惊恐等)。很明显,在任何解决上述问题的自动识别系统中,人脸检测是第一步。

在第一章中我们给出了人脸检测两种基本方法，这只是粗略的分类方法，在这里我们把从一幅图像中检测人脸的方法可以分为以下四种[3]:

（1）基于知识的方法(Knowledge - based Methods)：它将典型的人脸形成规则库对人脸进行编码。通常,通过面部特征之间的关系进行人脸定位。

（2）特征不变方法(Feature Invariant Approaches)：该算法的目的是在姿态、视角或光照条件改变的情况下找到存在的结构特征,然后使用这些特征确定人脸。

（3）模板匹配方法(Template Matching Methods)：存储几种标准的人脸模式,用来分别描述整个人脸和面部特征;计算输入图像和存储的模式间的相互关系并用于检测。

（4）基于外观的方法(Appearance - based Methods)：与模板匹配方法相反,从训练图像集中进行学习从而获得模型(或模板) ,并将这些模型用于检测。

2.4.1基于知识的方法

基于知识的方法实质是基于规则的人脸检测方法,而这种规则来源于研究者关于人脸的先验知识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系,如在一幅图像中出现的人脸,通常具有互相对称的两只眼睛、一个鼻子和一张嘴。特征之间的相互关系可以通过它们的相对距离和位置来描述。在输入图像中首先提取面部特征,确定基于规则的人脸候选区域。

这种方法存在的问题是很难将人类知识转换为明确定义的规则。如果规则是严格的,由于输入图像很可能不能通过所有的规则检测而导致失败；相反，如果规则太简单，可能会有较高的错误接收率，输入许多错误图像。此外,很难将这种方法扩展到在不同的情况下检测人脸,因为列举所有的情况是一项很困难的工作。许多表情识别方面的专家通过研究，提出了一些克服这些缺点的方法。

Yang和Huang使用分层的基于知识的人脸检测方法[4],他们的系统由三级规则组成。在最高级,通过扫描输入图像的窗口和应用每个位置的规则集找到所有可能的人脸候选区。较高级的规则通常描述人脸看起来像什么,而较低级的规则依赖于面部特征的细节。多分辨率的分层图像通过平均和二次采样生成,如图2.1所示。编码规则通常在较低的分辨率下确定人脸的候选区,包括人脸的中心部分(图2.2中较浅的阴影部分),其中有四个基本上相同的灰度单元。

图2.1 分层图像

Fig.2.1 Layering picture

图2.2 人脸侯选区

Fig2.1 Face District

在人脸的上层周围部分具有相同的灰度。人脸的中心部分和上层周围的灰度不同。最低分辨率的(Lever1)图像用于搜索人脸的候选区并在后面较精细的分辨率下作进一步处理。在Lever2完成人脸候选区的局部直方图均衡化,并进行边缘检测，以缩小后选区。继续存在的候选区在Lever3用其他的人脸特征,如眼睛、嘴等对应的规则进行检查。这种方法的特点是用从粗到细的策略来减少所需要的计算,虽然它没有很高的检测率,但采用多分辨率分层的思想和指导搜索的规则已经用到后面的人脸

检测工作中[5]。

Kotropoulos 和Pitas [5]提出了一种基于规则的定位方法。用投影方法确定面部特征,I(x,y)是m×n 图像中(x,y)位置的灰度值,图像的水平和垂直投影定义为∑-=

n y y x I x HI 1

),()(和∑==m

y y x I y VI 1

),()(。通

过对投影曲线的分析可知。整个曲线看起来会有两个较大的凹槽和凸起，人脸的眼睛和嘴的位置正好对应曲线的这两个谷值区域，即在这条曲线上找到一个具有最大剃度值的点和一个具有最小剃度值的点，由此可以粗略的检测出眼睛和嘴的位置。 2.4.2基于特征的方法

基于特征的方法不仅可以从已有的面部特征而且可以利用面部特征点的几何关系进行人脸检测。这种方法是寻找人脸的不变特征用于人脸检测，这与基于知识的方法正好相反。人们已经提出了许多先检测人脸面部特征,后推断人脸是否存在的方法。面部特征,如眉毛、眼睛、鼻子、嘴和发际,一般利用边缘检测器提取,根据提取的特征,通过与统计模型比较来确定人脸是否存在。基于特征的算法存在的问题是,由于光照、噪声和遮挡等使图像特征被严重地破坏,人脸的特征边界被弱化,阴影可能引起很强的边缘,而这些边缘可能使得算法难以使用。

Sirohey 提出了从复杂的背景中分割人脸进行人脸识别的定位方法[6]。它使用边缘图和启发式算法来去除和组织边缘,而只保存一个边缘轮廓,然后用一个椭圆拟合头部区域和背景间的边界。Graf 等人提出定位灰度图像的面部特征和人脸的检测方法[7]。在滤波以后,用形态学的方法增强具有高亮度、含有某些形状(如眼睛)的区域。Leung 等人提出一种基于局部特征检测器和任意图匹配的概率方法,在复杂场景中定位人脸[8]。其目标是找到确定的面部特征的排列。典型的人脸用五个特征(两只眼睛、两个鼻孔和鼻子与嘴唇的连接处)来描述。Yow 和Cipolla 提出了一种基于特征的方法[9][10]。在第一阶段,应用了二阶微分Gaussian 滤波器,在滤波器响应的局部最大点检测感兴趣的点,指出人脸特征可能的位置;第二阶段,检查感兴趣点周围的边缘并将它们组成区域。这种方法的优点是可以在不同的方向和位姿上检测人脸[11]。Han 等人提出了一种基于形态学的技术进行眼部分割进而实现人脸检测的方法[12] 。他们认为眼睛和眼眉是人脸最突出和稳定的特征,特别适合人脸检测。

彭进业等人提出了一种在图像的反对称双正交小波分解数据域中,实现多尺度对称变换的方法,并将它应用于脸部图像中主要特征点的定位[13]。王延江等人提出了一种快速的彩色图像中复杂背景下人脸检测方法[14]。其方法首先计算对彩色图像中与人的肤色相似的像素进行聚类和区域分割,然后利用小波分解对每一个候选区域进行人脸特征分析,如所检测到的区域特征分布与某一预先定义的人脸模型相似,则确认该区域代表人脸。

皮肤颜色通常不能独自进行人脸检测和追踪。近年来,人们已经提出几种使用形状分析、颜色分割和运动信息结合的模块化系统在图像序列中用于定位和追踪头部和人脸的方法。

2.4.3模板匹配方法

Sakai等人使用眼睛、鼻子、嘴和人脸轮廓等子模板建模,检测照片中的正面人脸[15]。每一个子模板按照线分割定义。基于最大梯度变化提取输入图像的线,然后与子模板匹配。计算子图像和轮廓模板之间的相互关系去检测人脸的候选区域,完成用其他子模板在候选区域的匹配。

Craw等人提出了一种基于正面人脸的形状模板(也就是人脸的外形)定位方法[16]。用Sobel滤波器提取边缘,将边缘组织在一起,根据几个约束条件去搜索人脸模板。在头轮廓定位以后,用相同的过程以不同的尺度重复定位眼睛、眼眉和嘴唇等特征。

Miao 等人提出了用于人脸检测的层次模板匹配方法[17]。在第一阶段,为了处理旋转图像,输入图像从- 20°～20°旋转,每次旋转5°。多分辨率图像层次形成和边缘提取使用Lapla2cian操作符。人脸模板通过六个人脸成分产生的边缘组成:两个眼眉、两只眼睛、一个鼻子和一张嘴。最后,应用启发式确定人脸的存在。实验结果表明在图像含有单个人脸要比图像中含有多个人脸的结果好。

2.4.4基于外观的方法

模板匹配中的模板是由专家预定义的,与模板匹配中的方法不同,基于外观方法中的―模板‖是从图像中的样本学习的。通常,基于外观的方法依靠统计分析和机器学习技术找到相应的人脸和非人脸图像的特征。学习的特征由分布模型或判别函数形成,用于人脸检测,同时,由于计算效率和检测有效性的原因通常需要降维。这种方法中最常用的是用贝也斯（Bayesian）分类器或最大自然函数将一个候选图像位置分类为人脸或非人脸；另外，隐藏Markov 模型(Hidden Markov Model,HMM)和支持向量机(SupportVector Machines,SVMs)方法也比较常用。在这里我们就不做介绍了。

2.5脸部特征定位方法分类

近年来，国内外学者们已提出了许多种脸部特征定位方法。根据定位所依据的基本信息的类型，以将现有方法分为基于先验规则、基于几何形状信息、基于色彩信息、基于外观信息和基于关联信息等5类：

（1）基于先验规则

根据脸部特征的一般特点总结出一些经验规则，搜索前，先对输人图像作变换使目标特征得到强化，而后根据上述规则从图中筛选出候选点或区域。

（2）基于几何形状信息

根据脸部特征的形状特点构造一个带可变参数的几何模型，并设定一个评价函数量度被检测区域与模型的匹配度。搜索时不断调整参数使评价函数最小化，从而使模型收敛于待定位的脸部特征。（3）基于色彩信息

使用统计方法建立起脸部特征的色彩模型，搜索时遍历候选区域，根据被测点的色彩与模型的匹配度筛选出候选点。

（4）基于外观信息

将脸部特征附近一定区域(窗口)内的子图像作为一个整体，映射为高维空间中的一个点，这样，同类脸部特征就可以用高维空间中的点集来描述，并可以使用统计方法得到其分布模型。在搜索中，通过计算待测区域与模型的匹配度即可判定其是否包含目标脸部特征。

（5）基于关联信息

在局部信息的基础上，引人脸部特征之间的相对位置信息，以缩小候选点范围，从运算量、准确率与鲁棒性(包括图像质量需求和姿态表情光照等影响)3个方面对各类方法的性能作了粗略的比较。

2.5.1先验规则

先验规则是关于脸部特征一般特点的经验描述，人脸图像有一些明显的基本特征，如脸部区域通常包括双眼、鼻和嘴等脸部特征，其亮度一般低于周边区域;双眼大致对称，鼻、嘴分布在对称轴上等。为了利用这些基本特征进行脸部特征定位，一般要先对输人图像作变换，使所要使用的特征得到强化，而后根据规则从图中筛选出候选点或区域.此类方法的难点在于，如何将人们的直观印象精确地表述为可应用的代码化规则，以及如何处理规则的精确性与适用性之间的矛盾。

（1）镶嵌图

镶嵌图[18]方法是先将图像划分成一组相同大小的方格，每个方格中像素灰度的平均值作为这个方格的灰度值，根据一组规则确定可能为人脸的区域;确定人脸的区域之后再将方格的边长减半，重新构建新的镶嵌图，并根据一组规则分别定位出眼、鼻、嘴等脸部特征;最后，将前两步所得到的脸部区域二值化，并使用边缘检测装置最终确定脸部特征的位置，为了实现尺寸无关性，对所有可能的方格尺寸都作了测试，因此算法的运算量很大，准确率也不高但是这种由粗到精的搜索策略对后来的研究有很大的影响。

使用长宽比可变的矩形单元代替方格田，以便更好地拟合人脸。为了设定矩形单元的长宽比，利用灰度值在x和y方向上的投影确定眼、鼻、嘴和脸颊边界的位置，从而确定出脸部的大致范围，据此设定矩形单元的长宽比.这样缩小了搜索的范围，也避免了循环测试，不但使运算量大幅减少，

也使准确率大大提高(在M2VTS数据库[19]上，对眼、鼻、嘴等的定位准确率均在94.6%以上)，但是他们的算法无法处理复杂背景或多人的情况，对目标对象姿态的变化较敏感。

（2）几何投影

几何投影是脸部特征领域中最经典的算法，它利用脸部特征灰度值比皮肤灰度值低的特点，先统计出X或Y方向上的灰度值，画出灰度值曲线，找出曲线中特定的变化点，然后通过先验规则与变化点比较，即可得到脸部特征的位置.Kanade等首先将这一方法应用于人脸识别[20]，Brunelli等在投影中使用X,Y两个方向上的梯度信息，以取代原始灰度值，从而减小了对光照条件的敏感度，增加了识别的准确性。

Feng和Yuen等提出使用VPF (VarianceProjection Function方差投影函数)函数来定位[21]脸部特征，该函数的作用是计算指定方向上的所有像素的灰度值方差，与简单求和相比，它对复杂背景的适应力较强.他们在人眼上定义了6个特征点，分别对应于VPF函数值在X,Y方向上的特定突变点，同时假定瞳孔为圆形，上下眼眶为抛物线搜索时，先依据人体测量标准在人脸区域上划出搜索范围，然后根据其中VPF函数值的变化情况求出特征点位置，最后根据眼形假设拟合出瞳孔形状和眼眶线.与可变形模板法相比，该方法计算量较小，对初始搜索位置要求不高，但在眼睛状态变化的情况下容易失效。

姜军等提出以―或‖运算代替求和运算的广义投影运算，他们先将图像二值化，而后在一定高度范围内作水平方向投影得到一系列短线，最后根据先验规则对短线两两配对，从而筛选出最终结果.该算法能应对多人的情况，运行速度很快，但错误接受率较高。几何投影法计算量较低，但在大的姿态变化或复杂背景下容易失效。

（3）二值化定位

Liming Zhang等先用直方图问值法将图像二值化，然后根据其中黑色区域的面积、形状和相对位置等几何特征确定出瞳孔的位置，最后通过边缘追踪依次找到上眼眶、眼角和下眼眶[22]。范宏深等提出了一种与其类似的方法[23]，即将图像二值化后，计算出黑色区域的有效面积、质心、外接矩形、圆性质和添实度(即黑斑的有效面积与黑斑外接矩形面积之比)等几何特征，然后依据经验标准筛去一部分黑色区域，并将余下的黑色区域作配对筛选，从而得到双眼位置。此类方法运算量很小，但易受光照条件和图像质量的影响，在追踪边界时容易发生断线问题，稳定性无法保证。

（4）广义对称

对称性是识别物体可利用的基本性质之一，它包括点对称性(也叫中心对称性)和轴对称性.绝大多数自然物体或人造物体都存在着这两种对称性，对于人脸图像来说，人眼、眉毛、嘴等都具有很强的点对称性，所以对称性被大量用于表情识别。

2.5.2基于几何形状信息

几何形状信息，即目标对象的几何形状特征，易于理解和应用，并且具有很好的直观性。因而很早就在模式识别领域得到广泛的使用。基于几何形状信息类方法的一般思路是:根据脸部特征的形状特点构造一个带可变参数的几何模型，并设定一个相应的评价函数以度量被检测区域与模型的匹配度，搜索时，不断调整参数使能量函数最小化，使模型逐渐收敛于待定位的脸部特征。

2.5.3基于色彩信息

色彩信息类方法的基本思想是用统计方法对目标对象的色彩建模，在搜索中根据被测点的色彩与模型匹配的程度，筛选出待测特征的可能位置.色彩信息在人脸检测中有广泛的应用，而在脸部特征定位方面的应用则相对较少，这是因为肤色在色彩空间中具有聚合性，而脸部特征的色彩信息较为复杂，如眼与嘴，以及眼睛的瞳孔与眼白的色彩有显著区别，这给统一建模造成了一定的难度。

一种简单的解决办法是直接利用脸部特征与皮肤在色彩上的差异如在已找到的皮肤区域上搜索“空洞”，并根据空洞的面积、相对位置等判断其是否为脸部特征。这种方法避开了对脸部特征色彩信息的直接建模，直接利用了基于色彩信息的人脸检测的搜索结果，速度快，但精度不高。

2.5.4基于外观信息

与几何信息类方法和色彩信息类方法不同的是，外观(Appearance)信息类方法不再面向像素级判断，而是将一定区域(窗口)内的图像整体视作一个随机变量，并映射为高维空间中的一个点，这样，同一类型的脸部特征就可以描述为高维空间中的一个点集，可以用统计方法对其分布规律建模，在搜索中，通过计算待测区域与模型的匹配度即可判定其是否包含目标脸部特征.这类方法对图像质量、环境条件和目标对象状态等方面的变化有较好的适应能力，近年来引起研究者们的广泛关注。

色彩信息类方法对光照条件和图像采集设备的特性较为敏感，易受环境因素的干扰，精度难以稳定，但其优势在于系统的运行速度快，受姿态、尺寸表情等变化的影响小，适合于粗定位或一些对运行时间有较高要求的应用。

2.5.5基于关联信息

上述方法大多从局部着眼，试图依据像素本身(色彩信息类方法)或邻近像素之间的相互关系(几何、外观类方法)来做出判断，但局部信息的区分度有限，在不受限制的条件下往往存在着大量的相似点，这就增大了后期处理的难度。为了解决这个问题，研究者们引人了关联信息，试图利用脸部特征之间存在着的较稳定的相对位置关系来缩小候选点范围与前面提到的先验知识不同的是，这些

方法所使用的关联信息都是通过统计学习得到的。

表2.2算法分类

Table2.2 Calculate categorize

随着相对位置信息的引入，脸部特征定位与人脸识别、定位等相关领域之间的界线渐趋模糊，脸部特征的定位与匹配度计算可以同步完成，而且还可以利用相似人脸的经验信息来确定搜索的初始位置。这可以说是目前脸部特征定位研究的一个重要趋势。随着使用信息类型的增多，定位的准确率随之提高，对眼睛状态、目标对象姿态上的变化有一定的适应能力，但同时也增大了算法的运算量。

上文只是对人脸特征定位方法作了简单的介绍，在下表中给出了这几种方法的算法分类。对于表中的算法除了先验规则的之外，我们不做介绍。在本文中采用的特征定位方法是先验规则中的几何投影。在表2.2中总结了脸部特征定位方法。

2.6表情识别方法分类

关于人脸表情特征提取与识别的方法可概述如下:

2.6.1基于几何特征的识别方法

人脸由眼睛、鼻子、嘴巴、下巴等部件构成,正因为这些部件的形状、大小和相对位置的各种变化才使得人脸表情千差万别,因此对这些部件的形状和结构关系等特征的变化,可以作为人脸表情识别的重要特征。最早,研究人员利用人脸特征的显著点导出一组用于识别的特征进行人脸[24]及其表情识别。采用几何特征进行正面人脸表情识别一般通过提取眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为识别特征。Lanitis[25]用脸部一系列的特征点组成可变形的模型,通过测量特征点的相互位置和形状来识别人脸表情(如图2.3所示) 。左图为训练图像中定位特征点,右图说明变形模板上关键的14个点。

图 2.3 特征点

Fig.2.3 The characteristic order

其基本思想是:对每一种表情(高兴、悲伤、惊奇、恐惧、厌恶、愤怒和平静共七种) 在选出来的训练图像中建立全局参数的分布,以便对一幅新的人脸图像计算其全局参数,以此来识别人脸表情。他们在实验中具体的运用了可变形模型,通过计算特征点的相互位置和形状来识别表情,达到74 %的识别率。基于几何特征的方法很大程度上减少了输入的数据,但是用有限的特征点来代表人脸图像,一些重要的表情识别和分类信息就会丢失。实验研究表明几何特征提取的精确性结果不容乐观。现在对于人脸图像处理技术,基于整体的正面灰度信息的方法越来越引起重视。

2.6.2基于整体的识别方法

与基于几何特征的识别方法相比,基于整体的识别方法主要强调尽可能多的保留原始人脸表情图像中的信息,并允许分类器发现表情图像中相关的特征,通过对整幅人脸表情图像进行变换,获取特征来进行识别。这种全局表情特征未必有明确的含义,但在某种意义上是易于分类的。由于基于全局的人脸表情识别方法具有强相关性及高冗余度,因此如何在抽取优化特征的同时提高识别的自适应性,至今还没有一个行之有效的方法。

基于整体的识别方法中最有代表性,应用最广泛的就是主元分析(PCA) 方法。主元分析就是要找到一个正交的维数空间来说明数据中变化的主要方向。而坐标轴就成了称之为Holo2ns[26]和Eigenfaces[27]的近似人脸的模板图像轴。它是最小方差准则条件下基于图片的最优描述方法,将输入

空间的维数从板中的象素数减少到特征脸的数目。如图2.4所示:Ekman和Friesen得到的基于形状无关的人脸表情图像的特征脸[27]。主元分析现在已成功的用于人脸表情识别和人脸识别。

图2.4 特征脸

Fig.2.4 Characteristic face

另一种基于整体的识别方法是运用神经网络。神经网络模型由简单的、并行处理的互连处理单元构成,每个神经元与其它神经元相连并从与其相连的神经元接受输入,输入加权后输出送给其它的神经元,各神经元之间的连接强度通过连接权值来描述。

2.6.3基于模版的识别方法

基于模板的方法又可以分为特征脸方法、基于相关匹配的方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。其中最具有代表性，也是最成功的是特征脸方法。

（1）特征脸方法

Turk 在1991年提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸。识别时将测试图像投影到主元子空间上，得到一组投影系数，和各个已知的人脸图像比较进行识别该算法取得了较好的效果，但系统在进行特征脸方法之前需要作大量预处理工作如归一化等。

（2）神经网络方法

神经网络在人脸识别应用中有很长的历史。早期用于人脸识别的神经网络主要是Kohenon自联想映射神经网络，用于人脸的―回忆‖。所谓―回忆‖是指当图像上的人脸受噪声污染严重或部分缺损时，能用Kohenon网络恢复出原来完整的脸。

2.6.4基于模型的识别方法

现在很多人脸表情识别系统是基于人脸物理模型的方法。它是将人脸图像建模为可变形的3D网格表面,将人脸表情识别问题转化成为可变形曲面的弹性匹配问题,把空间和灰度放在一个3D空间中

同时考虑。Essa和Pentland[28]在Terzopoulos和Watwes[27]的基础上构建了一个基于解剖学的人脸模型并且把它用于识别人脸表情(如图2.5所示)。

图2.5 人脸模型

Fig.2.5 Face model

2.6.5其他方法

由于小波理论已逐渐成为一种成熟的技术,用小波方法进行图像识别的技术也已日趋成熟。日本九州大学[29]提出用Gabor小波进行面部表情信息的压缩编码,但在图像序列中只考虑特征点位移纹理信息,并未运用颜色信息。美国CMU[30]运用隐马尔可夫模型(HMM)分析人脸表情的细微变化,自动区别各种基于FACS表情活动单元(AU)的细微面部表情。为实现自动识别运用了三种提取面部表情信息的方法:特征点跟踪、流跟踪和边缘检测。Peng 和Hayes[31]研究了人脸表情的建模与合成,用基于模型图像编码的方法使用遗传算法来编码、识别与合成各种不同的表情。

2.7本章小结

本章介绍了面部表情的分类，重点研究了人脸检测方法、人脸特征定位方法以及表情识别方法。为下一章人脸表情识别系统的设计奠定了基础。

3 人脸表情识别系统的设计

3.1引言

人脸表情识别包括三方面的内容：人脸检测（定位），人脸表情特征提取，表情识别，人其具体方法在第二章已经做了详细说明。本章的研究重点是利用表情识别的方法开发一个基于VB6.0的人脸表情识别系统。

为了评价一个人脸表情识别系统，需要有一定的测试标准。一个完整的人脸表情识别系统的测试标准应该有一个大容量的人脸表情数据库（表3.1中提供了大量表情库）。但是人脸表情库很难在线获得，这里要感谢陈锋军老师提供的CKACFEID人脸表情库。这个库里面包括了18到50岁共210位成年人(69％为女性，31％为男性)的脸部表情序列图像。其中81％的白种人，13％的非洲人和6％其它种族的人。在本章中人脸表情识别系统的设计和评价都是利用了这个人脸表情库。

表 3.1 常用人脸表情库

Fig 3.1 Common face data

3.2预处理

人脸表情图像的预处理在人脸图像的识别过程中占有举足轻重的位置，它为表情特征的提取和识别奠定了基础。根据算法的要求，本文中预处理包括归一化、灰度化和二值化。

3.2.1归一化

由于在每幅人脸图像的大小不同，因此可能导致眼睛、鼻子、口等的位置发生误差，因而会导致识别结果发生错误，所以在对人脸表情特征提取和分类之前一般需要做几何归一化和灰度归一化。

几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小；灰度归一化是指对图像进行光照补偿等处理,光照补偿能够一定程度地克服光照变化的影响而提高识别率，如果不进行归一化在下一步中会遇到很多困难。几何归一化的算法我们将在3.4节中讨论。

3.2.2灰度化

灰度图（GrayScale）是指只含亮度信息，不含色彩信息的图像。灰度化处理是把含有亮度和色彩的彩色图像变换成灰度图像的过程。灰度化处理在许多图像处理中是很重要的一步，他的结果就是后续处理的基础。所以，寻求一种正确有效的灰度化处理方法尤其重要。

位图图像一般分为单色图像、灰度图像和彩色图像。单色图像只有黑色和白色两种颜色, 整个图像由单纯的黑色点和白色点组成,就是我们下面要介绍的二值图像。彩色图像的像素点是由R (红色)、G (绿色)、B (蓝色) 三元色混合而成的, 不同含量的R、G、B 组成不同的颜色, 每一个记录单个像素的位数据单元可表示任意一种颜色。根据这个记录单个像素信息的位数据单元所占位数大小, 可分为8 位、16 位、24 位和32 位等几种位图。8 位位图是指图像一个像素点的颜色信息用8 个位(一个字节) 来表示; 同样, 16 位位图用16 个位(二个字节) 来表示, 其中R、G、B分别占5 位, 另外1 位他用; 24 位位图用24 个位(三个字节) 来表示, 其中R 占8 位、G 占8 位、B 占8 位。

图3.1 灰度化流程图

Fig3.1 The ash degree turns flow chart

灰度图像与单色图像的区别是加上颜色深度的概念, 单纯的看, 灰度图也是黑白的, 就像黑白

电视显示的图像一样, 但是点与点之间黑的程度是不一样的, 这就是深度。如果称不同深度的颜色为一色的话, 灰度图像就不止只有黑色和白色两种颜色,一般使用的灰度图为256 级灰度图, 就是说图像由256 种不同灰度级的颜色组成[32]一般的对于256色的位图图像，它的每个像素占8位，正好是一个字节。它的像素值存储的并不是像素的颜色，而是一个图像颜色表中的索引，在颜色表中则存储了256种颜色值。

在彩色图像中，图像的像素值存储的就是像素的颜色。一般的对于256色的位图图像，它的每个像素占8位，正好是一个字节。它的像素值存储的并不是像素的颜色，而是一个图像颜色表中的索引，在颜色表中则存储了256种颜色值。

通过以上的分析，可很容易地得到图像的灰度化及灰度特征的提取算法,灰度化流程见图3.1。

3.2.3二值化

（1）灰度图像：

灰度图像矩阵元素的取值范围通常为[0，255]。因此其数据类型一般为8位无符号整数的（int8），这就是人们经常提到的256灰度图像。―0‖表示纯黑色，―255‖表示纯白色，中间的数字从小到大表示由黑到白的过渡色。在某些软件中，灰度图像也可以用双精度数据类型（double）表示，像素的值域为[0，1]，0代表黑色，1代表白色，0到1之间的小数表示不同的灰度等级。二值图像可以看成是灰度图像的一个特例。

（2）二值图像：

一幅二值图像的二维矩阵仅由0、1两个值构成，―0‖代表黑色，―1‖代白色。由于每一像素（矩阵中每一元素）取值仅有0、1两种可能，所以计算机中二值图像的数据类型通常为1个二进制位。二值化的通常用的方法如下：

选择某个阈值 T ，将原始图像变换为二值图像：

当f(x,y)>=T时，f(i,j)=1;

当f(x,y)

图像阈值化这个看似简单的问题，在过去的四十年里受到国内外学者的广泛关注，产生了数以百计的阈值选取方法，但是遗憾的是，如同其他图像分割算法一样，没有一个现有方法对各种各样的图像都能得到令人满意的结果，甚至也没有一个理论指导我们选择特定方法处理特定图像。在这里给出了几种常用的阈值确定方法：

①基于点的全局阈值方法；