第3章人脸表情空间模型

第3章人脸表情空间模型3.1引言人脸面部表情与人们情感表达的关系十分密切。

心理学家认为，情感表达=7%语言+38%声音巧5%面部表情。

情感是瞬变的心理、生理现象，它代表机体对不断变化的环境所采取的适应模式[R.J.Davidson 1999]，是一种因所处环境而由主观冲动引起的强烈的心理、生理状态，可以引起语音、表情以及行为上的表现。

虽然心理学家己经做了大量工作来研究情感的机理，但是目前还没有一个被广泛认同的情感理论，在不同的研究中由于研究方法和目的的不同，情感机理有不同的表达形式。

究竟什么是情感?在中英文词典中“情感”及其相关词语的解释是这样的:情感，“对外界刺激肯定或否定的心理反应，如喜欢、愤怒、悲伤、恐惧、爱慕、厌恶等”。

《现代汉语词典》感情，“对外界刺激的比较强烈的心理反应”。

《现代汉语词典》情绪，“人从事某种活动时产生的兴奋心理状态”。

《现代汉语词典》Emotion，“strong feeling if any kind: Love，joy，hate，fear and grief are emotions.”《牛津高阶英汉双解词典》情感是说话人因所处环境而引起的心理、生理状态的反映，Klaus K.R.[K.R.seherer2004]认为情感不同于情绪(moods)、立场(interpersonal stances)、态度(attitude)和性情(affect dispositions)，虽然他们之间不是绝对的独立。

通常，情感和态度容易混淆，根据Ohala [J.J.Ohala1996]的理解，两者有本质的差别，态度反映说话者在对话中的目的，而情感只是说话人所处环境和心理状态的反映。

态度更多是一种主动的感情色彩，而情感是被动的。

因此我们所研究的情感主要包括愤怒、悲伤、欢快、恐惧、羞耻、骄傲、兴高采烈，绝望等。

Comelius[elius2000]从心理学角度将情感分为六种:happiness，sadness，fear，disgust，anger以及surprise。

其中anger经常被扩展为hot anger和cold anger，hot anger是指“怒发冲冠”的怒，而cold anger是指恶狠狠的冷怒。

在表达感情状态的强烈程度方面，Klaus K.R.[K.R.scherer2004]引用心理学中高低唤醒度的概念。

高唤醒(high arousal)指使得发音人投入大量感情的，在对感情的表现上更加丰富的一种情感语音方式，而低唤醒(low arousal)是并没有涉及太多感情在发音中的，对情感的表现不是非常激烈。

每种情感都有一定的唤醒度范围，比如hot anger的唤醒度普遍较高，而ashamed和sad的唤醒度就普遍较低。

人脸表情方面的研究选择的多是比较典型的情感状态。

比如P.Ekman[P.Ekman1975]把表情划分为愤怒，高兴，惊讶，悲伤，恐惧，厌恶等六类(如图1-3)。

可见，字典定义代表了“情感”的最一般的意义范畴，已经有许多西方学者就情感的准确定义展开了讨论，一般认为情感是人与人之间相互交流的信息，由思想和外部事件引起的行为、生理变化和主观体验组成。

在文献[P.R.Kleinginna1981]中，作者总结了100多位学者对于情感的定义。

这些定义通常是复杂的、抽象的，这也从一个侧面反映出给出情感准确定义的难度。

既然情感是人与人之间相互交流的信息，那么情感是如何交流的呢?情感就像思想一样，通过表情、语言、手势、音乐、行为以及其他创造性的方式来交流。

情感交流在物质的世界通过感觉来进行的，无论消息是否是通过声波、可见的动作或者像生理传感器这样的媒介设备来传播。

情感能通过能容易控制的方式自觉表达或者在没有意识到的时候不知不觉地表达。

有些情感能被大家看到例如微笑，有些只有近距离身体接触的人才感觉到例如你镇定的握手。

情感还可以通过行为来交流，例如亲密的动作。

因为情感状态是内在的，并包含生理和心理的变化。

任何人都不能完全识别所有情感状态。

这样只能获得情感状态的一些可观测的东西，如表情、行为等等。

假设这些功能的观测可靠的话，那么潜在的情感状态就可以推断出来。

因此人们交流情感时，通过表情和行为的观察，和情感产生环境的前提来推断情感状态。

综上所述，对于情感的认识仅有有限的一致，很难给出情感的准确定义。

因此，众多学者从另一个角度出发，研究情感空间的表现形式，或情感的分类。

3.2情感空间模型要研究人脸表情的情感状态，首先需要根据某些特性标准对人脸表情情感做一个有效合理的分类，然后在不同类别的基础上研究特征参数的性质。

当前学术界关于什么是情感并没有一个十分统一的认识，也没有一个定性定量的测量评价标准，所以对于情感的分类实际上是一个见仁见智的问题，具体怎么分是由研究的特定目的决定的。

理想的状态是对情感做一个数学意义上的划分，但这在目前又是不可行的，所以很大程度上，情感的分类的粒度、精确度以及它的覆盖程度都很大程度上影响整个研究的结果。

目前，有代表性的情感理论主要有两种:离散情感空间理论和连续情感空间理论[Rosalind W. Picard 1998]。

前者把情感划分为类别数在4到8之间的若干个类别[P.Ekman1975]，该理论使用上比较方便，也易于理解;然而，将人的情感和人脸表情简单归类的做法并不是很恰当。

研究表明，实际中的许多表情往往表现出两种或两种以上的情感特征。

与前者不同的是，后者认为情感空间是一个连续空间[Xuecheng Jin2005，C.smith1997]，从感知的角度来看，该理论比较切合实际情况，但已有的相关工作并没有对人脸表情所对应的情感状态的空间表示方式做出更多有实质意义的表述[A.Kappas 2003]，这给实际应用留下了很多亟待解决的问题。

3.2.1情感空间的离散性国外有研究人员将情感分为46种，但是这样不论在人脸数据采集还是在对采集的人脸图像数据情感的界定和图像数据分析上都会带来很大的麻烦和不确定性。

因为一般的人和观察者对表情中情感的灵敏度、分辨率是达不到这个级别的，那么研究的结果会有很大的不确定性。

国内许多学者将情感分为高兴、愤怒、惊讶、悲伤四种进行相关研究[赵力2004;Zhao L.2004]，或者分为高兴、愤怒、恐惧、悲伤[Yuan J.2002；Tao J.2005]。

这种四情感模型的好处是增大了情感的粒度，容易区分辨别，能有效提高实验的准确程度。

当然，这种四情感模型的表现力是有限的，某些情感就不能很好地被归结到上述四种情感中。

在大多数过去的研究方法中，研究者都用日常语言标签来标识和分类情感。

比如:恐惧、愤怒和欢快等。

根据情感的纯度和原始度，情感可分为两大类:基本情感和派生情感，这就是基本情感论。

基本情感论认为情感在发生上有原型形式，即存在着数种泛人类的基本情感类型，每种情感类型各有其独特的体验特性、生理唤醒模式和外显模式，其不同形式的组合形成了所有的人类情感[P. Ekman1992]。

对于有哪些基本情感则有不同的看法，最常被提到的是厌恶、愤怒、欢快、悲伤、恐惧等。

理论家对情感状态的分类有过长时间的争论，1960年Plutchik区分出不同的八种基本情感[R.Plutchik 1960]:恐惧、愤怒、悲伤、高兴、厌恶、惊奇、容忍和期盼。

1962年Tomkins 提出有八种基本情感:恐惧、愤怒、痛苦、高兴、厌恶、惊奇、关心、羞愧。

再近些时候，Ortony、Clore和Collin于1988年汇总了基本情感的清单。

在这些清单中，有四种情感最普遍(合并类似的，比如欢乐和高兴)，他们是恐惧、愤怒、悲伤和高兴。

其次的两种情感是厌恶和惊奇，除了这六种，清单就有了分歧。

这些年来，很多研究者提出的基本情感从两种到二十种不等[丁永兴2003]。

基本情感可以通过多种方式来定义。

Paul Ekman给出的定义最彻底[P.Ekman1982]，他将基本情感和对应的有特色的、普遍的面部表情以及八种其他属性联系起来。

用这个标准，Ekman提出了六种基本情感:恐惧、愤怒、悲伤、高兴、厌恶和惊奇。

还能通过分析有情感的语句推理得出基本情感。

Johnson-Laird和Oatley用590个英文短语来描述情感，总结出单词对应五种情感:恐惧、愤怒、悲伤、高兴和厌恶中的一种或几种。

综上所述，基本情感的辩论将在情感理论著作中长期存在。

一些情感普遍存在，而其他的则和文化细节有关。

大部分观点则认为基本情感包括:恐惧(fear)、愤怒(anger)、欢快(joy)、悲伤(sadness)和厌恶(disgust)。

从个体发展的角度来看，主要情感的产生是有机体自然成熟的结果。

从生物进化的观点看，基本情感是适应和进化的产物，也是适应和进化的手段，比如，恐惧是警告同类有危险出现。

基本情感通常有特殊的表现，比如面部表情通常可以作为区分基本情感的依据。

许多研究实验证明[P.Ekman1982;孟昭兰1989;R.W.Levenson 1992]，各基本情感存在着泛人类的特定生理唤醒模式，即不管人们的文化差异，其基本情感的表现都是一致的。

派生情感由基本情感变化或混合得到，就像三元色混合原理一样。

这类情感的生成理论也叫情感的调色板理论[R.Cowie 2003]。

派生情感包括自豪(欢快的一种变化形式)、感激(欢快的一种派生形式)等等。

用标签法将情感分成离散的类别这样的模型中，除了前面介绍的将情感分为基本情感和派生情感，还有其他一些分类方法。

例如，Fox提出的三级情感模型[R.Cowie 2001]，是按照情感中表现的主动和被动的程度将情感分成不同的等级，如表3-1所示。

等级越低，分类越粗糙，等级越高，分类越精细。

表3-1Fox的情感三级分类模型3.2.2情感空间的连续性情感离散类别模型本质上就是认为存在彼此独立的、具有人类普遍性的基本情感类型。

一直以来研究情感的途径的还有另外一条，那就是采用维度空间来表示复杂的情感类别，这就是维度论。

维度论认为几个维度组成的空间包括了人类所有的情感。

维度论把不同的情感看作是逐渐的、平滑的转变，不同情感之间的相似性和差异性是根据彼此在维度空间中的距离来显示的。

最近20年，情感维度论得到了许多学者的青睐，但是对采用哪些维度也有许多的争论。

最广为接受的维度模式是如下两个维度组成的Activation-Evaluation二维空间: (l)评估度(Evaluation)或快乐度(Pleasure)，其理论基础是正负情感的分离激活，这得到了许多研究的证明。

(2)激活度(Activation)或唤醒度(Arousal)，指与情感状态联系的机体能量激活的程度。

目前研究已经倾向于把激活纬度和综合生理唤醒或者情感体验的强度相联系。