基于深度学习的人脸表情识别研究与实现

西南科技大学硕士研究生学位论文第I页

1绪论 (1)

1.1研究背景及意义 (1)

1.2国内外研究现状及趋势 (2)

1.3本文的研究内容与章节安排 (6)

2人脸表情识别预处理及相关技术 (8)

2.1人脸表情数据集 (8)

2.1.1严格数据集 (8)

2.1.2非严格数据集 (9)

2.2数据筛选 (10)

2.2.1基于某种概率分布的筛选策略 (10)

2.2.2 基于图模型的筛选策略 (11)

2.3人工神经网络 (12)

2.3.1正向传播 (13)

2.3.2反向传播 (14)

2.4自编码器神经网络 (16)

2.5卷积神经网络 (18)

2.5.1局部感受野 (18)

2.5.2权值共享 (19)

2.5.3池化（pooling） (19)

2.6循环神经网络 (20)

2.7人脸检测 (22)

2.8人脸关键点检测与对齐 (23)

2.9本章小结 (25)

3基于降噪自编码器的表情识别研究与实现 (26)

3.1堆栈式降噪自编码器 (26)

3.2Dropout (27)

3.3降噪自编码器表情识别网络 (28)

3.4实验与分析 (29)

3.5本章小结 (32)

4基于卷积神经网络的表情识别研究与实现 (33)

4.1一种轻量级CNN人脸表情识别模型 (33)

西南科技大学硕士研究生学位论文第II页

4.2利用bottleneck特征训练CNN表情识别网络 (38)

4.3微调（fine turn）训练CNN表情识别网络 (40)

4.4本章小结 (41)

5基于循环神经网络的表情识别研究与实现 (43)

5.1图像序列筛选 (43)

5.2CNN+LSTM表情识别方法 (44)

5.3实验结果分析 (45)

5.4本章小结 (46)

总结和展望 (47)

致谢 (49)

参考文献 (50)

攻读硕士期间获取得的研究成果 (55)

西南科技大学硕士研究生学位论文第1页

1绪论

1.1研究背景及意义

表情是人类情绪变化和心理活动最基本最直观的表达方式，人脸表情识别就是利用现代计算机技术自动地识别不同面部表情的研究。

最早的表情研究可以回溯到19世纪生物学家达尔文所著的《人类和动物的表情》一书，该著作首次从情绪表观方面探讨和论证人类和动物均具有连续性心理反应的进化论观点，并详细阐述了人类面部表情如何传递情感信息，并提出了著名的三条原理。1974年，心理学家Mehrabiadu[1]发表文章指出，在人们的日常生活交流中，通过面部表情传递的信息占个人信息表达总量的55%，而通过语言或声音所传递的信息总量只占全部信息总量的45%。早在1971年心理学家Ekman[2]和Friesen就提出了人类的六种基本情感（不包括中性表情），分别是快乐(happiness)、厌恶(disgust)、惊讶(surprise)、愤怒(anger)、悲伤(sadness)和恐惧(fear)。之后在1978年，Ekman教授又在基本情感分类基础上提出了人脸动作编码系统FACS[3]，依据脸部肌肉的独立运动将其划分为44个表情活动单元（AU），从而将面部肌肉运动与表情变化对应起来。之后Lessa和A.Pentland[4]又对其做了进一步改进，融入了时间成分。由于人脸表情识别具有高度跨学科的性质，所以Ekman等心理学家的研究成果为人脸表情识别做了强有力的理论奠基，从而开启了人脸表情识别研究的大门，至今绝大多数的表情研究仍在该基础之上展开的。

随着技术的发展，人们越来越多地尝试利用机器视觉技术和图像处理技术来实现自动化的人脸表情识别技术。因为该技术可以广泛应用于娱乐、安全、医疗、教育、人机交互等领域，具有极大的研究价值。例如人机交互、刷脸支付、人脸游戏、情绪检测等。还可以通过表情识别进行心理活动分析，甚至可以用来检测是否说谎，类似于热播美剧《lie to me》中主人公高超的谎言识别能力。

近年来，表情识别研究也作为机器学习和模式识别的重要研究课题，可以从侧面反映出人工智能的发展水平。从90年代末开始，和人脸相关的科学研究一直是计算机领域研究的热点，各种成果层出不穷，特别是近年来发展更快，应用市场前景很大，因此研究人脸表情识别技术具有重要意义。

人脸表情识别

图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial

人脸识别技术的应用背景及研究现状

1．人脸识别技术的应用随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。（2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。（3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。（4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。（5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面：（1）模板匹配主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较

表情识别技术综述

表情识别技术综述摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。关键词：表情识别；特征提取；表情分类。前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。正文：一、面部表情识别的国内外研究情况面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。二、面部表情特征的提取方法表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。

人脸检测综述_孙宁

2006 年 12 月JOURNAL OF CIRCUITS AND SYSTEMS December, 2006 文章编号：1007-0249 (2006) 06-0101-08 人脸检测综述* 孙宁1,2，邹采荣2，赵力1,2 （1. 东南大学学习科学研究中心，江苏南京 210096；2. 东南大学无线电工程系，江苏南京 210096）摘要：人脸检测研究在近二十年的时间内取得了长足的进步，并且作为安控、人机界面、人类情感研究系统的重要组成部分得到了广泛的应用。该文首先对人脸检测所面临的问题进行了探讨，并将人脸检测方法分为：基于几何特征的方法、基于肤色模型的方法、基于统计理论的方法三个方面进行了阐述。分析了相关的理论及算法，对各个方法的优缺点进行了比较。最后，对人脸检测今后的研究方向进行了讨论。关键词：人脸检测；人脸识别；机器学习；模式识别；中图分类号：TP391 文献标识码：A 1 引言观察一个人的面部可以自然的，无侵犯性的了解到一个人的很多信息，比如：身份，性别，年龄，情感等等。因此，在过去三十多年[1]的时间里人们对人脸检测和人脸识别始终保持着浓厚的研究兴趣。随着近些年来国际形势的变化，特别是9.11事件之后，各国对自身重要设施的安保性能越发重视，也积极研发了一些自动人脸识别系统并投入实用。比如，美国Identix公司的FaceIt[2]系统，该系统基于局部特征分析（LFA），能在不同的光照，肤色，姿态，表情情况下得到良好的检测性能。我国的生物特征认证与安全技术研究中心（CBSR）则在2004年成功研制出了基于人脸、指纹、虹膜三种识别方法的快速通关系统（MRTD）[3]，取得了国际先进的整体性能。任何人脸识别系统首先都需要从输入信息中获取人脸的位置、大小。因此，人脸检测是人脸识别系统的第一个步骤，这一步骤的所获得的精度与速度直接影响整个系统的性能。此外，人脸检测的应用也大大超越了人脸识别系统的范畴，在人脸表情识别系统，基于内容的检索，视频会议，三维人脸模型等方面也有重要的应用价值。人脸的自动检测是一类具有很大挑战性的问题，其主要难点在于：（1）人脸是一类高度非刚性的目标，存在相貌，表情，肤色等差异，（2）人脸上可能会存在一些附属物，诸如，眼镜，胡须等。（3）人脸的姿态变化万千，并且可能存在遮挡物。（4）待检测图像性质的差异。比如：待检图像的分辨率；摄录器材的质量等；（5）光源的种类和角度。不同种类和角度的光源会对待检测的人脸产生不同性质的反射和不同区域的阴影。针对以上问题，各国的科研人员作了很多的研究，国外比较著名的有CMU，MIT,UIUC等，国内的有微软亚洲研究院、中科院自动化研究所、清华大学等。此外，每年在国际国内的相关期刊和会议上都有大量的关于人脸检测的论文，其中综述性质的文章对近期人脸检测的研究进展进行总结，对人脸检测的研究方向进行展望。Chellappa、Zhao等人分别于1995和2003年发表的两篇人脸识别的综述论文[4,5]，其中列出专门章节将人脸检测作为人脸识别系统的一部分进行了综述。前者总结了上世纪九十年代中期之前人脸检测技术的状况和发展，后者则着重介绍了最新的人脸检测技术的发展情况。2001年，E. Hjelmas等人发表的文章[6]将人脸检测技术分为基于图像的方法和基于特征的方法这两类进行了综述。2002年，M .H. Yang等在IEEE Trans. PAMI上发表了名为：Detecting Faces in Images: A Survey[7]的人脸检测技术综述文章，该文将人脸检测技术分为四类进行了详细介绍，并且针对以往关于人脸检测论文中检测性能估计方面的混乱情况，提出了较明确的估计准则。此外，还给出了许多用于人脸检 * 收稿日期：2005-04-11 修订日期：2005-08-17

人脸表情识别综述

人脸表情识别综述一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信和汽车领域等二、1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒（anger）、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成人脸面部表情运动的描述方法---人脸运动编码系统FACS (Facial Action Coding System)，根据面部肌肉的类型和运动特征定义了基本形变单元AU（Action Unit），人脸面部的各种表情最终能分解对应到各个AU上来，分析表情特征信息，就是分析面部AU的变化情况 FACS有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间描述信息，只是一个启发式信息三、人脸表情识别的过程和方法 1、表情库的建立：目前，研究中比较常用的表情库主要有:美国CMU机器人研究所和心理学系共同建立的 Cohn-Kanade AU-Coded Facial Expression Image Database(简称CKACFEID)人脸表情数据库;日本ATR 建立的日本女性表情数据库(JAFFE)，它是研究亚洲人表情的重要测试库 2、表情识别: （1）图像获取:通过摄像头等图像捕捉工具获取静态图像或动态图像序列。（2）图像预处理:图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。 →目的:改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础主要工作→人脸表情识别子区域的分割以及表情图像的归一化处理(尺度归一和灰度归一) （3）特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。 →特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等 1）采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别优点：减少了输入数据量缺点：丢失了一些重要的识别和分类信息，结果的精确性不高

人脸识别实验报告

人脸识别——特征脸方法贾东亚一、实验目的 1、学会使用PCA 主成分分析法。 2、初步了解人脸识别的特征法。 3、更熟练地掌握matlab 的使用。二、原理介绍 1、 PCA （主成分分析法介绍）引用一个网上的例子。假设有一份对遥控直升机操作员的调查，用x 1(i ) 表示飞行员i 的飞行技能，x 2(i )表示飞行员i 喜欢飞行的程度。通常遥控直升飞机是很难操作的，只有那些非常坚持而且真正喜欢驾驶的人才能熟练操作。所以这两个属性x 1(i )和x 2(i )相关性是非常强的。我们可以假设两者的关系是按正比关系变化的。如下图里的任意找的向量u1所示，数据散布在u1两侧，有少许噪声。现在我们有两项数据，是二维的。那么如何将这两项变量转变为一个来描述飞行员呢由图中的点的分布可知，如果我们找到一个方向的U ，所有的数据点在U 的方向上的投影之和最大，那么该U 就能表示数据的大致走向。而在垂直于U 的方向，各个数据点在该方向的投影相对于在U 上的投影如果足够小，那么我们可以忽略掉各数据在该方向的投影，这样我们就把二维的数据转化成了在U 方向上的一维数据。

为了将u选出来，我们先对数据进行预处理。先求出所有数据的平均值，然后用数据与平均值的偏差代替数据本身。然后对数据归一化以后，再代替数据本身。而我们求最大的投影和，其实就是求各个数据点在U上的投影距离的方差最大。而X T u 就是投影的距离。故我们要求下式的最大值： 1 m ∑(x(i)T u)2=u T( 1 m ∑x(i)x(i)T m i=1 ) m i=1 u 按照u是单位向量来最大化上式，就是求1 m ∑x(i)x(i)T m i=1 的特征向量。而此式是数据集的协方差矩阵。在实际应用中，我们不止面临二维的数据。因此不能使用几何的形式呈现，但原理也是一样。就是找到一组相互正交的单位向量u k，然后根据贡献率考虑选择其中的部分作为考量的维数，这也就实现了数据的降维。三、实验步骤 1、将库里的400张照片分成两组。一组作为训练，一组作为库。每个人的前五张照片作为训练，后五张作为库。训练的照片按照顺序的数字重命名。库的照片名字不变。 2、库照片处理。 ①将每一张库的照片转化成N维的向量。（库里的照片是112*92，故将转化成的矩阵按列或行展开，就是个10304维的向量）我们稍后要对如此多维的向量用PCA进行降维。然后把这些向量存入一个矩阵里。而我是将这200个向量以列的形式存在了矩阵里。即 Z={Γ1，Γ2，Γ3，Γ4 (200)

人脸表情识别概述

2011.8 77 人脸表情识别概述韦妍广东女子职业技术学院广东 511450 摘要：人脸表情识别是智能化人机交互技术中的一个重要组成部分，现在是越来越受到重视。本文阐述了人脸表情识别的课题背景及其起源、发展与研究现状，并结合国内外相关领域的发展，从特征提取方面对目前表情识别的主流方法做了详细介绍，并提出了人脸表情识别中需要解决的问题。关键词：人脸表情识别；特征提取 0 引言人脸表情是人们之间非语言交流时的最丰富的资源和最容易表达人们感情的一种有效方式，在人们的交流中起着非常重要的作用。表情含有丰富的人体行为信息，是情感的主载体，通过脸部表情能够表达人的微妙的情绪反应以及人类对应的心理状态，由此可见表情信息在人与人之间交流中的重要性。人脸表情识别技术随着人们对表情信息的日益重视而受到关注，成为目前一个研究的热点。所谓人脸表情识别，就是利用计算机进行人脸表情图像获取、表情图像预处理、表情特征提取和表情分类的过程，它通过计算机分析人的表情信息，从而推断人的心理状态，最后达到实现人机之间的智能交互。表情识别技术是情感计算机研究的内容之一，是心理学、生理学、计算机视觉、生物特征识别、情感计算、人工心理理论等多学科交叉的一个极富挑战性的课题，它的研究对于自然和谐的人机交互、远程教育、安全驾驶等都有重要的作用和意义。 1 国内外研究的发展与现状国际上对人脸表情的分析与识别的研究工作可分为基于心理学和计算机两类。早在1872年，生物学家达尔文所做的心理实验就表明，面部表情的含义不会随着国家、种族、性别的不同而不同。1978年美国心理学家Ekman 和Friesen 开发了面部动作编码系统(Facial Action coding system ，FACS)，以此来检测面部表情的细微变化。在这个系统中，他将表情分为六个基本类别：悲伤、高兴、恐惧、厌恶、愤怒和惊奇，说明了与无表情人脸特征相比，这六种表情的人脸特征具有相对独特的肌肉运动规律。后来大多数学者的研究都是建立在FACS 系统的基础上的，所以说这一系统的提出具有里程碑的意义。计算机方面，最初对表情识别做了尝试的是Suwa 和Sugie 等人。1978年，他们对选定的连续图像序列中脸部固定的20个点进行跟踪识别，并与原型模式((Prototype patterns)进行比较以实现识别。同年，Terzopoulous 和Waters 运用了简化的Ekman-Friesen 模型，用计算机产生人脸动画，同时也做了人脸视频序列的表情分析。直到1981年才有学者从肌肉角度的观点出发，用仿生学方法为面部表情建立模型。到目前为止，人脸表情识别已经经过了四十多年的发展。尤其是近些年来，随着计算机软件技术的发展和硬件性能的提高，它更成为一个热门的研究课题。英国、美国、日本等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中美国的麻省理工学院(MIT)的多媒体实验室的感知计算组、斯坦福大学、卡耐基梅隆大学(CMU)机器人研究所、东京大学、大阪大学的贡献尤为突出。到目前为止，国外的人脸表情识别的方法大致可以分为五类： (1) 基于几何特征提取的方法基于几何特征的表情识别是指对嘴、眉毛、鼻子、眼睛等这些人脸表情的显著特征的形状和位置变化进行定位和测量，确定它的形状、大小、距离及相互比例，进行表情识别的方法。Bourel 等人定义了面部特征点之间的九个距离并通过它们构建了表情特征向量进行表情分析。Chibelushi 等人也采用了面部几何特征点并采用Kanade-Tucas-Tomasi 特征点跟踪算法实现特征点跟踪，然后通过计算得到九个特征

面部表情识别实验报告分析

面部表情识别实验实验报告小组成员：面部表情识别实验西南大学重庆 400715

摘要：情绪认知是一种复杂的过程，它包含观察、分析、判断、推理等，是借助于许多线索，特别是借助面部那些活动性更大的肌肉群的运动而实现的。所以，情绪认知的准确度受多种因素的影响。当我们与他人相互交往的时候，不管是不是面对面。我们都正在不断的表达着情绪，同时又正在观察，解释着的对方做出的表情，在人际交往过程中，情绪的表达和认知是十分的迅速和及时，那么人是借助于哪些表情来认知他人的情绪的呢？情绪识别实际上并不是针对表情本身的，而是针对这它背后的意义。例如：皱眉可能是一种情绪的表现，我们见到这种面部表情就试图解释潜在于它背后的情绪。尖锐，短促，声音嘶哑可能是一种情绪表现，我们听到这种语言表情就试图解释潜在于它背后的情绪捶胸，顿足可能是一种情绪的表现，我们见到这种动作表情就是试图解释潜在于它背后的情绪。对于这个复杂的问题，心理学家曾经做过许多的研究。面部表情认知的研究可分为两个步骤：第一步是面部表情刺激物的制作或选择，这可以用专门拍摄(录像)或图示来描画，也可以用完全装扮出的活生生的表情或自发的表情等。第二步时对表情进行识别评定。也可以用多种方法，如自由评定法，即让被试自由地对表情给出情绪词汇；或限制评定法，即向被试提供各种提供各种情绪词汇或情绪情境，要求被试只能根据所提供的情绪词汇或者情绪情境进行分类或者匹配等；或参照自由评定法，即向被试提供参考线索（如情境，人格特征等），让其说出所表达的情绪的词汇等。关键词：情绪表情认知线索

1 前言传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系中一个不可缺少的研究环节。情绪（emotion）是体验，又是反应；是冲动，又是行为；它是有机体的一种复合状态。情绪的表现有和缓的和激动的，细微的和强烈的，轻松的和紧张的等诸多形式，广泛地同其他心理过程相联系。自古以来，科学家们十分注意探讨情绪之奥妙，但与情绪的重要性不相适应的是，长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方法学上的困难。我国心理学家孟昭兰（1987）将理论认为面部表情是传递具体信息的外显行为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体验，也包括情绪表现，而表情既是情绪的外部表现，也是情绪体验的发生机制；既是最敏锐的情绪发生器，也是最有效的情绪显示器。这就从机制上说明了以面部肌肉运动模式作为情绪标志的根据。面部表情（facial expression_r）的发生是有其客观的物质基础的：表情按面部不同部位的肌肉运动而模式化，面部反应模式携带着心理学的意义，那就是或快乐、或悲伤等具体情绪。但是，对表情进行测量的原则在于：所要测量的是面孔各部位的肌肉运动本身，而不是面部所给予观察者的情绪信息。该实验将14名被试分为两组进行表情认知的实验，实验目的在于通过实验了解面部表情认知的基本

面部表情识别与面孔身份识别的独立加工与交互作用机制_汪亚珉

心理科学进展 2005，13（4）：497~516 Advances in Psychological Science 面部表情识别与面孔身份识别的独立加工与交互作用机制* 汪亚珉1，2 傅小兰1 （1中国科学院心理研究所，脑与认知国家重点实验室，北京 100101）（2中国科学院研究生院，北京 100039）摘要面孔识别功能模型认为，面部表情识别与面孔身份识别是两条独立的并行路径。以往诸多研究者都认可并遵循二者分离的原则。但近期研究表明，面部表情识别与面孔身份识别存在交互作用。首先总结和分析已有的面部表情识别的研究成果，评述神经心理学与认知神经科学研究中的论争，然后介绍人脸知觉的分布式神经机制以及相关的实验证据，最后提出面部表情识别与面孔身份识别的多级整合模型，并展望研究前景。关键词面孔身份识别，面部表情识别，面孔识别功能模型，人脸知觉的分布式神经模型，多级整合模型。分类号 B842 面孔识别一直备受研究者关注。20世纪70年代，Ekman和Frisen系统地研究了人脸基本表情的文化普遍性，并从解剖学角度提出了6种基本的面部表情[1]。20世纪80年代，Bruce和Young系统地研究了人对面孔的识别及其影响因素，提出了经典的面孔识别功能模型[2]。自此，面孔识别成为认知科学研究领域中的热点问题之一。人能轻易地从不同表情中识别出同一个人的面孔（即面孔身份识别，facial identity recognition），也能从不同人的面孔上识别出同一种表情（即面部表情识别，facial expression recognition），识别得如此精巧，以至众多研究者相信，识别面孔与识别表情收稿日期：2005-04-24 * 本研究得到中国科技部973项目（2002CB312103）、国家自然科学基金重点项目（60433030）和面上项目（30270466）、中国科学院心理研究所创新重点项目（0302037）经费支持。通讯作者：傅小兰，E-mail: fuxl@https://www.360docs.net/doc/481426509.html, 两者相互独立，互不干扰[2～7]。那么，这种分离识别究竟是如何实现的？面孔身份识别与面部表情识别究竟是彼此独立的还是相互作用的？这已成为认知科学（尤其是计算机视觉）面孔识别研究领域中亟待解决的一个重要问题。在过去开展的大量研究中，对面孔身份识别问题的探讨相对比较深入，而对面部表情识别的研究则囿于经典功能模型，并未能取得实质性进展。近年来随着脑认知研究技术的发展，面部表情识别的研究也在不断深入，研究者对面部表情识别与面孔身份识别间的关系也提出了新的阐释。本文在综述已有研究的基础上，试图进一步探讨面部表情识别与面孔身份识别之间的独立加工与交互作用机制。首先，基于经典面孔识别功能模型，分析传统的面孔身份识别与面部表情识别的并行分离加工观点，以及行为学、神经心理学与认知神经科学的研究发现；其

基于深度学习的人脸表情识别研究与实现

西南科技大学硕士研究生学位论文第I页目录 1绪论 (1) 1.1研究背景及意义 (1) 1.2国内外研究现状及趋势 (2) 1.3本文的研究内容与章节安排 (6) 2人脸表情识别预处理及相关技术 (8) 2.1人脸表情数据集 (8) 2.1.1严格数据集 (8) 2.1.2非严格数据集 (9) 2.2数据筛选 (10) 2.2.1基于某种概率分布的筛选策略 (10) 2.2.2 基于图模型的筛选策略 (11) 2.3人工神经网络 (12) 2.3.1正向传播 (13) 2.3.2反向传播 (14) 2.4自编码器神经网络 (16) 2.5卷积神经网络 (18) 2.5.1局部感受野 (18) 2.5.2权值共享 (19) 2.5.3池化（pooling） (19) 2.6循环神经网络 (20) 2.7人脸检测 (22) 2.8人脸关键点检测与对齐 (23) 2.9本章小结 (25) 3基于降噪自编码器的表情识别研究与实现 (26) 3.1堆栈式降噪自编码器 (26) 3.2Dropout (27) 3.3降噪自编码器表情识别网络 (28) 3.4实验与分析 (29) 3.5本章小结 (32) 4基于卷积神经网络的表情识别研究与实现 (33) 4.1一种轻量级CNN人脸表情识别模型 (33)

西南科技大学硕士研究生学位论文第II页 4.2利用bottleneck特征训练CNN表情识别网络 (38) 4.3微调（fine turn）训练CNN表情识别网络 (40) 4.4本章小结 (41) 5基于循环神经网络的表情识别研究与实现 (43) 5.1图像序列筛选 (43) 5.2CNN+LSTM表情识别方法 (44) 5.3实验结果分析 (45) 5.4本章小结 (46) 总结和展望 (47) 致谢 (49) 参考文献 (50) 攻读硕士期间获取得的研究成果 (55)

实验心理学实验设计方案-表情识别

不同面部表情的识别速度与识别准确性差异研究一、引言速度—准确性权衡是关系到一切反应时实验信度的基本问题，下面我们将尝试通过一个简单的生活化的实验来展示任务速度和任务准确性之间普遍的权衡关系。在反应时实验中，当被试追求较快的速度时，必然要以牺牲准确性为代价。同样，当被试力求高的准确性时，也必然要以放慢速度为代价。在具体的实验中，被试究竟会如何权衡二者的关系，取决于很多因素。本实验主要探讨不同面部表情（痛苦、微笑、悲哀、快乐）识别速度与准确率是否存在显著差异。实验假设：不同面部表情的识别速度与识别准确性存在差异二、实验目的通过实验证明不同面部表情（痛苦、微笑、悲哀、快乐）的识别速度与识别准确性存在差异，本实验旨在研究不同面部表情的识别速度与识别准确性存在差异，通过自编的e-prime 实验程序对四十名被试进行施测。三、实验仪器与材料痛苦、微笑、悲哀、快乐的图片（均选自于标准的实验图片库）、电脑、e-prime 程序四、实验设计采用单因素完全随机化设计

自变量为不同面部表情、区分为（痛苦、微笑、悲哀、快乐）四种。每个小组只接受一种实验处理，只对一种表情做出反应。因变量为反应时、准确率，分别是识别的准确率、以及被试对不同面部表情识别的反应时。五、实验程序（一）被试构成采用简单随机抽样，在弘德楼随机选取了几个自习室，共选取了 40 个被试。男女各半，年龄为18-23 岁，随机分为四个小组。（二）研究工具在计算机上自编好e-prime 实验程序（三）实验过程（1）正式实验前被试要先进行几次类似练习，以熟悉按键反应。（2）被试坐在电脑前，接受相同的指导语。其指导语为：“在接下来的一段时间里你将继续进行此类题目的正式作答，请用心作答”。被试按键确认后即开始正式实验、期间不再中断休息。（3）使用主试自编计算机视觉搜索程序，每帧呈现一副面部表情图片，每幅图片呈现的间隔时间一致，随机播放图片。每种表情的图片都有10 张，每张呈现2 次，共呈现20 次，所有表情图片共呈现80 次。痛苦按 “1 ”键、微笑按“2”键、悲哀按“3”键、快乐按“4 ”键。其中第1 小组只对痛苦做反应、2 小组只对微笑做反应、3 小组只对悲哀做反应、4 小组只对快乐做反应。每出现一幅图要求被试按对应的反应键，计算机自动记录反应时间和正确率。

幼儿表情识别实验报告

幼儿表情识别实验报告摘要在情绪活动中，人的面部、姿态和语音、语调会发生一系列明显的变化，这些变化因为可被他人直接观察到，往往成为情绪活动的表征，所以统称为“表情”。它包括面部表情、姿态表情和语调表情。面部表情为人际交流提供了丰富的个人信息和社会交往信息。本实验采用了表情指认的范式，探讨学前儿童对于高兴、好奇、伤心、害怕、讨厌和愤怒等6种面部表情的识别特点。结果发现，大中小班的儿童均对于“高兴”和“好奇”等积极情绪的表情识别成绩最好，对于“愤怒”的识别成绩最差，其他消极情绪的识别成绩居于之间。随着年龄增长，儿童对于以上6种基本表情（特别是高兴、好奇和生气）的识别能力也逐渐增强。关键词学前儿童面部表情识别 1 引言在情绪活动中，人的面部、体姿和语音、语调会发生一系列明显的变化，例如：面红耳赤、目瞪口呆、手舞足蹈、语无伦次等等。这些变化因为可被他人直接观察到，往往成为情绪活动的表征，所以统称为“表情”。表情是情绪活动所特有的外显表现，是人际交往的重要工具，也是研究情绪的重要客观指标。它包括面部表情、姿态表情和语调表情。其中最引人关注，也是非常重要的表情就是面部表情。（邹巍,2007）面部表情是指通过眼部肌肉、颜面肌肉和口部肌肉的变化来表现各种情绪状态。面部表情是情绪的发生机制，它是最敏感的情绪发生器，也是显示器。同时，面部表情也可以被定义成面部肌肉的特定运动模式。这些特殊的肌肉和其他肌肉组织不同，并不负责关节运动的功能，而仅仅用来专门承担面部表情的表达任务。表情的独特地位从其生理基础就可见一斑。面部表情的重要性在于它是人类情绪最为明显的外显形式，是人际交往中传递情绪的主要媒介。面部表情为人际交流提供了一套快捷、有效的符号系统，使得个体情绪不需要依赖言语就能准确地被传递出来。它包含丰富的个人信息和社会交往信息，同时还传达出一些有关人的认知、行为、性情、个性、气质、真实性和心理的信息。当看到不同面孔时，人能轻易地识别同一种表情，这就是所谓的面部表情识别。这种机能，在人类的生存活动和种族演进中具有重要的生物适应价值和社会交际功能。那么，人类从何时开始能够识别不同的面部表情呢？以往研究发现，婴儿早在3个月时就能区分通过图片呈现的一些基本面部表情的模式，如愉快、悲伤和惊奇等，到 7个月时已能对一些基本积极表情进行表情意义上的归类识别，即可以跨情境、跨面孔地抽取出它们的表情模式（梅冬梅等, 2013）。利用习惯化与去习惯化的实验范式，研究者还发现，10个月大的婴儿可以区分高级分组的积极情绪（快乐＋惊奇）与高级分组的消极情绪（愤怒＋恐惧）。关于面部表情模式的研究，贡献较大的是Izard和P. Ekman。他们通过婴儿面部表情提出了特定的基本情绪的面部模式和标定的标准，并从而得出人类基本情绪的类别。Ekman制订了一个以面部肌肉运动成分为基础的情绪测量系统，称为“面部表情编码技术”(FAST)。FAST把面部分为：(1)额-眉区，(2)眼-睑区，(3)鼻颊-口唇区三个部位，以照片为标本确定每一部位的肌肉运动变化，从而提出愉快、惊奇、悲伤、厌恶、愤怒和惧怕六种情绪。Ekman和Frieser又把FAST修改为“面部运动编码系统”(FACS)。FACS是以解剖为基础，标定面部肌肉运动，分辨出和FAST相同的六种情绪。Izard和Dougherty提出了“最大限度辨别面部肌肉运动编码系统”(Max)，能辨认兴趣、愉快、惊奇、悲伤、愤怒、厌恶、轻蔑、惧怕和生理不适的痛苦9种基本情绪。

人脸表情识别的研究进展

人脸表情识别的研究进展蒋斌;贾克斌;杨国胜【期刊名称】《计算机科学》【年(卷),期】2011(038)004 【摘要】人脸表情识别是人机交互、机器学习、智能控制和图像处理等领域涉及的重要研究方向,目前已成为国内外研究的热点.从人脸表情识别的特征提取和特征分类两方面出发,总结了国内外近几年人脸表情识别的进展状况.在特征提取阶段,根据所处理的图像的属性,分别从静态图像和动态图像两个方面总结人脸表情的特征提取算法,前者包括整体法和局部法,后者分为模型法、光流法和几何法.在分类器的设计上,以贝叶斯网络和距离度量两务理论主线.贯穿主要的方法.最后结合国内外最新的研究成果和应用领域,展望了人脸表情识别的发展.%In recent years, facial expression recognition has become a hot research direction in human computer interaction,machine learning, intelligent control and image processing. According to feature extraction and feature classification, recent developments of facial expression recognition were presented. From static images and image sequences, the methods of feature extraction can be divided into two categories. The former includes holistic methods and local methods, the later includes template-based methods, geometry-based methods and optical flow methods. In the classifier design,the main methods of feature classification can be categorized by Bayesian Network methods and Distance Metric methods. Finally, combining the latest productions

表情识别技术综述分析

------------------------------------------------------------精品文档-------------------------------------------------------- 人类表情识别技术 CENTRAL SOUTH UNIVERSITY 《脑与认知科学》调研报告人类表情识别技术目题

学生姓名何伟峰 0918140119 学号 1401 智能科学与技术专业班级 2015/10/27 完成时间人类表情识别技术目录人类表情识别技术一．摘要： (3) 二前言： (3) 三表情识别 (3) 人脸检测与定位 (3) 图像预处理 (4) 面部表情特征的提取方

法 (4) 表情分类与识别 (5) 四应用前景 (5) 五面部表情识别的国内外研究情况 (5) 六目前存在的难点和问题 (6) 参考文献： (6) 人类表情识别技术人脸表情识别技术综述一．摘要：一直以来，表情是人类引以为傲的东西，这是我们和机器的一种本质上的区别。随着计算机的发展，我们更期盼人机之间的沟通交流，尤其是一种带有感情的沟通交流。计算机在情感方面的成长经历也类似于我们每个人的成长过程——以观察和辨别情感作为最终自然，亲切，生动的交互的开始。在物联网技术发展的今天，面部识别已经不是什么太大的技术性问题，而对于人类表情识别来说，仍旧是一片空白。我们希望有一天机器可以读懂我们的语言、知悉我们的表情，更好的为我们服务，或许这才是真正的物联网时代。表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法和他的应用前景。关键词：表情识别；特征提取；表情分类；应用前景。二前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。三表情识别人脸表情识别系统主要包括人脸检测与定位、图像预处理、人脸表情特征提取和人脸表情分类识别。

表情识别技术综述分析

CENTRAL SOUTH UNIVERSITY 《脑与认知科学》调研报告题目人类表情识别技术学生姓名何伟峰学号0918140119 专业班级智能科学与技术1401 完成时间2015/10/27

目录人类表情识别技术一．摘要： (3) 二前言： (3) 三表情识别 (3) 人脸检测与定位 (3) 图像预处理 (4) 面部表情特征的提取方法 (4) 表情分类与识别 (5) 四应用前景 (5) 五面部表情识别的国内外研究情况 (5) 六目前存在的难点和问题 (6) 参考文献： (6)

人脸表情识别技术综述一．摘要：一直以来，表情是人类引以为傲的东西，这是我们和机器的一种本质上的区别。随着计算机的发展，我们更期盼人机之间的沟通交流，尤其是一种带有感情的沟通交流。计算机在情感方面的成长经历也类似于我们每个人的成长过程——以观察和辨别情感作为最终自然，亲切，生动的交互的开始。在物联网技术发展的今天，面部识别已经不是什么太大的技术性问题，而对于人类表情识别来说，仍旧是一片空白。我们希望有一天机器可以读懂我们的语言、知悉我们的表情，更好的为我们服务，或许这才是真正的物联网时代。表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法和他的应用前景。关键词：表情识别；特征提取；表情分类；应用前景。二前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。三表情识别人脸表情识别系统主要包括人脸检测与定位、图像预处理、人脸表情特征提取和人脸表情分类识别。人脸检测与定位可以基于Haar 特征的特征提取方法和基于Adaboost 的分类方法进行人脸检测与定位人脸检测与定位图像预处理表情特征提取表情分类与识别人脸检测与定位

人脸识别文献综述解读

文献综述 1 引言在计算机视觉和模式识别领域，人脸识别技术（Face Recognition Technology，简称FRT）是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当前模式识别和人工智能领域的一个研究热点。虽然人类能够毫不费力的识别出人脸及其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得的一些信息。自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组，相关的研究综述见文献[1-3]。本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识： 2.1 数字图像处理技术数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机