动态人脸表情识别技术研究

湖南大学

硕士学位论文

动态人脸表情识别技术研究

姓名：应伟

申请学位级别：硕士

专业：通信与信息系统

指导教师：邹北骥

20050508

动态人脸表情识别技术研究

运动特征定义了基本形变单元ＡＵ（ＡｃｔｉｏｎＵｎｉｔ）“…。基于这套理论，人脸面部的各种表情最终能分解对应到各个Ａｕ上来，分析表情特征信息，也就是分析面部ＡＵ的变化情况。

人脸运动编码系统总共定义了４４个基本的形变单元以及一些用来描述头部和眼睛的方位变换的单元，譬如头部左右偏转等等。４４个基本形变单元又分为单个形变单元以及联合形变单元两个部分。对每个单个形变单元，系统中都提供了单元号码、单元名称以及与之相关的肌肉名称。具体形变单元的定义见附录Ｂ．１，人脸面部肌肉的说明见附录Ｂ．２。其中，人脸上半部分基本形变单元名称及对应的表情图像样例见图２．２。

图２．２人脸上半部分基本形变单元名称及对应的表情图像“”

随着研究的深入，研究者们对于ＦＡＣＳ在人脸表情识别技术中的应用提出了一些新的看法。

高文和金辉认为ＦＡＣＳ有两个主要弱点”“：

１．运动单元是纯粹的局部化的空间模板；

２．没有时间描述信息，只是一个启发式信息。其中ＦＡＣＳ不包含情绪信息，数据的分析只是单纯的描绘运动单元ＡＵ，或者把ＦＡＣＳ通过字典规则转化成情绪。

Ｅｓｓａ也认为ＦＡＣＳ在对表情的描述方面过于简单化，人脸的表情应该是所有肌肉同时协作完成的一种行为，只是各个肌肉的影响因子存在差异而已，Ｅｓｓａ提出了基于视频的动态表情描述方式ＦＡＣＳ＋，ＦＡＣＳ＋直接运用真实人脸样例产生表情特征模板进行表情描述，避免了ＦＡＣＳ文字性的描述带来的表情失真；而且ＦＡＣＳ＋充分考虑了表情的空间变化特征和时间变化特征，克服了ＦＡＣＳ对动态表情特性描述的不足““。

２．２．３表情与情感

因为目前表情识别的目的主要是用于理解人的几种基本情感，所以，很多表情识别系统研究者往往会将表情与情感的概念、表情与人的心理状态的概念混淆，这样的理解存在局限，会使表情识别技术的研究进入一种进退两难的地步。对此，心理学家进行了详细地区分。

表情的产生主要由四个方面的因素引起，分别是精神活动、说话、示意以及生理活动。情感只是属于精神活动里面的一个部分。它们之间的关系见图２．３。

动态人脸识别智能分析软件动态人脸识别系统

目录声明..................................................................................... 错误！未定义书签。一、产品介绍 (2) 1.1 软件介绍 (2) 1.2 系统结构 (2) 二、视频接入 (3) 2.1 高清网络摄像机 (3) 2.2 视频源 (4) 三、软件安装 (5) 3.1 安装环境 (5) 3.2 加密狗 (5) 3.2 数据库 (5) 3.4 注册安装 (6) 3.5FrFaceServer 配置 (6) 3.6FrFaceWorker 通道配置 (7) 四、功能介绍 (10) 4.1 用户管理 (10) 4.2 模板批量导入 (10) 4.3 单人多模板 (11) 4.4 抓拍人脸导入 (11) 4.5 比对结果显示 (12) 4.6 黑名单报警 (13) 4.7 参数控制 (13) 4.8 抓拍记录 (15) 4.9 抓拍列表 (15) 4.10 自动登录 (16) 4.11 综合检索 (16) 五、注意事项 (17) 5.1 模板要求 (17) 5.2 视频要求 (18)

人脸识别技术的应用背景及研究现状

1．人脸识别技术的应用随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。（2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。（3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。（4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。（5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面：（1）模板匹配主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较

面部表情识别实验报告分析

面部表情识别实验实验报告小组成员：面部表情识别实验西南大学重庆 400715

摘要：情绪认知是一种复杂的过程，它包含观察、分析、判断、推理等，是借助于许多线索，特别是借助面部那些活动性更大的肌肉群的运动而实现的。所以，情绪认知的准确度受多种因素的影响。当我们与他人相互交往的时候，不管是不是面对面。我们都正在不断的表达着情绪，同时又正在观察，解释着的对方做出的表情，在人际交往过程中，情绪的表达和认知是十分的迅速和及时，那么人是借助于哪些表情来认知他人的情绪的呢？情绪识别实际上并不是针对表情本身的，而是针对这它背后的意义。例如：皱眉可能是一种情绪的表现，我们见到这种面部表情就试图解释潜在于它背后的情绪。尖锐，短促，声音嘶哑可能是一种情绪表现，我们听到这种语言表情就试图解释潜在于它背后的情绪捶胸，顿足可能是一种情绪的表现，我们见到这种动作表情就是试图解释潜在于它背后的情绪。对于这个复杂的问题，心理学家曾经做过许多的研究。面部表情认知的研究可分为两个步骤：第一步是面部表情刺激物的制作或选择，这可以用专门拍摄(录像)或图示来描画，也可以用完全装扮出的活生生的表情或自发的表情等。第二步时对表情进行识别评定。也可以用多种方法，如自由评定法，即让被试自由地对表情给出情绪词汇；或限制评定法，即向被试提供各种提供各种情绪词汇或情绪情境，要求被试只能根据所提供的情绪词汇或者情绪情境进行分类或者匹配等；或参照自由评定法，即向被试提供参考线索（如情境，人格特征等），让其说出所表达的情绪的词汇等。关键词：情绪表情认知线索

1 前言传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系中一个不可缺少的研究环节。情绪（emotion）是体验，又是反应；是冲动，又是行为；它是有机体的一种复合状态。情绪的表现有和缓的和激动的，细微的和强烈的，轻松的和紧张的等诸多形式，广泛地同其他心理过程相联系。自古以来，科学家们十分注意探讨情绪之奥妙，但与情绪的重要性不相适应的是，长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方法学上的困难。我国心理学家孟昭兰（1987）将理论认为面部表情是传递具体信息的外显行为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体验，也包括情绪表现，而表情既是情绪的外部表现，也是情绪体验的发生机制；既是最敏锐的情绪发生器，也是最有效的情绪显示器。这就从机制上说明了以面部肌肉运动模式作为情绪标志的根据。面部表情（facial expression_r）的发生是有其客观的物质基础的：表情按面部不同部位的肌肉运动而模式化，面部反应模式携带着心理学的意义，那就是或快乐、或悲伤等具体情绪。但是，对表情进行测量的原则在于：所要测量的是面孔各部位的肌肉运动本身，而不是面部所给予观察者的情绪信息。该实验将14名被试分为两组进行表情认知的实验，实验目的在于通过实验了解面部表情认知的基本

人脸识别技术的应用背景及研究现状

人脸识别技术的应用背景及研究现状 1．人脸识别技术的应用随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。（2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。（3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。（4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。（5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面：

人脸表情识别

图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important meansthatwe communicateand express the emotions.Without special training, People often difficult to conceal their facial expression.So, by the analyzing facial expression, we can obtain important information. Facial expression recognitionis animportant component that the implementation of human-computer interaction, and animportant research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial expression feature extraction. Keywords：facelocation; integral projection; facialexpression recognition; manifold learning;GILTSA

人脸识别巡更系统设计方案

动态人脸识别巡更系统案北京博睿视科技有限责任公司 2017年8月 18日目录第一章人脸识别巡更系统设计要求一、人脸识别巡更系统社会意义略第二章系统概述人脸识别智能巡更系统为基于深度学习算法的通过式人脸记录巡检系统。根据需要将用于人脸抓拍的监控摄像机安装在需要巡逻的线路或执勤岗位上，人员对该地进行巡更通过时摄像机自动抓拍巡更人员的人脸照片同时将抓拍时间与对应的巡更人员人脸库进行比对结果通过局域网存入系统数据库。此记录将成为巡更人员何时到达该地巡更的依据。管理人员通过系统管理系统软件可清晰地了

查询巡更人员巡更的实际情况，如漏查、误点、非本人带班等信息，方便管理人员有效管理。 1、人脸识别巡更系统构成该系统由人脸静态建库、人脸动态入库、人脸信息修改、实时人脸抓拍、人脸检索、人脸图像聚类、以图搜图、联动报警八大部分组成。整个软件的逻辑体系结构如下图所示。软件结构体系（ C/S 结构）图3-3 软件逻辑体系示意图实现布控人员建库，提供用户建立临时人脸库的功能，使用者可自行注册，批量导入人脸照片，静态人脸库包括黑名单、白名单。人脸动态入库将摄像机抓拍的人脸图片，建立动态抓拍人脸库，不断累积抓拍数据，为后期进行人脸管理和提升识别率提供必要的支撑。人脸信息修改人脸信息修改模块主要是针对各个不同的人脸库，查询符合条件下的人员信息，并对其中的信息进行修改删除等操作，同时也可针对选择的人脸库进行新人员信息的注册。

实时人脸抓拍该子系统为监控画面和报警端的界面，主要分为4 个部分：视频设备列表，监控画面，现场抓拍图像和匹配报警图像。图实时人脸监控子系统效果图功能模块分别为视频设备列表：列举所有可以使用的监控摄像头图视频设备列表监控画面：播放窗口显示该摄像机的实时监控图监控画面现场抓拍图像：显示摄像头所抓取的人脸图片图现场抓拍图像报警图像：根据抓拍到的人脸图像，与数据库中的人员进行比对查询。图匹配报警图像人脸图像检索人脸图像检索即为对摄像头抓拍到的人员信息或系统识别比对结果进行进一步的查询。该模块分为比对结果查询，抓拍人像查询和比对库人脸查询三个部分比对结果查询：选择要查询的设备和黑白名单类型以及匹配的开始和结束时间，然后点击查询按钮。显示的匹配结果以倒序方式进行排列，离结束时间最近的排在最图比对结果查询抓拍人像查询：选择抓拍起始时间和抓拍结束时间，然后点击查询按钮。显示的内容以“抓拍时间”中的内容倒序方式进行排列，即离结束时间最近的排在最前面。图抓拍人像查询比对库人脸查询：选择入库的开始时间和入库结束时间，然后点击查询按钮。显示的结果以“入库时间”中的内容倒序方式进行排列，即离结束时间最近的排在最前面。图比对库人脸查询聚类

视频门禁之动态人脸识别侦测门禁、通道、梯控系统解决方案

视频门禁之人脸识别监控系统解决方案一、需求背景在公共场所，人流量巨大，依靠人力无法有效地在流动的人群中发现布控目标，在不干扰群众自由通行的情况下，很难快速方便的辨别其身份。传统方式，案发后常常需要出动整个侦查队加班加点反复看视频，不但耗费大量警力而且容易错过追捕时机。为了对付各种各样的刑事犯罪，保护国家和人民群众的生命财产安全，保证各行各业和国家重点部门的正常运转，采用高科技手段预防和制止犯罪已成为平安城市建设的需要。随着人脸识别技术的发展，诸多人像比对系统已经在公安的治安、刑侦等业务中获得有效的应用。公安部门在特殊场所追缉在逃人员一直以来是个很棘手的问题。由多奥自主研发的领先的人脸识别技术，将动态人脸识别技术应用于视频监控中，从而使在不易被监控目标察觉的情况下，达到中远距离识别验证后台报警提示的效果。将动态人脸识别技术与视频监控相结合，对重点监控区域进行人脸识别布控，对于协助公安干警快速侦破案件，避免犯罪事件的发生，维护社会和谐稳定，创建平安和谐城市具有重要的意义。

二、系统概述人脸识别布控系统，把各处采集到的人脸信息与布控人脸进行比对，能够同时进行多路视频分析比对，在发现目标后迅速提示并将警情推送至客户端。此外，系统还支持单目标多张照片批量导入，多目标批量照片导入等各种导入方式，在降低了技术人员的工作量同时大幅提高了安保人员的工作效率。即使抓拍人在行进中转头、低头仍然能做出准确跟踪和抓拍。系统采用服务器/客户端结构。服务器保存黑名单人员的面部信息，实现人员识别和报警的功能，而客户端实时接收来自一个或多个通道摄像头的面部数据，并和黑名单中的人员进行对比。

人脸识别技术是什么原理

人脸识别技术是什么原理 1面像识别原理 2、1、1面像识别技术概述面像识别是近年来随着计算机技术、图象处理技术、模式识别技术等技术的快速进步而出现的一种崭新的生物特征识别技术。生物识别技术是依靠人体的身体特征来进行身份验证的一种高科技识别技术，如同人的指纹、掌纹、眼虹膜、DNA 以及相貌等人体特征具有人体所固有的不可复制的唯一性、稳定性、无法复制一样，不易失窃或被遗忘。由于每个人的这些特征都不相同，因此利用人体的这些独特的生理特征可以准确地识别每个人的身份。随着计算机技术的迅速发展，人们开发了指纹识别、声音识别、掌形识别、签名识别、眼纹（视网膜）识别等多种生物识别技术，目前许多技术都己经成熟并得以应用。而面像识别技术则是生物识别技术的新秀，与其他识别技术相比较，面像识别具有简便、准确、经济及可扩展性良好等众多优势，可广泛应用于安全验证、监控、出入口控制等多个方面。面像识别技术包含面像检测、面像跟踪与面像比对等课题。面像检测是指在动态的场景与复杂的背景中判断是否存在面像并分离出面像，面像跟踪指对被检测到的面像进行动态目标跟踪，面像比对则是对被检测到的面像进行身份确认或在面像库中进行目标搜索。面像检测分为参考模板、人脸规则、样本学习、肤色模型与特征子脸等方法。参考模板方法首先设计一个或数个标准人脸模板，然后计算测试样本与标准模板之间的匹配程度，通过阀值来判断是否存在人脸；人脸具有一定的结构分布特征，人脸规则即提取这些特征生成相应的规则以判断测试样本是否包含人脸；样本学习则采用模式识别中人工神经网络方法，通过对面像样本集和非面像样本集的学习产生分类器；肤色模型依据面像肤色在色彩空间中分布相对集中的规律来进行检测；特征子脸将所有面像集合视为一个面像子空间，基于检测样本与其在子空间的投影之间的距离判断是否存在面像。上述方法在实际系统中也可综合采用。面像跟踪一般采用基于模型的方法或基于运动与模型相结合的方法，另外，肤色模型跟踪也不失为一种简单有效的手段。面像比对从本质上讲是采样面像与库存面像的依次比对并找出最佳匹配对象。因此，面像的描述决定了面像识别的具体方法与性能。目前主要有特征向量与面纹模板两种描述方法，特征向量法先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离、角度等等属性，然后计算出它们的几何特征量，这些特征量形成一描述该面像的特征向量；面纹模板法则在库中存储若干标准面像模板或面像器官模板，在比对时，采样面像所有象素与库中所

面部表情识别与面孔身份识别的独立加工与交互作用机制_汪亚珉

心理科学进展 2005，13（4）：497~516 Advances in Psychological Science 面部表情识别与面孔身份识别的独立加工与交互作用机制* 汪亚珉1，2 傅小兰1 （1中国科学院心理研究所，脑与认知国家重点实验室，北京 100101）（2中国科学院研究生院，北京 100039）摘要面孔识别功能模型认为，面部表情识别与面孔身份识别是两条独立的并行路径。以往诸多研究者都认可并遵循二者分离的原则。但近期研究表明，面部表情识别与面孔身份识别存在交互作用。首先总结和分析已有的面部表情识别的研究成果，评述神经心理学与认知神经科学研究中的论争，然后介绍人脸知觉的分布式神经机制以及相关的实验证据，最后提出面部表情识别与面孔身份识别的多级整合模型，并展望研究前景。关键词面孔身份识别，面部表情识别，面孔识别功能模型，人脸知觉的分布式神经模型，多级整合模型。分类号 B842 面孔识别一直备受研究者关注。20世纪70年代，Ekman和Frisen系统地研究了人脸基本表情的文化普遍性，并从解剖学角度提出了6种基本的面部表情[1]。20世纪80年代，Bruce和Young系统地研究了人对面孔的识别及其影响因素，提出了经典的面孔识别功能模型[2]。自此，面孔识别成为认知科学研究领域中的热点问题之一。人能轻易地从不同表情中识别出同一个人的面孔（即面孔身份识别，facial identity recognition），也能从不同人的面孔上识别出同一种表情（即面部表情识别，facial expression recognition），识别得如此精巧，以至众多研究者相信，识别面孔与识别表情收稿日期：2005-04-24 * 本研究得到中国科技部973项目（2002CB312103）、国家自然科学基金重点项目（60433030）和面上项目（30270466）、中国科学院心理研究所创新重点项目（0302037）经费支持。通讯作者：傅小兰，E-mail: fuxl@https://www.360docs.net/doc/d210752000.html, 两者相互独立，互不干扰[2～7]。那么，这种分离识别究竟是如何实现的？面孔身份识别与面部表情识别究竟是彼此独立的还是相互作用的？这已成为认知科学（尤其是计算机视觉）面孔识别研究领域中亟待解决的一个重要问题。在过去开展的大量研究中，对面孔身份识别问题的探讨相对比较深入，而对面部表情识别的研究则囿于经典功能模型，并未能取得实质性进展。近年来随着脑认知研究技术的发展，面部表情识别的研究也在不断深入，研究者对面部表情识别与面孔身份识别间的关系也提出了新的阐释。本文在综述已有研究的基础上，试图进一步探讨面部表情识别与面孔身份识别之间的独立加工与交互作用机制。首先，基于经典面孔识别功能模型，分析传统的面孔身份识别与面部表情识别的并行分离加工观点，以及行为学、神经心理学与认知神经科学的研究发现；其

基于深度学习的人脸表情识别研究与实现

西南科技大学硕士研究生学位论文第I页目录 1绪论 (1) 1.1研究背景及意义 (1) 1.2国内外研究现状及趋势 (2) 1.3本文的研究内容与章节安排 (6) 2人脸表情识别预处理及相关技术 (8) 2.1人脸表情数据集 (8) 2.1.1严格数据集 (8) 2.1.2非严格数据集 (9) 2.2数据筛选 (10) 2.2.1基于某种概率分布的筛选策略 (10) 2.2.2 基于图模型的筛选策略 (11) 2.3人工神经网络 (12) 2.3.1正向传播 (13) 2.3.2反向传播 (14) 2.4自编码器神经网络 (16) 2.5卷积神经网络 (18) 2.5.1局部感受野 (18) 2.5.2权值共享 (19) 2.5.3池化（pooling） (19) 2.6循环神经网络 (20) 2.7人脸检测 (22) 2.8人脸关键点检测与对齐 (23) 2.9本章小结 (25) 3基于降噪自编码器的表情识别研究与实现 (26) 3.1堆栈式降噪自编码器 (26) 3.2Dropout (27) 3.3降噪自编码器表情识别网络 (28) 3.4实验与分析 (29) 3.5本章小结 (32) 4基于卷积神经网络的表情识别研究与实现 (33) 4.1一种轻量级CNN人脸表情识别模型 (33)

西南科技大学硕士研究生学位论文第II页 4.2利用bottleneck特征训练CNN表情识别网络 (38) 4.3微调（fine turn）训练CNN表情识别网络 (40) 4.4本章小结 (41) 5基于循环神经网络的表情识别研究与实现 (43) 5.1图像序列筛选 (43) 5.2CNN+LSTM表情识别方法 (44) 5.3实验结果分析 (45) 5.4本章小结 (46) 总结和展望 (47) 致谢 (49) 参考文献 (50) 攻读硕士期间获取得的研究成果 (55)

人脸表情识别综述

人脸表情识别综述一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信和汽车领域等二、1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒（anger）、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成人脸面部表情运动的描述方法---人脸运动编码系统FACS (Facial Action Coding System)，根据面部肌肉的类型和运动特征定义了基本形变单元AU（Action Unit），人脸面部的各种表情最终能分解对应到各个AU上来，分析表情特征信息，就是分析面部AU的变化情况 FACS有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间描述信息，只是一个启发式信息三、人脸表情识别的过程和方法 1、表情库的建立：目前，研究中比较常用的表情库主要有:美国CMU机器人研究所和心理学系共同建立的 Cohn-Kanade AU-Coded Facial Expression Image Database(简称CKACFEID)人脸表情数据库;日本ATR 建立的日本女性表情数据库(JAFFE)，它是研究亚洲人表情的重要测试库 2、表情识别: （1）图像获取:通过摄像头等图像捕捉工具获取静态图像或动态图像序列。（2）图像预处理:图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。 →目的:改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础主要工作→人脸表情识别子区域的分割以及表情图像的归一化处理(尺度归一和灰度归一) （3）特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。 →特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等 1）采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别优点：减少了输入数据量缺点：丢失了一些重要的识别和分类信息，结果的精确性不高

实验心理学实验设计方案-表情识别

不同面部表情的识别速度与识别准确性差异研究一、引言速度—准确性权衡是关系到一切反应时实验信度的基本问题，下面我们将尝试通过一个简单的生活化的实验来展示任务速度和任务准确性之间普遍的权衡关系。在反应时实验中，当被试追求较快的速度时，必然要以牺牲准确性为代价。同样，当被试力求高的准确性时，也必然要以放慢速度为代价。在具体的实验中，被试究竟会如何权衡二者的关系，取决于很多因素。本实验主要探讨不同面部表情（痛苦、微笑、悲哀、快乐）识别速度与准确率是否存在显著差异。实验假设：不同面部表情的识别速度与识别准确性存在差异二、实验目的通过实验证明不同面部表情（痛苦、微笑、悲哀、快乐）的识别速度与识别准确性存在差异，本实验旨在研究不同面部表情的识别速度与识别准确性存在差异，通过自编的e-prime 实验程序对四十名被试进行施测。三、实验仪器与材料痛苦、微笑、悲哀、快乐的图片（均选自于标准的实验图片库）、电脑、e-prime 程序四、实验设计采用单因素完全随机化设计

自变量为不同面部表情、区分为（痛苦、微笑、悲哀、快乐）四种。每个小组只接受一种实验处理，只对一种表情做出反应。因变量为反应时、准确率，分别是识别的准确率、以及被试对不同面部表情识别的反应时。五、实验程序（一）被试构成采用简单随机抽样，在弘德楼随机选取了几个自习室，共选取了 40 个被试。男女各半，年龄为18-23 岁，随机分为四个小组。（二）研究工具在计算机上自编好e-prime 实验程序（三）实验过程（1）正式实验前被试要先进行几次类似练习，以熟悉按键反应。（2）被试坐在电脑前，接受相同的指导语。其指导语为：“在接下来的一段时间里你将继续进行此类题目的正式作答，请用心作答”。被试按键确认后即开始正式实验、期间不再中断休息。（3）使用主试自编计算机视觉搜索程序，每帧呈现一副面部表情图片，每幅图片呈现的间隔时间一致，随机播放图片。每种表情的图片都有10 张，每张呈现2 次，共呈现20 次，所有表情图片共呈现80 次。痛苦按 “1 ”键、微笑按“2”键、悲哀按“3”键、快乐按“4 ”键。其中第1 小组只对痛苦做反应、2 小组只对微笑做反应、3 小组只对悲哀做反应、4 小组只对快乐做反应。每出现一幅图要求被试按对应的反应键，计算机自动记录反应时间和正确率。

人脸识别技术的几个主要研究方向

人脸识别技术的几个主要研究方向 1 引言计算机人脸识别是指基于已知的人脸样本库,利用计算机分析图像和模式识别技术从静态或动态场景中,识别或验证一个或多个人脸。通常识别处理后可得到的基本信息包括人脸的位置、尺度和姿态信息。利用特征提取技术还可进一步抽取出更多的生物特征(如:种族、性别、年龄..) 。计算机人脸识别是目前一个非常活跃的研究课题，它可以广泛应用于保安系统、罪犯识别以及身份证明等重要场合。虽然人类对于人脸的识别能力很强，能够记住并辨识上千个不同的人脸，可是对于计算机则困难多了，其表现在：人脸表情丰富；人脸随年龄的增长而变化；发型、胡须、眼镜等装饰对人脸造成的影响；人脸所成图像受光照、成像角度以及成像距离等影响。计算机人脸识别技术是近20年发展起来的，90年代更成为科研热点，仅从1990 年到1999年之间,EI 可检索到的相关文献多达数千篇，关于人脸识别的综述也屡屡可见[1] 。自动人脸识别系统包括两个主要技术环节首先是人脸检测和定位，然后是对人脸进行特征提取和识别（匹配）。本文着重介绍人脸识别技术的各类方法，通过对比指出各类方法的优缺点及今后的发展方向。 2 人脸检测和定位人脸检测和定位即对于给定的一幅图像检测图像中是否有人脸,若有则确定其在图像中的位置,并从背景中分割出来。这是个极富挑战性的问题，因为人脸是非刚体，且人脸在图像中的大小和方向以及人的肤色和纹理等方面有很大的可变形。人脸检测问题主要有四种：（1）对于给定的一幅人脸图像，将其中的人脸定位并给出其位置；（2）在一幅混乱的单色场景图中检测出所有的人脸；（3）在彩色图像中检测（定位）所有人脸；（4）在某一视频序列中，检测和定位出所有人脸。文献[2]对人脸检测进行了较为详细的综述，指出常用的人脸检测方法有四种：（1）基于知识的方法；（2）基于人脸固定特征的方法；（3）基于模板匹配的方法；（4）基于外貌的方法（Appearance-based methods），在基于模板匹配的方法中所采用的是预先确定的模板，而在基于外貌的方法中其模板的选择是通过对一系列图像的学习而确定的。一般来说，基于外貌的方法依靠统计和学习技术来找出人脸和非人脸图像的相关特征。在该方法中有特征脸法、基于聚类的方法、神经网络方法和支持向量机的方法。CMU库是常用的人脸检测库，主要的算法评定指标为错误接受率（FAR）和错误拒绝率（ARR）。 3 人脸特征提取和识别目前大部分研究主要是针对二维正面人脸图像，也有基于三维人脸模型的方法，还有一种所谓的混合系统的身份鉴定系统。 3.1 二维正面人脸识别在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大

幼儿表情识别实验报告

幼儿表情识别实验报告摘要在情绪活动中，人的面部、姿态和语音、语调会发生一系列明显的变化，这些变化因为可被他人直接观察到，往往成为情绪活动的表征，所以统称为“表情”。它包括面部表情、姿态表情和语调表情。面部表情为人际交流提供了丰富的个人信息和社会交往信息。本实验采用了表情指认的范式，探讨学前儿童对于高兴、好奇、伤心、害怕、讨厌和愤怒等6种面部表情的识别特点。结果发现，大中小班的儿童均对于“高兴”和“好奇”等积极情绪的表情识别成绩最好，对于“愤怒”的识别成绩最差，其他消极情绪的识别成绩居于之间。随着年龄增长，儿童对于以上6种基本表情（特别是高兴、好奇和生气）的识别能力也逐渐增强。关键词学前儿童面部表情识别 1 引言在情绪活动中，人的面部、体姿和语音、语调会发生一系列明显的变化，例如：面红耳赤、目瞪口呆、手舞足蹈、语无伦次等等。这些变化因为可被他人直接观察到，往往成为情绪活动的表征，所以统称为“表情”。表情是情绪活动所特有的外显表现，是人际交往的重要工具，也是研究情绪的重要客观指标。它包括面部表情、姿态表情和语调表情。其中最引人关注，也是非常重要的表情就是面部表情。（邹巍,2007）面部表情是指通过眼部肌肉、颜面肌肉和口部肌肉的变化来表现各种情绪状态。面部表情是情绪的发生机制，它是最敏感的情绪发生器，也是显示器。同时，面部表情也可以被定义成面部肌肉的特定运动模式。这些特殊的肌肉和其他肌肉组织不同，并不负责关节运动的功能，而仅仅用来专门承担面部表情的表达任务。表情的独特地位从其生理基础就可见一斑。面部表情的重要性在于它是人类情绪最为明显的外显形式，是人际交往中传递情绪的主要媒介。面部表情为人际交流提供了一套快捷、有效的符号系统，使得个体情绪不需要依赖言语就能准确地被传递出来。它包含丰富的个人信息和社会交往信息，同时还传达出一些有关人的认知、行为、性情、个性、气质、真实性和心理的信息。当看到不同面孔时，人能轻易地识别同一种表情，这就是所谓的面部表情识别。这种机能，在人类的生存活动和种族演进中具有重要的生物适应价值和社会交际功能。那么，人类从何时开始能够识别不同的面部表情呢？以往研究发现，婴儿早在3个月时就能区分通过图片呈现的一些基本面部表情的模式，如愉快、悲伤和惊奇等，到 7个月时已能对一些基本积极表情进行表情意义上的归类识别，即可以跨情境、跨面孔地抽取出它们的表情模式（梅冬梅等, 2013）。利用习惯化与去习惯化的实验范式，研究者还发现，10个月大的婴儿可以区分高级分组的积极情绪（快乐＋惊奇）与高级分组的消极情绪（愤怒＋恐惧）。关于面部表情模式的研究，贡献较大的是Izard和P. Ekman。他们通过婴儿面部表情提出了特定的基本情绪的面部模式和标定的标准，并从而得出人类基本情绪的类别。Ekman制订了一个以面部肌肉运动成分为基础的情绪测量系统，称为“面部表情编码技术”(FAST)。FAST把面部分为：(1)额-眉区，(2)眼-睑区，(3)鼻颊-口唇区三个部位，以照片为标本确定每一部位的肌肉运动变化，从而提出愉快、惊奇、悲伤、厌恶、愤怒和惧怕六种情绪。Ekman和Frieser又把FAST修改为“面部运动编码系统”(FACS)。FACS是以解剖为基础，标定面部肌肉运动，分辨出和FAST相同的六种情绪。Izard和Dougherty提出了“最大限度辨别面部肌肉运动编码系统”(Max)，能辨认兴趣、愉快、惊奇、悲伤、愤怒、厌恶、轻蔑、惧怕和生理不适的痛苦9种基本情绪。

智能分析动态人脸识别系统专业技术需求书

智能分析(动态人脸识别）系统技术需求书一、概述动态人脸识别智能分析系统是以数字化、网络化视频监控为基础,是一种更高端的视频监控应用。视频智能分析(动态人脸识别)系统能够自动识别不同的物体，发现监控画面中的异常情况,并能够及时发出警报和提供有用信息,从而能够更加有效的协助管理人员处理危机,并最大限度的降低误报和漏报现象。视频智能分析（动态人脸识别）系统是视频监控技术发展的方向,是未来视频监控的趋势。随着人脸识别技术的进一步发展，将人脸识别技术与数字监控系统的进一步融合,同时人脸识别与监控技术的结合在安防领域中得到了重用。一方面在人脸识别技术已经找很多的行业领域上已经实践的证明,这项技术为安防管理业务创新提供了很大的技术支持,也为日常安保管理效率有了很大的提高和成本的节省。以《全国监狱信息化建设规划》提出的“科技兴监”的思想为指导,随着人像技术不断的创新和发展,成熟的人像识别技术完全可以结合现在监狱管理业务,特别针对监狱人员进出管理业务，现在成熟的人像识别技术能在当中发挥巨大的作用，为监狱的相关管理做出更多有效可行的创新和改变，可以对行业内的原有业务管理流程进行优化和简化，同时也提高相关业务管理效率和质量。二、总体要求 1.功能需求 ★本次项目建设的人脸识别智能分析系统需要无缝接入监狱视频监控平台、监狱综合安防管理平台以及省局综合安防管理平台。本次投标费用包括完成本次建设的新系统与原平台及系统的对接开发工作,中标方不得再向建设方申请开发费用(投

标时提供纸质承诺)。 1.1罪犯人脸识别布控需求在监狱B门内警戒区域,精确捕捉在布控区域内出现人员的面部特征及场所内场景，对所有出现在布控区域内的人员实施“近”距离监控。自动抓拍出现在布控区域内人员的人脸图象,将所有的在押人员设置成布控对象，并与布控库中的对象实时比对,一旦在押人员到达该布控区域，系统会自动识别并报警。１.２ AB门车辆识别需求当前监狱系统AB门车辆识别采用人工检测方式,通过人工对比车牌号、车辆型号、车辆驾驶员进行管理，管理人员工作量大,容易出错,需要一套自动识别系统来减轻管理人员的工作量。项目计划采用视频智能分析（动态人脸识别)系统,针对监狱构建了高度可靠的AB门通道出入车辆及人员身份识别，通过动态人脸识别技术对关押犯人实时监控管理等，构建一套集动态人脸识别与分析应用于一体、统一数据标准和接口规范的监狱人脸识别应用系统。提供人脸动态识别、视频监控智能分析、监测设备运行、基于大数据技术构建一个服务管理系统，实现视频图像资源的融合汇聚、集中管控、交互整合，为构建监狱系统的“智慧大脑“奠定基础。 2．兼容性需求 ★建设的设备,必须具有开放性，中标方须承诺项目所涉及的软硬件需要全部免费提供开放接口及底层SDＫ开发包接口完全免费开放,可提供给第三方进行系统集成开发（投标时提供纸质承诺）。３.建设要求 1、设备选型时各系统应整体考虑各子系统之间的接口问题，特别是所提供设备

2019版微表情识别·读脸读心答案

微表情涵义·由来 1 【单选题】微表情是指持续时间多长的表情()B A、1/2秒 B、不足1/5秒 C、5秒 D、以上都不对 2 【多选题】下面哪些描述符合微表情的特征()ABCD A、时间不足1/5秒 B、受到有效刺激后的反应 C、不由自主地表现出来 D、表达内心的真实情感 3 【判断题】表情是表现在面部或姿态上的情感信息。()正确保罗·埃克曼的贡献 1 【单选题】保罗·埃克曼研究的微表情主要在哪个领域()C A、身体动作 B、副语言 C、面部表情 D、以上都不对 2 【多选题】保罗·埃克曼研究微表情的主要贡献有哪些()ABCD A、完成面部表情编码 B、编撰并发布FACS—AU教程 C、研发微表情训练工具(Meet) D、人际欺骗研究 3

【判断题】独立发现并深入研究微表情的学者是保罗·埃克曼。()错误国内·应用研究概况 1 【单选题】国内探索微表情应用研究的实战机构不包括哪些（）D A、公安机构 B、检察机构 C、安全机构 D、环保机构 2 【判断题】受到lie to me 传播的影响国内业界开始关注并研究微表情。()正确 3 【判断题】国内研究微表情的专业团队主要有中科院心理研究所傅小兰团队、中国人民政法大学姜振宇团队和上海政法学院范海鹰团队。（）正确教学模式·教学环节 1 【单选题】微表情识别读脸读心课程宜采用哪种教学模式()D A、理论讲授式 B、实操训练式 C、案例观摩式 D、A+B+C 2 【多选题】微表情识别读脸读心课程的教学模式包括哪些教学环节()ABC

A、理论讲授 B、案例教学 C、实操训练 D、以上都不对 3 【判断题】微表情识别读脸读心是一本应用技术类课程。()正确案例教学1：《非常了得·我是飞机调度员》 1 【多选题】影响误判事件为假的主要影响因素是什么()BD A、所提问题不够有效 B、观察者先入为主的经验带入 C、扮演者说到飞机晚点时出现的羞愧 D、回应印象最深刻的一次调度有多麻烦时的回避实操训练1：《真真假假·我曾喝过将军泡的茶》 1 【多选题】支持判断事件为假的表情动作有哪些()ABCD A、讲述主题时眼睛向左瞟,而在讲述事件过程时眼睛有几次向右瞟。 B、讲述事件过程时出现左手揪裤子动作,讲完后有个明显的吞咽动作。 C、讲到坐着有3个人、我坐在边上时眼睛向右瞟,而在回应宿舍住在哪个位置时眼睛向左瞟。 D、回应喝的茶是什么颜色的问题时说茶,绿色吧(不肯定) 微表情产生原理 1 【单选题】埃克曼认为在人类情绪产生及表达过程中起着重要作用的是()B A、有用的联合性习惯原理 B、大脑中的自动评估系统群 C、对立原理 D、神经系统直接作用原理 2 【多选题】微表情产生的可能机制包括哪些环节()ABCD

智能分析报告动态人脸识别系统技术需求书

智能分析(动态人脸识别)系统技术需求书一、概述动态人脸识别智能分析系统是以数字化、网络化视频监控为基础，是一种更高端的视频监控应用。视频智能分析（动态人脸识别）系统能够自动识别不同的物体，发现监控画面中的异常情况，并能够及时发出警报和提供有用信息，从而能够更加有效的协助管理人员处理危机，并最大限度的降低误报和漏报现象。视频智能分析（动态人脸识别）系统是视频监控技术发展的方向，是未来视频监控的趋势。随着人脸识别技术的进一步发展，将人脸识别技术与数字监控系统的进一步融合，同时人脸识别与监控技术的结合在安防领域中得到了重用。一方面在人脸识别技术已经找很多的行业领域上已经实践的证明，这项技术为安防管理业务创新提供了很大的技术支持，也为日常安保管理效率有了很大的提高和成本的节省。以《全国监狱信息化建设规划》提出的“科技兴监”的思想为指导，随着人像技术不断的创新和发展，成熟的人像识别技术完全可以结合现在监狱管理业务，特别针对监狱人员进出管理业务，现在成熟的人像识别技术能在当中发挥巨大的作用，为监狱的相关管理做出更多有效可行的创新和改变，可以对行业内的原有业务管理流程进行优化和简化，同时也提高相关业务管理效率和质量。二、总体要求 1.功能需求 ★本次项目建设的人脸识别智能分析系统需要无缝接入监狱视频监控平台、监狱综合安防管理平台以及省局综合安防管理平台。本次投标费用包括完成本次建设

的新系统与原平台及系统的对接开发工作，中标方不得再向建设方申请开发费用（投标时提供纸质承诺）。 1.1罪犯人脸识别布控需求在监狱B门内警戒区域，精确捕捉在布控区域内出现人员的面部特征及场所内场景，对所有出现在布控区域内的人员实施“近”距离监控。自动抓拍出现在布控区域内人员的人脸图象，将所有的在押人员设置成布控对象，并与布控库中的对象实时比对，一旦在押人员到达该布控区域，系统会自动识别并报警。 1.2 AB门车辆识别需求当前监狱系统AB门车辆识别采用人工检测方式，通过人工对比车牌号、车辆型号、车辆驾驶员进行管理，管理人员工作量大，容易出错，需要一套自动识别系统来减轻管理人员的工作量。项目计划采用视频智能分析（动态人脸识别）系统，针对监狱构建了高度可靠的AB门通道出入车辆及人员身份识别，通过动态人脸识别技术对关押犯人实时监控管理等，构建一套集动态人脸识别与分析应用于一体、统一数据标准和接口规范的监狱人脸识别应用系统。提供人脸动态识别、视频监控智能分析、监测设备运行、基于大数据技术构建一个服务管理系统，实现视频图像资源的融合汇聚、集中管控、交互整合，为构建监狱系统的“智慧大脑“奠定基础。 2.兼容性需求 ★建设的设备，必须具有开放性，中标方须承诺项目所涉及的软硬件需要全部免费提供开放接口及底层SDK开发包接口完全免费开放，可提供给第三方进行系统集成开发（投标时提供纸质承诺）。