【CN109740578A】一种适用于光照、姿态、表情变化的人脸识别方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910153743.5

(22)申请日 2019.03.01

(71)申请人哈尔滨理工大学

地址 150080 黑龙江省哈尔滨市南岗区学

府路52号

(72)发明人孙崐　李晓彤　殷欣　

(51)Int.Cl.

G06K 9/00(2006.01)

(54)发明名称一种适用于光照、姿态、表情变化的人脸识别方法(57)摘要本发明公开了一种适用于光照、姿态、表情变化的人脸识别方法，本方法首先从ORL、Extend Yale B和CMU -PIE人脸图像库中获取人脸图像并进行分块处理；其次，采用中心对称局部二值模式提取人脸图像各子块的纹理特征；再其次，将纹理特征形成纹理特征统计直方图，并输入到深度信念网络的可视层；最后，通过深度学习完成人脸图像的分类与识别。在此基础上，通过在人脸图像库的人脸识别实验，得出了不同人脸库人脸图像最佳的分块方式与最佳深度信念网络隐藏单位数，完成了与多种人脸识别方法的对比实验。本发明采用中心对称局部二值模式用于特征提取，能够降低特征提取的计算复杂度，具有较高的识别率，对于微小的光照、姿态和表情变化

的影响具有一定的抑制作用。权利要求书2页说明书4页附图6页CN 109740578 A 2019.05.10

C N 109740578

1.一种适用于光照、姿态、表情变化的人脸识别方法，其特征在于，该方法包括以下步骤：

S1、获取人脸图像：从人脸图像库中下载人脸图像；

S2、将所有的人脸图像分为训练集和测试集，并对其进行分块处理，

每张图像分为个子块；

S3、利用中心对称局部二值模式的编码规则，对每个子块提取其纹理特征值，

特征值用表示；

S4、建立中心对称局部二值模式纹理特征直方图，利用统计直方图表示各子块的局部纹理特征；第个字块的直方图表示为：

(1)公式(1)中，，为子块中中心对称局部二值模式纹理特征值等于

的频率，

，为

，即为16；S5、

将各子块的特征直方图有序相连形成中心对称局部二值模式提取人脸图像的特征；

S6、

将步骤S5得到的纹理特征向量输入到深度信念网络的可视层，可视层与隐藏层根据公式的联合分布如下：

(2)公式(2)中，为中心对称局部二值模式提取的纹理特征，

是深度信念网络

对输入特征学习的不同层次的高级特征，本发明隐藏层设置为2层，由公式(2)可得可视层与两层隐藏层的联合分布，如下：

(3)公式(3)中，为可视层，为第一个隐藏层，为第二个隐藏层，根据可视层的可视单元与第一个隐藏层的隐藏单元的关系可得第一层隐藏层的隐藏单元的激活概率，如下：

(4)公式(4)中，为可视单元，为可视单元数，为隐藏单元，为激活函数，为第个可视单元与第个隐藏单元连接的权重值；

S7、

利用深度信念网络迭代算法进行权重优化，得到的最优训练网络，

迭代次数为，最优网络的判断依据为训练集的最大生成概率函数值最大，最大生成概率函数如下：

(5)公式(5)中，为权重矩阵，为训练集中中心对称局部二值模式纹理特征矩阵，

其中，；通过调整，学习率为0.001；

S8、将步骤S7得到的最优网络顶层利用分类器分类后，获得测试样本的类别标签。

2.根据权利要求1所述的适用于光照、姿态、表情变化的人脸识别方法，其特征在于：步骤S2中所述分块处理为寻找最佳的分块方式，分别计算几种分块方式情况下，不同人脸库

权　利　要　求　书1/2页2CN 109740578 A

人脸识别技术综述

人脸识别研究综述摘要：论文首先介绍了人脸识别技术概念与发展历史，解释人脸识别技术的过程与优缺点；随后对近几年人脸识别技术的研究情况与一些经典的方法进行详细的阐述，最后提出人脸识别技术在生活中的应用与展望。关键词：人脸识别研究现状应用与展望一、概念人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流。首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。二、发展历史人脸识别的研究历史比较悠久。高尔顿(Galton)早在1888 年和1910 年就分别在《Nature》杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人脸识别能力进行了分析。但当时还不可能涉及到人脸的自动识别问题。最早的AFR1的研究论文见于1965 年陈（Chan）和布莱索（Bledsoe）在Panoramic Research Inc.发表的技术报告，至今已有四十年的历史。近年来，人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。三、过程与优缺点人脸的识别过程： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。 (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库

面部识别的理论概述

通过人的面部特征去再认的能力，也就是对于面部区别性特征的视觉加工能力是人类社会相互作用的基础。人们对于面部识别能力的发展一直有着浓厚的兴趣，尤其是关于儿童的知觉能力何时才能达到成人水平这个问题更是认知心理学所关注的重点。尽管所有的实验研究都显示出在儿童早期的面部识别能力从童年期到青春期一直在持续地快速发展，但最近的一些研究得出了新的结论。儿童在实验环境中对面部记忆的再认能力会显著的提高，大约经过5年时间也就是在青春期晚期达到成人水平。这不仅仅是记忆现象，在进行知觉面部差异的任务中，5岁儿童和成人几乎表现出了同样的水平。在这里我们要说明的问题是为什么这种延迟发展会在儿童执行任务中发生。从文献中，我们确定了两个基本的理论，第一是面部特殊知觉理论，学者们认为一个非常重要的因素是持续不断发展的面部特殊知觉机制；第二是认知的一般发展理论，认为在儿童早期面部知觉能力就已经成熟，在以后任务执行中所有的发展都反应在全面认知机制的提高上，例如视觉注意、外显记忆能力等等。我们所感兴趣的是面部识别的认知机制，这里介绍了两种理论，分别是布鲁斯-杨面孔识别认知模型和交互激活与竞争模型。一、面部识别的发展理论（一）面部特有知觉发展理论尽管我们承认婴儿早期知觉的发展，但是面部特有知觉发展理论者认为面部知觉本身的发展要持续到儿童期晚期，这是因为对于面部经验的不断延伸所导致的。面部编码能力的持续提高直接源于在知觉任务（如面部识别）中能力的提高以及记忆的提高，例如，对于新面孔提供了更多的有利编码的因素，或在与干扰物比较时能提取得更准确。关于面部知觉本质的变化，有三种不同的观点［1］。一种观点认为是因为在整体/构造加工过程中的进步（因此被称作整体加工过程）。关于这种面部识别的“特殊”方式的准确本质还不能全部明了，但是以下两个方面已经被研究者广泛认可：（a ）对于整个面部信息具有很强的知觉整合；（b ）当面部空间特征偏离基本的一级结构时，将以“二级”方式进行加工（例如，两眼，高于鼻子，高于嘴）。另一种理论认为知觉整合和对空间信息的编码是两个相互独立的部分。第三种理论提出针对所有的面部信息包括空间信息具有专门的整合表征系统。重要的是，后两种理论都赞同整体加工在刺激物倒置时更敏感。对于成人而言，整体加工与几个标准范式相联系。面部产生不成比例的倒转时将影响再认记忆［2，3］。如果物体在学习和测验时都倒置，那么关于这种物体的记忆将比在垂直条件下的记忆要差，但是倒置效应对面部（25%减量）比对其他许多种类的物体的影响更大。权威的假设认为这种现象的发生是因为整体加工操作只适用于垂直的面部，研究支持了这样的结论——当使一个人的脸的上半部分和另一个人的脸的下半部分结合在一起时，这种组合的影响将使其知觉为一个“新人”，并且比在不组合的条件下去认出上半部分的脸更困难。在整体—部分效应中的孤立的条件下对于面部部分的记忆（比尔德鼻子与约翰的鼻子）比与原来整个面部有联系（比尔德鼻子在比尔的脸上与约翰的鼻子在比尔的脸上）的条件下的记忆更差。在部分与整体这两个变量间，对于面部的部分（比尔的鼻子）记忆，当在整个面部空间改变（比尔的鼻子在比尔的德脸上而眼睛分的更开）的条件下比在未改变整个面部空间的条件下的记忆更差，这个结论与大多数其他证实在具有准确空间的垂直面部下具有更好的敏感性的研究相一致。在垂直面部上产生的整体效应在面部倒置、合成脸和其他物体包括房子、车、狗出现时，不论是新手还是内行，都会消失或者减少。对于儿童而言，一个早期发展理论认为整体加工最早在 10个月左右就出现了。最近的一些研究提出［1］，在儿童早期，整体加工的一些方面就已经成熟，但是其余的关于面部经验的扩充方面将持续发展直至青春期。并且明确提出关于整体加工的哪些方面将发展，包括Carey 和Diamond 的“神秘因素”，及Mondloch et al 提出的对于面部特征空间的敏感性。关于面部特有知觉发展理论的第二种说法——“面部空间”也将得到发展，它也被命名为多纬度的空间。空间编码的自然属性将区分不同的脸，每一个个体是一个点，且中心是通常的面部。面部空间已经用来解释若干成人面部识别的特性，比如典型与特色脸效应、漫画讽刺效应、对有吸引力脸的偏好和适应余波［4］。同时，其他种类的效应——比起个体专有种类第24卷第2期2011年2月长春理工大学学报（社会科学版） Journal of Changchun University of Science and Technology （Social Sciences Edition ）Vol.24No.2 Feb.2011 面部识别的理论概述［摘要］目前关于面部识别能力的发展理论仍处于争论之中，其中具有代表性的两种理论分别是面部特有知觉发展理论和一般认知发展理论。在此对这两种理论进行了详细论述。同时，介绍目前面部识别领域中两个主要的认知模型，分别是布鲁斯—杨的面孔识别认知模型和伯顿与布鲁斯的交互激活与竞争模型。未来的研究仍将围绕着面部知觉的数量或质量随着年龄增加是否有变化而进行。［关键词］面部识别；整体加工；结构编码［中图分类号］G40-06 ［文献标识码］A ［作者简介］王海静（1984-），女，硕士，研究方向为学前儿童心理发展与教育。王海静王志丹（西北师范大学教育学院学前教育系，甘肃兰州，730070）（西北师范大学教育学院心理系，甘肃兰州，730070）

人脸识别技术的应用背景及研究现状

1．人脸识别技术的应用随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。（2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。（3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。（4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。（5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面：（1）模板匹配主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较

人脸识别技术综述解读

人脸识别研究代上（河南大学环境与规划学院河南开封 475004）摘要：现今世界经济发展迅速，而面对繁杂的社会安全问题却显得有些捉襟见肘，人脸识别技术能够因通过面部特征信息识别身份而受到广泛关注。人脸识别通常使用采集含有人脸图像或视频流的设备，将收集到的人脸信息进行脸部检测,进而与数据库中已有信息进行对比确定被识别对象的身份,已经广泛的应用于公共安全、教育等多个方面，且在以后的社会发展中具有很大的应用前景。本文主要对人脸识别的发展历程、主要识别方法予以总结概括，并对其应用范围与发展趋势进行分析。关键词：人脸识别；方法；应用；发展 1引言人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。该项技术目前应用到社会的各个领域，例如个人家庭自动门的安全系统、犯罪人的身份识别系统、银行自动取款的服务系统等。人脸识别系统给人带了很多方便，应用能力很强，但是人脸识别仍然有很多阻碍其发展的困难之处。主要表现在：在收集图像中目标自身的影响；在系统收集图像的过程中容易受到各种外界因素以及系统收集图像之后由于其它因素造成的面部损伤所带来的影响；随着时间的变迁，人的面部逐步发生变化的影响。这些都对人脸识别技术的发展造成了一定的困难，也使得该项技术面临着多种挑战性。 2 人脸识别研究的发展历史与研究现状 2.1发展历史很早在19世纪80年代就有关于通过人脸对人类的身份进行辨别的论文发表，但是由于技术水平与设备的限制，人脸识别技术并没有受到重视。直到20世纪60年代末，Blcdsoc[1]提出了人脸识别研究的雏形，人脸识别技术才被人们接受。在人脸识别研究的早期阶段，人们主要研究的是人脸识别的各种方法，但是在实际应用方面却没有得到实质性的进展。进入20世纪90年代末的时候，人脸识别技术进入了一个快速发展阶段，在这个时期各种新的人脸识别方法相继出现，并创建了人脸图像数据库，对人脸识别的发展起到了巨大的促进作用。在实际应用方面也取得了很大的进展，运用人脸识别技术的产品逐渐进入了社会市场。进入21世纪以后，人脸识别技术已经逐步发展成熟，但是由于非理想条件如（光照、天气、姿态）的影响，对人脸识别技术的要求也更高。为了解决这些不利因素所造成的影响，研究者们一直努力寻找更加趋于完美的方法，从而减少这些因素所带来的不利影响。 2.2研究现状近几年来，人脸识别技术已经从以前的认知阶段发展到了实际应用阶段。但是由于每个人的面部都会因为各种不同的原因发生改变，这给人脸识别带来了不小的影响。如光照不同

人脸识别文献综述

文献综述 1 引言在计算机视觉和模式识别领域，人脸识别技术（Face Recognition Technology，简称FRT）是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当前模式识别和人工智能领域的一个研究热点。虽然人类能够毫不费力的识别出人脸及其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得的一些信息。自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组，相关的研究综述见文献[1-3]。本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识： 2.1 数字图像处理技术数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机

【CN110084152A】一种基于微表情识别的伪装人脸检测方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910285839.7 (22)申请日 2019.04.10 (71)申请人武汉大学地址 430072 湖北省武汉市武昌区珞珈山武汉大学 (72)发明人王中元　王光成　肖晶　何政　 (74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙) 42222 代理人魏波 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称一种基于微表情识别的伪装人脸检测方法 (57)摘要本发明针对伪装人脸识别的问题，公开了一种基于微表情识别的伪装人脸检测方法，首先采集不同情境和不同摄像环境下的伪装与真实人脸的微表情视频序列，再通过基于卷积神经网络 (CNN)和长短记忆模块(LSTM)的微表情识别模型对伪装和真实人脸的微表情序列进行特征提取，并引入微表情熵和皮尔逊系数来分析二者微表情特征空间的差异，接着采用K -means聚类方法对不同情境下和不同视觉质量的伪装与真实人脸的微表情特征空间进行聚类；最后构建伪装和真实人脸的微表情特征差异分析模型并进行伪装人脸检测。与现有人脸活体检测技术相比，本发明能够有效识别高仿人脸面膜伪装和面部化妆伪装。权利要求书2页说明书4页附图2页CN 110084152 A 2019.08.02 C N 110084152 A

1.一种基于微表情识别的伪装人脸检测方法，其特征在于，包括以下步骤：步骤1：采集伪装和真实人脸在不同情境和不同摄像环境下产生的微表情视频序列，包括高兴、惊讶、悲伤、愤怒、厌恶和恐惧等六种基本微表情；步骤2：利用一种基于CNN和LSTM的微表情识别网络来提取微表情特征，通过微表情熵和皮尔逊相关系数来量化真实人脸和伪装人脸微表情特征空间的差异；步骤3：利用K -means聚类方法对不同情境和不同视觉质量的伪装和真实人脸的微表情特征空间进行聚类，分析不同情境和不同视觉质量对伪装与真实人脸微表情区别显著性的影响；步骤4：构建伪装和真实人脸的微表情特征差异分析模型；微表情由构成微表情的微动作组成，真实人脸的面部微动作丰富且细腻，伪装人脸的面部微动作呆板且稀疏以至于表达能力有限；当微动作稀疏到预定程度时，伪装人脸就只存在一种表情，此时不存在微表情；步骤5：根据所述伪装和真实人脸的微表情特征差异分析模型进行伪装人脸检测。 2.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于：步骤1中，采用诱发式的方法来采集微表情视频序列。 3.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于，步骤2的具体实现包括以下子步骤：步骤2.1：采用基于CNN和LSTM的微表情识别方法来提取伪装和真实人脸的微表情特征；通过CNN提取将每个微表情帧编码成特征向量；将CNN提取的特征向量通过LSTM得到最终包括时空特性的微表情特征；所提取的特征为softmax层之前的长度为128的一维向量；步骤2.2：通过微表情熵的数值大小来辨识真实和伪装人脸；微表情熵的计算方式如下：其中，p i 步骤2.1中提取的微表情特征值，n＝128表示提取的一维特征空间的长度；当微表情空间包含的面部微动作越复杂时微表情熵的值越大，反之微表情熵越小代表微表情空间的微动作越稀疏；步骤2.3：通过皮尔逊相关系数预测伪装和真实人脸微表情特征空间的相关性；皮尔逊相关系数的计算方式如下：其中，X和Y分别代表两组微表情特征空间，和分别表示两组向量X和Y的均值；ρ范围为-1到+1，0代表无相关性，负值为负相关，正值为正相关；当两组微表情特征空间都为真实或伪装人脸微表情特征空间时，ρ值越接近1；当两组微表情特征空间分别为真实和伪装人脸微表情特征空间时，ρ值越小。 4.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于，步骤3的具体实现包括以下子步骤：权　利　要　求　书1/2页2CN 110084152 A

人脸表情识别

图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important meansthatwe communicateand express the emotions.Without special training, People often difficult to conceal their facial expression.So, by the analyzing facial expression, we can obtain important information. Facial expression recognitionis animportant component that the implementation of human-computer interaction, and animportant research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial expression feature extraction. Keywords：facelocation; integral projection; facialexpression recognition; manifold learning;GILTSA

表情识别技术综述

表情识别技术综述摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。关键词：表情识别；特征提取；表情分类。前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。正文：一、面部表情识别的国内外研究情况面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。二、面部表情特征的提取方法表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。

2019年微表情识别-读脸读心最新考试答案

2019年微表情识别-读脸读心最新满分考试答案一、单选题（题数：40，共 40.0 分） 1.愉悦的识别要点包括的表情形态和意义，以下错误的是？（）A A.瞪眼 B.咧嘴 C.嘴角上扬 D.超乎预期的满足和开心 2. 微表情是指持续时间多长的表情?() B A、1/2秒 B、不足1/5秒 C、5秒 D、以上都不对 3. 关于猜测选放的墙的测试哪一项描述是错误的?()B A、李博士回应天蝎座,b型血、警号3867问题时目光低视,摇头说我不知道是控制的对抗反应 B、在听到十八岁那年考上了海洋大学出现快速眨眼,点头是思考比对时的真实反应 C、在听到这成为了您神探之路的起点时出现连连点头是高度认同的下意识反应 D、人在接受有效刺激时也能完全控制自己的情绪反应 4. 冻结反应的形态意义哪一项描述是错误的?()D A、面部的惊讶 B、肢体的约束 C、呼吸的控制 D、肢体冰冷 5. 有意控制的动作的形态意义哪一项描述是错误的?()D A、可以出现在面部表情 B、可以出现在身体动作 C、可以出现在站姿或坐姿 D、可以控制出汗或面部颜色 6. 国内探索微表情应用研究的实战机构不包括哪些？（）D A、公安机构 B、检察机构

C、安全机构 D、环保机构 7. 反应性行为的形态意义哪一项描述是错误的?() D A、包括副语言行为 B、包括头部反应 C、是难以自主控制的生理反应 D、是可以自主控制的生理反应 8. 关于表达者表达解析哪一项描述是正确的?() B A、疏忽几个表情动作的观察不影响准确判断其真实内心 B、是准确认识表达者内心的基础和前提 C、只要盯着其眼动反应就能准确判断其真实内心 D、只要关注其情绪与事件性质是否一致就能准确判断其真实内心 9. 爱恨反应的形态意义哪一项描述是错误的?() D A、爱的时候会主动亲近对方 B、恨的时候会主动拉开距离 C、身体间的距离,可以体现出人和人之间的心理距离 D、人的内心的喜爱与厌恶是不能从表情动作中表达出来的 10. 保罗·埃克曼研究的微表情主要在哪个领域?() C A、身体动作 B、副语言 C、面部表情 D、以上都不对 11. 仰视反应的形态意义哪一项描述是错误的?() D A、头和肢体向上是正仰视反应 B、头和肢体向下是负仰视反应 C、有身份地位差异的握手是正或负仰视反应的体现 D、头和肢体远离刺激源 12. 关于松明猜测硬币藏匿手的测试哪一项描述是错误的?()D A、王力宏上台即双手叉腰或抱胸是紧张的对抗反应

人脸识别技术综述

龙源期刊网 https://www.360docs.net/doc/e36453607.html, 人脸识别技术综述作者：唐勇来源：《硅谷》2011年第09期摘要：人脸识别是模式识别领域中一个具有实际应用价值和广阔应用前景的研究课题。系统的对主流人脸识别算法进行综述，总结现阶段人脸识别研究的困难，并对未来人脸识别的发展方向进行展望。关键词：人脸识别；光照补偿；人脸检测中图分类号： TP316文献标识码：A文章编号：1671－7597（2011）0510029－01 0 引言在信息技术飞速发展的今天，电子商务、电子银行、网络安全等应用领域急需高效的自动身份认证技术。当前，我国的各种管理系统大部分都使用证件、磁卡、IC卡和密码等传统技术保障系统安全，在一定程度上无法避免伪造、丢失、窃取或遗忘，存在极大的安全隐患。基于人体生物特征的身份鉴别方法，如指纹识别、虹膜识别、人脸识别等利用生物特征的普遍性、唯一性、永久性、可接受性、防卫性进行身份识别可以避免上述已有的身份鉴别技术缺陷。 1 人脸识别常用算法随着社会对人脸识别系统的迫切需求人脸识别研究再次成为热门课题。2008年我国在奥运会的历史上是第一次采用人脸识别这种生物识别系统为之提供安全保障。目前常见的人脸识别基本算法可分为以下几类： 1.1 基于几何特征的人脸识别方法[2]。这类方法是通过人脸面部拓扑结构几何关系的先验知识，利用基于结构的方法在知识的层次上提取人脸面部主要器官特征，将人脸用一组几何特征矢量表示，识别归结为特征矢量之间的匹配。基于几何特征的识别方法具有存储量小、对光照不敏感等优点。但这种方法抽取稳定的特征比较困难，对强烈的表情变化和姿态变化鲁棒性较差，适合用于粗分类。 1.2 基于特征脸的人脸识别方法。特征脸法是人脸识别中常用的一种方法。该方法的主要是从人脸图像的全局特征出发，运用Karhunen Loeve变换理论，在原始人脸空间中求得一组正交向量，并以此构成新的人脸空间，使所有人脸的均方差最小，达到降维的目的。特征脸方法易受角度、光照、表情等干扰导致识别率下降。

人脸识别实验报告

人脸识别——特征脸方法贾东亚一、实验目的 1、学会使用PCA 主成分分析法。 2、初步了解人脸识别的特征法。 3、更熟练地掌握matlab 的使用。二、原理介绍 1、 PCA （主成分分析法介绍）引用一个网上的例子。假设有一份对遥控直升机操作员的调查，用x 1(i ) 表示飞行员i 的飞行技能，x 2(i )表示飞行员i 喜欢飞行的程度。通常遥控直升飞机是很难操作的，只有那些非常坚持而且真正喜欢驾驶的人才能熟练操作。所以这两个属性x 1(i )和x 2(i )相关性是非常强的。我们可以假设两者的关系是按正比关系变化的。如下图里的任意找的向量u1所示，数据散布在u1两侧，有少许噪声。现在我们有两项数据，是二维的。那么如何将这两项变量转变为一个来描述飞行员呢由图中的点的分布可知，如果我们找到一个方向的U ，所有的数据点在U 的方向上的投影之和最大，那么该U 就能表示数据的大致走向。而在垂直于U 的方向，各个数据点在该方向的投影相对于在U 上的投影如果足够小，那么我们可以忽略掉各数据在该方向的投影，这样我们就把二维的数据转化成了在U 方向上的一维数据。

为了将u选出来，我们先对数据进行预处理。先求出所有数据的平均值，然后用数据与平均值的偏差代替数据本身。然后对数据归一化以后，再代替数据本身。而我们求最大的投影和，其实就是求各个数据点在U上的投影距离的方差最大。而X T u 就是投影的距离。故我们要求下式的最大值： 1 m ∑(x(i)T u)2=u T( 1 m ∑x(i)x(i)T m i=1 ) m i=1 u 按照u是单位向量来最大化上式，就是求1 m ∑x(i)x(i)T m i=1 的特征向量。而此式是数据集的协方差矩阵。在实际应用中，我们不止面临二维的数据。因此不能使用几何的形式呈现，但原理也是一样。就是找到一组相互正交的单位向量u k，然后根据贡献率考虑选择其中的部分作为考量的维数，这也就实现了数据的降维。三、实验步骤 1、将库里的400张照片分成两组。一组作为训练，一组作为库。每个人的前五张照片作为训练，后五张作为库。训练的照片按照顺序的数字重命名。库的照片名字不变。 2、库照片处理。 ①将每一张库的照片转化成N维的向量。（库里的照片是112*92，故将转化成的矩阵按列或行展开，就是个10304维的向量）我们稍后要对如此多维的向量用PCA进行降维。然后把这些向量存入一个矩阵里。而我是将这200个向量以列的形式存在了矩阵里。即 Z={Γ1，Γ2，Γ3，Γ4 (200)

微表情及其应用

微表情及肢体语言的奥秘微表情介绍微表情，是内心流露与掩饰，是心理学名词。“微表情”最短可持续1/25秒，虽然一个下意识的表情可能只持续一瞬间，但这是种烦人的特性，很容易暴露情绪。通过研究微表情可以判断一些更加准确的信息人的脸部可以传达信息，是一种信息传输器，人们无意识的表情会无法控制的表现在面部，“微表情”一闪而过，通常甚至清醒的作表情的人和观察者都察觉不到。比起人们有意识做出的表情，“微表情”更能体现人们真实的感受和动机。肢体语言介绍肢体语言，是指由身体的各种动作代替语言本身来表情达意的一种特殊语言。通俗讲是指通过头、眼、颈、手、肘、臂、身、胯、腿、足等人体部位的协调活动向交流对象传达信息，借表情达意的一种沟通方式。不同的肢体语言在不同情况下所传达的不同心理意义。前人研究状况微表情这一概念最早由美国心理学家保罗〃埃克曼在1969年提出。当时，一个名叫玛丽的重度抑郁症患者告诉主治医生，想要回家看看自己的剑兰和花猫。提出请求的时候，她显得神情愉悦而放松，

不时地眯起眼睛微笑，摆出一副撒娇的模样。令人震惊的是，玛丽在回家之后，尝试了3种方法自杀，结果未遂。事后，埃克曼将当时的视频反复播放，用慢镜头仔细检视，突然在两帧图像之间看到了一个稍纵即逝的表情，那是一个生动又强烈的极度痛苦的表情，只持续了不到1/15秒。后来，埃克曼将其称为“微表情”。 1978年，埃克曼发布了面部动作编码系统。在这一系统中，人脸部的肌肉有43块，可以组合出1万多种表情，其中3000种具有情感意义。埃克曼根据人脸解剖学特点，将其划分成若干相互独立又相互联系的运动单元。分析这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情，就能得出面部表情的标准运动。2002年，这个系统进行了一次升级，对表情的捕捉准确率达到了90%。研究内容现阶段中学生研究本课题可以研究微表情在现实生活中的应用，一些微表情和肢体语言的含义及在生活中的发现与理解。现实生活中的应用在社会层面，目前针对微表情的研究已经应用到各个领域。在国家安全领域，有些训练有素的危险人物可能轻易就通过测谎仪的检测，但是专业人员可以通过微表情通过微表情，发现他们

人脸表情识别综述

人脸表情识别综述一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信和汽车领域等二、1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒（anger）、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成人脸面部表情运动的描述方法---人脸运动编码系统FACS (Facial Action Coding System)，根据面部肌肉的类型和运动特征定义了基本形变单元AU（Action Unit），人脸面部的各种表情最终能分解对应到各个AU上来，分析表情特征信息，就是分析面部AU的变化情况 FACS有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间描述信息，只是一个启发式信息三、人脸表情识别的过程和方法 1、表情库的建立：目前，研究中比较常用的表情库主要有:美国CMU机器人研究所和心理学系共同建立的 Cohn-Kanade AU-Coded Facial Expression Image Database(简称CKACFEID)人脸表情数据库;日本ATR 建立的日本女性表情数据库(JAFFE)，它是研究亚洲人表情的重要测试库 2、表情识别: （1）图像获取:通过摄像头等图像捕捉工具获取静态图像或动态图像序列。（2）图像预处理:图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。 →目的:改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础主要工作→人脸表情识别子区域的分割以及表情图像的归一化处理(尺度归一和灰度归一) （3）特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。 →特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等 1）采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别优点：减少了输入数据量缺点：丢失了一些重要的识别和分类信息，结果的精确性不高

面部表情识别实验报告分析

面部表情识别实验实验报告小组成员：面部表情识别实验西南大学重庆 400715

摘要：情绪认知是一种复杂的过程，它包含观察、分析、判断、推理等，是借助于许多线索，特别是借助面部那些活动性更大的肌肉群的运动而实现的。所以，情绪认知的准确度受多种因素的影响。当我们与他人相互交往的时候，不管是不是面对面。我们都正在不断的表达着情绪，同时又正在观察，解释着的对方做出的表情，在人际交往过程中，情绪的表达和认知是十分的迅速和及时，那么人是借助于哪些表情来认知他人的情绪的呢？情绪识别实际上并不是针对表情本身的，而是针对这它背后的意义。例如：皱眉可能是一种情绪的表现，我们见到这种面部表情就试图解释潜在于它背后的情绪。尖锐，短促，声音嘶哑可能是一种情绪表现，我们听到这种语言表情就试图解释潜在于它背后的情绪捶胸，顿足可能是一种情绪的表现，我们见到这种动作表情就是试图解释潜在于它背后的情绪。对于这个复杂的问题，心理学家曾经做过许多的研究。面部表情认知的研究可分为两个步骤：第一步是面部表情刺激物的制作或选择，这可以用专门拍摄(录像)或图示来描画，也可以用完全装扮出的活生生的表情或自发的表情等。第二步时对表情进行识别评定。也可以用多种方法，如自由评定法，即让被试自由地对表情给出情绪词汇；或限制评定法，即向被试提供各种提供各种情绪词汇或情绪情境，要求被试只能根据所提供的情绪词汇或者情绪情境进行分类或者匹配等；或参照自由评定法，即向被试提供参考线索（如情境，人格特征等），让其说出所表达的情绪的词汇等。关键词：情绪表情认知线索

1 前言传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系中一个不可缺少的研究环节。情绪（emotion）是体验，又是反应；是冲动，又是行为；它是有机体的一种复合状态。情绪的表现有和缓的和激动的，细微的和强烈的，轻松的和紧张的等诸多形式，广泛地同其他心理过程相联系。自古以来，科学家们十分注意探讨情绪之奥妙，但与情绪的重要性不相适应的是，长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方法学上的困难。我国心理学家孟昭兰（1987）将理论认为面部表情是传递具体信息的外显行为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体验，也包括情绪表现，而表情既是情绪的外部表现，也是情绪体验的发生机制；既是最敏锐的情绪发生器，也是最有效的情绪显示器。这就从机制上说明了以面部肌肉运动模式作为情绪标志的根据。面部表情（facial expression_r）的发生是有其客观的物质基础的：表情按面部不同部位的肌肉运动而模式化，面部反应模式携带着心理学的意义，那就是或快乐、或悲伤等具体情绪。但是，对表情进行测量的原则在于：所要测量的是面孔各部位的肌肉运动本身，而不是面部所给予观察者的情绪信息。该实验将14名被试分为两组进行表情认知的实验，实验目的在于通过实验了解面部表情认知的基本

面部表情识别与面孔身份识别的独立加工与交互作用机制_汪亚珉

心理科学进展 2005，13（4）：497~516 Advances in Psychological Science 面部表情识别与面孔身份识别的独立加工与交互作用机制* 汪亚珉1，2 傅小兰1 （1中国科学院心理研究所，脑与认知国家重点实验室，北京 100101）（2中国科学院研究生院，北京 100039）摘要面孔识别功能模型认为，面部表情识别与面孔身份识别是两条独立的并行路径。以往诸多研究者都认可并遵循二者分离的原则。但近期研究表明，面部表情识别与面孔身份识别存在交互作用。首先总结和分析已有的面部表情识别的研究成果，评述神经心理学与认知神经科学研究中的论争，然后介绍人脸知觉的分布式神经机制以及相关的实验证据，最后提出面部表情识别与面孔身份识别的多级整合模型，并展望研究前景。关键词面孔身份识别，面部表情识别，面孔识别功能模型，人脸知觉的分布式神经模型，多级整合模型。分类号 B842 面孔识别一直备受研究者关注。20世纪70年代，Ekman和Frisen系统地研究了人脸基本表情的文化普遍性，并从解剖学角度提出了6种基本的面部表情[1]。20世纪80年代，Bruce和Young系统地研究了人对面孔的识别及其影响因素，提出了经典的面孔识别功能模型[2]。自此，面孔识别成为认知科学研究领域中的热点问题之一。人能轻易地从不同表情中识别出同一个人的面孔（即面孔身份识别，facial identity recognition），也能从不同人的面孔上识别出同一种表情（即面部表情识别，facial expression recognition），识别得如此精巧，以至众多研究者相信，识别面孔与识别表情收稿日期：2005-04-24 * 本研究得到中国科技部973项目（2002CB312103）、国家自然科学基金重点项目（60433030）和面上项目（30270466）、中国科学院心理研究所创新重点项目（0302037）经费支持。通讯作者：傅小兰，E-mail: fuxl@https://www.360docs.net/doc/e36453607.html, 两者相互独立，互不干扰[2～7]。那么，这种分离识别究竟是如何实现的？面孔身份识别与面部表情识别究竟是彼此独立的还是相互作用的？这已成为认知科学（尤其是计算机视觉）面孔识别研究领域中亟待解决的一个重要问题。在过去开展的大量研究中，对面孔身份识别问题的探讨相对比较深入，而对面部表情识别的研究则囿于经典功能模型，并未能取得实质性进展。近年来随着脑认知研究技术的发展，面部表情识别的研究也在不断深入，研究者对面部表情识别与面孔身份识别间的关系也提出了新的阐释。本文在综述已有研究的基础上，试图进一步探讨面部表情识别与面孔身份识别之间的独立加工与交互作用机制。首先，基于经典面孔识别功能模型，分析传统的面孔身份识别与面部表情识别的并行分离加工观点，以及行为学、神经心理学与认知神经科学的研究发现；其

基于深度学习的人脸表情识别研究与实现

西南科技大学硕士研究生学位论文第I页目录 1绪论 (1) 1.1研究背景及意义 (1) 1.2国内外研究现状及趋势 (2) 1.3本文的研究内容与章节安排 (6) 2人脸表情识别预处理及相关技术 (8) 2.1人脸表情数据集 (8) 2.1.1严格数据集 (8) 2.1.2非严格数据集 (9) 2.2数据筛选 (10) 2.2.1基于某种概率分布的筛选策略 (10) 2.2.2 基于图模型的筛选策略 (11) 2.3人工神经网络 (12) 2.3.1正向传播 (13) 2.3.2反向传播 (14) 2.4自编码器神经网络 (16) 2.5卷积神经网络 (18) 2.5.1局部感受野 (18) 2.5.2权值共享 (19) 2.5.3池化（pooling） (19) 2.6循环神经网络 (20) 2.7人脸检测 (22) 2.8人脸关键点检测与对齐 (23) 2.9本章小结 (25) 3基于降噪自编码器的表情识别研究与实现 (26) 3.1堆栈式降噪自编码器 (26) 3.2Dropout (27) 3.3降噪自编码器表情识别网络 (28) 3.4实验与分析 (29) 3.5本章小结 (32) 4基于卷积神经网络的表情识别研究与实现 (33) 4.1一种轻量级CNN人脸表情识别模型 (33)

西南科技大学硕士研究生学位论文第II页 4.2利用bottleneck特征训练CNN表情识别网络 (38) 4.3微调（fine turn）训练CNN表情识别网络 (40) 4.4本章小结 (41) 5基于循环神经网络的表情识别研究与实现 (43) 5.1图像序列筛选 (43) 5.2CNN+LSTM表情识别方法 (44) 5.3实验结果分析 (45) 5.4本章小结 (46) 总结和展望 (47) 致谢 (49) 参考文献 (50) 攻读硕士期间获取得的研究成果 (55)