基于卷积神经网络的人脸表情识别研究

基于卷积神经网络的人脸表情识别研究
基于卷积神经网络的人脸表情识别研究

龙源期刊网 https://www.360docs.net/doc/9618091633.html,

基于卷积神经网络的人脸表情识别研究

作者:李思泉张轩雄

来源:《软件导刊》2018年第01期

摘要:随着人机交互技术和机器学习技术的发展,人脸表情识别技术逐渐成为研究热点。针对传统人脸表情识别算法鲁棒性差、表情特征提取能力不足的问题,提出一种改进的基于卷积神经网络的人脸表情识别算法。首先对人脸图像进行预处理,检测并分割出人脸关键点的部分图像,然后输入到包含卷积神经网络通道和卷积稀疏自编码(CSAE)预训练通道的双通道模型中。其中卷积神经网络通道部分使用了批量正则化(Batch Normalization)和ReLU激活

函数,加快了模型训练速度,解决了梯度消失问题,同时增加了模型的非线性表达能力。通过引入Dropout技术,解决了网络的过拟合问题。在另一个通道,对输入的人脸表情图像增加了卷积稀疏自编码进行无监督预处理。实验结果表明,该算法在JAFFE、CK+人脸表情数据集上均获得了较好的识别效果。

关键词:人脸表情识别;卷积神经网络;卷积稀疏自编码;特征提取;无监督预处理

DOIDOI:10.11907/rjdk.172863

中图分类号:TP301

文献标识码:A文章编号文章编号:16727800(2018)001002804

Abstract:With the development of humancomputer interaction technology and machine learning technology,facial expression recognition technology has gradually become an important field. In this paper, we proposean improved algorithm based on Convolutional Neural Network (CNN) for face expression recognition due to the lack of robustness of traditional facial expression recognition algorithm and availabe feature extraction ability.First of all,we pretrain the facial image and detect, segment face. The segmented face applied to a dualchannel model which, includes a convolutional neural network channel and an extra pretraining channel by sparse convolutional autoencoders. The training speed is improved according to Batch Normalization and the ReLU activation function by convolutional neural network channel, and solve the problem of gradient disappearance.This modelcan increase nonlinear expression ability of the model. At the same time,the introduction of dropout technology also remove the problem of overfitting. Another channel that contains a sparse convolutional autoencoder aims to deal with input facial expression images. Experimental results involved this algorithm demonstratean improved recognition ability on the JAFFE and CK+dataset.

Key Words:facial expression recognition;convolutional neural network;feature extraction;sparse convolutional autoencoders;unsupervised pretraining

神经网络在人脸识别中的应用

神经网络在人脸识别中的应用 1. 引言 早在上世纪60年代末,人脸识别即引起了研究者的强烈兴趣.但早期的人脸识别一般都需要人的某些先验知识,无法摆脱人的干预。进入上世纪90年代,由于高速度、高性能计算机的出现,人脸识别的方法有了重大突破,进入了真正的机器自动识别阶段,人脸识别研究得到了前所未有的重视。人脸识别方法有很多种: (1) 特征脸方法。这种方法起源于图像描述技术,采用特征脸识别方法有良好的 稳定性、位移不变性、特征向量与图像的高度成比例变化以及转置不变性。不足之处是受表情变化、光照角度强度变化和视角变化等严重影响,鲁棒性较差。(2) 隐马尔可夫模型方法(HiddenMarkovModel) 是用于描述信号统计特征的一 组统计模型。HMM 的基本理论是由Baum和Welch等人在20世纪60年代末70年代初建立,在语音识别中应用较多。 (3) 弹性图匹配方法。弹性图匹配方法是一种基于动态连接结构的方法。它将人脸用格状的稀疏图表示。 (4) 神经网络方法。人工神经网络是由多个神经元按照一定的排列顺序构成的,是一个非线性动力学系统,其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单,功能有限,但由大量冲经元所构成的网络系统却能够 实现复杂丰富的功能。神经网络系统除了具有集体运算的能力和自适应的学习能力外,还有根强的容错性和鲁棒性?善于联想、综合和推广。神经网络模型各种各样。它们是从不同的角度对生物神经系统不同层次的描述和模拟。有代表性的网络模型有感知器、多层映射BP网络、RBF网络等。目前,在人工神经网络的实际应用中,绝大部分的神经网络模型都是采用BP网络及其变化形式,它也是前向网

人脸识别技术的应用背景及研究现状

1.人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求,生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性,并且具有很强的自身稳定性及个体差异性,生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有:指纹识别,视网膜识别,虹膜识别,步态识别,静脉识别,人脸识别等。与其他识别方法相比,人脸识别由于具有直接,友好,方便的特点,使用者无任何心理障碍,易于为用户所接受,从而得到了广泛的研究与应用。除此之外,我们还能够对人脸识别的结果作进一步的分析,得到有关人的性别,表情,年龄等诸多额外的丰富信息,扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面:(1)刑侦破案公安部门在档案系统里存储有嫌疑犯的照片,当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后,可以从数据库中迅速查找确认,大大提高了刑侦破案的准确性和效率。 (2)证件验证在许多场合(如海口,机场,机密部门等)证件验证是检验某人身份的一种常用手段,而身份证,驾驶证等很多其他证件上都有照片,使用人脸识别技术,就可以由机器完成验证识别工作,从而实现自动化智能管理。 (3)视频监控在许多银行,公司,公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时,需要实时跟踪,监控,识别和报警等。这需要对采集到的图像进行具体分析,且要用到人脸的检测,跟踪和识别技术。 (4)入口控制入口控制的范围很广,既包括了在楼宇,住宅等入口处的安全检查,也包括了在进入计算机系统或情报系统前的身份验证。 (5)表情分析根据人脸图像中的面部变化特征,识别和分析人的情感状态,如高兴,生气等。此外,人脸识别技术还在医学,档案管理,人脸动画,人脸建模,视频会议等方面也有着巨大的应用前景。 2.人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究,主要有美国,欧洲国家,日本等,著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute,Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献,目前的方法主要集中在以下几个方面: (1)模板匹配 主要有两种方法,固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板,然后计算测试样本与参考模板之间的某种度量,以是否大于阈值来判断测试样本是否人脸。这种方法比较简单,在早期的系统中采用得比较

面部表情识别实验报告分析

面部表情识别实验 实验报告 小组成员: 面部表情识别实验 西南大学重庆 400715

摘要:情绪认知是一种复杂的过程,它包含观察、分析、判断、推理等,是借助于许多线索,特别是借助面部那些活动性更大的肌肉群的运动而实现的。所以,情绪认知的准确度受多种因素的影响。 当我们与他人相互交往的时候,不管是不是面对面。我们都正在不断的表达着情绪,同时又正在观察,解释着的对方做出的表情,在人际交往过程中,情绪的表达和认知是十分的迅速和及时,那么人是借助于哪些表情来认知他人的情绪的呢?情绪识别实际上并不是针对表情本身的,而是针对这它背后的意义。例如:皱眉可能是一种情绪的表现,我们见到这种面部表情就试图解释潜在于它背后的情绪。尖锐,短促,声音嘶哑可能是一种情绪表现,我们听到这种语言表情就试图解释潜在于它背后的情绪捶胸,顿足可能是一种情绪的表现,我们见到这种动作表情就是试图解释潜在于它背后的情绪。对于这个复杂的问题,心理学家曾经做过许多的研究。 面部表情认知的研究可分为两个步骤:第一步是面部表情刺激物的制作或选择,这可以用专门拍摄(录像)或图示来描画,也可以用完全装扮出的活生生的表情或自发的表情等。第二步时对表情进行识别评定。也可以用多种方法,如自由评定法,即让被试自由地对表情给出情绪词汇;或限制评定法,即向被试提供各种提供各种情绪词汇或情绪情境,要求被试只能根据所提供的情绪词汇或者情绪情境进行分类或者匹配等;或参照自由评定法,即向被试提供参考线索(如情境,人格特征等),让其说出所表达的情绪的词汇等。 关键词:情绪表情认知线索

1 前言 传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系中一个不可缺少的研究环节。情绪(emotion)是体验,又是反应;是冲动,又是行为;它是有机体的一种复合状态。情绪的表现有和缓的和激动的,细微的和强烈的,轻松的和紧张的等诸多形式,广泛地同其他心理过程相联系。自古以来,科学家们十分注意探讨情绪之奥妙,但与情绪的重要性不相适应的是,长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方法学上的困难。我国心理学家孟昭兰(1987)将理论认为面部表情是传递具体信息的外显行为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体验,也包括情绪表现,而表情既是情绪的外部表现,也是情绪体验的发生机制;既是最敏锐的情绪发生器,也是最有效的情绪显示器。这就从机制上说明了以面部肌肉运动模式作为情绪标志的根据。 面部表情(facial expression_r)的发生是有其客观的物质基础的:表情按面部不同部位的肌肉运动而模式化,面部反应模式携带着心理学的意义,那就是或快乐、或悲伤等具体情绪。但是,对表情进行测量的原则在于:所要测量的是面孔各部位的肌肉运动本身,而不是面部所给予观察者的情绪信息。该实验将14名被试分为两组进行表情认知的实验,实验目的在于通过实验了解面部表情认知的基本

神经网络在人脸识别中的应用

神经网络在人脸识别中的应用 1.引言 早在上世纪60年代末, 人脸识别即引起了研究者的强烈兴趣.但早期的人脸识别一般都需要人的某些先验知识, 无法摆脱人的干预。进入上世纪9O年代, 由于高速度、高性能计算机的出现,人脸识别的方法有了重大突破, 进入了真正的机器自动识别阶段, 人脸识别研究得到了前所未有的重视。人脸识别方法有很多种: (1)特征脸方法。这种方法起源于图像描述技术,采用特征脸识别方法有良好的稳定性、位移不变性、特征向量与图像的高度成比例变化以及转置不变性。不足之处是受表情变化、光照角度强度变化和视角变化等严重影响, 鲁棒性较差。(2)隐马尔可夫模型方法(HiddenMarkovMode1)是用于描述信号统计特征的一组统计模型。HMM的基本理论是由Baum和Welch等人在20世纪6O年代末70年代初建立, 在语音识别中应用较多。 (3)弹性图匹配方法。弹性图匹配方法是一种基于动态连接结构的方法。它将人脸用格状的稀疏图表示。 (4)神经网络方法。人工神经网络是由多个神经元按照一定的排列顺序构成的, 是一个非线性动力学系统, 其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单, 功能有限, 但由大量冲经元所构成的网络系统却能够实现复杂丰富的功能。神经网络系统除了具有集体运算的能力和自适应的学习能力外, 还有根强的容错性和鲁棒性.善于联想、综合和推广。神经网络模型各种各样。它们是从不同的角度对生物神经系统不同层次的描述和模拟。有代表性的网络模型有感知器、多层映射BP网络、RBF网络等。目前, 在人工神经网络的实际应用中,绝大部分的神经网络模型都是采用BP网络及其变化形式, 它也是前向网络的核心部分, 是人工神经网络最精华的部分。2BP神经网络的人脸识别BP神经网络用于人脸识别一般应先对输入图像实行图像预处理,然后进行特征提取,接下来就是BP网络训练,最后用训练好的网络进行识别,获得识别结果。 2.基于特征脸和BP 神经网络的人脸识别方法 2.1特征脸分析 这种方法是根据图像的统计特征进行正交变换( K-L 变换) [3] , 以去除样 本间的相关性, 然后根据特征值的大小选择特征向量( 主分量) , 由于这些特 征向量的图像类似人脸, 所以称为特征脸[4, 5] 。下面就这种方法作简要介绍。 X∈RN 为表示一幅图像的随机向量, 这里N是图像的大小, X 由图像的行或列连 接而成的向量。假设有p 个人, 每个人有r1 ( 1≤i≤P) 个人脸样本图像, 样 本集为{ Xji } , Xji表示第j个人的第i个样本。那么每个人样本均值向量为 mi ( 1≤ i≤p) ; 总体样本均值向量为m; 类间散布矩阵为

基于卷积神经网络的图像识别研究

第14期 2018年7月No.14July,2018 1 算法原理 卷积神经网络的卷积层最重要部分为卷积核[1-2]。卷积核不仅能够使各神经元间连接变少,还可以降低过拟合误 差[3]。 子采样过程就是池化过程。进行卷积过程是将卷积核与预测试图像进行卷积,子采样能够简化网络模型,降低网络模型复杂程度,从而缩减参数。 在图像识别时,首先需要对输入图像初始化,然后将初始化后图像进行卷积和采样,前向反馈到全连接层,通过变换、即可计算进入输出层面,最终通过特征增强效果和逻辑之间的线性回归判断是否符合图像识别期望效果,往复循环,每循环一次就迭代一次,进而对图像进行识别。流程如图1所示。 图1 卷积神经网络模型流程 2 卷积神经网络 卷积神经网络主要包括3个层次[4],它由输入层、隐藏 层、输出层共同建立卷积神经网络模型结构。2.1 卷积层 卷积层的作用是提取特征[2]。卷积层的神经元之间进行 局部连接,为不完全连接[5]。 卷积层计算方法公式如下。()r array M a λ+ 其中λ为激活函数,array 是灰度图像矩阵, M 表示卷积核, 表示卷积, a 表示偏置值大小。G x 方向和G y 方向卷积核。 本文卷积神经网络模型中设定的卷积核分为水平方向和竖直方向。卷积层中卷积核通过卷积可降低图像边缘模糊程度,使其更为清晰,效果更好、更为显著。经过S 型函数激活处理之后,进行归一化后图像灰度值具有层次感,易于突出目标区域,便于进一步处理。2.2 全连接层 该层主要对信息进行整理与合并,全连接层的输入是卷积层和池化层的输出。在视觉特征中,距离最近点颜色等特征最为相似,像素同理。全连接如图2所示。 图2 全连接 3 实验结果与分析 本文采用数据集库是MSRA 数据集,该数据集共包含1 000张图片。实验环境为Matlab2015a 实验环境,Windows 7以上系统和无线局域网络。本文从MSRA 数据集中选取其中一张进行效果分析。卷积神经网络模型识别效果如图3所示。 作者简介:谢慧芳(1994— ),女,河南郑州人,本科生;研究方向:通信工程。 谢慧芳,刘艺航,王 梓,王迎港 (河南师范大学,河南 新乡 453007) 摘 要:为降低图像识别误识率,文章采用卷积神经网络结构对图像进行识别研究。首先,对输入图像进行初始化;然后,初 始化后的图像经卷积层与该层中卷积核进行卷积,对图像进行特征提取,提取的图像特征经过池化层进行特征压缩,得到图像最主要、最具代表性的点;最后,通过全连接层对特征进行综合,多次迭代,层层压缩,进而对图像进行识别,输出所识别图像。与原始算法相比,该网络构造可以提高图像识别准确性,大大降低误识率。实验结果表明,利用该网络模型识别图像误识率低至16.19%。关键词:卷积神经网络;卷积核;特征提取;特征压缩无线互联科技 Wireless Internet Technology 基于卷积神经网络的图像识别研究

人脸表情识别

图像处理与模式识别 ------人脸表情识别介绍摘要:人脸表情是我们进行交往和表达情绪的一种重要手段,不经过特殊训练,人类对其面部表情往往很难掩饰,所以,通过对人脸表情进行分析,可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分,也是模式识别、图像处理领域的一个重要研究课题,近几年来,受到了越来越多的科研人员的关注。 本文综述了国内外近年来人脸表情识别技术的最新发展状况,对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取,做了详细分析和归纳。 关键词:人脸定位;积分投影;人脸表情识别;流形学习;局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial

基于卷积神经网络的人脸识别

《计算机系统项目综合实践》课程报告报告题目:基于卷积神经网络的人脸识别 组长:班级:*学号:*姓名:* 在本项实践中的贡献百分比: 40 % 组员1:班级: * 学号: * 姓名:* 在本项实践中的贡献百分比: 35 % 组员2:班级: * 学号:* 姓名:* 在本项实践中的贡献百分比: 25 % 日期: 2019/12/18

一、课程实践目标和内容概述:(各组员对本部分内容撰写的贡献比例,组长:组员1:组员2 = 20% : 20% : 60%) 1. 打算设计和实现一个什么样的计算机综合系统?该系统有什么功能?为什么选择该系统作为实践内容? 基于卷积神经网络的人脸识别。 通过10个人的420张192*168大小单一色彩图片对系统进行训练,从而使系统能够识别这十个人,在通过220张人脸的图片进行识别,统计识别精度,通过调整参数不断使测试精度达到最优,获得使测试精度达到最大的参数集合。 人脸识别应用在生活中十分广泛,卷积神经网络用于人脸识别是一种基于特征的方法,区别于传统的人工特征提取和针对特征的高性能分类器设计,它的优点是通过逐层卷积降维进行特征提取,然后经过多层非线性映射,使网络可以从未经特殊处理的训练样本中,自动学习形成适应该识别任务的特征提取器和分类器,该方法降低了对训练样本的要求,而且网络的层数越多,学习到的特征更具有全局性。因此,我们小组打算将该系统作为实践内容。 2. 运用什么程序设计语言或开发工具实现系统?为什么采用这种开发语言或工具? 运用MATLAB实现。 MATLAB具有封装的卷积神经网络,我们只需要对其设置层数和参数即可。而且MATLAB将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中,

基于深度学习的人脸表情识别研究与实现

西南科技大学硕士研究生学位论文第I页 目录 1绪论 (1) 1.1研究背景及意义 (1) 1.2国内外研究现状及趋势 (2) 1.3本文的研究内容与章节安排 (6) 2人脸表情识别预处理及相关技术 (8) 2.1人脸表情数据集 (8) 2.1.1严格数据集 (8) 2.1.2非严格数据集 (9) 2.2数据筛选 (10) 2.2.1基于某种概率分布的筛选策略 (10) 2.2.2 基于图模型的筛选策略 (11) 2.3人工神经网络 (12) 2.3.1正向传播 (13) 2.3.2反向传播 (14) 2.4自编码器神经网络 (16) 2.5卷积神经网络 (18) 2.5.1局部感受野 (18) 2.5.2权值共享 (19) 2.5.3池化(pooling) (19) 2.6循环神经网络 (20) 2.7人脸检测 (22) 2.8人脸关键点检测与对齐 (23) 2.9本章小结 (25) 3基于降噪自编码器的表情识别研究与实现 (26) 3.1堆栈式降噪自编码器 (26) 3.2Dropout (27) 3.3降噪自编码器表情识别网络 (28) 3.4实验与分析 (29) 3.5本章小结 (32) 4基于卷积神经网络的表情识别研究与实现 (33) 4.1一种轻量级CNN人脸表情识别模型 (33)

西南科技大学硕士研究生学位论文第II页 4.2利用bottleneck特征训练CNN表情识别网络 (38) 4.3微调(fine turn)训练CNN表情识别网络 (40) 4.4本章小结 (41) 5基于循环神经网络的表情识别研究与实现 (43) 5.1图像序列筛选 (43) 5.2CNN+LSTM表情识别方法 (44) 5.3实验结果分析 (45) 5.4本章小结 (46) 总结和展望 (47) 致谢 (49) 参考文献 (50) 攻读硕士期间获取得的研究成果 (55)

人脸表情识别综述

人脸表情识别综述 一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信和汽车领域等 二、1971年,心理学家Ekman与Friesen的研究最早提出人类有六种主要情感,每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感,由愤怒(anger)、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成 人脸面部表情运动的描述方法---人脸运动编码系统FACS (Facial Action Coding System),根据面部肌肉的类型和运动特征定义了基本形变单元AU(Action Unit),人脸面部的各种表情最终能分解对应到各个AU上来,分析表情特征信息,就是分析面部AU的变化情况 FACS有两个主要弱点:1.运动单元是纯粹的局部化的空间模板;2.没有时间描述信息,只是一个启发式信息 三、人脸表情识别的过程和方法 1、表情库的建立:目前,研究中比较常用的表情库主要有:美国CMU机器人研究所和心理学系共同建立的 Cohn-Kanade AU-Coded Facial Expression Image Database(简称CKACFEID)人脸表情数据库;日本ATR 建立的日本女性表情数据库(JAFFE),它是研究亚洲人表情的重要测试库 2、表情识别: (1)图像获取:通过摄像头等图像捕捉工具获取静态图像或动态图像序列。 (2)图像预处理:图像的大小和灰度的归一化,头部姿态的矫正,图像分割等。 →目的:改善图像质量,消除噪声,统一图像灰度值及尺寸,为后序特征提取和分类识别打好基础 主要工作→人脸表情识别子区域的分割以及表情图像的归一化处理(尺度归一和灰度归一) (3)特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下,对庞大的图像数据进行降维处理。 →特征提取的主要方法有:提取几何特征、统计特征、频率域特征和运动特征等 1)采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别 优点:减少了输入数据量 缺点:丢失了一些重要的识别和分类信息,结果的精确性不高

基于深度卷积神经网络的人脸识别研究定稿版

基于深度卷积神经网络的人脸识别研究 HUA system office room 【HUA16H-TTMS2A-HUAS8Q8-HUAH1688】

基于深度卷积神经网络的人脸识别研究 深度卷积神经网络主要应用包括语音识别、图像处理、自然语言处理等。本文就当前大环境下研究了卷积神经网络模型在静态环境下人脸识别领域的应用。卷积神经网络模型需要设计一个可行的网络模型,将大量的人脸训练数据集加载到网络模型中,然后进行自动训练,这样就可以得到很好的识别率。把训练好的模型保存下来,那么这个模型就是一个端到端的人脸特征提取器。该方法虽然操作简单,但是需要根据训练数据集设计合理的网络结构,而且最难的关键点是超参数的调整和优化算法的设计。因此本文结合残差网络和融合网络构建了两个与计算资源和数据资源相匹配的网络模型,并通过反复调整超参数和调试优化器使其在训练集上能够收敛,最终还取得较好的识别率。 本文的主要研宄内容和创新点如下: 1.介绍了卷积神经网络的基础理论知识。先从传统人工神经网络的模型结构、前向和反向传播算法进行了详细的分析;然后过渡到卷积神经网络的相关理论,对其重要组成部分如卷积层、激励层、池化层和全连接层进行了具体的阐述;最后对卷积神经网络训练时的一些注意事项进行了说明。 人工神经元是构成人工神经网络的基本计算单元,单个神经元的模型结构如下图所示。 其中, b X W b x w Z T+ = + =∑1 1 1 ) ( ) ( , z f x h h w = 卷积神经网路的基本结构简单的池化过程:

2.对深度学习框架TensorFlow的系统架构和编程模型作了一些说明,并对人脸数据进行预处理,包括人脸检测、数据增强、图像标准化和人脸中心损失。 TensorFlow的系统架构如下图所示 TensorFlow的编程模式 系统本地模式和分布式模式示意图 3.提出了基于改进的MyVGGNet和MySqueezeNet网络的人脸识别。首先分析了模型VGGNet-16和SqueezeNe的网络结构及相关参数,然后本文提出将原VGGNet-16和SqueezeNe的网络结构和参数进行优化,并在每个卷积层和激励层之间添加批归一化层,在VGGNet-16网络末尾用1个1 * 1的卷积层代替三个全连接层,还增加全局平均池化层,得到新的MyVGGNet和MySqueezeNet模型,最后在LFW数据集上分别获得9 4.3%和9 5.1%的准确率。 VGGNet-16 网络结构框图 MyVGGNet 网络框图 MyVGGNet网络训练时LFW测试集的准确率走势图 MyVGGNet网络在LFW上的ROC曲线图 4.提出了基于二叉树型融合网络BTreeFuseNet_v1和BTreeFuseNet_v2的人脸识别。首先对深度神经网络的优化问题和融合原理作了分析;然后结合残差学习,融入分支并行、融合和级联三种结构,采用ReLU函数、BN层、Dropout层、哈维尔方法和截断高斯函数初始化方法、Adam优化器等技巧,构建了两个层次深度为22和19的网络模型

基于神经网络的人脸识别实验报告

基于神经网络的人脸识实验报告别 一、 实验要求 采用三层前馈BP 神经网络实现标准人脸YALE 数据库的识别。 二、BP 神经网络的结构和学习算法 实验中建议采用如下最简单的三层BP 神经网络,输入层为],,,[21n x x x X =,有n 个神经元节点,输出层具有m 个神经元,网络输出为],,,[21m y y y Y =,隐含层具有k 个神经元,采用BP 学习算法训练神经网络。 BP 神经网络的结构 BP 网络在本质上是一种输入到输出的映射,它能够学习大量的输入与输出之间的映射关系,而不需要任何输入和输出之间的精确的数学表达式,只要用已知的模式对BP 网络加以训练,网络就具有输入输出对之间的映射能力。 BP 网络执行的是有教师训练,其样本集是由形如(输入向量,期望输出向量)的向量对构成的。在开始训练前,所有的权值和阈值都应该用一些不同的小随机数进行初始化。 BP 算法主要包括两个阶段: (1) 向前传播阶段 ①从样本集中取一个样本(X p ,Y p ),将X p 输入网络,其中X p 为输入向量,Y p 为期望输出向量。 ②计算相应的实际输出O p 。 在此阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中,网络执行的是下列运算: (1)(2)()21(...((())...))n p n p O F F F X W W W = (2) 向后传播阶段 ①计算实际输出O p 与相应的理想输出Y p 的差; ②按极小化误差的方法调整权矩阵。 这两个阶段的工作一般应受到精度要求的控制,定义

21 1()2m p pj pj j E y o ==-∑ (1) 作为网络关于第p 个样本的误差测度(误差函数)。而将网络关于整个样本集的误差测度定义为 p E E =∑ (2) 如前所述,将此阶段称为向后传播阶段,也称之为误差传播阶段。 为了更清楚地说明本文所使用的BP 网络的训练过程,首先假设输入层、中间层和输出层的单元数分别是N 、L 和M 。X=(x 0,x 1,…,x N-1)是加到网络的输入矢量,H=(h 0,h 1,…,h L-1)是中间层输出矢量,Y=(y 0,y 1,…,y M-1)是网络的实际输出矢量,并且用D=(d 0,d 1,…,d M-1)来表示训练组中各模式的目标输出矢量。输出单元i 到隐单元j 的权值是V ij ,而隐单元j 到输出单元k 的权值是W jk 。另外用θk 和Φj 来分别表示输出单元和隐单元的阈值。 于是,中间层各单元的输出为: 1 0()N j ij i j i h f V x φ-==+∑ (3) 而输出层各单元的输出是: 1 0()L k jk j k j y f W h θ-==+∑ (4) 其中f(*)是激励函数,采用S 型函数: 1 ()1x f x e -=+ (5) 在上述条件下,网络的训练过程如下: (1) 选定训练集。由相应的训练策略选择样本图像作为训练集。 (2) 初始化各权值V ij ,W jk 和阈值Φj ,θk ,将其设置为接近于0的随机值,并初始化精度控制参数ε和学习率α。 (3) 从训练集中取一个输入向量X 加到网络,并给定它的目标输出向量D 。 (4) 利用式(7)计算出一个中间层输出H ,再用式(8)计算出网络的实际输出Y 。 (5) 将输出矢量中的元素y k 与目标矢量中的元素d k 进行比较,计算出M 个输出误差项:()(1)k k k k k d y y y δ=--对中间层的隐单元也计算出L 个误差项: 1 *0(1)M J j j k jk k h h W δδ-==-∑ (6) 依次计算出各权值和阈值的调整量: ()(/(1))*((1)1)**jk jk k j W n L W n h αδ?=+?-+ (6)

2019版微表情识别·读脸读心答案

微表情涵义·由来 1 【单选题】微表情是指持续时间多长的表情?()B A、1/2秒 B、不足1/5秒 C、5秒 D、以上都不对 2 【多选题】下面哪些描述符合微表情的特征?()ABCD A、时间不足1/5秒 B、受到有效刺激后的反应 C、不由自主地表现出来 D、表达内心的真实情感 3 【判断题】表情是表现在面部或姿态上的情感信息。()正确 保罗·埃克曼的贡献 1 【单选题】保罗·埃克曼研究的微表情主要在哪个领域?()C A、身体动作 B、副语言 C、面部表情 D、以上都不对 2 【多选题】保罗·埃克曼研究微表情的主要贡献有哪些?()ABCD A、完成面部表情编码 B、编撰并发布FACS—AU教程 C、研发微表情训练工具(Meet) D、人际欺骗研究 3

【判断题】独立发现并深入研究微表情的学者是保罗·埃克曼。()错误 国内·应用研究概况 1 【单选题】 国内探索微表情应用研究的实战机构不包括哪些?()D A、公安机构 B、检察机构 C、安全机构 D、环保机构 2 【判断题】 受到lie to me 传播的影响国内业界开始关注并研究微表情。()正确 3 【判断题】 国内研究微表情的专业团队主要有中科院心理研究所傅小兰团队、中国人民政法大学姜振宇团队和上海政法学院范海鹰团队。()正确 教学模式·教学环节 1 【单选题】微表情识别读脸读心课程宜采用哪种教学模式?()D A、理论讲授式 B、实操训练式 C、案例观摩式 D、A+B+C 2 【多选题】微表情识别读脸读心课程的教学模式包括哪些教学环节?()ABC

A、理论讲授 B、案例教学 C、实操训练 D、以上都不对 3 【判断题】微表情识别读脸读心是一本应用技术类课程。()正确 案例教学1:《非常了得·我是飞机调度员》 1 【多选题】影响误判事件为假的主要影响因素是什么?()BD A、所提问题不够有效 B、观察者先入为主的经验带入 C、扮演者说到飞机晚点时出现的羞愧 D、回应印象最深刻的一次调度有多麻烦时的回避 实操训练1:《真真假假·我曾喝过将军泡的茶》 1 【多选题】支持判断事件为假的表情动作有哪些?()ABCD A、讲述主题时眼睛向左瞟,而在讲述事件过程时眼睛有几次向右瞟。 B、讲述事件过程时出现左手揪裤子动作,讲完后有个明显的吞咽动作。 C、讲到坐着有3个人、我坐在边上时眼睛向右瞟,而在回应宿舍住在哪个 位置时眼睛向左瞟。 D、回应喝的茶是什么颜色的问题时说茶,绿色吧(不肯定) 微表情产生原理 1 【单选题】埃克曼认为在人类情绪产生及表达过程中起着重要作用的是?()B A、有用的联合性习惯原理 B、大脑中的自动评估系统群 C、对立原理 D、神经系统直接作用原理 2 【多选题】微表情产生的可能机制包括哪些环节?()ABCD

基于BP神经网络的人脸识别

基于BP神经网络的人脸识别 学生:林仙土学号:S071954 摘要:人脸自动识别技术有着广阔的应用领域,本文提出用主成分分析和BP神经网络进行人脸识别。人脸识别包括两个部分:第一,特征提取;第二,神经网络进行识别。 关键词:BP神经网络人脸识别主成分分析 本系统采用20幅图像(4个人每人5幅)作为训练图像,应用主成分分析对训练图像进行二阶相关和降维,提取训练图像的独立基成分构造人脸子空间,并将训练集中的人脸图像向独立基上投影得到的系数输入改进的BP神经网络进行训练。然后将待识别的人脸图像向独立基上投影得到投影系数,再将其输入已训练过的BP神经网络进行识别。此方法对人脸库图像进行测试,识别率达到90%以上。本系统采用MATLAB编程,并运用了其中的GUI编程实现人机交互。 为在不同机子下顺利运行,本系统用uigetdir函数让用户选择训练图像库和待识别图像,使得待识别图像可在不同位置皆可让软件识别。 注意:待识别图像的名字必须是test.jpg。 系统界面: 程序: function varargout=BP(varargin) gui_Singleton=1;

gui_State=struct('gui_Name',mfilename,... 'gui_Singleton',gui_Singleton,... 'gui_OpeningFcn',@BP_OpeningFcn,... 'gui_OutputFcn',@BP_OutputFcn,... 'gui_LayoutFcn',[],... 'gui_Callback',[]); if nargin&&ischar(varargin{1}) gui_State.gui_Callback=str2func(varargin{1}); end if nargout [varargout{1:nargout}]=gui_mainfcn(gui_State,varargin{:}); else gui_mainfcn(gui_State,varargin{:}); end function BP_OpeningFcn(hObject,eventdata,handles,varargin) handles.output=hObject; guidata(hObject,handles); %UIWAIT makes BP wait for user response(see UIRESUME) %uiwait(handles.figure1); %---Outputs from this function are returned to the command line. function varargout=BP_OutputFcn(hObject,eventdata,handles) %varargout cell array for returning output args(see VARARGOUT); %hObject handle to figure %eventdata reserved-to be defined in a future version of MATLAB %handles structure with handles and user data(see GUIDATA) %Get default command line output from handles structure varargout{1}=handles.output; %---Executes on button press in input. function input_Callback(hObject,eventdata,handles) %hObject handle to input(see GCBO) %eventdata reserved-to be defined in a future version of MATLAB %handles structure with handles and user data(see GUIDATA) global TestDatabasePath TestDatabasePath=uigetdir('D:\','Select test database path'); axes(handles.axes1); a=imread(strcat(TestDatabasePath,'\test.jpg')); imshow(a) set(handles.text1,'string','image for recognition') %---Executes on button press in recognise. function recognise_Callback(hObject,eventdata,handles) %hObject handle to recognise(see GCBO) %eventdata reserved-to be defined in a future version of MATLAB %handles structure with handles and user data(see GUIDATA) TrainDatabasePath=uigetdir('D:\','Select training database path');

2019最新版微表情识别·读脸读心答案

1.1 微表情涵义·由来 1 【单选题】微表情是指持续时间多长的表情?()B ?A、1/2秒 ?B、不足1/5秒 ?C、5秒 ?D、以上都不对 2 【多选题】下面哪些描述符合微表情的特征?()ABCD ?A、时间不足1/5秒 ?B、受到有效刺激后的反应 ?C、不由自主地表现出来 ?D、表达内心的真实情感 3 【判断题】表情是表现在面部或姿态上的情感信息。()正确 1.2 保罗·埃克曼的贡献 1 【单选题】保罗·埃克曼研究的微表情主要在哪个领域?()C ?A、身体动作 ?B、副语言 ?C、面部表情 ?D、以上都不对 2 【多选题】保罗·埃克曼研究微表情的主要贡献有哪些?()ABCD ?A、完成面部表情编码 ?B、编撰并发布FACS—AU教程 ?C、研发微表情训练工具(Meet) ?D、人际欺骗研究 3

【判断题】独立发现并深入研究微表情的学者是保罗·埃克曼。()错误 1.3 国内·应用研究概况 1 【单选题】 国内探索微表情应用研究的实战机构不包括哪些?()D ?A、公安机构 ?B、检察机构 ?C、安全机构 ?D、环保机构 2 【判断题】 受到lie to me 传播的影响国内业界开始关注并研究微表情。()正确 3 【判断题】 国内研究微表情的专业团队主要有中科院心理研究所傅小兰团队、中国人民政法大学姜振宇团队和上海政法学院范海鹰团队。()正确 1.4 教学模式·教学环节 1 【单选题】微表情识别读脸读心课程宜采用哪种教学模式?()D ?A、理论讲授式 ?B、实操训练式 ?C、案例观摩式 ?D、A+B+C 2 【多选题】微表情识别读脸读心课程的教学模式包括哪些教学环节?()ABC

基于神经网络的人脸识别

【代码及说明见第四页】 基于三层BP 神经网络的人脸识别 一、 实验要求 采用三层前馈BP 神经网络实现标准人脸YALE 数据库的识别。 二、BP 神经网络的结构和学习算法 实验中建议采用如下最简单的三层BP 神经网络,输入层为],,,[21n x x x X ,有n 个神经元节点,输出层具有m 个神经元,网络输出为],,,[21m y y y Y ,隐含层具有k 个神经元,采用BP 学习算法训练神经网络。 BP 神经网络的结构 BP 网络在本质上是一种输入到输出的映射,它能够学习大量的输入与输出之间的映射关系,而不需要任何输入和输出之间的精确的数学表达式,只要用已知的模式对BP 网络加以训练,网络就具有输入输出对之间的映射能力。 BP 网络执行的是有教师训练,其样本集是由形如(输入向量,期望输出向量)的向量对构成的。在开始训练前,所有的权值和阈值都应该用一些不同的小随机数进行初始化。 BP 算法主要包括两个阶段: (1) 向前传播阶段 ①从样本集中取一个样本(X p ,Y p ),将X p 输入网络,其中X p 为输入向量,Y p 为期望输出向量。 ②计算相应的实际输出O p 。 在此阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中,网络执行的是下列运算: (1)(2)()21(...((())...))n p n p O F F F X W W W (2) 向后传播阶段

①计算实际输出O p 与相应的理想输出Y p 的差; ②按极小化误差的方法调整权矩阵。 这两个阶段的工作一般应受到精度要求的控制,定义 21 1()2m p pj pj j E y o (1) 作为网络关于第p 个样本的误差测度(误差函数)。而将网络关于整个样本集的误差测度定义为 p E E (2) 如前所述,将此阶段称为向后传播阶段,也称之为误差传播阶段。 为了更清楚地说明本文所使用的BP 网络的训练过程,首先假设输入层、中间层和输出层的单元数分别是N 、L 和M 。X=(x 0,x 1,…,x N-1)是加到网络的输入矢量,H=(h 0,h 1,…,h L-1)是中间层输出矢量,Y=(y 0,y 1,…,y M-1)是网络的实际输出矢量,并且用D=(d 0,d 1,…,d M-1)来表示训练组中各模式的目标输出矢量。输出单元i 到隐单元j 的权值是V ij ,而隐单元j 到输出单元k 的权值是W jk 。另外用θk 和Φj 来分别表示输出单元和隐单元的阈值。 于是,中间层各单元的输出为: 1 0()N j ij i j i h f V x (3) 而输出层各单元的输出是: 1 0()L k jk j k j y f W h (4) 其中f(*)是激励函数,采用S 型函数: 1 ()1x f x e (5) 在上述条件下,网络的训练过程如下: (1) 选定训练集。由相应的训练策略选择样本图像作为训练集。 (2) 初始化各权值V ij ,W jk 和阈值Φj ,θk ,将其设置为接近于0的随机值,并初始化精度控制参数ε和学习率α。 (3) 从训练集中取一个输入向量X 加到网络,并给定它的目标输出向量D 。 (4) 利用式(7)计算出一个中间层输出H ,再用式(8)计算出网络的实际输出Y 。 (5) 将输出矢量中的元素y k 与目标矢量中的元素d k 进行比较,计算出M 个输出误差项:()(1)k k k k k d y y y 对中间层的隐单元也计算出L 个误差项: 1 *0(1)M J j j k jk k h h W

基于神经网络的人脸识别技术方法研究

第3期2019年2月No.3February,2019 人们在特定时刻的感觉在临床术语中被称为“情绪”。6种基本情绪被认为是快乐、悲伤、愤怒、恐惧、厌恶和惊讶,而其他已知的人类情感往往被视为这6种复杂社交情境的特殊化。研究人员从各种观点研究了情绪在人工智能中的作用:开发与人类更优雅互动的代理人和机器人,开发利用情绪模拟来辅助自己推理的系统,或创建更接近人体情感互动和学习的机器人。皮卡德指出:“智能复杂自适应系统中将会有功能,它们必须响应不可预测的复杂信息,这些信息起着情感在人们身上发挥作用的作用。”因此,对于计算机以实时方式响应复杂的情感信号,他们将需要像我们所拥有的系统,我们称之为情感。 人类的情感不仅是一种合乎逻辑的理性成分,它们与行为和感情紧密相连。人类情感系统在生存、社会互动和合作以及学习中起着至关重要的作用。机器需要一种情感—机器运动。因此,我们可以确定智能机器需要情绪,以便在学习复杂任务时以及在对人类的学习和决策制定进行建模时提高其表现。 情绪在人类决策过程中发挥着重要作用,因此,当我们试图模拟人类反应时,它们应该嵌入推理过程中。Bates 使用Ortony 等描述的模型提出了一个可信的代理人。该模型仅描述了基本情绪和先天反应;然而,它为构建计算机情感模拟提供了一个很好的起点。Kort 等提出了一个模型,他们的目的是概念化情绪对学习的影响,然后,建立一个工作的基于计算机的模型,将识别学习者的情感状态并对其作出适当的反应,以便学习将以最佳的速度进行。Poel 等引入了模拟混合神经网络架构,用于情绪学习。系统从注释数据中学习如何产生情绪状态以及由内部和外部刺激引起的变化。Clocksin 探讨了记忆中的问题,并结合可能的人工认知架构进行了研究。这项工作与人工智能研究中考虑记忆和情感的传统方式背道而驰,并且源于社会和发展心理学中出现的两种思想[1]。 本文提出了一种基于情绪反向传播学习算法的情绪神经网络。情绪神经网络具有两种模拟情绪,有助于网络学习和分类过程。这两种情绪是焦虑和自信。结合这些情绪参数的基本原理是它们对我们人类认知过程中的学习的影响。在实践中,两个情感参数意味着当情绪神经网络被训练时,一个是使用所有节点作为训练模式样本的输入平均值,另一个是某种程度上的增加惯性项用于在训练时期进展时修改从一种模式到下一种模式的变化水平。从数学的角度来看,当接 近成本函数的最小值时,我们不希望被单个模式的误差所左 右,其中一些模式可能是异常值。因此,我们关注最近学习步骤积累的“记忆”。 本文旨在研究这些额外的情绪参数对情绪神经网络在学习和决策中的表现的影响。我们使用脸部图像数据库,它已经在我们以前的作品中有效地使用。该数据库包括270个不同性别,种族和年龄的30人的图像,具有各种照明条件和对比度。面部图像的多样性旨在研究情绪神经网络的稳健性。 1 具有情绪参数的学习算法 反向传播学习算法是用于训练分层神经网络的广义delta 规则。自前人引入该算法以来,该算法已被广泛使用。在本节中,基于情绪反向传播学习算法的情绪神经网络学习算法,根据情绪神经网络内的信息流详细解释,该网络由3层组成:输入层(i )神经元,具有(h )神经元的隐藏层和具有(j )神经元的输出层。1.1 输入层神经元 这些是非处理神经元;每个输入层神经元的输出定义为YIi =Xii 其中, XIi 和YIi 分别是输入和输出输入层中神经元i 的值。1.2 隐藏层神经元 这些是处理神经元,因此, S 形激活函数用于激活该层中的每个神经元。这里,假设有一个隐藏层。但是相同的过程可以应用于多个隐藏层。 其中XHh 和YHh 分别是隐藏层中神经元h 的输入和输出值。使用进入该神经元的所有输入值的总电位计算隐藏层神经元XHh 的输入。总电位是输入值的乘法和它们的相关权重的总和。 其中Whi 是隐藏神经元h 给予输入神经元i 的权重, YIi 是输入神经元i 的输出, r 是输入层神经元的最大数量。其中Whb 是由隐藏神经元h 给予隐藏层偏置神经元b 的权重, Xb 是偏置神经元的输入值。1.3 输出层神经元 这些也是处理神经元,因此, S 形激活函数用于激活该层中的每个神经元。 其中XJj 和YJj 分别是输出层中神经元j 的输入和输出值。除了偏置和情绪神经元之外,还使用从先前隐藏层馈送神经元的所有输入值的总电位来计算输出层神经元XJj 的输入。 作者简介:吴思楠(1997— ),女,辽宁丹东人,本科生;研究方向:计算机科学与技术。 摘 要:文章研究了情绪神经网络的效率,该网络使用改进的反向传播学习算法。实验结果表明,人工情绪可以成功建模并有 效实施,以改善神经网络的学习和普遍性。关键词:神经网络;反向传播算法;人工情感建模;面部识别基于神经网络的人脸识别技术方法研究 吴思楠 (辽宁师范大学海华学院,辽宁 沈阳 110167) 无线互联科技 Wireless Internet Technology

相关文档
最新文档