表情机器人研究现状
基于深度学习的人脸识别与表情识别技术研究

基于深度学习的人脸识别与表情识别技术研究人脸识别与表情识别技术是目前计算机视觉领域的重要研究内容之一。
随着深度学习技术的发展,基于深度学习的人脸识别与表情识别技术也取得了显著的进展。
本文将重点探讨深度学习在人脸识别和表情识别方面的应用和研究现状。
一、深度学习在人脸识别方面的应用人脸识别是一种通过对人脸图像进行处理和分析,识别出其中的个体身份信息的技术。
深度学习在人脸识别方面的应用主要包括人脸检测、人脸特征提取和人脸识别三个方面。
1. 人脸检测人脸检测是人脸识别的第一步,其主要目标是在图像中准确地找到人脸的位置。
传统的人脸检测方法通常是基于图像特征和机器学习算法,但其准确率和鲁棒性都有一定的局限性。
而基于深度学习的人脸检测技术通过使用卷积神经网络(Convolutional Neural Network, CNN)进行特征学习和分类,能够显著提高人脸检测的准确率和鲁棒性。
2. 人脸特征提取人脸特征提取是指从检测到的人脸图像中提取出能够表征个体身份信息的特征向量。
在过去的几年中,基于深度学习的方法逐渐取代了传统的特征提取算法,如局部二值模式(Local Binary Pattern, LBP)和主成分分析(Principal Component Analysis, PCA)。
深度学习方法如卷积神经网络(CNN)和人脸识别网络(FaceNet)能够提取出更加鲁棒和具有判别性的人脸特征。
3. 人脸识别人脸识别是将得到的人脸特征向量与已知的人脸数据库进行比对,以实现个体身份的识别。
深度学习在人脸识别方面的最大贡献之一就是利用深度神经网络(Deep Neural Network, DNN)进行人脸识别。
例如,著名的深度学习模型Siamese网络通过将两张人脸图像通过卷积神经网络进行编码,然后通过判断两个编码向量之间的距离来判断是否为同一个人。
二、深度学习在表情识别方面的应用表情识别是一种通过对人脸图像中的表情信息进行分析和识别,推测出人物的情感状态的技术。
基于深度学习的人脸表情识别研究

基于深度学习的人脸表情识别研究在深度学习技术的推动下,人脸表情识别成为近年来备受关注的研究领域。
本文通过综述相关文献和研究成果,旨在探讨基于深度学习的人脸表情识别技术的原理、方法和应用前景。
一、引言随着计算机视觉和人工智能的快速发展,人脸表情识别在社交媒体、人机交互、情感分析等领域具有广泛的应用前景。
传统的人脸表情识别方法主要依赖于手工设计的特征提取和监督学习算法,但其在复杂背景、光照变化等方面存在一定的局限性。
而基于深度学习的人脸表情识别技术凭借其自动特征学习和端到端的训练方式,已经取得了令人瞩目的成果。
二、基于深度学习的人脸表情识别原理基于深度学习的人脸表情识别主要依赖于卷积神经网络(Convolutional Neural Network, CNN)的应用。
CNN通过多层的卷积和池化操作,实现了对图像特征的自动提取。
通常,人脸表情识别任务可以分为两个阶段:人脸检测和表情分类。
在人脸检测阶段,CNN可以通过训练人脸检测模型,实现对输入图像中人脸区域的定位。
而在表情分类阶段,CNN根据训练数据学习到的特征,将人脸表情划分为多个离散的类别。
三、基于深度学习的人脸表情识别方法1. 数据集构建:一个好的数据集对于深度学习的人脸表情识别至关重要。
常用的数据集包括FER2013、CK+、RAF-DB等。
在构建数据集时,需要考虑到多样性、均衡性和标注准确性等因素。
2. 特征提取:深度学习的优势在于自动学习特征表示。
然而,对于人脸表情识别来说,不同人的特征表达可能存在差异性。
因此,研究者们提出了一些方法来增强模型的鲁棒性,例如使用数据增强技术、多尺度特征融合等。
3. 网络设计:网络的设计对于人脸表情识别的性能具有重要影响。
常用的网络结构包括LeNet-5、VGGNet、ResNet等。
其中,卷积层、池化层和全连接层是构建网络的基本组成部分。
4. 模型训练与调优:在训练模型时,常用的优化算法包括随机梯度下降(Stochastic Gradient Descent, SGD)和自适应矩估计算法(Adam)。
仿生机器人研究现状与发展趋势

仿生机器人研究现状与发展趋势随着科技的不断发展,仿生机器人已经成为当今机器人领域的研究热点。
仿生机器人是指模仿生物体(包括人类)的形态、运动和行为能力的机器人。
这类机器人的研究不仅具有重要意义的应用价值,同时也对推动和机器人技术的发展具有重要价值。
本文将介绍仿生机器人的发展历程、研究现状以及未来发展趋势和可能的应用场景,并探讨其潜在的社会和经济价值。
仿生机器人的发展历程可以追溯到20世纪初。
然而,直到近年来,随着人工智能和机器人技术的快速发展,仿生机器人的研究才取得了显著的进展。
从理论到实践,仿生机器人的发展经历了漫长的过程。
早期的研究主要集中在理论层面,包括对生物运动学、动力学和生理学的研究。
随着计算机技术和控制理论的不断发展,仿生机器人的实践应用也得到了广泛。
当前,仿生机器人研究已经取得了很大的进展。
在技术方面,研究人员已经研发出了各种具有高精度、灵活性和适应性的仿生机器人。
例如,有的人形仿生机器人能够模仿人类的动作和表情,实现与人类的交互;有的仿生机器昆虫能够模仿真实昆虫的运动和行为,完成复杂的任务。
在应用方面,仿生机器人已经广泛应用于医疗、救援、农业、军事等领域。
例如,在医疗领域,仿生机器人可以辅助医生进行手术操作,提高手术精度和效率;在救援领域,仿生机器人可以协助搜救人员进行灾难现场的搜救和救援工作,提高搜救效率。
未来,仿生机器人的发展趋势将朝着更智能化、更灵活化和更普及化的方向发展。
随着人工智能技术的不断创新和应用场景的不断扩展,仿生机器人的智能化程度将不断提高,实现更复杂的任务和更高级别的自主性。
同时,随着材料科学和制造技术的不断发展,仿生机器人的灵活性和适应性也将得到进一步提升,能够在更广泛的应用场景中发挥作用。
随着社会经济的发展和人们生活水平的提高,仿生机器人的普及化程度也将不断加深,逐渐走进人们的日常生活和工作之中。
仿生机器人的研究不仅具有重要的应用价值,同时也具有重要的社会和经济价值。
面部表情识别技术发展前景

面部表情识别技术发展前景随着人工智能的迅速发展,面部表情识别技术正在成为一个备受关注的热门领域。
作为一种能够从人的面部表情中获取情绪信息的技术,面部表情识别技术在多个领域具有广阔的应用前景。
本文将探讨面部表情识别技术的发展趋势,并探讨其在教育、医疗、娱乐和安全等领域的应用。
面部表情识别技术的发展趋势面部表情识别技术利用计算机视觉和模式识别的方法,通过分析面部表情的特征,准确地识别人的情绪状态。
随着深度学习和神经网络算法的不断进步,面部表情识别技术的准确性和鲁棒性得到了显著提升。
未来,面部表情识别技术将向更高级、更智能的方向发展。
一方面,面部表情识别技术将逐渐具备区分微小表情和复杂情绪的能力。
当前的面部表情识别技术主要关注于基本的情绪分类,如快乐、悲伤、愤怒等。
然而,人类的情绪是非常复杂和多样化的,包括细微的变化和复杂的心理状态。
未来的面部表情识别技术将通过改进算法和模型,能够更好地识别和理解微妙的表情变化,从而准确判断人的情绪状态。
另一方面,面部表情识别技术将逐渐向多模态和多角度发展。
当前的面部表情识别技术主要基于面部图像进行分析,然而,人的情绪不仅仅通过面部表情体现,还包括声音、姿态、语言和肢体动作等多种模态。
未来的面部表情识别技术将结合多种传感器技术,实现多模态数据的融合分析,进一步提高情绪识别的准确性和可靠性。
面部表情识别技术的应用前景教育领域是面部表情识别技术的一个重要应用领域。
通过面部表情识别技术,教育者能够准确了解学生的情绪状态,及时调整教学策略,以提高教学效果。
例如,在在线学习平台上,面部表情识别技术可以监测学生的情绪变化,当学生出现困惑或挫败感时,系统可以自动调整教学内容和方式,以提供更好的学习体验。
医疗领域也是面部表情识别技术具有广阔应用前景的领域之一。
通过识别患者的面部表情,医生可以诊断患者的情绪状态,了解病人的疼痛程度和精神状态,从而提供更有效的治疗方案。
此外,面部表情识别技术还可以被应用于自闭症儿童的早期诊断和治疗过程中,帮助提高自闭症儿童的社交能力和情绪认知能力。
人类生活中仿生机器人的发展现状与未来趋势分析

人类生活中仿生机器人的发展现状与未来趋势分析引言:在人类生活的方方面面,科技的快速发展正为我们的生活带来了一个又一个的改变。
特别是在机器人技术的领域,仿生机器人的出现给我们带来了无尽的想象空间。
本文将会对人类生活中仿生机器人的发展现状与未来趋势进行分析。
一. 仿生机器人的发展现状1. 仿生机器人在医疗领域的应用随着医疗技术的不断进步,仿生机器人在医疗领域扮演着越来越重要的角色。
它们可以模拟人体动作和表情,帮助医生进行手术操作,有效减少手术风险。
同时,仿生机器人还可以用于研究和测试新药物,提升药物研发的效率。
2. 仿生机器人在生产制造领域的应用在生产制造领域,仿生机器人的应用正在逐渐普及。
它们具备高度灵活性和精确度,可以完成一些传统机器人无法完成的任务。
例如,一些仿生机器人在汽车制造中具有卓越的装配能力,能够替代人类工人进行繁重的工作,提高产能和质量。
3. 仿生机器人对社会福利的贡献除了在医疗和生产制造领域的应用,仿生机器人还可以对社会福利产生积极的影响。
它们可以在教育领域被用作助教工具,帮助教师提供个性化的教学服务。
此外,仿生机器人还可以在老人护理和残障人士辅助方面发挥重要作用,减轻人力资源的压力,提高生活质量。
二. 仿生机器人的未来趋势1. 仿生机器人的智能化发展未来的仿生机器人将会变得越来越智能化。
随着人工智能技术的突破,仿生机器人将具备更高的学习和适应能力。
它们可以根据环境和任务的不同,做出相应的判断和决策,更好地与人类进行交互。
2. 仿生机器人的进一步迷人性和逼真度未来的仿生机器人将更加逼真且迷人。
随着仿生学和材料科学的进步,仿生机器人的外观和功能将与人类越来越接近。
它们可能具备更加逼真的皮肤、表情和动作,使得人类与机器人之间的互动更加自然。
3. 仿生机器人与人类的融合在未来,仿生机器人与人类的融合将是一个重要的发展趋势。
人类将会与仿生机器人建立更加紧密的关系。
它们可以成为我们的助手、伴侣甚至是朋友。
表情识别技术的应用前景

表情识别技术的应用前景随着信息技术的飞速发展,人工智能、机器学习等技术正在逐渐应用到各行各业。
表情识别技术也是其中之一。
表情识别技术是指通过对人脸表情进行分析,提取出人脸表情中所包含的情感信息,从而达到“看懂”人脸的效果。
表情识别技术的应用前景十分广泛,下面,我们就来一起探讨一下。
一、智能家居智能家居是目前较为流行的一种家居模式,其本质上是一种基于物联网技术和智能家居设备的系统,能够让我们更加便捷、智能地控制家庭中的各项事务。
表情识别技术可以在智能家居中扮演一个重要角色。
举个例子,我们可以安装摄像头和表情识别设备,让其能够识别出家庭成员的表情,从而推断出情绪,从而更好地安排家庭任务,包括洗衣、洗碗、做饭等,从而提高我们的生活品质。
二、智能保安现今智能保安行业也在日益发展。
表情识别技术可以在保安行业中发挥很大的作用。
因为保安人员往往需要通过人脸来判断来客人物的身份,而人脸的识别率并不是很高,经常会出现误判,从而带来安全隐患。
而表情识别技术则可以通过对人脸表情进行分析,直观地了解客人的情绪和动作,从而更好地进行判断,提高保安行业的效率。
同时,表情识别技术也可以用于监控区域内活动的人员,来判断其身份信息,以达到更好的监控效果。
三、医疗领域在医疗领域中,表情识别技术也可以发挥很大的作用。
同样以摄像头为例,我们可以在手术时,通过分析医生面部的表情,来为他们提供更好的辅助服务。
而在患者护理时,也可以通过分析患者面部的表情,来了解患者的感受,更好地调整医疗服务,从而提高治疗效果。
四、游戏行业对于游戏行业来说,表情识别技术也可以用于游戏互动上。
在游戏中我们可以通过分析用户的面部表情,来预判其游戏操作动作,从而更好地进行游戏体验。
而在电子竞技等竞技游戏中,表情识别技术还可以用于判断在玩家和敌人中谁处于更加劣势的情况下,从而给与玩家更好的提示,使得玩家能够更好地进行竞技。
总结:表情识别技术尽管存在一些问题,如如隐私安全、技术先进性不足等,但它的应用前景还是十分广泛的。
社交机器人前沿研究报告
社交机器人前沿研究报告社交机器人是一种能够与人类进行自然、智能化交流的机器人。
它们不仅具备语音识别和语音合成的能力,还能理解和生成自然语言,并能通过语言、表情和身体语言进行情感交流。
社交机器人在日常生活、教育、娱乐和医疗等领域有着广泛的应用。
在社交机器人的前沿研究中,以下几个方面是研究人员关注和探索的重点:1. 情感识别与生成:社交机器人需要能够识别人类的情感并适当地回应。
研究人员致力于开发情感识别技术,使机器人能够通过语音、面部表情、语调和肢体动作等方式感知人类的情感。
同时,生成逼真的情感回应也是一个挑战,研究人员提出了各种情感生成模型来使机器人能够准确地回答和应对不同情感的人类。
2. 社交智能与自然语言处理:为了更好地理解和生成自然语言,研究人员致力于开发社交智能和自然语言处理技术。
社交智能涉及到理解语境、推理能力和对话管理等方面,使机器人能够像人类一样进行流畅的对话。
自然语言处理则包括语义理解、语法分析和句法生成等技术,使机器人能够准确地理解和生成自然语言。
3. 个性化与适应性:社交机器人需要能够适应不同人群和不同场景的需求。
研究人员尝试开发个性化和适应性的社交机器人,使其能够根据用户的偏好和需求,提供个性化的回应和服务。
个性化的机器人可以更好地满足人类的需求,提高用户体验和互动效果。
4. 社交机器人应用:社交机器人在日常生活、教育、娱乐和医疗等领域有着广泛的应用。
研究人员不断探索社交机器人的应用场景和使用方法,如在教育中作为辅助教学工具、在娱乐中作为伴侣和游戏伙伴、在医疗中作为陪伴和治疗工具等。
总体来说,社交机器人的前沿研究集中在情感识别与生成、社交智能与自然语言处理、个性化与适应性以及应用场景等方面。
随着人工智能和机器学习技术的不断进步,相信社交机器人将在未来发展出更多的潜力和应用。
智能机器人技术的研究和应用
智能机器人技术的研究和应用随着人类科技的飞速进步,机器人已经成为了极具前景的研究领域。
作为高新技术的代表,智能机器人技术正逐渐地走向普及化。
它在工业、医疗、军事等各个领域的应用都展现了出色的成果,极大地促进了各行业的进步和发展。
本文将从研究与应用两个角度,探讨智能机器人技术的现状和前景。
一、智能机器人技术的研究现状智能机器人技术作为目前最为前沿和热门的研究领域之一,自然引起了全球科学家的关注。
目前,智能机器人技术的研究涉及到了机器人的感知、决策和行动三个方面。
首先,机器人的感知能力是需要被加强的:如何让机器人学会“看、听、嗅、触、味”,才能够更好地适应现实环境和各种场景。
其次,机器人的决策能力也是智能机器人技术的重要方面之一。
机器人应该能够根据自己对周围环境的感知,进行决策,并作出合理的行动方案。
最后,机器人的行动能力也是研究的主要内容之一。
机器人可以学习运动技能,如单腿站立、行走、跳跃等。
此外,机器人还要学会如何和人类进行交互,如何正确、自然的完成人们的委托或指令。
目前,科学家们正着力于解决以上问题。
他们通过研究机器人感知、学习、控制等基础理论,推动智能机器人技术的发展与应用。
二、智能机器人技术在各个领域的应用智能机器人技术不仅在研究方面有着广泛的应用,而且还在各个领域中得到了越来越多的应用。
下面简单介绍一下智能机器人技术在几个领域的应用。
1. 工业自动化领域工业自动化是智能机器人技术的一个重要应用领域。
随着机器人技术的不断进步,生产线上的机器人已经成为了工业制造和生产中不可或缺的一部分。
比如,打包机器人、铆接机器人、焊接机器人、搬运机器人等方便快捷的机器人,为工业生产提供了强有力的支持。
2. 医疗保健领域智能机器人技术可以发挥很多优势,如提高工作效率、确保操作安全、提高准确度等。
在医疗保健领域中,机器人的应用已经不是一件稀奇的事情了。
机器人外科手术系统、康复机器人、护理机器人等,已经成为医疗保健领域的常规设备,在医院中得到广泛应用。
机器人发展史、现状及展望PPt
机器人技 术发展
2023
机器人的发展史
机器人大致经历了三个 成长阶段,也即三个时 代:
第一代为简单个体机器人
第二代为群体劳动机器人
第三代为类似人类的智能 机器人,它的未来发展方 向是有知觉、有思维、能 与人对话。
第一代机器人属于示教再现型,第二代则具备了感觉能力,第 三代机器人是智能机器人,它不仅具备了感觉能力,而且还具 有独立判断和行动的能力,并具有记忆、推理和决策的能力, 因而能够完成更加复杂的动作。智能机器人在发生故障时,通 过自我诊断装置能自我诊断出发生故障部位,并能自我修复。 今天,智能机器人的应用范围大大地扩展了。除工农业生产外, 机器人已应用到各行各业,并已初步具备了人类的特点。机器 人向着智能化、拟人化发展的道路,是没有止境的。
智能机器人由感觉装置感受到外界环 境的状况,产生信息,并由电脑进行 识别。
电脑中存储许多知识,也就是存储许多规则和数据。电 脑根据已有的知识,对得到的外界信号加以分析、判断 、推理,最后做出决策,产生控制信号,驱动机器人的 行走的任务机构、机械手和手爪运动,完成操作。这样 ,不但能适应外界环境的变化,而且还能完成复杂。
传感型机器人 机器人的本体上没有智能单元只有执行机构和感
应机构,它具有利用传感信息(包括视觉、听觉、 触觉、接近觉、力觉和红外、 超声及激光等)进行传感信 息处理、实现控制与操作的 能力。
目前智能机器人 根据其智能程度的不同,又可分为三种:
• 交互型机器人器人就属于
这一类型。全自主移动机器
人的最重要的特点在于它的
自主性和适应性。
总结
智能机器人的最终目标是 仿人,这就要求人体医学、 生物学、和仿生学的发展。
目前,智能机器人具有较 好的运动能力,而心理活 动方面技术的发展较难。
仿人情感交互表情机器人研究现状及关键技术
( 上海 大学 机 电工程 与 自动化 学院, 上海 2 0 0 0 7 2 )
摘 要: 仿人情感交互 表情 机器 人作 为当前智 能机器人研究领 域中热 门的研究方 向之一 , 引起 了广泛 的关注 . 为了
更加深入地研究仿人表情机器人 , 对 日本 、 美国、 欧盟和国 内表情机 器人 的一些研 究成果做 了总结 . 分 析了仿 人情感 交互表情 机器人研究 的理论 框架 和关 键技 术. 最后 , 探讨 了未来的发展趋势 , 对今后 的研究方 向提 出了几点看法 . 关键词 : 仿人 ; 情感 ; 表情机器人 ; 机器人 ; 情感交互
s o me o f t h e r e s e a r c h a c h i e v e me n t s r e g a r d i n g t h e c o u n t e n a n c e r o b o t i n J a p a n,t h e US A ,t h e Eu r o p e a n U n i o n a n d
KE Xi a n x i n,S HANG Yu f e n g,L U Ko n g b i
( S c h o o l o f M e c h a n i c a l E n g i n e e r i n g a n d A u t o m a t i o n ,S h a n g h a i U n i v e r s i t y , S h a n g h a i 2 0 0 0 7 2 ,C h i n a )
An a l y s i s o f t h e p r e s e n t r e s e a r c h s t a t us a n d k e y t e c h no l o g y o f
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
表情机器人研究现状------丁峰 10121301随着工业机器人技术的日趋成熟和完善,机器人开始逐步走入医疗、保健、家庭、体育和服务性行业,对机器人的要求也从简单重复的机械动作提升为研制具有高度智能性、自主性以及与其他智能体交互的仿人机器人。
这种机器人不再面向简单环境中的给定任务,而是面互,强调个性和智能化的情感表达。
为此,仿人机器人需要识别和理解人的情感状态,能根据外界环境的变化产生各种情绪,具有较强的情感处理能力,并通过适当的行为和表情对情感进行表达,能体现出仿人机器人所具有的性格。
面部表情是情绪在面部的表现,它是情绪表达的主要通道。
在婴儿学会说话以前,人的面部表情是婴儿认知和学习的主要来源;婴儿本身的表情是他们传达意愿和需要的主要手段。
婴儿和成人之间的交往是通过表情这一媒介进行的;通过感情的传递,发展着儿童的社会行为和儿童、成人的相互关系。
成人在社会交往中,面部表情是语言交际的重要辅助手段。
由于面部表情在人类具有习得的性质,所以它可以人为地加以控制,既可以夸大也可以抑制;既可以掩盖也可以伪装。
美国著名心理学家Albert Mehrabian[1]经过研究发现,人在进行情感表达时,语言只表达7%的内容,声调也只能表达38%的内容,而55%的内容全由人的表情与动作来表达,可见表情交流的必要性。
所以,研究人与机器人的面部表情交流的重要性也越来越明显。
一、表情实现的理论基础1、恐怖谷理论对表情机器人研究的影响日本科学家森政弘(Mori)的“恐怖谷”(UncannyValley)理论[2]指出,由于机器人与人类在外表、动作上都相当相似,所以人类亦会对机器人产生正面的情感;直至到了一个特定程度,他们的反应会突然变得极为反感。
哪怕机器人与人类有一点点的差别,都会显得非常显眼刺目,让整个机器人显得非常僵硬恐怖,让人有面对行尸走肉的感觉。
可是,当机器人的外表、动作和人类的相似度继续上升时,人类对他们的情感反应亦会变回正面,贴近人类与人类之间的移情作用。
同时,动作比外表更容易让人发现机器人与人的差异,大脑中从感觉器官(下丘脑)到情感系统(脑垂体)有两条甚至多条径。
一条是直接路径,另一条要先通过理解和认知系统(大脑皮层),才能到达情感系统。
脑垂体通过直接路径(低层次路径)获得粗糙的视觉刺激。
当人看见一个物体很像人类时,脑垂体通过低水平路径得到的信号说明这个物体是人类,而通过高路径得到的信号说明这个物体跟人类差别很大。
这种竞争状态导致的冲突就会使人产生恐惧感(见图2[4])。
如果机器人的外表非常像人类,人们就会把这个仿人机器人当作人类,因此有一点微小的差异都会产生很奇怪的感觉[4]。
例如实现机器人的微笑表情时,变形速度是一个很重要的因素,如果变形速度控制不好看上去很不自然。
动作的微小改变都可能导致机器人陷入恐怖谷。
这对研制仿人机器人有很大影响。
表情机器人的研制者,有的害怕陷入恐怖谷,尽量避免研发和人非常类似的机器人系统,将机器人与人的相似性限制在如图1所示的第一个峰值前,制造出拥有人类某些特征,但是又很容易与人类区分开的机器人,还有的一直在尝试如何利用类似人的行为来越过恐怖谷,达到曲线的第二个峰值。
2、脸部肌肉分析面部表情是肌肉运动的结果,为了了解表情的产生原理,我们首先进行面部肌肉的分析。
人脸的表情变化是由位于面部肌肤下层的表情肌的变化产生的,收缩时带动皮肤运动,当各个表情肌协同工作时,就能使面部呈现不同的表情。
一般起于骨或筋膜,止于皮肤, 可分为颅顶肌、眼周围肌、口周围肌等(见图3)[5]。
1)颅顶肌:由成对的枕腹和额腹以及中间的帽状肌组成。
枕腹可向后牵拉帽状腱膜和头皮,额腹收缩则可提眉并使额部皮肤出现皱纹。
2)眼周围肌:包括眼轮匝肌和皱眉肌。
眼轮匝肌位于眼裂周围,收缩时可使眼裂闭合;皱眉肌起始于额骨,抵止于眉中部和内侧部皮肤,牵眉向内下方,使眉间皮肤形成皱襞。
3 ) 口周围肌:口周围肌包括辐射状肌和口轮匝肌两种。
辐射状肌分别位于口唇的上下方,能提上唇、降下唇或拉口角向上、下或外等不同方向。
3、情感与表情的对应每一种情绪都有特定的面部肌肉活动模式。
面部表情可以用额眉部、眼鼻部和口唇部的变化来标示。
每一种具体的情绪都是这3个部位肌肉运动的不同组合构成的。
美国心理学家Paul E k m a n [ 6 ]分别对面部3个区域的肌肉运动以不同的情绪分别进行标定,并且提出了面部编码系统(Facial Action Coding System,FACS)。
目前的表情机器人大多根据FACS和6种基本表情研制。
在FACS的44个运动单元(AU)元中(这44个活动单元指的是脸部肌肉的运动),有24个运动单元与人的表情有关,但其中6种基本表情所需的是14个运动单元,如表1所示。
为了实现表中AU的运动,我们研究人类面部肌肉的运动位移与方向,可以得到6种基本面部表情运动单元的最佳组合,如表2所示。
机器人要产生仿人的表情,在机器人面部皮肤上需要设计与各AU点对应的表情控制点,具体如图4所示。
面部表情驱动机构(一般采用电机、气缸驱动)与表情控制点相连,通过表情控制点的组合和位移变化,机器人可以呈现不同的面部表情。
二、表情机器人的主要研究内容对于表情,从心理学的角度研究感情和表情的对应,从医学的角度研究表情变化的肌肉构造和运动,这些都为我们研制表情机器人提供了依据[35]。
在机器人领域中,关于面部表情方面的研究主要集中在以下几个方面。
1、仿人头部仿人头部主要分为两部分,一是头部的器官和基本骨架,另一部分是面部表情,包括人造皮肤的研制和表情的驱动机构。
(1)头部的器官和基本骨架为了产生仿人的表情,仿人头像机器人应该具有和人类相似的面部结构,至少拥有产生各种表情的面部器官,如眼睛、嘴巴、鼻子、眉毛。
采用机械结构构成头部,安装摄像机、麦克、气敏传感器、味觉传感器等构成头部和眼、耳、鼻、口、舌等器官,各器官的运动自然就会产生一些简单的表情。
头部基本机构应包括点头运动机构、摇头运动机构、眼球运动机构、眼睑运动机构、下颚运动机构等,这些机构的巧妙设计会给头内部留有更多的空间来安装面部皮肤的驱动器,使得机器人头部的大小跟真人比较接近。
(2)皮肤材料皮肤的材料是表情机器人研制的难点之一。
为了使机器人能产生理想的表情,机器人的面部皮肤材料除了从感官上要像真人的皮肤外,还必须能够经得起受力引起的撕裂、老化等问题,尤其要考虑与表情相关的眼角、眼睑、嘴角等部位皮肤的性能。
所以皮肤材料应具有良好的强度、抗撕裂性、抗老化性;以及面部驱动点连接及与头壳粘接等容易实现等优点。
现在的人造皮肤多为硅橡胶,硅橡胶有很多种,我们要根据真人皮肤的弹性等方面的性能指标寻找或者自己研制符合要求的硅橡胶作为表情机器人的皮肤。
(3)表情驱动1)面部控制点的数量、分布和牵引方向目前的机器人表情大多基于Paul Ekman所划分的44种运动单元和6种基本表情,以及在六种基本表情基础上扩展的若干种表情,并且都是采用绳索牵引面部控制点运动产生表情。
现在的机器人多数为20个左右的控制点,Albert HUBO机器人有30多个控制点,表情就更加真实,可见需要适当增加面部控制点。
表情是由于肌肉带动产生的,应该按照人面部的肌肉的分布来确定表情驱动点的位置和驱动的方向。
表情的变化过程更能引起人的注意,如果太快或太慢,都会引起人的反感,所以需要优化控制点的动作幅度和速度。
2) 表情控制点的驱动方式科学家一直在探索表情控制点的驱动方式,电机驱动、形状记忆合金驱动(SMA)、气动人工肌肉驱动等。
不同的方式有各自的优缺点。
电机驱动导致传动系统复杂化,引起结构复杂、使得机器人头部比较大,不符合仿人性的要求。
SMA驱动器具有以下优点:功率/质量比大;结构紧凑、轻巧,可直接输出直线运动;动作柔顺、适应性强,可感知温度和位移的变化;无噪音、无污染;易于控制,可通过控制电压或通电时间来实现加热控制。
其缺点是响应慢、位移小、寿命短、退化和费电。
SMA驱动器在表情机器人上要得到更好应用就需要克服这些缺点。
如图21[25]是气动人工肌肉的原理图及外观。
人工肌肉主要由一根橡皮管外包强力塑料网构成,当被充气和吸气时,可以像人的肌肉一样伸缩。
因其具有重量轻、成本低、运动平滑、动力强劲、适配性强等有点,所以特别适用于机器人。
采用人工气动肌肉驱动后,机器人的体积和重量明显减小,但是气动驱动需要空气压缩机、控制阀等大而重的配套设备,整个机器人的重量并没有减少,所以不适合机器人行走,制作的机器人只能呆在某一固定的位置,无法自由移动。
因此,科学家未来的任务是研制质量轻、体积小、效率高、反应速度快、动作平稳连续、无冲击、控制尽可能灵活等要求的新型人工肌肉驱动器及仿生执行装置,探索人工肌肉和机构更加合理结合的表情实现方法。
2、情感识别(1)图像识别目前,机器人主要通过脸部图像来识别人的情感。
人脸表情识别就是对人脸的表情信息进行特征提取分析,按照人的认识和思维方式加以归类和理解,利用人类所具有的情感信息方面的先验知识使计算机进行联想、思考及推理,进而从人脸信息中去分析理解人的情绪,如快乐、惊奇、愤怒、恐惧、厌恶、悲伤等[36]。
机器人如何识别人的面部表情重点包括机器人的视觉、图像分析方面的技术:人脸的检测与定位、表情特征提取及表情分类识别。
(2)增加情感识别的途径面部表情、言语表情和身段表情相互联系,共同传递情绪信息。
由于情绪可以为主体所控制,所以把表情与自主神经系统的生理变化和主观体验三方面结合起来,才是识别情绪的可靠办法。
机器人不仅可以通过面部表情来判断人的情感,还可以综合其他的检测方法来提高感情识别的正确性和丰富性:利用麦克风记录音调、共振峰、节拍和力度等非词汇信息来识别人的情感,在此基础上设计语音对话系统,根据所识别的情感对用户做出合适的回答;利用体表传感器测量肌肉的紧张程度、心跳的变化等心理学信号来识别情感,甚至根据运动信号等来识别人的情感等。
表情机器人既拥有众多的传感器,又面临在非结构化和复杂环境下工作的挑战,所以迫切需要一个能够处理各种信息(包括部分认知信息)的通用架构,以便为在其上开发的各种认知和情感应用打下基础。
3、情感建模(1)目前的情感模型为了实现机器人的情感表达要进行情感建模。
人工情感的建模大致可分为三类:离散状态情感模型、情感空间计算模型、基于规则的模型[13]。
图22[37]是一种用HMM表示的离散情感模型,其中只表达了三种情感状态(可扩充),图中Pr表示状态的迁移概率(Pr(I/I)、Pr(J/I)、…),O表示观测输出(O(V/J)、O(V/I)、O(V/D)),V表示受情感状态影响的可测的机体反应。
情感状态通过一组特征定义,这组特征可以是任何可以测量或计算的信号,如情绪响应上升时间、峰值间隔的频率变化范围等。