语音情感识别
基于深度学习的语音情感识别与情绪分析技术研究

基于深度学习的语音情感识别与情绪分析技术研究引言:语音是人类最基本、最自然的交流方式之一,能够传递丰富的情感信息。
因此,对于机器来说,能够准确地进行语音情感识别和情绪分析是一项具有重要意义的任务。
本文将探讨基于深度学习的语音情感识别与情绪分析技术的研究进展,并介绍其在不同领域的应用。
一、语音情感识别技术的发展历程语音情感识别是指通过分析语音信号中的音频特征以及使用者的说话语调、语速、音量等信息,来判断说话者所表达的情感状态。
从传统的基于特征工程的方法,到近年来深度学习的兴起,语音情感识别技术经历了长足的发展。
1. 传统方法:传统的语音情感识别方法主要基于特征工程,通过手动选择和提取一系列人工设计的特征,如基频、能量、过零率等,再使用机器学习算法对这些特征进行分类。
然而,传统方法在特征提取的过程中往往缺乏有效的特征表示,导致准确率不高。
2. 深度学习方法:深度学习方法以其自动学习特征表示的能力而备受关注。
深度神经网络模型,如卷积神经网络(CNN)、长短时记忆网络(LSTM)以及自注意力网络(Transformer),成为了语音情感识别的主流模型。
深度学习方法能够从原始的语音信号中提取出高层次的特征表达,大大提升了情感识别的准确率和鲁棒性。
二、基于深度学习的语音情感识别技术研究方向基于深度学习的语音情感识别技术研究涵盖了多个方面,包括特征提取、模型设计以及数据集构建等。
1. 特征提取:从原始的语音信号中提取有效的特征对于语音情感识别至关重要。
近年来,一些基于深度学习的特征提取方法得到了广泛应用,如声码器后端(Vocoder)、自编码器(Autoencoder)等。
这些方法能够学习到更有价值的语音特征表示,提升了情感识别的性能。
2. 模型设计:深度学习模型的设计直接影响着情感识别的准确率和鲁棒性。
除了常见的CNN、LSTM和Transformer模型,一些结合跨模态信息的模型也得到了研究。
例如,将语音和面部表情数据同时输入到网络中,并通过联合训练的方式来提高情感识别性能。
语音情感识别技术研究与应用分析

语音情感识别技术研究与应用分析一、引言随着智能化技术的发展,语音情感识别技术在生活和工作中扮演着越来越重要的角色。
语音情感识别技术是一项通过对语音信息进行分析和处理,结合情感心理学和计算机科学的基础理论,来识别和分析语音中的情感信息的技术。
本文将从语音情感识别的定义、研究现状、技术原理、应用场景和未来发展等方面进行探讨,以期为相关领域研究者提供参考。
二、语音情感识别的定义语音情感识别是指通过对人类语音进行分析和处理,通过结合情感心理学和计算机科学的基础理论,进行情感识别和情感分析的技术。
与传统的情感识别技术不同,语音情感识别是一种基于声音的情感识别技术,其主要的应用场景包括语音助手、智能客服等。
三、语音情感识别的研究现状语音情感识别技术已经成为了人工智能领域的重要研究方向之一。
国内外相关领域的研究者们进行了大量的探索和实践。
在算法上,针对语音信号的特征提取、分类器的选择、情感分析的标注等都进行了不断的优化和改进。
同时,研究者利用大规模情感数据库,进行了实验验证和评估。
从研究成果的统计数据来看,近年来,在语音情感识别技术方面,国际间出现了一种新的评测方式,即使用IEMOCAP(InteractiveEmotional DyadicMotionCapture)这个基于情境的口语语音数据库进行测试整个识别系统。
同时,N-先进方法也逐渐受到了研究者们的重视。
四、语音情感识别的技术原理目前,语音情感识别技术主要有两种方法,即基于语音信号特征的方法和基于语音语调特征的方法。
1. 基于语音信号特征的方法基于语音信号特征的方法是指从语音信号中提取特征,并传递到分类器进行分类。
特征的提取可以借鉴语音信号分析的方法,例如MFCC、PLP等。
分类器的选择可以根据不同的场景和需求,可以选择SVM、KNN、NB等。
2. 基于语音语调特征的方法基于语音语调特征的方法是指从语音的声调信息中提取特征,这种方法通常被称为基于语音语调的情感分析方法。
《情感语音识别与合成的研究》

《情感语音识别与合成的研究》篇一一、引言随着人工智能技术的发展,情感语音识别与合成逐渐成为人们关注的焦点。
情感语音识别与合成是自然语言处理(NLP)的重要领域,通过这些技术可以使得计算机和机器人更自然地理解和表达人类情感。
本文旨在探讨情感语音识别与合成的研究现状、应用领域以及未来发展趋势。
二、情感语音识别的研究情感语音识别是指通过计算机和机器学习技术分析语音中的情感信息,将声音转换为情感的标记和标签,实现识别人类情绪的目标。
这项技术的关键在于理解人的情绪特征以及如何从声音中提取这些特征。
2.1 情感语音识别的基本原理情感语音识别的基本原理是通过音频信号处理和机器学习算法对语音进行情感分析。
在音频信号处理阶段,提取出声音中的各种特征,如语调、音量、节奏等;在机器学习算法阶段,使用各种算法对这些特征进行训练,识别出不同情绪的特征和规律。
2.2 情感语音识别的研究进展近年来,随着深度学习技术的兴起,情感语音识别的准确率得到了显著提高。
例如,利用卷积神经网络(CNN)和循环神经网络(RNN)等技术对音频信号进行深度学习和特征提取,可以更准确地识别出不同情绪的语音。
此外,多模态情感识别技术也得到了广泛关注,通过融合声音、文字、表情等多种信息进行综合分析,提高情绪识别的准确率。
三、情感语音合成的研究情感语音合成是使计算机能够根据特定情感或语境生成自然语言语音的技术。
该技术可以实现与用户更自然地交流,提升人机交互的体验。
3.1 情感语音合成的基本原理情感语音合成的基本原理是将预定义的情感特征作为参考信号,生成相应情感的语调、音调、节奏等,从而实现模拟人类的情绪表达。
通常需要建立情绪参数的数学模型,然后将这些参数映射到特定的声波生成器中。
3.2 情感语音合成的技术进展近年来,深度学习和声学模型等技术在情感语音合成中得到了广泛应用。
例如,利用深度神经网络(DNN)和生成对抗网络(GAN)等技术,可以实现更加自然和逼真的声音表达。
语音情感识别准确率评估说明

语音情感识别准确率评估说明语音情感识别是指通过对人的语音进行分析和处理,识别出语音中所表达的情感状态。
它是人工智能领域的重要研究方向,可以应用于各种场景,如智能助理、情感诊断、智能客服等。
准确率评估是对该系统性能的一种重要指标,本文将对语音情感识别的准确率评估进行详细说明。
首先,准确率是指系统正确识别出的情感样本数量占总样本数量的比例。
在语音情感识别中,可以通过构建一个标注好情感的数据集来评估系统的准确率。
在数据集中,每个样本都包含了一段语音和对应的情感标签,例如"开心"、"生气"、"沮丧"等。
通过将这些样本输入到系统中进行识别,就可以得到系统的预测结果和真实情感标签。
将系统正确预测出的样本数量除以总样本数量,即可得到准确率。
其次,为了提高准确率评估的可信度,通常会采用交叉验证的方法。
交叉验证是将数据集分为训练集和测试集两部分,其中训练集用于训练系统,测试集用于评估系统的准确率。
为了避免因数据集划分的不同而导致准确率评估结果的不稳定,可以采用k折交叉验证方法。
例如将数据集分为k个子集,每次取其中一个子集作为测试集,其他k-1个子集作为训练集进行系统训练和测试,最后将k次的准确率取平均值作为最终的准确率评估结果。
另外,对于语音情感识别准确率评估中的数据集标注也是一个重要的问题。
由于情感是主观感受,对同一段语音的情感标签可能存在不同的主观理解和判断。
为了减少主观因素的影响,可以请多个人对数据集进行标注,并采用多数标签作为最终的标签。
此外,在标注时应该充分考虑语音中的声调、语速、音量等特征,以避免因这些特征的影响而导致了情感标签的不准确。
最后,准确率评估还需要结合其他性能指标一起进行综合评估。
例如,可以使用混淆矩阵来分析系统的分类效果。
混淆矩阵可以显示系统对真实情感标签的预测情况,包括真正例(系统预测正确的样本数)、假正例(系统将负例误判为正例的样本数)、假负例(系统将正例误判为负例的样本数)和真负例(系统预测正确的负例样本数)。
《情感语音识别与合成的研究》范文

《情感语音识别与合成的研究》篇一一、引言情感语音识别与合成技术是人工智能领域中的一项重要研究内容,它通过捕捉和模拟人类情感,使得机器能够更好地理解和表达人类的情感需求。
本文旨在探讨情感语音识别与合成的研究现状、方法及未来发展趋势,以期为相关研究提供参考。
二、情感语音识别的研究情感语音识别是指通过分析语音信号,判断出说话人的情感状态。
目前,情感语音识别的研究方法主要包括基于规则的方法、基于机器学习的方法和深度学习方法。
1. 基于规则的方法基于规则的方法主要依靠语言学和语音学的专业知识,设计一套规则系统来分析语音信号。
该方法需要根据不同语言的发音规则、音调、语调等特征进行细致的规则设计,实现过程相对复杂。
2. 基于机器学习的方法基于机器学习的方法利用大量标注的语音数据训练分类器,通过分类器对未知情感的语音信号进行分类。
该方法需要大量的标注数据,且对于不同情感的表现形式需要设计不同的特征提取方法。
3. 深度学习方法深度学习方法在情感语音识别中取得了较好的效果。
该方法通过构建深度神经网络模型,自动提取语音信号中的特征,进而判断说话人的情感状态。
深度学习方法在处理复杂情感和多种语言方面具有较大优势。
三、情感语音合成的研究情感语音合成是指根据输入的情感信息,生成具有相应情感的语音信号。
目前,情感语音合成的方法主要包括基于规则的合成方法和基于深度学习的合成方法。
1. 基于规则的合成方法该方法主要依靠预设的规则和模板,通过调整语音参数来生成具有特定情感的语音信号。
该方法需要设计较为复杂的规则系统,且生成的语音缺乏自然度。
2. 基于深度学习的合成方法基于深度学习的情感语音合成方法可以生成更加自然、逼真的语音信号。
该方法通过构建神经网络模型,学习大量语音数据中的特征和规律,进而生成具有相应情感的语音信号。
近年来,循环神经网络(RNN)和自编码器等深度学习模型在情感语音合成中得到了广泛应用。
四、研究挑战与展望尽管情感语音识别与合成技术取得了一定的研究成果,但仍面临诸多挑战。
语音情感识别技术了解人的情绪与情感状态

语音情感识别技术了解人的情绪与情感状态随着科技的不断进步,语音情感识别技术逐渐成为人工智能领域的热门话题。
该技术可以通过分析语音信号,了解人的情绪与情感状态,为人们的交流提供更多的可能性。
本文将介绍语音情感识别技术的原理、应用以及发展前景。
一、语音情感识别技术的原理语音情感识别技术的原理是通过对语音信号进行分析和处理,提取出与情绪与情感相关的特征参数。
这些特征参数包括语速、音调、语调、能量等,通过对这些参数进行模式匹配、分类和判别,识别出语音信号中所表达的情绪与情感状态。
二、语音情感识别技术的应用1. 智能助理语音情感识别技术可以应用于智能助理,如苹果的Siri、亚马逊的Alexa等。
通过识别用户语音中的情绪与情感状态,智能助理可以更好地理解用户的需求,提供更加个性化、贴心的服务。
2. 情感分析语音情感识别技术还可以应用于情感分析领域。
例如,在市场调研中,可以通过对消费者电话回访录音进行情感识别分析,了解消费者对产品或服务的满意度,从而有针对性地改进产品和服务质量。
3. 心理健康辅助语音情感识别技术可以为心理健康领域提供有力支持。
通过识别患者语音中的情绪与情感状态,可以对患者的心理状态进行监测与评估,及早发现与干预可能存在的心理问题。
三、语音情感识别技术的发展前景语音情感识别技术在人工智能领域具有广阔的应用前景。
随着语音识别和自然语言处理等相关技术的进一步发展,语音情感识别技术将变得更加准确和稳定,能够更好地理解和识别人类语音中的情感信息。
同时,语音情感识别技术也将与人机交互、智能助手等领域相结合,为人们的生活带来更多的便利和智能化体验。
总结:语音情感识别技术通过对语音信号的分析与处理,可以了解人的情绪与情感状态。
它在智能助理、情感分析、心理健康辅助等领域有着广泛的应用。
随着相关技术的进一步发展,语音情感识别技术的准确性和稳定性将不断提高,为人们的生活带来更多的便利和智能化体验。
《基于语音和文本的情感识别研究》范文

《基于语音和文本的情感识别研究》篇一一、引言情感识别是人工智能领域中的一个重要研究分支,主要用于对人类情感的智能分析和处理。
近年来,随着互联网技术和大数据的迅速发展,情感识别在多个领域得到广泛应用,包括智能问答系统、人机交互、社交媒体分析等。
情感识别的研究方法主要分为基于文本和基于语音两种方式。
本文将重点探讨基于语音和文本的情感识别研究。
二、语音情感识别语音情感识别主要依赖于计算机技术和音频处理技术。
它通过对人类语音的分析和解释,推断出语音中所蕴含的情感信息。
在语音情感识别中,关键技术包括语音信号的采集、预处理、特征提取和分类器设计等。
(一)语音信号的采集与预处理在语音情感识别的过程中,首先要进行语音信号的采集和预处理。
语音信号采集的准确性和清晰度直接影响着情感识别的准确度。
因此,需要通过合适的音频设备和专业的预处理方法,保证信号的质量。
常见的预处理方法包括去噪、归一化等。
(二)特征提取特征提取是语音情感识别的关键步骤。
通过对语音信号进行频谱分析、声学特征提取等手段,提取出反映情感的关键特征,如音调、语速、音色等。
这些特征对于后续的情感分类具有重要的指导意义。
(三)分类器设计分类器设计是实现语音情感识别的核心环节。
常用的分类器包括支持向量机(SVM)、神经网络等。
通过训练大量的情感样本,建立分类模型,进而实现情感的自动识别。
三、文本情感识别与语音情感识别不同,文本情感识别主要通过对文本内容进行分析,挖掘其中的情感信息。
在文本情感识别中,关键技术包括文本预处理、特征提取和情感分析等。
(一)文本预处理文本预处理是文本情感识别的第一步。
主要包括去除无关信息、分词、去除停用词等操作,为后续的情感分析提供基础数据。
(二)特征提取特征提取是文本情感识别的关键环节。
通过词频统计、词性标注、语义分析等方法,提取出文本中与情感相关的关键特征,如词语的语义倾向、句子的情绪表达等。
(三)情感分析情感分析是对提取出的特征进行综合分析和判断的过程。
基于卷积神经网络的语音情感识别

基于卷积神经网络的语音情感识别一、引言语音情感识别是一项重要且具有挑战性的研究领域,在人机交互、智能音箱、情感分析等应用中具有广阔的前景。
随着深度学习技术的快速发展,基于卷积神经网络(CNN)的语音情感识别方法成为了研究热点。
本文将深入探讨基于卷积神经网络的语音情感识别技术。
二、卷积神经网络概述卷积神经网络是一种专门用于处理具有网格结构数据的深度学习模型。
它通过共享权重和局部感受野等特点,能够有效地提取输入数据中的空间特征。
卷积神经网络由卷积层、池化层和全连接层组成,并通过多层堆叠来逐渐提取更高级别的特征。
三、语音情感识别任务语音情感识别是指根据语音信号中的情感信息,判断说话者的情感状态,常用的情感类别包括愤怒、快乐、悲伤等。
语音情感识别任务的核心是将语音信号转化为情感类别的预测。
在卷积神经网络中,可以将语音信号表示为一维的时域曲线,通过卷积层提取其特征。
四、卷积神经网络在语音情感识别中的应用1. 数据预处理语音信号是时域上的连续信号,为了方便卷积神经网络处理,需要对其进行预处理。
常见的方法包括将信号分帧、提取梅尔频谱系数等。
这些预处理操作可以减小噪声的影响,增强情感特征的区分度。
2. 卷积层的特征提取卷积层是卷积神经网络中最核心的部分,通过卷积核与输入特征进行卷积操作,提取局部的特征信息。
在语音情感识别中,卷积层可以学习到不同频率的声学特征,如语音的基频、共振峰频率等。
通过多个卷积核的组合,可以获得多尺度的特征表示。
3. 池化层的降维池化层通常紧跟在卷积层之后,用于对卷积层输出特征进行降维。
在语音情感识别中,常用的池化方法有最大池化和平均池化。
池化操作可以减小特征维度,同时保留重要的特征信息。
4. 全连接层的分类全连接层用于将卷积神经网络学习到的特征映射到情感类别上。
全连接层将多维的特征表示转化为一维向量,并通过激活函数进行分类预测。
常见的激活函数有softmax函数和sigmoid函数。
通过训练数据和损失函数的优化,可以实现对情感类别的有效分类。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
人机交互中的语音情感识别一.研究内容及其意义随着信息技术的高速发展和人类对计算机的依赖性不断增强,人机交互(Human-Computer Interaction)能力越来越受到研究者的重视。
如何实现计算机的拟人化,使其能感知周围的环境和气氛以及对象的态度、情感的内容,自适应地为对话对象提供最舒适的对话环境,尽量消除操作者和机器之间的障碍,已经成为下一代计算机发展的目标。
显然,人的大脑所表现出来的心智现象不仅仅体现在“智”的方面,而且还体现在“心”的方面。
人工智能已经不仅仅把研究重点放在对人脑智能实现上,而且也开展了对情感和意识方面的研究。
一般认为情感是通过语言、姿态、音乐和行为等表达模式来进行交流的,而其中语音信号中的情感信息处理的研究正越来越受到人们的重视。
包含在语音信号中的情感信息是一种很重要的信息资源,它是人们感知事物的必不可少的部分信息。
例如,同样一句话,由于说话人表现的情感不同,在听着的感知上就可能会有较大的差别。
然而传统的语音信号处理技术把这部分信息作为模式的变动和差异噪声通过规则化处理给去掉了。
实际上,人们同时接受各种形式的信息,怎样利用各种形式的信息以达到最佳的信息传递和交流效果,是今后信息处理研究的发展方向。
语音之所以能够表达情感,是因为其中包含能体现情感特征的参数。
研究认为,某种特定的情感状态所引起的语音参数变化在不同的人之间是大致相同的,仅有微小差别。
因而,情感的变化能够通过语音的特征参数来反映,研究从语音中提取这些情感参数就显得非常重要。
通常认为情绪所引起的生理上的变化会对语音带来直接的影响,而与人的生理唤醒程度相关的特征参数(声学参数如音强、平均基音、语速等)能够更好地反映语音中的情感 ,如恐惧和生气所引起的生理颤动会带来相应的基频摆动;不高兴会导致声道的紧张从而引起语音信号频谱发生变化。
另外,语音情感识别中所采用的识别方法也会对结果产生影响。
目前,关于情感信息处理的研究正处在不断的深入之中,而其中语音信号中的情感信息处理的研究正越来越受到人们的重视,如美国、日本、欧洲、韩国等许多国家的一些研究单位都在进行情感语音处理研究工作。
语音情感识别有着非常广泛的应用前景。
比如,用于自动远程电话服务中心,及时发现客户的不满情绪;用于远程教学和婴儿教育,及时识别学生的情绪并做出适当的处理,从而提高教学质量;也可以用于刑事侦察中自动检测犯罪嫌疑人的心理状态以及辅助测谎等。
二.国内外的研究现状语音情感识别是语音信号处理领域崛起的新秀,相关研究至今已有二十余年的研究历史,对提升智能人机交互水平和丰富多媒体检索方式有着重要的实际意义。
在1972年Williams发现人的情感变化对语音的基因轮廓有很大的影响,这是国外最早开展的语音情感方面的研究之一。
1990年MIT多媒体实验室构造了一个“情感编辑器”对外界各种情感信号进行采样,如人的语音信号、脸部表情信号等来识别各种情感[1]。
1996年日本东京Seikei大学提出情感空间的概念并建立了语音情感模型。
2000年,Maribor大学的Vladimir Hozjan研究了基于多种语言的语音情感识别[2]。
2009年4月,日本产业技术综合研究所(AIST)研制一个具有丰富表情的新型女性机器人“HRP-4C”。
通过对主人语音信号的识别,机器人可以做出喜、怒、哀、乐和惊讶的表情等[3]。
在国内,语音情感识别的研究起步较晚。
2001年,东南大学赵力等人提出语音信号中的情感识别研究。
2003年,北京科技大学的谷学静等人将BDI Agent 技术应用与情感机器人的语音识别技术研究中。
另外,2003年12月中科院自动化所等单位在北京主办了第一届中国情感计算及智能交互学术会议。
2005年10月又在北京主办了首届国际情感计算及智能交互学术会议。
三.采用的研究方法语音情感识别关注语音中的隐层情感信息,是一门涉及心理学、生理学、信号处理和模式识别等领域的交叉学科,主要任务是通过对语音信号的感知和分析,剥离出情感表达相关的声学特征,进而识别出话者所处的情感状态。
整个识别系统中,对情感特征数据的处理能至关重要。
通常地,语音情感特征向量少则数十维多则上百维,且随着语料数量的增多,特征数据的数量将变得十分可观。
而我们受到所处的三维物理空间的限制,对高维空间中的数据的理解已经十分困难。
因此,面对这批数量庞大的高维数据,如何找出相同情感类别的特征数据之间的共性和不同情感类别的特征数据之间的差异变成一项复杂的工程。
目前常用的特征处理方法实际上是对传统模式识别手段的沿用(如支持向量机、神经网络、隐马尔可夫模型等),然而由此得到的非特定人语音情感识别性能并不理想。
下面从几个方面对语音情感识别的研究方法加以说明。
⒈情感的分类要研究语音信号的情感,首先需要根据某些特性标准对语音情感做一个有效合理的分类,然后在不同类别的基础上研究特征参数的性质。
人类的情感是相当复杂的,常见的是喜、怒、哀、乐等.目前语音情感识别研究中对于情感的分类没有一个统一的标准,研究者一般针对研究对象而做出不同的分类。
目前使用较多的是四种基本情感类型:愤怒、高兴、悲伤、惊奇。
在心理学领域被普遍接受的是Robert Plutchik教授提出的八种原型情感模型,八种情感为:恐惧、惊奇、悲伤、厌恶、愤怒、期望、高兴、接受。
对于情感的分类,研究者始终没有达成共识。
⒉情感语音库的建立情感语音库是语音情感识别研究的基础,如何建立一个有效的情感语音库对于提高语音情感识别率具有重要影响。
语音库的建立大体上分为三种形式.第一种数据库来自专业或业余演员的表演,朗读预先准备的句子或段落。
由于这种方法操作简单,目前大部分情感语音数据库都是用这种方法获得的。
第二种数据库是让录音者置身于一个虚拟场景,从虚拟环境中诱引出语音。
第三种数据库来自现实生活,是人们在现实生活中表现出最真实情感的语音,但要用这种方法获得情感语音数据库非常困难。
用三种方法获取的数据库其自然度各不相同,文献[4]通过试验发现,在使用同样特征参数的情况下,用不同方法获得的数据库其情感识别率不同。
Batliner 等人使用线性判别分析(LDA)法结合韵律特征,对三种不同自然度的情感语音数据库进行了分类试验,结果表明,情感语音的自然度越高,识别率越低。
⒊语音信号的情感特征提取一般来说,语音中的情感特征往往通过语音韵律的变化表现出来。
语音情感的变化通常可以体现为语音特征参数的变化。
统计分析表明,高兴时,通常是语速较快,音量较大;悲伤时,通常是语速缓慢,音量较小。
基音是最常用的判定情感的语音特征,它反映了超音段的信息。
在语音情感识别中使用的特征参数有基频(Pitch),其次才是能量(Energy)、语速(Speech Rate)、共振峰频率(Formant)、单个音节的持续时间(Duration)、音节之间的停顿时间(Pause)、线性预测系数(LPC)、Mel倒谱系数(MFCC)等,以及它们的各种变化形式,如最大值、最小值、均值、范围、变化率等等。
这些参数主要体现的是人体的声门和声道的特征,因此和人的生理构造有着密切的关系,在不同的个体上显现出较强的相异性。
基于心理学和韵律学研究的结果,说话者的情感在语音中最直观的表现就是韵律特征和语音质量的变化。
因此对语音情感识别的研究普遍从韵律特征和音质特征开始,尤其是韵律特征,被认为是最主要的语音情感特征。
下面是采用MFCC参数的具体提取过程。
MFCC 系数是基于人耳听觉特性提取的特征参数,对人类听觉系统的研究表明,人耳对不同频率的声音信号的响应是非线性的。
不同频率声音形成的波,在沿着耳蜗基底膜传播的过程中,峰值出现在耳蜗基底膜的不同位置,且与声音频率呈对数关系。
为模拟人耳的这种非线性特点,提出了各种频率弯折方法,如Bark 度、等效矩形带宽度和Mel 频率尺度,其中Mel 频率尺度是目前使用最广泛的语音特征之一,具有计算简单、区分能力好等突出的优点,所谓Mel 频率尺度,它的值大体上对应于实际频率的对数关系。
其与实际频率的具体关系如下:()()fMel+=( 3-1)lg2595f7001其中实际频率f 的单位为Hz。
下面是本文进行MFCC 计算的具体过程,用短时分析技术,应用了窗长为21.33ms(256),帧移为10ms 的汉明窗。
计算过程如下图3-1 所示:其具体的计算步骤如下:①对语音信号用滤波器()19375.01--=Z z H 作高频预加重,然后对其进行分帧,用汉明窗函数(窗长为21.33ms ,窗移为10ms )对每帧进行加窗处理,减少吉布斯效应,使原语音信号变为短时信号()n S ;②用长度为256 的FFT 对加窗后的语音信号由时域信号变为频域信号,并计算出信号的功率谱()f p ;③根据上式(3-1)将p (f )由在频域轴上的频谱转化为美尔(Mel)坐标上的p (M ), 其中M 表示Mel 坐标频率。
④通过一个具有24个滤波器的滤波器组,得到频率在0-4000Hz 之间的能量信号;⑤计算通过各频带的能量并取对数得到mj ;⑥对mj 进行下式的离散余弦变换(DCT)就得到了MFCC 系数。
()⎪⎭⎫ ⎝⎛-=∑=5.0cos 21J N i m N c Nj j j π (3-2) 为了进一步提高Mel 倒谱特征参数的抗噪性能和改善识别性能,可以将MFCC 和其一阶差分参数、二阶差分参数结合起来组成一组特征矢量进行训练。
设定MFCC 的阶数为12,那么其一阶差分的计算公式为:()()1,....,2,1,....,,12312-=---=∆-N i c c c c c c i c N N (3-3)⑴ 语音持续时间计算每一情感语音从开始到结束的持续时间.提取持续时间时应包括无声部分,因为无声部分对情感是有贡献的。
⑵ 基音频率基音是指物体振动时所发出频率最低的音,利用倒谱法逐帧计算出基音频率,考虑到可能产生检测错误,因此对结果进行中值滤波和线性平滑处理。
可以选取平均基音频率,最大基音频率、基音频率的平均变化率等参数用于情感识别.⑶ 语音信号的能量由于语音信号的能量随时间变化,清音和浊音间的能量差别相当显著,因此对短时能量进行分析,可以描述语音的清浊音变化情况。
短时能量定义为:()()[]∑+-=-=n N n m n m n m x E 12ω (1)式(l )中,汉明窗函数()n ω平方的物理含义是一个冲激响应为()2n ω的滤波器。
首先求出语音信号各样本点值的平方,然后样点通过滤波器输出由短时能量构成的时问序列。
采用窗长N=23.22ms(256点),在满足对语音振幅瞬间变化的细节进行了有效平滑的前提下,保证了短时能量的明显变化。
识别时可以将情感语音短时能量变化率和有声部分平均短时能量作为特征参数。