情感语音识别研究综述

研究综述-多类特征组合

结合韵律特征与语意信息
结合韵律特征、语意信息以及语言结构 结合韵律特征以及视频信息（人脸识别）


[10] Chung-Hsien Wu, Wei-Bin Liang, “Emotion Recognition of Affective Speech Based on Multiple Classifiers Using Acoustic-Prosodic Information and Semantic Labels,” IEEE Transactions on Affective Computing, 2011, 2(1): 10-21. [11]T. Otsuka, J. Ohya, Recognizing multiple persons’ facial expressions using hmm based on automatic extraction of significant frames from image sequences, in: Proceedings of the International Conference on Image Processing (ICIP-97), 1997, pp. 546–549.
研究综述-声学参量

情感语音的最佳特征：全局统计特征&局部特征 特征参数优化


多类特征组合
[4] M.E. Ayadi, M.S. Kamel, and F. Karray, “Survey on Speech Emotion Recognition: Features, Classification Schemes, and Databases,”Pattern Recognition, vol. 44, no. 3, pp. 572 -587, Mar. 2011.
研究综述——涉及的问题

语音情感分类学

语音库
声学参量 分类方法

ቤተ መጻሕፍቲ ባይዱ
研究综述-语音情感分类学

情感语音并没有统一的模型


空间情感模型 情感轮等 离散情感模型 高兴，愤怒，悲伤，平静，害怕，厌恶

每类模型内部无定论
模型的选取依赖于应用
[1] 林奕琳,韦岗,杨康才,语音情感识别的研究进展.电路与系统学报,2007.12(1):第90-98页.
研究综述-语音库的选择

现有的情感语言库有很多

公开库，私有库，商用库
名称 Berlin emotional database[2] Danish emotional database[3] Natural BabyEars 性质 公开库 公开库 私有库 私有库 语言 德语 丹麦语 普通话 英语
[2] I . S. Engberg and A. V. Hansen, “Documentation o f the Danish Emo -tional Speech Database ( DES),” Internal AAU report, Center for PersonKo mmunikation, Denmark, 1996. [3] F. Burkhardt, A. Paeschke, M. Rolfes, W. Sendlmeier, B. Weiss, A database of German emotional speech, in: Proceedings of the Interspeech 2005, Lissabon, Portugal, 2005, pp. 1517 –1520.
研究综述-情感语音的最佳特征
Speech Features
Continuous
Qualitative
Spectral
TEO-Based
Pitch Duration Formants
Voice quality: happy, tense, angry
LPCC MFCC
[5] Kim, E. H., Hyun, K. H., “Improved Emotion Recognition With a Novel Speaker-Independent Feature,” IEEE Transactions on Mechatronics, 2009, 14(3): 317-325. [6]H. Teager, Some observations on oral air flow during phonation, IEEE Trans. Acoust. Speech Signal Process. 1990, 28 (5):599–601.
研究综述-分类方法
GMM，SVM，HMM，多分类器方法
GMM R1 AP MDT R4 R2 SVM Training MLP R3
Fusion
SL
MaxEnt Training
研究综述-研究方向选择

提取特征参数时，结合韵律特征与语意标签
语音识别时，运用多分类器识别的方法

情感语音识别研究综述
导师：陶智 肖仲喆 研究生：沈燕
内容概要

课题背景及意义

情感语音研究综述
研究方向选择

课题背景及意义



语音是人类最有效、最自然的交流沟通手段, 除了包含语义信息外, 还携带有丰富的情感信 息。 人们的情感包括生理上的感觉，认知以及人们 的行为举止。 情感语音识别可应用于聋哑人学说话；电视调 台；热线电话。
研究综述-特征参数优化

浮动前向选择（SFFS）
主成分分析（PCA） 线性判别分析（LDA）


[7] D. Ververidis and C. Ko tropoulos, “Automatic Speech Classification to five emotional states based o n g ender information,” in Proc. 12th European Signal Processing Conf. , pp. 341-344, Vienna, September,2004. [8] Z. Chuang, C. Wu, Emotion recognition using acoustic features and textualcontent, Multimedia and Expo, 2004. IEEE International Conference on ICME’04, vol. 1, 2004, pp. 53–56. [9] M. You, C. Chen, J. Bu, J. Liu, J. Tao, Emotion recognition from noisy speech, in: IEEE International Conference on Multimedia and Expo, 2006, 2006, pp. 1653 –1656l.