第三章 语音信号的特征分析讲解
合集下载
第三章-语音信号的特征分析讲解讲解学习
Magnitude (dB)
40 20
0 -20 -40 -60 -80 -100
0 50
Frequency domain
0.2
Fre0q.u4ency do0m.6ain
0.8
Normalized Frequency ( rad/sample)
0
-50
-100
-150 0
40 30 20 10
0 -10 -20
1 0.8 0.6 0.4 0.2
0 0
rectangular hamming hanning bartlett
50
100
150
200
250
❖ 几种不同的窗函数波形与频谱的比较
1
Hamming 0.8 哈明窗 0.6
Amplitude
0.4
0.2
0
1
Hanning 0.8
汉宁窗
0.6
Amplitude
0.4
0.2
0
1
矩形窗
0.8
Amplitude
0.6
0.4
0.2
0
Time domain
10
20 Tim3e0domain40
50
60
Samples
10
20 Tim3e0domain40
50
60
Samples
10
20
30
40
50
பைடு நூலகம்
60
Samples
Magnitude (dB)
Magnitude (dB)
帧和加窗的概念
❖ 短时分析将语音流分为一段一段来处理，每一段称 为一“帧”；
语音信号处理(杨震)
清音：Rn（0）较大，衰减很快
静默：Rn（0）小，衰减很快
语音信号短时自相关函数
3
1.00 0.75 0.50 0.25 0.00 -0.25 -0.50
0 50 100 150 200 250
2
1
度 幅
-1
-2
-3
-4
度 幅
0
-0.75 0 50 100 150 20
H1
A2 随机噪声 激励模型
H2 混 合 语 辐射模型 音
Gv
A3
H3
A4 A5
H4 H5
混合型共振峰模型
第二章 语音信号的产生、特征与人耳的 听觉特性
§2.4 人耳的听觉特征－掩蔽效应与临界频带
人耳的掩蔽(masking)作用指的是耳朵对一个 声音的听觉感受，受到另一个声音影响的现象。 Fletcher和Munson 1937年发现，一个音调(tone) 可被一个以音调频率为中心频率的宽带噪声掩盖而 听不见，并且，如果该宽带噪声能量不变而改变其 带宽的话，这种掩盖现象不受噪声带宽变化的影响， 除非噪声带宽超过一个临界值，这个临界值即称为 临界频带(critical band)。换言之，人耳对一个 临界频带里的音不易分清。
60 50
强度SPL（dB）
40
30
20
后向屏蔽区
10
前向屏蔽区
0 -100
-50
0
50
100
150
200
时间（ms）
非同时掩蔽（时间掩蔽）：纯音的非同时掩蔽现象
第二章 语音信号的产生、特征与人耳的 听觉特性
§2.5 人耳的其它各种听觉效应
（1）哈斯（Hass）效应（延时掩蔽） （2）双耳效应（灵敏度、定位）
语音信号处理课件__第03章时域分析
SNRdB 6.02B 4.77 20log10 (
x
xmax
)
(3-11)
3.1 语音信号的短时处理方法 脉冲编码调制
若是xmax取为4倍方差(δx)
SNRdB 6.02B 7.27
取样之位数 8 16 24
(3-12)
数字信号的信噪比 41 dB 89 dB 137 dB
3.1 语音信号的短时处理方法 脉冲编码调制
一个数字信号取样之后，变成离散时间信号，接下来就是要用数字 方式来表示这个离散时间信号上的每个取样值。 一个电位波形会有固定的电压范围，一个取样值可以是在此电压范 围内的任何电位。如果只能用固定数目的位来表示这些取样值，那 么这些二进数字就只能代表固定的几个电位值，这个转换就是量化 (quantization)，而转换之后只允许存在的几个电位值就是量化阶 数(quantization level)。 执行量化转换的硬件电路，就是量化器（quantizer)。以二进数字 表示的信号就是数字信号(digital signal)，而这种将信号波形转 变成二进数字的方法，就叫脉冲编码调制(pulse code modulation, PCM)。
3.1 语音信号的短时处理方法
预处理 平滑滤波器：D/A后面的低通滤波器是平滑滤 波器，对重构的语音波形的高次谐波起平滑 作用，以去除高次谐波失真。 预加重：
现象:由于语音信号的平均功率谱受声门激励和口 鼻辐射的影响，高频端大约在800 Hz以上按6dB/ 倍频程跌落，为此要在预处理中进行预加重。 目的:提升高频部分，使信号的频谱变得平坦，以 便于进行频谱分析或声道参数分析。 位置:预加重可在A/D变换前的反混叠滤波之前进行， 这样不仅能够进行预加重，而且可以压缩信号的动 态范围，有效地提高信噪比。
x
xmax
)
(3-11)
3.1 语音信号的短时处理方法 脉冲编码调制
若是xmax取为4倍方差(δx)
SNRdB 6.02B 7.27
取样之位数 8 16 24
(3-12)
数字信号的信噪比 41 dB 89 dB 137 dB
3.1 语音信号的短时处理方法 脉冲编码调制
一个数字信号取样之后，变成离散时间信号，接下来就是要用数字 方式来表示这个离散时间信号上的每个取样值。 一个电位波形会有固定的电压范围，一个取样值可以是在此电压范 围内的任何电位。如果只能用固定数目的位来表示这些取样值，那 么这些二进数字就只能代表固定的几个电位值，这个转换就是量化 (quantization)，而转换之后只允许存在的几个电位值就是量化阶 数(quantization level)。 执行量化转换的硬件电路，就是量化器（quantizer)。以二进数字 表示的信号就是数字信号(digital signal)，而这种将信号波形转 变成二进数字的方法，就叫脉冲编码调制(pulse code modulation, PCM)。
3.1 语音信号的短时处理方法
预处理 平滑滤波器：D/A后面的低通滤波器是平滑滤 波器，对重构的语音波形的高次谐波起平滑 作用，以去除高次谐波失真。 预加重：
现象:由于语音信号的平均功率谱受声门激励和口 鼻辐射的影响，高频端大约在800 Hz以上按6dB/ 倍频程跌落，为此要在预处理中进行预加重。 目的:提升高频部分，使信号的频谱变得平坦，以 便于进行频谱分析或声道参数分析。 位置:预加重可在A/D变换前的反混叠滤波之前进行， 这样不仅能够进行预加重，而且可以压缩信号的动 态范围，有效地提高信噪比。
语音信号分析与处理方法综述
语音信号分析与处理方法综述语音信号是人类交流中重要的组成部分，语音信号分析与处理是一项非常重要的研究方向。
语音信号分析与处理技术可以被应用于语音识别、语音合成、语音增强、语音鉴别等领域，为人类提供更高效、高质量的语音交流体验。
本文将综述语音信号分析与处理的方法，包括基本概念和基础知识，语音信号的预处理、特征提取与分类等技术，以及目前应用较广泛的语音识别和语音合成技术。
本文还将介绍这些技术的理论基础、算法和应用案例。
一. 语音信号的基本概念和基础知识语音信号是人类通过声音来进行交流的信号，包含语音的各种音节和声调信息。
在语音信号分析与处理中，需要掌握语音信号的基本概念和基础知识。
在语音信号中，有许多不同的声音成分和噪声成分，语音信号预处理技术采取一系列措施来消除这些噪声，提高语音信号的质量。
例如，预处理技术包括消噪、滤波、去混响等技术。
二. 语音信号的预处理技术语音信号预处理技术包括噪声去除、滤波、去混响等技术。
这些技术可以帮助清除语音信号中的杂音和噪声，提高语音信号的可读性和质量。
噪声去除技术是预处理语音信号中最常用和最简单的技术。
这种技术采用滤波器、降噪器等设备或软件来消除语音信号中的杂音和噪声。
滤波技术是在语音信号中过滤特定频率成分的一种技术，这可以将一些不必要的频率成分去除，使语音信号更加清晰。
滤波依据的原理是，去除不相关信号的频率成分，使有用信号能够更好地被保留。
去混响技术是将混响（残留回响）去除的技术。
在语音信号分析与处理中，经常需要去除混响，因为混响会导致语音信号的低频部分（主要是语音信号中的音节）发生失真，降低语音信号的质量。
三. 语音信号特征提取语音信号的特征提取是将语音信号转化为一种易于分析和识别的数据结构或特征向量的过程。
一些常用的语音信号特征提取方法包括短时能量、过零率、梅尔倒谱系数等。
短时能量是一种用于计算语音信号能量的技术。
通过计算语音信号每个短时间内的总能量，可以得出一个很好的特征向量。
语音信号
基音频率(F0)：由声带的尺寸、特性和声带所受张力决定，其值等于声带张开和闭合一次的时间的倒数（此 处去掉就是基音周期的定义）。人类基音频率的范围在80～500Hz左右。
共振峰(Fn,n=1,2,...)：声道是一个谐振腔，它放大声音气流的某些频率分量而衰减其他频率分量，被放大 的频率我们称之为共振峰或共振峰频率。
元音的音色和区别特征主要取决于声道的共振峰特性。共振峰特性可以从语音信号频谱分析得到的幅频特性 观察到。
完整的语音信号产生的数字模型
我们可将语音信号看成准周期序列或随机噪声序列作为激励的线性非移变系统的输出，此模型可分为三个部 分：激励模型、声道模型、辐射模型。
模型
声道模型
激励模型
辐射模型
a.浊音激励：气流在通过绷紧声带时，冲激声带产生振动，使声门处形成周期性的脉冲串，并用它去激励声 道。由于脉冲串类似于斜三角形的脉冲，故以基音周期为周期的单位取样序列串作为激励。
基本概念
语音产生的过 1
程
2
声音的分类
3 语音的两个重
要声学特性
4
共振峰特性
5 完整的产生的
数字模型
语音的形成过程：空气由肺部排入喉部，经过声带进入声道，最后由嘴辐射出声波，形成语音。
1、浊音：声带绷紧，气流通过时会使得开口变成一开一闭的周期性动作，造成周期性的激发气流，如a，o； (由声带震动产生的音)，包括所有的元音和一些辅音。 2、清音：声带完全舒展，声道某部位收缩形成一个狭窄的通道，产生空气湍流，如t，d； (不由声带震动产生的音) 3、爆破音：声带完全舒展，声道的某部位完全闭合，一旦闭合点突然开启，空气压力快速释放，如b，p。
b.清音激励：声带松弛而不振动，气流通过声门直接进入声道。由于发清音时，声道被阻碍形成湍流，可将 激励模拟成随机白噪声。
语音信号处理PPT_第三章_语音信号分析
3.2 数字化和预处理
➢ 语音信号的数字化一般包括放大及增益控制、反混叠滤波、
采样、A/D变换及编码（一般就是PCM码）；如下图：
语音信号
带通滤 波器
自动增益控制 （AGC）
模/数转换 （A/D）
脉冲编码 调 制 （ PCM ）
存入计算机
➢ 预处理一般包括预加重、加窗和分帧等。 ➢ 分析和处理之前必须把要分析的要分析的语音信号部分从输
② R n (是k )偶函数 ，即 Rn(k)Rn(k)
③ 当k=0时，自相关函数有最大值，即 Rn(0)Rn(k)
并且 等R于n (确0 ) 定性信号序列的能量或随机序列的平均功率。
短时相关分析
右图中：N=401， Fs=8kHz a、b是浊音信号，c位清 音信号，由图可以看出浊 音信号的自相关函数具有 一定得周期性，而清音信 号的自相关函数缺乏周期 性。
但是在一个短时间范围内（一般认为在10-30ms的短时间内）， 其特性基本保持不变即相对稳定，因而可以将其看作是一个准稳 态过程，即语音信号具有短时平稳性。
不论是分析怎么样的参数以及采用什么分析方法，在按帧进 行语音分析，提取语音参数之前，有一些经常使用的、共同的短 时分析技术必须预先进行，如语音信号的数字化、语音信号的端 点检测、预加重、加窗和分帧等，这些也是不可忽视的语音信号 析的关键技术。
语音信号分析在语音信号处理中具有举足轻重的地位。
分类:
参数性质
时域分析 频域分析 倒谱域分析
分析方法
模型分析方法 非模型分析方法
简单、计算量小、 物理意义明确
感知特性 较好，更 为重要
依据语音信号 产生的数学模 型来分析和提 取表征这些模 型的特征参数
不进行模型化 分析
第3讲语音信号处理第3
其中，
xn (m) (m)x(n m), (0 k K )
(m)
1, 0,
m 0 ~ (N 1) m 其它值
x'n (m) '(m)x(n m), (0 k N 1 K)
'
(m)
1, 0,
m 0 ~ (N 1 K) m 其它值
2．修正的短时自相关函数
图3-7 修正短时自相关函数计算中窗口长度的说明
N 1
M n xn (m) m0
❖ Mn也是一帧语音信号能量大小的表征，它与En的区别在于 计算时小取样值和大取样值不会因取平方而造成较大差异， 在某些应用领域中会带来一些好处。
短时过零率分析
❖ 短时过零率表示一帧语音中语音信号波形穿过横轴(零电平) 的次数。过零分析是语音时域分析中最简单的一种。对于连 续语音信号，过零即意味着时域波形通过时间轴；而对于离 散信号，如果相邻的取样值改变符号则称为过零。过零率就 是样本改变符号的次数。
3.1 概述
❖ 语音信号分析 分析出可表示语音信号特征参数
进行高效的语音通信、语音合成和语音识别的基础 时域特征 频率特征
❖ 短时分析技术：贯穿于语音分析全过程 语音信号从整体来看其特征及表征其本质特征的参数均是
随时间而变化的，所以它是一个非平衡态过程，不能用处理 平衡信号的数字信号处理技术对其进行分析处理。
(m)
1, 0,
m 0 ~ (N 1) m 其它值
❖ 其中，n=0,1T,2T,…,并且N为帧长，T为帧移长度。
❖ 设第n帧语音信号xn(m)的短时能量用En表示，则其计算公 式如下：
N 1
En xn2 (m) m0
短时能量及短时平均幅度分析
❖ En是一个度量语音信号幅度值变化的函数，但它有一个缺陷， 即它对高电平非常敏感（因为它计算时用的是信号的平方)。 为此，可采用另一个度量语音信号幅度值变化的函数，即短 时平均幅度函数Mn，它定义为：
语音信号处理_3_特征分析
窗函数对频率分析的影响
窗函数带宽or主瓣宽度为B，不同窗函数相对于矩形窗
具有不同的等效窗长。
fs
B
N 2 fs
N
矩形窗 海明窗
时域取样率
Xn(e j )为低通w(n)的输出，带宽为B Xn(e j ) 分析窗的采样率（时域取样率）大于等于2B
矩形窗，帧移为N/2 海明窗，帧移为N/4
短时傅里叶变换
标准傅里叶变换的解释
短时功率谱是短时自相关函数的傅里叶变换 信号谱与窗函数傅里叶变换的卷积 测不准原理：信号的等效时长与其等效频率
带宽之积大于二分之一。
(x) (X ) 1 2
短时傅里叶变换
标准傅里叶变换的解释
短时功率谱是短时自相关函数的傅里叶变换 信号谱与窗函数傅里叶变换的卷积 窗函数的作用
理论完善 计算方便 概念易于理解
短时傅里叶变换
滑动的窗口w(n)选取一帧数据进行傅里叶变换
短时傅里叶变换
定义：短时傅里叶变换是窗选语音信号的傅里叶变换
X n (e j ) x(m)w(n m)e jm
理解：
m
一帧时间序列在以复变函数e j 为基函数的正交分解
一帧时间序列在各个频段的分解
数量级为10ms时段，将语波形分段进行分析 客观现实：时变过程，短时基本稳定
特点
直观 计算量，一般较小 重要参数：能量energy, 音长duration, 音强pitch等
0.7663
0
-0.6245 0
Time (s)
0.0530159
短时能量
作用
0.7663
区分浊音和清音 0
短时傅里叶变换
滤波器的解释，用滤波器组实现频谱分析
低通滤波器，输入端将x(n)的频谱从w 移到零
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电话语音（固网电话通信频带为300-3400Hz) 可以基本保持语义，不影响人对语音的感知 质量不是很好，有时候会有变音
宽带语音信号：fs =16000Hz
一般对语音质量要求较高的场合 再提高采样频率也不会对语音质量有太多贡献
量化精度
量化所用比特越大，声音质量越好 声音质量也跟量化算法有关，比如同样用8bit量化， 非均匀量化（µ-律或A-律）就比均匀量化好很多
对于语音识别系统而言，用于电话用户时要求技术指标与语音编码器相 同，如果对于更高的要求场合，则fH=4500Hz或8000Hz, fL=60Hz，
fs=10KHz或20KHz
帧和加窗的概念
短时分析将语音流分为一段一段来处理，每一段称 为一“帧”； 帧长：10～30； 帧移：0～1倍帧长，帧与帧之间的平滑过渡； 语音识别中常用的帧长为20~30ms,帧移为10ms
几种常见的窗函数的波形
Matlab中，可以通过help window命令来查看怎么产生不同的窗
1
0.8
rectangular hamming hanning bartlett
0.6
0.4
0.2
0
0
50
100
150
200
250
几种不同的窗函数波形与频谱的比较
Time domain 40 Frequency domain 1 20 0.8 0
1
Hanning
Amplitude
0.8
0
汉宁窗
0.6
Magnitude (dB)
Time domain 30 40 Samples
-50
0.4
-100 0.2
0
10
20
50
60
-150
40 30
0
0.2
Frequency domain 0.4 0.6
0.8
Normalized Frequency ( rad/sample)
Hamming
Amplitude
Magnitude (dB)
10 20 30 40 Time domain Samples 50 60
哈明窗
0.6
-20 -40 -60
0.4
0.2
-80 -100
0
0
50
0.2 0.4 0.6 0.8 Frequency domain Normalized Frequency ( rad/sample)
固网电话语音量化就是用的非均匀量化
声音的质量与数据率（采样频率和量化精度）的关系
质量 电话 采样频率 (kHz) 8 样本精度 (bit/s) 8 单道声/ 立体声 单道声 数据率(kB/s) (未压缩) 8 频率范围 300～3400 Hz
AM
FM CD DAT
11.025
22.050 44.1 48
首先是窗的长度，无论什么形状的窗，长度N将起决定 性的作用。
N选得太大，不能保证每一帧的语音的平稳特性 N太小，不能保证信号的统计特性，容易产生统计噪声 对于频域分析而言，窗长N还直接决定了信号频谱的分辨率
对于语音信号，通常帧长应选择为一个语音帧包含有至少2个基音
周期为好。人的语音的基音周期值是变化的，从女性小孩的2ms到 老年男子的14ms（即基音频率为500Hz至70Hz），所以N的选择 是比较困难的。通常折衷的选择N为20~30ms。若采用频率为 10KHz，则相当于每帧的长度（即窗口序列的长度）约为200~300 点为宜。若采样频率为8KHz，相当于160~240点
其次是窗口的形状，不同的窗，其频率特性是不一样的，这 在短时频域分析时尤为重要。
窗口的形状和长度对分析影响很大，不同的分析方法对窗函数 的要求不尽一样。
窗函数频谱的主瓣与旁瓣 主瓣:
主瓣宽度控制频谱分析的频率分辨率，主瓣越窄，频率
分辨率越高
矩形窗的主瓣宽度 = fs/N hamming窗的主瓣宽度 约为 2fs/N
第三章 语音信号的特征分析
语音信号的数字化 语音信号的短时分析与短时处理的概念 语音信号的时域特征分析 语音信号的频率特征分析 语音信号的同态解卷与倒谱分析
端点检测、语音分割与基频估计
3.1 语音信号的数字化
通过电脑或者其它数字录音设备采集的语音信号都已 经经过数字化了，一般不需要用户再进行数字化处理。 尽管如此，有必要简单了解一下语音信号的数字化过 程与原理。
为了减小语音帧的截断效应，需要加窗处理；
sw (n) s(n)w(n)
矩形窗
w(n) 1, 0 n N 1
w(n) 0.54 0.46 cos( 2 n ), 0 n N 1 N 1
哈明窗 (Hamming)
汉宁窗 (Hanning)
n w(n) 0.5(1 cos( 2 )), 0 n N 1 N 1
语音是一个时变信号 语音的短时平稳特性，在10～30ms时间段内相对平稳
预滤波
预滤波的目的
防止混叠干扰 抑制50Hz的电源干扰
预滤波实际上是一个带通滤波器，其上下截止频 率分别为fH和fL 。 对于电话语音编码器而言，要求fH=3400Hz, fL=60~100Hz， fs=8KHz.
1
矩形窗
Amplitude
0.8
0.6
Magnitude (dB)
10 20 30 40 Samples 50 60
20 10 0 -10 -20
0.4
0.2
0
பைடு நூலகம்
0
0.2
0.4
0.6
0.8
Normalized Frequency ( rad/sample)
不同的窗选择，将决定短时语音分析结果的好坏
声音信号的数字化
模拟语音信号在时间与幅度上的二重连续性
时间上离散化：每秒钟需要采集多少个声音样本， 也就是采样频率(fs)是多少， 幅度上离散化：每个声音样本的位数(bit per sample，bps) 应该是多少，也就是量化精度。
语音信号的采样频率
奈奎斯特采样定理：fs> 2 fmax 窄带语音信号： fs =8000Hz
8
16 16 16
单道声
立体声 立体声 立体声
11.0
88.2 176.4 192.0
20～5000 Hz
50～7000 Hz 20～20000 Hz 20～20000 Hz
3.2 语音信号的短时分析
语音分析是语音信号处理的前提和基础； 分析的目的是提取需要的信息，获取特征表示参数； 短时分析