语音信号的特征分析79页PPT
谢谢！
语音信号的特征分析
21、静念园林好，人间良可辞。 22、步步寻往迹，有处特依依。 23、望云惭高鸟，临木愧游鱼。 24、结庐在人境，而无车马喧；问君 何能尔 ？心远 地自偏 。 25、人生归有道，衣食固其端。
61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
合集下载
语音信号处理PPT_第二章 语音信号处理基础知识
• • •
把从肺部呼出的直流气流变为音源，即变为交流的断续 流或乱流； 喉对音源起共振和反共振的作用，使它带有音色； 从嘴唇或鼻孔去空间辐射的作用；
肺把气流送入喉；喉将来自肺的气流调制为周期性脉冲或类 似随机噪声的激励声源，并送入声道；声道对频谱进行润色 后在嘴唇处的气压变化形成可以传播的声波。 肺相当于动力源，喉相当于调制器，声道相当于滤波器和扩 音器。
3.
韵母
38个韵母：8个单韵母，14个复韵母，16个鼻韵母。 单韵母是由单元音构成的，如：a、o、e、i、u、u。 复韵母是由复合元音构成的韵母，如：ai、ei、ao、ou等。 鼻韵母是由鼻辅音“n”或“ng”收尾的韵母，如：an、en、 uan、ang、eng、iang等。 韵母发音时声带是振动的，音强也较大，波形上可以看到大 的振幅，而且呈现周期性。 注意：元音不等同于韵母，元音、辅音是按音素的发音特征 来分的；而声母、韵母则是按音节结构来分的。
2.5.2 语音信号的语谱图
声纹：语谱图上其不同的黑白程度， 形成的不同的纹路。不同的人有不同的 声纹，利用声纹进行说话人识别。 横杆：与时间轴平行的几条深黑色 条纹，对应共振峰。语谱图中有无横杆 是判断是否是浊音的标志。 竖直条：与时间轴垂直的窄黑条， 每个竖直条相当于一个基音，条纹间隔 表示基音周期。 元音在语谱图上对应横杆（共振峰的存在） 噪声和清擦音表现为乱纹。
2.1 语音和语言 一、语音的定义
语音是由一连串的音组成语言的声音。
语言
语音
声音
对语言的研究分为两方面： 语言学：各个音的排列规则及其含义的研究。 语音学：各个音的物理特性和分类的研究。考虑的是语 音的产生、感知等过程。三个主要的分支：发音语音学、 声学语音学、听觉语音学。
把从肺部呼出的直流气流变为音源，即变为交流的断续 流或乱流； 喉对音源起共振和反共振的作用，使它带有音色； 从嘴唇或鼻孔去空间辐射的作用；
肺把气流送入喉；喉将来自肺的气流调制为周期性脉冲或类 似随机噪声的激励声源，并送入声道；声道对频谱进行润色 后在嘴唇处的气压变化形成可以传播的声波。 肺相当于动力源，喉相当于调制器，声道相当于滤波器和扩 音器。
3.
韵母
38个韵母：8个单韵母，14个复韵母，16个鼻韵母。 单韵母是由单元音构成的，如：a、o、e、i、u、u。 复韵母是由复合元音构成的韵母，如：ai、ei、ao、ou等。 鼻韵母是由鼻辅音“n”或“ng”收尾的韵母，如：an、en、 uan、ang、eng、iang等。 韵母发音时声带是振动的，音强也较大，波形上可以看到大 的振幅，而且呈现周期性。 注意：元音不等同于韵母，元音、辅音是按音素的发音特征 来分的；而声母、韵母则是按音节结构来分的。
2.5.2 语音信号的语谱图
声纹：语谱图上其不同的黑白程度， 形成的不同的纹路。不同的人有不同的 声纹，利用声纹进行说话人识别。 横杆：与时间轴平行的几条深黑色 条纹，对应共振峰。语谱图中有无横杆 是判断是否是浊音的标志。 竖直条：与时间轴垂直的窄黑条， 每个竖直条相当于一个基音，条纹间隔 表示基音周期。 元音在语谱图上对应横杆（共振峰的存在） 噪声和清擦音表现为乱纹。
2.1 语音和语言 一、语音的定义
语音是由一连串的音组成语言的声音。
语言
语音
声音
对语言的研究分为两方面： 语言学：各个音的排列规则及其含义的研究。 语音学：各个音的物理特性和分类的研究。考虑的是语 音的产生、感知等过程。三个主要的分支：发音语音学、 声学语音学、听觉语音学。
(完整)语音信号处理精品PPT资料精品PPT资料
❖ 特征参量评估方法 F比：在给定一种识别方法后，识别的效果主要取决于特征
参数的选取。对于某一维单个的参数而言，可以用F来表征 它在说话人识别中的有效性。
F 不 同 同 一 说 说 话 话 人 人 特 特 征 征 参 方 数 差 均 的 值 均 的 值 方 差 [x [ a (i)i i] ] 2 2 ia ,i
一个说话人识别系统的好坏是由 许多因素决定的。其中主要有正确 识别率（或出错率）、训练时间的 长短、识别时间、对参考参量存储 量的要求、使用者适用的方便程度 等，实用中还有价格因素。图10.3 表示了说话人辨别与说话人确认系 统性能与用户数的关系。
10.3应用DTW的说话人确认系统
一个应用DTW说话人识别系统如图10-4所示。它采用的识别 特征是BPFG（附听觉特征处理），匹配时采用DTW技术。
2. 动态时间规整方法（DTW）
将识别模板与参考模板进行时间对比，按照某种距离测度得出两个模板 之间的相似程度。常用的分法：基于最近邻原则的动态时间规整。
3. 矢量量化方法（VQ）
将每个人的特定文本训练成码本，识别时将测试文本按此码本进行编码， 以量化产生的失真度作为判决标准。优点：速度快，识别精度不低。
❖ 说话人识别特征的选取
在说话人识别系统中特征提取是最重要的一环，特征提取就 是从说话人的语音信号中提取出表示说话人个性的基本特征。
在理想情况下，选取的特征应当满足下述准则： ① 能够有效地区分不同的说话人，但又能在同一说话人的语音
发生变化时相对保持稳定。 ② 易于从语音信号中提取 ③ 不易被模仿 ④ 尽量不随时间和空间变化
10.4应用VQ的说话人识别系统
目前自动说话人识别的方法主要是基于参数模型的HMM的方 法和基于非参数模型的VQ的方法。应用VQ的说话人识别系 统如图10-5所示。
第三章-语音信号的特征分析讲解讲解学习
Magnitude (dB)
40 20
0 -20 -40 -60 -80 -100
0 50
Frequency domain
0.2
Fre0q.u4ency do0m.6ain
0.8
Normalized Frequency ( rad/sample)
0
-50
-100
-150 0
40 30 20 10
0 -10 -20
1 0.8 0.6 0.4 0.2
0 0
rectangular hamming hanning bartlett
50
100
150
200
250
❖ 几种不同的窗函数波形与频谱的比较
1
Hamming 0.8 哈明窗 0.6
Amplitude
0.4
0.2
0
1
Hanning 0.8
汉宁窗
0.6
Amplitude
0.4
0.2
0
1
矩形窗
0.8
Amplitude
0.6
0.4
0.2
0
Time domain
10
20 Tim3e0domain40
50
60
Samples
10
20 Tim3e0domain40
50
60
Samples
10
20
30
40
50
பைடு நூலகம்
60
Samples
Magnitude (dB)
Magnitude (dB)
帧和加窗的概念
❖ 短时分析将语音流分为一段一段来处理，每一段称 为一“帧”；
语音信号处理PPT课件
F2 F3
a 10
频率范围(Hz)
成年男子
成年女子
带宽
F1
200～800
250～1000
40～70
F2
600～2800
700～3300
50～90
F3
1300～3400
1500～4000
60～180
一般地：语音识别，取前3个共振峰，而对 语音合成，需取5个
a
11
2.3 语音信号的特性
2.3.1 语言和语音的基本特性
[x(n)x(n-k)]*h (n) 计算自m 相 关 ，先乘后加，运算hk量(n)大=w！(n)w(n+k)
R n ( k ) R n ( k ) m x ( m ) x ( am kk ) [ w hk( (n n -mm )) w ( n m k ) ]
36
3.5.2 修正的短时自相关函数 1、存在的问题 随kk=的0变化，参加运算的项减少。极限k=N-1时无运算k项=！250 2、修正的短时自相关函数
当w1,w2为直角窗时
(0≤k≤K)
^
N1
Rn(k)x(nm )xa(nmk)
m0
37
3.5.3 短时平均幅度差函数
问题的提出：自相关计算量大，大在乘法！ 短时平均幅度差函数(AMDF)定义：
F n (k ) R 1 m |x (n m )w 1 (m ) x (n m k )w 2 (m k )|
式中R为x(n)的平均值 w1、w2同修正的自相关函数中的定义 对于浊音信号，在周期倍数点上，幅值相等，Fn＝0
a 38
第三章小结
• 采样与反混叠 • 短时分析方法、窗口与长度选择 • 短时能量定义 • 短时过零分析 • 短时相关分析与修正 • 短时平均幅度分析(AMDF)
第3章 语音信号的模型ppt课件
声管中声传播特性与传输线中电流传播特性有很强的类比关系。
表3.1：声学量与电学量之间的类比关系。
表3.1 声学量 压力 p 体积速度 u 声感 ρ/A 声容A/(ρc2) 电压 v 电流 i 电感 L 电容 C 声学量与电学量之间物理量的类比 声学量 特性声阻抗 Z0= ρc/A 声激励角频率Ω 单位长度声阻抗粹Z=jΩρ/A 单位长度声导纳 Y=jΩA /(ρc2) 电学量 特性电阻抗 Z0 电激励角频率ω 复阻抗 Z 复导纳 Y 电学量
ZG IG U1
I1
图3.6
声门对应等效电路图
式中，U1(0,Ω) ——声门处的体积速度u1(0,t)的Laplace变换； P1(0,Ω) ——声门处的声压p1(0,t)的Laplace变换；
UG (Ω) ——等效体积速度源uG(t)的Laplace变换。
第2章
数字语音处理基础
3.2
语音信号的无损声管模型
该式与电学的欧姆定律相对应 （声压对应电压，体积速度对应电流）
c u ( t ) u ( t ) Z u ( t ) u ( t )
LN N N N
u ( t ) N
式中，kL——嘴唇处的反射系数， 1 1 1 k ( c A Zc ) ( A Z ) L N L N L ◆嘴唇处的体积速度为：
第 2章
数字语音处理基础
第 3章
语音信号的模型
语音模型化，便于数字处理。 对模型的要求：精确描述语音产生过程、尽可能地简单， 便于处理和实现。 已提出许多种不同的语音信号模型。 ◆线性模型：广泛使用级联无损声管模型和共振峰模型。 ◆理论基础：发音过程中声道处于运动状态，这种运动与语音信 号相比变化缓慢，故可用时变的线性系统来模拟。 ◆更精细分析时，发现语音中也存在较大的非线性现象， 某些应用需考虑这些因素对所研究问题的影响。 ◆非线性模型：有多种，调频-调幅模型受到广泛关注。 本章讨论：级联无损声管模型、共振峰模型、调频-调幅模型
语音信号处理课件-短时傅立叶分析与综合与听觉特征_图文
外耳道
外耳道的长度为2.5cm，对波长为其4 倍作用的声波能起到较好的放大作用，即 有：42.5=10cm， 3000-4000Hz声波的波 长为8.5cm-11.41cm，因此外耳道对这部 分频率的信号有扩音作用，10dB左右。
中耳
★ 结构：总容量为2立方厘米，内含三块听小骨， 锤骨、砧骨、镫骨，其中锤骨与鼓膜相接触，镫骨 则与内耳的前庭窗相接触。
人耳的掩蔽（masking phenomenon）效应: 在一个强信号附近弱信号将变得不可闻，被掩 蔽掉了。
掩蔽阈值 被掩蔽掉的不可闻信号的最大声压级称为
掩蔽门限和掩蔽阈值（masking threshold）, 在这个掩蔽阈值以下的声音将被掩蔽掉。
掩蔽效应分为同时掩蔽(频域掩蔽)和短时 掩蔽（时域掩蔽）。同时掩蔽是指存在一个弱 信号和一个强信号，当其频率接近时，强信号 会提高弱信号的阈值，就会导致弱信号变得不 可闻。
如果信号是一个多频率的信号，则产生 的行波将沿着基底膜在不同的位置产生最大 幅度，从这个意义上讲，耳蜗就像一个频谱 分析仪，将复杂信号分解成各种频率分量， 这种作用称为人耳的时频分析特性。耳蜗在 语音接收过程起着重要的作用。
人工耳蜗的工原理
麦克风接收声音，并通过导线将其传至言语 处理器；言语处理器对声音进行数字化、滤波编 码等处理，并将编码信号经导线传至传输线圈； 传输线圈将编码信号通过耦合传至皮下的接收器 ；接收器对编码信号进行解码；按信号选择一定 位置的电极，刺激耳蜗内的听神经纤维，使其产 生兴奋，将信号传入大脑，产生听觉。
200
140
20
100
0.63
90
0.063
70
0.02
60
0.002
40
语音信号处理ppt
标准傅里叶变换不 能用 来直接表示语音信号，而 应该用短时傅里叶变换对
添 加 标 题
把和时序相关的傅里叶分析的显 示图形称为语谱图。语谱图 是一 种三维频谱，它是表示语音频谱
语音信号 的频谱进行分
析，相应的频谱称为“短 时谱”。
随时间变化的图形，其纵轴 为频
率，横轴为时间，任一给定频率 成分在给定时刻的强弱用相 应点 的灰度或色调的浓谈来表示。
升采样率（整数倍内插）的实现原 理，时域和频域的变化情况
TITLE TITLE
升采样率是指通过在对原离散信号的两个连续 样本间插入L-1个等距的样本值（不一定为零）， 亦即抽样因子为L的上抽样。上抽样后的序列长 度为原来的L倍。
THANK YOU
——王少丹
1928
美国电信工程师H. 奈奎斯特推出采样 定理，因此称为奈 奎斯特采样定理。
1948
1924
1933
பைடு நூலகம்
信息论的创始人C.E.香农对这 一定理加以明确地说明并正式 作为定理引用，因此在许多文 献中又称为香农采样定理。采 样定理有许多表述形式，但最 基本的表述方式是时域采样定 理和频域采样定理。
采样定理
基本原理
人群 男声 女声 童声
基频分布 [50,180] [160,380] [400,1000]
共振峰频率分布 偏低 中 偏高
信号变声器的实现
进行频谱分析
2 1 3
进行滤波处理
4 5
语音信号恢复
6
语音信号读入
实现快慢放频率
改变基频变声
实现步骤
• • • • • • • • •
语音信号的录制与读入； 语音信号的频谱分析； 实现慢录快放和快录慢放功能； 设计数字滤波器和画出其频率响应； 用滤波器对信号进行滤波； 比较滤波器前后语音信号的波形及频谱； 通过搬移、改变基波频率实现变声； 语音信号恢复； 在 MATLAB 下绘制出各个部分的输出波 形，前后对比。
语音信号处理语音识别.课件.ppt
单词或者句子，同时，在噪声环境下由噪音引起的语音区间检测 错误也可能产生许多误识别的结果。所以在实际语音识别系统中，
对信赖度低的识别结果的Rejection处理也是一个很重要的课题， 可以考虑利用音节识别得到的得分补偿的方式进行拒识别处理， 在这种方式中，利用在不限定识别对象的条件下求得的参考得 分来补偿的识别结果，并用补偿过的识别得分进行拒识别判定。
❖ 语音区间的端点检测:端点检测的目的是从包含语音的一段信号 中确定出语音的起点以及终点。有效的端点检测不仅能使处理 时间减到最小，而且能排除无声段的噪声干扰，从而使识别系 统具有良好的识别性能。传统的端点检测方法是将语音信号的 短时能量与过零率相结合加以判断的。但这种端点检测算法如 果运用不好，将会发生漏检或虚检的情况。为了克服传统端点 检测算法的缺点，已有很多改进方法被提出来。例如，可以考 虑采用基于相关性的语音端点检测算法。
第9页，共17页。
❖ 连续语音的自动分段:连续语音的自动分段，是指从语音信号流中
自动地分割出识别基元的问题。把连续的语音信号分成对应于各 音的区间叫做分割（Segmentation），分割的结果产生的区间 叫做分割区间（Segment），给分割区间付与表示音种的符号 叫做符号化。汉语自动分段是指根据汉语特点及其参数的统计规律，
一般语音识别系统按不同的角度有下面几种分类方法。 ❖ 孤立词、连接词、连续语音识别系统以及语音理解和会话系统。
❖ 大词汇、中词汇和小词汇量语音识别系统。
❖ 特定人和非特定人语音识别系统。
❖ 语音识别所采用的方法也可以作为语音识别系统分类的依据， 因此，也有从识别方法上来对语音识别系统进行分类的。语音 识别方法一般有模板匹配法、随机模型法和概率语法分析法三 种。
需要指出的是，一个成功的语音识别系统的建立，一定要结合其具 体的应用背景，选择不同的识别策略、以及硬件平台和软件平台。另外， 更应注意的是，语音识别系统的建立应当结合语言的自然特点，否则， 将很难达到较高的水平。
对信赖度低的识别结果的Rejection处理也是一个很重要的课题， 可以考虑利用音节识别得到的得分补偿的方式进行拒识别处理， 在这种方式中，利用在不限定识别对象的条件下求得的参考得 分来补偿的识别结果，并用补偿过的识别得分进行拒识别判定。
❖ 语音区间的端点检测:端点检测的目的是从包含语音的一段信号 中确定出语音的起点以及终点。有效的端点检测不仅能使处理 时间减到最小，而且能排除无声段的噪声干扰，从而使识别系 统具有良好的识别性能。传统的端点检测方法是将语音信号的 短时能量与过零率相结合加以判断的。但这种端点检测算法如 果运用不好，将会发生漏检或虚检的情况。为了克服传统端点 检测算法的缺点，已有很多改进方法被提出来。例如，可以考 虑采用基于相关性的语音端点检测算法。
第9页，共17页。
❖ 连续语音的自动分段:连续语音的自动分段，是指从语音信号流中
自动地分割出识别基元的问题。把连续的语音信号分成对应于各 音的区间叫做分割（Segmentation），分割的结果产生的区间 叫做分割区间（Segment），给分割区间付与表示音种的符号 叫做符号化。汉语自动分段是指根据汉语特点及其参数的统计规律，
一般语音识别系统按不同的角度有下面几种分类方法。 ❖ 孤立词、连接词、连续语音识别系统以及语音理解和会话系统。
❖ 大词汇、中词汇和小词汇量语音识别系统。
❖ 特定人和非特定人语音识别系统。
❖ 语音识别所采用的方法也可以作为语音识别系统分类的依据， 因此，也有从识别方法上来对语音识别系统进行分类的。语音 识别方法一般有模板匹配法、随机模型法和概率语法分析法三 种。
需要指出的是，一个成功的语音识别系统的建立，一定要结合其具 体的应用背景，选择不同的识别策略、以及硬件平台和软件平台。另外， 更应注意的是，语音识别系统的建立应当结合语言的自然特点，否则， 将很难达到较高的水平。
第3章 语音信号分析(全)
x1 (n) x2 (n)
D
L
D
ˆ y ( n)
1
ˆ ˆ x1 (n) x2 (n)
ˆ ˆ y1 (n) y2 (n)
x(n)
ˆ x ( n)
y1 (n) y2 (n)
y(n)
b）同态系统的组成
D1
D 是特征子系统 L
是线性子系统
振 幅
· ·· · · · · ·· · ·· ·· ·
x(n)= x(nT)：取样值 时间 采样周期(T)
第3章 语音信号分析
量化： 幅值方向的离散化
量化信噪比
SNR(dB) 6.02 B 7.2
其中，B表示量化字长 B=7bit时，SNR=35dB，可以满足一般通信系统 的要求。
Fn (k )
N k 1 m 0
x ( m) x ( m k )
n n
(0 k K )
第3章 语音信号分析
极小值
图3-9 与图3-5有相同语音段的AMDF函数的例子
第3章 语音信号分析
短时平均幅度差函数的作用 求语音序列的基音周期 用于区分语音中的清音段和浊音段
0 m N 1 K
m 0 ~ ( N 1 K ) m 其他值
第3章 语音信号分析
图3-6 修正短时自相关函数计算中窗口长度的说明
第3章 语音信号分析
3.3.4 短时平均幅度差函数
平均幅度差函数（ AMDF） Average Magnitude Difference Function 短时平均幅度差函数的定义
第三章 语音信号的特征分析讲解
电话语音（固网电话通信频带为300-3400Hz) 可以基本保持语义，不影响人对语音的感知 质量不是很好，有时候会有变音
宽带语音信号：fs =16000Hz
一般对语音质量要求较高的场合 再提高采样频率也不会对语音质量有太多贡献
量化精度
量化所用比特越大，声音质量越好 声音质量也跟量化算法有关，比如同样用8bit量化， 非均匀量化（µ-律或A-律）就比均匀量化好很多
对于语音识别系统而言，用于电话用户时要求技术指标与语音编码器相 同，如果对于更高的要求场合，则fH=4500Hz或8000Hz, fL=60Hz，
fs=10KHz或20KHz
帧和加窗的概念
短时分析将语音流分为一段一段来处理，每一段称 为一“帧”； 帧长：10～30； 帧移：0～1倍帧长，帧与帧之间的平滑过渡； 语音识别中常用的帧长为20~30ms,帧移为10ms
几种常见的窗函数的波形
Matlab中，可以通过help window命令来查看怎么产生不同的窗
1
0.8
rectangular hamming hanning bartlett
0.6
0.4
0.2
0
0
50
100
150
200
250
几种不同的窗函数波形与频谱的比较
Time domain 40 Frequency domain 1 20 0.8 0
1
Hanning
Amplitude
0.8
0
汉宁窗
0.6
Magnitude (dB)
Time domain 30 40 Samples
-50
0.4
-100 0.2