语音信号产生的数字模型
合集下载
马尔可夫模型在语音识别中的应用技巧
马尔可夫模型在语音识别中的应用技巧一、马尔可夫模型介绍在讨论马尔可夫模型在语音识别中的应用技巧之前，我们先来了解一下马尔可夫模型的基本概念。
马尔可夫模型是一种描述随机过程的数学模型，其特点是当前状态只与前一个状态有关，与更早的状态无关。
这种特性使得马尔可夫模型在语音识别中有着广泛的应用。
二、语音信号的特点语音信号是一种时间序列信号，具有瞬时性、时变性和非线性等特点。
这就给语音识别带来了一定的挑战，需要一个有效的模型来描述和识别语音信号。
马尔可夫模型正是能够很好地满足这一需求的模型之一。
三、马尔可夫模型在语音识别中的应用1. 隐马尔可夫模型（HMM）隐马尔可夫模型是马尔可夫模型的一种扩展，它引入了观测变量和隐藏状态，常用于语音识别领域。
在语音识别中，语音信号被看作是一个观测序列，而隐藏状态则对应着语音信号的语音单元（如音素、词等）。
利用HMM模型，可以对语音信号进行建模和识别，进而实现语音识别的功能。
2. 马尔可夫链马尔可夫链是指满足马尔可夫性质的随机序列，其状态空间和状态转移概率决定了整个链的特性。
在语音识别中，可以利用马尔可夫链来建模语音信号的时序特性，从而实现对语音信号的自动识别和分析。
3. 马尔可夫模型参数估计在实际应用中，马尔可夫模型的参数估计是一个关键的问题。
通过对观测序列进行训练，可以估计出模型的状态转移概率、观测概率等参数，从而使得模型能够更好地适应实际的语音信号。
参数估计的准确性对于语音识别的性能有着重要的影响，因此需要运用合适的算法和技巧来进行参数估计。
四、马尔可夫模型在语音识别中的技巧与挑战1. 模型的复杂度语音信号具有高度的时变性和非线性特性，这就要求马尔可夫模型在描述语音信号时能够充分考虑到这些特点。
因此，需要不断提高模型的复杂度和灵活性，以使其能够更好地适应不同类型的语音信号。
在实际应用中，需要通过合理的方法来平衡模型的复杂度和准确性。
2. 数据的准备与处理语音识别的应用通常需要大量的训练数据，而且这些数据需要经过一定的预处理和特征提取。
语音信号-的数字模型
10
语音的生理属性—发音器官
发声状态时声门下的气流受阻，压力增加，气流冲击声
带，声带被冲开又合上，再被冲开，再合上，这样不停地 开闭，形成有节奏的颤动。气流从声带间一喷一喷地冲出 来，产生了规律的周期波，这就是原始的声带音。 声带音只是一种微弱的蜂鸣声 ，我们是听不见的，经过 咽腔、口腔、鼻腔的共鸣作用放大，我们才听到响亮的乐 音。声带的颤动是语音中乐音成分的声源。 声带还同语音的高低有密切关系。杓状软骨的转动可以 调节声带的松紧，声带绷紧时和放松时颤动的频率是不一 样的，发出的声音高低也不一样。汉语中声调的高低升降 变化，就是通过控制声带松紧来实现的。
f1
成年男子
200~800
成年女子
250~1000
带宽
40~70
f2 f3
600~2800 1300~3400
700~3300 1500~4000
50~90 60~180
前三个共振峰的大致范围（Hz）
45
语音信号具有很强的“时变特性” 在有些段落中它具有很强的周期性，有些段落中又 具有噪声特性，而且周期性语音和噪声语音也在不 断变化之中。 语音信号是非平稳的，但具有“准平稳特性” 在较短的时间间隔内（一般10~30ms），可以认为 语音信号的特征基本保持不变。 数字语音信号处理中，通常采取短时分析技术。
语音的生理属性—发音器官
鼻腔的作用 在软腭的帮助下，可使空气经过鼻腔排除 人体外，由此产生的语音称为鼻音。如[n]、 [ng]为鼻音韵母，[m]、[n]、[l]为鼻音声母。 鼻腔是一个谐振腔，由于形状固定，故其 共振峰频率是确定的。
13
发元音的三个条件
（1）声带振动 （2）声道不发生极端的狭窄，维持稳定的形状 （3）和鼻腔不发生耦合，声音只是从口腔中辐射出 去。
语音的生理属性—发音器官
发声状态时声门下的气流受阻，压力增加，气流冲击声
带，声带被冲开又合上，再被冲开，再合上，这样不停地 开闭，形成有节奏的颤动。气流从声带间一喷一喷地冲出 来，产生了规律的周期波，这就是原始的声带音。 声带音只是一种微弱的蜂鸣声 ，我们是听不见的，经过 咽腔、口腔、鼻腔的共鸣作用放大，我们才听到响亮的乐 音。声带的颤动是语音中乐音成分的声源。 声带还同语音的高低有密切关系。杓状软骨的转动可以 调节声带的松紧，声带绷紧时和放松时颤动的频率是不一 样的，发出的声音高低也不一样。汉语中声调的高低升降 变化，就是通过控制声带松紧来实现的。
f1
成年男子
200~800
成年女子
250~1000
带宽
40~70
f2 f3
600~2800 1300~3400
700~3300 1500~4000
50~90 60~180
前三个共振峰的大致范围（Hz）
45
语音信号具有很强的“时变特性” 在有些段落中它具有很强的周期性，有些段落中又 具有噪声特性，而且周期性语音和噪声语音也在不 断变化之中。 语音信号是非平稳的，但具有“准平稳特性” 在较短的时间间隔内（一般10~30ms），可以认为 语音信号的特征基本保持不变。 数字语音信号处理中，通常采取短时分析技术。
语音的生理属性—发音器官
鼻腔的作用 在软腭的帮助下，可使空气经过鼻腔排除 人体外，由此产生的语音称为鼻音。如[n]、 [ng]为鼻音韵母，[m]、[n]、[l]为鼻音声母。 鼻腔是一个谐振腔，由于形状固定，故其 共振峰频率是确定的。
13
发元音的三个条件
（1）声带振动 （2）声道不发生极端的狭窄，维持稳定的形状 （3）和鼻腔不发生耦合，声音只是从口腔中辐射出 去。
第2章-语音信号的数字模型
“十二五”普通高等教育本科国家级规划教材
2.2.4 耳蜗的信号处理机制
图2.6 耳蜗内流体波的简单表示
25
2.2 语音的听觉机理
“十二五”普通高等教育本科国家级规划教材
当声音经外耳传入中耳时，镫骨的运动引起 耳蜗内流体压强的变化，从而引起行波沿基底膜的 传播。图2.6是流体波的简单表示。在耳蜗的底部 基底膜的硬度很高，流体波传播的很快。随着波的 传播，膜的硬度变得越来越小，波的传播也逐渐变 缓。不同频率的声音产生不同的行波，而峰值出现 在基底膜的不同位置上。
有三部分作用施加在语音的声波上：
声门产生的激励模型G(z)； 声道产生的调制函数V(z)； 嘴唇产生的辐射函数R(z)。
语音信号的传递函数由这三个函数级联而成，
即： H(z)=G(z)V(z)R(z)
（2.1）
32
2.3 语音信号的线性模型
“十二五”普通高等教育本科国家级规划教材
2.3.1 激励模型
20
2.2 语音的听觉机理
“十二五”普通高等教育本科国家级规划教材
3. 内耳 内耳是一个充
满液体的骨质结构， 由前庭、圆形窗、 卵形窗及耳蜗组成。
图2.5 耳蜗未展开时的内耳
21
2.2 语音的听觉机理
2.2.2
“十二五”普通高等教育本科国家级规划教材
听觉掩蔽效应
人耳听觉界限的频率范围大约为20Hz-20kHz。 语音感知的强度范围是0－130dB声压级。 响度 这是频率和强度级的函数。
16
2.1 语音的发声机理
“十二五”普通高等教育本科国家级规划教材
共振峰频率或共振峰
声音产生后，便沿着声道进行传播。声道可 以看成是一根具有非均匀截面的声管，在发音时 起着共鸣器的作用。声音进入声道后，其频谱必 定会受到声道的共振特性的影响，声道具有一组 共振频率，称为共振峰频率或共振峰。声道的频 谱特性便主要地反映出这些共振峰的不同位置以 及各个峰的频带宽度。共振峰及其带宽取决于声 道的形状和尺寸，因而不同的语音对应于一组不 同的共振峰参数。
语音信号处理
第一部分语音信号处理第一章·绪论一···考核知识点1·语音信号处理的基本概念2·语音信号处理的发展概况二···考核要点一·语音信号处理的基本概念1．识记：（1）语音信号对人类的重要性。
（2）数字语音的优点。
（3）语音学的基本概念。
（4）语音信号处理的应用领域。
二·语音信号处理的发展概况1.识记：（1）语音信号处理的发展历史。
（2）语音编码、语音合成、语音识别的基本概念。
语音编码技术是伴随着语音的数字化而产生的，目前主要应用在数字语音通信领域。
语音合成的目的是使计算机能象人一样说话说话，而语音识别使能够听懂人说的话。
第二章·基础知识一···考核知识点一·语音产生的过程二·语音信号的特性三·语音信号产生的数字模型四·人耳的听觉特性二···考核要求一·语音产生的过程1.识记：声音是一种波，能被人耳听到，振动频率在20Hz~20kHz之间。
自然界中包含各种各样的声音，而语音是声音的一种，它是由人的发音器官发出的，具有一定语法和意义的声音。
2.领会：（1）语音产生的过程与人类发声的基本原理。
（2）清音、浊音、共振峰的基本概念。
语音由声带震动或不经声带震动产生，其中由声带震动产生的音统称为浊音，而不由声带震动而产生的音统称为清音。
声道是一个分布参数系统，它是一个谐振腔，有许多谐振频率，称为共振峰，它是声道的重要声学特征。
二·语音信号的特性1.识记：（1）语音的物理性质，包括音质、音调、音强、音长等特性。
语音是人的发音器官发出的一种声波，具有声音的物理属性。
其中音质是一种声音区别于其它声音的基本特征。
音调就是声音的高低，取决于声波的频率：频率高则音调高，频率低则音调低。
响度就是声音的强弱，又称音量。
语音识别技术(数学建模)
其他 0, W (n) 2 n 0.54 0.46 cos( ), 0 n L 1 L 1
5
对语音信号进行加窗的函数为：
Qn
m
T [x (m )] * w (n m )
其中T[*]表示信号处理方法， {x(m)}为语音帧序列，w(n-m)为各个语音帧上的窗 函数。 窗函数的选择对语音信号的短时分析影响很大，窗函数越宽对信号的平滑 作用越好， 窗函数的主瓣宽度要窄， 旁瓣要尽可能小， 使能量尽量集中在主瓣中， 以抑制频谱的泄露。 若音框化的信号为S(n), n = 0,…N-1,则乘上汉明窗后为S'(n) = S(n)*W(n)， 此W(n) 形式如下： W(n, a) = (1 - a) - a cos(2pn/(N-1))，0≦n≦N-1 不同的a值会产生不同的汉明窗，如图5.3（程序见附录） ：
Original wave: s(n) 0.4 0.2 0 -0.2 -0.4 0 0.2 0.4 0.6 0.8 1 1.2 1.4
After pre-emphasis: s 2(n)=s(n)-a*s(n-1), a=0.950000 0.05
0
-0.05
0
0.2
0.4
0.6
0.8
1
1.2
1.4
二、 问题分析
语音识别系统的结构
样本语言 预加重 加窗分帧 端点检测
建立 BP 神经网络输入样本 训练 BP 神经网络 使用神经网络
特征提取 识别结果
待测语音
预处理
特征提取
2
对于第一问，从图中的系统整体架构可以看到，建立基于 BP 神经网络的语 音识别系统可分为两个阶段,即训练阶段和识别阶段。首先对原始语音进行预处 理。预处理包括预加重，加窗分帧和端点检测三个过程。系统的前端采用了端点 检测,目的是在一段语音信号中确定起点和终点。 而在特征提取部分,本系统采用 了 MFCC 作为特征参数。从而有效区分“流量” 、 “话费” 、 “套餐”和“优惠”四 个音频（wav 格式）文件。在训练阶段,通过说话人多次重复语音,本系统从原始 语音样本中去除冗余信息即去噪,提取说话人语音的特征参数并存储为 BP 神经 网络的输入样本， 在此基础上建立输入与输出的 BP 神经网络模型；在识别阶段, 待测语音经过预处理，使用已经训练好的 BP 神经网络进行识别得到结果，最后 由结果分析误差。 对于第二问， 由第一问中建立出来的模型， 根据 “声学模型” 和 “语言模型” ， 为该手机运营商制定出一份可行的用户使用手册。 第三问中，根据第二问中制定的用户使用规则，录制一段“查询话费”的音 频文件，从而检验语音识别模型的正确性。
第二章 语音信号产生的数字模型
发音的三种方式－excitation
浊音（voiced sounds）声带开启和闭合，在声门
处产生一个准周期性脉冲序列。（quasi-periodic sequence）
清音（unvoiced sounds）声带完全舒展开来，
声道的某个部位发生收缩形成了一个狭窄的通道，当 空气流到达此处时被迫以高速冲过收缩区，并在附近 产生空气的湍流，类似于白噪声。（white noise）
ai Vi ( z ) 1 2 1 bi z ci z
ai bi ci z-1 z-1
传输函数
V ( z ) Vi ( z )
k 1
M
G 1 ak z
k 1 N k
N为极点个数，G是增益参数，ak为常系数。
zk e
Bk T
e
j 2Fk T
T为采样周期
二、声道模型( 共振峰模型) 短时线性系统 声道V(z) 1.级联型(元音) 声道是一组串连的二阶谐振器（一个谐振腔对 应1个共振峰频率）。
V1
V2
V3
V4
V5
每个传输函数是一个全极点的IIR滤波器，这些 极点确定了声管的共振峰。若N取偶数，V(z)一般有 N/2对共轭极点，rkexp(±j2FkT)，k=1～N/2。 各 个wk值分别与语音的共振峰相互对应。 N的取值一 般为8～12。
男声汉语拼音声母s的频谱
总结
一种声道形状对应一套共振峰 不同人的声道大小不同，共振峰不同 同一人，发不同音，共振峰也不同 共振峰
f1
成年男子
200~800
成年女子
250~1000
带宽
40~70
f2 f3
第二章语音信号的产生模型
第二章 语音信号的产生模型
一. 语音产生的过程 二. 语音信号的特性 三. 语音信号产生的数字模型 四. 语音感知
1
一、 语音产生的过程
声音是一种波，能被人耳听到，它的振 动频率在20～20 000 Hz之间。
语音是声音的一种
由人的发音器官发出的, 具有一定语法和意义的声音
振动频率最高可达15 000 Hz左右
音强：声音的强弱，由声波的振幅所决定。
音长：声音的长短，取决于发音时间的长短。
16
1、语音的基本特性
(2). 语音的构成—音节(syllable) 、音素(phoneme)
音素：是语音的最小、 最基本的组成单位。 音节：说话时一次发出的，具有一个响亮的中心，听的
大脑对发音器官发出运动神经指令,发音器官 各种肌肉运动,振动空气而形成语音波。
神经和肌肉的生理学阶段+产生和传递语音波的物理阶段
2
1、人体的发音器官
肺、气管、喉(包括声带) 、咽、鼻、口等 (P7 图2-1) 肺和气管是语音产生的能源所在； 声门 (喉): 主要的声音生成机构，喉部的声带为产生
语音提供主要的激励源； 声道 (喉以上的部分, 声门至嘴唇的所有器官：咽、鼻
腔 、口腔等) : 对生成的语音进行调制。 它们具有非均匀截面，且随时间变化，起共鸣器（或 谐振器）的作用。
3
2、语音产生过程
声压波
肺
声带
声道
嘴唇
声音
能源
激励源
谐振源
辐射源
语音的形成过程—空气由肺部排入喉部，经过声带进 入声道，最后由嘴辐射出声波，形成语音。
声道对于一个激励信号的响应，可用一个含有多对极点的线 性系统来近似描述。每对极点都对应一个共振峰频率。
一. 语音产生的过程 二. 语音信号的特性 三. 语音信号产生的数字模型 四. 语音感知
1
一、 语音产生的过程
声音是一种波，能被人耳听到，它的振 动频率在20～20 000 Hz之间。
语音是声音的一种
由人的发音器官发出的, 具有一定语法和意义的声音
振动频率最高可达15 000 Hz左右
音强：声音的强弱，由声波的振幅所决定。
音长：声音的长短，取决于发音时间的长短。
16
1、语音的基本特性
(2). 语音的构成—音节(syllable) 、音素(phoneme)
音素：是语音的最小、 最基本的组成单位。 音节：说话时一次发出的，具有一个响亮的中心，听的
大脑对发音器官发出运动神经指令,发音器官 各种肌肉运动,振动空气而形成语音波。
神经和肌肉的生理学阶段+产生和传递语音波的物理阶段
2
1、人体的发音器官
肺、气管、喉(包括声带) 、咽、鼻、口等 (P7 图2-1) 肺和气管是语音产生的能源所在； 声门 (喉): 主要的声音生成机构，喉部的声带为产生
语音提供主要的激励源； 声道 (喉以上的部分, 声门至嘴唇的所有器官：咽、鼻
腔 、口腔等) : 对生成的语音进行调制。 它们具有非均匀截面，且随时间变化，起共鸣器（或 谐振器）的作用。
3
2、语音产生过程
声压波
肺
声带
声道
嘴唇
声音
能源
激励源
谐振源
辐射源
语音的形成过程—空气由肺部排入喉部，经过声带进 入声道，最后由嘴辐射出声波，形成语音。
声道对于一个激励信号的响应，可用一个含有多对极点的线 性系统来近似描述。每对极点都对应一个共振峰频率。
第四章 语音信号处理技术
语音信号处理简称语音处理，是以语音学和数 字信号处理为基础而形成的一门综合性学科， 处理的目的是要得到一些语音参数以便高效的 传输或存储，或者通过处理的某种运算以达到 某种用途的要求，例如人工合成出语音，辨识 出说话者，识别讲话的内容等。 基础： 指导： 技术手段:
语音信号处理的发展
在语音波形片断拼接之前首先根据语义用psola算法对拼接单元的韵律特征进行调整使合成波形既保持了原始语音基元的主要音段特征又使拼接单元的韵律特征符合语义从而获得很高波形合成法参数合成法规则合成法基本信息波形特征参数语言的符号组合语音质量词汇量小500字以下大数千字无限合成方式pcmadpcmapclpclsp共振数码率9664kbits2496kbits5075bits1mbit可合成的语音长度15100s100s7分钟无限合成单元音节词组句子音节词组句子因素音节装置简单比较复杂复杂目前的语音合成方法实质上并未解决机器说话的问题本质上只是一个声音还原的过程
量化等级的划分
量化级越多，量化误差越小。每个采样点占用的 Bit就会越多，在语音信号处理中常用的有16bit、 8bit等量化。
xa(t)
xa(nT)
x(n)
采样
x1
xa1
量化
xk
xak xak+1
x(n)=Q[xa(nT)]
xk+1
xaL
xL xaL+1
量化后的信号值与原信号值之间的差值称为 量化误差(噪声) e(n)=x(n)- xa(nT) -/2 e(n) /2
建立数学模型：寻求一种可以表达一定物理状态 下量与量之间关系的数学表示。 语音生成系统： 在声门以下，负责产生激励振动——激励系统 从声门到嘴唇的呼吸通道是声道——声道系统 语音从嘴唇辐射出去，嘴唇以外——辐射系统 语音信号的分析，就是找出语音产生模型的各种 参数（语音的特征参数），应用于语音的编码、 识别和合成等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
三、辐射模型
R(z)=R0(1-z-1) 唇端辐射损耗在高频端较为显著，而在低频 端影响较小， R(z)应具有高通特性。对高频提升
大约为每倍频程6dB。
四、完整的语音信号的数字模型
冲激序列 发生器 声门脉冲 模型G(z) 清/浊音 开关 随机噪声 发生器
Av
线性系统 声道V(z) 辐射模型 R(z)
☆ F0 =1/Tp，基音频率，由声带的质量来决定。
☆ F0的大小决定了声音的高低，称为音高。
☆ 男性的F0大致分布在： 50~250Hz
☆ 女性和儿童的F0大致分布在：100~500Hz
声道的谐振频率format frequency
13cm 8.5cm
17cm
声道的无损模型
鼻端 谐振频率发生在：Fn= 2n-1 c 4L （声道的横截面是均匀的， 嘴唇 发元音e时，声道近似是均 匀的。）
第二章 语音信号产生的数字模型
Speech Production Model
§2.1
§2.3
人类的语言器官和语音产生过程
语音信号产生的数字模型
§2.4
§2.5
语音信号的特性
人类的听觉功能(speech perception)
§2.1 人类的语言器官和语音产生过程
人类的语音是由人体发音器官在大脑控制下的
喉的生理结构
当说话时，声带在软骨的作用下相互靠 近但不完全闭合，声门变成一条窄缝，当气 流通过窄缝时压力减小，外界压力大，从而 两片声带完全闭合使得气流不能通过，当气 声带靠拢 流阻断时压力恢复正常，推开两片声带，声 门再次打开，气流再次流过。
声带的开启和闭合称 为振动。这一振动过程周 而复始，形成了一串周期 性脉冲气流送入声道。这 个过程发出的音称为浊音。 如汉语发音的[a]、[i]、 [u]和[o]等。
f1
成年男子
200~800
成年女子
250~1000
带宽
40~70
f2 f3
600~2800 1300~3400
700~3300 1500~4000
50~90 60~180
前三个共振峰的大致范围（Hz）
时域波形：幅度－时间图。大致得出音节的起
始点、清音和浊音以及浊音的基音频率。
女声汉语拼音a的时域波形
频谱特性：幅度谱图。得出基音周期、
共振峰频率及其位臵。
女声英文a的频谱
鼻腔的作用
在软腭的帮助下，可使空气经过鼻腔 排除人体外，由此产生的语音称为鼻音。 如[n]、[ng]为鼻音韵母，[m]、[n]、[l] 为鼻音声母。
鼻腔是一个谐振腔，由于形状固定， 故其共振峰频率是确定的。
Nasal cavity Velum Nose output
爆破音（plosive/stop sounds）声带完全舒展
开来，声道的某个部位完全闭合在一起，当空气流到 达时便在此处建立起空气压力，一旦闭合点突然开启 便会让气压快速释放，实际上也是一种空气的湍流。 （white noise）
基音频率(Fundamental Frequency－pitch)F0
基音周期TP
AN
传输函数
H ( z ) G( z )V ( z ) R( z )
传输函数的具体表达式：
H ( z ) G( z )V ( z ) R( z )
H ( z)
1 e
1
cT
z
1 2
G 1 ak z
k 1 N k
R0 (1 z )
1
H ( z)
收集，经外耳道而抵达鼓膜，鼓膜随之振动，使鼓
室中的空气和听骨链也发生振动，听骨链的振动经
前庭窗（卵圆窗）激励前庭淋巴，变为液波，液波
使位于基底膜上的螺旋器受到刺激，将神经冲动经 听神经传到中枢而产生听觉。
正常人的听觉系统是极为灵敏的，可听声的范围 为20Hz-20kHz。 可听声的最小声压级(dB)称为听阈。-5～130dB， 对低频和高频是不敏感的，听阈为60dB，在1kHz附近 最敏感。
降的变化，汉语中有4个声调，即阴平（－）、
阳平（ ′）、上声（ ）、和去声（‵）。
声调的变化就是浊音基音周期的变化，为了将
调值描写地具体一些，一般采用“五度标记法”，
用一条竖线表示声音的高低，从上而下用1、2、3、
4、5依次表示低、半低、中、半高、高。
阴平 阳平 上声 调类 调值 阴平 55 去声 阳平 35 上声 214 5 4 3 2 1 高 半高 中 半低 低 去声 51
发音的三种方式－excitation
浊音（voiced sounds）声带开启和闭合，在声门
处产生一个准周期性脉冲序列。（quasi-periodic sequence）
清音（unvoiced sounds）声带完全舒展开来，
声道的某个部位发生收缩形成了一个狭窄的通道，当 空气流到达此处时被迫以高速冲过收缩区，并在附近 产生空气的湍流，类似于白噪声。（white noise）
二、汉语的拼音方法
在汉语中，由元音和辅音构成声母和韵母。
声母：一个音节开始的辅音，声母完全由辅音充
当，但辅音不等于声母，因为辅音还可以作为韵尾
放在音节的末尾。
b、p、m、f、d、t、n、l、g、k、h、j、q、x、zh、
ch、sh、z、c、s、r
韵母：在音节中占主要部分，音节中除了头上的
声母以外的部分，由单、双元音、元音带上辅音等几
G 1 dk z
k 1 q k
模型的特点
在这个模型中，TP、 Av、AN、清/浊音开关的位臵 以及声道滤波器的参数都是随时间而变化，在10-
30ms的时间间隔内是保持不变的。这种特性称为短
时性。 对于激励信号而言，大部分情况下，这一结论 也是正确的，但有些音变化速度特别快，爆破音， 取5ms比较更为恰当。
度耳聋患者获得或重新恢复听觉。它代替病变受损 的听觉器官，把声音转换成编码的电信号传入内耳 耳蜗，刺激分布在那里的听神经，再由大脑产生听 觉。
耳蜗对声信号的时频分析特性
如果信号是一个多频率的信号，则产生 的行波将沿着基底膜在不同的位臵产生最大 幅度，从这个意义上讲，耳蜗就像一个频谱 分析仪，将复杂信号分解成各种频率分量， 这种作用称为人耳的时频分析特性。耳蜗在 语音接收过程起着重要的作用。
人工耳蜗
人工耳蜗是一种电子装置，能帮助重度及极重
L=17cm，声道的长度
n=1,2,3 … 称为第一共振峰F1=500Hz 、第二共振 峰F2=1500Hz 、第三共振峰F3=2500Hz ，… c=340m/s
输出气流的频率
基音频率
共振峰频率
女声英文a的频谱
男声汉语拼音声母s的频谱
总结
一种声道形状对应一套共振峰 不同人的声道大小不同，共振峰不同 同一人，发不同音，共振峰也不同 共振峰
ai Vi ( z ) 1 2 1 bi z ci z
ai bi ci z-1 z-1
传输函数
V ( z)
V ( z)
i k 1
M
G 1 a k z k
k 1 N
N为极点个数，G是增益参数，ak为常系数。
zk e
Bk T
e
j 2Fk T
T为采样周期
四、语音信号的统计特性
语音信号振幅分布的概率密度有两种逼近方法： 修正伽玛（Gamma）分布概率密度函数：
kx
pG ( x )
ke 2
x
|x|
拉谱拉斯（Laplace）分布概率密度函数:
p L ( x ) 0.5e
§2.5 人类的听觉功能
人类接收语音由人耳来完成，空气振动由耳廓
§2.4
语音信号的特性
பைடு நூலகம்
一、语音的声学特性
语音是发声器官发出的一种声波，具有一定的 音色、音调和音强和音长。 ●音色: 又称为音质，是一种声音区别于另 一种声音的基本特性。
●音调：声音的高低，取决于声波的频率
●音强：声音的强弱，它由声波的振动幅度 所决定 ●音长：发音时间的长短
汉语语音的特点
（1）音系简单，在汉语中一个字就是一个音节，由 一般为2～3个音素组成，而且具有音素少、音节少。 英语中一个单词由若干个音节组成，一般为2～3个， 一个音节由若干个音素组成，一般为1～4个。 （2）清辅音多，在听感上有清亮、高扬和舒服、柔 和的感觉。 （3）有鲜明的轻重音和儿化韵，所以字词分隔清楚， 语言表达准确而丰富。
Tp 基音周期
T
Glottal Closure instant
女声汉语拼音a的时域波形
Voiced excitation
Tp 基音周期 fundamental period
Unvoiced excitation（声带不振动，声门开启）
男声汉语拼音声母s的时域波形
声道
气流从喉向上经过口腔或鼻腔后从嘴或鼻孔向 外辐射，期间的传输通道称为声道。气流流过声道 时犹如通过了一个具有某种谐振特性的腔体，放大 某些频率，在频谱上形成相应位臵的峰起，称为共 振峰。 讲话时，由于舌和唇的连续运动， 使声道形状改变，随即改变谐振频率， 使得发不同的音。声道的不同的形状， 对应不同的谐振频率。
浊音激励
冲激序列 发生器
基音周期TP 随机噪声 发生器 声门脉冲 模型G(z)
Av
uG(n) 清/浊音 开关
Au
清音激励
声门脉冲滤波器
N1
N2
1 G( z) cT 1 2 (1 e z ) 0 n N1 0.5 * [1 cos(n / N 1 )] g ( n ) cos[( ( n N 1 ) / 2 N 2 ] N 1 n N 1 N 2 0 others