矢量量化与语音信号处理
合集下载
语音信号处理课件第七章.ppt
矢量量化系统通常可以分为两个映射的乘积 Q 式中:α是编码器，它是将输入矢量 信道符号集IN={i1, i2, …, iN}中的一个元素ij ；
K X R 映射为
β是译码器，它是将信道符号集 ij映射为码书中的一 个码字Yi 。即
α( X )= ij β(ij )= Yi X∈χ， ij ∈ IN ij ∈ IN Yi∈ YN
{ x n}
X1
X2
X3 X4 Xn/4
图示输入信号序列{xn}，每4 个样点构成一个矢量 （取K=4），共得到n/4个4维矢量： X1，X2，X3，…，Xn/4
矢量量化就是先集体量化X1 ,然后量化X2， 依次向下量化。下面以 K=2为例说明其量化过程。
a2 Y3 Yi Si a1 Y5 Y6 (a) 图 7.2 (b) 矢量量化示意图 Y4 S1 Y1 a2 Y2 a1 Y7
（1）最佳划分
Y , Y , , Y N 1 2 N 给定码书 ，可以用最近邻准则NNR得 到最佳划分。图7.4为最佳划分示意图。
•Y3 • •Y6 •Y4 · •Y1 •Yj S1 • •X Sj • • •
S2 •Y2
•YN
•
•
图7.4 最佳划分示意图
最佳划分定义：
信源空间χ中任一点X,若X∈Sj，当且仅当矢量X与码 字Yj的失真小于X和其它码字 Yi N 失真，即：
出矢量Y=q(X)的失真平均值而定，失真平均值为： D(Q,F)=E[d(X,Y)]=E[d(X,q(X))]
补充： 矢量量化与标量量化的比较
矢量量化是把一个 K 维模拟矢量映射为一个 K
维量化矢量。标量量化实际是维数K=1的矢量量化。
一般情况下，矢量量化均指K≥2的多维量化。与标
3.第三章 语音信号处理基础
N-1
Mj = ∑ x j(n) n=0 n=0 (n):原样本序列x(n) 时刻起,由长度为N x(n)在 x (n):原样本序列x(n)在j时刻起,由长度为N
j 的窗口w(n)所切取出的短时语音段. 的窗口w(n)所切取出的短时语音段. w(n)所切取出的短时语音段
短时平均过零数Zj的定义 短时平均过零数Zj的定义
j 的窗口w(n)所切取出的短时语音段. 的窗口w(n)所切取出的短时语音段. w(n)所切取出的短时语音段
Elog(j) = 10log10(1+Ej) (j):语音信号的对数短时平均能量(分贝). Elog(j):语音信号的对数短时平均能量(分贝).
短时平均幅度Mj的定义 短时平均幅度Mj的定义
3.4 倒谱域分析
倒谱的概念* 3.4.1 倒谱的概念* 倒谱的分析流程* 3.4.2 倒谱的分析流程* 倒谱系数的求法* 3.4.3 倒谱系数的求法* 倒谱分析在语音识别中的用途 在语音识别中的用途* 3.4.4 倒谱分析在语音识别中的用途*
3.5 线性预测分析
线性预测分析的概念* 3.5.1 线性预测分析的概念* 线性预测系数的求解* 3.5.2 线性预测系数的求解* 线性预测分析在语音识别中的用途* 3.5.3 线性预测分析在语音识别中的用途*
3.5.2 线性预测系数的求解概要(1) 线性预测系数的求解概要(1)
(n)表示时刻 的预测误差: 表示时刻n (1)设ej(n)表示时刻n的预测误差:
(n)ej(n) = xj(n)- x'j(n) = xj(n)+a1xj(n-1)+a2xj(n-2)+ (n(n… apxj(n-p) (n(n这里, = ∑aixj(n-i) (这里,a0 = 1.0.)
Mj = ∑ x j(n) n=0 n=0 (n):原样本序列x(n) 时刻起,由长度为N x(n)在 x (n):原样本序列x(n)在j时刻起,由长度为N
j 的窗口w(n)所切取出的短时语音段. 的窗口w(n)所切取出的短时语音段. w(n)所切取出的短时语音段
短时平均过零数Zj的定义 短时平均过零数Zj的定义
j 的窗口w(n)所切取出的短时语音段. 的窗口w(n)所切取出的短时语音段. w(n)所切取出的短时语音段
Elog(j) = 10log10(1+Ej) (j):语音信号的对数短时平均能量(分贝). Elog(j):语音信号的对数短时平均能量(分贝).
短时平均幅度Mj的定义 短时平均幅度Mj的定义
3.4 倒谱域分析
倒谱的概念* 3.4.1 倒谱的概念* 倒谱的分析流程* 3.4.2 倒谱的分析流程* 倒谱系数的求法* 3.4.3 倒谱系数的求法* 倒谱分析在语音识别中的用途 在语音识别中的用途* 3.4.4 倒谱分析在语音识别中的用途*
3.5 线性预测分析
线性预测分析的概念* 3.5.1 线性预测分析的概念* 线性预测系数的求解* 3.5.2 线性预测系数的求解* 线性预测分析在语音识别中的用途* 3.5.3 线性预测分析在语音识别中的用途*
3.5.2 线性预测系数的求解概要(1) 线性预测系数的求解概要(1)
(n)表示时刻 的预测误差: 表示时刻n (1)设ej(n)表示时刻n的预测误差:
(n)ej(n) = xj(n)- x'j(n) = xj(n)+a1xj(n-1)+a2xj(n-2)+ (n(n… apxj(n-p) (n(n这里, = ∑aixj(n-i) (这里,a0 = 1.0.)
矢量量化原理 第六章
矢量量化的复杂度比标量量化的复杂度高。
▪ 归结起来，正如率-失真理论所指出的，组编码总
是优于单个输出的逐个编码的，当编码长度K趋于
无穷大时，可以达到率失真界。
27
6.3 最佳矢量量化
▪ 一.最佳矢量量化器的概念
▪ 给定条件下，失真最小的矢量量化器，称为这个
条件下的最佳矢量量化器。给定矢量量化器的码
4
三、矢量量化技术的发展历程
1956年 1957年 1978年
最佳矢量量化问题
如何划分量化区间 及求量化值问题
Steinhaus Loyd和Max
1980年
提出实际矢量量化器
Buzo
LBG算法
Linde,Buzo和Gray
5
四、矢量量化的优点
矢量量化优于标量量化，为不可逆压缩方法，采用矢量 量化技术对信号波形或参数进行压缩处理，可以获得很好 的效益，具有存储要求低、比特率低、解码简单、失真较 小和计算量小等优点。 采用矢量量化的效果优于标量量化的原因： ➢ 矢量量化能有效的应用矢量中各分量之间的四种相互关 联性质来消除数据中的冗余度。这四种相互关联的性质是 线性依赖(相关性)、非线性依赖(统计不独立)、概率密度 函数的形状和矢量量化的维数，而标量量化仅能利用线性 依赖和概率密度函数的形状来消除冗余度。
6
五、矢量量化研究的目的
针对特定的信息源和矢量维数，设计 出一种最优化的量化器，在R（量化速率） 一定的情况下，给出的量化失真尽可能接 近D(R)(最小量化失真)。
7
6.2 矢量量化的基本原理
标量量化是对信号的单个样本或参数的幅 度进行量化；标量是指被量化的变量，为 一维变量。
矢量量化的过程是将语音信号波形的K个样 点的每一帧，或有K个参数的每一参数帧构 成K维空间的一个矢量，然后对这个矢量进 行量化。
▪ 归结起来，正如率-失真理论所指出的，组编码总
是优于单个输出的逐个编码的，当编码长度K趋于
无穷大时，可以达到率失真界。
27
6.3 最佳矢量量化
▪ 一.最佳矢量量化器的概念
▪ 给定条件下，失真最小的矢量量化器，称为这个
条件下的最佳矢量量化器。给定矢量量化器的码
4
三、矢量量化技术的发展历程
1956年 1957年 1978年
最佳矢量量化问题
如何划分量化区间 及求量化值问题
Steinhaus Loyd和Max
1980年
提出实际矢量量化器
Buzo
LBG算法
Linde,Buzo和Gray
5
四、矢量量化的优点
矢量量化优于标量量化，为不可逆压缩方法，采用矢量 量化技术对信号波形或参数进行压缩处理，可以获得很好 的效益，具有存储要求低、比特率低、解码简单、失真较 小和计算量小等优点。 采用矢量量化的效果优于标量量化的原因： ➢ 矢量量化能有效的应用矢量中各分量之间的四种相互关 联性质来消除数据中的冗余度。这四种相互关联的性质是 线性依赖(相关性)、非线性依赖(统计不独立)、概率密度 函数的形状和矢量量化的维数，而标量量化仅能利用线性 依赖和概率密度函数的形状来消除冗余度。
6
五、矢量量化研究的目的
针对特定的信息源和矢量维数，设计 出一种最优化的量化器，在R（量化速率） 一定的情况下，给出的量化失真尽可能接 近D(R)(最小量化失真)。
7
6.2 矢量量化的基本原理
标量量化是对信号的单个样本或参数的幅 度进行量化；标量是指被量化的变量，为 一维变量。
矢量量化的过程是将语音信号波形的K个样 点的每一帧，或有K个参数的每一参数帧构 成K维空间的一个矢量，然后对这个矢量进 行量化。
语音信号矢量量化
是 S l 中包含的矢量个数
16
二、LBG算法 算法 1980年由 年由Linde，Buzo和Gray提出， 提出， 年由 ， 和 提出 在矢量量化中是一个基本算法。 在矢量量化中是一个基本算法。整个算法 实际就是上述两个寻找最佳码书的必要条 件的反复迭代过程， 件的反复迭代过程，即由初始码书使码书 逐步优化，寻找最佳码书的迭代过程。 逐步优化，寻找最佳码书的迭代过程。
13
最佳矢量量化器和码本的设计
一、矢量量化器最佳设计 最佳设计就是使失真最小的设计 最佳设计就是使失真最小的设计 最佳设计中，重要的问题是如何划分量 最佳设计中，重要的问题是如何划分量 化区间和确定量化矢量。 化区间和确定量化矢量。 两个条件回答了两个问题 回答了两个问题。 这两个条件回答了两个问题。 一、最佳划分 二、最佳码书
14
最佳矢量量化器满足的两个必要条件 最佳矢量量化器满足的两个必要条件 1）Voronoi分割条件（最近邻准则） ） 分割条件（ 分割条件 最近邻准则） 对信号空间的分割应满足
Sl = { X ∈ R K : d ( X , Yl ) ≤ d ( X , Yi ); i ≠ l}
根据该条件可以对信号空间进行最佳划分， 根据该条件可以对信号空间进行最佳划分， 得到的 S l 称为一个胞腔
22
谢谢！ 谢谢！
23
δ
18
第二步： 第二步：迭代 1）根据最近邻准则将S分成 个子集 S1 m ) ， ）根据最近邻准则 最近邻准则将 分成 分成N个子集 (
( S 2m ) ，┅， Nm ) ， 即当 X ∈ S1( m )时，下式成 S(
立： d ( X , Yl( m −1) ≤ d ( X , Yi( m −1) ), ∀i , j = l 2）计算失真： ）计算失真：
16
二、LBG算法 算法 1980年由 年由Linde，Buzo和Gray提出， 提出， 年由 ， 和 提出 在矢量量化中是一个基本算法。 在矢量量化中是一个基本算法。整个算法 实际就是上述两个寻找最佳码书的必要条 件的反复迭代过程， 件的反复迭代过程，即由初始码书使码书 逐步优化，寻找最佳码书的迭代过程。 逐步优化，寻找最佳码书的迭代过程。
13
最佳矢量量化器和码本的设计
一、矢量量化器最佳设计 最佳设计就是使失真最小的设计 最佳设计就是使失真最小的设计 最佳设计中，重要的问题是如何划分量 最佳设计中，重要的问题是如何划分量 化区间和确定量化矢量。 化区间和确定量化矢量。 两个条件回答了两个问题 回答了两个问题。 这两个条件回答了两个问题。 一、最佳划分 二、最佳码书
14
最佳矢量量化器满足的两个必要条件 最佳矢量量化器满足的两个必要条件 1）Voronoi分割条件（最近邻准则） ） 分割条件（ 分割条件 最近邻准则） 对信号空间的分割应满足
Sl = { X ∈ R K : d ( X , Yl ) ≤ d ( X , Yi ); i ≠ l}
根据该条件可以对信号空间进行最佳划分， 根据该条件可以对信号空间进行最佳划分， 得到的 S l 称为一个胞腔
22
谢谢！ 谢谢！
23
δ
18
第二步： 第二步：迭代 1）根据最近邻准则将S分成 个子集 S1 m ) ， ）根据最近邻准则 最近邻准则将 分成 分成N个子集 (
( S 2m ) ，┅， Nm ) ， 即当 X ∈ S1( m )时，下式成 S(
立： d ( X , Yl( m −1) ≤ d ( X , Yi( m −1) ), ∀i , j = l 2）计算失真： ）计算失真：
矢量量化
当且仅当d ( x, yi ) d ( x, y j )时，才有q( x) yi , 这里j i， 1 j L，。
8.4 码本的设计
(2)按胞腔中平均失真最小 的准则来选择码矢。这 就是说，胞腔Ci 所对应的码矢yi应当是使下式表示的平 均失真最小的矢量 y Di E[d ( x, y ) x Ci ] 码矢，表示为 yi cent(Ci ) 式中cent(Ci )表示Ci的形心。
第8章 矢量量化
8.1 概述
• 标量量化：对语音信号波形的每个取样值或语音信 号的每个参数值分别独立的进行量化。 • 矢量量化：将语音波形的取样值或语音的参数值分 成一些组，每组构成一个矢量，然后分别对每个矢 量进行量化。因此，各矢量中的元素是作为一个整 体联合进行量化的。可以压缩了数据而不损失多少 信息，矢量量化编码也是在图像、语音信号编码技 术中研究得较多的新型量化编码方法，它的出现并 不仅仅是作为量化器设计而提出的，更多的是将它 作为压缩编码方法来研究的。 • 目的：提高传输效率
8.3.3线性预测失真度--板仓-斋藤失真
将一帧语音信号进行线 性预测分析，得到 N个预测系数，他们构成 一个N维的预测系数矢量 x，即 x (a1 , a2 , , a N )T 这里{ai ,1 i N }是预测系数。 矢量量化时，将 x量化成码矢y，x与y之间的失真定义为 d I ( x, y ) ( x y ) T x ( x y ) 式中x 是一帧语音信号的归一 化自相关矩阵，即
n 1
M
如果随机矢量过程 {x(n)}是平稳的且是遍历性的 ，那么上式的时间 平均将于下式的统计平 均相等 D E[d ( x, y )] P ( x Ci )
i 1 l
语音信号处理第6章 说话人识别
所用特征 倒谱 误识率 9.43%
差值倒谱 基音 差值基音
倒谱与差值倒谱 倒谱、差值倒谱、基音、差值基音
11.81% 74.42% 85.88%
7.93% 2.89%
6.2.3 特征参量评价方法
同一说话人的不同语音会在参数空间映射出不同的点，若 对同一人来说，这些点分布比较集中，而对不同说话人的 分布相距较远，则选取的参数就是有效的。
生活领域 ★
• 声纹监听 • 多人识别 • 声纹比对
技术难题：跨信道、噪声
6.2
说话人识别原理及系统结构
识别 识别结果 模式匹配 识别决策
语音输入
预处理
特征提取
训练
模板库
专家知识
说话人识别系统由预处理、特征提取、模式匹配和识别决 策等几大部分组成。除此之外，完整的说话人识别系统还
应包括模板库的建立、专家知识库的建立和判决阈值选择 等部分。
6.2.5 判别方法和阈值的选择
对于要求快速处理的说话人确认系统，可以采用多门限判 决和预分类技术来达到加快系统响应时间而又不降低确认 率的效果。
1）多门限判决相当于一种序贯判决方法，它使用多个门限 来作出接受还是拒绝的判决。 2）在说话人辨认时，每个人的模板都要被检查一遍，所以 系统的响应时间一般随待识别的人数线性增加，但是如果 按照某些特征参数预先地将待识别的人聚成几类，那么在 识别时，根据测试语音的类别，只要用该类的一组候选人 的模板参数匹配，就可以大大减少模板匹配所需的次数和 时间。
第6章 说话人识别
概述 说话人识别原理及系统结构 应用VQ的说话人识别系统 应用GMM的说话人识别系统 研究展望
6.1
概述
自动说话人识别(ASR )是一种自动识别说话人的过程。说 话人识别是从语音中提取不同特征，然后通过判断逻辑来 判定该语句的归属类别。说话人识别不注重包含在语音信 号中的文字符号及其语义内容信息，而是着眼于包含在语 音信号中的个人特征，以达到识别说话人的目的。因此， 相比于语音识别，说话人识别相对简单。 自动说话人识别按其最终完成的任务可分为两类：自动说 话人确认和自动说话人辨认。自动说话人确认是确认一个 人的身份，只涉及一个特定的参考模型和待识别模式之间 的比较，系统只需做出“是”或“不是”的二元判决；而 对于自动说话人辨认，系统则必须辨认出待识别的语音是 来自待考察的 个人中的哪一个，有时还要对这 个人以外的 语音做出拒绝的判断。
差值倒谱 基音 差值基音
倒谱与差值倒谱 倒谱、差值倒谱、基音、差值基音
11.81% 74.42% 85.88%
7.93% 2.89%
6.2.3 特征参量评价方法
同一说话人的不同语音会在参数空间映射出不同的点，若 对同一人来说，这些点分布比较集中，而对不同说话人的 分布相距较远，则选取的参数就是有效的。
生活领域 ★
• 声纹监听 • 多人识别 • 声纹比对
技术难题：跨信道、噪声
6.2
说话人识别原理及系统结构
识别 识别结果 模式匹配 识别决策
语音输入
预处理
特征提取
训练
模板库
专家知识
说话人识别系统由预处理、特征提取、模式匹配和识别决 策等几大部分组成。除此之外，完整的说话人识别系统还
应包括模板库的建立、专家知识库的建立和判决阈值选择 等部分。
6.2.5 判别方法和阈值的选择
对于要求快速处理的说话人确认系统，可以采用多门限判 决和预分类技术来达到加快系统响应时间而又不降低确认 率的效果。
1）多门限判决相当于一种序贯判决方法，它使用多个门限 来作出接受还是拒绝的判决。 2）在说话人辨认时，每个人的模板都要被检查一遍，所以 系统的响应时间一般随待识别的人数线性增加，但是如果 按照某些特征参数预先地将待识别的人聚成几类，那么在 识别时，根据测试语音的类别，只要用该类的一组候选人 的模板参数匹配，就可以大大减少模板匹配所需的次数和 时间。
第6章 说话人识别
概述 说话人识别原理及系统结构 应用VQ的说话人识别系统 应用GMM的说话人识别系统 研究展望
6.1
概述
自动说话人识别(ASR )是一种自动识别说话人的过程。说 话人识别是从语音中提取不同特征，然后通过判断逻辑来 判定该语句的归属类别。说话人识别不注重包含在语音信 号中的文字符号及其语义内容信息，而是着眼于包含在语 音信号中的个人特征，以达到识别说话人的目的。因此， 相比于语音识别，说话人识别相对简单。 自动说话人识别按其最终完成的任务可分为两类：自动说 话人确认和自动说话人辨认。自动说话人确认是确认一个 人的身份，只涉及一个特定的参考模型和待识别模式之间 的比较，系统只需做出“是”或“不是”的二元判决；而 对于自动说话人辨认，系统则必须辨认出待识别的语音是 来自待考察的 个人中的哪一个，有时还要对这 个人以外的 语音做出拒绝的判断。
语音信号矢量量化设计及实现算法的matlab仿真设计说明42页
引言21世纪是信息的社会，各种科技领域的信息大爆炸。
数字信号的数据量通常很巨大，对存储器的存储容量，通信信道的带宽及计算机的处理速度带来压力，因此必须对其进行量化压缩来紧缩数据存储容量，较快地传输各种信号 ,并使发信机功率降低。
矢量量化（VQ）是一种极其重要的信号压缩方法，其在语音信号处理中占有十分重要的地位，广泛应用于语音编码，语音识别，语音合成等领域。
在许多重要的课题中，VQ都起着非常重要的作用。
采用矢量量化技术对信号波形或参数进行压缩处理，可以获得非常高的效益。
VQ不仅可以压缩表示语音参数所需的数码率，而且在减少运算量方面也是非常高效的，它还能直接用于构成语音识别和说话人识别系统。
语音数字通信的两个关键部分是语音质量和传输数码率。
但这两者是矛盾的：要获得较高的语音质量，就必须使用较高的传输码率；相反，为了实现高效地压缩传输数码率，就很难得到良好的语音质量。
但是矢量量化却是一种既能得到高效压缩的数码率，又能保证语音质量的方法。
量化可以分为两大类：一类是标量量化，一类是矢量量化VQ。
标量量化是把抽样后的信号值逐个进行量化，而矢量量化是先将k个抽样值组成k 维空间中的一个矢量，然后将此矢量进行量化，它可以极大的降低数码率，优于标量量化。
各种数据都可以用矢量表示，直接对矢量进行量化，可以方便的对数据进行压缩。
矢量量化属于不可逆压缩方法，具备比特率低，解码简单，失真较小的优点。
矢量量化的发展大致可以分为两各阶段：第一阶段约为1956至1977年。
1956年steinhaus第一次系统的阐述了最佳矢量量化的问题。
1957年，在loyd的“PCM中的最小平方化”一文中给出了如何划分量化区间和如何求量化值问题的结论。
约于此同时MAX也得出同样的结果。
虽然他们谈论的都是标量量化问题，但他们的算法对后面的矢量量化的发展有着深刻的影响。
1964年，NEWMAN研究了正六边形原理。
1977年，berger的‘率失真理论’一书出版。
语音信号处理第3版——第1讲
中。美国国防部ARPA组织了有CMU等五个单位参加 的一项大规模语音识别和理解研究计划
1970年代中，日本学者Sakoe提出的动态时间弯折
算法对小词表的研究获得了成功，从而掀起了语 音识别的研究热潮
第1章 绪论
1.2 语音识别发展概况
谁先提出动态时间弯折（DTW）算法？
是采用动态规划技术将一个复杂的全局 1960年代末期，苏联学者 Vintsyuk提出了采用动 最优化问题转化为许多局部最优化问题， 态规划方法解决两个语音的时间对准问题 一步一步地进行决策
第1章 绪论
1.1 概述
1939年，H.Dudley研制成功第一个声码器
打破了以前的“波 形原则”，提出了一 种全新的语音通信技 术，即提取参数加以 传输，在收端重新合 成语音。 其后，产生“语音 参数模型”的思想
A block schematic of Homer Dudley’s VODER
1.1 概述
为什么要学习和研究语音信号处理技术？
语音是最自然、最有效、最方便的人机（人与人）交互手段
国内外各大公司（研究机构）一直从事语音信号处理研究
语音信号处理技术用途非常广泛 卡耐基梅隆大学、剑桥大学、爱丁堡大学、华盛顿大学、 语音信号处理技术远未成熟，需进一步改进 车载语音：汽车导航、空调、车窗、影音等的语音控制 清华大学、中科大、中科院 等一直从事语音处理研究 语音信号处理技术始终与当时信息科学中最活跃的前沿学科保 呼叫中心： 交互式语音应答的补充、服务质量评估、增强安全性等 噪声环境下语音处理系统性能急剧下降 2011 年苹果公司推出 Siri (Iphone4S的语音控制功能) 移动终端： 语音秘书、语音播报、语音输入法、语音听写系统 说话人发音方式、口音变化等将导致系统性能下降 持密切的联系，并且一起发展 2010 年科大讯飞推出新一代 “语音云”平台 教育和娱乐： 语音教具、语音（普通话）评测、智能语音家电和玩具 2011 训练和测试数据差异较大时，系统性能将下降 年腾讯公司推出 QQ云语音面板 比如：机器学习、小波分析、模式识别、神经网络、人 公共安全及服务： 语音监听与跟踪、家庭服务、宾馆服务、旅行社 …… Nuance, Google, 微软 , IBM, , 盛大,华为等也投入巨资 工智能等