语音识别基础讲义07

第七章连续语音识别系统

7.1连续语音识别问题的难点

连续语音识别有两个重要问题是孤立（字）词识别所没有的。

（1）单词切分

任何语言中，短语（或词组）和句子的数量都是非常大的。因此，一般情况下，以短句和句子为单位进行模式识别是不恰当的。这就需要把连续语音分割成比短语更小的单位，例如单词甚至“子词”（所谓子词(Subword)是指建立在语言学意义上的小于词的语音单元，比如：音素、双音、类双音、半音节和音节等单元）。以单词为单位进行模式匹配来识别连续语音，这就是所谓连续单词语音识别。但是，对连续语音进行分割是困难的，主要因为连续语音句子中各单词的发音之间通常是没有停顿的，即各单词之间不存在明显的边界。图7.1给出了对同一数字串的孤立发声和连续发声的例子。

（2）发音变化

连续语音中各单词的发音通常都比较自然和随便（不像发孤立单词语音那样专注和认真），因而，各单词受协同发音的影响也更为严重。

图7.1 同一数字串的孤立发声（上部）

和连续发声（下部）的例子

7.2连续单词语音识别的几种典型算法

在连续单词语音识别系统中，假设输入连续语音是单词间没有停顿的单词组成的时间序列。该时间序列通常是以句子为单位的的（句子间通常有停顿），但句子中各单词间无间隔，因而存在着以下几个问题点：

（1）单词序列的长度未知（不知有几个单词，但通常可取1到7个单词的长度）。

（3）单词序列中各单词之间的边界未知，即我们只知道单词序列的起始点和终止点，但序列内的各单词之间的边界是无以知晓的。

（4）由于协同发音的影响，导致单词边界的模糊性。从而无法明确地确定单词的边界。

（5）当给定M 个单词参考模式和L 长的待识语音模式时，就可能有M L 种组合的匹配

序列。在实际应用中，这样的计算近乎不可能。

连续单词语音识别可以用孤立单词语音识别技术来进行识别，但要对处理方法作一些修正。如比较流行的算法有：两级DP 法(two-level dynamic programming)、分层构造法(level building)和一次通过法(one pass)。其基本思路是：连续单词语音识别系统的参考模式由孤立单词的参考模式按时间顺序动态接续组合而成，识别系统把待识连续单词语音和被接续起来的单词模式序列进行匹配比较，距离最短的单词参考模式之序列就为识别结果。

图7.2为连续单词语音识别问题的示意图。即：设T = {t (1), t (2), … , t (M)}表示待识语音的特征矢量的时间序列（待识语音模式），R v = {r v (1), r v (2), …, r v (Nv)}表示单词v(v=1,2,…,V)的参考矢量的时间序列（单词参考模式），则连续单词语音识别问题就是如何寻找与T 最为匹配、最佳的单词参照模式的序列。这里，若设最佳单词参照模式的序列R *由L 个单词参照模式连接组成的话，则

R* = {R q*(1) + R q*(2) + … + R q*(L)}, (1≤q*(l)≤V)

图7.2 连续单词语音识别问题的示意图

7.2.1 两级DP 法(two-level dynamic programming)

（1）第一级计算

以输入语音的所有时点为始端b ，在所有单词参考模式之间，把终端自由的单端

点e 移动进行DP 匹配，计算并存储该部分区间(b,e)的最小匹配距离及与之对应的单 词指针。这一级的具体计算步骤为：

① 将各单词的参考模式R v (v=1, …, V)与待识模式T 中的任意部分(b, e)进行DP 匹配，求出最小匹配距离D(v, b, e)。

e D(v, b, e) = min {∑d(t (m), r v (w(m))}，(b=1, …, M; e(>b)=1, …, M)

w(m) m=b (v=1, …, V)

② 对所有R v 求D(v, b, e)的最小匹配距离D(b, e)，并记录与该参考模式所对应的单词编号N(b, e)。

D(b, e) = min { D(v, b, e) }

1≤ v ≤V

～ ～ ～ ～ ～ ～ ～

N(b, e) = argmin { D(v, b, e) }

1≤ v ≤V

图7.3为如何计算任意起始帧b 和终止帧e 之间的最佳累计距离D(b, e)的示意图。

（2）第二级计算

根据（1）的结果，仍然用DP 法求出在

整个输入语音中的累积距离为最小的单词序列，

并将其作为识别结果。

如图7.4所示，先着眼于e 点，利用k 个

连接的参考模式序列来定义到达e 点（帧）的

最佳路径的距离D k (e)。

D k (e) = min {D(b, e) + D k-1 (b-1)}

1≤b ＜e

即：在帧e 终止、且由k 个参考模式连接而成的最佳路径，正好相当于使用k-1

个参考模式连接到达b-1点的距离，再加上从b 点到达e 点的最佳路径的距离，然后 找出全体距离为最小的b 点。这一级的具体计算步骤为：

① 初始化 D 0(0) = 0，D k (0) = ∞，1 ≤ k ≤ K max

② 置k = 1，计算 D 1(e) = D(1, e)，2 ≤ e ≤ M

③ 迭代计算(k=1, …, K max )

D 2(e) = min {D(b, e) + D 1 (b-1)} ，3 ≤ e ≤ M

1≤b ＜e D 3(e) = min {D(b, e) + D 2 (b-1)} ，4 ≤ e ≤ M

1≤b ＜e D k (e) = min {D(b, e) + D k-1 (b-1)} ，k+1 ≤ e ≤M

1≤b ＜e

～ ～ — ～ — — ～ — — ～ — — ～ — — ～ — — —

终止帧e v=V 起始帧 图7.3 计算任意起始帧b 和终止帧e 之间的 最佳累计距离D(b, e)的示意图 ～ ～

④ 最终解 D* = min {D k (m)}

1≤k ≤

最后，通过路径回溯，便可得到实际参考模式的单词序列。

7.2.1 分层构造法(level building)

这里的层，指的是假设单词序列中单词的数目。分层构造法就是一个一个地增加连接的单词数量(层数)，一边求出输入语音和连接单词序列的匹配距离，找出最佳单词序列。因此，为了识别一个由L 个单词构成的单词序列，至少要构造L 层。分层构造法算法的具体步骤为：

（1）在第1层，以输入语音的起始点为始端，对所有单词参考模式进行终端自由DP 匹配。如图7.5所示，从T 的第1帧起，采用DTW 方法先将其与最初的参考模 式R 1进行非线性时间匹配。在待识语音帧m 11(1) ≤m ≤ m 12(1)的范围内，非 线性时间伸缩路径将与R 1最后的帧（第N 1帧）相交。对每个非线性伸缩路径的 终端帧，分别记录其各自的最小累计距离D 11(m)。同样，从T 的第1帧起，再将 其与长度为N 2的参考模式R 2进行非线性时间匹配。这样通过匹配，便可以得到 在m 21(1) ≤m ≤ m 22(1)范围内的最佳匹配路径。这样，反复进行匹配计算，直到 第1层V 个单词的匹配全部结束为止。因此，作为第1层的输出就为与各参考模 式相匹配而得到的最小累计距离及对应于其的终止帧的范围。即：

D 11(m)，m 11(1) ≤m ≤ m 12(1)

D 12(m)，m 21(1) ≤m ≤ m 22(1)

…

D 1V (m)，m V1(1) ≤m ≤ m V2(1)

这里，将第1层的终端范围（m 1(1) ≤m ≤ m 2(1)）定义为如下：

m 1(1) = min {m v1(1)}

1≤v ≤V

m 2(1) = max {m v2 (1)}

1≤v ≤V

并记录以下列举的参数：

D l B (m) = min { D l v (m)}：第l 层、到达第m 帧时的最佳距离

1≤v ≤V

N l B (m) = argmin { D l v (m)}：与D l B (m)相对应的参考模式之指针

1≤v ≤V F l (m) = F l (m)：到达D l B (m)之前的层的、最佳终端帧之路径回溯指针

（2）接着从第2层后开始，把前一层获得的终端范围的最佳累积距离看成是下一层的 始端匹配的初始值，然后进行两端点移动性DP 匹配。如图7.6所示，在计算第 2层时，其始端匹配的初始值范围就为：m 1(1) ≤m ≤ m 2(1)。然而，从第2层后 开始，除了其初始值范围变宽以外，所采用的DTW 方法与第1层的DTW 方法 在本质上是完全一致的。因此，在第2层，对于参考模式R 1的终端范围是：m 11 (2) ≤m ≤ m 12 (2)，而对于参考模式R 2的终端范围则为：m 21(2) ≤m ≤ m 22(2)。这 样进行下去，便可得出第2层的终端范围：

K max

— N l B (m)

m1(2) = min {m v1(2)}

1≤v≤V

m2(2) = max {m v2 (2)}

1≤v≤V

并对m1(2) ≤m≤m2(2)范围内的各个帧，可以求得：D2B(m) 、N2B(m)和F2B(m)。（3）重复操作至能够允许的最大层数Lmax，把输入语音终端的累计距离作为单词的识别结果。这里若用D*来表示最终结果的话，则D*就可以由下式求得。

D* = min { D l B(m)}

1≤l≤

L max

图7.5 分层构造法第1层计算方法示意图

图7.6 分层构造法第2层计算方法示意图

为便于对分层构造法的基本概念有进一步的理解，图7.7给出了一个两单词参考模式（等长）的说明例子。在这个例子中，假设两单词分别为A和B，相应的参考模式分别为R A和R B。另外，假设仅计算到第4层，即：l = 4。如图7. 7所示，对这个例子来说，在第1层有6个终端帧存在，待识语音的起始2帧的最佳匹配对应于参考模式R A，接下去4帧的最佳匹配则对应于参考模式R B。在第2层有10个，第3层有6个，第4层则有1个对应于第M 帧的终端存在。这样，再通过沿着一条在m=M帧终止的最佳路径向前回溯，就可以得到如下所示的最佳的参考模式序列R*。这时，待识语音的帧e1，e2，e3和e4就对应于序列R*中的4个单词的最后一个帧。

R* = {R B + R A + R A + R B}

7.2.3一次通过法(one pass)

识别系统的输入是连续语音，参考模式是孤立单词模式。连续语音与孤立单词参考模式比较仍采用动态规划的算法，即找出最佳时间匹配路径。如图7.8所示，与孤立单词识别不同的是，现在的时间匹配路径可以离开一个参考模式的终点并进入另一参考模式的起点。为此，动态规划矩阵边上所使用的局部判决函数要比矩阵中间的局部判决函数复杂一些。和孤立单词识别一样，要到所有局部判决都完成以后，才能得出最佳路径，最佳路径仍由回溯方法找出。

图7.7 两单词参考模式（等长）的分层构造法示意图图7.8 一次通过法示意图

7.3语音听写系统

基于统计模型的语音听写系统的核心是：声学模型和语言模型。

声学模型通常采用隐马尔柯夫模型，而语言模型则通常采用N-gram统计模型。

图7.1 语音听写系统的原理框图