普通话语音识别

K M m
i, k
调整。
表 1 基于距离度量的基元扩展准则 条件 类别
d ≤T 1 T 1 < d ≤T 2 d> T 2
0
1
2
在确定了扩展识别基元之后, 利用扩展识别基 元集合对方言普通话语音进行重新标注。 采用强制 对齐的方法 重新标注, 首先要解决的问题是如何 得到用于强制对齐的初始声学模型。 初始模型的生 成遵循以下规则: 1) 对于符合类别 0 的基元, 其初 始 HMM 直接由对应标准普通话 HMM 得到。 2) 对 于符合类别 1 的基元, 其初始 HMM 直接由对应的 方言普通话 HMM 得到。 3) 对于类别 2 所包含的基 元, 由于要产生一个新基元, 其初始模型由标准普通 话 HMM 和 方 言 普 通 话 HMM 之 间 进 行 插 值 得 到 , 在本文中插值系数为 0. 5。
Sma ll da ta set- ba sed acoust ic m odel ing for d ia lecta l Ch inese speech recogn it ion
LI U L inqua n , ZHENG Fa ng , W U W e nhu
(D epartm en t of Com puter Sc ience and Technology, Tsinghua Na tiona l Labora tory for Informa tion Sc ience and Technology, Tsinghua Un iversity, Be ij ing 100084, Ch ina ) Abstract: A sm all developm en t set is u sed to sign ifican tly i m p rove the perfo rm ance fo r dialectal Ch inese speech recogn ition. A un it expan sion m ethod based on the acou st ic d istance is u sed to deal w ith the sound changes betw een standard Ch inese and d ialectal Ch inese, esp ecially w hen g iven on ly a sm all am oun t of d ialectal Ch inese data. T hen the expanded un its are fu rther in teg rated in to a state2dep enden t p honem e2based m odel m erging m ethod. W ith a developm en t set of on ly 1. 0 hou r of Shanghai2d ialectal Ch inese, these m ethods gave a relative syllab le erro r rate (SER ) reduction of 17. 3%. W hen com b ined w ith o ther adap tation techn iques, the m ethod ach ieved a fu rther SER reduction of 6. 6% , w ith the relative SER reduction being 5. 4% m o re than u sing adap tation on ly. Key words: speech recogn ition; acou stic m odeling; d ialectal Ch inese; m odel m erging; un it exp an sion
细分小的方言达上千种。 面对如此繁多的方言普通 话, 采用何种策略来构建识别模型, 既省时又有效是 研究中的关键问题。 我们利用少量方言普通话数据 并结合标准普通话识别模型, 对普通话进行语音识 别。 对于方言普通话, 在发音层面可能造成音节或者 声韵的音素替换, 也可能造成声音变化。 对于前者, 可以通过在发音字典中增加体现方言普通话发音特 [1 ] 点的发音变化来加以解决 。 对于后者, 本文提出了 一种新颖的方言普通话识别声学建模方法。 在实际 应用中, 由于受到方言发音习惯的影响, 标准普通话 的识别基元集合, 尤其在口音较重的情况下, 不能很 [2 ] 好地刻画方言普通话的发音特点 。 本文针对标准普通话和方言普通话的发音差 异, 利用距离度量作为生成准则, 对标准普通话的声 韵集进行了扩展, 之后在扩展声韵集的基础上进行 [3 ] 了状态相关的基于基元的模型归并 (SD PBMM ) 。 另外, 在小数据量情况下, 自适应是提高识别率最常 [4 ] 用的方法 , 因而将前 2 种方法与自适应方法相结 合, 进一步提高了识别率。本文利用 1 h 的上海普通 话语音作为开发集, 实现了对以上三种方法的结合。 实 验 表 明, 相 对 于 基 线 模 型, 音 节 错 误 率 降 低 了 23. 9% 。
N
∑ ∑Ξ
k= 1 m
i, k
= 1
n
∑Ξ
jБайду номын сангаас k
n
= 1
j, k
d ( g m i, k , g n j , k ) ,
( 1)
其中,
d (g 1 , g 2 ) = (u 1 u 2) 2
T - 1 2
( u 1 - u 2 ).
( 2)
式中 Κ i 和 Κ j 分别表示通过标准普通话和方言普通 话训练得到的上下文无关 HMM ; d ( g 1 , g 2 ) 表示任 意 2 个 Gau ssian 混合的M aha lanob is 距离。在此基 础上, 定义了 2 个阈值 T 1 和 T 2 , 作为准则来量化是 否产生新基元。 根据距离将所有的标准普通话基元 分成 3 类, 如表 1 所示。 事实上, 新基元只在类别 2 中, 即 d > T 2 的情况下产生, 此时认为对于同一个 发音, 标准普通话与方言普通话之间存在比较大的 差异, 需要生成一个新的基元来增加此发音在声学 空间的覆盖度。 T 1 和 T 2 定义为所有距离均值的倍 数, 并且 T 1 < T 2。 通常, T 1 和 T 2 通过实验结果进行
ISSN 100020054 清华大学学报 ( 自然科学版) 2008 年 第 48 卷 第 4 期 CN 1122223 N . 48, N o. 4 J T singhua U n iv ( Sci & T ech ) , 2008, V o l
h ttp:
w 39 . net. cn qhxbw. ch ina jou rna l
近年来, 口音问题在语音识别领域受到越来越 多的关注。 我们把地域性的带口音的普通话称之为 方言普通话。 受母方言的影响, 一般人的普通话或多 或少都带有一定的地域特征。 我国有八大方言区, 再
606
清 华 大 学 学 报 ( 自 然 科 学 版)
2008, 48 ( 4)
话发音习惯的影响, 因此方言普通话与标准普通话 又存在很多的相似性。 文 [ 5 ] 给出了上海普通话与标 准普通话在发音层次上的差异, 这些差异可能由发 音习惯、 舌位、 音调等因素造成。 例如在文 [ 2 ] 中标准 普通话的韵母 ie, 在上海普通话中由于舌位不同还 有 2 种相应的发音变化, 即, ie< 和 ie^ ; 另一方 面, 这 2 种发音变化又与其标准普通话发音 ie 有着 密切联系, 是其发音变体。 理论上, 在标准普通话识 别基元的基础上生成针对方言普通话的识别基元集 合能够有效提高识别率, 为此, 与以往由语音学专家 [2 ] 定义识别基元集合不同 , 本文提出了基于数据驱 动方式的针对方言普通话的识 别 基 元 自 动 生 成 方法。 本文规定 2 个基元的相似度由其模型的声学距 离来度量, 距离越小, 说明标准普通话与方言普通话 之间发音变化越小, 反之, 则认为两者之间存在较大 的差异。 为了增加基元模型在声学空间的覆盖度, 对 于这种距离比较大的情况, 考虑增加新的识别基元。 当然, 这种增加要充分考虑到模型的复杂度以及方 言普通话数据量, 否则, 可能造成系统识别率下降和 数据稀疏等问题, 实际中, 一般是二者的折衷。 本文采用了非对称的M aha lanob is 距离作为度 量准则, 主要是考虑到标准普通话和方言普通话发 [6 ] 音的不对称性 , 其定义如式 ( 1) 和 ( 2) 所示。 考虑到 方 言 普 通 话 数 据 量 的 限 制, 只 用 上 下 文 无 关 的 式 ( 1) 表示了具有相同拓扑结 HMM 作为对比模型。 构 ( 都 有 K 个 状 态) , 但 分 别 包 含 M 和 N 个 Gau ssian 混和的上下文无关 HMM 的声学距离: D (Κ i, Κ j) =
基于小数据量的方言普通话语音识别声学建模
刘林泉, 郑 方, 吴文虎
( 清华大学 计算机科学与技术系, 清华信息科学与技术国家实验室, 北京 100084)
摘 要: 为在少量数据情况下显著提高方言普通话的识别 率, 针对标准普通话和方言普通话之间发音差异是连续变化 的特点, 在少量方言普通话的基础上, 提出了基于距离度量 的识别基元扩展方法, 并将扩展基元与状态相关的基于基元 的模型归并方法相结合。采用 1 h 的上海普通话数据作为开 发集, 用本方法, 使音节错误率降低了 17. 3% 。另外与自适 应方法的结合使用, 还可以将音节错误率再降低 6. 6% , 这 比单纯应用自适应方法错误率多降低了 5. 4% 。 关键词: 语音识别; 声学建模; 方言普通话; 状态归并; 识 别基元扩展 中图分类号: T P 391 文章编号: 100020054 ( 2008) 0420605204 文献标识码: A
[4 ] [7 ]
2 状态相关的基于基元的模型归并