8件：基于trigger对的长距离蒙古语语言模型0625

基于trigger对的长距离蒙古语语言模型*

刘志文1, 侯宏旭1, 李沙茹拉2，柳林1

(1.内蒙古大学计算机学院，内蒙古呼和浩特010021；

2.内蒙古大学电子信息工程学院，内蒙古呼和浩特010021)

摘要:为了克服在蒙古语语言模型建模过程中n-gram缺乏长距离信息的弱点,本文在统计语言

模型的基础上,提出了一种基于trigger对的长距离蒙古语语言模型，该模型采用统计方法进行自

然语言建模。本文简要介绍了基于trigger对的长距离蒙古语语言模型，并给出了句长补偿、参

数估计和数据平滑方法，并在汉语-蒙古语机器翻译系统实现了该方法，实验结果表明该技术克

服了n元文法语言模型描述距离小于n的缺点，并提高了翻译效果，该模型也为自然语言建模

提供了一定的参考。

关键词: trigger对；蒙古语；语言模型；平滑

中图分类号：TP391文献标识码：A

Long-Distance Mongolia Language Model Based on

Trigger Pair

Liu Zhiwen1, Hou Hongxu1, Li Saragul2, Liu Lin1

(1. College of Computer Science, Inner Mongolia University, Hohhot 010021,China;

2. College of Electronic Information Engineering, Inner Mongolia University, Hohhot

010021,China;)

Abstract: To overcome the n-gram’s lack of long-distance information in Mongolian language

modeling process, this paper puts forward to long-distance Mongolia language model based on trigger

pair to natural language modeling process. Long-distance Mongolia language model adopts the

statistical method to setting up the natural language models. This paper introduces the long-distance

Mongolia language model, gives methods of sentence compensation, parameters estimate and data

smoothing. The experimental results show that this model can overcome the shortcoming of n-gram

model that it only can describe the word pairs being less then n words apart, improves the translation

results, and also provide some reference for setting up the natural language models.

Key words: Trigger pair; Mongolian; Language model; Smoothing

1引言

统计语言模型[1]在机器翻译、文字处理、文字检索等领域有着广阔的应用。作为机器翻译的一项基础性工作，蒙古语语言模型的建立不能照搬汉语、英语等语言中使用的语言模型方法[2]。本文作者针对蒙古语语言的特点提出了一种新的蒙古文统计语言模型，即基于trigger

*基金项目：内蒙古自然基金项目“蒙古语文本语言模型的构建研究”(200607010805)资助

作者简介：刘志文(1982～)，男，硕士研究生，主要研究方向：信息处理。

通讯作者：侯宏旭（1972～），男，副教授，主要研究方向：中文信息处理。

对的长距离蒙古语语言模型，并应用于汉-蒙机器翻译系统[3]。

蒙古语属于黏着型语言。蒙古语的构词，构形都是通过在词干后缀接不同的词尾而实现的，并且它们还可以层层缀接，这使得蒙古语词法形态变化丰富且复杂[4]。

蒙古语的构形附加成分负载着非常丰富的语法信息，所以如果只对整词（即词干+构形附加成分）或者词干进行统计，就会丢失大量语法信息，而这些信息对蒙古语语言模型的构建有着举足轻重的意义。所以有必要对蒙古语词干、词缀进行统计来得到语言模型信息。但是，在对蒙古语词干、词缀切分后进行统计，又会带来新的问题。以下面这句“工厂里工人们在工作”为例：

名词“工人们”可以切分为一个词干和两个词缀，这会带来问题：如果用常用的n-gram 来分析，分析的结果常常会是某个字内部的词干词缀的关系，而没有反应出两个或更多文字之间的联系。以常用的3-gram为例[5]，语言模型信息可以反映出3个字之间的关系，而蒙古语在进行了词干、词缀切分后，如果依然使用3-gram，那么反映出的可能是2个字甚至1个字的关系，而连3-gram可以反应3个字的长度都不足了。为了能够反映出更长距离的相关信息，作者使用了trigger对来描述更长距离上的关联信息[6]。

如果词A的出现使得后文中词B出现，则称（A→B）为一个trigger对[7]。其中A称作触发者（trigger），B称作被触发者（trigger word）。在自然语言中，这种情况是非常普遍的，也就是通常所说的词的习惯搭配现象。例如：如果词“奥运会”在文中出现，那么在后文中“2008”、“北京”等词出现的可能性将大大增加，因此可以分别称（奥运会→2008）、（奥运会→北京）为trigger对。

2基于trigger对的长距离蒙古语语言模型

从trigger对的定义及选取标准可以看到，trigger对能够表达长距离的词之间的相关程度，而这种对距离限制很少的词之间的搭配是非常符合人们的语言习惯的，这恰好弥补了传统N元文法语言模型描述距离小于N的缺点。因此如能恰当地将基于trigger的语言模型与N元文法语言模型结合起来必将有助于更好地描述语言的统计特性，进而提高机器翻译系统的性能。但这并非是一件易事，trigger对是一种比较灵活的表达方式，如何利用trigger对提供的信息实现基于trigger对的模型还是一项新的研究工作。

构建基于trigger对的语言模型都需要选择一个合适的度量标准并据此保留所需数目的trigger对。

一个最简单的控制trigger对数目的方法就是给历史加窗，即限制trigger对的最长约束距离。一般说来，这个参数并无精确要求，可以根据经验在合适范围内选取。大量文献认为：在历史中最近的六个词已包含了绝大部分信息。文中在选择trigger对的实验中，由于一个蒙古语文字可能切分为多部分，故窗长限制取为9，即只考虑当前词的前9个词作为历史。

trigger对选取的距离由于trigram的存在，最短距离从4开始，最长距离用9。

基于trigger对的长距离蒙古语语言模型认为第i个符号的出现是由于第i个符号做为被触发者所构成的trigger对来决定的，而一个句子第i个符号做为被触发者可能会与前面多个符号构成trigger对，这时则认为强度由其中最强的来决定。

基于trigger对的长距离蒙古语语言模型的得分标准采用如下方法：

∑=

+ +

=

n

i

i

L

i

i

i

n trigger

w

w

P

w

w

P

MAX

w

w

w

P

13

2 1

)]

|

(

),...,

|

(

[

log

)

...

( log

其中

表示的是句子的trigger 对得分；表示i

w 出现条件下3+i w 出现的条件概率；L 表示trigger 对窗口的最大距离，本文中即为9。

3基于trigger 对的长距离蒙古语语言模型的句长补偿

如果源蒙古语句子A 可以通过我们的汉-蒙机器翻译系统得到不同的翻译结果：A 1、A 2、…A n ，我们希望通过语言模型来找到最好的翻译结果。

通过上步的处理后我们可以发现由于trigger 对得分要远远小于1，从翻译结果中看，得分高的句子明显倾向于短的句子。简单来说小于1的小数相乘，乘的越多值当然越小。在这种情况下，我们必须做出句长补偿。

基于trigger 对的长距离蒙古语语言模型的得分经补偿后，如下：

SLC 即句长补偿值(Sentence Length Compensation)，具体值为：

其中C 为补偿通用基数，SL 为句长。

4 基于trigger 对的长距离蒙古语语言模型的改进Katz 平滑技术

在实际应用中，笔者发现了新的问题：trigger 对稀疏问题严重。笔者分别在翻译节点为300和1000上进行了实验，对不可查找到的trigger 对数目与可查找到的trigger 对数目进行了统计，结果如下：

最多节点数。由上表可知，在不作平滑的情况下，不可查找到的trigger 对数目与可查找到的trigger 对数目比例几乎为4:6，可以说如此高的“不可查找比例”将直接导致语言模型效果很差，或者说几乎不能使用。所以必须进行平滑来保证语言模型的性能。

基于trigger 对的改进Katz 平滑仍然是对Good-Turing 的改进[8]，其基本思想是，对出现次数介于0和k 之间的trigger 对，将其按折扣率d r ,扣除一些频度，分配给次数为0的trigger 对。折扣率基干Good-Turing 估计中的r*/r 确定，折扣出的数值，根据低阶的(n-1)阶trigger 对模型分配[9][10]。

对于trigger 对（A →B ）,基于trigger 对的改进Katz 平滑的具体公式如下:

)(?)(?B A P B A P ML z triggerKaz →=→ if r>k )(?)(?B A P d B A P ML r z triggerKaz →=→ if 0

z triggerKaz α=→ if r=0 其中：

SL

C SLC =)...(log 21n trigger w w w P )|(3i i w w P +SLC

w w P w w P MAX w w w P n

i i L i i i n trigger log )]|(),...,|([log )...(log 1

321+=∑=++

*)

()()(?→→=→A c B A c B A P ML )(B A c →表示trigger 对（A →B ）的出现次数，*)(→A c 表示以A 为触发者的所有trigger 对的出现次数，)(?B A P ML

→表示trigger 对（A →B ）的最大似然概率。

1

1

*1)1(11

)1(n n k n n k r r d k k r ++-

++-=

)(?1)

(?1)(0

)(:0)(:B A P

B A P A ML

B A c B z triggerKat B A c B →∑-→∑-=>→>→α 折扣系数d r 按着下面的方法计算:出现次数大于5(k 取5)的trigger 对次数保持不变,对于d r >k 的trigger 对，d r =1;对于r<=k ，d r 产生的折扣数量与Good-Turing 估计预测的折扣数量成正比，并且所有的trigger 对折扣出来的数量总和等于根据Good-Turing 估计赋予零概率的数量总和。

5 基于trigger 对的长距离蒙古语语言模型特点

基于trigger 对的长距离蒙古语语言模型是因为蒙古语具有词干、词缀的特点，所以有必要对蒙古语语料进行词干、词缀切分后再进行语言模型建模。但这会使传统使用的n-gram 建模方法缺乏长距离信息的缺点凸显。而基于trigger 对的长距离蒙古语语言模型很好的利用了词干、词缀的特点，也解决了缺乏长距离信息的缺点，从而使得机器翻译准确性得到很好的提高。

w 1表示词1，w 11、w 12表示由w 1按词干词缀分解出的第1、2部分。

图 1传统trigram 模型

图 2切分词干词缀的蒙古语trigram 模型

图 3基于trigger 对的长距离蒙古语语言模型

6 实验

6.1 平台简介

我们在一个汉-蒙机器翻译系统[11]上实验了基于trigger 对的长距离蒙古语语言模型技术。

这个汉蒙机器翻译系统是一个基于实例的汉蒙机器翻译系统[12][13]。在这个系统中，语言模型用于评价候选翻译的好坏。 下面是两个候选翻译的例子。

S ：要/v 提防/v 小偷/n

(-90.41) T 1：HVLAGAYICI –ECE HICIYE +HU HEREGTEI HEREGTEI (-85.758) T 2：HVLAGAYICI –ECE HICIYE +HU HEREGTEI S 是待翻译的句子，T1是机器翻译引擎生成的两个候选翻译结果。我们采用的评价方法就是分别计算这两个句子的困惑度。括号中的数字就是T1和T2的困惑度。困惑度是小于等于0的值，越大说明困惑度越小，即越可能是合法的句子。在给出的例子中，由实例生成翻译结果时第二个“HEREGTEI”是片段组合时生成的冗余词。我们可以看到T2的结果要更好一些。

由于汉蒙机器翻译的测试平台相对缺乏，没有汉英机器翻译的国际评测的便利，我们自己设计了一个汉蒙机器翻译的测试平台。 在这里，我们给出了一个具有100个日常对话句子的测试集，并由以蒙古语为母语的人翻译成蒙古语。每个句子有4个蒙古语参考答案。下面是两个测试语句的例子。

S ：我 想 参加 一 个 旅游 团 。

T 1：BI NIGE JIGVLCILAL-VN BOLHOM-DU 0R0LCAY_A GEJU B0D0JV BAYIN_A. T 2：BI NIGE JVGACIL-VN BOLHOM-DU 0R0LCAHV SANAG_A-TAI.

T 3：BI NIGE JIGVLCILAL-VN BOLHOM-DU 0R0LCAY_A GEJU SANAJV BAYIN_A. T 4：BI NIGEN JVGACIL-VN BOLHOM-DU 0R0LCAY_A GEJU BAYIN_A. S ：有 这 个 吗 ？ T 1：ENE BAYIN_A VV?

T 2：ENE YAGVM_A-TAI VV?

T 3：ENE YAGVM_A BAYIHV VV? T 4：ENE YAGVM_A BAYIN_A VV?

实验时将汉-蒙翻译系统中的原语言模型[14]得分：

改为：

关键是权值的分配，实验中采用最小错误训练来得到。 6.2 提取语料库中的trigger 对、平滑参数获取

本次提取语料库中的trigger 对实验是在Visual C++6.0的基础上实现提取蒙古语文本中的trigger 对系统。实验所用的文本数据是1.3M 蒙古语文本文件。

)

...(log *)...(log *)...(log 212213121n trigger n gram n w w w P w w w P w w w P λλ+=)

...(log )...(log 21321n gram n w w w P w w w P =

在实验中，不只提取文本中的trigger 对的数值)(B A c →，还需要统计出计数值：

*)(→A c ，)(?B A P ML →，r d ，)(?B A P z triggerKaz →

这些数值的计算量是非常大的，对于二元模型来说，一个长度为n 的句子，其计算量为O(n)，而对于trigger 对来说，复杂度为O(nk)，其中k 是trigger 对的距离。由前文可知，我们在实验中k 的范围是4-9。下表是使用trigger 对时所用的信息。

表 2 trigger 对模型的计数文件

下表是使用trigger 对时所用的d r 信息。

6.3 基于trigger 对的长距离蒙古语语言模型测试比较实验

本文作者将针对基于trigger 对的长距离蒙古语语言模型进行相关的实验，以测试其性能。

在翻译节点为300上，bleu 和nist [15]得分结果如下：

图 4 模型权值与bleu. nist 得分变化情况

上图表明了基于trigger对的长距离蒙古语语言模型权值λ2与该权值下所获得的最大blue与nist得分的变化情况。

图5补偿基数与bleu、nist得分变化情况

上图表明了补偿基数C与该补偿基数权值下所获得的最大blue与nist得分的变化情况。

在翻译节点为300情况下，对基于trigger对的长距离蒙古语语言模型进行了实验，bleu 和nist得分结果如下：

表4

翻译节点为300情况下bleu与nist得分情况

翻译节点为1000情况下bleu与nist得分情况

表5

7 结论

本文主要致力于构造基于trigger对的长距离蒙古语语言模型，并重点研究了基于trigger 对的长距离蒙古语语言模型的katz平滑技术对汉-蒙机器翻译系统识别率的影响，工作和结论总结如下：

1）在词干词缀的基础上加入trigger对长距离信息建立蒙古语语言模型是可行的，trigger 对可以很好地用来反映蒙古语长距离语言信息，从而解决N-gram在长距离上的信息缺乏问题。2）将基于trigger对的长距离蒙古语语言模型与传统的3-gram语言模型结合，非常有效的提高了机器翻译的准确性。3）基于trigger对的katz平滑技术可以有效的改善基于trigger对的长距离蒙古语语言模型的性能。

参考文献

[1] 王小捷，常宝宝，自然语言处理技术基础[M]，北京:北京邮电大学出版社，2002.

[2] 那顺乌日图.关于在蒙古语文研究中运用统计学方法的问题[J]，民族语文，1993，5.

[3] 那顺乌日图.关于“汉蒙机器翻系统”[C]，ALTAI HAKPO(Journal of the Altai society of Korea)，2001.

[4] 伊·达瓦; 张玉洁; 上园一知等，蒙古语语言-文字的自动化处理，中文信息学报，2006，20（4）：68-74.

[5] 梁奇; 郑方; 徐明星等，基于trigram语体特征分类的语言模型自适应方法，中文信息学报，2006，20

（4）：68-74.

[6] 侯宏旭，刘群，刘志文. Skip-N蒙古文统计语言模型[J]. 内蒙古大学学报（自然科学版），2008，39 (2):

220-224.

[7] 苏韬，孙甲松，王作英，基于Trigger的长距离语言模型[J]，计算机工程与应用，2002，(18)：59～61

[8] 徐志明，王晓龙，关毅，等.N-gram语言模型的数据平滑技术.计算机应用研究.1999,7:37～39

[9] Stanley F. Chen and Joshua Goodman著An Empirical Study of Smoothing Techniques for Language

Modeling.TR-10-98.Harvard Univ.1998-08.

[10] Katz S M. Estimation of probabilities from sparse data for the language model component of a speech

recognizer. IEEE Transactions on ASSP, 1987,35(3):400～401.

[11] 侯宏旭，刘群，那顺乌日图，等，基于实例的汉蒙机器翻译，中文信息学报，2007, 21(4):65-72

[12] Andreas Stolcke. SRILM –an extensible language modeling toolkit[C]. In Proceedings of International

Conference on Spoken Language Processing, 2002，2：901～904.

[13] Hongxu Hou，Dan Deng，Gang Zou，et al. An EBMT System Based on Word Alignment[C], Proceeding of

International Workshop of Spoken Language Translation, 2004：47～49.

[14] 刘群，詹卫东，常宝宝，等.一个汉英机器翻译系统的计算模型与语言模型[C]，第三届全国智能接口

与智能应用学术会议,1997:253～258.

[15] 侯宏旭，刘群，张玉洁，等.2005年度863机器翻译评测方法研究与实施[J]，中文信息学报，2006，

20,(z1):7～18.