基于深度学习的藏文分词关键技术研究[]

基于深度学习的藏文分词关键技术研究[ ]摘要：藏语信息化处理对于藏语的传承与发展具有重要意义。

目前我国对于藏语信息化研究已经具有较高水平。

其中，藏文分词是藏文信息处理的基础任务，受到藏文研究人员的广泛关注。

现阶段，在藏文分词任务中，主要的研究方法从传统的方法（字符串匹配和统计分词）转向深度学习。

本文结合传统方法和深度学习的优势，提出了基于条件随机场（CRF）和自注意机制（Self-Attention）的藏文分词算法Self-Attention CRF。

通过藏文分词数据集，并进行实验，本文的算法在精准率提升了1.9%、召回率提升了1.2%、F1分数指标提升了3.2%。

关键词：藏文信息化；藏文分词；深度学习；条件随机场；自注意力机制1.引言藏族文字（藏文）作为历史悠久的文字，用独特的书写符号记录和传承珍贵的藏族文化。

现阶段，随着数字化、信息化时代的到来，藏文信息化使得藏文研究换发出新的生命力。

藏文分词是藏文信息处理的基础和前提[1]。

而藏文与汉语在语法上存在较大差异，因此，需要针对藏文的特殊语法结构设计分词算法。

传统的藏文分词方法有字符串匹配方法和统计分词方法，取得了较为理想的分词效率和分词结果。

随着深度学习和藏语语料的不断发展，基于深度学习的[2,3,4]藏文分词方法获得了较大关注。

但是，现有分词方法存在以下局限：（1）传统藏文分词方法精度上低于深度学习方法；（2）深度学习的分词方法, 以循环神经网络（Recurrent neural network，RNN）[5]和长短期记忆网络（Long short-term memory, LSTM）[6]为例，训练效率较低，下一个分词结果需要等待前一个结果输出。

并且，该模型无法更大范围获得上下文信息。

因此，本文基于现有藏文分词方法，结合传统方法的和深度学习方法的优势，克服以上局限，主要贡献如下：（1）构建藏文分词数据集；（2）引入自注意力机制self-attention [7]，并行提取藏文文本信息；（3）提出基于条件随机场CRF[8]和自注意机制self-attention[7]的藏文分词算法，进一步提升藏文的分词模型的精度和效率。

2.相关工作本节将具体介绍藏文分词的两类方法：传统分词方法和基于深度学习的分词方法。

2.1传统分词方法我们将传统分词方法分为基于字符串匹配和基于统计的分词方法。

2.1.1 字符串匹配方法基于字符串匹配的分词算法又称作机械分词方法。

该方法按照一定的滑动（扫描）方式将待分词的句子中的词条与语料库中的词进行匹配，然后返回分词结果。

以正向最大匹配算法为例：首先需要给定一个最大的词条长度，假设定义最大词条长度（滑动窗口的长度）为max_num=3，我们首先取出句子的前3个字符，看前3个字符是否存在于词库中，如果存在，则返回第一个分词，滑动窗口向后滑动3个位置；如果不存在，我们把滑动窗口从右向左缩小1，判断前两个字符是否存在于词库，如果存在，则返回这个分词，滑动窗口向后滑动2，不存在则继续缩小滑动窗口......直至将整个句子遍历完，就得到了最后的分词结果。

2.1.2 统计分词的方法在基于统计的分词方法应用统计学习模型，分析分词（词语切分）规律，实现对藏文文本的分词过程。

基于统计分词的方法的关键步骤为：（1）按照统计模型得出分词结果；（2）在分词结果中得出概率最高（结果）最好的模型。

目前，基于统计的分词方法有：N元文法模型（N-gram），隐马尔可夫模型（Hidden Markov Model ，HMM）[40]，最大熵模型（ME），条件随机场模型（Conditional Random Fields，CRF）等。

2.2基于神经网络的分词方法基于神经网络的方法在自然语言处理中，以循环神经网络（RNN）模型为主。

RNN模型是基于过去的输入和当前的输入，预测下一个输出结果。

RNN模型在藏语分词任务重取得了较好的结果。

但是对于长文本分词任务效果不佳。

随后，基于Long short-term memory（LSTM）的方法有效的解决了该问题。

综上：传统的分词方法和基于神经网络的分词方法各具优势。

本文研究如何结合两类方法的优势，设计精度和准确率更高的藏文分词算法。

3.方法设计本节主要介绍基于基于条件随机场(CRF)和自注意机制(Self-Attention)的藏文分词算法(如图1所示)。

图1 藏文分词算法CRF-Attention架构图3.1藏文数据集构建本文研究的藏文数据是通过网络爬取工具爬取藏文数据。

然后通过人工校验进行人工分词和表述。

因此，本文所构建的藏文数据集包含11215条藏文文本数据集。

我们将其命名为Tibetan-Words.3.2分词算法Self-Attention CRF本文设计的分词算法为：基于条件随机场和自注意机制的藏文分词算法（CRF-Attention）（架构图如图1所示）。

因此，CRF-Attention算法分为两个模块：CRL和Self-Attention。

3.2.1 Self-Attention模块（1）词向量初始化首先我们应用词向量(word2vec)算法，将输入的藏文文本转为词向量。

并且，由于word2vec不包含词向量的位置信心，在中增加词向量的位置信息。

其中，是每个词的位置向量。

（2）自注意力机制（Self-Attention）在Self-Attention模块中，使用点乘计算词向量之间的相关性。

例如，输入的词向量是X，每个单位应用向量乘法，初始化关键向量Key （K），查询向量Query (Q)，评估向量V (V)：（1）然后，通过注意力机制获得嵌入向量：（2）最后，通过前馈神经网络( feed-forward neural network, FFN)生成最后输出向量Z：Z= FFN(按照以上计算过程，输入藏文词向量被依次转为基于注意力机制的向量表示。

（3）多头自注意机制（Multi-headed Self-attention）为了提升注意力机制的性能，我们引入多头自注意力机制（Multi-headed Self-attention），希望基于相同的注意力机制学习到不同的词嵌入表达。

并且，将不同的自注意机制的词向量连接组合。

我们的目标是创建一个上下文向量作为注意力模型的输出。

因此，要将各个注意力头产生的上下文向量被连接成一个向量。

本文采用4头注意力，也就是四组自注意力机制Self-attention的组合。

= Concat(3.2.2 CRF 模块在Self-Attention模块后，我们设计对接基于条件随机场（CRF）的模块，选择概率最大的分词位置。

CRF模块是一个基于标注方法的序列化模块，输入一组藏文词向量序列。

输出具体藏文分词的位置。

如图2所示，X代表输入序列，Y代表输出序列。

进入CRF模块的X是Self-Attention模块的输出。

Y是在随机变量条件和X的输入条件下的最后概率分布结果：P(Y|X)。

图2 CRF处理过程3.3实验结果3.3.1 实验环境本文所进行的实验环境为操作系统：Ubuntu 18.04，Python 3.8，深度学习框架为Pytorch。

服务器处理器（CPU）是英特尔i7处理器，GPU是英伟达 GGeForce RTX 3080。

3.3.2 评价指标本节介绍本文藏文分词具体评价指标精准率、召回率和F1分数。

首先我们从误差矩阵开始介绍。

误差矩阵也叫混淆矩阵（confusion matrix），不同的侧面反映了分类任务的精度。

实际上，在分类任务中，通过比较预测结果和实际结果，获得对整个分类任务的评价和衡量结构。

对于本文中的藏文分词任务，我们实际上是一个二分类系统，输入的结果是加入分词符号，或者不加入分词符号。

因此，对于一个关于加入分词符号的二分类系统，我们把结果分为两类：正类（Positive）、负类（Negative），则结果分类器有四种分类结果：TP（True Positive）：正确的正例，一个实例是正类并且也被判定成正类FN（False Negative）：错误的反例，漏报，本为正类但判定为假类FP（False Positive）：错误的正例，误报，本为假类但判定为正类TN（True Negative）：正确的反例，一个实例是假类并且也被判定成假类在本文中，我们应用的评价指标有：（1）精准率：即正确预测为正的占全部预测为正的比例（2）召回率：正确预测为正的占全部实际为正的比例（3）F1分数：一般来说，精确度和召回率之间是矛盾的，这里引入F1-Score作为综合指标，就是为了平衡准确率和召回率的影响，较为全面地评价藏文分词模型。

因此，需要综合考虑精确率（Precision）和召回率（Recall）的结果，较为全面地评价一个分类器。

F1是精确率和召回率的调和平均。

F1-score 越大说明模型质量更高。

3.3.3 实验结果本文在基于Self-Attention和CRF模块的分词算法Self-Attention CRF，在Tibetan-Words数据集上进行藏文分词。

我们应用RNN、RNN CRF、LSTM、LSTM CRF、作为基线算法。

如表1所示:模型名称准确率(%)召回率(%)F1分数(%)RNN89.290.189.6 RNN CRF87.687.287.3 LSTM89.988.990.4 LSTM CRF8787.687.6 Self-Attention CRF91.891.293.2表1 藏文分词结果我们可以看到本文提出的Self-Attention CRF的模型具有明显的优势：其中精准率提升了1.9%、召回率提升了1.2%、F1分数指标提升了3.2%。

5. 结束语本文首先分析了现有藏文分词算法的优势和劣势。

通过结合传统分词方法和深度学习的分词方法的优势，提出了基于基于条件随机场（CRF）和自注意机制（Self-Attention）的藏文分词算法Self-Attention CRF。

并且，建立藏文分词数据集。

Self-Attention CRF算法在本文所建立的藏文分词数据集上，对于藏文分词的结果进行全面提升。

参考文献：[1] 关白.信息处理用藏文分词单位研究[J].中文信息学报,2010,24(03):124-128.[2] 游治勇. 基于字的分词方法的研究与实现[D].电子科技大学,2015.[3] Xue N. Chinese word segmentation as character tagging[C]. International Journal ofComputational Linguistics & Chinese Language Processing, Volume 8, Number 1, February2003: Special Issue on Word Formation and Chinese Language Processing. 2003: 29-48.[4] Mnih V, Heess N, GravesA. Recurrent models of visual attention[J].Advances in neuralinformation processing systems, 2014, 27.[5] Dyer C, Kuncoro A, Ballesteros M, et al. Recurrent neural network grammars[J]. arXiv preprintarXiv:1602.07776, 2016.[6] Hochreiter, Sepp, Schmidhuber, et al. Long short-termmemory.[J]. Neural Computation, 1997.[7] Vaswani A, Shazeer N, Parmar N, et al.Attention is all you need[J]. Advances in neuralinformation processing systems, 2017, 30.[8] Lafferty J, McCallum A, Pereira F C N. Conditional random fields: Probabilistic models forsegmenting and labeling sequence data[J]. 2001.基金项目：青海省重点研发与转化计划—科技成果转化专项项目“‘云藏’高效爬虫及检索系统优化与集成”(2020-GX-164)。