信息处理用藏文分词单位研究

合集下载

基于深度学习的藏文分词关键技术研究[]

基于深度学习的藏文分词关键技术研究[ ]摘要：藏语信息化处理对于藏语的传承与发展具有重要意义。

目前我国对于藏语信息化研究已经具有较高水平。

其中，藏文分词是藏文信息处理的基础任务，受到藏文研究人员的广泛关注。

现阶段，在藏文分词任务中，主要的研究方法从传统的方法（字符串匹配和统计分词）转向深度学习。

本文结合传统方法和深度学习的优势，提出了基于条件随机场（CRF）和自注意机制（Self-Attention）的藏文分词算法Self-Attention CRF。

通过藏文分词数据集，并进行实验，本文的算法在精准率提升了1.9%、召回率提升了1.2%、F1分数指标提升了3.2%。

关键词：藏文信息化；藏文分词；深度学习；条件随机场；自注意力机制1.引言藏族文字（藏文）作为历史悠久的文字，用独特的书写符号记录和传承珍贵的藏族文化。

现阶段，随着数字化、信息化时代的到来，藏文信息化使得藏文研究换发出新的生命力。

藏文分词是藏文信息处理的基础和前提[1]。

而藏文与汉语在语法上存在较大差异，因此，需要针对藏文的特殊语法结构设计分词算法。

传统的藏文分词方法有字符串匹配方法和统计分词方法，取得了较为理想的分词效率和分词结果。

随着深度学习和藏语语料的不断发展，基于深度学习的[2,3,4]藏文分词方法获得了较大关注。

但是，现有分词方法存在以下局限：（1）传统藏文分词方法精度上低于深度学习方法；（2）深度学习的分词方法, 以循环神经网络（Recurrent neural network，RNN）[5]和长短期记忆网络（Long short-term memory, LSTM）[6]为例，训练效率较低，下一个分词结果需要等待前一个结果输出。

并且，该模型无法更大范围获得上下文信息。

因此，本文基于现有藏文分词方法，结合传统方法的和深度学习方法的优势，克服以上局限，主要贡献如下：（1）构建藏文分词数据集；（2）引入自注意力机制self-attention [7]，并行提取藏文文本信息；（3）提出基于条件随机场CRF[8]和自注意机制self-attention[7]的藏文分词算法，进一步提升藏文的分词模型的精度和效率。

藏语语料库词语分类体系及标记集研究

工的主要目的是使计算机能够对藏语语料库中的截语词语进行自动切分和自动标注 . 该丈在对大规模藏语语料
库进行自动切分和人工分析的基拙上提出了一个成语词语分类体系和标记集. 根据藏语语料库和计算机自动切
分和标注的实际禽要 , 在藏语词语分类体系的构建上 , 采用先分应实 , 再确定大类 , 在大类的基础上分出小类 , 再分出不同深度的子类
A 加 tr c a
nd
l U niversity , Q i n g hai, X i ni n g 8 10 00 8 , C h i n a)
t : F or th e au tom a ti e seg m en t a ti on and P O S tag ging , th i s pa per P ro po ses a T i b etan w o rd eateg o ry system an d
e y w on l K s : eom p uter ap p l ieati on ; C h i n ese inf o r m ati on pr o ees:i ng , eo rP u s;T ibetan ph rases ; ea teg o ry ; m ark g ath erin g
习研可苦习 q百呵
v气月可等);
决可冷自勺如 :
5. 形容词类 (A ) (形容词 a 气 .
气 ,气一两q 长 1西可沂 , ,二 ,二 T 等; 状态词 ;飞叭油勺如:舒补勺忿叮叨禽二补和弓万习等);
6. 副词类 ( n ) ( 副词 d 勺月 , 气可 a角盯 1如: 万石 l q日愁 , 奋气伸和衡等); 7. 叹词类 (E ) ( 叹词 e . 气叮月 , 马气 1如 :

藏文文本分类技术研究综述

藏文文本分类技术研究综述苏慧婧，群诺（西藏大学信息科学技术学院，西藏拉萨850012）摘要:该文介绍了藏文文本分类技术的研究与进展。

首先对现阶段常用的文本表示以及文本特征选择方法进行了分析和比较，接着回顾了藏文在机器学习方面的分类算法特点，深入讨论了不同算法应用在藏文文本分类技术上的研究情况，最后指出了当前藏文文本分类所面临的问题和挑战，并对未来的研究提出了建议。

关键词：藏文文本分类；文本表示；特征选择；机器学习中图分类号：TP391文献标识码：A文章编号：1009-3044(2021)04-0190-03开放科学（资源服务）标识码（OSID）：Summary of Research on Tibetan Text Classification TechnologySU Hui-jing,QUN Nuo(School of Information Science and Technology,Tibet University,Lhasa850000,China)Abstract:This article introduces the research and development of Tibetan text classification technology.First,it analyzes and com⁃pares the commonly used text representation and text feature selection methods at this stage,then reviews the characteristics of Ti⁃betan classification algorithms in machine learning,and discusses the application of different algorithms in Tibetan text classifica⁃tion technology.Finally,it points out the current problems and challenges of Tibetan text classification,and puts forward sugges⁃tions for future research.Key words:Tibetan text classification;text representation;feature selection;machine learning自然语言是人们日常使用的语言，是人类学习生活的重要工具。

信息处理用藏语副词修饰词和短语研究

的描述也需要进一步深入。对藏语副词及其功能研究
程度副词可以修饰动词和形容词，动词又分为心
是藏文形式化中一项重要工程，本文结合传统语法理理动词和非心理动词，形容词可以分为性质形容词和
论和成果与现代语言学理论，以及为计算机自然语言状态形容词。张谊生在其著作《现代汉语副词探索》
日１瑚１
９５１。
围。表示范围副词的词有：“ ’ 硼９ ’ 写面 ’ 葡１ ’ １函ｑ日１日１”等。
１ｕＩ５Ｊ１”等。３．１ “范围副词＋词 ”结构
一般地，藏语中的范围副词可修饰动词和形容词。
作行为或状态性质等所涉及的范围、时间、程度、肯定词” 。藏语心理动词也具有如上定义所阐释的特
和否定的情况，通常它被置于动词和形容词的前面，是点，例如：“ ｒ．４１１蔺１ ”它们基本上都出现在主要用来修饰动词、形容词、全句的词。本文结合现代程度副词的后面，并可以受各类程度副词的修饰。例
２．２ “程度副词＋短语 ”结构
（表１）。
表１
程度副词修饰短语的情况
３范围副词
理动作的词，它们基本上都出现在动词的前面，可以受
从藏语表达的角度看，范围副词都是用于限定范各类范围鬲０词修饰。例如：“

藏语语言模型的研究现状及展望

藏语语言模型的研究现状及展望
2. 词法分析
词法分析是自然语言处理的基础工作，其目的是将连续的文字序列划分成有意义的词
汇单元。

针对藏语词法分析的研究，主要包括分词、词性标注和命名实体识别等任务。

分
词是最基础的任务，目前已有一些基于规则和统计的方法进行研究，并取得了一定的效果。

由于藏语的特殊性和复杂性，对于分词任务的研究还存在一定的挑战。

4. 机器翻译
机器翻译是利用计算机将一种语言的文本转化为另一种语言的任务。

针对藏语机器翻
译的研究，主要包括基于规则的方法和基于统计的方法。

基于规则的方法主要是利用语法
规则和词典进行翻译，但是对于复杂结构和低频词的处理存在一定的困难。

而基于统计的
方法则是通过建立双语平行语料库，采用统计模型进行翻译，如统计短语的翻译概率等。

最近，随着神经机器翻译（NMT）的兴起，基于深度学习的机器翻译方法也逐渐受到关注。

1. 语料资源的扩充
目前，虽然对藏语的语料资源进行了一定的整理和汇总，但是仍然存在规模较小和领
域较为有限的问题。

未来需要进一步扩充和丰富藏语的语料资源，包括不同领域、不同类
型和不同语境下的数据。

3. 神经机器翻译的应用
随着神经机器翻译的兴起，其在机器翻译任务上的性能已经超过了传统的方法。

未来，可以将神经机器翻译的方法应用到藏语的机器翻译任务上，以提高翻译质量和效果。

基于音节标注的藏文自动分词研究

优先出版计算机应用研究第32卷--------------------------------基金项目：基金国家自然科学基金(61032008，61262052，61262054)；西北民族大学中央高校基本科研业务费专项资金资助项目(31920140064)；甘肃省青年科技基金(1208RJYA053)；作者简介：何向真(1977-)，男，宁夏固原人，讲师，主要研究方向为少数民族语言文字信息处理(5967148@)；李亚超(1986-)，男，河南汝州人，助教，主要研究方向为自然语言处理、词法分析；马宁(1981-)，男，宁夏吴忠人，博士，副教授，主要研究方向为自然语言处理；于洪志(1947-)，女，山东龙口人，教授，博导，主要研究方向为语音学、少数民族语言文字信息处理；．基于音节标注的藏文自动分词研究何向真，李亚超，马宁，于洪志(西北民族大学中国民族语言文字信息技术重点实验室，兰州730030)摘要：分词是藏文信息处理的基础性关键问题，是把连续的藏文音节序列组合成词序列的过程。

针对藏文分词中的特殊问题，把藏文分词问题看成判断音节在词中的位置过程，分别实现了基于最大熵、条件随机场、最大间隔Markov 网络模型等模型下的分词系统，并在同等条件下进行了实验对比。

实验结果表明，在当前四字位的标注集下，基于条件随机场的藏文分词系统取得了最好的分词结果，同时其它序列标注模型也取得了较好的效果，说明基于音节标注的分词方法可以较为有效的处理藏文分词问题。

关键词：关藏文；分词；序列标注；最大熵；条件随机场；最大间隔Markov 网络模型中图分类号：TP391.1Study on Tibetan automatic word segmentation as syllable taggingHE Xiang-zhen, LI Ya-chao, MA Ning, YU Hong-zhi( Key Lab of Chinese National Linguistic Information Technology, Northwest University for Nationalities, Lanzhou 730030 ) Abstract: Tibetan word segmentation (TWS) is the process of combination the syllables sequence into words sequence, and which is the basic problem for Tibetan natural language processing. To solve the special problems in TWS, the paper reformulated the segmentation as a syllable tagging problem, and comparative experiments are conducted at the same condition in different sequence label models. Experimental results show that the TWS system with conditional random fields achieves the best performance in the condition of four-tag, other models achieve good results at the same time, all the above show that, the segmentation as a syllable tagging problem is a better approach to deal with TWS .Key Words: Tibetan; word segmentation; sequence label; maximum entropy; conditional random field; max-margin markov networks0 引言藏文是一种拼音文字，有30个元音字母和4个辅音字母。

藏文信息处理的原理与应用电子版

藏文信息处理的原理与应用电子版
1. 藏文字符编码：将藏文字符映射为计算机能够处理的二进制编码，通常采用Unicode编码或其他自定义编码方案。

2.藏文文本分词：将藏文文本进行分词，将文本按照词语单位进行切分，方便后续处理。

3.藏文词性标注：对分词后的词语进行标注，判断其词性和语法功能。

4.藏文语言模型：建立基于藏文语料库的语言模型，用于进行自动语
言识别、句子生成等自然语言处理任务。

5.藏文文本分类与情感分析：利用机器学习技术对藏文文本进行分类
和情感分析，可以应用于舆情监测、情感分析等领域。

1.藏文机器翻译：将中文或其他语言的文本翻译成藏文，或者将藏文
翻译成其他语言。

2.藏文信息检索：实现对藏文文本的检索和索引，方便用户查找相关
信息。

3.藏文语音识别：将藏文声音转化为文字，实现对藏文语音的识别和
转录。

5.藏文文本挖掘与知识发现：通过对大规模藏文文本数据的分析和挖掘，发现其中的规律和知识，用于文本分析、情报分析等领域。

总之，藏文信息处理的原理和应用的电子化，可以帮助加速处理藏文
信息的效率和精确度，推动藏文信息化的发展。

面向信息处理的藏语虚词知识库构建研究

虚词的研究是藏语语法研究的重中之重，因此对虚词进行描述和研究显得至关重要．同样一个虚词，在不同的语境中却扮演着不同的角色．而在面向机器时，算机对这种兼类问题却计也很难做出准确的识别．以从虚词的用法出发，所建立一个基于用法的虚词知识库，观地描述出它的客
［收稿日期］２１０２—０ —２１５［基金项目】教育部人文社科规划项目“ 语语法结构描写研究” 项目号０ＹＡ４０９．国家社会科学基金项目藏（９Ｊ７０８） “ 语料库的格萨尔史诗语言研究——以《霍岭）为例” 项目号：０Ｚ３）（１ＸＷ０６阶段性成果之一．
第３卷总第８３６期
２０１２年６月
西北民族大学学报（自然科学版）
Ｖｏ，３，ｏ．ｌ３Ｎ２
ＪｕｎｌｆｏｔｅｎｅｉｒａｏａｔｓＮａｕａＳｉｃ）ｏｒａｏｒｗｓＵｉｒｔｆｔｎｌｉ（ｔｒｌｃｎｅＮｈｔｖｓｙｏＮｉｉｅｅ
其对藏语的短语和句法分析提供服务．因此，建立一个虚词的知识库是藏语自然语言处理的一项基础工程．
现代汉语虚词的研究成果丰富．尤其是汉语自然语言处理过程中建立了包括虚词在内的各种各样的语言知识库．比如俞士汶老师等的《现代汉语语法信息字典》还有刘云、．彭爽和昝红英等对面向机器
词的语法信息研究 ” ．等１藏语虚词知识库的构建１１藏语虚词知识库构建的内容．

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第２卷４
第３期
中文信息学报
ＪＯＵＲＮＡＬＯＦＣＨＩＮＥＳＮＦＥＩ０ＲＭＡＴＩｏＮＰＲ０ＣＥＳＩＳＮＧ
Ｖｏ．２。Ｎｏ＿１４．３
Ｍａｙ。 Βιβλιοθήκη １００２１年５月００
文章编号：０３０７（０００－１４０１０ —０７２１）３０２ —５
Ｋｅｒｓ：ｃｐｅｐｐｉａｉｎ；Ｃｈｎｓｎｏｒａｉｎｐｒｃｓｉｇ；Ｔｉｅａｙｗｏｄｏｍｕｔｒａｌｃｔｏｉｅｅｉｆｍｔｏｏｅｓｎｂｔｎｗｏｒｅｍｅａｉｎ；ｓｇｍｅａｉｎｉ；ｄｓｇｎｔｔｏｅｎｔｔｏｕｎｔｉｏｍａｉｏｃｓｉｇ；ｐｒｎｃｐｌｆｗｏｒｅｎｆｒｔｏｎｐｒｅｓｎｉｉｅｏｄｓｇｍｅａｉｎｔｔｏｎ
中图分类号：ＴＰ３１９文献标识码：Ａ
ＲｅｅｒｈｏｈｅｍｅｔｔｏｓａｃｎｔｅＳｇｎａｉｎＵｎｉｏｂｔｎＷｏｄｆｒＩｆｒａｉｎＰｒｃｓｉｇｔｆＴｉｅａｒｏｎｏｍｔｏｏｅｓｎ
信息处理用藏文分词单位研究
关白
（西藏大学计算机科学技术系，藏拉萨８００）西５００
摘
要：词单位作为分词系统的基本单位，研究分词理论的基础，确立分词单位就必须有相应的理论体系。分是要
ＧＵＡＮｉＢａ（ｐｒｍｅｔｏｍｐｔｒＳｉｎｅａｄＴｅｈｏｏｙ，Ｔｉｅｉｅｓｔ，Ｌｈｓ，Ｔｉｅ５００，ＣｉａＤｅａｔｎｆＣｏｕｅｃｅｃｎｃｎｌｇｂｔＵｎｖｒｉｙａａｂｔ８００ｈｎ）
该文结合藏文已有的语法著作和汉语语义分类体系建立与分词单位相应的词类划分体系；照《讯处理用中文参资
分词规范》信息处理用现代汉语分词规范》和《等标准，藏文文本语料出发，立切分分词单位的九项基本原则和从建三项辅助原则，以此词类划分体系和切分原则为理论依据对藏文的分词单位进行详细说明。关键词；计算机应用；中文信息处理；文分词；词单位；息处理；藏分信分词原则
Ａｂｔａｔｓｒｃ：Ｔｈｅｍｅｔｔｎｕｉｉｂｓｃｕｉｏｈｅｍｅｔｔｏｙｔｍｓｗｅｌａｔｅｂｓｓｆｒｗｏｄｓｇｎａｉｎｅｓｇｎａｉｎｔｓａｉｎｔｆｔｅｓｇｎａｉｎｓｓｅａｌｓｈａｉｏｒｅｍｅｔｔｏｏｒｓａｃ．ｅｅｒｈ．ＴｈｓｐｐｒｄｓｕｓｓｔｅｓｇｎａｉｎｕｉｏｂｔｎｗｏｄｏｈａｉｏｕｒｎｂｔｎｇａｉａｅｉｃｓｅｈｅｍｅｔｔｎｔｆＴｉｅａｒｎｔｅｂｓｓｆｒｅｔｏｃＴｉｅａｒｍｍａｈ — ｒｔｅｏｙａｄＣｈｎｓｅｎｉｆａｗｏｋｐｃｆａｌｒｎｉｅｅｓｍａｔｒｍｅｒ．Ｓｅｉｉｌｃｃｙ，ｗｉｈｒｆｒｎｅｔＴｈｒｔｒｏｆＷｏｄＳｇｎｔｔｎｆｒｉｔｅｅｅｃｏ“ ｅＣｉｉｎｏｒｅｍｅａａｉｏ — ｅｏＣｈｎｓｎｏｍａｉｎＰｏｅｓｇｆｏｎｕｔｔｎ ’ ｎｅｅＩｆｒｔｒｃｓｉｒＣｏｓｌａｉ）’ａｄ“ ｅＣｒｔｒｎｏｏｄＳｇｎａｉｎｆｒＭｏｅｎＣｉｅｅＩ — ｏｎｆｏＴｈｉｉｆｅｏＷｒｅｍｅｔｔｏｄｒｈｎｓｎｏｆｒｔｎＰｏｅｓｎ ”ｅｃｈｓｐｐｒｐｏｏｅｈｉｅｂｓｃｐｉｃｐｅｎｈｅｅｏｄｒｒｎｉｌｓｔｅｍｅｔｏｍａｉｒｃｓｉｇｔ，ｔｉａｅｒｐｓｓｔｅｎｎａｉｒｎｉｌｓａｄｔｒｅｓｃｎａｙｐｉｃｐｅｏｓｇｎｏｔｅＴｉｅａｒｎｔｅｂｓｓｏｂｔｎｃｒｕ．ＴｈｂｔｎｗｏｄｓｇｎａｉｎｉｕｈｒｅｐａｎｄｉｅａｌｙｔｅｈｂｔｎｗｏｄｏｈａｉｆＴｉｅａｏｐｓｅＴｉｅａｒｅｍｅｔｔｓｆｔｅｘｌｉｅｎｄｔｉｂｈｏｐｏｏｅｅｍｅｔｔｏｒｎｉｌｓａｄｓ～ｓａｌｈｄＴｉｅａｒｌｓ．ｒｐｓｄｓｇｎａｉｎｐｉｃｐｅｎｏｅｔｂｉｅｂｔｎｗｏｄｃａｓｓ