分词方法详解

《汉语分词的主要技术及其应用展望》一、汉语自动分词的提出词具有语音、语义和结构三大特征，其语义特征表现在必须具备一定的意义，表明客观现实中的某一事物的性质、特征、行为和关系等，没有意义的词是不存在的。

词里包含有两种不同性质的意义：词汇意义和语法意义。

词的结构特征表现在词在结构上是一个不可分割的整体，其意义不是它的几个构成成分（如果存在的话）的意义的简单总和。

人们在阅读时，大脑有一个模糊的分词过程，它是与视觉到声音的转换和语义理解交叉或同时进行的，并以语感的形式体现出来，由于文化修养和知识水平的差异，不同的人对词和非词，词和词组的预感差别很大。

因而人工分词的同一性得不到保证。

北京航空学院曾做过一个实验，三十余个具有高中文化水平的青年对五百字的一个语言材料人工分词，同一率只有50%左右。

在大篇文字材料处理时，人工分词不仅速度慢，长时间单调枯燥工作也使错误切分次数大大增加。

这些都表明人工分词不能满足汉字处理现代化的要求，但要对书面汉语实现计算机自动分词，并非易事，这与汉语特性有很大关系。

与印欧语系相比，现代汉语至少在四个方面于分词不利：第一，汉语的词不分写，而且词无明确的形态标志，这给计算机进行汉语的词法分析带来一大障碍。

其次，汉语是一种无形态变化的分析型语言，缺乏明显的句法形式标记，其语法主要靠虚词和不同的词序来实现。

第三，汉语的形态不发达，增加了语言的表层结构对语义的依赖性，所以，汉语句子成分的语法作用强烈依赖于该成分的意义。

第四，汉语构词具有极大的灵活性和自由性。

只要词汇意义和语言习惯允许，就能组合起来，没有限制。

如果在自动分词处理时，既不进行语法分析，也不进行语义理解，只是机械的匹配比较，那很容易实现，但必然会出现许多错误切分，而要提高分词精度，就必须进行语法分析和语义理解，于是就引发了一系列耐人寻味的问题。

汉语词自动切分是计算机中文信息处理的第一步，也是计算机科学界、语言文字学界以及信息管理学界所面临的挑战性难题，这一“瓶颈”的解决是计算机自然语言理解、人工智能、信息检索、机器翻译和自动文摘等领域突破的关键, 长期以来一直困扰着这一研究领域的许多专家学者。

尽管汉语词自动切分研究已经取得了可喜的进展，但是在汉语词的规范、自动分词算法突破、切分歧义处理、自然语言理解和人工智能等诸多领域还存在着难以克服的阻碍，仍需要多个学科领域的专家学者们通力协作，才能获得新的突破。

二、现有的分词方法为了克服汉语词计算机自动切分这一难题, 许多年来, 大量的学者都加入了这一领域的研究, 使汉语自动分词取得了丰硕的研究成果。

近年来, 语言学界、人工智能领域和情报检索界的学者们, 在汉语自动分词与自动标引的研究与实践上进行了大量的研究, 找到了许多解决汉语分词的方法，归纳起来有:最大匹配法、逆向最大匹配法、逐词遍历法、设立切分标志法、最佳匹配法、有穷多层次列举法、二次扫描法、高频优先分词法、基于期望的分词法、联想——回溯法、双向扫描法、邻接约束法、扩充转移网络分词法、语境相关法、全自动词典切词法、基于规则的分词法、多遍扫描联想法、部件词典法、链接表法、最少分词词频选择法、专家系统分词法、基于神经网络的分词方法等22 种。

归纳起来, 目前国内公开报道过的分词系统采用的分词方法主要有三种类型:(1) 机械分词法。

机械分词法主要有最大匹配法(MM法)、逆向最大匹配法(RMM 、OMM 、IMM )、逐词匹配法、部件词典法、词频统计法、设立标志法、并行分词法、词库划分和联想匹配法等。

(2) 语义分词法。

语义分词法引入了语义分析, 对自然语言自身的语言信息进行更多的处理, 如扩充转移网络法、知识分词语义分析法、邻接约束法、综合匹配法、后缀分词法、特征词库法、约束矩阵法、语法分析法等。

(3) 人工智能法。

又称理解分词法, 人工智能是对信息进行智能化处理的一种模式, 主要有两种处理方式: 一种是基于心理学的符号处理方法。

模拟人脑的功能, 像专家系统。

即希望模拟人脑的功能, 构造推理网络, 经过符号转换, 从而可以进行解释性处理。

一种是基于生理学的模拟方法。

神经网络旨在模拟人脑的神经系统机构的运作机制来实现一定的功能。

以上两种思路也是近年来人工智能领域研究的热点问题, 应用到分词方法上, 产生了专家系统分词法和神经网络分词法。

这些方法又大体上可分为两类: 一类是基于规则的, 大多数中文分词方法都属此类; 一类是基于语料库的, 如神经网络分词法部分的属于此类。

基于规则的分词算法的计算模型均是概率论中的马尔可夫过程又称元语法、隐马尔可夫过程和通信中的信道噪声模型。

但无论是马尔可夫过程还是信道噪声模型,最后都归结为计算词频的统计信息, 串频和互信息是词频的另一种表现形式。

但遗憾的是自然语言远不是一个经过事先精心规划的系统, 难以用一套完整的规则去准确地预测正式汉语文本中所出现的各种变异。

1.最大匹配法（MM）这种方法又称5-4-3-2-1查词法，最长匹配法，回巡检索法，其基本思想是：假设自动分词词典中的最长词条所含汉字个数为i，则取被处理材料当前字符串序列中的前i个字作为匹配字段,查找分词词典,若词典中有这样一个i字词，则匹配成功，匹配字段作为一个词被切分出来，如果词典中找不到这样的一个i字词，则匹配失败，匹配字段去掉最后一个汉字，剩下的字符作为新的匹配字段，再进行匹配，如此进行下去，直到匹配成功为止。

有专家统计过，MM法的错误切分率为1/169。

2.逆向最大匹配法（RMM）这种方法的分词过程与MM法相同，不过是从句子（或文章）末尾开始处理，每次匹配不成功时去掉的是前面的一个汉字。

据说RMM方法的分词精度比MM法要高，其错误切分率是1/245。

3.逐词遍历法把词典中的词按由长到短递减的顺序逐字搜索整个待处理材料，一直到把全部词切分出来为止。

不论分词词典多大，被处理材料多么小，都得把整个分词词典匹配一遍。

上述三种方法思路清楚，易于机器实现，但由于是把词典作为判词得唯一标准，忽略了汉语词汇得灵活多变性，因而局限性大，出错率高，拒分现象严重，时间复杂度高，这是它们不能被单一采用得最主要原因。

4.设立切分标志法切分标志有自然和非自然之分。

自然切分标志是指文章中出现得非文字符号，如标点符号等。

非自然标志是利用词缀和不构成词得词（包括单音词，复音节词以及象声词等）。

设立切分标志法首先收集众多得切分标志，分词时先找出切分标志，把句子切分为一些较短得字段，然后用MM、RMM或其他方法进行细加工。

这种方法并非真正意义上得分词方法，只是自动分词得一种前处理方式而已，它要额外消耗时间扫描切分标志，增加存贮空间存放那些非自然切分标志。

5.最佳匹配法(OM)此法由北京航空航天大学提出，分为正向得最佳匹配和逆向得最佳匹配法。

其出发点是：在词典中按词频的大小顺序排列词条，以求缩短对分词词典的检索时间，达到最佳效果，从而降低分词的时间复杂度，加快分词速度。

实质上，这种方法也不是一种纯粹意义上的分词方法，它只是一种对分词词典的组织方式。

OM法的分词词典每条词前面必须有指明长度的数据项，所以其空间复杂度有所增加，对提高分词精度没有影响，分词处理的时间复杂度有所降低。

6.有穷多层次列举法其基本思路是：把待处理材料中标点符号区分的语言片断作处理对象，先处理不用查词表的具有特殊标志的字符串，如阿拉伯数字，拉丁字母等，然后用环境词表确定属于15类可列举的词，即先判断一个词能否组成多音词，如五音词，四音词，三音词，双音词，最后确定是否为单音词，这样便把一个个语段化分成较小语段。

这实际上是切分标志法的一种变形方法。

7.二次扫描法其基本思想是：取待处理材料中两个切分标志之间的部分作为样本串，检查分词词典中是否有一个词，它的前两个汉字和该样本串相同，若有的话，则取样本串的前三个汉字作为匹配串，重新在分词词典中找以匹配串为子串的词，若有，则重复下去，直到进行到i个汉字为止，（设i为分词词典中最长词所含汉字的个数），则切分出一个i字词；若没有，则完成一次扫描；把匹配串的最后一个汉字去掉，作为新的匹配串，进行第二次扫描，第二次扫描用RMM或MM 法进行。

8.高频优先分词法这种方法基于词频统计、字与字之间构词结合力和歧义切分等现象的分析而提出。

它不是纯粹意义上的机械分词方法，而是在分词过程中处理歧义字段的一种方式，例如，AB、BC是两个词，如果BC的频度比AB大，则ABC这一歧义字段应切分为A/BC。

该方法的一个明显缺点是频度较低的词，永远被错误切分。

如果仅考虑当前正在处理文本中的词频的话，将会得到良好效果，问题是如何得到当前正在处理文本的词频。

这种方法增加分词的空间复杂度，低频词的错误切分难以克服，目前尚未见成功的报道。

9.基于期望的分词法该法是基于汉语语法及语用规律以及人们语言习惯而提出，它认为一个词的出现对于它后面紧相随的词有一种期望。

当然是期望大的词优先，分词时根据期望，到期望值较大的词所在的词库中找出所对应的词，从而切分出相对应的词。

这种方法增加了分词的时空复杂度，但在一定程度上提高了分词的精度。

目前该法仍处于理论探讨阶段。

10.联想-回溯法其基本做法是：首先将待切分的汉语言文本，依据特征库分割为若干子串，每个子串为词或词群（几个词组合而成的线性序列），然后再用实词库和规则库将词群细分为词。

这种方法实际上采用了设立切分标志法和有穷多层次列举法的思想，由于实行分级建库，故增加了分词的空间复杂度，把分词过程分解成分割和细分两个过程，使得分词的时间复杂度增大。

它能提高分词精度，具备可行性，已在机器上实现。

11.双向扫描法该法重点是放在检错和纠错上，基本做法是将正向扫描（MM）和逆向扫描（RMM）的结果相比较，一致的部分认为是正确的，不一致的部分（称为疑点）则采用人工干预、记频算法或上下文相关信息选取一种切分。

这种方法对于正、逆向扫描结果一致而被认为正确但实际上切分不正确的字段（例如“结合成分子时”）没有强有力的处理手段。

时间复杂度比单向扫描至少增加一倍。

其分词词典必须同时支持正逆两种顺序的检索，词典结构无疑是比较复杂的，或者要设立两种结构的词典。

此方法可作为一种检查歧义字段的方法，但其效果尚不如词尾字构词法。

12.邻接约束法这种方法是利用自然语言中的邻接约束排除不合适切分以提高分词精度。

由于汉语句法语义或习惯用法的限制，或人们为了避免造成阅读上的困难，相邻词语之间有一种约束关系，例如“那里”不能切分成“那/里”。

汉语中某些单词在句法结构中不拥有或只能条件拥有某些固定位置（如句子或片段的开头或结尾等），不同类型的单词之间具有特定的约束（如副词、助动词一般不后接名词等），某些单音动词只在特定文体或格式中出现（如“知”一般不单独出现），等等，这些语言现象可以用来解决部分歧义切分问题。