中文分词词典构造简述
中文分词系统设计之词典构造
ＰＷ ＯＲＤ＿Ｉ ＴＥＭ ｐＷ ｏｒ ｔ ｍ Ｈｅ ｄ； ｄＩｅ ａ
｝ ｝
ｔ ｙｐｅｄｅｆ ｓ ｒｕｃ ｔ ｔ ｔ ｇＩ ａ ｎｄｅ ｘＴ ａ ｅ ｂｌ
志。 中文分词 是中文 信息处 理的 前提 ， 泛应 广
用干 中文 全文 信 息 检索 、 索 引 擎 、 器 翻 搜 机 译 （ Ｔ） 语 音 合 成 、 Ｍ 、 自动 分 类 、 自动 摘 要 、 自动 校对 等等 。 自从 ８ 年 代 初 中文信 息处 理 ０ 领 域提 出 自动分 词 以来 ， 关 方面 的众 多专 有 家、 学者 为之付 出了不懈 的努 力 ， 现出 了许 涌
ｉｔ ｎ ｎＣｏ ｕｎｔ ｛ ｉ ｎ ｌｔ ｎｔ Ｄｅ ｅｅ； ＰＷ ０ＲＤ ＣＨＡ Ｉ Ｎ ｐＷ ０ｒ Ｉｅ Ｈ ｅ ｄ； ｄｔｍ ａ
—
Ｓ ｅ ６： 取 三 字 整 数 ， 别 为 频 度 ｔＰ 读 分 （ ｒｑ ｅ ｃ ） 词 内容长 度（ ｒ Ｌ ｎ ／ 柄 Ｆ ｅ ｕ ｎ ｙ／ Ｗｏ ｄ ｅ ） 句 （ ｎ ｌ） Ｈａ ｄｅ Ｓ ｅ ７ 读 取词 内容 ｔｐ ：
１ 引言
词是 最小的 能够 独立活 动的 有意 义的语 言成 分 ， 中文 词 与词 之 间没有 明 显的 分割标
ｉ ｔ ｎＣｏ ｎ ｕｎｔ ｛
Ｌ ａ （ｄ ｔ ＼ ｃ ｒＤ ｃ ． ｃ” ； ｏ ｄ ” ａａ ＼ ｏｅ ｉ ｄ ｔ ） ｔ Ｌ ａ Ｃ ｎ ｅ ｔ” ａａ Ｘｅ ｉ １ｃｘ ） ｏ ｄ ｏ ｔｘ （ｄ ｔ Ｘ ｌｘ ｃ ．ｔ ”； ａ
句法分析 器中的 自动分词 系统 、 大计算语言 北
所的分词 系统 、Ｃ Ｌ Ｓ Ｉ ＴＣ Ａ 分词系统等 。 对于个 分词 系统的其 词典 的设计 和构造都 有 自己独 特的方法 ， 本论 文摘要介 绍ＶＣ ＋ ＋ 设计 中文分 词 系统时 如 何构 造词 典结 构 ， 提高 分词 效 以
中文分词词典机制：次字拼音首字母哈希机制
ｔ ｅｐ ｉ ｔ ｒ ｆｓ ｃ ｎ — ｈ ｒ ｃ ｅ ｄ ｘｎ ａ ｌ ． Ｔ ｅｍａ ｃ ｒ ｈ ｉ ｈ ｒ ｃｅ ｎ ｓｆ ｌ ｗｉ ｇ ｓ ｉ ｇ ｔ ｌ ｄ ｐ ｓ ｈ ｒ ｓ ｎ ｔ ｒ ｈ ｏ ｎ ｅ ｏ ｄ ｃ ａ ａ ｔ ｒ ｎ ｅ ｉ ｇ ｔｂ ｅ ｏ ｅ ｉ ｈ ｔｈ ｆ ｅ ｔ ｒ ｃ ａ ａ ｔｒａ ｄ ｉ ｏ ｌ ｎ ｔ ｎ ｓｓｉ ｏ ｔ ｅｐ ｅ ｅ ｔ ｏ ｔ ｈ ｄ ｔ ｏ ｒ ｌａ ｔ ｍａｕ ｅ
摘 要： 为 了提 高现 有基 于 词典 的分 词机 制 的次 字查 询效 率 ，提 出了一种 全新 的 分词词 典 机制 一 次字拼 音 首字母 哈 希机
制。 首字查询 仍使 用成 熟的基 于逐 字二分 机 制 ， 首字哈 希表 中增 加该 字 的拼 音 首字母 字段 ，次字按 其拼 音首 字母 散 列到 在 ２ 个 子表 ，子表 中记 录以首 字开 头的词 组 个数并设 置 次字 索 引表 指针 ， ３字及其 后 的字 串的 匹配仍 然采 用 目前 成熟 的词 ６ 第
ｄ ｃ ｉ ｎ ｒ ｒ ｇ ｅ ｔ ｔ ｎｍ ｅ ｈ ｉ ｉ ｐ ｏ ｏ ｅ ｒ ｉ ｅ ｅ ｉｔ ａ ｙｗｏ ｄ ｓ ｍ ｎ ａｉ ｃ ａ ｓ ｓ ｒ ｐ ｓ ｄｆ ｎ ｓ ｒ ｇ ｅ ｔ ｔ ｎ ｔ ｅｉ ｉ ａ ｐ ｍｏ ｏ ｏ ｔ ｅｓ ｃ ｎ — ｈ ａ ｔ ｒ ｓ ｏ ｅ ｏ ｎ ｍ ｏ Ｃｈ ｗｏ ｄｓ ｍ ｎ ａ ｉ － ｈ ｔ ｌ ｅ ｏ ｎ ｉ Ｂｏ ｏ ｆ ｆ ｈ ｏ ｄ ｃ ａ ｃ ｅ ｈ ｅ ｒ Ｈａ ｍｅ ｈ ｎ ｓ ． Ｔ ｅｆ ｓ—ｈ ｒ ｃ ｅ ｑ ｉ ｔ ｌ ｄ ｐ ｓｔ ｅｐ ｅ ｅ ｔ ｔ ｒ ｃ ａ ｉｍ ａ ｅ ｎ ｌ ｅ ａｉ ｂ ｎ ｒ ． Ｉ ｉ ｃ ａ ｉｍ， ｉ ａ ｄ ｃ ａ ｉｍ ｈ ｒ ｔ ａ ａ ｔｒ ｎ ｕ ｒ ｓｉ ｏ ｔ ｒ ｓ ｎ ｕ ｅｍｅ ｈ ｎ ｓ ｂ ｓ ｄｏ ｔ ｒｔｍ ｉ ａｙ ｎｔ ｓｍｅ ｈ ｎ ｓ ｉ ｃ ｉ ｙ ｌａ ｈ ｍａ ｉ ｈ ｔｄｓ ｔ ｅｉ ｉ ａ ｐ ｍｏ ｏ ｏ ａ ｈｃ ａ ａ ｔｒｉ ｅｆ ｓ－ ｈ ａ ｔｒＨａ ｈｔ ｂ ｅ ａ ｄｔ ｅ ｓ ｃ ｎ ｈ ａ ｔ ｒ ａ ｈ ｓｉｔ ｅ２ ｕ — ｂ ｅ ｃ ｏ ｄ ｎ ｈ ｔ ｌ ｎ ｉ Ｂｏ ｏ ｆ ｆ ｃ ｈ ｃｅ ｔ ｒ ｔｃ ａ ｃ ｅ ｓ ｌ， ｎ ｅ ｏ ｄ ｃ ａ ｃｅ ｓ ｅ ｏ ｔ ６ ｓ ｂ ｔ ｌｓａ ｃ ｒ ｉ ｇ ｅ ｒ ｎｈ ｉ ｒ ａ ｈ ｒ ｈ ｎ ｈ ａ ｔ ｓｉｉｉｌ ｐ ｍｏ ｏ Ｔ ｉ ｍｅ ｈ ｎ ｓ ｒ ｃ ｒ ｓｔ ｅｎ ｍｂ ｒ ｆ ｈ ａ ｅ ｔ ｔｒ ｆ ｈ ｉ ａ ｐ ｍｏ ｅ ｓ ｂ ｔｂ ｅ ， ａ ｄ ｓ ｔ ｏｉ ｔ ｔ ｎ ａ Ｂｏ ｏ ｆ ． ｈ ｓ ｃ ａ ｉｍ ｅ ｏ ｄ ｕ ｅ ｒ ｓ ｓｗｉ ａｓａ ｔ ｅ ｉ ｔ ｌ ｈ ｏ ｐ ｈ ｏ ｔ ｎ ｉ Ｂｏ ｏ ｆ ｉ ｔ ｕ —ａ ｌ ｓ ｎ ｅ ｓ ｏ ｎｈ
中文分词相关技术简介
中文分词相关技术简介目前对汉语分词方法的研究主要有三个方面：基于规则的分词方法、基于统计的分词方法和基于理解的分词方法。
基于规则的分词方法基于规则的分词方法，这种方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。
常用的方法：最小匹配算法(Minimum Matching)，正向(逆向)最大匹配法(Maximum Matching)，逐字匹配算法,神经网络法、联想一回溯法，基于N-最短路径分词算法,以及可以相互组合，例如,可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法等。
目前机械式分词占主流地位的是正向最大匹配法和逆向最大匹配法。
◆最小匹配算法在所有的分词算法中，最早研究的是最小匹配算法(Minimum Matching)，该算法从待比较字符串左边开始比较，先取前两个字符组成的字段与词典中的词进行比较，如果词典中有该词，则分出此词，继续从第三个字符开始取两个字符组成的字段进行比较，如果没有匹配到，则取前3个字符串组成的字段进行比较，依次类推，直到取的字符串的长度等于预先设定的阈值，如果还没有匹配成功，则从待处理字串的第二个字符开始比较，如此循环。
例如，"如果还没有匹配成功"，取出左边两个字组成的字段与词典进行比较，分出"如果"；再从"还"开始，取"还没"，字典中没有此词，继续取"还没有"，依次取到字段"还没有匹配"(假设阈值为5)，然后从"没"开始，取"没有"，如此循环直到字符串末尾为止。
这种方法的优点是速度快，但是准确率却不是很高，比如待处理字符串为"中华人民共和国"，此匹配算法分出的结果为：中华、人民、共和国，因此该方法基本上已经不被采用。
“现代汉语语义词典”的结构及应用
词条
属性字段
(一) 规模与结构
名 词
37522
15
“现代汉语语义词典”收录了 66539 个通用
时间词
567
15
领域内的实词 ,采用 Foxpro 810 实现 , 共有 12
处所词 方位词
185 204
15 15
个数据库 ,其中包含全部词语的总库 1 个 ,每类
代 词
236
15
词语各建一库 ,计 11 个 。每个库文件都详细刻
鱼类 、虫类 、爬行类”,而在另一个体系中分为“脊椎动物 、腔肠动物 、软体动物”。但这些分类体
系都是基于自然科学或常识而独立于语法的 。在实际语言分析中 ,如何将这些语义知识与语
法知识有机地结合起来是一件很困难的事情 。
与这些基于常识的各种语义分类相比 “, 现代汉语语义词典”中语义分类的突出特点就是
1. 名词 (Noun) 111 具体事物 (entity) 11111 生物 (organism) 1111111 人 (person) 111111111 个人 (individual) :职业 身份 关系 姓名 111111112 团体 (group) :机构 人群 1111112 动物 (animal) :兽 鸟 鱼 昆虫 爬行动物 1111113 植物 (plant) :树 草 花 庄稼 1111114 微生物 (microbe) :细菌 病毒 霉菌 11112 非生物 (object) 1111211 人工物 (artifact) :建筑物 衣物 食物 药物 创作物 计算机软件 钱财
意见 n
2
2
认知
2
人
人| 事件
objection
N
(二) 词语的语义分类 国内外对汉语语义分类体系的研究已有不少成果 ,但由于各家分类体系的目的及应用范
简述中文分词算法的种类和基本原理
简述中文分词算法的种类和基本原理下载提示：该文档是本店铺精心编制而成的，希望大家下载后，能够帮助大家解决实际问题。
文档下载后可定制修改，请根据实际需要进行调整和使用，谢谢！本店铺为大家提供各种类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，想了解不同资料格式和写法，敬请关注！Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! In addition, this shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!探索中文分词算法的种类与基本原理1. 导言中文分词是自然语言处理中的基础任务之一，其目的是将连续的中文文本切分成有意义的词语单位。
中文分词算法综述
中⽂分词算法综述 英⽂⽂本词与词之间以空格分隔，⽅便计算机识别，但是中⽂以字为单位，句⼦所有字连起来才能表达⼀个完整的意思。
如英⽂“I am writing a blog”，英⽂词与词之间有空格进⾏隔开，⽽对应的中⽂“我在写博客”，所有的词连在⼀起，计算机能很容易的识别“blog”是⼀个单词，⽽很难知道“博”、“客”是⼀个词，因此对中⽂⽂本序列进⾏切分的过程称为“分词”。
中⽂分词算法是⾃然语⾔处理的基础，常⽤于搜索引擎、⼴告、推荐、问答等系统中。
⼀、分词的算法 中⽂分词算法属于⾃然语⾔处理范畴，对于⼀句话，⼈类可以通过⾃⼰的经验知识知道哪些字组成⼀个词，哪些字⼜是独⽴的，但是如何让计算机理解这些信息并作出正确处理的过程叫做分词，中⽂分词算法分成三⼤类：⼀、基于词典的分词算法，⼆、基于机器学习的分词算法，三、基于神经⽹络的分词算法。
1、基于词典的分词算法 基于词典的分词算法⼜称为机械分词，它是按照⼀定的策略将待分词的⽂本切分成⼀个个⼩⽚段在已知的词典中进⾏查找，如果某字符串能在词典中找到，则匹配成功，这种分词思想简单、⾼效，在实际分词系统中很常⽤。
1.1 字符串匹配算法 字符串匹配算法按照其扫描⽅向的不同分成正向匹配和逆向匹配，按照其匹配长度的不同可以分成最⼤匹配和最⼩匹配。
由于中⽂“单字成词”的特点，很少利⽤到最⼩匹配来作为字符串匹配算法。
⼀般来说，正向匹配分词算法的准确度略低于逆向匹配算法，据统计单纯使⽤正向最⼤匹配算法的错误率为1/169，⽽单纯使⽤逆向最⼤匹配算法的错误率为1/245。
即使如此，单纯的字符串匹配算法也不能满⾜系统的要求，通常需要利⽤这种算法对⽂本进⾏粗分，在此基础上结合其他的⽅法⼀起使⽤，提⾼系统分词的准确率。
以逆向最⼤匹配为例，⾸先从待分词的⽂本中选取最后m（字典中词条的最⼤长度）个字，如果能在词典匹配到，则将匹配的词切分出来，并以未切分的⽂本中重新选取m个字进⾏匹配，如果没有在词典中匹配到，则去掉最后⼀个字，对m-1个字在字典中进⾏匹配，反复上述操作，直到选取的字组能在词典中匹配到为⽌，待匹配的所有字都在切分完成，就得到该⽂本的分词结果。
中文分词简介
算法过程： (1) 相邻节点 v k-1 , v k 之间建立有向边 <v k-1 , v k > ，边对应的词默认为 c k ( k =1, 2, …, n) (2) 如果 w= c i c i+1 …c j (0<i<j<=n) 是一个词，则节点v i-1 , v j 之间建立有向边 <v i-1 , v j > ，边对应的词为 w
歧义切分问题
歧义字段在汉语文本中普遍存在，因此，切分歧义是中文分词研究中一个不 可避免的“拦路虎”。 （交集型切分歧义） 汉字串AJB如果满足AJ、JB同时为词（A、J、B分别为汉 字串），则称作交集型切分歧义。此时汉字串J称作交集串。 如“结合成”、“大学生”、“师大校园生活”、“部分居民生活水平”等等。 （组合型切分歧义） 汉字串AB如果满足A、B、AB同时为词，则称作多义组合 型切分歧义。 “起身”：（a）他站│起│身│来。（b）他明天│起身│去北京。 “将来”：（a）她明天│将│来│这里作报告。（b）她│将来│一定能干成大事。
中文分词的辅助原则
1. 有明显分隔符标记的应该切分之 。 2. 附着性语素和前后词合并为一个分词单位。 3. 使用频率高或共现率高的字串尽量合并为一个分词单位 。 4. 双音节加单音节的偏正式名词尽量合并为一个分词单位。 5. 双音节结构的偏正式动词应尽量合并为一个分词单位 。 6. 内部结构复杂、合并起来过于冗长的词尽量切分。
其他分词方法
▶由字构词（基于字标注）的分词方法 ▶生成式方法与判别式方法的结合 ▶全切分方法 ▶串频统计和词形匹配相结合的分词方法 ▶规则方法与统计方法相结合 ▶多重扫描法
Part 5
总结
分词技术水平
自开展中文分词方法研究以来，人们提出的各类方法不下几十种甚至上百 种，不同方法的性能各不相同，尤其在不同领域、不同主题和不同类型的汉语 文本上，性能表现出明显的差异。 总之，随着自然语言处理技术整体水平的提高，尤其近几年来新的机器学 习方法和大规模计算技术在汉语分词中的应用，分词系统的性能一直在不断提 升。特别是在一些通用的书面文本上，如新闻语料，领域内测试（训练语料和 测试语料来自同一个领域）的性能已经达到相当高的水平。但是，跨领域测试 的性能仍然很不理想。如何提升汉语自动分词系统的跨领域性能仍然是目前面 临的一个难题。 另外，随着互联网和移动通信技术的发展，越来越多的非规范文本大量涌 现，如微博、博客、手机短信等。研究人员已经关注到这些问题，并开始研究 。
中文分词原理
中文分词原理中文分词是指将一个汉字序列切分成一个个具有语言意义的词语的过程，是中文信息处理的基础工作之一。
在计算机领域中，中文分词是自然语言处理的重要环节，对于搜索引擎、信息检索、文本挖掘等应用具有重要意义。
本文将介绍中文分词的原理及相关内容。
首先，中文分词的原理是基于词语的语言学特征来进行切分。
中文词语之间并没有像英文那样的明显分隔符号，因此要进行中文分词就需要依靠词语的语言学特征来进行判断。
中文词语通常由一个或多个汉字组成，而且词语之间具有一定的语义关联，因此可以通过词语的语言学特征来进行切分。
其次，中文分词的原理还涉及到词语的频率统计和语境分析。
在进行中文分词时，需要利用大量的语料库来进行词语的频率统计，以确定词语的常见组合和概率。
同时，还需要进行语境分析，即根据词语在句子或文章中的上下文来确定词语的边界，以保证切分结果的准确性。
另外，中文分词的原理还包括了一些特定的算法和模型。
目前常用的中文分词算法包括基于词典的最大匹配法、逆向最大匹配法、双向最大匹配法等。
此外，还有基于统计模型的中文分词方法，如隐马尔可夫模型（HMM）、条件随机场（CRF）等。
这些算法和模型都是基于中文词语的语言学特征和频率统计来进行切分的。
总的来说，中文分词的原理是基于词语的语言学特征、频率统计和语境分析来进行切分的。
通过对词语的特征和语境进行分析，结合相应的算法和模型，可以实现对中文文本的准确切分。
中文分词的准确性对于中文信息处理具有重要意义，因此对于中文分词原理的深入理解和研究具有重要意义。
总结一下，中文分词原理是基于词语的语言学特征、频率统计和语境分析来进行切分的，通过相应的算法和模型实现对中文文本的准确切分。
中文分词对于中文信息处理具有重要意义，对其原理的深入理解和研究对于提高中文信息处理的效率和准确性具有重要意义。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
中文分词词典构造简述
在分词系统中常用的分词词典机制有:(1)基于整词二分;(2)基于TRIE索引树;(3)基于逐字二分.
一、基于整词二分的分词词典机制
这是一种广为使用的分词词典机制.其结构通常分为三级，前两级为索引，如图3.1听示。
图3.1 基于整词二分的分词词典机制
1.首字散列表
词首字散列函数根据汉字的国标区位码给出。
通过一次Hash运算即可直接定位汉字在首字散列表中的序号。
也就是将词首字的国标码与其在首字散列表中的序号相对应。
我国的GB2312-80标注规定汉语字符的交换码由两个ASCII 码构成：第一个是区码，取值从OxA1到OxF7，共87个区，第二个是位码，从OxA1到0xFE，共94位。
区码为OxA1到0xAE的存储全角符号，如标点、字母等。
GB2312-80汉字的编码空间是BOA1-FIFE，共有72 * 94 = 6768个码位，实有6763个汉字，其中一级汉字3755个，接着是5个空位，后面是3008个二级汉字。
设id是词首字在首字散列表中的序号，c1和c2是词首字的区码和位码，利用Hash方
法求Id则有:
Id = (c1–176) * 94 + (c2 - 161)
(3-1)
这种Hash方法实质上是一种一一映射。
首字散列表的一个单元包括两项内容：
1) 入口项数(4字节)：以该字为首字的词的个数。
2) 第一入口项指针(4字节)：指向第一入口项在词索引表中的位置。
2.词索引表
因为词的长度可变(实际系统中还包括附属于该词的各类信息)，故以选择不定长存储为宜，此外必须实现对词的随机访问，这两条决定了必须建立词索引表。
词索引表的一个单元仅含一项内容：
1) 词典正文指针(4字节)：指向词在词典正文中的位置。
3.词典正文
以词为单位的有序表，词典中的同一首字的词条按升序排列，通过词索引表和词典正文的配合，很容易实现指定词在词典正文中的整词二分快速查找。
在整词二分查询任意一个汉字串W[1…n], W[1]表示该字串
首字，W[n]表示首字后面的n个汉字，查询的过程为：
1) 根据首字散列表得到W[1]入口项指针和以它为首字的词
在词索引表中所占的范围。
2) 根据1)中得到的范围在词典正文中对汉字串W[n]进行
二分查找。
如果查询成功则W [l…n]为分词词典中的一个词. 整词二分法查询的基本原理很简单，但是每次查询都只能对汉字串W[l…n]是否为一个词进行判断，它不能从查询的中
间过程中发现汉字串W[1…n]中所有可能包括的词。
而且它查询的范围较大，总是在以W[1]为首字的所有词表范围内。
而我们在分词过程中，需要得到一个汉字串S中所有可能切分出的词，也就是说要找出S中所有以W[1]为首字的词，
如果用整词二分法来查询的话就需要进行多次的试探，即每改变一次待查字串W[1…n]的n值就要对词典进行一次查询，而且每次的查询过程都要在以W[1]为首字的所有词表范围内.因此整词二分法的查询效率不高.
二、基于TRIE索引树的分词词典机制
TRIE索引树是一种以树的多重链表形式表示的键树。
基于TRIE树的分词词典由两部分组成，如图3.2所示。
图3.2 基于TRIE索引树的分词词典机制
1.首字散列表
同基于整词二分的分词词典机制。
首字散列表的一个单元是所对应汉字的TRIE索引树的根结点.
2.TRIE索引树结点
TRIE索引树结点是以下述结构为单元的，按关键字排序的数组：
关键字(2字节)：单一汉字。
子树大小(2字节)：以从根结点到当前单元的关键字组成的子串为前缓的词的个数。
子树指针(4字节)：子树大小非0时，指针指向子树，否则指向叶子。
在TRIE索引树上查询任意一个词W[1…n]的过程为：
1) 根据首字散列表得到W[1]TRIE索引树，沿相应指针移动至目标结点NODE，i = 2。
2) 在NODE的关键字域中对汉字W[i]进行二分查找。
如果与NODE的第j 个单元的关键字匹配成功则沿该单元的子树指针移至目标结点，并令该结点为新的NODE，i = i + 1，否则查找失败，退出此过程。
3) 重做2)，直到NODE为叶子结点。
4) 如果到达叶于结点时i>n，则
查询成功，W [l…n]为分词词典中的一个词，否则查询失败。
与整词二分的分词词典机制形成鲜明对照的是：基于TRIE
索引树的分词词典机制每次仅仅只比较一个汉字，不需预知待查询词的长度，且在对汉字串S的一遍扫描过程中，就能得到所有可能切分的词。
这种由短词及长词的确定性工作方式避免了整词二分的分词词典机制不必要的多次试探性查询。
由于TRIE索引树已蕴含了词条信息，因此词典中不必再显式地罗列词条，可直接存储词的附属信息（叶子指针直接指向这些信息)。
TRIE索引树分词词典机制的主要缺点是其构造及维护比整
词二分复杂。
基于TRIE索引树的另外一种构造方式就是：所有字都采用Hash散列的方式。
其结构与图3.2 基本相同，不同的是其
入口项个数要么为0 要么就是整个汉字字库的大小。
这种方式在查询上有显著的效率提升，因为不需要执行二分查找，但是由于中文汉字数量巨大，同时也造成了大量空间的浪费。
三、基于逐字二分的分词词典机制
基于逐字二分的分词词典是针对整词二分和TRIE索引树的不足而设计的一种分词词典。
逐字二分分词词典与整词二分分词词典在数据结构上相同，因此其构造比TRIE索引树简
单。
从查询方式来看，逐字二分不再将整个词作为关键字进行比较，而是类似TRIE索引树的情形，每次仅仅比较单个的汉字。
因而其效果同TRIE索引树一样，不需预知待查询词的长度，且在对汉字串S的一遍扫描过程中，就能得到查询串中所有可能切分的词。
基于逐字二分分词词典，如图3.3所示。