基于双词典机制的中文分词系统设计

目前有三 种典 型 的 中文 自动 分词 词 典 机 制 ， 分 别 是基 于整词二 分 的词 典 机制 、 基于 Ｔ ＲＩ Ｅ索 引 树 的 分 词 词典机 制和 基于逐 字二 分 的分 词词 典机 制啪 。整 词 二 分法是 一种 广为使 用 的分词 词典机 制 ］ 。本设 计 采 用 一种 双词典 机制 ， 它 由改进 的整词 二分 法标 准词 典 、 辅 助 的临时词 典和 临时 高频词 表三 部分组 合 而成 。
按 照一定 策略将 待分 析汉 字 串与词典 中 的词条进 行 匹 配， 若 在词 典 中找到某 个字 符 串 ， 则 匹配成 功 。该 方法 需 要确定 三个要 素 ： 词典 、 扫描方向、 匹 配 原则［ ２ ］ 。基 于 字符 串匹配 的分词方 法 原理简 单 ， 实现相 对容 易 ， 并 能达 到较 高的准 确度 ， 是 最 常用 的分词 策略 ， 缺 陷是容 易产 生歧义 切分 。词典 是字 符 串匹配 的分 词方法 中很 重要 的基础 部分 ， 因此 该 方 法 又 称 为基 于 词 典 的分 词
表 ｌ 首 字 结 点 结 构 表
２ ． １ ． ２ 词 索引表 根据统计 ， 汉语词语 中二字词 占大多数 ， 有 ３万多 ，
２ 双 词典设计
其次是三 字词 和 四字词 ， 都 是 ３千 多 ， 五字 词及 以后 则 很少 。所 以二 、 三、 四字 词的查 询 效率 直接 影 响分词 速 度 。为提高查询效率 ， 本词索 引表结 点具体设计见表 ２ 。 Ｉ 二字 词起ｌ 二字词 ｌ 三 字词起Ｉ 三字 词ｌ 四 字词起ｌ 四字词Ｉ 多字词起 ｆ 始位 置 ｆ个 数 Ｉ 始位置 ｝个 数 ｝ 始位置 １个 数 Ｊ 始位置 Ｊ 若 要 匹配 的词 为二 字词 ， 从“ 二字 词 起 始位 置 ” 到 “ 三字 词起始位 置” 间进行查 询 。以此类推 。 ２ ． １ ． ３ 标准词典 正文 标准 词典正 文为 线性 表 结 构 ， 存储 每个 词 条 中除 首字外 的字 串 ， 以及通 过 语 料库 学 习后 统 计 出的该 词 条的总词 频 。字 串与 总词频 间用“ ／ ” 间隔 ， 字 串间用 空 格 作为 间隔 。 对 同一首字 的词条 ， 首先按 词条 的字数顺 序排 列 ， 同长度词 条则按 次字 的区位 码 排 序 ， 以 此类 推 。首 字
方法 。
区位码换 算公 式如下 ： 机 内码高 位： ＝ ＝ 区码 ＋０ ｘ Ａ０， 机 内码低 位 一位 码 ＋Ｏ ｘ ＡＯ。 若 区位码 表示 为 十六 进制 数 ， 其 中区 码 为 区位码 的前两 位 ， 位码 为区位码 的后 两位 。据此 特点 ， 可用散 列表方 式来存储 词 条 首字 ， 实 现 首 字 的迅 速定 位 。根 据 机 内码 与 区位码 及 数 组特 点 ， 设散 列 函数 为 （ ｃ ｈ ｌ 一 ０ ｘ Ｂ ０ ） ＊９ ４ ４ －ｃ ｈ ２ —０ ｘ Ａｌ ， 其中 ｃ ｈ ｌ为 机 内码 高 位 ， ｃ ｈ ２ 为 机 内码低 位 。首 字结点 设计 见表 １ 。
基 于双 词 典机 制 的 中文分 词 系统设 计
李 玲
（ 中北 大 学 电 子 与 计 算机 科 学技 术 学 院 ， 山西 太原 ０ ３ ０ ０ ５ １ ）
摘 要 ： 中文 分 词 是 中文 信 息 处 理 的 基 础 技 术 之 一 ，被 广 泛 应 用 于 搜 索 引 擎 、 机 器 翻译 、 自动 分 类 、 自动 校
关 键 词 ： 中文 分 词 ；双 词 典 机 制 ；歧 义 处 理
中 国分 类 号 ：Ｔ Ｐ ３ ９ １ ． １ 文 献 标 识 码 ：Ａ
１ 中 文分词及 分词 算法概 述 对 于 中文来 说 ， 中文 字符 串可 逐步 细 化 为段 、 句、 词、 字 。字 、 句 和段 能通过 明显 的标 点符号 分界 符来 简 单 划界 ， 也易 于让机 器“ 看” ， 只有词 需要用 分 词算法 来 划分， 即中文分 词 。现 有 的分词算 法 可分 为 ３大类 ： 基 于 字符 串匹配 的分词 方 法 、 基 于 理 解 的分 词 方 法 和基 于统 计 的分词方 法【 １ ～ 。基 于字符 串 匹配的分 词方 法 是
２ ． １ 标 准 词 典
２ ． １ ． １ 首 字散 列表 词条 首字用 散 列 表来 存 储 。国家 标 准 规定 ， 汉 字
编码 中汉字 的 区位 码值 从 １ ６区开 始 到 ８ ７区 ， 每区９ ４ 位， 标识 ６ ７ ６ ３个 汉 字 。 即每 个 汉 字 都 有 唯一 的 区位
第１ 期（ 总第 １ ７ ６期 ）
２ ０ １ ３年 ２月
机 械 工 程 与 自 动 化 Ｍ ＥＣＨＡＮＩ ＣＡＬ ＥＮＧＩ ＮＥＥ ＲＩ ＮＧ ＆ ＡＵＴＯＭ ＡＴＩ ＯＮ
Ｎｏ ．１
Ｆｅ ｂ ．
文章编号 ： １ ６ ７ ２ — ６ ４ １ ３ （ ２ ０ １ ３ ） ０ １ — ０ ０ １ ７ — ０ ３
码 。汉字 的机 内码 通 过 编 程很 易 获 取 ， 又 有 机 内码 与
收 稿 日期 ：２ ０ １ ２ — ０ ９ — ０ ６ ；修 回 日期 ：２ ０ １ ２ — ０ ９ — ２ ０
对 、语 音 合 成 等 方 面 。 阐述 了 一种 基 于 双 词 典 机 制 的 中文 分词 系统 的设 计 。该 设计 中 ，构 造 了标 准 词 典 、 临
时 词典 和 临 时高 频词 表 组 成 的双 词 典 机 制 作 为 分 词 基 础 ， 应 用 了正 向 最 大 匹配 法 和 逆 向最 大 匹 配 法 进 行 分 词 ，提 出 了基 于 双 词 典 机 制 的歧 义 处 理 方 法 。实 验 表 明 了此 ቤተ መጻሕፍቲ ባይዱ 计 的 可行 性 和 优 越 性 。