汉语自动分词算法综述

都归结为计算词频 的统计信息 ． 就是基于概率论的算法 。 也 对于
基 于 语 料 库 的 分词 算 法 ． 目前 还 没 有 看 到 一 个 很 好 的 模 型 。 ３２ 分 词算 法 ．
现有 的中文分词算法主要有 ：正向最大匹配 ，逆 向最大匹
配 ． 词 遍 历 。 立 切 分标 志 ， 佳 匹 配 ． 穷 多 层 次 列 举 ， 频 逐 设 最 有 词
问题就是 ． 建立一个标 准的分词系统词表 。 有一个权威的分词词 点是执行起来简单 ． 不需要任何 的词法 、 句法 、 语义知识。 没有很 表 作 为 分词 依 据 。 可 惜 ， 目前 为止 ， 很 到 我们 还没 有 。 另外 一 个 主 复 杂 的 数据 结 构 ．唯 一 的 要 求 就 是 必 须 有 一 个 很 强 大 的 匹 配 字 要 问 题 就 是切 分规 范 和 消 歧 。 方 面 。 然 还 没 有 出现 一 个 百 分 典 Ｄ 这 虽 。缺点是不能很好地解决歧义问题 ． 不能认识新词。根据分 之 百 完 美 的切 分 消歧 算 法 ． 是 已 经 出 现 了很 多 比较 好 的 ， 有 析 ． 但 具 匹配 的错 误 率 为 １１９ ／６ 。 实际使用价值 的算法 ｆ１ 逆 向最 大 匹 配 法ｒ ２ － ＇ ｉ
２１系 统任 务 ． ＭＭ 法 是 每 次 从 Ｓ 中取 出长 度 为 Ｍａ ｘ的 一 个 子 串 （ 设 Ｓｒ 假 ｔ长
汉语的语 素和单字词 ． 合成 词和短语之问没有清晰的界限。 度 大 于 Ｍａ 。 小于 Ｍａ 时 。 取 出整 个 字 串 ） 把 该 子 串与 与 Ｄ ｘ 当 ｘ 则 。 汉语分词是 由计算机 自动识别文本中的词边界的过程 从计算 中的词进 行匹配 。 若成功 ， 则该 子 串为词 。 指针 后移 Ｍａ ｘ个汉字 则 再 机 处 理 过 程 上 看 ， 词 系统 的 输 入 是 连 续 的 字 符 串 （ 。： … ． 后 继续 匹配 。若 不 成 功 ， 把 该 字 串最 后 一 个 字 去掉 。 与 Ｄ 中 分 ＣＣＣ
如 直 Ｃ ）输 出 是 汉 语 的 词 串 （ 。 ｗ， 。 ｗ Ｗ …… ｗ ， 里 ． ）这 ｗ； 可 以是 单 的 词 匹 配 ． 此 匹配 下 去 。 至 匹 配 成 功 或 至 该 串 只 剩 一 个 字 为 字 词 也可 以是 多 字 词 。 这个 过 程 中 ． 们 所要 解 决 的一 个 主 要 止 （ 示 该 字 可 当做 词 。 在 该 字 后 面 开 始 切 分 ） 该 切 分算 法优 在 我 表 可 。
大字符集上的字串。 汉语 的句子不 同于英文句子． 英文单词之间 多数 中文分词算法都属于此类 ） 和基于语料库的分词算法。 对于
有 间隔 ． 语 文 本 中词 与 词 之 间 没 有 明 确 的 分 隔 标 记 ． 是 连 续 基 于 规 则 的 分 词 算 法 的 计 算 模 型 ． 是 采 用 概 率 论 中 的 Ｎ １阶 汉 而 均 一 有 — ｒｍ。 ｉｇａ Ｔｉ ｒｍ。 ｔ． ． — ． 的汉 字 串 ． 是 构 成 句 子 的 基 本 单位 。 要 计 算 机 智 能地 理 解 汉 马 尔 可 夫 过 程 （ Ｎ ｇａ Ｂ— ｒｍ， ｒ ｇａ ｅｃ ） 隐 马 尔 可 词 若 语 中 的每 一 句 话 。 必 须 让 计 算 机 明 白该 句 子 的 各 个 词 的 含 义 ． 夫 模 型 （ Ｍ） 通 信 中 的信 道 噪 声 模 型 。 当 然 。 些 模 型 最 后 则 ＨＭ 和 这
也 就 是 说 需 要 计算 机 智 能地 把每 一 句 话 ．都 把 词 正 确 地 切 分 出 来 。 不会 造成 理解 上 的 偏 差 。 因 而 可 以说 汉 语 自动 分 词 技 术 ． 才 是所 有的中文信息处理应用 系统 中共 同的、 基础性的工作 ． 对象 语音 识别 、 音 合成 、 语 文本 校 对 、 息 检 索 和 机 器 翻 译 等 等 后 续 信 的 高级 应 用 ． 有 根 本 性 的指 导 意 义 。 都 显 而 易见 。 自动 识 别 词边 界 ． 汉 字 串 切 分 为 正 确 的词 串 的 将 汉语 分词 问题无疑是实现中文信 息处理 的各项任务的首要问 题。
【 关键词】 自动分词， ： 算法模型． 查全率， 壶准率
１ 引 言 ． 汉 语 与英 语 不 同 ， 文文 本 是 小 字 符 集 上 的 词 串 ， 汉 语 是 英 而 ３１ 算 法模 型 ． 目前 。 中文 分词 算 法 可 分 为 两 类 ． 于 规 则 的 分 词 算 法 （ 基 大
维普资讯
２ ０ 年第 ４期 ０６福Fra bibliotek建 电
脑
汉语 自动分词算法综述
瞿 锋， 陈纪元
ｒ 士母 计 车机 牛 与矬 长学 冀 ＝ 江 苏 苏州 ２１ ） ｆ ＾
【 要 】 本文对 目前 已有的各种 中文 自动 分词 的算法、 摘 ： 采用的模型 、 数据结构等方 面进 行 了分析 、 比较 ， 讨 了它们 的 探 优缺点 ， 并指 出 了今后 的研 究方向。
统计 ． 邻接 约束 ． 专家系统 。 最少分词 。 神经元 网络 ， ｉ ｒｉ Ｖｔ ｂ 算法 ， ｅ 演化算法 ． 等等 。上述算法 中， 除了演化算法 和部 分神经元 网络 属于基于语料库的分词算法 外 ． 其它都应算是基于规则 的算法 。 下 面 ． 对 一些 最 主要 的 分词 算 法 做 一 些 比 较 分 析 ： 就 基于以上的一些情况 ．本文主要探讨了计算机智能地对汉 语文本 自动切分 词的种种算法 、 模型 。 分析了其 中的优 缺点 ． 并 ｆ 最 大 正 向 匹配 法 ｒ １ １ ２ １ 对 今 后 的工 作 提 出 指 导 该 算 法 通 常 称 为 ＭＭ 法 ． 基 本 思 想 为 ： Ｄ 为 切 分 参 考 其 设 ２ 问题 描 述 ． 字 典 。 ｘ表示 为 Ｄ 中 的最 大 词 长 ．ｔ 为 待 切 分 的 句 子 或 字 串 ， Ｍａ Ｓｒ