基于改进线图分析算法的浅层汉语句法分析器的设计与实现

表明利用改进的分析算法, 使得句法分析效率和分析结果的准确率均有一定程度的提高。
关键词: 文本信息处理; 汉语句法分析; 线图分析法; 句法解析器; 句法结构
中图 分类 号: TP391
文献标志码: A
文 章编 号: 1001 - 3695( 2007) 09- 0164- 04
Design and implementation of shallow Chinese syntax parser based on improved chart algorithm
b) 如果在字符间隔 i 预 测出 现点 规则 y→ α·b β, 那 么 在字符间隔 i 后有可能出现字符 b。
重复 a) b) 直到预测完所有满足情况的点规则。 改 进 算 法 的 伪 代 码 描 述 如下 :
input: Chinese character strings with word segments and parts of speech annotation
第 24 卷 第 9 期 2007 年 9 月
计算 机应用研究 Application Research of Computers
Vol. 24 No. 9 Sept. 2007
基于改进线图分析算法的浅层 汉语句法分析器的设计与实现*
吴江宁, 朱国华
( 大连 理工 大学 系统 工程 研究 所, 辽 宁 大连 116024)
elseif C matches any active edge of the form X→ X1 … Xm· C ( p0 p1 ) in ActiveArcs, add an edge X( p0 - p2 ) to agenda and add C( p1 - p2 ) to the chart endif
1. 2 传统线图分析算法的优点与不足
传 统 线 图 分 析 算 法 的 优 点表 现 在 可 以 表 示 不 相 连 的 子树 。 在自然语言分析中, 有时 局部的 结构分 析成功 了, 但 总体的 结 构分析却不好, 使得最后难以形成一棵完整的树。线图可以表 示不相连的子树, 不一定 要求最 后必须 形成一 棵完整 的树, 可 以把局部分析正确的结构以子树的形式保存下来, 而不至于将 前面 的 分 析 抛 弃 。
WU Jiang-ning, ZHU Guo-hua
( Institute of Systems Engineering, Dalian University of Technology, Dalian Liaoning 116024, China)
Abstract: Based on the traditional chart algorithm, this paper proposed an improved Chinese syntax parsing algorithm, which combined bottom up and top down strategies in order to enhance the efficiency and the precision of the Chinese syntactic analysis. It was composed of three main modules, they were word segmentation module based on the maximum word-length matching algorithm, part of speech tagging module based on statistical method of training of relative frequency, and the syntax parsing module based on the improved chart analysis algorithm. A small-size Chinese corpus was used to validate the efficiency and feasibility of the improved algorithm. Key words: textual processing; Chinese syntactic analysis; chart algorithm; syntax parser; syntax structure
预测是指提出从本间隔点 出发向 右可能 接续的 所有活 跃 边的列表。尚未验证的预测保留在表中, 已经被验证或被反驳 的预测则从表中划掉。预测是根据规则进行的, 首先从字符间 隔 1 开始向右预测可能要出现一个句子, 即预测将有点规则 S→ · α出 现 。
a) 如果在字符间隔预测出点规则 y→ α·B β, B→ γ∈P, 那么从字符间隔 i 后可 能接续 点规则 B→· γ( α, β可为 空, B 为非终结符) 。
第9期
吴江宁, 等: 基于改进线图分析算法的浅层汉语句法分析器的设计与实现
· 165·
用自顶向下回溯的分析方 法。它逐个 地枚举 推导直 至找到 一 个能生成输入句子结构的 推导。自顶 向下的 分析是 从假设 出 发的, 它假定一个节点可 以替换 下面的 节点, 从根到 叶逐步 分 枝, 从抽象到具体、从整体到部分。目的很明确, 就是要找到与 叶相 适 应 的 句 法 结 构 。
目前国内很多有代表性的 句法分 析系统 中的汉 语句法 分 析模块都是通过改进已有的经典句法分析算法设计的, 不少已 在实践中取得 了良 好 的效 果[ 2] 。其 中, 传统 的 基于 规则 的 方 法占了主导地位, 这是因为基于规则的方法从汉语句子最本质 的特征 出发, 如 构词法、词组构造 法、造句 法等, 从宏观上总 结 出句法规则。无论汉语的句式结构多么自由, 其中蕴涵的最基 本的规则是相对稳定的, 而且规则易于表达汉语句子成分的构 成规律。另外的原因是, 经过长 时间的 发展和 不断改 进, 这 类
摘 要: 针 对传 统的 汉语 句法 分析 算法进 行改 进, 采用 了自 底向 上与 自顶 向下 相结 合的 线图 分 析 方法 , 分析 、设
计和 实现 了一 个汉语 句法 分析 原型 系统 。该 系统实 现了 基于 最大 词长 匹配 算法 的分 词模 块、基于 统 计 方法 的 词
性标注模块和基于改进的线图分析算法的句法分析模块。最后对系统进行小规模中文文本试验测试, 测试结果
2 改进的句法分析算法
自顶向下和自底向上分析 算法两 者均不 可避免 地会产 生 较多的冗余, 从而导 致分析 效率降 低。 为了减 少冗余、节省 时 间和空间、提高分析准确率, 本文提出一种改进策略, 在自底向 上线图分析算法中, 引入了自 顶向下 的预测 功能[ 5] , 称之为 自 底向 上 与 自 顶 向 下 相 结 合 的 改进 线 图 分 析 算 法 。
output: Chart of syntactic analysis begin for( i = 0; i < = n; i + + ) for every active edge of the form X→ X1 … · Xk… Xm( px - py ) in ActiveArcs do if Xk is a terminating symbol and p1 > py, delete this active edge from
使用线图分析算 法进行 句法分 析时, 通常采 用两种 方 式 [ 4] , 即自顶向下分析和自底向上分析。
1) 自顶向下分析 算法 在句 法 分析 中, 最 普通 的就 是 采
收 稿日期 : 2006- 0 家自 然科学 基金 资助项 目( 70271046, 70431001) 作 者简介 : 吴 江宁 ( 1964 - ) , 女, 副教 授, 博士, 主要 研究 方向为 知识 管理、文本 挖掘 、信 息检索 ( jnwu@ dlut. edu. cn) ; 朱国华 ( 1980- ) , 男 , 硕士 研 究生, 主要 研究 方向为 句法 分析、文本 信息 处理.
X1 … Xm( p1 - p2 ) to ActiveArcs and add C( p1 - p2 ) to the chart elseif C matches any active edge of the form X→ X1 … · C… Xm( p0 -
p1 ) in ActiveArcs, add an active edge X→ X1 … · C… Xm( p0 - p2 ) to ActiveArcs and add C( p1 - p2 ) to the chart
ActiveArcs endif if agenda = , put the part of speech and the left and right interval into
agenda endif choose a element from agenda which is C( p1 - p2 ) if C matches the form X→ · C X1 … Xm, add an active edge X→ C·
随着计算机和 Internet 的推广应用, 由数据处理、信息处理 发展到知识处理, 对 语 言文 字处 理 要求 的深 度 和广 度越 来 越 高。汉语句法分析在中文文本 信息处 理领域 中占有 十分重 要 的地位, 同时它也是公认的一个研究难题。不同于其他西方语 言, 汉语有许多特殊之处, 吸收 其他语 言研究 成果时 需要结 合 汉语的特点加 以研 究[ 1] 。当 前对 汉 语的 研 究主 要按 照 词、句 子和篇章三个层次开展。其中 句子的 处理在 三个层 次中起 着 承上启下的 作用, 所 以 句子 处理 是 一个 核心 课 题。就目 前 来 说, 句子处理以自动分词 为基础, 以句 法分析 和语义 分析为 核 心。本文工作围绕着句法分析方法和系统展开, 句法分析就是 应用句法规则和其他知识, 将输入句子中的词之间的线性次序 变换 成 语 法 树 形 式 的 数 据 结 构。