混合的汉语基本名词短语识别方法

—199—

混合的汉语基本名词短语识别方法

胡乃全1，朱巧明1,2，周国栋1,2

(1. 苏州大学计算机科学与技术学院，苏州 215006；2. 江苏省计算机信息处理技术重点实验室，苏州 215006)

摘 要：提出一种混合的汉语基本名词短语(BaseNP)识别模型，包括采用语法规则、统计方法和组合分类器方法。利用BaseNP 词的信息、词性信息及上下文句法信息，构建组合分类器，提高判断的准确性。在中文树库(CTB5.0)上进行实验，F 值达到了90.09%，证明该方法能有效地识别BaseNP 。

关键词：基本名词短语；规则模板；组合分类器

Hybrid Method to Chinese Base Noun Phrase Recognition

HU Nai-quan 1, ZHU Qiao-ming 1,2, ZHOU Guo-dong 1,2

(1. School of Computer Science and Technology, Soochow University, Suzhou 215006; 2. Jiangsu Provincial Key Lab for Computer Information Processing Technology, Suzhou 215006)

【Abstract 】This paper proposes a hybrid method to recognize Chinese Base Noun Phrase(BaseNP), including the use of grammer rules, statistical approach and classification combination. It utilizes words information, part of speech information and context syntax information of BaseNP,generates a combination classification and improves the precision. Experimental results on CTB5.0 show that the F -score is 90.09%, it proves that the method is an effective approach to Chinese BaseNP recognition.

【Key words 】Base Noun Phrase(BaseNP); rule templates; combined classifier

计 算 机 工 程Computer Engineering 第35卷 第20期

Vol.35 No.20 2009年10月

October 2009

·人工智能及识别技术·文章编号：1000—3428(2009)20—0199—03

文献标识码：A

中图分类号：TP18

1 概述

名词短语的正确识别与分析对机器翻译、文本分类以及

句法分析具有重要作用。名词短语是以名词为主体的短语，它的性质和作用与名词相同，如风俗习惯、自然语言处理等。文献[1]将英语基本名词短语(Base Noun Phrase, BaseNP)定义为“简单的非嵌套的名词短语”，即一个BaseNP 内部不能再包含有更小的名词短语。文献[2]从限定性定语出发给出汉语BaseNP 的形式化描述：

BaseNP →BaseNP+BaseNP BaseNP →BaseNP+名词|名动词 BaseNP →限定性定语+BaseNP BaseNP →限定性定语+名词|名动词

定语→形容词|区别词|动词|名词|处所词|西文字串|数量词

本文参考英语的定义，将基本名词短语定义为具有单一的语义核心、非嵌套的名词短语。它包括单个名词、没有任何修饰成分的名词短语、难以确定修饰关系的一串名词、并列名词性成分、专有名词、时间、地点等。

2 任务描述

基本名词短语识别可转化为标注问题。这里引入3个标注符号：B, I, O ，其中，B 表示基本名词短语的开始；I 表示基本名词短语的内部；O 表示其他。这样，基本名词短语识别问题就转化为标注问题。

2.1 特征的表示

特征向量的属性主要考虑3类信息：词汇本身(W)，词性(P)和BIO 标注(T)。假设标注过程是从左到右进行的，因此，不考虑当前位置之后的BIO 标注。特征向量可能采用的属性如图1所示。其中，W0表示当前词汇；W-1表示当前位置左面第一个词；P-1表示W-1的词性；T-1表示W-1的

BIO 标注。

图1 特征向量的属性

2.2 最大熵(ME)模型

文献[3]将最大熵方法应用到英语组块识别分析。对位置限于考虑当前词左右第1、第2个词；对信息限于考虑BIO 标注(T)、词性标注(P)和单词本身(W)3种，但不考虑当前位置及之后的BIO 标注。保留候选特征频数高的，其他的特征被当作噪声舍弃，运用改进的迭代算法(IIS)计算特征参数λi 和P (y |x )，其中，λi 表示每个特征的重要性；x 表示上下文，y 表示当前位置的BIO 标记。在对新的样本进行标注时，把当前词满足条件的特征的参数按特征右部标注分类迭加取得最大的标注结果。可形式化表示为

(1)输入：上下文x ；

(2)过程：计算(|)exp((,))i k k i k

p y x f x y λ=∑；

取arg max (|)i t p y x =； (3)输出：标注y i 。

2.3 CRF 模型

文献[4]提出CRF 的概念，其模型描述如下：给定的输出

基金项目：国家自然科学基金资助项目(0673041)；国家“863”计划基金资助项目(006AA01Z147)

作者简介：胡乃全(1981－)，男，硕士研究生，主研方向：自然语言处理；朱巧明，教授；周国栋，教授、博士生导师

收稿日期：2009-03-13 E-mail ：naiquan_hu@https://www.360docs.net/doc/1913705421.html,

—200

—标识序列Y 和观察序列X ，为了描述(X , Y )序列，对上述CRF ，定义特征函数1(,,,)j i i f y y x i ? 和权值向量λ，y i -1, y i 为标识序列，x 为输入序列，i 为输入位置，则

1

(|,)exp((,))()

j j j p y x F y x Z x λ =

∑λ

11

(,)(,,,)n

j i i i i F y x f y y x i ?== ∑

其中，Z (x )是归一化因子。

由上式求得条件随机场的条件概率，对于输入序列x ，最佳序列y 可以通过下式确定：

*(|)(,)arg max arg max y

y

Y p Y X F y x == λλi

3 系统实现

基于混合方法的BaseNP 识别流程如图2所示，主要分

为训练模块和识别模块。训练模块实现特征的构建、规则集的提取和模型的训练，识别模块完成基本名词短语的识别和性能的评估。

图2 基于混合方法的BaseNP 识别流程

3.1 模板获取

规则模板分为4类：单词模板，词性-BIO 标注模板，词性模板，扩展词性模板。 3.1.1 单词模板

在名词短语识别中，先将常用的BaseNP 和常用的专有名词抽取出来，建成BaseNP 单词模板库。本文对CTB5.0前670篇文章中出现的BaseNP 进行了统计，其中，BaseNP 总数为89 399个，取出现次数大于50次的为单词模板(占总数的26.8%)。单词模板具有最高的优先级，如果句子中包含某个序列和单词模板匹配，则可以直接取出该单词序列作为BaseNP 。

3.1.2 词性-BIO 标注模板

本文统计语料中每种词性与其标识的对应关系，如果某个词性的统计结果97%以上都是同一类标识，则在识别时将该类词性都标注为该标识。部分统计结果如表1所示。

表1 单一词性与标注间的关系

B I O total 处理方式 NN 62 890 27 097 1 622 91 609 预标注为B PU 1 065 3 884 45 253 50 202 预标注为O VV

1

1

44 920

44 922

标注为O

对于不能满足97%以上的标注结果为同一标识的词性类别(共有6类：CC, ETC, NN, NR, NT, PU)，先标注为出现次数最多的标识，再利用模板修正结果。 3.1.3 词性模板

定义 设一个汉语的句子为S =w 1w 2…w m ，对应的词性序列为A =a 1a 2…a m ，假设P i,j =w i w i +1…w j (1≤i ＜j ≤m )为S 中的一个基本名词短语，则P i,j 对应的词性序列B =b i b i +1…b j 为BaseNP 的词性模板。通过统计，得到了450种词性模板，综合分析模板的出现次数、正确率及合理性，采用了其中 19个词性模板，如表2所示。使用时，采用最长匹配的原则。

表2 词性模板

编号

词性模板

编号

词性模板

1 NN-NN 11 PU-NN-NN-PU

2 NN-NN-NN 12 NR-CC-NR

3 NR-NN 13 NN-NN-CC-NN-NN

4 NN-CC-NN 14 NT-NN

5 NR-NR 15 NR-PU-NR

6 NR-NN-NN 16

NR-NR-NN

7 NT-NT 17 NN-CC-NN-NN 8 PU-NN-PU 18 NR-NN-NN-NN 9 NN-PU-NN 19 NN-PU-NN-PU-NN 10 NN-NN-NN-NN

3.1.4 扩展词性模板

本文在研究词性模板的基础上，考察词性模板的所处的上下文环境、标点符合类型，得到了识别更为准确的扩展词性模板。

设当前词汇为W i ，词性为P i ，其前一个词的编号为i -1，后一个词的编号为i +1，单一词汇的扩展模板举例如下：

(1)扩展模板1：W i =顿号，P i -1是VA, VV, PU, M ，或P i +1是CD, VV, JJ, P, DT, VE, VA ，或P i -1=NN, P i +1=NR 或P i -1=NR, P i +1=NN 时，顿号标注为“O ”，否则顿号标注为“I ”。

(2)扩展模板2：如果P i =NN 或P i =NR ，W i -1=顿号，P i -2=NN ，则当前词汇标注为“I ”。

对于表2中的词性模板，统计前后各一个词汇的词性与短语是否是BaseNP 的关系。词性模板NN-NN 的环境与是否为BaseNP 间的关系如表3所示，其中，BaseNP 列表示符合该词性序列，且模板NN-NN 对应的词为基本名词短语的个数；~BaseNP 列表示符合该词性序列，但模板NN-NN 对应的词不是基本名词短语的个数。

表3 NN-NN 模板上下文环境分析结果

词性模板

BaseNP ~BaseNP

M-NN-NN-PU 88 7 PU-NN-NN-VV 203 7 M-NN-NN-VV 62 0 DEC-NN-NN-PU 243 3 M-NN-NN-VV 40 0 M-NN-NN-NN 2 156 JJ-NN-NN-NN 0 184 CC-NN-NN-NN 1 97

3.2 组合分类器

在机器学习方法中使用多分类器组合可以提高分类准确性。本文参考文献[5]实现了一个基于加权投票机制的组合分类器。因为各个分类器对每个类别的识别能力有一定的差别，所以不能实行“一人一票”的表决原则，尽可能发挥各个分类器的优点，就有可能使组合结果提高。加权投票机制关键问题是如何确定每个分类系统所具有的权重，直接估算它们比较困难。根据训练语料生成各自的模型，再利用测试语料对模型进行测试，根据各自的性能结果分配给每个系统一个权值，然后采用交叉确认、VC-bound 和Leave-One-Out bound 的处理步骤来确定每个系统的最终权值[5]。

—201—

4 实验结果与分析

本文使用LDC 公开的中文树库CTB5.0语料。实验将语料分成2个部分：前670篇作为训练语料，后220篇作为测试语料。测试指标如下：

(1)精确率：100%a P b =×；

(2)召回率：100%a

R c

=×；

(3)F -score ：22

(1)100%RP

F R P

ββ+=×+, β=1。 其中，a 是识别正确的BaseNP 数；b 是识别为BaseNP 的词串数；c 是文本中实际存在的BaseNP 数。

本文基于ME 系统、CRFs 系统和混合系统(Combination)进行实验。经过多次实验，分别为ME 和CRFs 选择性能最好的特征：CRFs 选择当前词词性P0，当前词W0，前一词词性P-1作为特征向量；ME 选择当前词词性P0，当前词W0，前一词词性P-1和标注T-1作为特征向量。与基于同样语料库的其他系统作了对比，实验结果如表4所示。

表4 各系统的实验结果对比 (%)

系统 召回率 精确率 F -score

ME 系统 87.53 88.07 87.80 CRFs 系统(有模板库) 88.96 89.05 89.00 Combination 系统 89.67 90.52 90.09 文献[6]的系统 87.43 88.09 87.75

文献[7]的系统

— —

89.27

可以看出，CRFs 模型在处理BaseNP 识别问题时性能比

ME 模型好，当采用混合的方法时，Combination 系统的性能比ME 和CRFs 都好，F -score 达到了90.09%，高出CRFs 系统近1%，比文献[7]的系统高出0.82%。这主要是因为大量的规则给判断提供了依据，同时使用多分类器组合也提高了预测的准确性。

5 结束语

本文提出一种有效的汉语BaseNP 识别方法。该模型的不足之处是对单词模板的适用性要求较高，有些BaseNP 在某些语言环境中不再是BaseNP 或只是BaseNP 的一个部分，从而降低了精确率，且系统对上下文句法特征不明显的BaseNP 识别的精确率较低。下一步的工作是挖掘更多的上下文信息，并把BaseNP 识别结果应用于指代消解任务中。

参考文献

[1] Chruch K W. A Stochastic Parts Program and Noun Phrase for

Unrestricted Test[C]//Proc. of the 2nd Conf. on Applied Natural Language Processing. Austin, TX, USA: Kluwer Academic Publicshers, 1998.

[2] 赵 军, 黄昌宁. 基于转换的汉语基本名词短语识别模型[J].

中文信息学报, 1999, 13(2): 1-7.

[3] Koeling R. Chunking with Maximum Entropy Models[C]//Proc. of

CoNLL-2000 and LLL-2000. Lisbon, Portugal: [s. n.], 2000. [4] Lafferty J, McCallum A, Pereira F. Conditional Random Fields:

Probabilistic Models for Segmenting and Labeling Sequence Data[C]//Proc. of the 18th International Conference on Machine Learning. San Francisco, USA: [s. n.], 2001.

[5] Tjong E F, Sang K, Daelemans W, et al. Applying System Combi-

nation to Base Noun Phrase Identification[C]//Proc. of COLING’00. Saarbrucken, Germany: [s. n.], 2000.

[6] 周雅倩, 郭以昆, 黄萱菁, 等. 基于最大熵方法的中英文基本名

词短语识别[J]. 计算机研究与发展, 2003, 40(3): 440-446.

[7] 徐 昉. 汉语Base NP 识别: 错误驱动的组合分类器方法[J].

中文信息学报, 2007, 21(1): 115-119.

编辑 顾姣健

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

(上接第198页)

图3沿y 轴分解的情形与图2沿x 轴分解的情形相似，在此不作详细描述。

时间/s

y 轴投影/c m

时间/s

y 轴投影/c m

(a)关闭条件 (b)运行条件

图3 手动轨迹真实图像与神经状态识别关闭/运行的译码图像

5 结束语

本文利用相关向量机完成了对神经活动准确分类，在此基础上预测出手部运动轨迹。实验证明，相关向量机计算速度快、分类及回归性能出色、内存消耗少，是极为优秀的统

计学习和推理工具。然而，在训练中复杂的矩阵运算、RVM 核参数计算方法及误差的减小等方面仍然有待改进和解决。

参考文献

[1] Prabhat F W, Donoghue J P, Black M J, et al. Inferring Attentional

State and Kinematics from Motor Cortical Firing Rates[C]//Proc. of the 27th IEEE Engineering in Medicine and Biology Conference. Shanghai, China: [s. n.], 2005.

[2] Tipping M E. Sparse Bayesian Learning and the Relevance Vector

Machine[J]. Journal of Machine Learning Research, 2001, 1(3):

211-244.

[3] Vapnik V N. The Nature of Statistical Learning[M]. New York, USA:

Springer-Verlag, 1995.

[4] Lawrence N D, Seeger M. Fast Sparse Gaussian Process Methods:

The Informative Vector Machine[C]//Proc. of Workshop on Neural Information Processing Systems. [S. 1.]: IEEE Press, 2003: 609- 616.

编辑 顾逸斐