中文命名实体识别方法研究及其在文本分类中的应用

中文命名实体识别方法研究及其在文本分类中的应用Chinese Named Entity Recognition Study and Application in Text

Categorization

(申请清华大学工程硕士专业学位论文)

培 养 单 位 ： 软件学院

工 程 领 域 ： 软件工程

申 请 人 ： 刘彬

指 导 教 师 : 李 春 平 副教授

二○○九年五月

中文命名实体识别方法研究及其在文本分类中的应用

刘彬

关于学位论文使用授权的说明

本人完全了解清华大学有关保留、使用学位论文的规定，即： 清华大学拥有在著作权法规定范围内学位论文的使用权，其中包括：（1）已获学位的研究生必须按学校规定提交学位论文，学校可以采用影印、缩印或其他复制手段保存研究生上交的学位论文；（2）为教学和科研目的，学校可以将公开的学位论文作为资料在图书馆、资料室等场所供校内师生阅读，或在校园网上供校内师生浏览部分内容；（3）根据《中华人民共和国学位条例暂行实施办法》，向国家图书馆报送可以公开的学位论文。

本人保证遵守上述规定。

（保密的论文在解密后遵守此规定）

作者签名：导师签名：

日期：日期：

摘要

命名实体是一篇文章的基本信息元素，是正确理解文本的基础。命名实体识别就是判断文本中的一个字符串是否代表实体并确定实体的类别。由于中文自身的特点，中文命名实体识别相比于英文命名实体识别具有更大的难度。哪些措施可以尽可能的提高中文命名实体识别的效果？如何减少分词的确定性切分误差导致的命名实体识别的错误？命名实体识别技术如何有效的用到其他自然语言处理技术当中？本文将围绕这些问题展开研究。

本文首先采用一种针对不同实体使用不同标注策略的中文命名实体识别方法并基于链式条件随机场实现了此方法。在此基础上，对利用中文语言学特点提高中文命名实体识别效果，动态随机场模型用于组织机构名识别，中文命名实体识别技术用于文本分类等问题做了研究。本文的主要贡献包括：

采用一种针对不同实体使用不同标注策略的中文命名实体识别方法并基于链式条件随机场实现了此方法。同时，收集整理了若干语言学资料，以字典和词典的形式加入到链式条件随机场的特征模板当中，丰富了此方法的特征模板。通过和同类方法的比较，证明了我们的方法能够得到较好的识别效果。

提出了一种基于动态条件随机场的识别方法用于中文组织机构名的识别。此方法将中文分词和组织机构名识别融合到一个统一的过程当中，与同类方法相比能够取得更高的召回率，此方法尽可能的避免了分词的确定性切分的误差导致的命名实体识别的错误。

将中文命名实体识别技术用于中文文本分类任务。考虑到现有的特征选择方法都是基于概率统计模型，没有考虑到文章本身的语义信息，我们提出了一种引入命名实体识别技术的文本分类特征选择方法，并针对命名实体提出了对应的特征加权方法。通过和文本分类中常用的特征选择及特征加权方法比较，证明我们的方法是有效的。

关键词：中文命名实体识别 链式条件随机场 动态条件随机场 文本分类

I

Abstract

Named Entity, as the basic information unit of text, is important to the correct understanding of a text. Named Entity Recognition is to identify the words in a document belonging to Named Entities and further classify them into some predefined categories. Chinese Named Entity Recognition is more difficult than English Named Entity Recognition because of the special characteristics of Chinese language. How to gain better recognition effect of the Chinese Named Entity Recognition? How to reduce the Named Entity Recognition error which caused by the uncertainty error of segmentation? How to use Named Entity Recognition technology on other natural language processing tasks? We will research on these problems in the paper.

We design a Chinese Named Entity Recognition method and implement it at first. And then, we research the application of Dynamic Conditional Random Fields in organization names recognition and the application of Chinese named entity recognition in Chinese text categorization. In this paper, the main work and contribution include:

Design a Chinese Named Entity Recognition method and implement it based on linear-chain conditional random fields. We propose a new labeling solution which using different strategy for simply entities and complex entities. At the same time, we collect some Chinese language material and build some dictionaries for person names, location names and organization names. These dictionaries are helpful us building our feature templates and these feature templates are useful through experiments. Comparing with other named entity recognition mehtod, our method can get better performance in experiments. Propose a new organization name recognition method based on Dynamic Conditional Random Fields. The method merges word segmentation and Name Entity Recognition into one process. It can get higher recall than similar methods and reduce the Named Entity Recognition error which caused by the uncertainty error of segmentation as fully as possible.

Use Chinese Named Entity Recognition technology in text categorization. Considering existing feature selection methods are all based on statistical probability model, we propose a feature selection method which uses Named Entity Recognition technology. At the same time, we design a term weighting method for Named Entity. Comparing with other common feature selection methods in text categorization, our method is effective.

Keywords:Chinese Named Entity Recognition

Linear-chain Conditional Random Fields

Dynamic Conditional Random Fields Text Categorization

II

目录

第1章 绪论1

1.1 研究背景1

1.2 问题描述1

1.2.1 命名实体识别的定义1

1.2.2 中文命名实体识别的难点2

1.3 国内外研究综述2

1.3.1 中文命名实体识别的研究现状2

1.3.2 命名实体识别的相关评测会议4

1.4 论文研究主要工作6

第2章 条件随机场的相关理论知识8

2.1 条件随机场8

2.1.1 条件随机场的定义8

2.1.2 条件随机场的相关研究8

2.1.3 条件随机场的应用领域9

2.2 链式条件随机场9

2.2.1 模型表示 10

2.2.2 参数估计 11

2.3 动态条件随机场 12

2.3.1 模型表示 12

2.3.2 推理过程 13

2.3.3 参数估计 14

2.4 本章小结 14

第3章 基于链式条件随机场的中文命名实体识别方法 15 3.1 识别方法的设计方案 15

3.1.1 整体设计思想 15

3.1.1.1 基于字标注的方法 15

3.1.1.2 基于词标注的方法 16

3.1.2 语料预处理方法 17

3.1.3 模型训练方法 17

3.1.3.1 特征模板构造 18

3.1.3.2 特征选择方法 20

3.1.3.3 L-BFGS参数训练方法 20

3.1.4 实体识别标记方法 21

3.2 识别方法的系统实现 22

3.3 实验结果与分析 23

3.3.1 实验语料与评测标准 23

3.3.2 实验设计 24

3.3.3 实验结果及评价 24

III

3.4 本章小结 27

第4章 基于动态条件随机场的中文组织机构名识别方法 28 4.1 引言 28

4.1.1 中文组织机构名识别的研究现状 28

4.1.2 中文组织机构名识别的难点 28

4.2 基于动态条件随机场的组织机构名识别方法 29

4.2.1 整体设计思想 29

4.2.2 语料预处理 30

4.2.3 模型训练 30

4.2.4 组织机构名识别标注 30

4.3 实验结果与分析 31

4.3.1 实验语料 31

4.3.2 动态条件随机场实验工具包 31

4.3.3 实验设计 32

4.3.4 实验结果 32

4.4 本章小结 33

第5章 中文命名实体识别技术在中文文本分类上的应用 35 5.1 引言 35

5.1.1 问题的提出 35

5.1.2 文本分类的相关工作 35

5.1.2.1 特征选择 35

5.1.2.2 特征加权 36

5.2 中文命名实体识别技术用于文本分类的方法 36

5.2.1 特征选择 36

5.2.2 特征加权 37

5.3 基于命名实体识别的文本分类方法的系统实现 38 5.4 实验结果与分析 39

5.4.1 实验语料 39

5.4.2 实验评测标准 39

5.4.3 实验设计 39

5.4.4 实验结果与分析 39

5.5 本章小结 41

第6章 总结和进一步工作 42

6.1 全文总结 42

6.2 进一步工作 42

参考文献 43

致谢 47

个人简历、在学期间发表的学术论文与研究成果 48

IV

第1章 绪论

1.1 研究背景

为了应对信息爆炸带来的严峻挑战，迫切需要一些自动化的工具帮助人们在海量信息源中迅速找到真正需要的信息。信息抽取（Information Extraction）的研究正是在这种背景下产生的。信息抽取系统的主要功能是从文本中抽取出特定的事实信息。比如，从购物网站抽取某类商品的详细信息，包括品牌，型号，价格，供货商，经销商等信息[1]。

根据MUC的定义，目前共有5种类型的信息抽取，包括命名实体识

别，指代消解，模板元素构建，模板关系构建以及情景模板建立[2]。

其中，命名实体的抽取是上面所说的模板元素任务的核心，同时也是整个信息抽取系统的基础。

命名实体是一篇文章的基本信息元素，往往指示了文章关注的主题信息。识别出文章的命名实体，能够帮助我们得到文章的一些重要信息。

命名实体识别不仅是信息抽取的重要组成部分，同时也是多种自然语言处理技术的重要基础。命名实体识别是对文本进行理解的前提工作，它的质量将直接影响后续的文本分析工作，例如在信息检索中，命名实体识别可以改善系统检索文档的相关度，并提高检索系统的召回率和准确率；在机器翻译领域，准确和高效的自动抽取文本中的命名实体，对于提高双语翻译的准确率和实用性都具有重要的意义；在组块分析过程中，可以通过命名实体识别将一些重要的命名实体进行修正，减少组块分析的错误率和复杂度；在问答系统中，基础工作就是识别出文档中的各类命名实体，然后根据实体的类别对各种问题进行答案匹配。由此可见，命名实体识别的研究具有重要的实用意义。

1.2 问题描述

1.2.1 命名实体识别的定义

命名实体识别最初是在MUC-6 （Message Understanding

Conference）上作为一个子任务提出的。它的主要任务就是判断一

个字符串是否代表一个命名实体，并确定它的类别，即发现命名

实体和标注命名实体。所谓命名实体（Named Entity）主要包括实

体（人名，地名，组织名），时间表达式（日期，时间），数字表

达式（货币值，百分数）等。

根据国家863命名实体识别评测小组发布的《2004年度命名实体

识别评测大纲》，命名实体任务被定义为:“命名实体任务由三个

子任务组成（命名实体、时间式、数字表达式）。被标注的表达式

为命名实体（组织、人、地点）、时间（日期、时间）及数量”。

从这个定义上可以看出，狭义的讲，命名实体有三种：人名、地

名、组织机构名。广义的讲，命名实体有六种：人名、地名、组

织机构名、日期、时间和数量，这和MUC-7的定义是一致的。其

中人名，地名和组织机构名是识别难度较大也是最重要的三类命

1

名实体，一般的命名实体识别技术研究也是主要关注于这三类实体。图1.1就是一个中文命名实体识别的实例。

图1.1 中文命名实体识别实例

在上面的例子中，“李鹏”，“贾庆林”为人名，标记为PER；“北京”为地名，标记为LOC；“北京市委”，“北京石景山发电总厂”，“华北电力集团公司”为组织机构名，标记为ORG。

1.2.2 中文命名实体识别的难点

命名实体识别在英语中已经取得了较好的研究成果，然而中文的命名实体识别研究仍处在不成熟的阶段。命名实体本身所具有的发展性和构词方式的随意性，以及各类词之间的共享性和制约性都对命名实体识别带来了一定的困难，相对于其它语言中的命名实体识别问题，中文命名实体识别又有一些特殊的难点，总结起来有以下四点:

1）中文命名实体识别的结果和分词结果相互影响。词在汉语中是个模糊的概念，没有明确的定义。分词仍然是中文信息处理的一个技术难题。边界模糊不仅存在于非实体词之间，也出现于实体词和非实体词之间。因此对于分词中的错误，相应地也会造成命名实体识别中的错误。同时，在命名实体识别时也会对分词结果作一些调整。这样导致了命名实体识别和分词相互交叉，使得中文命名实体识别面临更多的问题。

2）中文命名实体的生成规律以及结构相比英文更加复杂。比如缩略语的表示形式具有多样性，较难提取构成规则，例如中（中国）美（美国）关系，北（北京）大（大学）等。因此较难用一种识别模型应用于所有的命名实体。

3）中文缺少在命名实体识别中起重要作用的词形变换特征。英语

2

中的这类信息能很好地指出实体的位置和边界，比如英语中的命

名实体大都是以大写字母开头，而中文并不具备这类显式的特征。

4）除了一些比较特殊的字词外，命名实体中包含了大量的普通

字词。几乎所有的字词都有可能作为命名实体，这给命名实体的

识别带来了很大的困难。

1.3 国内外研究综述

1.3.1 中文命名实体识别的研究现状

命名实体识别主要有两类方法：基于规则的方法和基于机器学习

的方法。总的来说，规则的方法准确率较高，且接近人的思维方

式。但是规则往往依赖于具体语言，领域，文本格式，可移植性

差。和规则的方法比，基于机器学习的方法的健壮性和灵活性更

好，且比较客观，不需要太多的人工干预和领域知识，但数据稀

疏问题比较严重，效率相对较低，同时这类方法还要求大规模的

语料库[3]。本文主要是立足于机器学习的方法来实现命名实体识

别，下面我们介绍近年来基于机器学习方法的中文命名实体识别

的主要研究成果。

1998年国立台湾大学的Hsinhis Chen，Yungwei Ding等设计了

NTU系统[4]。NTU系统采用了不同的模型识别不同类别的命名实体。识别人名时使用统计模型，识别地名和机构名时使用规则，

利用MET-2测试时，总的F值为79.61%。但是该系统很容易因为概率低于阈值漏标人名，因为规则不匹配而漏标地名和机构名。

这是早期中文命名实体识别研究工作的代表。

在2002年的计算语言学国际会议（COLING2002）上，新加坡大学的Shiren Ye和Tat-Seng Chua提出一种基于多重主体结构推理

模型[5]的中文命名实体识别方法。它将中文命名实体的识别过程

分为两步，首先使用贪心算法和命名实体的推理模型来评价和检

测出文本中所有候选的命名实体，然后将选出的最有可能是命名

实体的过程作为一个多重主题协商问题来处理。这种方法可以识

别很多复杂的命名实体，但是系统的运行效率不高。

同样在COLING2002上，北京大学的Jian Sun则用基于类的语言

模型将分词和命名实体识别合并到一个过程中处理[6]。系统包含

上下文模块和实体模块两个子模块，前者用于估计在给定的上下

文环境下产生命名实体的概率，后者用于估计输入的汉字序列成

为某种命名实体的概率。利用MET-2集测试F值为81.79%，利用IEER测试集测试F值为78.75%。但是该系统过于依赖统计信息，必须用大规模的标注语料训练，且不可避免的遇到数据稀疏问题。

IBM CRL（IBM中国研究院）的Honglei Guo在2004年使用鲁棒性风险最小化（Robust Risk Minimization，RRM）作为命名实体

分类器，并有效结合了基于字和基于词的模型的优点用于命名实

体识别[7]。他以字为基本单元，将分词信息，语义特征，词性，

3

命名实体触发器等融入其中。为了体现某些特征的重要性，还引入了一种特征权重机制，即在构造输入向量时将这些特征重复两次或多次。使用IBM的标注语料测试，总的准确率，召回率和F 值分别为86.79%，82.49%和84.59%。

在2004年机器学习国际会议（ICML2004）上，马萨诸塞州大学的Charles Sutton等人对条件随机场模型（Conditional Random Fields，CRFs）进行了改进，提出了动态条件随机场模型[8]（Dynamic Conditional Random Fields，DCRF）用于序列标注问题。相对于条件随机场模型，动态条件随机场模型更为复杂，它不仅能够处理一般的线性条件随机场模型，而且可以处理复杂的阶乘条件随机场模型。和动态贝叶斯网络相似，在同一时间段，它可以处理多个状态变量。由于精确的数学模型难以推导，在描述动态条件随机场模型信念网络传播时采用了基于树的重新参数化（Tree-based Reparameterization，TRP）等近似的时间度量方法。在处理自然语言组块分析任务时，动态条件随机场模型比一般的线性条件随机场效率更高，同时更为重要的是动态条件随机场模型达到预定试验效果只需一般的训练集，这对于序列标注问题来说是十分重要的特性。

在2005年知识发现和数据挖掘会议（SIGKDD2005）上，香港大学的Guohong Fu提出一种基于词汇的隐马尔可夫算法的中文命

名实体识别方法[9]。他将未知词语识别和命名实体识别统一起来，并利用词汇的特点提出新的命名实体标注方式。本方法利用

MET-2测试集F值对应人名，地名和机构名分别为78.00%，77.21%和70.72%。

在2006年的国际计算语言学学术会议（ACL2006）上，上海交通大学的Tianfang Yao等人设计出了一种自然语言处理任务解决方案的综合处理系统[10]，能够进行中文分词，词性标注，命名实体识别和命名实体关系抽取等任务。特别是其将命名实体识别和命名实体关系抽取结合起来，应用上起到了良好的效果。其中分词和词性标注的F值分别可以达到92.86%和90.01%，针对6种实体和14中关系的实体识别和关系抽取，F值分别达到83.08%和74.46%。

在2007年的自然计算国际会议（ICNC2007）上，中科院自动化所的PENG LU等人提出了层次条件随机场[11]（Hierarchical Conditional Random Fields，HCRF）方法用于中文命名实体识别。层次条件随机场方法仍然以条件随机场模型作为实体识别的训练模型，但是将人名，地名和机构名联系起来，根据实体识别的难易程度将人名，地名和机构名分为三个层次来分别使用条件随机场模型训练，同时人名和地名的识别结果将影响复杂的机构名的识别，提高了整体的实体识别效果。单独使用条件随机场模型，

4

人名，地名和机构名实体识别的F值分别达到91.21%，90.78%，84.34%，使用层次条件随机场模型，三种实体的F值分别达到了95.44%，93.13%，87.14%。

2007年的一系列会议上，命名实体识别在Wikipedia上的应用成了热点，其中Yotaro Watanabe等人在自然语言处理经验方法会议（EMNLP2007）上提出的一种基于图的命名实体识别方法在Wikipedia上的应用[12]是众多应用的代表。处理Wikipedia数据可以看成处理与命名实体关联的HTML页面。将每个页面看成一个节点，采用图结构来对这些节点对应的实体进行分类。这种方法仍然是基于条件随机场模型来进行序列标注，由于这种图结构包括闭环，所以采用基于树的重新参数化方法来对模型近似求解。与支持向量机（Support Vector Machine，SVM）模型相比，此图结构模型的试验效果有较大的提高。这也是命名实体识别技术在Web领域比较成功的应用。

上述工作就是国内外近年来中文命名实体识别的主要研究成果。

1.3.2 命名实体识别的相关评测会议

高水平的评测会议是推动相关技术发展的重要动力，也为相关领域的技术交流提供了良好的平台。命名实体识别技术的发展同样离不开一系列重要的评测会议，这里我们介绍一些包含命名实体识别任务的评测会议。

1）消息理解会议

80年代末，美国国防高级研究计划委员会（the Defense Advanced Research projects Agency，DARPA）资助发起的消息理解会议（Message Understanding conference，MUC）[13]，从1987年到1998年举办过七次，极大的推动了信息抽取技术的发展, 现已停办。MUC会议目的是为了对各研究小组开发的信息提取系统进行评测。评测时使用限定领域的自由文本。每次会议选择不同的领域。从MUC-1到MUC-5的前五次会议是带有探索性质的，摸索如何能够更好的评价参加评测的信息提取系统。MUC-1（1987），既没有定义评测任务也没有定义评测标准。在MUC-2（1989），明确了评测任务，但是没有确定评测标准。MUC-3（1991），定义了二个评价指标：召回率R和准确率P。MUC-4（1992），在前一届的基础上，增加了F值来综合评价系统。MUC-5（1993），增加了基于错误的评价标准。MUC-6（1995），组织者设置了一个命名实体识别的子任务，专门处理人名、机构名、地名、日期。这是命名实体识别技术第一次被明确提出作为单独的基础技术研究。MUC-7（1998），增加了中文命名实体识别的评测。

2）自动内容抽取评测会议

随着MUC会议的停办，自动内容抽取（Automatic Content Extraction, ACE）评测[14]于2000年12月正式启动。ACE评测会

5

议是由美国国家标准技术研究所（National Institute of Standard Technology, NIST）组织的，至今已经举办了八届，从2009年起并入文本分析会议（Text Analysis Conference, TAC）。ACE评测会议的目的是为了发展从自然语言描述的文本中自动提取内容的技术，其主要内容是从新闻语料中自动抽取实体、关系、事件等内容。目前ACE评测主要有三个阶段的任务：实体识别（Entity Detection and Recognition，EDR）、关系识别（Relation Detection and Recognition，RDC）、事件检测与识别（Event Detection and Characterization）。从2003年起，ACE增加了中文评测。在MUC 评测结束之后， ACE评测一直将命名实体识别作为所有评测任务中的第一阶段任务，使得命名实体识别技术的不断向前发展。3）国际中文自然语言处理竞赛

国际计算语言学协会（Association for Computational Linguistics，ACL）下属的中文处理专业委员会（Special Interest Group on Chinese Language Processing，SIGHAN），在2003、2005、2006

和2008年先后举办了四届中文自然语言处理竞赛（Bakeoff）[15] [16] [17] [18]。前两届均为中文分词评测，从第三届开始还增加了命名实体识别评测任务。在2008年的命名实体识别评测中，提供了两种语料以供训练和测试，分别来自香港城市大学（CityU），微软亚洲研究院（MSRA）。每种语料包括一个训练集和一个测试集，在每种语料上分别进行封闭和开放两种评测。在封闭测试中，评测系统在训练系统时，只能使用指定的训练语料，不能使用除此以外的任何知识。而在开放测试中，除了指定的训练语料，评测系统可以使用任何知识来训练自己的系统，比如各种词表、分词、词性以及来自其它语料库的信息等。由于SIGHAN的评测活动是专门针对中文信息处理而举办的，由此极大地推动了中文分词和命名实体识别的发展。

4）863评测会议

在国内，国家863计划智能计算机专家组从1995年起，组织了中文信息处理与智能人机接口技术评测。并于2003年首次将中文命名实体识别作为其分词标注评测的子任务，在2004年更将其作为一个独立的评测项目。2004年的命名实体任务由三个子任务组成：命名实体、时间表达式、数字表达式，其中命名实体又分为人名、地名和组织名三类。

目前，在英文命名实体识别方面，学者们已经进行了许多的研究工作并取得了不错的效果。在MUC-7评测中，表现最好的命名实体识别系统达的准确率和召回率分别达到95%和92%；在CoNLL-2003（Conference on Computational Natural Language Learning，CoNLL）的命名实体识别评测任务中，成绩最好的命名实体识别系统的准确率、召回率和F值分别为88.99%、88.54%和

6

88.76%。

在中文命名实体识别方面，近期的研究也取得了不错的成果，在

第四届中文自然语言处理竞赛中，在CITYU的测试语料上，封闭测试成绩最好的系统的准确率、召回率和F值分别为87.7%、82.5%和85%。

1.4 论文研究主要工作

尽管经过多年的研究，中文命名实体识别技术取得了不少的进展，但是仍然存在一些问题有待解决，以下三点是较有代表性的问题：

1）与英文相比，中文更加复杂，中文的人名，地名和组织机构名的组成包含了很多中文的语言习惯。如何充分利用中文语言学的特点提高中文命名实体识别的精度，是中文命名实体识别研究的一大问题。2）中文命名实体识别和英文命名实体识别最大的区别在于中文命名实体识别比英文命名实体识别多一个中文分词的步骤。目前大多数的中文命名实体识别方法都是将分词和命名实体识别分为两个独立的步骤，即先对文本进行分词，得到确定的分词结果之后再识别人名，地名和组织机构名。这种确定性的切分很可能导致命名实体识别的错误，影响命名实体识别的精度。如何最大程度的消除这种确定性切分的影响也是中文命名实体识别研究的一大问题。

3）在研究背景中我们提到，中文命名实体识别是对文本进行理解的前提工作，它是多种自然语言处理技术的重要基础，在信息检索，机器翻译，组块分析以及问答系统中都得到了重要的应用。如何将中文命名实体识别技术有效合理的用到其他中文语言处理技术中，也是命名实体识别研究的问题之一。

针对上述中文命名实体研究中存在的问题，本文从以下三方面展开研究：

1）充分考虑中文语言学的特点，采用一种针对不同实体使用不同标注策略的中文命名实体识别方法并基于链式条件随机场实现了此方法。同时，通过收集整理若干语言学资料，将其以字典和词典的形式加入到链式条件随机场的特征模板当中，扩展链式条件随机场特征模板。从以上两方面著手，尽可能充分利用中文语言学的特点提高中文命名实体识别的精度。

2）提出了一种基于动态条件随机场模型的命名实体识别方法，这种方法将分词和命名实体识别两个步骤融合到一个统一的过程当中，利用两者结果的互相作用分别提高分词和命名实体识别的精度，最大程度上消除分词的确定性切分对中文命名实体识别精度的影响。

3）考虑如何将中文命名实体识别技术用于文本分类任务当中。我们提出一种基于命名实体识别结果的文本分类特征选择方法，即在对文本分词之后先对文本进行命名实体识别，抽取其中的人名，地名和组织机构名，然后将这些实体作为特征再结合原有的特征选择算法得到更为有效的特征。同时针对这种特征选择方法提出对应的特征加权方法。

7

本文的主要研究工作将从上述三点展开，论文章节具体安排如下：第2章主要介绍本文使用的主要理论，包括链式条件随机场和动态条件随机场的相关理论知识。

第3章介绍一种基于链式条件随机场模型的中文命名实体识别方法。此方法将命名实体分为简单实体和复杂实体，针对不同实体采用不同的标注策略。这一章首先详细介绍此命名实体识别方法的各个步骤，然后描述此方法的系统实现，最后设计了两组实验来验证我们方法的识别效果。

第4章介绍一种基于动态条件随机场模型的命名实体识别方法。此方法将分词和命名实体识别融合到一个统一的过程中并以组织机构名为识别对象，基于动态条件随机场模型的实体识别方法，最大程度上克服了分词的确定性切分误差导致的实体识别错误。这一章首先对第3章中组织机构名识别的实验结果进行分析，然后详细介绍了这种基于动态条件随机场的命名实体识别方法，最后设计三组实验来验证我们这种方法对组织机构名的识别效果。

第5章介绍如何将中文命名实体识别技术用于中文文本分类的特征选择方法中以提高文本分类的效果。这一章首先介绍当前文本分类中特征选择方法的研究状况，然后详细介绍我们提出的一种引入文本命名实体识别结果的特征选择方法以及针对这种特征选择方法的特征加权方法，最后设计两组实验来验证我们提出的特征选择方法和特征加权方法的有效性。

第6章对本文的研究工作进行总结并提出了进一步的研究内容。

8

第2章条件随机场的相关理论知识

第2章 条件随机场的相关理论知识

本章首先介绍了条件随机场的基本概念和研究现状，然后统计条件随机场的应用领域。接着详细描述链式条件随机场的模型表示和参数估计，链式条件随机场是最基本和应用最广泛的条件随机场模型，我们在第3章提出的中文命名实体识别方法就是基于链式条件随机场模型的。然后我们详细描述了动态条件随机场的模型表示，推理过程和参数估计，动态条件随机场是一种衍生的条件随机场模型，与链式条件随机场相比，它能够处理更为复杂的情况。我们在第4章提出的复杂组织机构名识别方法是基于动态条件随机场模型的。

2.1 条件随机场

条件随机场(Conditional Random Fields, CRFs)是一种用于在给定输入结点值时计算指定输出结点值的条件概率的无向图模型，它具有表达元素长距离依赖性和交叠性特征的能力、能方便地在模型中包含领域知识、较好地解决了标注偏置问题等优点。McCallum等人的研究[21]表明该模型在解决英文命名实体的识别任务时，具有较好的效果和性能。

2.1.1 条件随机场的定义

条件随机场是一种无向图模型[19]，假设X,Y分别表示需要标记的

观察序列和相对应的标记序列的联合分布随机变量，那么条件随

机场（X,Y）就是一个以观察序列X为条件的无向图模型。

定义G=(V，E)为一个无向图，Y={Y v|v∈V}即V中的每个节点对

应于一个随机变量所表示的标记序列的元素Y v。如果每个随机变

量Y v对于G遵守马尔可夫属性，即前面所提到的条件独立性，那

么（X，Y）就构成一个条件随机场，而且在给定X和所有其他随

机变量Y{u|u≠v,{u,v}∈V}的条件下，随机变量Y v的概率p(Y v|X, Y u,u≠

v,{u,v}∈V)等于p(Y v|X, Y u,u≠v,{u,v}∈E)。

根据条件随机场的定义，我们可以把中文命名实体识别任务看作

是对一个中文序列中的每个词选择正确的命名实体标记的过程，

这样条件随机场就可以处理命名实体识别这种标注序列化数据的

任务。

2.1.2 条件随机场的相关研究

在2001年条件随机场提出之后，它在理论上有了迅速的发展，主

要体现在条件随机场结构的发展和条件随机场训练和推理方法的

发展，其中条件随机场结构的发展包括标注变量结构的变化和观

察变量结构的变化。这里我们从标注变量结构和观察变量结构出

发，介绍近年来条件随机场结构发展的情况，简单描述一些对条

件随机场结构改进的衍生模型。

标注变量结构的变化主要指其由一元标记发展为多元标记。多元

标记的马尔可夫随机场[22]早在1993年就由Luettgen等人提出，在

9