基于支持向量机的文本分类算法的研究与实现

学号：2009030114

哈尔滨师范大学

学士学位论文

题目基于支持向量机的文本分类算法研究与实现

学生李慧颖

指导教师李红宇副教授

年级2009级

专业计算机科学与技术

系别计算机科学与技术

学院计算机科学与信息工程

学士学位论文

题目基于支持向量机的文本分类算法研究与实现学生李慧颖

指导教师李红宇副教授

年级2009级

专业计算机科学与技术

系别计算机科学与技术

学院计算机科学与信息工程

哈尔滨师范大学

2013年5月

摘要：随着计算机与通讯技术的飞速发展，互联网上的电子文档信息急剧增加。这就使得文本的自动分类越来越受人们的重视，而支持向量机和文本分类问题有着良好的结合点，从而使得基于支持向量机的文本分类成为这个领域的研究热点。支持向量机是一种基于结构风险最小化准则的分类学习机模型，它的应用十分广泛。虽然支持向量机算法的性能在许多实际问题的应用中得到了验证，但是还存在着一些需要改进的地方，如：训练算法速度慢、测试阶段运算量大等。

关键词：支持向量机；文本分类；学习机模型

目录

第一章引言 (1)

1.1研究背景及意义 (1)

1.2 国内外研究现状 (1)

1.2.1 文本分类研究现状 (1)

1.2.2 SVM研究现状 (2)

1.3 文本内容研究 (3)

第二章文本分类 (4)

2.1 文本自动分类概述 (4)

2.2 文本分类所涉及的技术领域 (4)

2.2.1 文本分类与自然语言处理 (4)

2.2.2 文本分类与文本挖掘 (5)

2.2.3 文本分类与机器学习 (5)

2.2.4 文本分类与模式识别 (5)

2.3 文本分类的关键技术 (6)

2.3.1 文本表示 (6)

2.3.2 特征选择 (7)

2.3.3 权重计算 (9)

2.3.4 常用的文本分类算法 (9)

2.4 文本分类的应用 (11)

第三章支持向量机 (13)

3.1 支持向量机简介 (13)

3.2 支持向量分类机 (14)

3.2.1 线性可分问题 (14)

3.2.2 近似线性可分问题 (15)

3.2.3 线性不可分问题 (15)

3.3 支持向量机的应用步骤 (16)

3.4基于支持向量机文本分类方法的优势 (17)

3.5基于支持向量机文本分类方法中存在的问题 (17)

第四章小波变换在支持向量机分类中的应用 (19)

4.1 问题的提出 (19)

4.2降维相关的研究工作 (19)

4.3 小波分析 (20)

4.3.1 离散小波变换 (20)

4.3.2 小波的定义 (21)

4.4 一维哈尔小波变换 (21)

4.4.1 哈尔基函数 (22)

4.4.2 哈尔小波函数 (22)

4.4.3 函数的规范化 (23)

4.4.4 哈尔基的结构 (24)

4.5 哈尔小波变换的应用 (24)

4.5.1 哈尔小波变换的过程 (24)

4.5.2 哈尔小波变换的应用 (24)

4.6 哈尔小波变换在本文中的应用 (26)

4.6.1 小波变换的应用 (27)

4.7 实验及结果分析 (28)

4.7.1 实验平台及环境 (28)

4.7.2 实验步骤 (28)

4.7.3 实验目的 (29)

4.7.4 结果分析 (29)

第五章总结 (33)

5.1 文本总结 (33)

5.2 工作展望 (33)

参考文献： (34)

Absatrct: . (35)

第一章引言

1.1研究背景及意义

所谓的文本自动分类，最初是应信息检索(Information Retrieval，IR)系统的要求出现的。信息检索系统要操纵许多的数据，而文本信息库可能是相当庞大的，并且，用来表示文本内容的词汇数量又是成千上万的。因此，在这种情况下，如果能够提供文本集良好的组织与结构，就能一定程度上简化文本的操纵。

文本自动分类系统的目的就是对文本集进行有序组织，把相似的、文本组织在一起。它作为知识的组织工具，为信息检索提供了更高效的搜索策略和更准确的查询结果。其中，高效性来自于用户可以首先确定查询的可能类别，以减小需进一步匹配的文本数量。有效性在于相似的文本很可能与相同的查询相关。这样，检索的查全率和准确率都得到了提高。

随着全球计算机与通讯技术的飞速发展、互联网络的普及与应用，文本自动分类对于信息处理的意义变得更加重要。在互联网中，电子文档信息每天都在急剧的增加，通过网络，人们可以很方便地共享巨大的信息资源。但网络信息的快速膨胀使得给人们进行信息查找的信息资源无法很有效的加以利用。面对网上的海量信息，传统的做法是对网上信息进行人工分类，并加以组织和整理，为人们提供一种相对有效的信息获取手段。但是，这种人工分类的做法存在着许多弊端：一是耗费大量的时间和精力。二是存在分类结果不精准。即使分类人的语言素质较高，但其分类结果仍然不尽相同。网络信息的激增不仅增加了对于快速、自动文本分类的迫切需求，而且又为基于机器学习的文本分类方法准备了充分的准备。

支持向量机是由Vapnik领导的AT&TBell实验室研究小组在1995年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较艰涩，这些研究一直没有得到充分的重视。直到90年代，统计学习理论 (Statistical Learning Theory，SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等，使得SVM迅速发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。从此迅速的发展起来，现在已经在许多领域(生物信息学，文本和手写识别等)都取得了成功的应用。

SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。⑵它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。对学习算法的研究和改进是目前SVM研究的主要内容，在过去的十多年里，出现了很多SVM算法的改进算法，从算法实现中优化理论的改进、核函数的构造到算法参数的选择等

1.2 国内外研究现状

1.2.1 文本分类研究现状

文本分类一般包括了文本的表达、分类器的选择与训练、分类结果的评价与反馈等过程，其中文本的表达又可细分为文本预处理、索引和统计、特征抽取等步骤。美国IBM公司的H.P.Luhn在20世纪50年代末对文本分类进行研究，他提出了词频统计思想，后来被应用

在文本分类领域。60年代初，Maron在利用概率模型进行文本分类方面做出了开创性的研究工作。Salton等人在70年代初提出了向量空间模型，由于该模型在良好的统计学方法基础上简明地实现了对文本特性的抽象描述，从而成为文本分类处理的一种经典模型。其后许多学者在这一领域进行了卓有成效的研究。

国外文本自动分类主要经历了四个发展阶段：

第一阶段(1958-1964)：研究文本自动分类的可能性；

第二阶段(1965-1974)：进入文本自动分类的实验性阶段；

第三阶段(1975-1998)：文本自动分类的实用性阶段；

第四阶段(1990-至今)：因特网文本自动分类研究阶段。

国内文本自动分类研究起步较晚，始于20世纪80年代初期。1981年侯汉清对计算机在文献分类工作中的应用作了探讨，并介绍了国外在计算机管理分类表、计算机分类检索、计算机自动分类、计算机编制分类表等方面的概况。此后，有越来越多的人借鉴国外的一些研究成果，结合中文的特点进行中文文本自动分类的研究。中科院计算所的李晓黎、史忠植等人应用概念推理网进行文本分类。复旦大学的周水庚等人用了N-gram方法对中文文本进行分类尝试，从文档中提取N-gram属性，然后用ON方法判别文本类别，摆脱了对词典和切词处理的依赖，实现文本分类的领域无关性和时间无关性。刁力力、石纯一等用Boosting 来组合决策树(Stumps)的方法进行文本分类。卜东波从信息粒度的角度来剖析聚类和分类技术，试图使用信息粒度原理的框架来统一聚类和分类。庞剑峰等应用向量空问模型进行了中文文本分类实验，并同时对文本分类所涉及的关键性技术，例如特征提取、不同机器学习方法等进行了研究和探讨，给出了评估方法和实验结果。之后他又验证了在文本分类系统中应用反馈方法的可行性，给出了结合反馈方法的文本分类算法。

1.2.2 SVM研究现状

SVM由于分类效果比较好成为近几年人们研究的热点。SVM是建立在SLT的VC维理论和结构风险最小化原理基础上，根据有限样本信息在模型复杂性(对特定样本的学习精度)和学习能力(无错误地识别样本的能力)之间寻求一种折中，以期达到最佳的推广性能。1995年，Vapnik在“The Nature of Statistical Learning Theory”一书中提出支持向量机的概念，并在“Support Vector Networks”一文中进行了详细的介绍。从那以后，关于支持向量机方面的文章如雨后春笋，逐渐成为国际上机器学习领域的研究热点，吸引了国内外众多知名的专家Daniel和Gabriele提出了基于小波的核函数构造方法：Atari和Wu设计了一种算法，他们通过对核函数的黎曼几何分析，提出利用实验数据逐步修正己有的核函数，使之能更好地与实际问题相吻合；Cauwenberghs 和Poggio研究了基于SVM的增量和减量学习问题；Diehl 和Cauwenberghs提出了一个精确增量学习和自适应SVM分类器的框架；Opper和Urban-czik 对SVM学习带噪声的多项式规则进行了研究，在核函数阶数足够高或者为超越函数时，渐近线和学习曲线由目标规则决定而不是核函数，在这种情况下研究了训练误差核推广误差的收敛性；Bordes等提出一种在线SVM算法LASVM，通过对样本的主动选择提高了学习速度；Serifini等研究了基于梯度方法的SVM分解算法中起作用集的选择问题；此外，还有很多学者对SVM的算法进行了研究，这里就不一一列举了。

Joachims和Dumais例等人于1998年开创了SVM在文本分类中应用的先河。他们各自在不同语料库中做了大量试验，结果表明SVM在文本分类的应用中特别有效，并有很好的泛化性，克服了高维表示中的困难。此后，很多学者开始了这方面的研究，并取得了很多研究成果。

目前，SVM己被越来越多地应用到模式识别领域，如手写体文字识别、人脸识别等在图像压缩和数据分类的应用中，SVM也显示出了较好的性能。而SVM在文本分类中的应用，主要关注以下几个方面：（1）提高支持向量机的计算速度，以便处理更大规模的文本分类问题；

（2）利用最优化技术改进或改造SVM形式，简化计算过程；（3）利用结构风险最小化原则、核思想和J下则化技术等改造传统的线性算法，构造出相应的核形式，使之更适合文本分类等。但从现在研究来看，用于文本分类的核函数一经确定(如多项式核和高斯核等)，其参数的选择多是凭借经验，或是在试验中一步一步的修正。通常这个选择必须适用于具体的数据，在缺乏可靠的条件时，在应用中需要使用验证集或者是交叉验证来设置这些参数。

1.3 文本内容研究

本文主要研究基于支持向量机的文本分类算法，文中主要介绍了文本分类、支持向量机、聚类方法在支持向量机分类中的应用、小波变换在支持向量机分类中的应用等，结构安排如下：

第一章，引言。主要介绍了课题的研究背景、研究意义、国内外研究现状，概述本论文的主要工作以及结构安排。

第二章，文本分类相关知识。由于基于支持向量机的文本分类是众多文本分类方法中的一种，它以文本分类为基础。因此本文对文本分类的相关知识做了详细的介绍，如文本表示、特征选择、权重计算、文本分类算法等文本分类的关键技术。

第三章，支持向量机相关知识。支持向量机的应用领域十分广泛，文本分类只是其中一种比较典型的应用。本文研究的是基于支持向量机的文本分类算法，所以也有必要介绍支持向量机的相关知识。本章中主要介绍了支持向量机的基本原理、支持向量分类机、支持向量机的核函数、支持向量机的应用步骤以及支持向量机分类方法的优缺点。

第四章，小波变换在支持向量机分类中的应用。本章主要研究的是小波变换对支持向量机的输入向量进行降维，从而提高支持向量机的训练和分类的效率，在本章中首先对小波变换的基础知识做了详尽的介绍，其中包括：离散小波变换的基本原理、一维哈尔小波、哈尔小波变换的应用过程等。接着本文着重分析了用哈尔小波变换在支持向量机分类中应用，并在理论分析的基础上构造了实验系统。最后在分析实验数据的基础上讨论了小波变换应用的效果。

第五章，总结和展望。本章总结了通过实验得出的结论，并叙述了本文中所用方法的不足，对将来的工作进行了展望

第二章文本分类

2.1 文本自动分类概述

文本自动分类是对大量的非结构化的文字信息（文本文档、网页等）按照给定的分类体系，根据文字信息内容分到指定的类别中去，是一种有指导的学习过程。

文本自动分类的过程总体上可划分为训练和分类两部分。训练的目的是通过样本和类别之间的联系构造分类模型，使其用于分类。分类则是依据训练结果对未知样本进行分类，给出类别标识的过程。具体流程如图2.1所示，其中训练过程用实线表示，分类过程用虚线表示。

图2.1 文本自动分类过程

2.2 文本分类所涉及的技术领域

文本分类技术涉及到多个领域的知识，包括语言学中的自然语言处理、数据挖掘中的文本挖掘、计算机领域的机器学习和模式识别等。

2.2.1 文本分类与自然语言处理

自然语言处理是文本分类的基础，文本分类主要借助了其文本处理相关技术，如分词技术、N元模型等。中文自然信息处理发展至今可以分为三个阶段，字处理阶段、词处理阶段和句处理阶段。字处理研究内容包括汉字编码、汉字识别、汉字输入法和字处理软件等。到目前为止，这些技术己经比较成熟，字处理继续研究的领域己经不多，大多数科学家将研究方向移至词处理和句处理的研究当中。目前，词处理阶段上最成功、最典型、也最引人瞩目的应用领域是Internet上的搜索引擎，如Google、Yahoo和百度等，对一般的检索都能返回不错的结果。其它正在研究的方向还包括文本过滤、个性化服务系统、语音识别等。在词处理上的其他应用还有文本自动校对、汉字简繁体自动转换、自动分词等领域引。句处理上的应用主要有两个方面：一是机器翻译，目前机器翻译的质量仍旧不能令人满意。二是汉语语法分析，大家在使用微软字处理软件的时候都会发现它能够提示一些英文语法错误，但对中文语法的提示往往是不正确的。

总的来说，在自然语言处理领域中字平台研究已快成为过去；句平台上的研究还很薄弱，离实用还有一段距离；而词平台上的研究，难度较句平台容易，已经出现了一些成果，也是

现在继续研究的重点。

2.2.2 文本分类与文本挖掘

文本的知识发现最早是由Feldman 和Dagan 首先提出来的，又称为文本数据挖掘。文本数据挖掘不仅是在单独文本中提取所需信息，同时也包括分析文档集合的模式和趋势。文本挖掘不同于数据挖掘，数据挖掘面对的是结构化数据，采用的方法大多是非常明确的定量方法。而文本挖掘处理的是非结构化的文本，由于语言本身的特点有其需要解决的特殊问题。因此，决定它采用的方法与数据挖掘不同，它经常使用的方法来自自然语言理解和文本处理领域。与信息检索(Information Retrieval)、文本聚类(Text Clustering)等一样，文本分类也属于文本挖掘(Text Mining)的范畴，可以看成是文本挖掘中的一项基本任务。 2.2.3 文本分类与机器学习

文本分类是机器学习的应用领域。机器学习是计算机程序针对某一类问题T 从经验E 中学习，它的性能用P 来衡量。很多的学者认为使机器具有推广性(具有小的测试错误率)的唯一因素是使它在训练集上的错误率最小。

文本分类就是一个有指导的学习过程。它根据一个已经被标注了类别的训练文本集合，找到文本特征和文本类别之间的关系模型，然后利用这种学习得到的关系模型对新的文本进行类别判断。可以形式化的描述为：

假设有一组文本概念类C 和一组训练文本D 。文本概念类和文本库中的文本可能满足某一概念层次关系h 。客观上，存在着一个目标概念T ，有:

T:D →C

这里，T 把一个文本实例映射为某一个类。对D 中的文本d →T （d ）是已知的。通过有指导地对训练文本集的学习，可以找到一个近似于T 的模型H ：

H:D →C

在某些情况下最优的目标函数是没有的，只能退而求其次。对于任何分类，最优的目标函数是指错误率最小。对于一个新文本d →H(d)表示对d 的分类结果。一个分类系统的建立或者说分类学习的目的就是寻找一个和T 最相近的H 。即给定一个评估函数f ，学习的目标应使T 和H 满足：

)))

()((()(di H di T f f Min D im

-∑

机器学习中最重要的一些目标函数的逼近算法如LMS 、贝叶斯方法也被用到文本分类中。

2.2.4 文本分类与模式识别

通常把通过对某具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，而把模式所属的类别或同一类中模式的总体称为模式类(或简称为类)。也有人习惯于把模式类称为模式，而把具体的模式称为样本

模式识别就是指用计算机实现人的模式识别能力，用机器去完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的自然信息的那些工作。模式识别的目的就是要寻找每一类的特殊的属性或建立类与类之间的边界，使类与类之间可以很好的区分。

在文本分类中，每一类文本可以看作一个模式，该类文本的总体构成一个模式类，一个个文本都是样本。模式识别有两种基本的方法——统计模式识别方法和句法模式识别方法。文本分类中主要使用统计模式识别方法，一方面由于以语义分析(句法模式识别)为手段遇到空前的困难，另一方面统计模式识别实现简单，出现了巨大的进展。一般来讲，一个模式识别系统主要由三部分组成，如图2.2所示：

???→?输入模式

?????→?分类系统结果描述

图2.2 模式识别系统结构

预处理指将现实世界的信息转换成计算机所能够接受的数字量。在中文文本分类过程中，则是将非结构化的文本转换为能够用来进行处理的结构化形式。

特征选择指对满足识别要求的样本根据识别方法，抽取其特征项作为识别的依据。这个过程的处理主要考虑两个问题：一是要求选择出来的特征能够足够代表这个样本；二是要求它们的数量要尽量少。这个方面的研究也称为“特征项降维”。现在的文本分类所使用的特征选择方法己经有许多，如信息增益、互信息、交叉嫡等。

识别算法则是将抽取出来的样本特征创建一个用来区分类别的模型，文本分类中通常使用向量空间模型，通过识别算法得到的就是一个分类系统。

模式识别研究的通常是一些通用的分类算法，其中许多算法都可以应用在文本分类中，如：Rocchio(中心向量方法)、Naive Bayes(朴素贝叶斯方法)、KNN （KNearst Neigllbor K 近邻方法）、Decision Tree （决策树方法）、SVM 等等。

2.3 文本分类的关键技术

2.3.1 文本表示 从本质上讲，文本是一个由众多字符构成的字符串，无法被学习算法直接用于训练或分类。要将机器学习运用于文本分类问题，首先需要将作为训练和分类对象的文本，转化为机器学习算法易于处理的形式，即运用各种文本特征表示方法，文本特征表示是指以一定特征项来代表文本，在文本分类时只需对这些特征项进行处理，从而实现对非结构化文本的处理。现有文本分类技术的前提假设是特征和文本类别概念密切相关，特征表示模型有多种，常用的有概率模型、潜在语义索引模型、向量空间模型等。向量空间模型是近年来应用较多且效果较好的方法之一。

(1)贝叶斯概率模型

贝叶斯概率模型是用概率架构来表示特征项，将训练实例1分解为特征向量X 和决策类别C ；该模型假定特征向量的各分量间相对于决策变量是相对独立的，也就是说各分量独立地作用于决策变量。尽管这个假定在一定程度上限制了贝叶斯模型的适用范围，然而在实际应用中，以指数级降低了贝叶斯网络构建的复杂性。在很多领域即使违背这种假定的条件下，贝叶斯概率模型也表现出相当的健壮性和高效性，已经成功地应用到分类、聚类中。

(2)潜在语义索引模型

潜在语义索引模型LSI(Latent Semantic Index)模型是由Dumais ，Furnas ，Landaver 和Harshman 于1990年提出，也用向量表示特征项，但是每一个向量代表一个“概念”，就是通常所说的“概念空间模型”。LSI 使用一种数学上的“奇异值分解即(Singular 、Value Decomposition ，SVD)”技术，把文档投影到一个具有潜在语义的“特征．文本”多维空上，共现特征、同义特征投影在同一维上，非共现特征、非同义特征在不同的维上，这样就会出现没有共同的特征的文本间也会有较高的相似度。

(3)向量空间模型

向量空间模型(Vector Space Model)是由Gerard Salton 和McGill 于1969年提出的，并最早成功应用于信息检索领域，后来又在文本分类领域得到了广泛的运用。

向量空间模型的基本思想是以向量来表示文本：(W 1,W 2,…Wn)，其中Wi 为第i 个特征项的权重。那么选取什么作为特征项呢？一般可以选择字、词或词组。根据前人经验，普遍认

为选取词作为特征项要优于字和词组。因此，要将文本表示为向量空间中的一个向量，就首先要将文本分词，由这些词作为向量的维数来表示文本。最初的向量表示完全是O 、1形式，即：如果文本中出现了该词，那么文本向量的该维为1，否则为O 。这种方法无法体现这个词在文本中的作用程度，所以逐渐0、1被更精确的词频代替。词频分为绝对词频和相对词频，绝对词频，即使用词在文本中出现的频率表示文本，相对词频为归一化的词频，其计算方法主要运用TF —IDF 公式，它是一种文本的词集表示法，所有的词从文本中抽取出来，而不考虑词间的次序和文本的结构。目前存在多种TF-IDF 公式，一种比较普遍的TF-IDF 公式：

2

1)]

01.0)log(*),([)

01.0log(*),(),(∑

++=

ed

n N d t tf n N d t tf d t W (2.1)

其中，W(t,d)为词t 在文本d 中的权重，而tf （t,d ）为词t 在文本d 中的词频，N 为训练文本的总数，Nt 训练文本集中出现t 的文本数，分母为归一化因子。另外还存在其他的TF-IDF 公式，例如：

2

12

2

22

2

)]

(log

*)),(log 1[()

(log

*)),(log

1(),(∑

++=

ed

n N d t tf n N d t tf d t W (2.2)

该公式中参数的含义与式(2.1)相同。 向量空间模型的一个基本假设是，一份文本所属的类别仅与某些特定的单词或词组在该文档中出现的频数有关，而与这些单词或词组在该文本中出现的位置或顺序无关。也就是说，如果将构成文本的各种语义单位(如单词、词组)统称为“特征项”，以及特征项在文本中出现的次数称为“词频”，那么一份文本中蕴涵的各个特征项的频率信息足以用来对其进行正确的分类。这一假设对于文本的主题分类而言是恰当的，而对于其他方面的文本分类，如流派、作者等识别问题就不那么可靠了。向量空间模型中，一个文本表示为特征空间中的一个向量，这个向量也称为文本向量。文本向量中每一维对应于文本中的一个特征，它的权重为该向量维对应的特征在文本中的权重。 2.3.2 特征选择

目前主流的文档表示方法是向量空间模型。向量空间模型中，一篇文档表示为特征空间中的一个向量，这个向量也称为文档向量。文档向量中每一维对应于文档中的一个特征，它的权值为该向量维对应的特征在文档库中的权值，一般采用TF-IDF 方法计算。若使用词语作为文本特征，那么文本的特征向量会达到上万维甚至数十万维的大小，在此一个高维空间上对文本分类所使用的学习算法进行训练，显得既不经济又无必要，因此必须通过特征选择来进行维数压缩，特征选择经常会使用特征独立性假设来简化特征选择，以达到计算时间和计算质量的折衷。因此，目前在对文本的特征空间所采取的特征选择算法一般是构造一个评价函数，对特征集中的每个特征进行独立的评估。这样每个特征都获得一个评估分，然后对所有的特征按照其评估分的大小进行排序，选取预定数目的最佳特征作为结果的特征子集

在中文文本分类中，文本集经过分词后变成词集，然后经过去掉停用词粗降维得到特征集。但是特征集仍然是个高维的特征空间，对于所有的分类算法来说维数都太大。因此，我们面临寻求一种有效的特征抽取方法，以降低特征空间的维数，提高分类的效率和精度。特征选择的目的是除去特征集中不能较好表示有效信息的特征，以提高分类准确度和减少计算

复杂度。常见的特征选择方法有以下四种：文档频率(DF)、信息增益(IG)、互信息(MI)、X 2

统计量(CHI)等。这些方法的基本思想都是对每一个特征即词条，计算它的某种统计的度量值，然后设定一个阈值T,把度量值小于T 的那些特征过滤掉，剩下的即认为是有效特征。下面分别介绍这几种特征选择算法。

(1) 文档频率(Document Frequency ，DF)

训练集的文档总数

单次出现的文档数=

)(W DF （2.3）

文档频数是最简单的评估函数，其值为训练集合中出现此词的文本数占总的文本数的

概率。DF 评估函数的理论假设是：稀有单词要么不含有用信息，要么太少而不足以对分类产生影响；要么是噪音，所以可以删去。虽然它在计算量上比其它的评估函数小得多，但是在实际运用中它的效果却是出奇地好。需要注意的是，在特征选择之前必须将停用词去掉，仅保留与主题相关的词汇。踯估函数也存在缺点，比如稀有单词可能在某一类文本中并不稀有，而且包含着重要的判断信息。在实际运用中一般并不直接使用DF 评估函数，常把它作为评判其它评估函数的标准。

(2)信息增益(information Gain ，IG)

信息增益通过统计某个特征项在一篇文档中出现或不出现的次数来预测文档的类别。它是一种基于熵的评估方法，涉及较多的数学理论和复杂的熵理论公式，定义为某特征项为整个分类所能提供的信息量，不考虑任何特征的熵与考虑该特征后的熵的差值。他根据训练数据，计算出各个特征项的信息增益，删除信息增益很小的项，其余的按照信息增益从大到小排序。其描述如下：

)

()(log

)()()

()(log

)()()(i i i

i i i i C P W C P W C P W P C P W C P W C P W P W IG ∑+= （2.4）

其中P(Ci ／W)表示文本中出现词W 时，文本属于类别Ci 的概率，同样P(Ci ／W)表示文

中不出现词W 时文本属于类别Ci 的概率；P(Ci)表示类别出现的概率；P(W)表示词W 在整个文本训练集中出现的概率。

信息增益是一种在机器学习领域应用较为广泛的特征选择方法。它从信息论角度出发，用各个特征的取值情况来划分学习样本空间，然后根据所获信息增益的多寡来选择相应的特征。

（3）互信息（Mutual Information ，MI) )

()(log

)(W P C W P C P MI i i

i ∑

=

(2.5)

词条和类别的互信息体现了词条与类别的相关程度，是一种广泛用于建立词关联统计模型的标准。如果词W 在某个类别Ci 中出现的概率高，而在其它类别中出现的概率低，则W 将获得较高的互信息，也就有可能被选取为类别Ci 的特征。

(4)X 2

统计量(CHI) )

)()()(()

()

(),()()(2

2

D C B A D B C A BC AD N C P C W X

C P W CHI

i

i i i

i ++++-=

=

∑

∑

(2.6)

其中A 表示词W 在类别Ci 中出现的频度；B 表示词W 在除Ci 以外的其它类别中出现的频度，C 表示除W 以外的其它词在类别Ci 中出现的频度；D 表示除W 外的其它词在除Ci 以外的其它类别中出现的频数。

该方法类似于互信息MI ，词的X 2

(CHI)统计值比较了词对一个类别的贡献和对其余类别的

贡献，以及词和其它词对分类的影响。当词矿与类别C ，互相独立时，AD —BC=O ，X 2

(CHI)的值为O ；若AD —BC>O ，说明词W 与类别Ci 正相关，即该词出现说明某个类别很可能出现；反之，若AD —BC<0，说明词形与类别Ci 负相关，即该词出现说明某个类别很可能不出现。

在进行特征选择时，选择X 2

(CHI)统计值高，同时满足AD-BC>0的词形作为特征值。

2.3.3 权重计算

不同的特征项对文本的重要程度和区分度是不同的，所以在对文本分类模型进行形式化的时候，需要对所有特征项进行赋权重处理，常用的加权函数有布尔权重、词频权重、TFIDF 权重等

(1)布尔权重(Binary Weighting)

布尔权重是最简单的一种加权方法，特征词出现的次数为0，则权重赋为0特征词出现的次数大于O ，则权重赋为1。 否则

中出现

在文中如果特征d W t

k

kd ??

?=0

1 （2.7）

（2）词频权重

词频权重以该特征词在文档中出现的次数作为其的权重。使用文档中特征词的频率做权重可以提高文本分类的查全率，但对准确率不好。 这种方法比较简单，因为有些词出现的频率虽然非常高，但是没有什么代表性，这样使一些噪音词的权重比较高，从而降低了分类的准确率。

（3）TFIDF 权重

TFIDF 权重是在文本处理领域中使用最广泛的数值权重计算方法。该方法基于以下原因：一是特征i 在文档j 中出现次数越多，越重要。二是文档集中含有特征i 的文档数越大越不重要。TFIDF 方法基于的思想和构造的统计量都很简单，但是在实用中却表现了很好的性能。

2.3.4 常用的文本分类算法

(1)基于统计的文本分类算法 ①K-最近邻接分类算法(K-NN)

KNN 附方法是最著名的模式识别统计学方法之一，它是在最近邻方法NN(Nearest Neighbor)的基础上为了克服NN 法错判率较高的缺陷而被推广得到的，已经有四十多年的历史，是一种基于实例的文本分类方法，KNN 最常见的应用是用于由向量空间模型表示的文档的分类问题。KNN 的做法是：给定一个测试文档，系统在训练集中查找离他最近的K 个邻居,并根据这些邻居的分类来给该文档的候选分类评分。把邻居文档和测试文档的相似度作为邻居文档所在分类的权重，如果这K 个邻居中的部分文档属于同一个类，则将该分类中的每个邻居的权重求和并作为该分类和测试文档的相似度。通过对候选分类评分的排序，给出一个阈值，就可以判定测试文档的分类。

K 值的确定目前没有很好的方法，一般采用先定一个初始值，然后再根据实验测试的结果进行调整。K 值选择过小，不能充分体现待分类文本的特点，而如果K 值选择过大，则一些和待分类文本实际上并不相似的文本也会被包含进来，造成噪声增加而导致分类效果的降低。在实际的文本分类试验中，一般都要通过反复的实验、测试、观察不同的K 值对分类效果的影响，从而最后来确定K 的一个较理想的取值范围。根据经验K 的值通常可以选30到40。

有许多实验表明KNN 是非常有效的，有更高的分类准确性和稳定性。它是一种基于要求的或懒惰的学习方法，它存放所有的训练样本，无需事先对文本进行训练，直到测试样本需要分类时才建立分类。但它最大的缺陷是占用大量的分类时间，对一个线性分类器来说，只需要计算一个点积就可以对测试实例进行分类了，而KNN 则需要把整个训练集按与测试实例的相似度排序，因此当训练文档数增加时，其分类时间将急剧增加。 ②朴素贝叶斯分类算法(NB)

朴素贝叶斯(Naive Bayes ，NB)是一种简单的线性分类器。它在文本分类中应用得非常