一个基于朴素贝叶斯方法的web文本分类系统

. 4 "$
!$!$&
特征选择的方法 特征选择的具体做法是选取部分权值高于给定阈值的特
征， 抛弃其余的特征。权值的计算有很多种方法， 最基本的如 （! ， 表示特征 " 在文档 ! %&’()& 方法。它的第一个因子 %& "） 中的出现次数， 出现次数越多， 说明该特征对于文档来说越重 要； 第二个因子 ()& （" ） 为特征 " 的逆文档频度， 定义为 =BL （* + （" ） ） ， （" ） 为特征 " 出现的文档数。该值 )& * 为文 档 总 数 ， )& 表示出现越普遍的特征越不具有能代表某个类的能力。因为 （! ， 和 ()& （" ） 可以分别提高分类系统的查全率和查准率 %& "） D%%E （查全率和查准率的定义参看 !$# 节） ，因此将它们的乘积并 经过标准化后赋给 " 作为特征选择的标准： （! ， %& "） （! ， （"$6M"$6’ （ * ） ） （% ） %&()& "） , ’=BL （" ） )& （.,% %& （! ， ） ’NO ". ） 因为该公式仅考虑了特征与 - 为所有特征构成的词汇表。 文档之间的关系， 而特征选择的目的是要求选出来的特征既能 代表文档， 又能反映类的信息，实质上是计算它属于每个 类 别 计算 :9L ;:H0 3 "! … "# ） （05"% ， 。应用一般概率公式得： 0 的概率 6 "! … "# ）
#
（05"% ， … "# ） （0 ） 6 "! ， Q6 !
$ , %
（"$ 50 ， …， 6 "% ， "! ， "$7% ） （"$ 5"% ， …， 6 "! ， "$7% ）
&#1.40*.： EM36. >:/. 5,H >:/. -.1-=56 H5-5 3@ 545365D6. :,63,.， +- 3@ 4./K H3GG3;=6- -: /.-/3.4. =@.G=6 3,G:/>5-3:, C3-M:=- .GG.;-34. -::6 G:/ 3,H.13,8 :/ @=>>5/3X5-3:, :G H:;=>.,- ;:,-.,- 5=-:>5-3;566K$J:， /.@.5/;M 3, -.1- ;5-.8:/3X5-3:, 3@ 4./K 3>P:/-5,-$J3,;. I534. Y5K.@ ;65@@3G3./ 3@ P/:4.H -: D. :,. :G -M. >:@- .GG.;-34. ;65@@3G3./， E. H.4.6:P @=;M 5 ;65@@3G3./ ;566.H E.D?F0 DK 3,;:/P:/5-3,8 -M. G.5-=/.@ :G C.D H:;=>.,- 3,-: 3-， 5,H 8.- 5 8::H /.@=6-$ ?"9!)461： ,534. D5K.@ ;65@@3G3./， G.5-=/. @.6.;-3:, ， Z+， 07+97
（1%， 下， 得到最可能的目标值 . /23D2E： 1!… 1#） （. 451%， . /23,:9L ;:H 3 1!… 1#）
. 4 "-
使用贝叶斯公式将此表达式重写为：
. /23,:9L ;:H
. 4 ". 4 "-
（1% ， （. 4 ） 3 1! … 1# T. 4 ） 3 （1% ， 3 1! … 1# ）
图%
E.D?F0 的组成
中 A%B。 另有观点认为这些预处理工作过于依赖特定的语言， 因此
作者简介： 余芳 （%’()* ） ， 助教， 主要研究领域： 信息检索、 数据挖掘。
计算机工程与应用
!""#$%& %’Q
提出采用浓缩模型 （@B;A91../B0 ;BC1=） 进 行 文 本 分 类 D%"E， 它以 字符流为处理对象， 使得可以以一种统一的方式进行文本分类。
一个基于朴素贝叶斯方法的 !"# 文本分类系统： $"#%&’
余 芳 （暨南大学计算机科学与技术系， 广州 Q%")&! ）
R*>536： K=G5,8M#S@3,5$;:>
摘 要 如果缺乏好的对文本自动进行索引及摘要的工具，要从 +,-./,.- 浩瀚的文本中检索有用信息是很困难的。因
的重要组成部分。朴素贝叶斯分类是应用统计理论进行文本分类的有 此， 文本分类成为信息检索 （+,G:/>5-3:, 2.-/3.456） 并获得了很好的 效方法之一。 该文结合 C.D 文本的特点使用朴素贝叶斯分类器实现了一个 C.D 文本分类系统 E.D?F0， 分类结果。 关键词 朴素贝叶斯分类 特征选择 互信息
07+97
中图分类号 0L&%%$%&
文章编号 %""!*T&&%* （!""# ） %&*"%’Q*"&
文献标识码 F
& $"# ()*+,"-. %/011232"4 501"6 )- 7028"4 509"1 :".;)6： $"#%&’
<+ =0-> （?:>P=-./ J;3.,;. 9.P5/->.,- ， U3,5, V,34./@3-K， W=5,8XM:= Q%")&!）
表%
各类别词汇表特征选择前后特征数目的对比
初始特征数
’( 选择后 !4#5 &"64 !!3! !62! !!&"
)*(+* 选择后 %&62 %2!% 34" %"6" %!"#
!$!
!$!$%
特征选择
特征矢量 文档经预处理后得到一个特征集合。 尽管去除了停用词并
,-./01.. 708198:/0;108 <1:=8> ?@/10@1 ?AB98.
!$%
!$%$%
文本的预处理
文本的表示 文 档 可 采 用 多 种 方 法 表 示 ， 如 D58*:G*C:/H@ 表 示 法 、 I*
8/5> 表示法或 JK,-5;-3; LM/5@. 表示法。前者把文档切分成一
个个独立的单词作为文档的基本表示单位—— —特征， 并忽略它 们在原文档中的位置顺序； I*8/5> 表 示 法 取 单 词 长 度 为 I 的 子串作为特征， 这样使得分类器能够适应文档含有较多拼写错 误或 N?2 错误的情况 A’B； 后者则使用符合语法的短语。但由于 后两者大大增加了特征的数量， 使得噪音增多、 计算量加大， 因 此， 基于 C.D 文档分类的实时性要求， 该文采 用 最 常 用 的 D58*
!$&
朴素贝叶斯分类
通过有监督的学习进行文本分类的途径有三种：统计方
法、 规则学习及树方法、 神经网络方法 D3E。其中最常用的是统计 方法， 而后两种、 尤其是神经网络方法不太常用。 朴素贝叶斯分 类是统计方法之一。
!$&$%
朴素贝叶斯分类器及其独立假设 贝叶斯分类方法的分类目标是在给定描述实例的属性值
（1% ， （. 4 ） Q:9L ;:H 3 1! … 1# T. 4 ） 3 需要估计 3 （1% ， 与3 （. 4 ） 两个值。 为了得出 . /23， 1! … 1# T. 4 ） 后者很容易得到， 而前者则需要大量的训练数据。 而朴素贝叶斯分类器中有一个简单的假设： 在给定目标值 即3 （1% ， 时属性值之间相互条件独立 D2E， 1! … 1# T. 4 ） Q 则上式变为： （. 4 ） （1$ T. 4 ） . /23,:9L ;:H 3 !3
!
C.D 文本分类系统的组成
一个典型的文本分类系统主要由文档预处理、 特征选择及
如图 % 所示。 输入的文档 分类 & 个部分组成， E.D?F0 系统中， 为 C.D 文 档 ， 它们被分为训练文档集和测试文档集， 经过同样 的预处理及特征选择过程， 最后一起参与分类运算。
:G*C:/H@ 表示法。 !$%$!
（0 ） Q6 !
$ , %
（"$ 50 ） 6 （ "$ ） 6
（6 ）
因为对于不同类 0， 用式 （6 ） 计算出来的 6 （05" % ， "! … " # ） 通常存在着数量级的差异， 使得分类结果走向极端 （分 类 器 倾 向的类别其分类值接近 %$" ， 反之则接近 "$" ） 。在文献 D%!E 中对 该公式进行了改进， 减弱了式 （6 ） 的这种极端性： （"$ 50 ） 6 （6 （0 ） ） （"$ 5! ） # =BL M"6 =BL （"$ 5! ） 6 # $ , %
产生初始特征集 文档在表示为特征之前需要进行预处理， 这方面的工作包 括切分词、 去除停用词及截取词干 A!B。对 C.D 文档来说， 还要去 掉其中的标签 （-58 ） 。 对于不同的语言， 切分词程序不同。例如汉语文档的切分 显然应该比英文文档的切分复杂得多， 因为汉语的词间没有明 显的界限。 此外， 虽然已有通用的停用词表和截取词干程序， 但 是有些论文提到应该有针对不同知识领域及应用范围的停用 但在其它如 词表， 例 如 OM:>.O 、 OP58.O 等 词 在 C.D 文 档 中 常 见 ， 医学文档中却不常见。 这些词也应收在特定应用的停用词表当