基于类别相关性和交叉熵的特征选择方法_朱颢东

本文提出了一个基于交叉熵的属性约简算法, 把该属性约简算法同类别相关性方法结合起来, 提出了一 个综合的特征选择方法, 最后用实验验证了所提方法的优越性.
1 几种经典特征选择方法
文本特征选择方法有很多种, 目前常用的有 WF 、DF 、IG、CH I、M I 几种方法[ 3-8] . 1. 1 文档频
式( 1) 可知, Q( f i , cj ) 不但考虑了特征所在的文档数, 而且还考虑了特征在文档中出现的次数, 从而把文档频
和词频进行了有机的结合. Q( f i , cj ) 越大则表明特征 f i 与 cj 类别的相关联程度越大, 那么该特征的分类能
力也就越强, 即该特征也就越重要.
3 属性约简算法
C(D, x) ,
Px ,
log
C( D, P(D,
x) x)
=
0,
CE ( C, P ) = 0;
第2期
朱颢东, 等: 基于类别相关性和交叉熵的特征选择方法
63
E E 2) CE ( C, P ) =
0,
C ( x ) C( D, x ) lo g
xI U
xI U
C(D, x) P( D, x)
定义 4 S= < U , C G D , V , f > 是一个信息系统, U/ ind( C) = { X 1 , X 2 , , , X n } , U/ ind( D ) = { Y1 , Y 2 ,
, , Y m} , 则称 C( D , x ) = | Y j H X i | / | X i | ( x I X i , x I Y j ) 为对象 x 在 C 上相对于 D 的概率分布[ 14] . 定义 5 信息系统 S = < U , C G D , V , f > , PP AC, 则 C 对 P 的交叉熵为[ 14] :
推论 1 S= < U, C G D , V , f > , c I C, 有 c 是 C 不必要的属性, CE( C, C- { c} ) = 0.
推论 1 的证明过程同定理 1. 推论 1 说明, 如果属性集 C 和它的一个子集 P 具有相同的分布, 则 P 是 C 的一个约简.
该属性约简算法简单步骤如下:
个, 因此类别相关性可表示为
m DF n ( f i , cj ) - D F n ( f i , ck ) 2
E Q( f i , cj ) = k= 1且k X j
E D F n ( f i , cj )
,
( 1)
i
其中, m 为类别的个数, D Fn ( f i , cj ) 是指在类别 cj 的文本训练集中出现特征f i 的次数不小于 n 的文本数. 由
摘要: 文本分类首先要解决的一个问题就是特征 选择. 简单分析 了几种经典 的特征选择 方法, 总结了它 们的不足,
提出了一个类别相关性方法, 把交叉熵引入粗糙 集并提出了 一个基 于交叉熵 的属性 约简算 法, 把 该属性 约简算 法
同类别相关性方法结合起来, 提出了一个综合的 特征选择方 法. 该 方法首 先利用 类别相 关性方法 进行特 征初选 以
特征的文档频是指在训练语料集中出现该特征的文档数. 该方法选择特征时仅考虑特征所在的文档数, 如果某个特征在训练语料集中所在的文档数达到一个事先给定的阈值, 则留下该特征, 否则删除. 这样就产 生了一个问题: 如果特征词 a 和 b 的文档频相同, 就认为这两个特征词的贡献是相同的, 从而忽略了它们在 文档中出现的次数. 但是, 在通常情况下, 文档中出现次数较少的词往往是噪声词, 这样就导致该方法所选择 的特征不具代表性. 1. 2 词频
3. 1 粗糙集基本知识
粗糙集( ro ug h set s, RS) 理论是由 Paw lak 提出来的一种处理不精确、不相容、不完全和不确定知识的软
计算工具. 其本质就是在保持分类能力不变的前提下, 通过知识约简, 导出问题的分类规则[ 9] . 目前已被广泛
应用于机器学习、决策分析、数据挖掘、过程控制、智能信息处理等领域[ 10] .
决策类的重要性, 为此本文提出了一个基于交叉熵的属性约简算法.
定义 2 信息系统 S 可以表示为 S = < U, R, V , f > , 其中 U 为对象集合, R= C G D 是属性集合, C 为
条件属性集, D 为决策属性集, V = U V r 是属性值的集合, V r 表示属性 r 的值域, f : U @ R yV 是一个映射函 rI R
5 实验例证
5. 1 实验语料库 本文选用的分类语料库是复旦大学中文文本分类语料库. 该语料库由复旦大学计算机信息与技术系国
际数据库中心自然语言处理小组构建, 语料文档全部采自互联网, 它可以从网上免费下载, 网址为: ht t p: / / ww w . nlp. org . cn/ categ ories/ def ault . php? cat_id= 16.
数, 它指定 U 中每一个对象X 的属性值. 信息系统也可用二维表来表示, 称之为决策表, 其中行代表对象 x i ,
列代表属性 r, r ( x i ) 表示第 i 个对象在属性 r 上的取值[ 12] .
3. 2 基于交叉熵的属性约简算法
定义 3 S= < U , C G D , V , f > 是一个信息系统, U / ind( C) = { X 1 , X 2, ,, X n} , 则称 C( x ) = | X i | / | U| ( x I X i ) 为对象 x 在 C 上的概率分布[ 14] .
复旦大学中文文本分类语料库中包含 20 个类别, 分为训练文档集和测试文档集两个部分. 每个部分都 包括 20 个子目录, 相同类别的文档存放在一个对应的子目录下; 每个存储文件只包含一篇文档, 所有文档均 以文件名作为唯一编号. 共有 19 637 篇文档, 其中训练文档 9 804 篇, 测试文档 9 833 篇; 训练文档和测试文 档基本按照 1 B1 的比例来划分. 去除部分重复文档和损坏文档后, 共保留有文档 14 378 篇, 其中训练文档 8 214篇, 测试文档 6 164 篇, 跨类别的重复文档没有考虑, 即一篇文档只属于一个类别. 该语料库中的文档 的类别分布情况是不均匀的. 其中, 训练文档最多的类 Economy 有 1 369 篇训练文档, 而训练文档最少的类 Co mmunicatio n 有 25 篇训练文档; 同时, 训练文档数少于 100 篇的稀有类别共有 11 个. 训练文档集和测试 文档集之间互不重叠. 本文只取前 10 个类的部分文档, 其类别文档分布如表 1 所示.
特征的词频是指特征在文档中出现的数目. 使用该方法选择特征时, 特征只有在文档中出现的次数达到 一个阈值, 才被保留, 否则予以删除. 该方法仅选择出现频繁的词作为特征, 但是有时候在某个文档中出现频 繁的特征对分类贡献并不大. 1. 3 信息增益
信息增益表示特征在某类文档中出现前后的信息熵之差, 该差用平均信息量表示. 信息增益的缺点在于
过滤 掉一些词条来降低特征空间的稀疏性, 然后利用属性 约简算法消除冗余, 从而 获得较具代 表性的特 征子集. 实
验结果表明, 此特征选择方法效果良好.
关键词: 文本分类; 特征选择; 类别相关性; 交叉熵;: A
文章编号: 1671- 6841( 2010) 02- 0061- 05
少的属性, 并在 C 中删除这样的属性, go to St ep1;
St ep5 输出 C, 算法结束.
4 本文特征选择方法基本步骤
设 T 为原始特征集, C 为类别集, 对于 Pcj I C, 设 cj 的训练文档集为 D , cj 的特征词选择算法如下: 对于每个 f i I T , 给定最小词频数 n 以及类别相关性阈值 X; St ep1 计算 f i 的 Q( f i , cj ) ; St ep2 若 Q( f i , cj ) < X, 则把 f i 从 T 中删除, 否则 f i 保留; St ep3 若 T 中还存在没考察的元素则转到 St ep1; St ep4 将 St ep3 得到的特征子集以及标有类的训练集组织成为一个决策表: S= < U, C G D , V , f > , 使 用本文提出的属性约简算法进行属性约简; St ep5 对得到的特征子集进行微调, 以突出那些对分类贡献比较大的特征词, 然后输出特征集.
62
郑州大学学报( 理学版)
第 42 卷
它不但考虑了特征出现的情况, 而且还考虑了特征未出现的情况, 也即某个特征不在文本中出现也可能对判 断文本类别有所贡献. 但实验证明, 这种贡献十分微小, 尤其是在样本分布和特征分布失衡的情况下, 某些类 别中出现的特征词占全部特征词的比例很小, 较大比例的特征词在这些类别中是不存在的, 也就是此时的信 息增益中特征不出现的部分占绝大优势, 这将导致信息增益的效果大大降低.
E E CE ( C, P ) =
x
I
C(
U
x
)
xI
C(
U
D,
x
)
log
C( P(
C, D,
x) x)
.
( 2)
定理 1 S= < U, C G D , V , f > , P AC, 有 ind( P) = ind( C) , CE( C, P) = 0.
证明
1) ind( P) = ind ( C ) , U/ ind( P ) = U/ ind( C) , Px , P ( D, x ) =
收稿日期: 2009 08 10 基金项目: 四川省科技计划项目, 编号 2008GZ0003; 四川省科技厅科技攻关项目, 编号 07G G006-014. 作者简介: 朱颢东( 1980- ) , 男, 博士研究生, 主要从事 软件过程 技术与方 法、文本挖 掘研究, E-mail: z huhaodong80@ 163. com; 通讯联 系 人: 钟勇( 1966- ) , 男, 研究员, 博士生导师, 主要从事软件过程技术与方法研究.