基于类别区分度和关联性分析的综合特征选择

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ＤＯＩ１．９９．ｓ．０．４８２１．９０６：０３６／ｉｎ１０３２．０２０．５ｊｓ０
ｌ概述
文本自动分类是指在预先给定的类别标记集合下，根据待分类文本的内容对其类别归属进行判定的过程。文本特征向量的高维性及数据的稀疏性是文本分类的瓶颈，文本特征降维技术是文本自动分类的核心技术。目前常用的特征降维方法有特征选择和特征抽取。特征选择指的是在不同数据质
量要求下选取那些符合要求且彼此之间相关联程度较小的最
征而导致的性能下降问题。
本文提出一种综合的特征选择算法。首先利用类别区分
度提取出有强类别区分能力的特征词，再通过特征的关联性
分析、衡量特征词与类别之间的相关性，即先保证已选特征
与类别的关联性最强，然后计算其他特征与已选特征之间的关联性，当某个特征与已选特征有很高的相关度，即使该特征与类别具有很强的关联性，本文算法也不会将其选入特征
第３８卷
Ｖｏ．８１３
・
第９期
Ｎｏ．９
．
计
算
机
工
程
２１０２年５月
Ｍａ０１ｙ２２
ＣｏｍｐｕｅｇｉｅｉｔｒＥｎｎｅｒｎｇ
人工智能及识别技术・
文章编号：ｏ＿４８０２争－１６文献标１０．２（１０＿８－３３２）０．识码：Ａ
间的稀疏性，通过特征的关联性分析衡量特征与类别的相关性及特征之问的冗余度，出具有类别代表性且相互之问不存在冗余的特征词。选
实验结果表明，该算法能有效提高分类器性能。
关健诃：文本分类；特征选择；关联性分析；类别区分度；相关独立度
ＳｔｘｃＦｅｔｅＳｅｅｔｏｓｄ０ｙｎａｉａｕｒｌｃｉｎＢａｅｎ
ａｄｅｌｉｓｃｒｅａｉｎａｌｓｓｏａｕｅｏｍｅｓｒｅａｉｔｅｗｅｎｆａｕｅｎｄｃｔｇｏｉｓａｄｒｄｎａｃｍｏｇｆａｕｅ，ＯｉｃｎａｑｉｎｍｐｏｅｏｒｌｔｏｎａｙｉｆｆｔｒｓｔａｕｅｒｌｔｙｂｔｅｅｔｒｓａａｅｒｅｎｅｕｄｎｙａｎｅｔｒｓＳｔａｃｕｒｅｖｉｅｔｅｆａｕｅｓｂｅｓｈｅｔｒｕｓｔｗｈｃａｅｍｏｅｒｐｅｅｔｔｅａｄｈｖｏｒｄｎａｃｂｔ Baidu Nhomakorabea ｅｃｔｅ．Ｅｘｅｉｅｔｌｒｓｌｈｗｈｔｔｅｐｏｏｅｉｈｒｒｅｒｓｎａｉｎａｅｎｅｕｄｎｙｅｗｅｎａｈｏｈｒｖｐｒｍｎａｅｕｔｓｏｔａｈｒｐｓｄｓ
ａｇｒｔｍａｍｐｏｅｔｅｐｒｏａｃｆｔｅｃａｓｆｅｆｅｔｅｙｌｏｉｈｃｎｉｒｖｅｆｒｎｅｏｈｌｓｉｒｅｃｉｌ．ｈｍｉｖ
［ｙｗｒｓｅｔａｅｏｉａｏ；ｅｔｒｅｅｔｎｃｒｌｔｎａａｙｉｃｔｏｉｒｎｔｎｄｇｅ；ｅｅａｔｎｅｅｄｎｅｅｒｅＫｅｏｄ］ｔｘｔｇｒｔｎｆａｕｅｓｌｃｉ；ｏｅａｉｎｌｓ；ａｅｒｄｓｉａｉｅｒｅｒｌｖｎｄｐｎｅｃｇｅｃｚｉｏｏｓｇｙｃｍｉｏｉｄ
中圈分类Ｔ３１号：Ｐ９
基于类别区分度和关联性分析的综合特征选择
陈建华，王治和，蒋芸
（北师范大学数学与信息科学学院，兰州７０７）西３００
摘
要：出一种基于类别区分度和关联性分析的综合特征选择算法。利用类别区分度提取具有较强类别区分能力的特征词，降低特征空提
ａｇｒｔｍｓｓｄｓｒｍｉａｉｎｄｇｅｏｅｔａｔｔｅｆａｕｅｈｔｅｅｌａｇｒｄｆｅｅｃｓａｎａｅｏｉｓｔｅｕｅｔｅｓａｓｔｆｆａｕｅｓａｅ，ｌｏｉｈｕｅｉｃｉｎｔｅｒｅｔｘｒｃｈｅｔｒｓｔａｖａｒｅｉｒｎｅｍｏｇｃｔｇｒｅｏｒｄｃｈｐｒｉｏｅｔｒｐｃｓｏｒｌｙ
［ｂｔｃ］ＴｉｐｐｒｒｐｓｓｙｔｉｆｔｒｓｌｔｎａｏｉｍｂｓｎｃｅｏｙｄｃｉｉｔｎｄｇｅａｄｃｒｌｉｎｌｉＴｅＡｓａｔｈａｅｐｏｅａｓｎｘａｅｅｃｏｌｒｈａｄｏａｇｒｉｒｎｉｅｒｎｏｒａｏａａｓ．ｈｒｓｏａｃｅｕｅｉｇｔｅｔｓｍａｏｅｅｔｎｙｓ
（ｏｌｇｆｔｅｔｓｎｆｒｔｎＳｉｃ，ｒｗｅｔｒａＵｉｅｓｙＬｎｈｕ７０７，ｉａＣｌｅｈｍａｉｄＩｏｍａｉｃｅｅＮｏｔｓＮｏｌｎｖｒｉ，ａｚｏ３００Ｃｈｎ）ｅｏＭａｃａｎｏｎｈｍｔ
ＣａｅｏｙＤｉｃｉｎｔｏｇｅｎｒｅａｉｎＡｎｌｓｓｔｇｒｓｒｍｉａｉｎＤｅｒｅａｄＣｏｒｌｔｏａｙｉ
ＣＨＥＮａｎ．ＪｉｈｕａＷＡＮＧ．ＺｈｉｈｅＪＡＮＧ．。ＩＹｕｎ