文本分类中互信息特征选择方法的研究
文本分类中一种新的特征选择方法
文本分类中一种新的特征选择方法
王秀娟;郭军;郑康锋
【期刊名称】《计算机应用》
【年(卷),期】2005(025)003
【摘 要】在自动文本分类系统中,特征选择是有效降低文本向量维数的一种方法.在分析了常用的一些特征选择的评价函数的基础上,提出了一个新的评价函数,即互信息比值.实验证明这一方法简单可行,有助于提高所选特征子集的有效性.
【总页数】3页(P661-663)
【作 者】王秀娟;郭军;郑康锋
【作者单位】北京邮电大学,信息工程学院,北京,100876;北京邮电大学,信息工程学院,北京,100876;北京邮电大学,信息工程学院,北京,100876
【正文语种】中 文
【中图分类】TP391.43
【相关文献】
1.文本分类中一种特征选择方法的改进 [J], 胡改蝶;马建芬
2.知识增益:文本分类中一种新的特征选择方法 [J], 徐燕;王斌;李锦涛;孙春明
3.文本分类中一种基于互信息改进的特征选择方法 [J], 田野;郑伟
4.文本分类中一种特征选择方法研究 [J], 赵婧;邵雄凯;刘建舟;王春枝
5.文本分类中一种改进的特征选择方法 [J], 刘海峰;王元元;张学仁
因版权原因，仅展示原文概要，查看原文内容请购买
马尔可夫逻辑在文本分类中的特征选择与降维方法(五)
马尔可夫逻辑在文本分类中的特征选择与降维方法
一、引言
在信息爆炸的时代，文本分类技术成为处理海量信息的重要手段。文本分类是将文本数据划分到预定义的类别中的任务。在这个过程中，特征选择和降维方法是非常关键的步骤，其目的是提取文本中最具代表性的特征，以提高分类器的性能。马尔可夫逻辑是一种概率逻辑推理模型，能够有效地处理文本分类问题。本文将探讨马尔可夫逻辑在文本分类中的特征选择与降维方法。
二、马尔可夫逻辑
马尔可夫逻辑是一种基于概率逻辑推理的模型，它通过推理来对文本进行分类。相比于传统的朴素贝叶斯分类器，马尔可夫逻辑考虑了特征之间的相关性，能够更好地处理文本数据。在文本分类中，马尔可夫逻辑能够有效地挖掘文本中的潜在语义信息，提高分类的准确性。
三、特征选择方法
1. 信息增益
信息增益是一种常用的特征选择方法，在文本分类中也有着广泛的应用。它通过计算特征对于分类的贡献度来选择最具代表性的特征。在马尔可夫逻辑中，信息增益可以帮助筛选出对分类更有帮助的特征，提高分类器的性能。
2. 互信息 互信息是一种衡量两个变量之间相关性的方法，在文本分类中可以用来选择最具代表性的特征。在马尔可夫逻辑中，利用互信息来选择特征可以更好地挖掘文本中的潜在信息，提高分类的准确性。
3. 卡方检验
卡方检验是一种常用的特征选择方法，它可以帮助筛选出对分类更有帮助的特征。在马尔可夫逻辑中，利用卡方检验来选择特征可以更好地挖掘文本中的潜在信息，提高分类的准确性。
四、降维方法
1. 主成分分析（PCA）
主成分分析是一种常用的降维方法，它通过线性变换将原始的特征空间转换为新的特征空间，从而减少特征的维度。在马尔可夫逻辑中，利用主成分分析来降维可以更好地挖掘文本中的潜在信息，提高分类的准确性。
2. 独立成分分析（ICA）
独立成分分析是一种能够将多个随机变量分解为相互独立的成分的方法，在文本分类中也有着广泛的应用。在马尔可夫逻辑中，利用独立成分分析来降维可以更好地挖掘文本中的潜在信息，提高分类的准确性。
知识增益：文本分类中一种新的特征选择方法
第２２卷第１期 ２００８年１月 中文信息学报 ＪＯＵＲＮＡＬ ＯＦ ＣＨＩＮＥＳＥ ＩＮＦＯＲＭＡＴＩＯＮ ＰＲ０ＣＥＳＳＩＮＧ Ｖｏ１．２２，Ｎｏ．１ Ｊａｎ．，２００８
文章编号：１００３—００７７（２００８）０１—００４４ ０７
知识增益：文本分类中一种新的特征选择方法
徐燕，王斌，李锦涛，孙春明
（中同科学院计算技术研究所，北京１０００８０）
摘要：特征选择在文本分类中起重要的作用。文档频率（ＤＦ）、信息增益（ＩＧ）和互信息（ＭＩ）等特征选择方法在 文本分类中广泛应用。已有的实验结果表明，ＩＧ是最有效的特征选择算法之一，该方法基于申农提出的信息论。 本文基于粗糙集理论，提出了一种新的特征选择方法（ＫＧ算法），该方法依据粗糙集理论关于知识的观点，即知识 是分类事物的能力．将知识进行量化，提出知识增益的概念，得到基于知识增益的特征选择方法。在两个通用的语 料集ＯＨＳＵＭＥＤ和ＮｅｗｓＧｒｏｕｐ上进行分类实验发现：ＫＧ算法均超过ＩＧ的性能，特别是在特征空间的维数降到 低维时尤其明显，可见ＫＧ算法有较好的性能； 关键词：计算机应用；中文信息处理；文本分类；特征选择；粗糙集；信息检索 中图分类号：ＴＰ３９ｌ 文献标识码：Ａ
Ｋｎｏｗｌｅｄｇｅ Ｇａｉｎ：Ａｎ Ｎｅｗ Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｉｎ Ｔｅｘｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ
ＸＵ Ｙａｎ，ＷＡＮＧ Ｂｉｎ，ＩＡ Ｊｉｎ－ｔａｏ．ＳＵＮ Ｃｈｕｎ－ｍｉｎｇ （Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １０００８０，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ（ＦＳ）ｐｌａｙｓ ａｎ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ（ＴＣ）．Ａｕｔｏｍａｔｉｃ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｓｕｃｈ ａｓ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ ｔｈｒｅｓｈｏｌｄｉｎｇ（ＤＦ），ｉｎｆｏｒｍａｔｉｏｎ ｇａｉｎ（ＩＧ）＋ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ（ＭＩ）．ａｎｄ ＳＯ ｏｎ ａｒｅ ｃｏｍｍｏｎｌｙ ａｐｐｌｉｅｄ ｉｎ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ［Ｊ］．Ｅｘｉｓｔｉｎｇ ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗ ＩＧ ｉｓ ｏｎｅ ｏｆ ｔｈｅ ｍｏｓｔ ｅｆｆｅｃｔｉｖｅ ｍｅｔｈ— ｏｄｓ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｂａｓｅｄ ｏｎ Ｒｏｕｇｈ Ｓｅｔ ｔｈｅｏｒｙ．Ａｃｃｏｒｄｉｎｇ ｔＯ Ｒｏｕｇｈ ｓｅｔ ｔｈｅｏ～ ｒｙ，ｋｎｏｗｌｅｄｇｅ ａｂｏｕｔ ａ ｕｎｉｖｅｒｓｅ ｏｆ ｏｂｊｅｃｔｓ ｍａｙ ｂｅ ｄｅｆｉｎｅｄ ａｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎｓ ｂａｓｅｄ ｏｎ ｃｅｒｔａｉｎ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｔｈｅ ｏｂｊｅｃｔｓ， ｉ．ｅ．ｒｏｕｇｈ ｓｅｔ ｔｈｅｏｒｙ ａｓｓｕｍｅ ｔｈａｔ ｋｎｏｗｌｅｄｇｅ ｉｓ ａｎ ａｂｉｌｉｔｙ ｔｏ ｐａｒｔｉｔｉｏｎ ｏｂｊｅｃｔｓ．Ｗｅ ｑｕａｎｔｉｆｙ ｔｈｅ ａｂｉｌｉｔｙ ｏｆ ｃｌａｓｓｉｆｙ ｏｂ— ｊｅｃｔｓ，ａｎｄ ｃａｌｌ ｔｈｅ ａｍｏｕｎｔ ｏｆ ｔｈｉｓ ａｂｉｌｉｔｙ ａｓ ｋｎｏｗｌｅｄｇｅ ｑｕａｎｔｉｔｙ ａｎｄ ｔｈｅｎ ｆｏｌｌｏｗｉｎｇ ｔｈｉｓ ｑｕａｎｔｉｆｉｃａｔｉｏｎ，ｗｅ ｐｕｔ ｆｏｒ～ ｗａｒｄ ａ ｎｏｔｉｏｎ“ｋｎｏｗｌｅｄｇｅ Ｇａｉｎ”ａｎｄ ｐｕｔ ｆｏｒｗａｒｄ ａ ｋｎｏｗｌｅｄｇｅ ｇａｉｎ—ｂａｓｅｄ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ（ＫＧ ｍｅｔｈｏｄ）． Ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ＮｅｗｓＧｒｏｕｐ ｃｏｌｌｅｃｔｉｏｎ ａｎｄ（）ＨＳＵＭＥ１）ｃｏｌｌｅｃｔｉｏｎ ｓｈｏｗ ｔｈａｔ ＫＧ ｐｅｒｆｏｒｍｓ ｂｅｔｔｅｒ ｔｈａｎ ｔｈｅ ＩＧ ｍｅｔｈ～ ｏｄ，ｓｐｅｃｉａｌｌｙ，ｏｎ ｅｘｔｒｅｍｅｌｙ ａｇｇｒｅｓｓｉｖｅ ｒｅｄｕｃｔｉｏｎ． Ｋｅｙ ｗｏｒｄｓ：ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ；Ｃｈｉｎｅｓｅ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ；ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ；ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ；ｒｏｕｇｈ ｓｅｔ； ｉｎｆｎｒｍａｔｉｏｎ ｒＰｔｒｉｅｖａ】
中文文本分类中特征选择方法的研究
．开发研究与设计技术 本栏目责任编辑：谢媛媛
中文文本分类中特征选择方法的研究
宁慧。吕志龙 （哈尔滨工程大学计算机科学与技术学院，黑龙江哈尔滨１５０００１）
摘要：本文研究了文档频率ＤＦ、信息增益ＩＧ、互信息ＭＩ、ｘ２分布（ＣＨＩ）、期望交叉熵、优势率、文本证据权七种不同的 特征选取方法。针对ＤＦ对高频词过于依赖，以及ＭＩ，ＩＧ和ＣＨＩ对低频词过于依赖这一特点，试验了将它们组合起来形成
ＤＦ—ＭＩ，ＤＦ—ＩＧ两种组合式特征选择方法，同时针对ＤＦ的特点提出了新的特征选取方法ＤＦＲ，用ＫＮＮ分类器试验了几 种组合方法和ＤＦＲ方法，实验结果表明ＤＦＲ较ＤＦ—ＭＩ、ＤＦ—ＩＧ对分类效果有明显的提高，而组合特征选取方法较单个
特征选取方法对分类器的分类效果有了很大的提高 关键词：文本分类；特征选取；ＫＮＮ；特征组合
中图分类号：ＴＰ３９１ 文献标识码：Ａ 文章编号：１００９—３０４４（２００７）２１—４０７７４—０３
Ａ Ｓｔｕｄｙ ｏｎ Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｉｎ Ｃｈｉｎｅｓｅ Ｔｅｘｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ
ＮＩＮＧ Ｈｕｉ．ＬＶ Ｚｈｉ—ｌｏｎｇ （Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ＣｏＨｅｇｅ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ １５００１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ｐａｐｅｒ ｉｓ ａ ｓｔｕｄｙ ｏｆ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｉｎ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ。Ｓｅｖｅｎ ｍｅｔｈｏｄｓ ｅｒｅ ｅｖａｌｕａｔｅｄ，ｉｎｃｌｕｄｉｎｇ
ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ（ＤＦ），ｉｎｆｏｒｍａｔｉｏｎ ｇａｉｎ（ＩＧ），ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ（ＭＩ），ｘ２一ｔｅｓｔ（ＣＨ Ｉ），Ｅｘｐｅｃｔｅｄ Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ（ＣＥ），Ｗｅｉｇｈｔ ｏｆ Ｅｖｉｄｅｎｃｅ ｆｏｒ Ｔｅｘｔ ａｎｄ Ｏｄｄｓ Ｒａｔｉｏ．ＤＦ ｒｅｌｉｅｓ ｏｎ ｔｈｅ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｗｏｒｄ ａｎｄ ＭＩ，ＩＧ ａｎｄ ＣＨＩ ｒｅｌｙ ｏｎ ｔｈｅ ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｗｏｒｄ。Ｓｏ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ａ ｃｏｍｂｉｎｅｄ ｔｙｐｅ ｉｓ ｕｓｅｄ ａｎｄ ｓｕｐｐｒｅｓｓ ｅｆｆｅｃｔｉｖｅｌｙ ｔｈｅ ｌａｃｋ ｏｆ ｔｈｅ ｈｉｇｈ ｏｒ ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｗｏｒｄ。Ｍｅａｎ—
基于特征选择的文本分类技术研究
基于特征选择的文本分类技术研究
近年来，文本分类技术得到了广泛应用。在信息处理、垃圾邮件过滤、情感分析、舆情监测等各个领域中，文本分类技术都有着重要的应用。而基于特征选择的文本分类技术，是文本分类技术的一个重要分支。本文主要就基于特征选择的文本分类技术进行研究。
一、特征选择技术的意义
在实际应用中，文本分类面临着一个重要问题，就是海量数据的处理。在处理过程中，可能会涉及到数百万、甚至上亿篇文章。如果直接对所有文章进行处理，将会导致系统的效率非常低下。因此，需要对原始数据进行特征选择，去除掉一些无用的、噪声干扰的特征，以提高分类的准确性和效率。
特征选择技术的基本思路是，从原始数据中选取最能有效区分不同类别的特征，以实现对文本的分类。通过特征选择技术，可以达到以下几个目的：
1、减少数据处理的复杂度：由于特征选择可以在原有的特征集合上进行操作，不需要增加新的特征，因此可以很大程度上减少数据的处理复杂度。 2、提高分类准确性：通过特征选择技术，可以去除掉一些无用的、噪声干扰的特征，从而减少特征的冗余性，提高分类准确性。
3、增快数据处理速度：由于特征选择技术可以剔除掉一些无用的、冗余的特征，从而减少特征数量，提高数据处理速度。
二、特征选择技术的分类
特征选择技术主要有三种不同的分类方法。
1、过滤式特征选择
过滤式特征选择方法独立于所采用的分类器，只关注原始数据集的特征。过滤式特征选择方法通常采用评价标准来衡量特征的重要性，然后选取最重要的特征进行分类。
2、包装式特征选择
包装式特征选择方法是将原始数据集的特征包装在一个分类器中，与将要进行分类的文本一起处理。采用贪心或优化算法，去动态选取最优的特征集合。包装式特征选择方法非常依赖所采用的分类器。
3、嵌入式特征选择 嵌入式特征选择方法是将特征选择嵌入到分类器中。与包装式特征选择方法类似，它是用分类器来评价特征，然后在分类器学习的过程中进行特征选择。
文本分类中信息增益特征选择方法的研究
- 1 - 文本分类中信息增益特征选择方法的研究
文本分类是一种重要的自然语言处理技术，它能够有效地划分字符串文本，并将它们划分为多个有意义的类别，以便以合理的方式对文本进行处理。当进行文本分类时，需要一种有效的特征选择方法来提取文本中的有效信息，从而帮助开发出更准确的分类器。近年来，基于信息增益的特征选择方法得到了广泛的应用，但其长处也有一些缺点。因此，本文的主要目的是研究信息增益特征选择在文本分类任务中的应用，以及如何更好地使用这种方法来提高分类器的性能。
首先，本文介绍了信息增益特征选择方法的基本原理，并阐述了特征选择的重要性和作用。然后，采用特征选择算法，以文本作为输入，进行定量分析，从文本中提取有关特征，包括词语、句子、篇章结构等内容，从而构建文本分类模型。研究还展示了将信息增益特征选择方法应用于文本分类的过程，包括特征向量构建以及特征选择等步骤，以及特征之间的相关性分析，以便从特征的多维特性中挑选有用的特征。
本文还介绍了如何使用信息增益特征选择方法来提高文本分类器的性能，提出了基于改进信息增益特征选择方法的文本分类器设计，并详细介绍了其工作原理。本文还比较了传统信息增益特征选择方法和改进信息增益特征选择方法在文本分类任务中的准确率。实验结果表明，改进的信息增益特征选择方法在许多数据集上表现出比传统方法更好的性能。
最后，文章总结了本文的研究成果，并对未来的研究方向提出了 - 2 - 建议。此外，文章还讨论了信息增益特征选择方法在文本分类领域中的未来发展，将指导未来特征选择研究，以帮助文本分类任务得到更好的实现。
总之，本文研究了信息增益特征选择方法在文本分类中的应用，提出了基于改进信息增益特征选择方法的文本分类器设计，并通过实验证明了该方法的有效性，为文本分类提供了新的探索。
文本分类中信息增益特征选择方法的研究 2
- 1 - 文本分类中信息增益特征选择方法的研究
近年来，随着网络技术的迅速发展，文本分类技术得到越来越多的重视。文本分类是以文本为基础的数据挖掘技术，它的目的是将一批文本文档分割为不同的类别，以支持后续的知识发现和决策分析。为实现自动文本分类，文本分类系统需要一系列有助于区分不同类别的语义特征，其中特征选择是一个重要的环节。
信息增益特征选择方法是一种常用的特征选择方法，是基于信息论和概率理论。信息增益是一种信息量的量度，它表示在加入一个新特征后，目标变量的不确定性的降低情况。它最大程度地减少了特征与特征之间的相关性，从而获得最佳的分类效果。本文将就信息增益特征选择方法在文本分类中的应用进行深入探讨。
第一，本文就信息增益特征选择方法在文本分类中的应用进行简要阐述。首先，关于信息增益特征选择方法的基本原理：先计算实例的信息熵，度量实例的不确定性，然后计算当前特征的信息熵，度量特征的信息量，最后计算出新的信息熵，来比较特征的信息增益，从而选择出最佳的特征。其次，根据不同的文本分类任务，对信息增益特征选择方法进行更进一步的研究。例如，对于情感分析任务，可以采用信息增益和关联规则方法来挖掘特征，重点挖掘文本中的词语组合、关键词组合等；对于分类任务，可以采用bp神经网络结合信息增益特征选择方法来进行分类，来提高文本分类的准确性。
第二，对近年来信息增益特征选择方法在文本分类中的应用进行总结。在近几年里，信息增益特征选择法已被广泛应用于文本分类任 - 2 - 务中，取得了良好的效果。例如，Xurongshu et al.（2020）提出了一个新的召回模型，将结构化和非结构化数据相结合，采用Chi-square 信息增益特征选择方法和bp神经网络算法来实现文本分类任务，取得了非常不错的效果。此外，Chen et al.（2020）基于语义关系，构建了一种新的多级文本分类模型，采用信息增益算法来识别最重要的特征，从而实现文本的高精度分类。
互信息特征选择法在《中图法》内容相似类目中的运用及改进——以E271和E712.51为例
2018年第1期（总第164期）46摘要：针对内容相似的两个类目间存在大量共同特征而难以自动区分的特点，提出一种改进的互信息特征选择法，以提高两类文本自动分类的效果。以《中国图书馆分类法》中E271（中国陆军）和E712.51（美国陆军）两个类别的书目信息作为文本分类的对象，首先针对传统互信息特征选择法未考虑负相关特征、类间集中度和类内分散度等问题，引入改进的互信息特征选择法DNCF_MI；其次，针对DNCF_MI未区分不同特征对类别的贡献程度等不足，引入领域无关特征和领域相关特征，提出一种改进的互信息特征选择法DNCF_DI_MI；最后，使用knn分类器进行分类，并采用宏平均F1值和微平均F1值对分类结果进行评价。实验结果表明，本文提出方法的宏平均F1值和微平均F1值比传统互信息特征选择法分别提升24.1%和28.5%，比DNCF_MI均提升4.5%，证明本文方法对内容相似类目的分类更有效。关键词：内容相似类目；中国图书馆分类法；两类分类；互信息；特征选择中图分类号：G250.7DOI：10.3772/j.issn.1673-2286.2018.01.008
随着现代互联网技术的蓬勃发展，人工智能开始普及并逐渐渗透到各个应用领域。基于机器学习的自动文本分类技术（也可简称为自动分类），作为人工智能的主要技术之一，是对文本信息资源进行组织与管理的重要手段[1]。在信息管理领域，人工智能技术的应用也逐渐成为可能和必要。《中国图书馆分类法》（以下简称《中图法》）是图书馆对信息资源进行分类组织的主要分类体系，该分类体系下存在大量内容相似的类目，本文将其称为内容相似类目。在信息管理领域开展自动分类研究，对内容相似类目的处理是其中一个重要课题。从机器学习角度看，内容相似类目指两个及两个以上类别间的文本在用词上非常接近，以不分词序和语义特征的词袋模型所表示的文本间差异非常小的类目或类别。对其采取自动分类技术研究指将内容相似类目中的任意两个类别看作两个类的文本内容或特征非常接近时的两类文本分类问题。内容相似类目的分类问题对数据集和相关分类技术都有更高的要求。本文以《中图法》中E271（中国陆军）和E712.51（美国陆军）两个类别的书目信息作为内容相似类目的分类对象，针对分类技术中的特征选择环节，引入领域无关特征和领域相关特征对DNCF_MI（DNC Frequency and Mutual Information）特征选择法进行优化，以提高对内容相似类目的分类精度，为今后对《中图法》中更多内容相似类目开展基于机器学习的自动分类研究抛砖引玉。
中文文本分类中特征选择方法的比较
研究ｓ开发 ／
中文文本分类中特征选择方法的比较
符发
（海南大学信息科学技术学院计算机系，海口５７０２２８）
摘要：在自动文本分类系统中，特征选择是有效的降维数方法。通过实验对中文文本分类中的 特征选择方法逐一进行测试研究．力图确定较优的中文文本分类特征选择方法。根据实 验得出：在所测试的所有特征选择方法中，统计方法的分类性能最好，其次为信息增益 ０Ｇ），交叉熵（ｃＥ）和文本证据权 Ｅ）也取得了较好的效果，互信息（ＭＩ）较差。 关键词：特征选择；文本分类；向量空间模型
０ 引言
随着互联网的高速发展．互联网上的信息呈几何
倍数增长，为了便于从海量的信息中挖掘出有用的信
息．必须对所收集到的大量文档进行有效的组织和分
类管理。文本分类对于信息处理的意义非常重要，而 单单靠人工是无法完成对如此海量的文档进行分类
１ 特征选择
在中文文本分类中．文本集经过分词后变成词
集，然后经过去掉停用词粗降维得到特征集．但是特
征集仍然是个高维的特征空间 对于所有的分类算法
来说维数都太大。因此，在不损伤分类精度的情况下， 从特征集中挑选出一部分有用的、对分类类别有贡献
的词条组成特征子集，以此来降低向量空间维数．从
而简化计算．提高分类工作的速度和效率 一般的做
法是使用某种特征评估函数计算各个特征的评分值．
然后按评分值对这些特征进行高低排序．选取最高分
的一些作为文本特征子集，以降低特征空间的维数． 从而简化计算．提高分类工作的速度和效率 常见的
特征选择方法有：文档频率（Ｄｒ１、互信息ｆＭＩ）、信息增
益（ＩＧ） 统计（ｃｍ）、交叉熵（ｃｚ）、文本证据权（ｗＥ）与
优势率（ＯＲ） １．１文档频率（Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ，ＤＦ）
文档频率是出现某个特征项的文档数量 通过文
档频率进行特征选择就是将文档频率小于某一阈值
的词删除，从而降低特征空间的维数
ＤＦ评估函数的理论假设是稀有单词要么不含有 用信息，要么太少而不足以对分类产生影响．要么是
文本分类中信息增益特征选择方法的研究 3
文本分类中信息增益特征选择方法的研究
文本分类是自然语言处理中最火热的应用之一，它主要用于将给定的文本文档（如新闻文章、电子邮件等）分类到预定的类别中。传统的文本分类方法经常会用到特征提取和遴选以形成有效的分类模型，而特征选择对文本分类模型的分类准确率影响极为重大，具有重要的理论和应用价值。
其中，基于信息增益的特征选择方法是文本分类领域中较为常用且较为具有效果的特征选策方法。基于信息增益技术，可以根据特征和类别之间的关系预先计算出每个特征的信息增益，根据计算结果来决定特征的优先级，从而选择出最有用的特征信息，从而最大化降低模型的复杂度和增强分类模型的准确率。
值得注意的是，信息增益方法不是一种完美的特征选择方法，有时信息增益也并不是消除噪声和提高分类准确率的最佳选择。因此，对于信息增益方法，可以采用其他特征选择方法，如基于信息增益比（IGR）、熵差、特征权重平均偏差（FWDR）和小波变换熵（WTE）等方法，以提高特征选择的准确性。此外，还可以通过分析特征的偏置和方差，以估计特征的稳定性，并根据特征的稳定性来有效地选择特征，以实现更准确的文本分类。