判别大作业-一种基于向量空间模型和类别特征提取的Web新闻自动分类方法

其中，������_idf������ 表示某类中关键词������������ 的idf值， ������_������������表示每个类中关键词������������ 的tf值之和。 相比传统的tf − idf值，这里的������_tf������ 的定义没有太大变化，只不过把词数之比换成了词 权重之和的比，加入了词权重的影响。 而tf − idf值相比传统计算公式有较大改动。试想这样一种情况：A 词和 B 词在文章 1 中出现的频率相同且较大；A 词在其它文章中出现的频率很大，B 词在其他文章中都只出现 1 次。按照原有的方法，在文章 1 中，A 词和 B 词的tf − idf值将会是一样的，而显然 A 词 表达文章 1 的重要程度不及 B 词。而通过我们重新定义的方法，这种问题则可以得到有效 改善。部分关键词在所有一级类目中的tf − idf值如下：
表 3 样本标题分词结果示例
2 设置词权重并合并关键词
对于新闻来讲，能够表达新闻内容的关键词来自新闻标题和正文，但是来自标题和正 文的词的重要程度是不同的。 标题是一篇新闻的眼睛， 是决定读者是否阅读一条新闻的重要 依据， 很明显标题中的词语更为重要， 因此需要对标题中的词语和正文中的词语设置不同的 权重。本次研究将标题中词语的权重设为 1.0，将正文中词语的权重设为 0.1，这样的设置方 法或许不一定合理， 但是可以通过多次更改权值， 对比每次更改权值后的测试结果确定一个 较优的分配方式。 在对词语设置不同的权值后，需要合并来自标题和来自正文的关键词，合并的方法就 是将同一关键词的各个权值相加， 例如关键词 “手机” 在标题出现 2 次， 在正文出现 10 次， 那么手机的最终权重就是 2*1.0+10*0.1=3.0。
一种基于向量空间模型和类别特征提取的 Web 新闻自动分类方法
王某某
（北京航空航天大学计算机学院北京 100191）1
摘要：互联网时代，网络信息呈几何级数激增，对 Web 新闻的分类提出了更高的要求，即要求能够快 速、准确地对 Web 新闻进行分类。本文通过改进tf − idf算法，提出了一种基于向量空间模型和类别特征提 取的文本分类方法， 并对 Web 新闻进行了两级类目 （5 个一级类目， 36 个二级类目） 分类； 通过多次测试， 确定了类别特征提取的最佳维度，通过降低新闻关键词向量的维度，一定程度上改善了交叉类别的分类效 果，从而实现 Web 新闻的高效自动分类；最后，通过交叉验证法对分类的效果进行了评价，结果表明本方 法在一级类目的分类上有较高的准确率（平均准确率为 86.92%） ， 而在二级类目的分类上效果不够理想 （平 均准确率为 58.58%） 。 关键词：文本分类向量空间模型特征提取中文分词余弦相似度
3 / 13
1 中文分词
本次研究采用国内最好的中文分词系统 ICTCLAS，ICTCLAS 是中国科学院计算技术 研究所经过多年探索研究后所开发的一个汉语词法分析系统， 分词精度达到 98.45%[2]； 该系 统还允许用户导入外部词典，以进一步提高分词的准确性。 我们在 java 程序中导入官方的 ICTCLAS 包，并导入自己建立的词典、同义词表和停 用词表，对新闻的标题和正文进行了分词，部分标题最终分词结果如表 3 所示：
二、数据集 1 数据来源
本次研究选定了中新网[5]IT、财经、教育、军事、娱乐等 5 个一级类目以及这 5 个一级 类目下总计 36 个二级类目（各个一级类目以及二级类目的信息见表 1） ，通过编写 java 网页 爬虫抓取新闻，在每个二级类目下最多各抓取 500 条，抓取新闻的数据项包括新闻标题、新 闻内容、新闻发布时间、一级类目、二级类目、编辑、网址，最终共抓取到新闻 15951 条。 （抓取部分结果见表 2，每类新闻数量统计见表 1） 。
3 选择关键词，构成文本向量
有关研究表明，30%的关键词就足以有效地代表文本[6]，在文本关键词很多的情况下， 可以采用这样的方法有效地降低向量的维度数。在新闻文本中，关键词的数量不是很多，为 此我们保留所有关键词， 按照关键词权重进行降序排序， 最终每篇新闻可以用如下形式表示： ITem������ = { ������1 , ������1 , ������2 , ������2 , … , ������������ , ������������ , … , (������������ , ������������ )} 其中，ITem������ 表示第 i 篇新闻， ������������ , ������������ 中������������ 表示该新闻的第j 个关键词，������������ 表示第j 个关 键词的权重，部分新闻向量化结果如下（对于关键词较多的样本，只列举出了比重前九位的 部分） ：
1 改进������������ − ������������������算法
传统的tf − idf算法用于表示词汇对于某特定文本的重要程度，我们可以将这样的概念
5 / 13
借鉴到词汇对特定类别的重要程度中， 改进的tf − idf算法就是用来选出那些对于特定类别比 较重要的关键词。在词汇对特定类别重要程度中，tf值我们用c_tf表示，idf值我们用 c_idf表 示。 对于c_tf值，我们定义如下计算公式： ������_tf������ = ������������ ������
2 / 13
表 1 中新网一、二级类目下样本抓取数量表
表 2IT 类样本抓取部分结果示例
2 训练集和测试集的选取
本研究通过交叉验证法来评价分类结果， 为此现将数据集分为训练集和测试集。 训练集 是用来训练（构建）模型的数据集，测试集则是在模型构建结束后用来测试模型性能的数据 集。 训练集和测试集共同构成了数据集。 本次研究在每个二级类目下随机选取 80%的新闻作 为测试集，剩余 20%的新闻作为测试集。在完成新闻自动分类之后，通过交叉验证方法对分 类效果进行评价。
三、新闻文本向量化
文本额分类不同于简单的数字分类，需要先对文本进行预处理，将文本转化为数字向 量。 为了能够完成类别特征提取以及后期的新闻自动分类， 首要的工作就是将新闻文本转化 为由带有权重的关键词构成的向量， 也就是文本处理领域常用的向量空间模型。 文本向量化 一般包含如下三个步骤： 1、中文分词（包括文本分词、去除停用词、替换同义词等） ； 2、设置词权重，合并关键词； 3、选择带权重的关键词，构成文本向量。
1
作者简介：王某某，北京航空航天大学研究生邮箱：bnuwjx@。 1 / 13
疏、数据噪音等问题，致使文本分类效果较差。因此，在文本分类前，有必要对文本的原始 特征进行降维处理[4]。关于向量降维的方法，潘正高等人[4]在他们的论文中运行了一些常用 的算法，并在此基础上提出了基于命名实体的降维方法。 下文由如下几部分构成： 第二部分介绍了本次研究的数据集，包括新闻来源、新闻特征项以及训练集和测试集 的选取方法； 第三部分介绍了新闻文本向量化的过程，主要包括中文分词、设置词权重、选择关键 词构成新闻关键词向量； 第四部分详细介绍了类别特征提取的方法：在改进的tf − idf算法的基础上，不断修改 类别特征的维度，结合测试结果确定最佳维度； 第五部分介绍了一级类目和二级类目的分类方法及测试结果，并通过降低文本关键词 的维度改善了交叉类别的分类效果； 第六部分介绍了本次研究的创新及不足之处； 最后在第七部分对未来的研究加以展望。
一、研究背景
随着国际互联网的高速发展，网络信息呈几何级数激增，CNNIC 在其 2015 年 1 月发布 的《第 35 次中国互联网络发展状况统计报告》中显示：截至 2014 年 12 月，中国网站数量已 达到 335 万个，年增长率为 4.6%；中国网页已达到 1899 亿个，年增长率为 26.6%[1]。如何 将海量的网页信息进行合理的组织， 从而帮助网络用户更好的利用互联网资源， 是一个亟待 解决的问题。 在网页信息中，有一类非常重要的信息，那就是 Web 新闻。随着信息存储技术和网络 通信技术的飞速发展，互联网已经成为人们获取新闻信息的重要渠道[2]，同时也已成为最为 方便的渠道。 当今社会的每时每刻都会出现大量的新闻， 这对用户选择自己喜欢的或有价值 的新闻造成了困难，因此必须对新闻进行合理的分类。但基于网络新闻信息量大，杂乱无章 的特点[2]，传统的人工分类方式，不仅耗费大量的人力和金钱，同时也需要大量的时间。因 此有必要借助技术手段来解决新闻分类的问题， 以提高工作效率[3]， 文本分类技术应运而生。 所谓文本分类技术， 就是机器学习人工事先制定的规则， 再根据规则对给定的文本进行自动 的归类。 目前已有的文本分类方法基本都是采用基于词语为特征项的向量空间模型[4]。 向量空间 模型就是通过选择若干带有权重的关键词构成的向量来表示一篇文章的主要内容， 但是它有 一个最大的缺陷，就是向量的维度难以控制，有的文章可能需要用成百上千的关键词表示， 有的文章可能只需要几十个甚至几个关键词就能被概括。 文本向量的高维度容易导致数据稀
其中， ������_tf������ 表示某类中关键词������������ 的tf值， ������������ 表示该类中每篇文章中关键词������������ 的权重������������ 之 和， ������表示该类中所有关键词的权重之和。 对于c_tf值，我们定义如下计算公式： ������_idf������ = ������_������������������ ������ _������������
表 5 部分关键词在五个一级类目中的tf − idf值
对于某个一级类目下的关键词在每个二级类目中tf − idf的值可以用同样的方法算出， 这里不 再赘述。
2 选择类别特征关键词
由于每个类别下都有几千个关键词，类别特征向量维度较高，容易造成数据噪音等问 题，因此降低关键词向量的维度迫在眉睫。一个最直接的方法就是根据前面计算的 tf-idf 值 进行筛选。在实际操作中，我们分别测试了下列几种情况得到的类别特征的分类效果，以此 确定了类别特征提取的最佳维度：