改进的K_近邻算法在中文网页分类的应用

相似度值的计算存在的不足， 在此基础上， 本文提出了基于类中心向量的 K － 近邻算法， 通过理 论分析和仿真实验结果证明了该算法对于中文网页分类具有较好的分类效果 ． 关键词： K － 近邻； 网页分类； 相似度； 类中心向量 TP391 文献标识码： A
2 本文采用文档频率 （ DF ） 和 X 统计 （ CHI ） 相
其中： M 表示测试网页与训练网页共同出现的特征 项个数； n1 表示测试网页包含的特征项个数； n2 表 示训练网页集中要计算相似度的网页所包含的特 n2 ） 表示从测试网页与训练 征项的个数； max（ n1 ， 网页各自包含的特征项个数的最大值 ． Step4 ： 计算测试网页 T 与每类中心向量的相 似度 Sim FV， 计算公式为：
（ 4）
NUM 表示测试网页和训练网页共同出现的特 征项个数与两个网页中的特征项个数的最大值的 比值． NUM 的计算方法为： NUM = M max（ n1 ， n2 ） （ 5）
{
k
1 0
if∑ Sim（ x， di） y（ di， cj） － b ≥ 0
i =1
else （ 2）
Step6 ： 比较训练网页集中每一个类别的权重， 将测试网页分到权重最大的那个类别中 ． 1． 2． 2 改进 K － 近邻算法 通过对 K － 近邻算法的分类过程进行分析不 难发现， 该算法在计算两篇网页的相似度时， 并没 有考虑特征项在分类时对不同类别的作用 ， 就通过 两篇网页向量相应特征项的权重值直接计算得到 的， 忽略了测试类网页与训练网页所在类是否有相 将求出来的结果直接运用到分类时可能会导 似性， 致分类结果的不准确， 影响分类精度． 本文针对 K － 近邻算法的这种不足之处， 提出了基于类中心向 量的 FV － KNN 算法． 具体算法步骤如下： Step1 ： 将训练网页集中的所有网页都表示成 计算机能够识别的网页向量； Step2 ： 对测试网页进行特征词分词、 特征提取 等操作， 然后根据某一类别的所有网页向量得到该 类别的类中心向量； Step3 ： 在测试网页到达后， 先将测试网页 T 表
FV － KNN 算法的准 从表 1 和表 2 可以得到， 、 F1 的值明显高于 K － 近邻算法， 其 确率 召回率和 平均召回 中 FV － KNN 算法的平均准确率 94． 8% ， 率 93． 3% ， 平均 F1 值 94． 0% ， 而 K － 近邻算法的 平均准确率 91． 9% ， 平均召回率 90． 3% ， 平均 F1 FV － KNN 算法对 值 91． 1% ， 通过实验可以看出， 中文网页分类有较好的分类效果 ．
［3 ］
实验证明
， CHI 方法对于英文网页效果显著， 但
在中文网页中由于特征向量往往具有比英文网页 从而影响了 CHI 统计算法的效 更高的空间维数， 果． 先采用 DF 算法进行过滤形成初始集，再使用 CHI 算法提取有效特征，起到了降维的目的． 1． 2 1． 2． 1 分类方法 传统 K － 近邻算法
3
图2 特征表示对准确率的影响
总
结
本文针对传统 K － 近邻算法相似度计算中存 在的不足， 提出了基于类中心向量的 FV － KNN 算 法， 并对真实网页进行了分类测试， 实验证明， 该算 能够明显提高网页分 法与传统 K － 近邻算法相比， 类的准确率和召回率． 随着互联网的发展， 如何利 用 K － 近邻算法在克服噪声干扰及有效地缩小算 法训练和分类所用时间， 仍会是一个研究的热点．
①
［5 ］ ［4 ］
如下：
Step1 ： 对训练集的网页进行预处理， 得到能够 被计算机识别的网页向量集； Step2 ： 对于测试网页， 对其进行分词、 停用词 形成测试网页向量； 处理及特征提取等操作， Step3 ： 计算测试网页与训练集中的每篇网页 计算公式为： 的相似度，
等．
收稿日期： 2011 － 11 － 05 作者简介： 盛魁（ 1981 － ） ， 男， 安徽涡阳人， 讲师， 硕士， 研究方向： 数据挖掘、 智能信息检索、 电子商务．
并将 FV － KNN 算法与传统 K － 近邻 性和正确性， 进而对实验结 算法分别应用于中文网页分类实验 ， 果进行分析． 本文实验中采用查准率和召回率作为 ［14 ］ 选 取 F1 值 作 为 标 准 测 每个 类 的 评 测 指 标 ， 度
［15 ］
． 实验结果如表 1 、 表 2 所示．
为了验证本文提出的 FV － KNN 算法的有效 表 1 K － 近邻算法实验结果
表2
分类算法 类别 训练样本数 测试样本数 FV － KNN 算法 准确率 召回率 F1
FV － KNN 算法实验结果
旅游 190 40 95． 3% 93． 6% 94． 4% 体育 200 31 96． 8% 95． 1% 95． 9% 财经 210 49 97． 2% 95． 8% 96． 5% 军事 150 30 96． 3% 95． 8% 96． 0% 娱乐 180 36 90． 8% 89． 1% 89． 9% 教育 70 14 92． 5% 90． 3% 91． 4%
第6期
盛
n
魁： 改进的 K － 近邻算法在中文网页分类的应用
909
Sim（ d i ， dj ） =
W ik W jk ∑ k =1
n n
…， W n ） 的形式， 然后计算 示成 n 维向量 T （ W1 W2 ， （ 1） 该网页与训练网页集中每个类的类中心向量的距 离 FV， 将网页分到距离最小的类． 计算公式为： FV = C + NUM （ 3） C 为向量距离， 其中， 表示的是测试网页与类中心 ［13 ］ 向量的内积， 类中心向量计算公式 为： Ci = 1 d ik n∑ k =1
第 29 卷 第 6 期 2011 年 11 月
佳 木 斯 大 学 学 报 （ 自 然 科 学 版 ） Journal of Jiamusi University （ Natural Science Edition）
Vol． 29 Nov．
No． 6 2011
文章编号： 1008 － 1402 （ 2011 ） 06 － 0908 － 04
［9 ］
K － 近邻算法［8］属于传统统计模式识别算法， 是一种基于实例的网页分类方法． 其主要思想 是： 根据传统的 VSM 模型， 把网页内容表示为特征 W 1 ； T2 ， W2 ； 空间中的加权特征向量， 即 D = D （ T1 ， …， Tn ， W n ） ． 对于一个待测试网页， 计算它与训练 集合中每个网页的相似度
n
Sim
FV（ d i ， dj ） =
W ik W jk ∑ k =1
n n
* FV （ 6 ）
2 jk
Step5 ： 将测试网页 T 归类为与其相似度最大 的类中． P （ T） = max m j = 1 Sim FV（ C j ， T） （ 7） 相对于传统的 K － 近邻算法， 改进后的 FV － KNN 算法的最大特点就是对网页训练集进行了最 大程度的裁剪， 测试类网页只需与较少的类中心向 量作比较， 就可以将其分类， 从而提高了网页的训 练速度和分类速度．
∑ 槡
k =1
W
2 ik
W ∑ k =1
图1
实验流程
2
实验过程及结果分析
2． 1
实验结构的设计 本文的实验结构在上述分类方法改进的基础
910
佳 木 斯 大 学 学 报 （ 自 然 科 学 版 ）
2011 年
上， 以 Matlab 软件为平台， 通过手动下载新华网、 新浪网和搜狐网上的 1200 篇中文网页， 其中包括 旅游、 体育、 财经、 军事、 娱乐和教育共 6 大类， 从中 其它 200 篇网 任意选取 1000 篇网页作为训练集， 页作为测试集． 具体实流程如图 1 所示． 2． 2 实验结果及分析
分类算法 类别 训练样本数 测试样本数 K － 近邻算法 准确率 召回率 F1 旅游 190 40 91． 6% 87． 1% 89． 3% 体育 200 31 94． 5% 93． 2% 93． 8% 财经 210 49 94． 9% 93． 4% 94． 1% 军事 150 30 93． 8% 93． 2% 93． 5% 娱乐 180 36 86． 3% 85． 7% 86． 0% 教育 70 14 90． 2% 89． 1% 89． 6%
［10 ］
1
1． 1
中文网页分类方法
特征提取
， 找出训练网页集中
与测试网页最相似的 K 篇网页，根据这 K 篇网页 所属的类别信息来对该测试网页进行分类处理 ． 具 体算法步骤
［11 ， 12 ］
网页特征提取的好坏直接影响网页分类的质 量， 因此在网页分类之前，必须对其进行特征提 ， 就是提取出最能代表某篇文 章或某类的特征项， 以达到降维的效果从而提高分 取． 进行特征提取 类效率和减少计算复杂度． 对于网页分类， 常用的 2 X 统计、 特征提取方法有信息增益、 文档频率、 期 望交叉熵、 文本证据权
图3 特征表示对召回率的影响
第6期 参考文献：
盛
魁： 改进的 K － 近邻算法在中文网页分类的应用
911
． ModernComputer， 2007 ， Methods for Text Categorization ［J］ （ 4 ） ： 10． ［ 8］ YANG Yiming， SLATERY S， GHANI R， A Study of Approaches to Hypertext Categorization［ J］ ． Journal of Intelligent Information Systems． 2002 ， 18 （ 2 ） ： 219 － 241． ［ 9］ Chakrabarti S， Joshi M， Tawde V． Enhanced Topic Distillation UMarkup Tags， and Hyperlinks ［C］/ / ACM SIGIR， sing Text， 2001． ［ 10］ 宋玲， 马军， 连莉， 等． 文档相似度综合计算研究［J］． 计算机 2006 ， 42 （ 30 ） ： 160 － 163． 工程与应用， ［ 11］ 卜凡军． KNN 算法的改进及其在文本分类中的应用［D］ ．无 2009． 锡： 江南大学， ［ 12］ 孙岩， 吕世聘， 王秀坤等． 基于结构学习的 KNN 分类算法 ［ J］ ． 计算机科学， 2007 ， 34 （ 12 ） ： 184 － 187． ［ 13］ 王新丽． 中文文本分类系统的研究与实现［D］． 天津： 天津 2007． 大学， ［ 14］ 盛魁， 赵鹏． 中文网页自动分类综述［J］． 电脑知识与技术， 2010 （ 6 ） ： 7558 － 7560． ［ 15］ 庞剑锋， 卜东波． 基于向量空间模型的文本自动分类系统的 J］． 计算机应用研究， 2001 ， 18 （ 9 ） ： 23 － 27． 研究与实现［