基于FVSM和自组织映射网络的Web文本自动分类方法

中的一些 “关键句” , 即那些包含诸如 “关键在于 …… ” “ 、旨在 …… ” 、 “主要目的 ( 标 ) 是 …… ” 等的 句子 . 在关键句中的词有相当大的可能性被选 中 ,而且给予较大的隶属度 . ( 5) 在引言和结论段中的词有较大的可能性 被选中 ,并给予一定的隶属度 . ( 6) 在段首或段尾出现的词有较大的可能性 被选中 ,并给予一定的隶属度 . ( 7) 要重视选择出现频度高的词 ,并随着频度 的增加逐次增加其隶属度 . ( 8) 隶属度叠加原则 ,即若一个特征项同时处 于上述多种地位 ,则其隶属度以某种方式迭加 . ( 9 ) 同义词 、 近义词或转义词出现时 , 根据其 间的语义关联度大小作为某关键词的一次或部分 出现统计在出现频数中 . ( 10) 对上述方法获得的 “模糊关键词集” 的隶 λ - 滤波操作” 属度进行归一化处理 ; 并进行 “ ,把 该模糊关键词集中的隶属度小于λ( 0 <λ < 1 ) 的 关键词滤掉 . 这样就可把不够重要的关键词忽略 掉 ,而最终得到一个可以近似描述原文语义的 “模 糊关键词集” . 假设有 P 篇待分类文档 , 根据上述原则 , 模 糊特征项集的构造可描述如下 : step 1 : 分别对 P 篇文档按原则 ( 1 ) - ( 10 ) 构 造模糊特征项集 : C 1 , C 2 , …, C p ;
© 1995-2006 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
第9期
许增福 , 等 : 基于 FVSM 和自组织映射网络的 Web 文本自动分类方法
・1169 ・
VSM) 中 ,文本被简单地表示成向量 , 作为向量空
© 1995-2006 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
・1170 ・
C 1 = { T 1 , T 2 , …, T N 1 } ; C 2 = { T 1 , T 2 , …,
p p p T2 ; Cp = { T1 , T2 , …, T N N 2} ; … p}
1
1
1
22Leabharlann step 2 : 在以上模糊集中 ,将特征项的同义词 、
转义词 、 近义词看作同一特征项 , 计算 P 个模糊 集的并集 : C 1 ∪ C 2 ∪ … ∪ C p = { T 13 / T 1 ,
许增福 , 梁静国 , 田晓宇
( 哈尔滨工程大学 经济管理学院 , 黑龙江 哈尔滨 150001)
摘 要 : 针对 Web 信息挖掘中的文本自动分类问题 ,提出了一种基于模糊特征向量 ( FVSM) 和自组织特征 映射网络的分类方法 . 网络由输入层和竞争层组成 . 输入层节点与竞争层节点实行全互连接 . 输入层完成 分类样本的输入 ,竞争层提取输入样本所隐含的模式特征 ,并对其进行自组织 ,在竞争层将分类结果表现出 来 . 分无监督和有监督两个阶段完成对网络的分类训练 . 该方法在特征提取时充分考虑了特征项在文档中 的 Web 位置信息 ,构造出模糊特征向量 , 使自动分类原则更接近手工分类方法 . 以中国期刊网全文数据库 部分文档数据为例验证了该方法的有效性 . 关键词 : 数据挖掘 ; 文本分类 ; 神经网络 ; 学习算法 中图分类号 : TP391 文献标识码 : A 文章编号 : 0367 - 6234 ( 2004) 09 - 1168 - 05
随着文本信息的快速增长 , 特别是 Internet 上在线信息的增加 , 文本 ( 网页 ) 分类显得越来越 重要 . 由于分类可以在较大程度上解决目前网上 信息杂乱现象 , 方便用户准确地定位所需的信息 和分流信息 , 因此 , Web 文本自动分类已成为一 项具有较大实用价值的关键技术 , 是组织和管理 信息数据的有力手段 . 文本分类的目标是在分析
( School of Economics and Management , Harbin Engineering University , Harbin 150001 , China)
Abstract : Aimed at problems of document s classification in data mining , a classification met hod is presented based on f uzzy eigenvector and self2organization characters mapping network. The network is constit uted of input layer and competition layer whose nodes link wit h each ot her totally. The input layer performs classi2 fication samples provision , competition layer ext ract s t he implicit pattern characters of input samples and takes self2organization to t hem , t hen represent s t he classification result at competition layer. The network t raining includes two p hases of non2supervisal and supervisal. The feat ure Web information of it s locality in t he document is considered while t he feat ures are ext racted and t he f uzzy Eigenvector is const ructed , as a result , t he automatic classification principle is close to t he manual classification met hod. Finally t he avail2 ability of t he model and algorit hms is proved by part document s of china periodical document database. Key words : data mining ;document classification ;neural network ;learning algorit hm
Document automatic classif ication method base on f uzzy eigenvector and self2organization characters mapping net work
XU Zeng2f u , L IAN G Jing2guo , TIAN Xiao2yu
T 2 / T 2 , …, T N / T N } , 得到模糊特征项集 { T 1 , T 2 , …, T N }
3 3
112 模糊特征向量的构造
在模糊集{ T 1 , T 2 , …, T N } 中 , 特征项在某一 文档中出现的频数可按以下原则计算 : ( 1) 若特征项在原文中已被作者选为关键词 ( 如果有的话) ,应给予隶属度 1 ; ( 2) 若特征项在标题和摘要 ( 如果有的话 ) 中 出现 ,应给予较高的隶属度 ; ( 3) 若特征项出现在正文中的一些 “关键句” , 即那些包含诸如 “关键在于 …… ” 、 “旨在 …… ” 、 “主要目的 ( 标) 是 …… ” 等的句子 , 应给予较大的 隶属度 ; ( 4) 若特征项出现在引言和结论段中 ,应给予 一定的隶属度 ; ( 5) 若特征项出现在段首或段尾 ,应给予一定
第 36 卷 第9期 2 0 0 4年9月
哈 尔 滨 工 业 大 学 学 报 J OU RNAL OF HARB IN INSTITU TE OF TECHNOLO GY
Vol136
No 19
Sep . , 2004
基于 FV SM 和自组织映射网络的 W eb 文本自动分类方法
1 文档模糊特征提取
特征提取是文本分类系统中十分关键的问 题 ,文本分类特征选取恰当与否对文本分类的正 确性和分类效率有重要影响 . 传统 VSM 的特征 提取方法一般是基于统计的 , 首先根据某一准则 对特征项进行评分 , 然后选出分值较高的作为特 征构成特征向量空间 . 常用的特征提取方法有文 档频率 、 信息增益 、 互信息等 . 由于特征提取一般 不考虑特征项在文档中的位置信息 , 例如同一特 征项出现在标题 、 关键词 、 摘要 、 正文中被等同看 待 ,因此会影响分类精度 . 本文对上述方法进行 了改进 ,应用模糊数学思想 ,把特征项在文档中的 位置作为反映文档主题的重要程度 ( 隶属度 ) , 并 根据特征项的隶属度计算特征项的频数 . 111 模糊特征项集的构造 构造模糊特征向量首先要构造一个模糊特征 项集 . 一个有效的特征项集 , 必须具备以下两个 特征 : ( 1) 完全性 ,特征项能够体现全部文档内容 ; (2) 可区分性 , 根据特征项集 , 能将目标文本同其 它文档相区分 . 如何根据正文的语义提取可近似 表示正文语义的特征项集是一个复杂问题 , 严格 讲除了要求理解正文的含义之外 , 尚需有总结概 括的能力乃至有较深的领域知识才能较好地解决 这个问题 ,这是难以用现有计算机技术来实现的 . 因此必须与语言学家们结合把人类在抽取正文特 征项时所遵循的原则总结出来 . 可能的原则可以 包括 : ( 1 ) 正文中的诸如前置词 、 冠词 、 代词等词类 一般不在被选择之列 . 形容词与副词若被选中 , 必须与其修饰的词结合在一起 ,作为一个特征项 . ( 2) 若在原文中已被作者选为关键词 ( 如果有 的话) 则也选中它 ,并给予隶属度 1. ( 3) 在标题和摘要 ( 如果有的话 ) 中的名词有 最大的可能性被选中 ,并给予较高的隶属度 .