一种改进的文本分类算法
合集下载
一种改进的集中度和分散度文本特征选择算法
时 Ｔ ＦＬ结合特征项长度信息 ， ＦＳ 提高 了 短语和词语在分 类中的作 用。Ｓ Ｍ 分类实验 结果表 明： Ｔ Ｆ 相 比，Ｆ Ｓ 更高 的文本 Ｖ 与 ＦＳ Ｔ ＦＬ有
分 类性能和 剔除无关特征 项的能力。
关键词
中图分类号
互信息 特征选择 文本分 类 特征权重 支持 向量机
Ｔ ３ １６ Ｐ０ ． 文献标识码 Ａ
ＭＩ Ｔ （，
＿ｌｇ ０（
）
（） ２
度 的概念 可以看出 ： 若一个特征项在一 个类 中频度越高 ， 而在其 它类 中的频度越低 ， 则认 为这个 特征项更 能反 映 出现 该类 的特
征。 从表 １ 中可以看 出： 出现 的类别次数为 ６ 其 中出现在 类 ８ ， 中的文档 数为 ２ ， 它５ 类别出现的文档数非常小 ； 出现的 ７其 个
们达到进一 步的完善 。
① 特征项 只出现在一个类中， 认为这个特征项非常有
价值 。
② 如果 出现在 两个 或多个 类 当中 ， 在有些 类 中没 有 但 出现 ， 那么此特征项也有价值 的。
③ 如果 在所有类 中都 出现 了 ， 并且 出现 的频率 比较 均 匀， 那么这样 的特征项对分类就几乎没有价值 ， 应当过滤掉。
综上所之 ， 特征项 出现的类别 越少 ， 重应越 大 ， 以定 性 权 可期 ：０ ０—０ ２１ ８—３ 。浙江省 自然科学基金 （ ０ ７ ９ 。沈友 ０ Ｘ１５ ３ ）
文， 硕士生 ， 主研领域 ： 计算机网络。
第 ９期
沈友 文等 ： 一种 改进 的 集 中度 和分散 度文本 特征 选择 算 法
的关 系可能会有 以下情况 ：
软件分词后 的中文词条是非 常 巨大 的 ， 用这些 词条代 表文档 若
一种基于粗糙集的改进KNN文本分类算法
表示 为 向量 空 间中 的特 征 向量 ；
目前 文本 分类 方 法 主 要包 括 决 策 树 、 Ｋ最 近邻 （ Ｎ 、 联规 则 、 持 向量 机 （ Ｖ 、 叶斯算 法 Ｋ Ｎ）关 支 Ｓ Ｍ） 贝 （ ａｅ） Ｂｙｓ 、神 经 网络 、粗糙 集 等 。其 中基 于 向量 空
（） ２ 将待 分类 文本 ｔ表示 为 和训 练文 本 一 致 的 ｉ
１ ＫＮ Ｎ算法的基本 思想及存在 问题
Ｋ Ｎ作为一 种基 于实 例 的文 本分 类 算 法 ， Ｎ 被认
为是 向量 空 间模 型 （Ｖ Ｍ） 最 好 的 分 类 算 法 之 Ｓ 下
一
５ ） ｓ） （ 一ｏ ＝ （
向量 长度 。
衙
（ １ ）
式 （ ） ０ 两个 向量 ｄ 和 ｄ 的夹 角 ，ｌ １中 是 １ ｌ ｌ表示 ｄ （） ４ 选择 与 ｄ 相似度 最 大的 ｋ 文本 作 为 向量 个
２ ］
，
该算法分为训练和分类两个 阶段 ４。其思 ｌ Ｊ
想是 ： 文本训 练 阶段 ， 在 主要 是 一 般 特 征 的提 取 、 特
２１ ０ ２年 ４月 １ ３日收到 教育部科学技术研究重点项 目（０ １ ８ 、 ２ ８ ４ ）
ｄ 的 ｋ 最 近邻 ； 个 （） ５ 根据 ｄ 的 ｋ 最 近 邻 ， 算 文本 类 别 相 应 个 计
＾ 纛 ， ｋ
（） ６ 比较 各 类 的权 重 ， 待 分 类 文 本 ｔ归 人 权 将 重 最大 的类别 。 作 为一种 有监 督 机 器 学 习 的非 参 数 方 法 ， Ｎ ＫＮ 集
Ｒ ＝ ｛ ∈ Ｕ ｌ［ ｎ Ｘ ≠ ｝ Ｘ ］ 。
它 们分别 为 的 下近似 集 和 上近 似集 。 定 义 ３ 给 定一 个知 识库 Ｋ ＝ （，Ｒ） 对 于 每个子 【， ， 和一个 等价 关 系 Ｒ ∈ ｉｄ Ｋ） 全集 可 ｎ（ ，
目前 文本 分类 方 法 主 要包 括 决 策 树 、 Ｋ最 近邻 （ Ｎ 、 联规 则 、 持 向量 机 （ Ｖ 、 叶斯算 法 Ｋ Ｎ）关 支 Ｓ Ｍ） 贝 （ ａｅ） Ｂｙｓ 、神 经 网络 、粗糙 集 等 。其 中基 于 向量 空
（） ２ 将待 分类 文本 ｔ表示 为 和训 练文 本 一 致 的 ｉ
１ ＫＮ Ｎ算法的基本 思想及存在 问题
Ｋ Ｎ作为一 种基 于实 例 的文 本分 类 算 法 ， Ｎ 被认
为是 向量 空 间模 型 （Ｖ Ｍ） 最 好 的 分 类 算 法 之 Ｓ 下
一
５ ） ｓ） （ 一ｏ ＝ （
向量 长度 。
衙
（ １ ）
式 （ ） ０ 两个 向量 ｄ 和 ｄ 的夹 角 ，ｌ １中 是 １ ｌ ｌ表示 ｄ （） ４ 选择 与 ｄ 相似度 最 大的 ｋ 文本 作 为 向量 个
２ ］
，
该算法分为训练和分类两个 阶段 ４。其思 ｌ Ｊ
想是 ： 文本训 练 阶段 ， 在 主要 是 一 般 特 征 的提 取 、 特
２１ ０ ２年 ４月 １ ３日收到 教育部科学技术研究重点项 目（０ １ ８ 、 ２ ８ ４ ）
ｄ 的 ｋ 最 近邻 ； 个 （） ５ 根据 ｄ 的 ｋ 最 近 邻 ， 算 文本 类 别 相 应 个 计
＾ 纛 ， ｋ
（） ６ 比较 各 类 的权 重 ， 待 分 类 文 本 ｔ归 人 权 将 重 最大 的类别 。 作 为一种 有监 督 机 器 学 习 的非 参 数 方 法 ， Ｎ ＫＮ 集
Ｒ ＝ ｛ ∈ Ｕ ｌ［ ｎ Ｘ ≠ ｝ Ｘ ］ 。
它 们分别 为 的 下近似 集 和 上近 似集 。 定 义 ３ 给 定一 个知 识库 Ｋ ＝ （，Ｒ） 对 于 每个子 【， ， 和一个 等价 关 系 Ｒ ∈ ｉｄ Ｋ） 全集 可 ｎ（ ，
一种改进的SVM决策树文本分类算法
近年来 ， 随着网络和信息技术的发展 ， 文本信息量
增长迅速 ， 作为信息检索及信 息智能处 理领域 的关 键
技术之一 的文本分类 ， 其主要任 务就是 在预先 给定 的
类别标记集合下 ， 根据文本 的 内容判 定其类别 。分类
的精确程度取决于特征提取 以及分类 方法 的科 学性 ， 目前 主 要 的 文 本 分 类 方 法 有 贝 叶 斯 分 类 器 （ ａ ｅ Ｎｉ ＇ ｖ
关键 词 Ｓ Ｍ 决策 树 文 本 分 类 支持 向量 数 据 描 述 Ｖ Ｔ ３１ Ｐ ９ 文 献标 识 码 Ａ 文章编号 １０ — ９５ ２ １ ）８ ０４ — ３ ０ ２ １６ （０ ０ ０ — １１ ０ 中图 分 类 号
０ 引 言
ＳａｅＭ ｄ ， Ｓ 。其基本思想是将文本表示 为向 ｐｃ ｏｅ Ｖ Ｍ） 量空间中的一个 向量 ， 由文本 的词条作 为向量的维数。 假设所有文本 的特征总数是 Ｉ 则构成一个 ｎ ｔ ， 维的向量 空间 ， 这样每一个文 本被表示成 为一个 维 的特征 向 量 ： （ ） ｔ， （ ） ￡， ２ｄ ； ∞ （ ） 其 中， Ｖ ｄ ＝（ｌ ｄ ； ∞ （ ） …ｔ， ｄ ），
第２ ９卷 第 ８期
２１ ０ ０年 ８月
情
报
杂 志
Ｊ ＯＵＲＮＡＬ ＯＦ Ｉ ＥＬＬ ＧＥ ＮＴ Ｉ ＮＣＥ
Ｖｏ ． ９ Ｎｏ ８ １２ ． Ａｕ ． ２ １ ｇ ００
一
种 改 的 Ｓ Ｍ 决 笨树 支本 分 垂 法 Ｖ
Ｔｅ ｔＣｌ ｓ ｉ ｅ ｓ ｄ ｏ ｎ Ｉ ｐｒ ｖ ｄ ｘ ａ ｓｆ ｒ Ｂａ ｅ ｎ ａ ｍ ｉ ｏ ｅ ＳＶＭ ｃｓｏ ｅ Ｄｅ ｉｉ ｎ Ｔｒ ｅ
Ｉ Ｇ和 Ｃ Ｉ Ｈ 表现较好 。
一种改进的文本聚类方法
， ，
， ， ，
重 参数 的设 定方 法 即权 重 参数 由遗 传 算 法 确定 从 而 使 权 重 参数 的 设 定 更 具 有科学 性 和 可 操作 性 通 过 仿 真 实 验验 证 了 算 法
关 键 词 粗 集 ；遗传 算法 ； 向量 空 间 模 型
中 图 文分 类 号 ：T P 3 12
文 献 标识 码 ：A
性质 ４： 如果一个对 象不属于 任何一 个类的下 近似 ， 则 它必 然属 于 两个 以上 的类 的上 近似 。
， ，
了 基 于 粗 糙 集 的 文 本 分 类 方 法 该 算法 缺 少 足 够 的 灵 活
， ，
性
。
5 和 文 献 【 】 文 献 (6 j 将 粗 集 和 遗 传 算 法 相 结 合 分 别 对
， ，
研 究 如 何 从海 量 数 据 中挖 掘有 用 的 信 息
一
直 是学 术 界 研
高 速 公 路 和 网 站 访 问者 进 行 了 聚 类 其 缺 点 是 人 工 设 定
f pa
r a m e
te r s in th e c lu s te r in
g pro g
．
la t io
re s u
lts
a
ls
o
g iv
e n
K
e
y
w o r
ds
：r o u
gh
s e t
；g e
n e r
ic
a
lg
o r i t h m ；v e c t o r
m o
de l
1
引言
面 对 当今浩 如烟 海 的 数据 人 们往往 手 足 无 措 所 以
， ， ，
重 参数 的设 定方 法 即权 重 参数 由遗 传 算 法 确定 从 而 使 权 重 参数 的 设 定 更 具 有科学 性 和 可 操作 性 通 过 仿 真 实 验验 证 了 算 法
关 键 词 粗 集 ；遗传 算法 ； 向量 空 间 模 型
中 图 文分 类 号 ：T P 3 12
文 献 标识 码 ：A
性质 ４： 如果一个对 象不属于 任何一 个类的下 近似 ， 则 它必 然属 于 两个 以上 的类 的上 近似 。
， ，
了 基 于 粗 糙 集 的 文 本 分 类 方 法 该 算法 缺 少 足 够 的 灵 活
， ，
性
。
5 和 文 献 【 】 文 献 (6 j 将 粗 集 和 遗 传 算 法 相 结 合 分 别 对
， ，
研 究 如 何 从海 量 数 据 中挖 掘有 用 的 信 息
一
直 是学 术 界 研
高 速 公 路 和 网 站 访 问者 进 行 了 聚 类 其 缺 点 是 人 工 设 定
f pa
r a m e
te r s in th e c lu s te r in
g pro g
．
la t io
re s u
lts
a
ls
o
g iv
e n
K
e
y
w o r
ds
：r o u
gh
s e t
；g e
n e r
ic
a
lg
o r i t h m ；v e c t o r
m o
de l
1
引言
面 对 当今浩 如烟 海 的 数据 人 们往往 手 足 无 措 所 以
基于DBSCAN聚类的改进KNN文本分类算法
在类 的类别权重 ， 把 归人 到相似度最大 的类 别 中。Ｋ Ｎ Ｎ算法的具体步骤如下 ： （ １ ） 根据训练文本最终特征集 合 ， 将训练文本
表示 为 向量空 间 中的特 征 向量 ；
科
学
技
术
与
工
程
１ ３卷
（ ２ ） 将待分类文本 表示为和训练文本一致的
特征 向量 ｄ ；
中图法分类号
Ｔ Ｐ ３ ９ １ ． １ １ ；
文献标志码
Ａ
文 本 自动 分 类 技 术 是 实 现 文 本 数 据 组 织 与 检 索 的有 效 手段 ， 在 提 高文 本 数 据 利 用 的有 效 性 和 准 确 性方 面具 有 重要 的现 实 意 义 和广 泛 的应 用 前 景 ，
Ｉ ＞Ｍｉ ｎ ｐ ｔ ｓ ， 则称 为 核 心对 象 。 只包 含 核 心 对 象
的集合称为核心样本集 ， 记作 ｋ ｅ ｒ （ Ｄ ） 。
定 义 ３ 直接 密度 可达 。给定 邻 域半 径 和 最 少样 本数 Ｍｉ ｎ ｐ ｔ ｓ （ Ｍｉ ｎ ｐ ｔ ｓ＞０ ） ， 当：
选 择对 聚类 结果 有较 大 的影 响 ， 它对 于噪 声数 据 比
较敏感 ， 少量 的该类数据将会对平均值产生 比较大 的影响。本文主要是针对利用 ｋ － ｍ ｅ ａ ｎ ｓ 聚类算法实 现样本裁剪的不足 ， 提出了一种基于 Ｄ Ｂ Ｓ Ｃ Ａ Ｎ算法
的Ｋ Ｎ Ｎ文本分文 本 分 类 方 法 主 要 包 括 决 策 树、 Ｋ 最 近 邻 （ Ｋ Ｎ Ｎ ） 、 关联规则 、 支持向量机（ Ｓ Ｖ Ｍ） 、 贝叶斯算法 （ Ｂ ａ ｙ ｅ ｓ ） 、 神经网络 、 粗糙集 等。其 中基 于向量空间
一种改进的KNN文本分类
Ｋｅ ｒ ｓ ｆａｕｅ ｅ ｕｔ ｎ ｌ ｅｔｅ ｎｉ ａａｙｉ Ｋ Ｎｅ ｅｔＮｅ ｈ ｏ （ Ｎ ；ｅｔ ａ ｇ ｒ ａ ｏ ｙｗｏｄ ：ｅｔｒ ｄ ｃｉ ；ａ ｎ ｓｍａ ｔ ｌｓ ； － ａ ｓ ｒ ｏ ｔ ｃ ｎ ｓ ｒ ｉ ｂ ｒＫ Ｎ）ｔｘ ｃｔ ｏｉ ｔ ｎ ｇ ｅ ｚｉ
Ｃｏ ｌｇ ｆ ｍｐ ｔｒＳ ｉ ｎ ｅ Ｃｈ ｎ ｑ ｎ ｉ ｅ ｓ ｙ Ｃｈ ｎ ｑ ｎ ０ ０ ４ Ｃ ｉ ａ ｌ ｅｏ ｅ Ｃｏ ｕ ｅ ｃ ｅ ｃ ， ｏ ｇ ｉ ｇ Ｕｎ ｖ ｒ ｉ ， ｏ ｇ ｉ ｇ４ ０ ４ ， ｈ ｎ ｔ
Ｚ ＨＯＮＧＪａ ｇ Ｌ ＵＲ ｎ ｈ ｉ ｍｐ ｏ ｅ Ｋ ｉｎ ， Ｉ ｏ ｇ ｕ． Ｉ ｒ ｖ ｄ ＮＮｔｘ ａｅ ｏ ｉａｉ ． ｏ ｕ ｅ Ｅ ｇｎ ｅｉｇａ ｄＡ ｐｉ ｔ ｎ ， ０ ２ ４ （ ） １ ２ １ ４ ｅ ｔ ｔｇ ｒ ｔ ｎ Ｃ ｍｐ ｔｒ ｎ ｉｅ ｒｎ ｃ ｚ ｏ ｎ ｐ ｌ ａｉ ｓ ２ １ ， ８ ２ ： ４ －４ ． ｃ ｏ
ｔ ａ ｅｐ ｏ ｏ ｅ ｔ ｏ ａｌ ｆｅ ｔ ｅ ｙｉ ｒ ｖ ｅｔ ｘ ａ ｅ ｏ ｉａ ｉｎ ｐ ｅ ｉ ｏ ． ｈ ｔ ｈ ｒ ｐ ｓ ｄｍｅ ｄ ｃ ｌ ｅ ｆ ｃｉ ｌ ｔ ｈ ｖ ｍｐ ｏ ｅｔ ｔ ｔ ｇ ｒｚ ｔ ｒ ｃｓ ｎ ｈ ｅ ｃ ｏ ｉ
方法性能上不足的改进也 日益成为人们关注的热点 】 。
则最后 的分类决策函数为
ｆ ａｇ ｘ ｊｐｄ ） ＝ ｒ ｍａ ｃ（（， ） （） ３
Ｋ Ｎ方法作 为一种无参数 的简单有效 的文 本文类方 法 ， Ｎ
在基于统 计的模式 识别 中性 能突 出 ， 以取得较 高的分类 准 可 确率和召 回率 ｎ 是 Ｋ Ｎ也存在一 定的不足 ：１文本特征 。但 Ｎ （） 向量的高维性 ， 使得算法的时间复杂度和空 间复 杂度 较高 ， 计 算开销很大 ， 且对于巨大维数的文本特征 向量 ， 对分类起作 用 的维数往 往小于文本 本身 的维数 ， 那些对 文本分类 意义不 大 的维数有 可能会 成为噪声 ， 影响分类 的准确度 。２ 当训 从而 （） 练样本数 据分布不均衡甚 至严重倾斜 时 ，Ｎ Ｋ Ｎ分类器的效果 会受到 严重影 响 。而且在 实际应 用中 ， 数据分布 不均衡 的 现象是很 常见 的 ， 类别样本在 密度上 占有优势从 而影响分 大
一种改进的基于VSM的文本分类算法
。
要： 在文本 分类 中 ， 向量 空间模 型（ Ｓ ￣ Ｖ Ｍ）
用 ； 其它部 分 采用基 本的 向量 空间模型 方 法进行计 算 。 这 两部 分的计 算结 果进 行加权 求和 ， 对 对 来综合 判行 了测试 ， 实验结 果表 明改进 的方 法提 高 了分 类的精 确率 、 召回率和 Ｆ 测试值 。 １
到类 别 的 映射 。 目前 ，基 于 机 器 学 习 的英 文 文 本 分 类 已经 取
揭示其 内容 的独立属性 ， 而每个属性都可 以看成是概念空间的
一
个 维数， 些独立属性称 为文本特 征项 ， 这 文本就可 以表示 为
这 些 特 征 项 的 集 合 。 因 此 文 本 就 可 以表 示 成 形 如 ｄ（ｗ； ； －ｔ ｗ －，
一
种改进的基于 ＶＳ 的文本分类算法 Ｍ
张 彰 ， 樊孝 忠
（ 北京理工大学 计算机科 学系，北京 １０８） ００１
摘
的文 本表 示形式 ， 是 它把 文 本看作 词袋 ， 但 忽略 了文本 的结构信 息 通 过 区别对待 文本 的不 同部分 来改进基 本 的向量 空 间方 法 ： 于标题 和段 落 首尾 句采用核 心词共 现 的方法 来计算其对 分 类 的作 对
０ 引 言
随着互联 网在全球范 围内的快速发展 ，人们面临 的信息 呈指数增 加。在人们所面 临的信 息 中 ７ ０％以上 是文本信息 ， 因此对 文本信 息的处理技术尤为重要 。分类 是组织和管理信 息 的一个 有效 的手段，将信 息进 行分类可 以方 便人们对信息 的浏 览、 查找 、 使用。文本分类是指根据 文本的 内容 ， 和 由计 算机根据某种 算法， 把文本判 别到预先定义好的类别 ， 即文本
维普资讯
要： 在文本 分类 中 ， 向量 空间模 型（ Ｓ ￣ Ｖ Ｍ）
用 ； 其它部 分 采用基 本的 向量 空间模型 方 法进行计 算 。 这 两部 分的计 算结 果进 行加权 求和 ， 对 对 来综合 判行 了测试 ， 实验结 果表 明改进 的方 法提 高 了分 类的精 确率 、 召回率和 Ｆ 测试值 。 １
到类 别 的 映射 。 目前 ，基 于 机 器 学 习 的英 文 文 本 分 类 已经 取
揭示其 内容 的独立属性 ， 而每个属性都可 以看成是概念空间的
一
个 维数， 些独立属性称 为文本特 征项 ， 这 文本就可 以表示 为
这 些 特 征 项 的 集 合 。 因 此 文 本 就 可 以表 示 成 形 如 ｄ（ｗ； ； －ｔ ｗ －，
一
种改进的基于 ＶＳ 的文本分类算法 Ｍ
张 彰 ， 樊孝 忠
（ 北京理工大学 计算机科 学系，北京 １０８） ００１
摘
的文 本表 示形式 ， 是 它把 文 本看作 词袋 ， 但 忽略 了文本 的结构信 息 通 过 区别对待 文本 的不 同部分 来改进基 本 的向量 空 间方 法 ： 于标题 和段 落 首尾 句采用核 心词共 现 的方法 来计算其对 分 类 的作 对
０ 引 言
随着互联 网在全球范 围内的快速发展 ，人们面临 的信息 呈指数增 加。在人们所面 临的信 息 中 ７ ０％以上 是文本信息 ， 因此对 文本信 息的处理技术尤为重要 。分类 是组织和管理信 息 的一个 有效 的手段，将信 息进 行分类可 以方 便人们对信息 的浏 览、 查找 、 使用。文本分类是指根据 文本的 内容 ， 和 由计 算机根据某种 算法， 把文本判 别到预先定义好的类别 ， 即文本
维普资讯
一种改进的kNN方法及其在文本分类中的应用
ｒ 之外的类别。 词汇 ” 和 ｃ 的共现情况就有 ４ 种，
（ ． ） （ ． ） （ ， ） （ ． ） 用 １ ． ， ｃ ． ＂ ｃ ， Ｃ ． ｃ ， ， ：
征进行处理 ， 依此得到文本分类结果 特征提取 的好坏直 接 关 系到 文 本 分类 结 果 的优 劣 。 目前 ， 特征提取的方法 主要有 ７种 ． 互信息 、 期望交叉 熵 、 息 增 益 、 本 证据 权 、 率 比 、 频 法 以 及 信 文 儿 词
ｐ ｔｆｒ ｒ ｎ ｉ ｒ ｖ ｄ ｍｅ ｈ ｄ ｗｈ ｃ ｓ ｂ ｓ ｄ ｏ ｅ ｔａ ｔ ｉ ｕ ｅ ａ ｓ ｃａ ｉ ｎ ａ ｄ ｃ ｎ ｅ ｔ ｃ ～ ｏ ｃ ｒｉ ｇ ｕ ｏ ｗａ ｄ ａ ｍｐ ｏ ｅ ｔ ｏ ， ｉｈ ｉ ａ ｅ ｎ ｔｘ ｔｒ ｔ ｓｏ ｉｔ ｎ ｏ ｃ ｐ ｂ ｏ ｏ ｃｕｒ ． ｎ
改进方 法。改进方法是基于文本属性关 联和概念 共现等 基础上提 出来的。它实质上 是强 化了文本 中语义链属 性 因子 的作用 ， 修正了次要 因素的 噪声影 响 ． 文本分类结果更加理想 ， 有 的测 试结果证 明了这 ～点 ． 使 已 ｌ 尤其在
测试文本与训练文本集 中的某 文本直观 上较相似时 ， 结果更佳。 ①
关 键 词 ：＿Ｎ； 胜关 联 ； 进 ｋ ； 布分 类 ｋ Ｎ 属 改 文 中 图分 类 号 ： Ｐ ９ ： 文 献 标 识 码 ： ３７ ｒ Ａ
Ａｎ Ｉ ｐ ｏ ｅ —Ｎｅ ｒ ｓ ｉ ｈｂ ｒ Ｓ ｓ ｅ ｎｄ Ｉ ｓ ｍ ｒ ｖ ｄ ｋ— ａ ｅ ｔ Ｎｅｇ ｏ ｙ ｔ ｍ ａ ｔ Ａｐ ｌｃ ｔｏ ｏ Ｔｅ ｔＣｌ ｓ ｉｉ ａ ｉ ｎ ｐ ｉ ａ ｉ ｎ ｔ ｘ ａ ｓ ｆｃ ｔｏ
ＳＵＮ Ｌｉ ｕ ，ＩＡＮＧ ｉ ｏ ｇ ＬＩ ｉｇｍｅ ａ ＺＫ ｈ Ｊ ｎ ， ｎ — ｉ ｄ Ｊ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
２ ｉ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ噪来自特征项产生的根本原因有 ３ 点：
［ ］ ８ ） 增长规则的过程中只考虑特征项的 Ｆ （ １ Ｏ Ｉ Ｌ 值的大小。
在生成规则的开始， Ｆ Ｏ Ｉ Ｌ最大的特征项首先被 选进规则， 如果此时 ｎ ） ， 根据算法要求， 需要 ｒ ≠０ Ｃ（ 个特征项的规则 继续加入特征项， 使得加入后含 ２ 的Ｆ 最大， 以此类推， 直到 ｎ ） 。假定 集ｒ Ｏ Ｉ Ｌ ｒ ＝ ０ Ｃ（ 真特征项集合 ｔ 如果 ｎ ） ， 需 ｒ ≠０ ｓ 已被选入规则， Ｃ（ 中使得 ｎ ） ， 作为候选 要加入一个特征项到 ｒ ｒ ＝０ Ｃ（ ， 伪特征项 ｆ 和稀疏特 的特征项可能是真特征项 ｔ 征项 ｓ ， 如果 Ｆ （ ， ） 或者 Ｆ （ ， ） 比较大， 那 Ｏ Ｉ Ｌ ｔ ｆ Ｏ Ｉ Ｌ ｔ ｓ ｓ ｓ 么就会把伪特征项 ｆ 或者稀疏特征项 ｓ 选入规则。 例如在类 ｃ 中， 首先把特征项 ｃ 选入规则， ｏ ｆ ｆ ｅ ｅ ｏ ｆ ｆ ｅ ｅ 此时 ｎ ） ， 伪特征项 ｅ 就被选入规则， 结 ｒ ｘ ｐ ｅ ｃ ｔ ≠０ Ｃ（ ， ｝ 等这样的规则。 果就出现了｛ ｃ ｏ ｆ ｆ ｅ ｅ ｅ ｘ ｐ ｅ ｃ ｔ （ ） 训练过程停止太慢。 ２ 根据 Ｒ 一条规则 ｒ 生成并且剪枝 Ｉ Ｐ Ｐ Ｅ Ｒ算法， 后， 将删除目前训练集中覆盖该规则的所有文档， 训 练过程的停止条件是本类文档都被删除。到了生成 规则的后期， 所有的真特征项都被选入规则并且随 着文档的删除而删除， 剩下的都是噪音特征项， 此时 如果本类中还有没有被删除的文档， 则需要继续选 择剩下这些特征项， 那么这些噪音特征项有可能单 独作为规则出现， 例如在类 ｉ 中， 出现了｛ ｒ ｏ ｎ ｓ ｔ ｅ ｅ ｌ ｒ ｅ ｝ 这样的伪特征项和｛ ｝ 这样的稀疏特征项作 ｄ ｕ ｃ ｅ ｕ ｓ ｓ 为规则。 （ ） 剪枝条件太严格。 ３ 剪枝的依据是使度量公式 ｐ （ ）－ｎ ） ） ｒ ｒ ? Ｃ（ Ｃ（ （ ） ） ） 最小。对上述公式进行变换， 可以 ｐ ｒ ＋ｎ ｒ Ｃ（ Ｃ（ （ （ ） ） ）＋１ ） ， 剪枝公式只与 得到： １－２ ? ｐ ｒ ? ｎ ｒ Ｃ（ Ｃ（ ） ） 有关， 这是不够全面的。 ｐ ｒ ? ｎ ｒ Ｃ（ Ｃ（
年１ 月 ２ ０ ０ ７ １ Ｎ ｏ ｖ ． ２ ０ ０ ７
— — —一种改进的基于规则学习的 ｉ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ 文本分类算法
袁晓航， 杜小勇
（ 中国人民大学 信息学院，北京 ） １ ０ ０ ８ ７ ２
摘要： 基于规则学习的文本分类算法 Ｒ 易优化、 高效率等特点， 但是当规则所涉及的特征项很 Ｉ Ｐ Ｐ Ｅ Ｒ具有易理解、 多的时候， 上述优点不复存在。基于层次的规则学习算法 ｈ 但其 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ采用了层次架构对 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ进行了改进， 对特征项的过滤仍然有限。针对 Ｒ ， 对规则学习的分类算法进行改 Ｉ Ｐ Ｐ Ｅ Ｒ ｈ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ在规则学习过程中出现的问题， 进， 提出了一种改进的基于规则学习的文本分类算法 ｉ ， 在规则学习的同时进一步过滤噪音特征项。实验 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ 证明， 该方法不但有效地提取了特征项， 生成较少的规则， 提高了算法的准确率和召回率， 而且缩短了生成规则的 时间， 从而改进了规则学习分类算法的性能。 关键词：文本分类； ； ； 层次特征选择； 噪音特征项； 过滤 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ ｈ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ 中图分类号：Ｔ Ｐ ３ ０ １ ． ６ 文献标志码： Ａ
第４ 卷 第１ 期 ２ １ Ｖ ｏ ｌ ． ４ ２ Ｎ ｏ ． １ １
文章编号： （ ） １ ６ ７ １ ９ ３ ５ ２ ２ ０ ０ ７ １ １ ０ ０ ６ ６ ０ ３
山
东
大
学
学
报
（ 理
学
版）
（ ） Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｓ ｈ ａ ｎ ｄ ｏ ｎ ｇ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ Ｎ ａ ｔ ｕ ｒ ａ ｌ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ
很复杂（ 也就是规则所涉及的特征项很多） 的时候， 其优点就不复存在， 而且算法本身的效果也大大下
］ ２ 降［ 。针对上述问题， 文献［ ］ 提出当数据资源规模 ３
很大， 并且存在着一定数量噪音数据的时候， 在调用 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ分类算法之前首先进行特征选择可以改善 算法效果。 特征选择有很多方法， 文献［ ］ 对常用的特征选 ４ 和Ｃ 最有效的结论。 对 择方法进行 比 较 ， 得出Ｉ Ｇ Ｈ Ｉ
收稿日期： ２ ０ ０ ７ ０ ６ ０ ８ 基金项目： 国家自然科学基金资助项目（ ， ） ６ ０ ４ ９ ６ ３ ２ ５ ６ ０ ５ ７ ３ ０ ９ ２ ， 女， 硕士研究生， 主要研究方向为智能信息检索、 数字图书馆个性化推荐系统 ． ：ｘ 作者简介： 袁晓航（ １ ９ ８ １ ） Ｅ ｍ ａ ｉ ｌ ｉ ａ ｏ ｈ ａ ｎ ｇ ｕ ａ ｎ ＠ｒ ｕ ｃ ． ｅ ｄ ｕ ． ｃ ｎ ． －ｙ
数字图书馆中获得较多应用。但是当规则本身变得
０ 引言
互联网上论文资源数量庞大， 专业性强， 传统的 手工分类已经无法适应数字图书馆发展的需要。自 动分类算法， 利用机器学习的方法对散布于网上的 学术资源分类， 是一个非常现实的技术。自动文本
［］ 分类已经有了很多研究， 基于规则的 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ１ 分类 算法具有易理解、 易优化、 高效率等特点， 使得其在
根据数字图书馆通常采用层次分类的特点， 文 献［ ］ 提出了一个新的算法 ｈ ７ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ以改进规则学 习算法 Ｒ ， 该算法运用特征选择方法为不同层 Ｉ Ｐ Ｐ Ｅ Ｒ 次上的类别选出具有代表性的特征集， 过滤掉了部 分噪音特征项， 在一定程度上改善了 Ｒ 。 Ｉ Ｐ Ｐ Ｅ Ｒ ， 但是， ｉ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ ｈ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ对特征项的过滤还很 有限。通过实验发现， 运用传统的特征选择算法过 滤掉一部分特征项， 使得调和均值 Ｆ达到最大时， 生成的规则中还有一些噪音特征项没被过滤掉。例 如在数据集 Ｒ 中， 有关类 ｃ 训练出规 ｅ ｕ ｔ ｅ ｒ ｓ ２ １ ５ ７ ８ ｏ ｆ ｆ ｅ ｅ ｝ ， 明显 ｓ 特征项是噪音特征项， 还 则｛ ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ｓ 需要进一步过滤。同样， 在人民大学数字图书馆经 济类的数据中， 经验” 、 Ｆ ８ １货币类中也生成了如“ “ 德国” 噪音规则。这些噪音特征项在生成的规则中 占有的比例多达 １ 。 ? ３ ， 通过 本文在 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ ｈ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ算法的基础上， 改进生成规则和剪枝规则的条件来对噪音特征项进 行进一步过滤， 提出了一种改进的基于规则学习的 文本分类算法 ｉ 。 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ
２
山
东
大
学
学
报
（ 理
学
版）
第４ 卷 ２
于基于规则的分类方法， 特征集的大小对结果的影
］ ５ 响非常大。当特征集较大， 会造成过渡拟合［ ， 使得
［ ］ ８ 最 大 化， 直到 特征 项， 使 ｒ的 信 息 增 益 Ｆ Ｏ Ｉ Ｌ ） ； （ ） 剪枝规则阶段： 从规则的末尾特征项 ｎ ｒ ＝ ０ ２ Ｃ（
反之， 当特征集较小， 又会造成分类错误 效果下降 ． 过高。因此， 如何选择一个合适的特征集成为算法
］ ６ 。 设计的一个关键问题［
开始， 重复删除直到度量公式（ ）－ ｎ ） ） ｐ ｒ ｒ ? Ｃ（ Ｃ（ （ ） ） ） 达到最大。 ｐ ｒ ＋ｎ ｒ Ｃ（ Ｃ（ 当特征项含有较多噪音 传统的 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ算法， ］ １ 。文献［ ］ 虽然提出对 数据的时候， 效果大大下降［ ７ 数据集做特征选择， 但生成的规则中仍然有很多噪 音特 征 项， 例如类 ｃ 中出现了规则｛ ， ｏ ｆ ｆ ｅ ｅ ｃ ｏ ｆ ｆ ｅ ｅ ｅ ｘ ｝ 等， 为了进一步过滤特征项， 提出了一种改进 ｐ ｅ ｃ ｔ 的基于规则学习的分类算法— ｉ 。 Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ
：ａ ｉ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ ｎｉ ｍ ｐ ｒ ｏ ｖ ｅ ｄｒ ｕ ｌ ｅ ｂ ａ ｓ ｅ ｄｔ ｅ ｘ ｔ ｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ
，Ｄ Ｙ Ｕ Ａ ＮＸ ｉ ａ ｏ ｈ ａ ｎ ｇ ＵＸ ｉ ａ ｏ ｙ ｏ ｎ ｇ
（ ，Ｒ ，Ｂ ，Ｃ ） Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ｅ ｎ ｍ ｉ ｎＵ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｃ ｈ ｉ ｎ ａ ｅ ｉ ｊ ｉ ｎ ｇ １ ０ ０ ８ ７ ２ ｈ ｉ ｎ ａ ：Ｔ ，ｑ ，ａ Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｈ ｅ ｒ ｕ ｌ ｅ ｂ ａ ｓ ｅ ｄ ｔ ｅ ｘ ｔ ｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍＲ Ｉ Ｐ Ｐ Ｅ Ｒｗ ａ ｓ ｓ ｐ ｅ ｃ ｉ ａ ｌ ｉ ｚ ｅ ｄ ｗ ｉ ｔ ｈ ｅ ａ ｓ ｙ ｕ ｎ ｄ ｅ ｒ ｓ ｔ ａ ｎ ｄ ｉ ｎ ｇ ｕ ｉ ｃ ｋ ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ ｎ ｄ ，ｗ ，ｎ ， ｈ ｅ ｎｔ ｈ ｅ ｒ ｕ ｌ ｅ ｒ ｅ ｆ ｅ ｒ ｓ ｔ ｏ ｔ ｏ ｏ ｍ ａ ｎ ｙ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｏ ｔ ｏ ｎ ｌ ｙｗ ｅ ｒ ｅｔ ｈ ｅａ ｂ ｏ ｖ ｅａ ｄ ｖ ａ ｎ ｔ ａ ｇ ｅ ｓ ａ ｐ ｐ ａ ｒ ｅ ｎ ｔ ｌ ｙｗ ｅ ａ ｋ ｅ ｎ ｅ ｄ ｈ ｉ ｇ ｈｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙ ． Ｈ ｏ ｗ ｅ ｖ ｅ ｒ ｂ ｕ ｔ ａ ｌ ｓ ｏ ｔ ｈ ｅ ｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅ ｏ ｆ ｔ ｈ ｅ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｄ ｅ ｃ ｒ ｅ ａ ｓ ｅ ｓ ． Ｔ ｈ ｅ ｈ ｉ ｅ ｒ ａ ｒ ｃ ｈ ｙ ｂ ａ ｓ ｅ ｄ ｈ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒｔ ｈ ｏ ｕ ｇ ｈ ｕ ｓ ｅ ｓ ｈ ｉ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｃ ａ ｎｓ ｔ ｉ ｌ ｌ ｎ ｏ ｔ ｆ ｉ ｌ ｔ ｅ ｒ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｆ ｕ ｌ ｌ ｙ ． Ｔ ｈ ｅ ｎａ ｎｉ ｍ ｐ ｒ ｏ ｖ ｅ ｄｔ ｅ ｘ ｔ ｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｉ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒｗ ａ ｓ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄｔ ｏｓ ｏ ｌ ｖ ｅｔ ｈ ｅｐ ｒ ｏ ｂ ｌ ｅ ｍ ｓ ｉ ｎ ，ｗ ｔ ｈ ｅｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｏ ｆ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒａ ｎ ｄ ｈ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ ｈ ｉ ｃ ｈ ｆ ｉ ｌ ｔ ｅ ｒ ｓ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｍ ｏ ｒ ｅ ｔ ｈ ｏ ｒ ｏ ｕ ｇ ｈ ｌ ｙ ｄ ｕ ｒ ｉ ｎ ｇ ｔ ｈ ｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ． Ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ，ｇ ，ａ ｅ ｎ ｅ ｒ ａ ｔ ｅ ｓ ｆ ｅ ｗ ｅ ｒ ｒ ｕ ｌ ｅ ｓ ｎ ｄｒ ｅ ｄ ｕ ｃ ｅ ｓ ｔ ｈ ｅｔ ｉ ｍ ｅｉ ｎｔ ｈ ｅｇ ｒ ｏ ｗ ｉ ｎ ｇｐ ｒ ｏ ｃ ｅ ｓ ｓ ． Ｔ ｈ ｅ ｒ ｅ ｆ ｏ ｒ ｅｉ ｔ ｉ ｍ ｐ ｒ ｏ ｖ ｅ ｓ ｔ ｈ ａ ｔ ｉ ｔ ｓ ｅ ｌ ｅ ｃ ｔ ｓ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙ ｐ ｒ ｏ ｖ ｅ ｓ ｔ ｈ ｅ ｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅ ｏ ｆ ｔ ｈ ｅ ｒ ｕ ｌ ｅ ｂ ａ ｓ ｅ ｄｔ ｅ ｘ ｔ ｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎ ． ：ｔ ；Ｒ ；ｈ ；ｈ ；ｎ ；ｆ Ｋ ｅ ｙｗ ｏ ｒ ｄ ｓ ｅ ｘ ｔ ｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎ Ｉ Ｐ Ｐ Ｅ Ｒ Ｒ Ｉ Ｐ Ｐ Ｅ Ｒ ｉ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ ｏ ｉ ｓ ｙ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｅ ｔ ｉ ｌ ｔ ｅ ｒ