基于向量空间模型的文本自动分类系统的研究与实现(精)
基于关键词组合向量模型的文本自动分类研究
（ 关键词 ］ 关键 词 组合 向 量 空间 自动 分 类 分类 算 法
近 年 来 以文本 格 式存 储 的海 量信 息 出现 在 ｔ ｅ 、数 字化 ｅｎ ｔ ｒ
３ 词 语 向量 空 间 模 型 的 文本 表示
图 书馆及 公 司的 １ｔ ｎ ｔ ｅ 上 如 何从 这 些浩瀚 的文本 中发现 有价 值 ｎｒ ａ 的 信息 是 信 息 处 理领 域 的重 要 目标 而 文 本 自动 分 类 系统 能 够 在 更 好 地 帮 助 人 们 组 织 及 挖 掘 文 本 信 息 ， 因此 得 到 日益 广 泛 的 关
个 类 别 。本 文 中 所指 的 自动 分 类 是指 对 网页 的 自动 分 类 包 括 网 页 的 自动 归 类 和 自动 聚 类 。
； ：
较遍 丁 公 为 普 的 Ｄ 式 ： ～
√ ， ×ｇ／＋ｏ ： ∑ 、 （， ｏ） Ⅳ‘ ｒ １
其中 ｆ景为 在文 中 权重 矿， 为 在 ， 词ｔ 本 的 而 （ 词ｔ 文本 、 ，
选 取词 作 为特 征 项要 优 于 字 和 词 组 因此 ， 将 文 本 表示 为 向量 空 要
自动 分 类 的 种 类 和 作 用 自动分 类 就是 用 计 算机 系 统 代替 人 工对 文 献 等对 象 进 行分 类
、
间 中的 一个 向量 ， 首先 要 将 文 本 分词 由这 些 词 作 为 向量 的维 数 就 来 表 示 文 本 。词 频 分 为绝 对 词 频 和 相对 词 频 绝 对 词 频 即 使 用 词 在文 本 中 出现 的频 率 表 示 文 本 相对 词 频 为归 一化 的词 频 ， 其计
中 的词 频 Ｎ为训 练 文 本 的总 数 ｎ 为训 练 文本 集 中 出现 ｔ ． 的文 本 教 分 母 为 归一 化 因 子 。 ４ 词 语 向量 空 间模 型 的训 练 方 法 和 分 类 算 法
多层文本分类器的研究及应用
多层文本分类器的研究及应用袁路妍;顾国强;鲍世方【摘要】以解决公安部门犯罪信息文本数据自动分类问题为应用目的,通过对已有多层文本自动分类技术的研究,给出多层文本分类器的过程模型,并对模型中的特征提取方法进行深入研究,提出改进后的特征提取权重计算公式.实验证明,该分类器能够有效解决犯罪信息文本的自动分类问题.%For the application purpose of the public security bureau's crime information text data automatic classification, through researches on existing hierarchical text aulomatic classification technology,a hierarchical text classifier process model is presented. Then the model's feature extraction methods are ihoroughly studied. At last an improved feature extraction weight calculation formula is proposed. Experiments prove that the classifier can effectively solve the automatic classification problem of crime information texts.【期刊名称】《计算机应用与软件》【年(卷),期】2012(029)003【总页数】3页(P139-140,201)【关键词】多层文本分类;向量空间模型;特征提取;分类算法【作者】袁路妍;顾国强;鲍世方【作者单位】东华大学计算机科学与技术学院,上海200051;上海众恒信息产业股份有限公司,上海200042;上海公安高等专科学校,上海200336【正文语种】中文【中图分类】TP180 引言公安系统的案件数据量庞大且种类繁多，同一案件从不同的角度可以归入不同的类别，如交通肇事可以认为是普通交通事故类，也可以属于故意伤人罪，这是因为案件的分类既要考虑动机又要兼顾结果的因素。
基于向量空间模型的中文文本层次分类方法研究
ｒｓ ｅ ｔｖ ｌ ．Ｆ ｎ ｌ ， ｅ ｐ ｒ ｎ ｓ ｌｓ ｓ ｏ ｔ ａ ｈ ｅ ｐ ｒ ａ ｈ，ｐ ｐ ｓ ｄ ｉ ｈ ｓ ｐ ｐ ｒ ｏ ｔ ｅ ｏ ｍｓ ｐａｎ ｏ ｅ ｅ ｃ ｅ ｐ ｃｉｅｙ ｉａｌ ｙ ｘ ｉ ｅ ｍｅ ｔｒ ｕ ｔ ｈ ｗ ｈ ｔｔ ｅ ｎ ｗ ａ ｐ ｃ ｅ ｏ ｏ ｒ ｏ ｅ ｎ ｔ ｉ ａ ， ｕ ｐ ｒ ｒ ｌｉ ｒ ｇ ｎ ｒ ｅ ｆ ｉ ｈｅ ａ ｃ ｉａ ｔ ｏ ｓｗｉ ｍｐ ｏ ｅ ｃ ｕ ａ ｙ ｉｒ ｒｈ ｃ ｍｅｈ ｔ ｉ ｒ ｖ ｄ ａ ｃ ｒ ｃ ． ｌ ｄ ｈ
维普资讯
第２ ６卷 第 ５期
２０ ０ ６年 ５ 月
文 章 编 号 ：０ １— ０ １ ２０ ） ５—１２ ０ １０ ９ ８ （０ ６ ０ １５— ２
计 算机应 用
Ｃｏ ｕｔｒＡｐ ｌ ａｉｎｓ ｍｐ ｅ ｐ ｉ ｔ ｃ ｏ
Ｖ ｌ２ ｏ ５ ｏ ＿ ６ Ｎ ．
Ｈｉｒ ｒ ｈ ｃ ｌｃ ｔｇ ｒｚ ｔ ｎ ｍｅｈ ｄ ｆＣ ｉ ｅｅ ｔｘ ａ ｅ ｎ ｖ ｃｏ ｐ ｃ ｄ ｌ ｅ ａ ｃ ｉａ ａ ｅ ｏ ｉａｉ ｔ ｏ ｓｏ ｈｎ ｓ ｅ ｔｂ ｓ ｄ ｏ ｅ ｔ ｒ ｓ ａ ｅｍｏ ｅ ｏ
ＸＩ ｅ ＨＥ Ｚ ｏ ｇ ｓ ｉ ＡＯ Ｘｕ ， ｈ ｎ —ｈ
ｂｔ ｆ ｔｒ ｓｌ ｔ ｎ ａ ｄ ｃｔ ｏ ｚｔ ｎ ｍ ｔｏ ， ｅ ｅ ｏ ， ｅｔ ｅ Ｄ ａ Ｓｌｃ ｏ Ｆ Ｓ ， ｎｄ ａ ｇｒｈ ｆ ｏ ｅ ｕｅ ｅ ｃｉ ａ ｇｒ ａ ｏ ｅｈｄ ｈ ａ ｅ ｏ ｎ ｅ ｉ ｉ ａ ｎｗ ｍ ｔ ｄ ｈ Ｆ ａ ｒ ｕ －ｅｅｔｎ（ Ｄ ） ａ ａ ｏ ｔ ｏ ｕ ｌ ｉ ｎ ｌ ｉ ｍ
基于向量空间模型的公文分类系统研究与实现
利 用 当前流 行 的平 台技 术 和设计 架构 的高校 办 结果 。
公 系统 已趋 于成 熟 ， 得 了很好 的应用 价值 ， 大程 取 极
度上 实现 了办 公 管 理 的 ｔ动 化 、 息 化 、 ｔ 信 网络 化 要
１ 文 本 分 类 技 术
． 求 ， 而智 能化 程 度 却 较 低 。本 文 针对 办 公 信 息管 １ １ 文本 分类技 术研 究现 状 然 理 的这一 要求 ， 点 研究 了 贝叶 斯 文本 分 类 技 术 在 重
系 统 中 公 文 分 类 的 应 用 。 提 出 了 一 种 基 于 向 量 空 间模 型 的 贝 叶 斯 文 本分 类技 术 并将 其 应 用 到高 校 公 文 智 能 办 公 系 统 的 实 现
中， 给出了详细 的算法流程及设计步骤 ， 最后 给出了示 例的实验 结果 及分析。实验结果表 明， 当训 练集合数 目有 限时 ， 方法 该
Ｒｅ ｅ ｒ ｈ ｎ ｍ ｐ ｅ ｅ ｔ ｔｏ ｆＤｏ ｕｍ ｅ ｔ Ｃｌ ｓ ｉ ｃ ｔｏ ｓ ａ ｃ ａ ｄ Ｉ ｌｍ ｎ ａ ｉ ｎ ｏ ｃ ｎ ａ ｓｆ ａ ｉ ｎ ｉ
Ｓ ｓｅ ｓ ｄ Ｏｎ Ｖ ｅ ｔ ｒ Ｓｐ ｃ ｏ ｌ ｙ ｔ ｍ Ｂａ ｅ ｃｏ ａ ｅ Ｍ ｄｅ
Ｔ Ｏ Ｑ ｕ—ｘａ ｇ Ｙ ｉ Ａ ｉ ｉｎ ， Ｕ Ｊ ｎ—ｋ ， Ｕ Ｊ —ｌ ｎ ｅ Ｔ ｉ ｉ ｇ ａ
（ ａ ｃ ａ ｇ Ｈ ｎ Ｋ ｎ ｎ ｅ ｉ ， ａ ｃａ ｇ Ｊａ ｇ ｉ ３ ０ ３ ｈｎ ） Ｎ ｎｈ ｎ ａ ｇ ｏ ｇ Ｕ ｉ ｒ ｔ Ｎ ｎ ｈ ｎ ， ｉｎ ｘ ３ ０ ６ ，Ｃ ｉａ ｖ ｓｙ
ｉ ｆｒ ｔ ｎ ｔ ｃ ｎ ｌｇ ｎ ｔ ｅ ｏｆ ｅ ｓ ｓｅ ．Ａ ｙ ｓ ｔｘ ｌ ｓ ｉ ｃ ｔ ｎ ｔｃ ｎ ｑ ｅ ｂ ｓ ｄ ｏ ｅ ｔ ｒｓ ａ ｅ ｍｏ ｅ ｓｐ ｔｆｒ ａ ｄ ａ ｄ ｉ ｎｏ ｍａ ｉ ｅ ｈ ｏ ｏ ｙ ｉ ｈ ｆ ｃ ｙ ｔｍｓ ｏ ｉ Ｂａ ｅ ｅ ｔｃａ ｓｆ ａｉ ｅ ｈ ｉｕ ａ ｅ ｎ ｖ ｃｏ ｐ ｃ ｄ ｌｉ ｕ ｏ ｗ ｒ ｎ ｓ ｉ ｏ
基于向量空间模型的文本分类研究
目录1 绪论 (1)1.1 研究意义 (1)1.2 文本分类的研究现状 (2)1.3 论文的研究内容及组织结构 (5)2 文本分类相关技术 (6)2.1 文本分类过程 (6)2.2 文本预处理 (7)2.3 特征降维 (8)2.4 文本表示 (9)2.5 分类算法 (11)2.6 分类性能的评价 (11)2.6.1 文本分类语料库与测试方法 (11)2.6.2 评价指标 (12)2.7 本章小结 (13)3 特征选择方法研究 (14)3.1 几种常用的特征选择方法 (14)3.1.1 文档频率 (14)3.1.2 互信息 (14)3.1.3 信息增益 (15)3.1.4 统计量CHI (16)2χ3.2 改进的互信息特征选择方法 (16)3.3 特征选择方法的实验分析 (17)3.4 本章小结 (21)4 基于蚁群聚类的文本分类算法 (23)4.1 几种常用文本分类算法 (23)4.1.1 类中心向量算法 (23)4.1.2 朴素贝叶斯算法 (24)4.1.3 支持向量机 (25)4.1.4 KNN 算法 (29)4.2 蚁群聚类 (31)4.2.1 聚类 (31)4.2.2蚁群聚类 (32)4.3 基于蚁群聚类的KNN分类算法 (35)4.4 分类算法的实验分析 (37)4.5 本章小结 (42)5 文本分类系统的设计与实现 (43)5.1 文本分类系统总体设计 (43)5.2 系统实现 (43)5.2.1训练模块 (44)5.2.2分类模块 (47)5.3 本章小结 (49)6 全文总结及未来工作展望 (50)6.1 全文总结 (50)6.2 工作展望 (50)参考文献 (52)致谢 (55)1 绪论1.1 研究意义随着计算机技术和网络技术的飞速发展，包括文本信息在内的各种信息资源呈现爆炸式增长。
面对如此庞大而且急剧膨胀的信息海洋，如何高效地组织和管理这些信息，并快速、准确、全面地从中搜索到用户所需要的信息是当前信息科学与技术领域面临的一大挑战[1]。
面向企业应用的文本自动分类系统的设计和实现
ｔｄ Ｔ ｅ ｃ ｔ ａ ｃ ｎ ｌｇｅ ｏ ｃ ｒ ｉ ｇＶＳ ， ｒ ｅ ｔａ ｔ ｎ， ｎ ｉｅｂ ｅ ａ ｉｇ ｍｏ ｅ ｒ ｉ ｕ ｓ ｄ Ｔ ｅｅ ｐ ｒ ｎａ ｅ ｕｔ ｒ ｒ ｓ ｅ ． ｈ ｒ ｉ ｌ ｅ ｈ ｏｏ ｉ ｓｃ ｎ ｅ ｎ ｎ Ｍ ｔ ｍ ｘｒ ｃｉ ａ ｄ Ｎａｖ ｙ ｓｌ ｒ ｎ ｄ ｌａｅ ｄ ｓ ｓｅ ． ｈ ｘ ｅ ｉ ｉ ｃ ｔ ｅ ｏ ｅｎ ｃ ｍｅ ｔ ｒ ｓ ｌ ａ ｅｐ ｅ — ｌ ｓ ｅ ｔｄ ｎｅ ． Ｋｅ ｗｏ ｄ ｙ ｒｓ Ｄｏ ｕ ｎ ｌ ｓ ｉ ｉｇ Ｖ Ｍ Ｔ ｒ ｅ ｔ ｃ ｉｎ Ｎ ＇ ｅ ｂ ｅ ｅ ｒ ｉ ｇ ｍｏ ｅ ｃ ｍｅ ｔｃａ ｓｆ ｎ Ｓ ｙ ｅｍ ｘｒ ｔ ａ＂ ｙ ｓｌ ａ ｎ ｄ ｌ ａ ｏ ｌ ｖ ｎ
面 向企 业 应 用 的 文 本 自动分 类 系统 的设 计 和 实 现
黄 浩 王英林
（ 上海交通大学计算机科学与工程 系 上海 ２ ０ ３ ） ０ ０ ０
摘
要
讲述 了为单个企 业提供 文本 自动分 类服 务的系统的设计和 实现方法。对 系统 中所 涉及 的关键 技术包括 向量 空间模 型、
图 １ 系统的整体架构
１ 系统 架构
系统 的整体结构如 图 １所示 。在 系统 中 ， 业用 户恨 据 自 企 己的需要去构建 自己 的分类 体系 。针对 预先 建好 的 每一个 类
别， 用户再通过两种方 式来 填充样本 库 。填允 样本 库的方 式请 参见 ２ １ 企业兴趣 的建立 与维护。
维普资讯
第２ 第 １ ４卷 １期
２０ ０ ７年 １ １月
计 算机应 用 与软件
Ｃｏ ｕ ｅ ｐ ｉ ａｉｎｓａ ｄ Ｓ ｆｗａ ｅ ｍｐ ｔ ｒＡｐ ｌｃ ｔｏ ｎ ｏｔ ｒ
利用SVM进行文本分类并研究特征选择对文本分类的影响
利用SVM进行文本分类并研究特征选择对文本分类的影响SVM（支持向量机）是一种常用于文本分类的机器学习算法。
它的主要思想是将文本数据映射到高维向量空间，并在此空间中构建一个超平面来实现分类。
特征选择是在特定的文本分类任务中选择最相关特征的过程。
本文将研究特征选择对SVM文本分类的影响。
一、SVM文本分类的基本步骤SVM文本分类的基本步骤包括数据预处理、特征提取、特征选择和模型训练四个主要阶段。
1.数据预处理：这一步骤包括去除文本中的停用词、标点符号等无用信息，同时进行词干化和词向量化处理，将文本转换为向量表示。
2.特征提取：常用的特征提取方法有词袋模型和TF-IDF模型。
词袋模型统计文档中每个词的出现频率，将其构成一个向量。
TF-IDF模型基于词袋模型，加入了对词频的权重调整，更准确地反映了词对文档的重要性。
3.特征选择：特征选择是从所有特征中选择最有用的特征，以提高分类器的性能。
常用的特征选择方法有信息增益、卡方检验和互信息等。
4.模型训练：最后，使用选择的特征和标注的训练集来训练SVM分类器，通过调整超参数，如正则化参数C和核函数类型等，来优化模型的性能。
特征选择在SVM文本分类中起着至关重要的作用，它能够减少特征维度，提高分类效果。
以下是特征选择对文本分类的影响：1.维度减少：文本数据往往具有高维度，而很多特征无关或冗余。
通过特征选择可以减少特征维度，消除冗余信息，提高计算效率。
2.加快训练速度：特征选择可以减少训练样本的数量，从而缩短SVM 模型的训练时间。
特征选择能够剔除一些对分类任务无关的特征，使得模型更快速地收敛。
3.提高分类性能：特征选择有助于找到与分类任务最相关的特征，去除冗余和噪声，从而提高分类器的泛化能力和分类性能。
4.解释性：选择最相关的特征可以增加对分类结果的可解释性。
通过特征选择，我们可以更好地理解哪些特征对分类有贡献，有助于进一步分析文本数据的规律和特点。
三、特征选择方法1.信息增益：信息增益是通过比较每个特征与分类结果之间的关联性来衡量特征的重要性。
一种基于关键向量的文本分类模型
Ａ ｅ ｔｃ ａ ｓｆｃ ｔｏ ｏ ｅ ａ ｅ ｎ ｋ Ｙ ｖ ｃ ｏ ｔ ｘ ｌ ｓ ｉ ａ ｉ ｎ ｍ ｄ ｌｂ ｓ ｄ ｏ ｅ ｅ ｔ ｒ ｉ
Ｚ ＨＡ０ ｏ． ＤＩ Ｂ ＮＧ ａｆ Ｈｕ —ｕ
（ｃ ｏｌ ｆ ｏ ｕｅ ｃｅｃ ｎ ｅｈ ｏ ｇ ， ａｂ ｎｖｒ ｔ ｏ ｉ ｃ ｎ ｅｈ ｏ ｇ ， ａｂ ５００ Ｃ ｉａ Ｓｈ ｏ ｏ ｍｐ ｔ Ｓｉ ｅａｄ Ｔ ｃｎｌ ｙ Ｈ ｒｉ Ｕ ｉｅｓｙｆ Ｓ ｅ ｅａｄＴ ｃｎ ｌ ｙ Ｈ ｒｉ １０８ ， ｈｎ ） Ｃ ｒ ｎ ｏ ｎ ｉ ｃ ｎ ｏ ｎ
Ｋｅ ｒ ｓ ｄ ｔ ｎ ｎ ；ｔｘ ｌｓ ｉ ｃ ｔ ｎ；ｖ ｃ ｒｓ ａ ｅ ｍｏ ｅ ｙ ｗｏ ｄ ： ａａ ｍｉｉ ｇ ｅ ｔ ａ ｓ ａｉ ｃ ｉ ｆ ｏ ｅｔ ｐ ｃ ｄ ｌ ｏ
０ 引言
上世纪 ９ ０年代 以来 ， 联 网技 术得 到了快 速 的 互
向量的形式投影到该空 间中， 搜 索 引 擎 、 息 推 文 信
重） 向量在每一维上的分量对应该特征在这篇文本
中 的权 重 。
１６ 年 ，ｏ ｒ和 Ｈ ｒ提出 了基于 向量空 间模 ９８ Ｃｖ ｅ ｔ ａ ｔ
型的 （ —ｅｒｓＮ ｉ ｂｒ ＫＮ ａ ｔ ｅ ｈｏ， ｅ ｇ ） 法 ， 种 算 法 首 先 算 这
维普资讯
２０ 年ｇ ２ ０７ １期
中图分类号 ：Ｐ ８ Ｔ １１ 文献标识码 ： Ａ 文章编号 ：０９ ５２ ２０ ）２— １２— ３ １０ —２５ （０７ １ ０２ ０
一
种 基 于关 键 向量 的文本 分 类 模 型
赵 博 ，丁华福
（ 哈尔滨理工大学计算机科学与技术学院，哈尔滨 １０８ ） ５００
３ ～５ ， ％ ％）然后 用支持 向量集 学 习得 到新 知识 。同
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于向量空间模型的文本自动分类系统的研究与实现庞剑锋,卜东波,白硕(中国科学院计算技术研究所,北京100080摘要:随着网络信息的迅猛发展,信息处理已经成为人们获取有用信息不可缺少的工具。
文本自动分类系统是信息处理的重要研究方向,它是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。
对文本分类中所涉及的关键技术,包括向量空间模型、特征提取、机器学习方法等进行了研究和探讨,并且提出了基于向量空间模型的文本分类系统的结构,并给出了评估方法和实验结果。
关键词:文本分类;中文信息处理;向量空间模型中图分类号:TP391文献标识码:A文章编号:100123695(20010920023204R esearch and Implementation of Text C ategorizationSystem B ased on VSMPANGJian2feng,BU D ong2bo,BAI Shuo(Institute o f Computing Technology,Chinese Academy o fSciences,Beijing100080,ChinaAbstract:In recent years,in formation processing turns m ore and m ore im portant for us to get useful in formation.T ext categ oriza2 tion,the automated assigning of natural language texts to predefined categ ories based on their contents,is a task of increasing im por2 tance.This paper gives a research to several key techniques about text categ orization,including vector space m odel,feature extrac2 tion,machine learning.It als o describes a text categ orization m odel based on VS M,and gives the evaluations and results.K ey w ords:T ext categ orization;Chinese in formation processing;Vector space m odel1引言20世纪90年代以来,Internet以惊人的速度发展起来,它容纳了海量的各种类型的原始信息,包括文本信息、声音信息、图象信息等等。
如何在浩若烟海而又纷繁芜杂的文本中掌握最有效的信息始终是信息处理的一大目标。
基于人工智能技术的文本分类系统能依据文本的语义将大量的文本自动分门别类,从而更好地帮助人们把握文本信息。
近年来,文本分类技术已经逐渐与搜索引擎、信息推送、信息过滤等信息处理技术相结合,有效地提高了信息服务的质量。
2问题描述211系统任务简单地说,文本分类系统的任务是:在给定的分类体系下,根据文本的内容自动地确定文本关联的类别。
从数学角度来看,文本分类是一个映射的过程,它将未标明类别的文本映射到已有的类别中。
该映射可以是一一映射,也可以是一对多的映射,因为通常一篇文本可以同多个类别相关联,用数学公式表示如下: f:A→B其中,A为待分类的文本集合,B为分类体系中的类别集合。
文本分类的映射规则是系统根据已经掌握的每类若干样本的数据信息,总结出分类的规律性而建立的判别公式和判别规则;然后在遇到新文本时,根据总结出的判别规则,确定文本相关的类别。
212评估方法因为文本分类从根本上说是一个映射过程,所以评估文本分类系统的标志是映射的准确程度和映射的速度。
映射的速度取决于映射规则的复杂程度,而评估映射准确程度的参照物是通过专家思考判断后对文本的分类结果(这里假设人工分类完全正确并且排除个人思维差异的因素。
与人工分类结果越相近,分类的准确程度就越高。
这里隐含了评估文本分类系统的两个指标:准确率和查全率。
准确率是所有判断的文本中与人工分类结果吻合的文本所占的比率,其数学公式表示如下:准确率(Precision=分类的正确文本数实际分类的文本数查全率是人工分类结果应有的文本中分类系统吻合的文本所占的比率,其数学公式表示如下:查全率(Recall=分类的正确文本数应有文本数准确率和查全率反映了分类质量的两个不同方面,两者必须综合考虑,不可偏废。
因此,存在一种新收稿日期:2000212221的评估指标—F1测试值,其数学公式如下:F1测试值=准确率・查全率・2准确率+查全率另外,有微平均和宏平均两种计算准确率、查全率和F1值的方法。
微平均:计算每一类的准确率、查全率和F1值。
宏平均:计算全部类的准确率、查全率和F1值。
所有文本分类系统的目标都是使文本分类过程更准确,更快速。
3关键技术311文本的表示计算机并不具有人类的智能,人在阅读文章后,根据自身的理解能力可以产生对文章内容的模糊认识;而计算机并不能轻易地“读懂”文章,从根本上说,它只认识0和1,所以必须将文本转换为计算机可以识别的格式。
根据“贝叶斯假设”,假定组成文本的字或词在确定文本类别的作用上相互独立,这样,可以就使用文本中出现的字或词的集合来代替文本。
不言而喻,这将丢失大量关于文章内容的信息,但是这种假设可以使文本的表示和处理形式化,并且可以在文本分类中取得较好的效果。
目前,在信息处理方向上,文本的表示主要采用向量空间模型(VS M。
向量空间模型的基本思想是以向量来表示文本:(W1,W2,W3,…,Wn,其中Wi为第i个特征项的权重。
那么选取什么作为特征项呢?一般可以选择字、词或词组。
根据实验结果,普遍认为选取词作为特征项要优于字和词组,因此,要将文本表示为向量空间中的一个向量,就首先要将文本分词,由这些词作为向量的维数来表示文本。
最初的向量表示完全是0,1形式,即:如果文本中出现了该词,那么文本向量的该维为1,否则为0。
这种方法无法体现这个词在文本中的作用程度,所以0,1逐渐被更精确的词频代替,词频分为绝对词频和相对词频。
绝对词频,即使用词在文本中出现的频率表示文本;相对词频为归一化的词频,其计算方法主要运用TF2I DF公式。
目前存在多种TF2I DF公式,我们在系统中采用了一种比较普遍的TF2I DF公式:W(t,d=tf(t,d×log(N/n t+0101∑t∈d[tf(t,d×log(N/n t+0101]2其中,W(t,d为词t在文本d中的权重,而tf(t,d为词t 在文本d中的词频,N为训练文本的总数,n t为训练文本集中出现t的文本数,分母为归一化因子。
另外还存在其它的TF2I DF公式,例如:W(t,d=(1+log2tf(t,d×log2(N/n t∑t∈d[1+log2tf(t,d×log2(N/n t]2该式中参数的含义与上式相同。
文本经过分词程序分词后,首先去除停用词,合并数字和人名等词汇;然后统计词频,最终表示为上面描述的向量。
312特征项的抽取构成文本的词汇,数量是相当大的,所以,表示文本的向量空间的维数也相当大,可以达到几万维。
因此我们需要进行维数压缩的工作,这样做的目的主要有两个:第一,为了提高程序的效率,提高运行速度;第二,所有几万个词汇对文本分类的意义是不同的,一些通用的、各个类别都普遍存在的词汇对分类的贡献小;在某特定类中出现比重大而在其它类中出现比重小的词汇对文本分类的贡献大。
为了提高分类精度,对于每一类,我们应去除那些表现力不强的词汇,筛选出针对该类的特征项集合,存在多种筛选特征项的算法,如下所列:(1根据词和类别的互信息量判断(2根据词熵判断(3根据K L距离判断在我们的系统中采用了词和类别的互信息量进行特征项抽取的判断标准,其算法过程如下:①初始情况下,该特征项集合包含所有该类中出现的词。
②对于每个词,计算词和类别的互信息量logP(W|C jP(W其中,P(W|Cj=1+∑|D|i=1N(W,d i|V|+∑|V|s=1∑|D|i=1N(W s,d iP(W|C j为W在C j中出现的比重,|D|为该类的训练文本数,N(W,d i为词W在d i中的词频,|V|为总词数,∑|V|s=1∑|D|i=1N(W s,d i为该类所有词的词频和。
而P(W同上面的计算公式相同,只是计算词在所有训练文本中的比重,其中,|D|为全体训练文本数。
③对于该类中所有的词,依据上面计算的互信息量排序。
④抽取一定数量的词作为特征项。
具体需要抽取多少维的特征项,目前无很好的解决方法,一般采用先定初始值,然后根据实验测试和统计结果确定最佳值。
一般初始值定在几千左右。
⑤将每类中所有的训练文本,根据抽取的特征项进行向量维数压缩,精简向量表示。
其它抽取特征项的算法,除判断函数上有所差别外,主要过程类似。
313训练方法与分类算法训练方法和分类算法是分类系统的核心部分,目前存在多种基于向量空间模型的训练算法和分类算法,例如,支持向量机算法、神经网络方法、最大平均熵方法、最近K邻居方法和贝叶斯方法等等。
以下具体介绍三种分类算法:(1简单向量距离分类法该方法的分类思路十分简单,根据算术平均为每类文本集生成一个代表该类的中心向量;然后在新文本来到时,确定新文本向量,计算该向量与每类中心向量间的距离(相似度;最后判定文本属于与文本距离最近的类。
具体步骤如下:①计算每类文本集的中心向量;计算方法为所有训练文本向量简单的算术平均。
②新文本到来后分词,将文本表示为特征向量。
③计算新文本特征向量和每类中心向量间的相似度,公式为:S im(d i,d j=∑Mk=1W ik×W jk (∑Mk=1W2ik(∑Mk=1W2jk其中,d i为新文本的特征向量,d j为第j类的中心向量,M为特征向量的维数,W k 为向量的第K维。
④比较每类中心向量与新文本的相似度,将文本分到相似度最大的那个类别中。
(2贝叶斯算法该算法的基本思路是计算文本属于类别的概率。
文本属于类别的几率等于文本中每个词属于类别的几率的综合表达式,具体算法步骤如下:①(ω1,ω2,ω3,…,ωn,其中,W k=P(W k|C j=1+∑|D|i=1N(W k,d i|V|+∑|V|s=1∑|D|i=1N(W s,d i计算公式与计算互信息量的公式相同。
②在新文本到达时,根据特征词分词,然后按下面的公式计算该文本d i属于类C j的几率:P(C j|d i・^θ=P(C j|^θПn k=1P(W k|C j;^θN(W k,d i∑|C|r=1P(C r|^θПn k=1P(W k|C r;^θN(W k,d i其中,P(C j|^θ=C j 训练文档数总训练文档数P(C r|^θ为相似含义,|C|为类的总数,N(W k,d i为W k在d i中的词频,n为特征词总数。