基于向量空间模型的中文文本层次分类方法研究
基于张量空间模型的中文文本分类
Hale Waihona Puke 文本分 类是 文 本挖 掘 的一 个重 要 内容 ， 泛 广
应用 于信息 检索 、 闻 即时分 类 、 新 文档管 理 系统及 垃圾 邮件判 定等领 域 。文本分 类 的任务 是按 照预 先 定义 的主 题类 别 ， 文 档集 合 中 的每个 文 档 确 为 定 一个类 别 。特征 表示 是文本 分类 的主 要步骤 之
Ｈ Ｅ ｅ 。 ＨＵ ｅ ｇａ Ｗ ｉ Ｘｕ — ｎｇ，
ＸＩ Ｆｅ Ｅ ｉ
（ ｈ ｏ ｆＣｏ ｐ ｔｒａ ｄＩ ｆ ｒ ｔ ｎ，Ｈ ｅｅ Ｕｎｖ ｒｉｙｏ ｃ ｎ ｌｇ Ｓｃ ｏ ｌｏ ｍ ｕ ｅ ｎ ｎ ｏ ｍａｉ ｏ ｆｉ ｉｅ ｓｔ ｆＴｅ ｈ ｏｏ ｙ，Ｈｅｅ ３ ０ ，Ｃｈｎ ） ｆｉ２ ０ ０９ ｉａ
ｔ ｎ ｌ ｅ ｔ ｒ ｓ ａ ｅ ｍｏ ｅ． Ｉ ｓ ｓ ｔ ｅ ｔ ｒ ｅ ｏ ｄ ｒ ｔ ｎ ｏ ｏ ｅ ｐ ｅ ｓ ｔ ｅ ｔ ｘ ｅ ｓ ｎ ｘ ａ ｄ ｈ — ｉ ａ ｃ ｏ ｐ ｃ ｄ １ ｔ ｕ ｅ ｈ ｈ ｅ — ｒ ｅ ｅ ｓ ｒ ｔ ｘ ｒ ｓ ｈ ｅ ｔｓ ｔ ，ａ ｄ ｅ ｐ ｎ ｓ ｔ ｅ ｋ ｏ ｖ
第３ ３卷 第 １ ２期
２］ ０ ０年 ｌ ２月
合肥 工 业 大 学 学报 （ 自然科 学版 ）
Ｊ ＯＵＲＮＡＩ ＯＦ ＨＥＦＥＩＵＮＩ ＶＥＲＳ ＴＹ Ｉ ＯＦ ＴＥＣＨＮＯＩ ， ＯＧＹ
Ｖ ｏ ． ３ Ｎｏ １ １３ ． ２
Ｄ ｅ ． ２０ Ｏ ｅ １
Ｄ ｉ１ ． ９ ９ ｊｉｓ． ０ ３５ ６ ． ０ ０ １ ． １ ｏ ：０ ３ ６ ／．ｓｎ １ ０ —０ ０ ２ １ ． ２ ０ １
向量空间方法在自然语言处理中的应用
向量空间方法在自然语言处理中的应用自然语言处理(Natural Language Processing，简称NLP)是计算机科学领域重要的研究方向之一，其旨在让计算机能够理解人类语言并作出相应反应。
NLP的应用场景极为广泛，如搜索引擎、智能客服、机器翻译、情感分析等。
近年来，向量空间方法在NLP领域中得到了广泛应用，本文将介绍向量空间方法在NLP中的应用。
一、向量空间模型向量空间模型(Vector Space Model, VSM)是一种将文本表示为向量的方法。
在VSM中，文本被表示为一个向量空间中的点，而每个单词则被表示为向量空间中的向量。
这些向量可以通过词频统计来构建，向量的每一维表示一个词在文档中出现的频率。
基于这种表示方式，我们可以利用向量进行文本之间的相似度比较、分类等任务。
二、词向量词向量(Word Embedding)是指将单词映射为一个向量的方法。
与VSM不同的是，词向量不再是稀疏向量，而是稠密向量。
这种表示方式不仅能够向量化单个单词，还可以提取整个句子的向量表示。
近年来，由于其在NLP领域中的出色表现，词向量成为了NLP的热门话题。
有许多方法可以生成词向量，其中比较流行的是基于神经网络的方法，如Word2vec、GloVe等。
这些方法利用神经网络模型对单词进行编码，并输出一个低维度的向量作为单词的词向量。
这种方法可以使得语义上相似的单词具有相似的向量表示。
三、文本分类文本分类是一项重要的NLP任务，其旨在给定一个文本，将其分配到一个预定义的类别中。
向量空间方法在文本分类中的应用极为广泛。
在该方法中，文本可以被看作是词向量的线性组合，而分类则可以被看作是在词向量空间中找到最近邻的标签向量。
这种方法称为K最近邻(K-Nearest Neighbor，KNN)分类法。
通过KNN分类法，我们可以解决许多文本分类问题，如垃圾邮件分类、情感分析等。
在SVM、决策树等其他分类方法中，向量空间方法也往往被广泛使用。
基于LPP和Rocchio的文本分类方法
基于LPP和Rocchio的文本分类方法提要：支持向量机（SVM）是最常用的文本分类算法之一，但文本特征空间维数巨大的问题会影响分类的效果。
为此，提出了一种提高SVM分类性能的方法。
本文利用LPP算法对特征空间的维数进行降维，然后用SVM算法进行分类。
实验结果证明，该算法能够有效地提高分类的准确率。
关键词：Rocchio算法；LPP算法；文本分类引言随着互联网的快速增长，信息资源也飞速的增多，形式也多种多样，其中文本占大多数。
那么怎样从大量的文本信息中搜索到自己想要的信息[1]，就成为了人们关注的焦点。
文本分类技术在信息检索中起着重要的作用，因此，文本分类技术的成为了研究的对象。
本文是对特征维数在利用互信息进行特征提取的基础上，然后采用LPP进行降维，从而提高了Rocchio分类器的分类性能。
1.Rocchio算法Rocchio算法[2]又称为类中心最近距离判别算法，是基于向量空间模型和最小距离的算法，最早是由Hull提出来的，它是通过信息检索中用来计算“询问”与文本间的关联程度Rocchio公式改造而来的。
由于Rocchio分类器非常的直观和简单，使得它广泛应用于文本分类领域中。
Rocchio算法的训练过程的目的是获得所有类别的中心向量，分类阶段是计算测试集文本与每一个类别中心向量的相似度，相似度最大的类别就是测试集文本所属的类别。
Rocchio算法对于类间距离较大而类内距离较小的类别分布情况能达到较好的分类效果。
这种算法计算简单、迅速，因此采用它有助于节省时间，提高效率。
其计算类中心向量Oj公式为：其中，Nj表示第Cj类中文本的总数，Yij表示类别Cj中的第i个文本向量。
向量相似度的度量方法有夹角余弦、向量内积、欧氏距离等，本文采用的是夹角余弦的方法，即总的来说，Rocchio算法分类原理简单，且在进行训练和分类时计算量也相对较小，分类速度较快。
2.LPP算法LPP算法具有保持数据集的局部非线性流行结构信息的能力，计算简单，处理速度快等特点，利用该算法可以大大减少参与比较的向量文本的数目，其基本思想是通过原始空间中离得近的点在降维后的低维空间中也保持较近，因此能保留原始数据的局部结构。
中文文本数据分类研究
上海师范大学硕士学位论文中文文本数据分类研究姓名：***申请学位级别：硕士专业：计算机应用技术指导教师：张功镀;吴海涛20040501坶帅托人学颂ｌ：学位论义中文义．牟＝数据分类研究摘要随着信息技术的不断发展，特别是Ｉｎｔｅｒｎｅｔ应用的普及，网上信息成指数级增长，如何自动处理这些海量的信息，有效的保留大的文本集合成为了目前重要的研究课题。
对文本进行有效管理方法之一就是将它们进行系统的分类，即文本数据分类。
文本数据分类是一项重要的智能信息处理技术，是文本检索技术的基础，在新闻机构分类、电子会议、电子邮件自动分类和信息过滤等方面极具应用价值。
文本数据分类在传统的情报检索、网站索引体系结构的建立和ＷＥＢ信息检索等方面也占有重要地位。
文本数据分类以文本挖掘技术为基础与核心，是近年来数据挖掘和网络挖掘领域当中的一个研究热点。
本论文介绍了中文文本数据分类的信息处理基础、向量空间模型，探讨了自动分词技术，详细分析多种文本特征选择算法和贝叶斯文本数据分类模型，本论文通过大量实验深入研究了多种文本特征选择算法：互信息ＭＩ（Ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ），信息增益（ＩｎｆｏｒｍａｔｉｏｎＧａｉｎ），Ｘ２估计，文本证据权，并对互信息进行了改进。
鉴于朴素贝叶斯的分类效果不佳，本论文又提出将机器学习中的Ｂｏｏｓｔｉｎｇ思想结合到朴素贝叶斯的分类模型中，对朴素贝叶斯模型进行提升，实验证明，改进的互信息和给合了Ｂｏｏｓｔｉｎｇ思想的朴素贝叶斯分类模型均产生良好的分类效果一分准率、分全率及Ｆ１值。
戈踺词：文本数据分类，特征选择，向量空间模型，自动分词，朴素贝叶斯海帅范人学砸Ｉ：学位论文中文文本数据分类埘究ＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙａｎｄｉｍｐｒｏｖｅｍｅｎｔｏｆＩｎｔｅｒｎｅｔａｐｐｌｉｃａｔｉｏｎ，ｉｎｆｏｒｍａｔｉｏｎｏｎｉｎｔｅｒｎｅｔｅｘｐｏｎｅｎｔｉａｌｌｙｉｎｃｒｅａｓｅｄ，ｉｔｗａｓａｎｉｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈｓｕｂｊｅｃｔｔｏｄｅａｌｗｉｔｈｌａｒｇｅｎｕｍｂｅｒｓｏｆｉｎｆｏｒｍａｔｉｏｎａｎｄｔｏｓｔｏｒｅｂｉｇｔｅｘｔｓｅｔａｕｔｏｍａｔｉｃａｌｌｙ．Ｏｎｅｏｆｅｆｆｅｃｔｉｖｅｍｅｔｈｏｄｔｏｍａｎａｇｅｍｅｎｔｔｅｘｔｓｉｓｔｏｃｌａｓｓｉｆｙｔｈｅｍ，ａｌｓｏｃａｌｌｅｄｔｅｘｔｃｉａｓｓｉ矗ｃａｔｉｏｎ．Ａｕｔｏｍａｔｉｃｔｅｘｔｓｃｌａｓｓｉｆｉｃａｔｉｏｎｉｓａｎｉｎｔｅｌｌｉｇｅｎｔｔｅｃｈｎｏｌｏｇｙｏｆｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇ，ａｎｄｔｈｅｆｏｕｎｄａｔｉｏｎｏｆｔｅｘｔｒｅｔｒｉｅｖａｌ，ｗｈｉｃｈａｐｐｌｉｅｄｔｏｎｅｗｓｃａｔｅｇｏｒｉｚａｔｉｏｎ，ｅｌｅｃｔｒｏｎｉｃｃｏｎｆｅｒｅｎｃｅ，ｅ－ｍａｉｌｃａｔｅｇｏｒｉｚａｔｉｏｎａｎｄｉｎｆｏｒｍａｔｉｏｎｆｉｌｔｅｒｉｎｇｅｒｅ．Ａｕｔｏｍａｔｉｃｔｅｘｔｓｃｌａｓｓｉｆｉｃａｔｉｏｎｐｌａｙｓａｎｉｍｐｏｒｔａｎｔｒｏｌｅｉｎｔｒａｄｉｔｉｏｎａｌｉｎｔｅｌｌｉｇｅｎｃｅｒｅｔｒｉｅｖａｌ，ｆｏｕｎｄａｔｉｏｎｏｆｗｅｂｉｎｄｅｘａｒｃｈｉｔｅｃｔｕｒｅ，ｗｅｂｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ，ａｎｄＳＯｏｎ．Ｂａｓｅｄｏｎｗｅｂｍｉｎｉｎｇｔｅｃｈｎｏｌｏｇｙ，ａｕｔｏｍａｔｉｃｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｈａｓｂｅｃｏｍｅａｈｏｔｒｅｓｅａｒｃｈａｒｅａｉｎｔｈｅｆｉｅｌｄｏｆｄａｔａｍｉｎｉｎｇａｎｄｎｅｔｍｉｎｉｎｇ．ＴｈｉｓｔｈｅｓｉｓｉｎｔｒｏｄｕｃｅｄｔｈｅｔｅｃｈｎｉｃａｌｆｏｕｎｄａｔｉｏｎｏｆＣｈｉｎｅｓｅｔｅｘｔｓｃｌａｓｓｉｆｉｃａｔｉｏｎ，ＶｅｃｔｏｒＳｐａｃｅＭｏｄｅｌ，ａｎｄｄｉｓｃｕｓｓｅｄＣｈｉｎｅｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ，ａｎａｌｙｚｅｄｍａｎｙｔｅｘｔｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｓａｎｄＢａｙｅｓｃａｔｅｇｏｒｉｚａｔｉｏｎｍｏｄｅｌ．Ｗｉｔｈａｌｏｔｏｆｅｘｐｅｒｉｍｅｎｔｓ，ｔｈｅｔｈｅｓｉｓｄｅｅｐｌｙｒｅｓｅａｒｃｈｅｄａｎｄｅｖａｌｕａｔｅｄｍａｎｙｔｅｘｔｓｆｅａｔｕｒｅｓｃｌｃｃｔｉｏｎａｌｇｏｒｉｔｈｍｓｕｃｈａｓＭｕｔｕａｌＩｎｆｏｒｍａｔｉｏｎ，ＩｎｆｏｒｍａｔｉｏｎＧａｉｎ，Ｃｈｉ—ｓｑｕａｒｅｅｖａｌｕａｔｉｏｎ，ＷｅｉｉｇｈｔｏｆＥｖｉｄｅｎｃｅｆｏｒＴｅｘｔ．ＴｈｅｔｈｅｓｉｓａｌｓｏｄｉｄａｎｉｍｐｒｏｖｅｍｅｎｔｏｎＭｕｔｕａｌＩｎｆｏｒｍａｔｉｏｎ．ＢｅｃａｕｓｅｏｆｉｎｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆＮａ＇ｆｖｅＢａｙｅｓｍｏｄｅｌｆｏｒｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｔｈｉｓｔｈｅｓｉｓｐｒｏｐｏｓｅｄｉｎｔｅｇｒａｔｉｎｇＢｏｏｓｔｉｎｇｔｈｅｏｒｙｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｏｃｅｓｓ，ｂｏｏｓｔＮａｉｖｅＢａｙｃｓｃａｔｅｇｏｒｉｚａｔｉｏｎｍｏｄｅｌｔｈｒｏｕｇｈｍａｎｙｔｉｍｅｓｔｒａｉｎｉｎｇ。
_情报学报_1999-2008年国内文本分类研究文献计量分析
1999-2008年国内文本分类研究文献计量分析*肖可奉国和（华南师范大学经济与管理学院信息管理系，广州 510006）摘要文本分类作为处理和组织大量文本数据的关键技术，在信息过滤、信息检索、搜索引擎、数字图书馆等领域有着广泛的应用前景。
基于文献计量法对1999-2008年间文本分类相关研究论文作了统计分析，按基础理论研究和应用研究两部分分别进行了深入的探讨，前者涉及了文本分类过程中的各种关键技术：文本预处理、文本表示、特征降维、分类算法、效果评估，后者则包括文本分类在各领域的应用研究和文本分类系统的设计与开发。
文章深入地揭示了文本分类研究内容、发展历程、研究热点和理论成果，并对未来的研究趋势进行了预测。
关键词文本分类自动分类文献计量统计分析A Statistical Analysis of Papers on Text Categorization from 1999 to 2008 in ChinaXiao Ke Feng Guohe（School of Economics & Management, South China Normal University, Guangzhou 510006）Abstract Being the key technology to process and organize substantial data, text classification is significant in information filtering, information retrieval, search engine, digital library and other areas. This article analyzes the papers of text categorization those published from 1999 to 2008 based on quantitative method, and analyzes fundamental research and applied research, the former includes the technologies in text classification: text preprocessing, text representation, feature reduction，classification algorithm, effect evaluation, the later includes the applied research of text classification in various fields and the design and development of text classification systems. The article reveals the contents of text classification, the development process, research hotspots, theoretical achievements and predicts the future trends.Keywords text categorization automatic categorization bibliometrics statistical analysis文本分类结合信息处理技术、机器学习和统计学习理论，在文本识别、搜索引擎、信息过滤、电子政务、数字图书馆等方面有着深入的应用，已经成为信息处理现代化的关键。
基于词向量空间模型的中文文本分类方法
第３ ０卷 第 １ ０期 ２０ ０ ７年 １ ０月
合 肥 工 业 大 学 学 报 （自然科 学版 ）
Ｊ ＯＵＲＮＡＬ ＯＦ Ｅ Ｈ ＦＥＩ ＮＩ Ｕ ＶＥＲＳ ＴＹ Ｉ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
Ｖｏ． ０Ｎｏ １ １３ ． ０
ｐ ｅ ｅ ｔ ｄ ｍｅ ｈ ｄ ｈ ｓｈ ｇ ｅ ｒ ｃｓｏ ｎ ｆｉ ｉｎ ｙ ｒ ｓ ｎ ｅ ｔ ｏ ａ ｉ ｈ ｒｐ ｅ ｉｉ ｎ ａ ｄ ｅ ｆ ｅ ｃ 。 ｃ
Ｋｅ ｒ ｓ ｔ ｘ ａｅ ｏ ｉａｉｎ；ｖ ｃｏ ｐ ｃ ｏ ｅ；Ｋ — ｅ ｒ ｓ ｅｇ ｂ ｒ ｙ ｗｏ ｄ ：ｅ ｔｃ ｔｇ ｒ ｔｏ ｚ ｅ ｔ ｒｓ ａ ｅｍ ｄ ｌ ｎ ａ ｅ ｔｎ ｉｈ ｏ ；ｗｏ ｄ ｖ ｃｏ ｐ ｃ ｄ ｌ ｒ ｅ ｔ ｒｓ ａ ｅｍｏ ｅ
似度 。实验证 明， ；向量空 间模型 ；Ｋ＿ 最近邻 居 ； 向量空间模型 词
中图 分 类 号 ： Ｐ ８ Ｔ １２ 文献标识码 ： Ａ 文 章 编 号 ：０ ３５ ６ （０ ７ １—２ １０ １０ —０ ０ ２ ０ ）０１ ６ —４
摘
要： 大多文本分类方法是基于 向量空间模 型的 ， 基于这一模型 的文本 向量维数较高 ， 导致分类器效率难 以
提高 。针对这一不足 ， 该文提出基于词 向量空间模 型的文本 分类 方法 。其 主要思想是把文本 的特征词表示成 空间向量 ， 通过训练得到词一 类别支持度 矩阵 ， 据待分文 本的词 和词— 根 类别 支持度 矩 阵计 算文本 与类 别 的相
文本 分类 是指把 一组 预先 由专家 分类 过 的文 本 作为训 练集 ， 对训 练集进 行分 析得 出分类 模式 ， 用 导 出的分类模 式对其 他 文本加 以分 类 ＿。它 主 １ ］ 要应 用于信 息检 索 、 机器 翻译 、 自动文 摘及信 息过
一种基于KNN的文本分类算法
一种基于KNN的文本分类算法
余悦蒙; 黄小斌
【期刊名称】《《电脑知识与技术》》
【年(卷),期】2012(008)007
【摘要】KNN（K—Nearest Neighbor）是向量空间模型中最好的文本分类算法之一。
但是，当样本集较大以及文本向量维数较多时，KNN算法分类的效率和准确率就会大大降低。
该文提出了一种提高KNN分类效率的改进算法，并且改进了相似度的计算方法，能更准确的判断维数高且样本集大的文本向量。
算法在训练过程中计算出各类文本在向量空间中的分布范围，在分类过程中，根据待分类文本向量在样本空间中的分布位置，缩小其K最近邻搜索范围。
实验证实改进的算法可以在保持KNN分类性能基本不变的情况下，显著提高分类效率。
【总页数】3页(P1564-1566)
【作者】余悦蒙; 黄小斌
【作者单位】厦门大学信息科学与技术学院福建厦门361005
【正文语种】中文
【中图分类】TP301
【相关文献】
1.一种基于Canopy和粗糙集的CRS-KNN文本分类算法 [J], 姚彬修;倪建成;于苹苹;曹博;李淋淋
2.一种基于中心文档的KNN中文文本分类算法 [J], 鲁婷;王浩;姚宏亮
3.一种基于密度的改进KNN文本分类算法 [J], 茅剑;刘晋明;曹勇
4.一种基于粗糙集的改进KNN文本分类算法 [J], 苟和平;景永霞;冯百明;李勇
5.一种基于KNN的文本分类算法 [J], 余悦蒙;黄小斌
因版权原因，仅展示原文概要，查看原文内容请购买。
向量空间模型VSM
向量空间模型VSM本节主要介绍⽂本分类中的⼀种算法即向量空间模型，这个算法很经典，包含⽂本预处理、特征选择、特征权值计算、分类算法、这是VSM 的⼏个主要步骤，在宗⽼师的书⾥都有详细的讲解，这⾥也会进⾏深⼊的讲解，浅显易懂的是⽬的，深⼊理解是⽬标，下⾯给出这个VSM模型的⽅框流程图：其中分词和词袋的建⽴我们在前两节进⾏解释了，这⼀节将主要介绍特征词选择、⽂本模型表⽰（VSM），分类算法的建⽴。
下⾯就系统的进⾏梳理VSM的算法过程，这⾥⼤家多参考宗⽼师的书效果会更好：⽂本分类就是在给定的分类模型下，由计算机根据⽂本内容⾃动判别⽂本类别的过程。
随着⽂本分类技术的发展，不同的⽂本表⽰模型逐渐出现多种⽂本分类算法，使得⽂本挖掘领域道路越来越宽。
⽬前已经出现多种中⽂⽂本表⽰⽅法，如布尔模型、向量空间模型、潜在语义模型和概率模型等。
所以在构造⾃动⽂本分类器时，⾯临的选择也越来越多。
空间向量模型是⼀种出现较早的⽂本表⽰模型，但现在仍然在⼴泛的使⽤。
本篇的重点是对已经出现的基于向量空间模型的⽂本分类算法进⾏研究分析。
⽂本分类的定义Sebastiani（2002）以如下数学模型描述⽂本分类任务。
⽂本分类的任务可以理解为获得这样的⼀个函数：其中，表⽰需要进⾏分类的⽂档，表⽰预定义的分类体系下的类别集合。
T值表⽰对于来说，⽂档属于类，⽽F值表⽰对于⽽⾔⽂档不属于类。
也就是说，⽂本分类任务的最终⽬的是要找到⼀个有效的映射函数，准确地实现域D×C到值T或F的映射，这个映射函数实际上就是我们通常所说的分类器。
因此，⽂本分类中有两个关键问题：⼀个是⽂本的表⽰，另⼀个就是分类器设计。
⼀个⽂本分类系统可以简略地⽤下图所⽰：⽂本表⽰中⽂⽂本信息多数是⽆结构化的，并且使⽤⾃然语⾔，很难被计算机处理。
因此，如何准确地表⽰中⽂⽂本是影响⽂本分类性能的主要因素。
经过多年发展，如下图所⽰，研究⼈员提出了布尔模型、向量空间模型、潜在语义模型和概率模型等⽂本表⽰模型，⽤某种特定结构去表达⽂本的语义。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｒｓ ｅ ｔｖ ｌ ．Ｆ ｎ ｌ ， ｅ ｐ ｒ ｎ ｓ ｌｓ ｓ ｏ ｔ ａ ｈ ｅ ｐ ｒ ａ ｈ，ｐ ｐ ｓ ｄ ｉ ｈ ｓ ｐ ｐ ｒ ｏ ｔ ｅ ｏ ｍｓ ｐａｎ ｏ ｅ ｅ ｃ ｅ ｐ ｃｉｅｙ ｉａｌ ｙ ｘ ｉ ｅ ｍｅ ｔｒ ｕ ｔ ｈ ｗ ｈ ｔｔ ｅ ｎ ｗ ａ ｐ ｃ ｅ ｏ ｏ ｒ ｏ ｅ ｎ ｔ ｉ ａ ， ｕ ｐ ｒ ｒ ｌｉ ｒ ｇ ｎ ｒ ｅ ｆ ｉ ｈｅ ａ ｃ ｉａ ｔ ｏ ｓｗｉ ｍｐ ｏ ｅ ｃ ｕ ａ ｙ ｉｒ ｒｈ ｃ ｍｅｈ ｔ ｉ ｒ ｖ ｄ ａ ｃ ｒ ｃ ． ｌ ｄ ｈ
维普资讯
第２ ６卷 第 ５期
２０ ０ ６年 ５ 月
文 章 编 号 ：０ １— ０ １ ２０ ） ５—１２ ０ １０ ９ ８ （０ ６ ０ １５— ２
计 算机应 用
Ｃｏ ｕｔｒＡｐ ｌ ａｉｎｓ ｍｐ ｅ ｐ ｉ ｔ ｃ ｏ
Ｖ ｌ２ ｏ ５ ｏ ＿ ６ Ｎ ．
Ｈｉｒ ｒ ｈ ｃ ｌｃ ｔｇ ｒｚ ｔ ｎ ｍｅｈ ｄ ｆＣ ｉ ｅｅ ｔｘ ａ ｅ ｎ ｖ ｃｏ ｐ ｃ ｄ ｌ ｅ ａ ｃ ｉａ ａ ｅ ｏ ｉａｉ ｔ ｏ ｓｏ ｈｎ ｓ ｅ ｔｂ ｓ ｄ ｏ ｅ ｔ ｒ ｓ ａ ｅｍｏ ｅ ｏ
ＸＩ ｅ ＨＥ Ｚ ｏ ｇ ｓ ｉ ＡＯ Ｘｕ ， ｈ ｎ —ｈ
ｂｔ ｆ ｔｒ ｓｌ ｔ ｎ ａ ｄ ｃｔ ｏ ｚｔ ｎ ｍ ｔｏ ， ｅ ｅ ｏ ， ｅｔ ｅ Ｄ ａ Ｓｌｃ ｏ Ｆ Ｓ ， ｎｄ ａ ｇｒｈ ｆ ｏ ｅ ｕｅ ｅ ｃｉ ａ ｇｒ ａ ｏ ｅｈｄ ｈ ａ ｅ ｏ ｎ ｅ ｉ ｉ ａ ｎｗ ｍ ｔ ｄ ｈ Ｆ ａ ｒ ｕ －ｅｅｔｎ（ Ｄ ） ａ ａ ｏ ｔ ｏ ｕ ｌ ｉ ｎ ｌ ｉ ｍ
Ｈｅａｃｉ ｅｔ ａ ｇｒ ａ ｏ（ Ｔ ）ｂｓｄｏ ｅｔ ａｅ ｏ ｅ ｗ ｓ ｒｐｓｄ Ｆ Ｓｉ ｔ ｐｒ ｒ ａ ｒ ｓｌｃｏ ａｈ ｉ ｒ ｈ ａ Ｔ ｘ Ｃ ｔ ｏ ｚ ｉｎＨ Ｃ ａｅ ｎｖｃ ｒ ｐｃ ｄ ｌ ａ ｏｏｅ ． Ｄ ｅｆ ｍ ｆ ｔ ｅ ｅｅｔ ｎｉ ｅｃ ｒ ｃ ｌ ｅ ｉ ｔ ｏｓ ｍ ｐ ｓｏ ｏ ｅ ｕ ｉ ｎ
Ｍａ ０ ｙ ２ ０６
基 于 向量 空 间模 型 的 中文文本 层次 分 类 方 法研 究
肖 雪 ， 中市 何
（ 重庆 大 学 计 算机 学院 ，重庆 ４０４ ） ００４
（ａ ｅｅ ６ ．ｏ ） ｚｉ ｒ＠１ ３ ｃｒ ｈ ｎ
摘 要 ： 文本 分类 的 类别数 量庞 大的情 况下 ， 次分 类是 一种有 效 的分类 途径 。针 对层 次分类 在 层 的结构特点， 考虑到不同的层次对特征选择和分类方法有不 同的要求， 出了新的基于向量空间模型 提 的二重特征选择方法 Ｆ Ｓ以及层次分类算法 Ｈ Ｃ Ｄ Ｔ 。二重特征选择 方法对每 一层均进行一次特征选 择， 并逐层 改 变特 征数 量和 权 重计 算方 法 ； Ｔ Ｈ Ｃ算 法把 分 别对 粗 分 和 细 分 更 有效 的 类 中心 向量 法 与 Ｓ Ｍ 方法相 结合 。 实验 表 明 ， 方法相 对 于平 面分 类和一般 的层 次分 类 方法 ， Ｖ 该 有较 高的准确 率。 关键词 ： 次分 类 ； 层 向量 空间模 型 ； 重特征选 择 ； 重计 算 二 权 中 图分 类号 ： Ｐ ９ 文 献标识 码 ： Ｔ３１ Ａ
（ ｏｌ ｅｆＣ ｍ ｕ ｒ ｃｅｃ，Ｃ ｏｇ ｉ ｎ ｅ ｉ，Ｃ ｏｇ ｉ Ｏ Ｏ４ ｈｎ ） Ｃ ｌｇ ｏ ｐ ｔ ｉ ｅ ｈｎ ｑ ｇＵ ｉ ｒｔ ｈ ｎｑ ｇ４Ｏ ４ ，Ｃ ｉ ｅ ｏ ｅＳ ｎ ｎ ｖ ｓｙ ｎ ａ
Ａｂ ｔ ａ ｔ ｎ ｌｒ ｅ ａ ｕ ｔ ｏ ｄ ｔ ｎ ｆ ｅ ｔｑ ａ ｔ ｙ ｉｒ ｒ ｈｃ ｌ ｅ ｔ ａｅ ｏ ｚ ｔ ｎ ｗ ｓａ ｆ ｃｉ ｅａ ｐ ｏ ｃ ．Ａｉ ｉ ｇ ｓｒ ｃ ：Ｏ ａ ｇ ｍｏ ｎ ｎ ｉ ｏ ｓｏ ｘ ｕ ｎ ｉ ，ｈｅ ａ ｃ ｉａ ｘ ｔｇ ｒ ａｉ ａ ｎ ｅ ｅ ｔ ｐ ｒ ａ ｈ ｃ ｉ ｔ ｔ ｔ ｃ ｉ ｏ ｖ ｍｎ ａ ｔ ｃ ｕ ａ ｈ ｒ ｃｅ ｓ ｃ ｆｈｅ ａ ｃ ｉａ ｅ ｔｃ ｔｇ ｒｚ ｔ ｎ ａ ｄ ｃ ｎ ｉ ｅ ｎ ａ ｏ ｓ ｄ ｍａ ｄ ｆｔｘ ｓ ｉ ｉ ｅ ｅ ｔｌ ｖ ｌ ｏ ｔ ｒ ｔ ｒｌｃ ａ ａ ｔｒ ｔ ｓｏ ｉｒ ｒ ｈ ｃ ｔｘ ａｅ ｏ ａｉ ， ｎ ｏ ｓ ｒ ｇ ｖ ｒ ｕ ｅ ｎ ｓ ｏ ｔ ｎ ｄｆ ｒ ｎ ｅ ｅｓ ｎ ｓｕ ｉ ｉ ｌ ｉ ｏ ｄｉ ｉ ｅ
Ｋｅ ｏ ｄ ： ｉ ａｃｉ ａ ｇｒａｉ ；ｖｃｏ ｓａｅｍ ｅ；Ｆ Ｓｆａ ｒ ｕ － ｌ ｔ ｎ ；ｔｃｔ ｏ ｚｔ ｎ ｅｔｒ ｐｃ ｏ ｌ Ｄ （ｅｔ ｅｄ ａ ｓ ｅ ｉ ） ｅ ｗ ｉ ｉ ｒ ｃ ｌ ｅ ｉ ｏ ｄ ｕ ｌ ｅ ｃｏ ｍ ｈｎ
ｃ ｓ ｆａｉ ｔｏ ｄＳｐ ｏｔ ｅｔ ｃｉｅＳ Ｍ ，ｗ ｉ ｒｖｓ ｏｅｅｅｔ ｅｆ ｒ ｄｃ ｓ ｃｔ ｎａｄｓｂｉｉｏ ｌ ｓ ｃｔ ｎｍｅ ｄ ａ ｕ ｐｒＶ ｃ ｒ ｈｎ（ Ｖ ） ｈｃ ｐ ｅ ｒ ｆ ｃ ｖ ｒ ｏ ｌ ｉ ａ ｏ ｕｄｖ ｉｎ ａｉ ｏ ｉ ｈ ｎ ｏ Ｍａ ｈｏ ｍ ｉ ｏｂ ａ ａ ｆ ｉ ｎ ｓ ｉ ｓ