Web文本分类的关键技术研究
Web文本分类技术研究及其实现
ｌ瑁 ｅａ ｕ ｔｏ ｅｅ ｒｈ ｒｓ ｌ ａ ｅｂ ｅ ｏ ．Ｔｈｓｐ ｐ ｒｈ ｓｄｓｕ ｓｄｓｖ ｒｌ ｅ ｅ ｈ ｏｏ ｉｓｉ ｈ Ｏ ｌｅｏ ｅ ｅ ｔｃａｓｆｃｔｏ ａ ｍｏ ｎ ｆｒ ｓａ ｃ ｅ ｕｔ ｈ ｖ ｅ ｎｇ ｔ ｓ ｉ ａ ｅ ａ ｉｃ ｓｅ ｅ ｅ ａ ｙｔｃ ｎ ｌｇｅ ｔ ｅＣ Ｕ＇ ｆ ｂｔｘ ｌｓｉｉａｉｎ ｉ ｋ ｎ Ｓ Ｗ ｎ
维普资讯
第
２０ ０６
年月 霸期 ３
Ｃ ＰＥ Ｅ Ｏ Ｕ计算机技术与发展 Ｍ ｒ ＲＣ Ｔ
，
ＨＮＣＬ ｝ＯＧＹ ＡＮＤ ＤＥＶＥＵＤ ＰＭ ＥＮＴ
Ｖ０ ． ６ Ｎｏ ３ １１ ， Ｍａ ．２ ０ ｒ ０６
Ｗｅ ｂ文本分 类技 术研 究及 其实现
饶 文碧 ， 慧燕 柯
（ 武汉理工大学 计算机 学院， 湖北 武汉 ４０ ７ ） ３０ ０
摘 要： 随着 Ｉｔ ｎｔ ｎ ｒｅ 的飞速发展， ｂ ｅ ｗｅ文本分类研究已经得到了人们密切的关注， 并取得了大量的研究成果。文中讨论了
Ｗｅ 文本分类过程中的几个关键技术 ； ｂ 针对传统的 Ｗｅ 文本分类方 法缺乏认知自主性和不能再学 习的特点 ， 出了一种 ｂ 提
掘技术。其中作为 Ｗｅ ｂ挖掘技术 的关键部分 ， ｂ ｗｅ 文本 分类技术已经得到了人们的广泛关注 。 Ｗｅ 文本分类技术是一种典型的有教师的机器学习 ｂ 方法， 作为 Ｗｅ 文本挖掘的一项重要技术 ， ｂ 它是指将 Ｗｅ ｂ
计算机没有类似人类的智能， 人阅读完文章后可以产 生 自身对文章的理解 ， 而计算机却没有这样的能力。为 了 便于计算机的处理 ， 文本必须表示为计算机可以识别的格
ｄ ｔ ｌ ｔ ｉ ｔ Ｔｈｎ ｄｒｃｉ ａ ｓ ｔｅｔ ｄｔ ｎ ｌ ｌ ｓ ｃ ｔ ｎａ ｏｉ ｍ ｆ ｂｔｘ ｃ ｆ ｏ ｎｔ ｅｉ ｅ ｅ ｄ ｎ ｅａ ｄｓｕ ｙｎ ａ ， ｅ ｉ ａ ｒ ； ｅ ｉ ｔ ｇ ａ ｉ ｔ ｈ ａ ｉｏ ａ ｃ ｓｉ ａｉ ｇ ｒ ｈ ｏ ｔａ ｋｏ ｇ ｉｖ ｄ ｐ ｎ ｅ ｃ ｄ ｉ ａ ｉ ａ ｆｓ ｅ ｎ ｇｎ ｒ ｉ ａ ｆ ｏ ｌ ｔ ｉ Ｗｅ ｅ ｌ ｃ ｉ ｎ ｎ ｔ ｇ ｇｎ ｉ ｐｏ ｏ ｅ 肌 ｅ ｔｎ ｅ ｅ ｔ ｌ ｓ ｉ ｔ ｌ ｍ ｄ ｌ ｎ ｇ ｒ ｈ ．Ｔｈ ｏ ｇ ｅ ｅ ｆ ｐ ｒ ｎｓ ｃｎ ｇ ｔｔ ｅｒ ｕｔ ｈ ｔｓｃ － ｔ ｒｐ ｓ ｓ Ｘ ｅ ｄ ｄＷ ｂｔ ａ ｉｃ ． ｏ ｅ ａ ｄ Ｍ ｏ ｔ Ｘ ｅ ｃ ｓ ｆ ａ虻 ｎ ｉｍ ｒｕ ｈ ａ ｓｒ ｏ ｅｉ ｔ ，ａ ｅ ｈ ｅ ｌ ｔ ａ ｕ ｈ ａ ｉ ｓ Ｘ ｅ ｍｅ ｓ
WEB文本挖掘中关键问题的研究
WEB文本挖掘中关键问题的研究一、本文概述随着信息技术的迅猛发展，互联网已成为全球信息交换和共享的主要平台。
WEB文本作为互联网信息的主要载体，蕴含着丰富的知识和价值。
如何从海量的WEB文本中有效地提取有用的信息，成为了一个亟待解决的问题。
这就是WEB文本挖掘技术所要研究的核心内容。
本文旨在探讨WEB文本挖掘中的关键问题，包括但不限于文本预处理、特征提取、文本分类、聚类以及情感分析等。
我们将深入剖析这些问题的现状和挑战，并在此基础上提出可能的解决方案和改进策略。
我们将关注文本预处理，这是WEB文本挖掘的第一步，主要包括文本清洗、分词、停用词去除、词干提取等过程。
这些步骤对于后续的特征提取和模型训练至关重要。
我们将探讨特征提取的方法，它是从文本数据中提取出能够代表文本主题或情感的关键信息。
这包括词袋模型、TFIDF、Word2Vec等常见的特征提取方法。
我们将研究文本分类和聚类的技术。
文本分类是将文本自动划分到预定义的类别中，而文本聚类则是将文本按照相似性进行分组。
这些技术对于信息检索、推荐系统等领域具有重要意义。
我们将关注情感分析，这是指从文本中识别和分析出作者的情感倾向。
随着社交媒体的普及，情感分析在舆情监控、品牌分析等领域的应用越来越广泛。
本文将全面而深入地研究WEB文本挖掘中的关键问题，以期在理论研究和实际应用上都能有所贡献。
二、文本挖掘概述随着信息技术的发展，大量的文本数据在互联网上涌现，如何从海量的文本信息中提取出有价值的知识和信息，成为了一个亟待解决的问题。
这就是文本挖掘（Text Mining）所要解决的核心问题。
文本挖掘是一种从大量文本数据中提取隐含的、有用的信息和知识的过程，它是数据挖掘领域的一个重要分支，也是自然语言处理（NLP）和信息检索（IR）的一个重要应用。
文本挖掘的过程通常包括文本预处理、特征提取、文本表示、挖掘算法选择和结果评估等步骤。
文本预处理是对原始文本进行清洗和规范化处理，包括去除停用词、词干提取、词性标注等，以便为后续的处理提供高质量的文本数据。
基于Web的文本分类挖掘的研究论文
首都师大学学士学位论文基于Web的文本分类挖掘的研究学位论文原创性声明本人重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。
对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
本人完全意识到本声明的法律后果由本人承担。
作者签名：日期：年月日学位论文使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。
本人授权大学可以将本学位论文的全部或部分容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
涉密论文按学校规定处理。
作者签名：日期：年月日导师签名：日期：年月日中文提要文本分类最初是应文本信息检索的要求出现的，但是随着文本数据的激增，传统的研究方法己经不适合大规模文本分类，文本数据挖掘应运而生。
作为文本数据挖掘的一个重要功能，文本分类技术日益成为研究热点。
文本分类目的是对文本集有序组织，便于文本信息高效管理，为人的决策提供支持。
但是传统的人工分类的做法存在许多弊端，不仅是耗费大量人力、物和精力，而且受人为因素影响较大，分类结果一致性不高。
与之相比，文本自动分类具有快速、高效的特点，且分类准确率较高。
对文本分类技术进行研究，介绍文本分类的基本过程，论述文本特征提取方法，讨论朴素贝叶斯、K近邻、支持向量机、投票等常用的文本分类原理与方法，探讨中文文本分类技术。
采用支持向量机技术，设计并实现了一个开放的中文文档自动分类系统。
实验表明，它不仅具有较高的训练效率，同时能得到很高的分类准确率和查全率。
关键词：文本挖掘文本分类支持向量机向量空间模型外文提要Text categorization appears initially for text information retrieval system; however text data increases so fast that traditional research methods have been improper for large-scale text categorization. So text data mining emerges, and text categorization becomes more and more important as a major research field of it.The purpose of text categorization is to organize text by order,so as to manage text information efficiently and support decisions of human being. However categorization by hand not only consumes plenty of manpower, material resources and energy, but also makes categorization accuracy inconsistent. Compared with categorization by hand, automatic text categorization classifies texts faster and its categorization accuracy rates higher.Introduces the techniques of text categorization, including its basic process ,the algorithms of text feature extraction ,the theories and technologies such as N aïve bayes, KNN, SVM, Voted and so on. Chinese text classification is discussed.An open Chinese document classification system using support is designed and implemented.The experiment shows that it not only improves training efficiency, but also has good precision and recall.Key wordtext mining Text categorization Support Vector Machine(SVM) vector space model目录中文提要 .......................................................... １外文提要 .......................................................... ２目录 ............................................................. ３第一章绪论 ..................................................... ４1.1 文本自动分类研究的背景和意义.............................. ４1.2 问题的描述................................................ ６1.3 国外文本自动分类研究动态.................................. ６第二章中文文本分类技术研究 ...................................... ８2.1 文本预处理................................................ ８2.1.1 文本半结构化 ........................................ ８2.1.2 自动分词 ............................................ ８2.1.3 特征选择[12] .......................................... ８2.2 分类模型.................................................. ９2.2.1 贝叶斯（Naive Bayes）方法[14] ......................... ９2.2.2 K-近邻（KNN）方法 ................................... ９2.2.3 决策树（Decision Tree）分类 ....................... １０2.2.4 基于投票的方法 .................................... １０2.2.5 支持向量机（SVM）方法[17] ........................... １１2.3 分类性能评价............................................ １１第三章基于支持向量机的中文文本分类 ............................ １２3.1 统计学习理论............................................. １２3.2 支持向量机原理.......................................... １４3.3 支持向量机的特点........................................ １６第四章基于支持向量机的中文文本分类器的实现 .................... １７4.1 系统体系结构............................................. １７4.1.1文本训练模块设计.................................... １８4.1.2文本分类模块设计.................................... １８第五章系统的性能测试 .......................................... １９5.1 开发环境和数据集........................................ １９5.2 测试结果及分析.......................................... １９第六章总结与展望 ............................................... ２１6.1 全文总结................................................ ２１6.2 进一步工作及展望........................................ ２１附录（附图） .................................................... ２２参考文献 ........................................................ ２５致 ............................................................ ２７第一章绪论1.1 文本自动分类研究的背景和意义分类最初是应信息检索(Information Retrieval,简称IR)系统的要求而出现的，也是数据挖掘应用领域的重要技术之一[1].随着全球计算机与通讯技术的飞速发展、互联网的普及与应用，信息爆炸的现实使人们越来越注重对自动分类的研究，文本自动分类及其相关技术的研究也日益成为一项研究热点。
基于Web的新闻文本分类技术的研究
基金项 目： 安徽省高等学校 自然科学研究基金资助项 目（ Ｊ０ ９ １６ ） 教育部人文社会科学研究青年基金资助项 Ｋ ２０ Ｂ ２ Ｚ ；
Ｋｅ ｙ ｗｏｒ ：ｗｅ ａ ｅ ｐａ ｓｎ ｄｓ ｂ ｐ ｇ ｒｉ ｇ；ｔ ｘ ；ｃａ ｓｆｃ ｔ ｎ ｅ ｔ ｌｓ ｉ ａ ｉ ｉ ｏ
随着 Ｉｔ ｎｔ ｎｅ ｅ 及其相关 技术 的飞 速发展 ， ｒ 互联 网上 出现 了海量 的 Ｗｅ 闻资源 ， ｂ新 闻 已经成 为 ｂ新 Ｗｅ
２１ ００年 １ 月 １
安 徽 大 学 学 报 （自然 科 学 版 ）
Ｊ ｕｎｌ ｆ ｎ ｕ Ｕ ｉｅ ｉ Ｎ ｔｒｌ ｃ ｎｅＥ ｉｏ ） ｏ ｒａ ｏ Ａ ｈ ｉ ｎｖｒｔ ｓｙ（ ａ ａ Ｓｉ ｃ ｄｔ ｎ ｕ ｅ ｉ
．
Ｎｏ ｅ ｖ ｍｂｅ ０１ ｒ２ ０ Ｖｏ ． ４ １ ３ Ｎｏ． ６
的 分类 效 果 ．
关 键词 ： 页解 析 ； 本 ； 类 网 文 分 中 图分 类 号 ：Ｐ １ Ｔ ３１ 文 献 标 志 码 ： Ａ 文 章 编 号 ：０ ０— １２ ２ １ ）６— ０ ６— ５ １０ ２６ （００ ０ ０６ ０
Ｒｅ ｅ ｒ ｈ ｏ ｅ ｔ ｃａ ｓｆｃ ｔｏ ｔ ｃ ｏ ｏ ｙ ｓ ａ ｃ ｆ ｔ ｘ ｌ ｓ ｉ ａ ｉ ｎ ｅ ｈｎ ｌ ｇ ｉ ｂａ ｅ ｎ Ｗ ｅ ｗｓ ｐ ｇ ｓ ｓｄｏ ｂ ｎｅ ａ ｅ
ＨＵ ｉ ｇ ｙ ｎ ＿ Ｌ ｎ — ｕ ＿．ＨＵ ｉｌｎ Ｇｕ —ａ ，ＸＵ ｎ ，ＬＩＬｏ ｇ ｓ ｕ Ｙｏ ｇ ｎ ．ｈ
（ ． ｃｏｌ ｆ ｏ ｐ ｔ ｃｅｃ ｎ ｅｈｏｏｙ ， ｎｕ Ｕ ｉｅ ｉ ， ｅｅ ２０ ３ ， ｈ ａ １ Ｓｈｏ ｏ ｍ ｕｅ Ｓｉ ｅａｄＴ ｃｎｌｇ Ａ ｈ ｉ ｎｖｒ ｔ Ｈ ｆｉ ３０ ９ Ｃ ｉ ； Ｃ ｒ ｎ ｓｙ ｎ
Web文本挖掘及其分类技术研究
Web文本挖掘及其分类技术研究作者：李川来源：《数字技术与应用》2010年第07期[摘要]本文以Web挖掘为基础。
首先,从定义、功能、过程3方面介绍了Web内容挖掘中的文本挖掘;其次,重点探讨了Web文本挖掘的两种重要功能——分类及其它们常用的算法,并分别对算法做了比较;最后,得出结论并进行了展望。
[关键词]Web文本挖掘分类算法比较[中图分类号]TP311 [文献标识码]A [文章编号]1007-9416(2010)07-0074-02Research on Web Text Mining and Its CategorizationLi Chuan(Forein Trade and Business College of Chong Qing Normal University)[Abstract]This thesis bases on Web mining. Firstly, we presented text mining which is one kind of Web text mining in detail including its definition, function and process; Secondly, we studied two kinds of Web text mining’s important functions----categorization as well as their algorithms which are common in use, moreover, we compared these two kinds of algorithm respectively; Finally, we achieved our conclusion and made a prospect.[Keywords]Web Text Mining;Categorization Algorithm; Comparison1 引言Web文本挖掘是指从大量Web文档的集合C中发现隐含的模式P。
Web网页信息文本分类的研究
（．同济 大学 电信 学院 ，上 海 ２ １０ ；２ 海 水产 大 学 信 息学 院 ，上 海 ２０９） １ ０８４ ．上 ０００
摘 要： 面对 海量的信 息如何挖掘 出有 用 的知 识是 当前研 究的热 点 问题 ， Ｗｅ 对 ｂ文本进行 分类预 处理 ， 可在一 定程度 上解决
ｔ ｅｃ ｍｂ ｎ ｔ ｎ ｏ ｏ ｓ ｎ ｎ ｙ ｔ ｅ ｉ Ｂａ ｅ ｉｎ ｃ ａ ｓｆｅ ｓ ｄ ｐ ｅ ｅｌ ｎ ｘ ． Ｆ ｎ ｌ ｅｅ ｐ ｒｍｅ ｔ ｈ ｗ ｅ ｃａ ｓｆ ｒ ｓ ｈ ｏ ｉ ａｉ ｆ ｏ ｔ ｇ ａ ｄ ｓ ｎ ｈ ｓｓ ｙ ｓ ｌ ｓ ｉ ｒ ｏ ｔｄ ｔ ｔ ｏ ｇｔ ｔ ｏ ｂ ｉ ａ ｉ ｉａ ｏｈ ｅ ｉａｌ ｔ ｘ ｅ ｙｈ ｉ ｎ ｓｓ ｏ ｔ ｌｓ ｉ ｅ ｈ ｉ ｉ
Ｂｅ ａ ｓ ｂ ｔｘ ｌ — ｐ ｃ ｔ ｅｍ ｕｔ ｌ ｌｓ ｉ ｅ ｄ ｐ ｅ ｎ ｃ ｏ ｄ ｎ ｅｓｒ ｃｕ ｅｃ ａ ａ ｔｒｏ ｗｅ ｘ ，ａｓ ｓｅ ｆａ ｃ ｕ ｅｗｅ ｔ ｓ ｅ ｉ ｍｕ ｔ ｔ ｉ ， ｈ ｌ ｐ ｙ ｃａ ｓｆ ｒ ｓ ｏ ｔｄａ ｄ ａ ｃ ｒ ｉ ｇｔ ｔ ｔ ｔｒ ｈ ｒ ｃｅ ｆ ｂ ｔ ｔ ｙ ｔｍ ｍｅｉ ｉｏ ｉ ｉ ｉａ ｏ ｈ ｕ ｅ ｒ ｓ
Ｒｅ ｅ ｒ ｈｏ ｂｔｘ ａｅ ｏ ｉａｉ ｎ ｓ ａ ｃ ｎｗｅ ｔ ｔｇ ｒ ｔ ｅ ｃ ｚ ｏ Ｌ ｎ Ｙ Ａ ｉ — ａ Ｓ Ｅ ｉ －ｎ Ｉｉ ， Ｕ ＮＸａ ｈ ２ Ｈ ＮＸａ ｊ ｇ Ｊｇ ｏｕ， ｏｉ
（． ｃ ｏ ｌ ｆ ｌ ｔ ｎｃ ｄ ｎｏｍａ ｏ ｎ ｉｅｒ ｇ ｏ ｇｉ ｎｖｒ ｔ １ Ｓ ｈ ｏ ｏ ｅ ｒ ｉ ａ ｆｒ ｔ ｎ ｇｎ ｅ ｎ ，Ｔ ｎｊＵ ｉｅ ｉ ，Ｓ ａｇ ａ ２ ０ ，Ｃ ｉａ Ｅ ｃｏ ｓ ｎ Ｉ ｉ Ｅ ｉ ｓｙ ｈｎ ｈ ｉ ０ ４ ｈｎ ； １ ８
文本分类方法主要研究方向
文本分类方法主要研究方向文本分类是信息检索领域中一个非常活跃的研究方向。
众多学者在这个领域进行了深入细致的研究。
当前的研究重点主要集中在以下几个方面：(1) 海量文本的快速分类信息技术的发展使文本的规模越来越大，对信息处理的速度和精度提出了更高的要求，如何在不降低分类精度的情况下，降低特征空间的维数和分类算法的时间复杂度，成为了文本自动分类的研究重点之一。
(2) Web 文档的分类对纯文本文档的分类，只能依靠文本内容和段落结构信息。
对Web 文档的分类还可以充分利用网页中的字体、颜色、超链接(Hyperlink)等结构信息等，从而进一步提高分类精度。
网站建设(3) 分类器组合分类器组合(Combination)又叫分类器委员会，熔合，整体和聚合(Aggregation)等等。
它的思想起源于多专家决策。
很显然，多个专家要比单个专家作出更好的决策。
在文本分类领域，就是指采用多个分类器进行训练，然后分类时组合每个分类的决策。
根据是否对训练集进行取样，分类器组合大体上可以分为两类：分类器简单组合方式与重采样方式。
在分类器简单组合方式中，训练集对所有成员分类器而言保持不变。
训练时各成员分类器独立进行，分类时组合所有成员分类器的分类结果。
Larkey 设计了一个基于Roochio、贝叶斯与最近邻的组合分类器。
他的实验结果表明任何两两组合的分类精度要高于单个分类器的分类精度；而三个分类器的组合的分类精度要高于任何两两组合的分类精度。
Larkey 的实验在一定程度上表明了组合分类器能够对其成员分类器进行取长补短。
重采样方式对训练集进行多次有放回采样，然后采用某个弱分类器算法在这些采样出来的多个训练集上训练出多个分类器。
Bagging 与Boosting 就是这类方法的代表。
Bagging 采用均匀采样；而Boosting 根据己经产生的分类器的分类效果对训练集进行采样，重点突出错分样本。
Schapire 开发了BoosTexter 系统，该系统采用决策树作为弱分类器，实现了两个Boosting 算法，即AdaBoost 与AdaBoostMR。
基于RBF神经网络的Web文本分类的研究
（ ｆｒ ｔ ｎ Ｅ ｇｎ ｅｉｇＤｅ ａｔ ｎ， ｉ ｍｎ ｒｖｎ ｉｌ ｌ ｇ ｆＣｏ Ｉ ｏｍａ ｏ ｎ ｉｅ ｒ ｐ ｒ ｎ ｉ ｎ ｍｅ ｔ Ｌａ ｏ ｇＰ ｏ ｉｃ ｌ ｅｏ ｍｍｕ ｉａｉｎ ，Ｓ ｅ ｙ ｎ ２ Ｃｈｎ） ａ Ｃｏ ｅ ｎｃｔｏ ｓ ｈ ｎ ａ ｇ１ １ ， ｉａ １ ０２
摘要 ： ｅ Ｗ ｂ文 本 分类 是 采 用 文本 分 类 技 术将 Ｗ ｅ ｂ上 的信 息进 行 自动 分 类 ， 用 户 能 够 快速 找 到 自己想 要 的 资 源 。 文本 分 类 的 过 程 使 中． 将特 征 提 取之 后 的 来 自 Ｗ ｅ ｂ的 数 据 分成 样 本 数 据 集 和 测试 数 据 集 ， 将样 本数 据 集输 入 到 Ｒ Ｆ 网络 中进 行 训 练 ． ＿Ｆ网络 经过 Ｂ ＲＢ 训练 之 后 ， 入 测试 数 据 集 中的数 据 进 行 验证 ， 输 实验 证 明 ， ３ Ｆ网络 取得 了较 好 的 分 类 结果 。 Ｒ３
ＩＳ １０－０４ Ｓ Ｎ ０ ９ ３ ４
Ｅ— ａｌ ｄｕ ＠ｃ ｃ ．ｅ ．ｎ ｍ ｉ：ｅ ｆ ｃ ｃｎ ｔｃ ｈｔ ／ｗｗｗ．ｎｚ ．ｅ ．ｎ ｔ ／ ｐ： ｄ ｓｎ ｔｃ Ｔｅ ＋８６ ５１ ６ ９６ ５ ０９ ４ ｈ —５ —５ ９０ ３ ６９ ６
Ｃ ｍ ｕ ｒ ｎ ｗｅｇ ｎ ｅｈ ｏ ｇ ｏ ｐ ｔ ｏ ｌ ｅａ ｄＴｃ ｎｌ ｙ电脑 知 识与技术 ｅＫ ｄ ｏ
ａｔｒｆａｕ ｅ ｅ ｔａ ｔ ｎ ｈｅ ｐ ｏｃ ｓ ｅ ｌｓｉｃ ｔ Ｓ ｍ ｐ ｅ ｄ ｔ ｅ ｓｉ ｕｔｅ ｏ ｔ ｆｅ ｅ ｔ ｒ ｘ ｒｃｉ ｉ ｔ ｒ ｅ ｓｏｆｔｘｔｃａｓｆ ａｉ ｏｎ ｉ ｏｎ ａ ｌ ａａｓ ｔｉ ｎｐ ｔ ｄ ｔ ｈｅ ＲＢ Ｆ ｎｅｗｏｒ ｎｄ ｔ ｅ Ｋ ＢＦ ｎｅｗ ｏ ｋ ｉ ｒ ｉ ｄ． ｔ ｋ ａ ｈ ｔ ｒ ｓｔａｎｅ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Web文本分类的关键技术研究
关键词：文本分类降维技术文本表示分类算法
文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程，将大量的文本归到一个或多个类别中。
从数学角度来看，文本分类是一个映射的过程，将未标明类别的文本映射到己有的类别中来，数学表示如下： f：a->b 其中a为待分类的文本集合，b 为分类体系下的类别集合。
一、网页的解析
按照w3c组织所制定的标准，每一个html页的结构都可以对应地描述成dom树的形式。
dom定义了html文档的逻辑结构，提供了一种对网页中的数据及内容进行管理和操作的途径。
dom将整个文档的内容分别抽象为不同的对象，用结点的形式予以表示，如标签结点、文档类型结点、文本结点、注释结点、属性结点等。
再用类似于父子的关系将各结点按照不同层次有顺序地组织起来，形成树型结构。
二、降维技术
1、信息增益：
信息增益在机器学习中经常被用做特征词评判的标准，它是一个基于熵的评估方法，定义为某特征项在文档中出现前后的信息熵之差。
根据训练数据计算出各特征词的信息增益。
删除信息增益很小的词，其余的按信息增益从大到小排列。
如果以信息增益最大者为要根结点，建立一个决策树就可以进行决策树的分类挖掘。
如公式
（2）所示.
其中i=1，2…m。
p（ci）表示ci类文本在语料中出现的概率，p （ci | w）表示文本包含特征项w时属于ci 类的条件概率，p（w）表示语料中不包含特征项w的文本的概率，p（ci | w）表示文本不包含特征项w时属于ci 类的条件概率，m为类别数。
显然某个特征项的信息增益越大，贡献越大，对分类越重要。
选取信息增益大的词做为构造文本的特征向量。
2、互信息：（mi）
应用在相关词统计建模中，在统计学中用于表示两个变量间的关系，其计算如下公式（3）所示：
其中各变量的含义同上。
显然当特征项w独立于ci 时它同该类的相关度为0 ，p（w）越小而同时p（w | ci ）越大时特征项w
提供类别ci 的信息量越大，则这个特征项越能代表这一类，反之，p（w）越大的同时p（w | ci ）越小，则可能得到负的互信息值，这种情况下，该特征项对分类的意义同样很大。
3.交叉熵（expected cross entropy）
与信息增益类似也是一种基于概率的方法，但只计算出现在文本中的特征项，其计算如公式（4）所示：
三、文本表示
向量空间模型（vector space model，简记为vsm）是一种较著名的用于文档表示的统计模型，该模型以特征项做为文档表示的基本单位，特征项可以由字词或短语组成。
每一个文档可以看成是由
特征项组成的n维特征向量空间的一个向量：d=（t1，w1；t2，w2；t3，w3……；tn，wn），其中wi为第i个向量ti在文档中的权重，一般选词做特征项比选字做为特征项要好一些。
一般使用tf-idf
公式计算特征项权重，其中tf（term frequency）表示词频，idf （inverse document frequency）表示逆文档频率，反映文档集合中出现该特征项的文档数目的频率，tf-idf权重公式如公式（1）所示：
四、分类算法
（一）k-means算法
k-means算法是应用最广泛的聚类算法之一，是一种已知聚类类别的聚类算法。
指定类别数k，对样本集合进行聚类，聚类的结果由k个聚类中心来表达。
相似度的计算根据一个簇中样本的平均值（被看作簇的中心）来进行。
首先，随机选择k个对象，每个对象初始的代表了一个簇的平均值或中心。
对剩余的每个对象，根据其与各个簇中心的距离，将它赋给最近的簇。
然后重新计算每个簇的平均值。
这个过程不断重复，直到准则函数收敛。
通常，采用平方误差准则，其定义如公式（6）：这里的e是数据库中所有对象的平方误差的总和，p是空间中的点，表示给定的数据对象，mi是簇ci的平均值（p和mi都是多维的）。
这个准则试图使生成的结果簇尽可能的紧凑和独立。
下面是k-means过程的概述。
输入：聚类的数目k和包含n个对象的数据库。
输出：k个聚类簇，使平方误差准则最小。
1）任意选择k个对象作为初始的聚类簇
2）中心；
3）重复
4）根据聚类簇
5）中对象的平均值，
6）将每个对象（重新）赋给最相似的聚类簇；
7）更新聚类簇
8）的平均值，
9）即计算每个簇
10）中对象的平均值；
11）直到不
12）再发生变化。
这个算法尝试找出使平方误差函数至最小的k个划分。
当结果簇是密集的，而簇与簇之间区别明显时，它的效果较好。
对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度是o （nkt），其中，n是所有样本的数目，k是聚类簇的数目，t是迭代的次数。
通常的kp （x | cj）p （cj），1≤j≤m，j≠i。
也就是，24、x被指派到其p （ci | x）p （ci）最大的类ci。
朴素贝叶斯算法的本质是用词和类别的联合概率估计给定文档
属于各个类别的概率。
它假设，一个词在给定类别的条件概率独立于该类的其它词的条件概率。
这样，就以降低分类精度的代价换来
了较高的执行效率。