第六章文本分类与聚类
文本分类过程PPT课件
支持向量机（Support Vector Machine，SVM），其分类思想是给定给一个包含正例和反例的样 本集合，svm算法的目的是寻找一个超平面来对样本根据正例和反例进行分割。它在解决小样本、 非线性及高维模式识别中表现出许多特有的优势。
2019/12/30
17
中文文本分类过程中涉及许多 过程及参数，都会在不同程度 上影响分类器的分类效率。
特征个数越多，分析特征、训练模型所需的时间就越长。
特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。
特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数 ，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化了 模型，使研究人员易于理解数据产生的过程。
文本可以是媒体新闻、科技、报告、电子邮件、网页、书籍或像微博 一样的一段语料。由于类别时事先定义好的，因此分类是有监督的。
2019/12/30
5
01 文本分类应用领域
信息过滤
对获取的信息进行二分类的处理，即将用户需求的信息过滤出来，发送给 用户；将用户不感兴趣、不需要的不良信息、反动信息等过滤掉。垃圾邮 件过滤、新闻选择以及手机信息过滤等都是信息过滤的典型应用。
当前的知识信息主要以文本作为载体，大部分文本信息以非结 构化或半结构化的形式存在，如电子邮件、电子文档以及电子 档案等，它们不易被机器理解也不可能完全依靠人工进行管理。 因此，采用信息化手段通过机器学习方法对这些文本信息进行 处理显得尤为重要。
2019/12/30
4
01 文本分类概述
文本分类技术（Text Categorization，TC）作为组织和管理文本信 息的有效手段，主要任务是自动分类无标签文档到预定的类别集合中。
聚类算法在文本分类中的应用研究
聚类算法在文本分类中的应用研究随着互联网的发展，信息爆炸的局面愈发明显，海量的文本数据让人们感到头疼。
如何对这些文本进行分类和归纳，已经成为一个亟待解决的问题。
传统的文本分类方法通常是使用人工规则或者机器学习算法来处理。
然而，传统的文本分类方法通常对数据的要求比较高，不仅需要熟悉各种规则，而且还需要对数据本身有很深的了解。
在这种情况下，聚类算法成为了一种比较优秀的文本分类方法。
本文将介绍聚类算法在文本分类中的应用研究，并探讨如何改进聚类算法以提高文本分类的准确性。
一、聚类算法在文本分类中的应用聚类算法是将对象分为若干个类的方法，每个类的对象都有相似的性质。
在文本分类中，聚类算法将文本数据分为几个类别，每个类别包含一些相似的文本。
现在，有很多聚类算法可供选择，如K-means、层次聚类、谱聚类等。
1. K-means算法K-means算法是一种最常用的聚类算法之一。
该算法旨在将数据划分为k个不同的组，使得每个数据点都属于其中之一。
K-means算法的核心思想是根据数据点之间的欧几里得距离将数据点分配到最近的类中心。
该算法具有简单、易理解、易实现的优点。
但是，K-means算法的缺点也比较明显，因为它依赖于数据点之间的误差平方和，但是误差平方和无法“指导”聚类过程，因此导致聚类结果并不总是最优的。
2. 层次聚类算法层次聚类算法是另一种常用的文本分类算法。
该算法将数据点分层次聚类，发送数据点完全相似的层次结构。
在层次聚类中，数据点被处理成一棵树状图，不同的叶子节点代表不同的类别，相似的叶子节点被合并成较大的类别。
层次聚类的优点是可以处理大型数据集。
然而，该算法的缺点是需要进行大量的计算。
3. 谱聚类算法谱聚类算法是一种基于图论的聚类算法。
该算法先将文本数据处理成一个序列图，然后通过对其进行谱分解，得出特征向量，将样本点通过聚类算法分为不同的类别。
谱聚类算法的优点是可以处理小样本；缺点是计算矩阵特征向量和特征值。
6文本分类全解
主要内容
? 文本分类及文档的特征向量 ? 余弦相似度 ? 使用分类算法进行文本分类 ? 逆文档频率 TF-IDF ? TF-IDF的信息论依据 ? 浅谈中文分词
度量两篇新闻的相似度
? 设两篇新闻的特征向量为 x (x1, x2, ...) 和 y (y1, y2, ...) ， 它们的欧氏距离为 d(x, y)：
信息熵 (Entropy)
? 一条信息的信息量和它的不确定性有着直接的关系 ? 比如，要搞清楚一件非常不确定的事，或是我们一无所知
的事情，就需要了解大量信息。相反，如果我们对某件事 已经有了较多了解，那么不需要太多信息就能把它搞清楚 ? 从这个角度看，信息量就等于不确定性的多少 ? 如何量化信息的度量呢？
应用：新闻分类 - 使用kNN
? 计算每训练数据中每条新闻和待分类新闻的相似度 ? 找出和待分类新闻相似度最大的k条新闻 ? 找到的k条新闻中哪个类别占的最多，待分类新闻就属于哪
个类别
应用：新闻分类 - 使用朴素贝叶斯
P(Ci
| w) ?
P(w | Ci )P(Ci ) P(w)
w为新闻特征向量，Ci为新闻类别。 对于一条新闻，找到使P(Ci|w)最大的新闻分类，将新闻划分到该类别中
利用欧氏距离
similarity(A, B) = similarity(A, C) =
1 ? 0.414 2?1 1
? 0.261 8?1
应用：论文分组
? 1998年，约翰?霍普金斯大学的教授雅让斯基是某国际会议 的程序委员会主席，需要把提交上来的几百篇论文发给各 个专家去评审决定是否录用。为保证评审的权威性，需要 把每个研究方向的论文交给这个方向最有权威的专家。
信息熵 (Entropy)
文本自动分类聚类技术
Says Open Farm Trade Would Hit
Says 1986 Conditions
Said It Sets Two-for-Five Bonus Issue
Six Mln
U.S. Unfavourable Replacing
Crowns in
“B” Shares
1986
Italy’s La
......
小结
自动分类的概念
分类效果的评价
特征选择
文档频率法（DF, document frequency ）
信息增益法（information gain） 互信息法（mutual information） The χ2 test（chi-square）
分类算法
KNN SVM
什么是聚类分析?
聚类分析就是按照一定的规律和要求对事物进行区分和分类的过程，在 这一过程中没有任何关于类分的先验知识，没有指导，仅靠事物间的相 似性作为类属划分的准则。
聚类分析的数学描述
定义聚类(簇 Cluster)：给定一数据样本 集X｛X1,X2,…,Xn｝，根据数据点间的相 似程度将数据集合分成k簇｛C1,C2,…,Ck｝ 过程称为聚类。
Clusters should be computed to Contain similar documents Separate as much as possible different documents
文本挖掘技术 文本自动分类技术
知识的组织
知识的结构问题和知识是孪生的
结构本身也是知识
分类体系
杜威十进制系统（图书分类）， 国会图书馆的目录， AMS（美国数学会）的数学知识体系
聚类算法在中文文本分类中的应用研究
聚类算法在中文文本分类中的应用研究中文文本分类是信息检索、文本挖掘等领域中的重要研究方向，旨在将大量文本自动分为若干种类别，有助于提高信息检索和文本挖掘的效率。
而聚类算法是一种常用的文本分类方法，其被广泛应用于中文文本分类中。
一、聚类算法概述聚类算法是一种无监督学习方法，其主要目标是将一组数据分成若干个类别，使得每个类别内部的数据点相似度较高，而不同类别之间的相似度较低。
聚类算法通常包括层次聚类与划分聚类两类。
其中层次聚类又分为凝聚聚类与分裂聚类。
凝聚聚类从下往上逐渐将数据点聚合成多个类别，而分裂聚类则从上往下逐渐将数据点划分为多个类别。
划分聚类将数据点划分为多个类别，然后再逐渐细分为更小的类别。
二、聚类算法在中文文本分类中的应用中文文本分类是一个非常具有挑战性的问题，因为中文语言的复杂性和多样性，导致进行文本分类时往往需要考虑语义、上下文等因素。
因此，聚类算法被广泛应用于中文文本分类中。
1. 优点聚类算法在中文文本分类中有着许多优点。
首先，聚类算法是一种无监督学习方法，其不需要对训练数据进行标记，从而减轻了数据标记的负担。
其次，聚类算法能够自动学习文本样本之间的关系，找到文本样本之间的相似性，实现自动分类。
第三，聚类算法可以发现未知的类别，从而更好地应对新的数据输入。
2. 应用场景聚类算法在中文文本分类中的应用场景非常广泛。
例如，可以将一组新闻文章聚类成不同的主题类别，或者将一批产品评论聚类成不同的情感类别，从而更好地分析用户反馈和趋势等。
此外，聚类算法也可以应用于电商商品的分类、网页内容的分类等。
三、聚类算法在中文文本分类中的局限性聚类算法在中文文本分类中有其局限性，这主要表现在以下几个方面。
1. 局限于特征选择在使用聚类算法进行中文文本分类时，需要将文本样本转化为向量表示。
而不同的特征选择会对分类结果产生重大影响。
因此，需要针对不同的数据集进行特征选择，才能够达到较好的分类效果。
2. 局限于聚类数选择聚类算法需要指定聚类的数目，而聚类数的选择往往是一个非常困难的问题。
基于人工智能的文本聚类与分类优化研究
基于人工智能的文本聚类与分类优化研究引言：随着互联网的快速发展和信息爆炸式增长，人们面临着海量的文本数据，如何高效地对这些数据进行聚类和分类成为了一个重要的研究方向。
人工智能的快速发展为文本聚类与分类提供了新的解决方案。
本文将探讨基于人工智能的文本聚类与分类优化研究。
一、文本聚类与分类的背景和意义1.1 文本聚类的背景文本聚类是将具有相似主题或语义的文本数据分组的过程。
通过文本聚类，可以发现文本数据中的隐藏模式和规律，为后续的文本分类和信息检索提供支持。
1.2 文本分类的背景文本分类是将文本数据自动分类到预定义的类别中的过程。
通过文本分类，可以实现对海量文本数据的快速归类和检索，提高信息处理的效率。
1.3 文本聚类与分类的意义文本聚类与分类的研究对于信息检索、情感分析、舆情监测等领域具有重要意义。
通过高效的文本聚类与分类算法，可以提高信息检索的准确性和效率，为用户提供更好的搜索体验。
同时，可以通过对文本数据进行情感分析和舆情监测，帮助企业和政府了解公众的意见和情感倾向，为决策提供参考。
二、基于人工智能的文本聚类与分类方法2.1 传统方法的局限性传统的文本聚类与分类方法通常基于统计学和机器学习技术，如K-means、SVM等。
然而，这些方法在处理大规模文本数据时存在一定的局限性，如计算复杂度高、特征选择困难等。
2.2 基于深度学习的文本聚类与分类方法近年来，深度学习在文本聚类与分类领域取得了显著的成果。
深度学习模型可以通过自动学习特征表示，从而避免了传统方法中的特征选择问题。
例如，基于卷积神经网络（CNN）和循环神经网络（RNN）的模型可以有效地捕捉文本数据的局部和全局信息，提高聚类与分类的准确性。
2.3 基于迁移学习的文本聚类与分类方法迁移学习是指将从一个任务中学到的知识迁移到另一个相关任务中的过程。
在文本聚类与分类中，可以通过迁移学习来充分利用已有的标注数据，提高模型的泛化能力。
例如，可以通过在大规模通用文本数据上预训练模型，然后在特定领域的数据上进行微调，从而提高文本聚类与分类的性能。
《Python自然语言处理入门与实战》教学大纲
《Python自然语言处理入门与实战》教学大纲课程名称：Python自然语言处理入门与实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论34学时，实验30学时）总学分：4.0学分一、课程的性质自然语言处理作为人工智能的一个重要分支，促进了社会传播学的发展，并且在新闻传播领域中的影响也越来越深刻。
社会传播学是一门研究人类交流形式的学问，新闻包含于传播之中，而语言交流和文字交流是人类最重要的交流方式。
分析语言的成分和结构，理解语义和深层意义，是社会传播学与自然语言处理的共同任务。
自然语言处理与社会传播学的融合研究正在成为新的趋势，中文自然语言处理能够迅速且有效地处理新媒体特别是网络和社交媒体中海量的内容与知识，能够有效加速社会传播学的研究进展。
由于中文自然语言处理的研究起步较晚，加上中文语句本身结构更为松散，语法和语义更为灵活，因此无法直接套用英文自然语言处理中较成熟的理论和技术。
与具有相对完善理论框架的社会传播学进行结合能够为中文自然语言处理的发展带来新的机遇。
为了推动我国大数据，云计算，人工智能和新闻传媒行业的发展，满足日益增长的数据分析人才需求，特开设Python自然语言处理入门与实战。
二、课程的任务通过本课程的学习，使学生学会使用Python进行数据爬取、分词与词性标注、命名实体识别、关键词提取、文本向量化、文本相似度计算、文本分类与聚类，并详细拆解学习情感分类、文本分类和智能推荐三个实际案例，将理论与实践相结合，为将来从事数据分析挖掘研究、工作奠定基础。
三、课程学时分配四、教学内容及学时安排1.理论教学2.实验教学五、考核方式突出学生解决实际问题的能力，加强过程性考核。
课程考核的成绩构成 = 平时作业（10%）+ 课堂参与（20%）+ 期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、数据爬取、分词与词性标注、命名实体识别、关键词提取、文本向量化、文本相似度计算、文本分类与聚类等部分，题型可采用判断题、选择、简答、应用题等方式。
第6章文本分类与聚类
BEP和 BEP和F测度
BEP（breakpoint） BEP（break-even point）
当准确率和召回率相等时的值即为BEP 当准确率和召回率相等时的值即为BEP
F测度，取β=1 测度，
Fβ
( p , r ) = (β
+ 1 pr β2p+r
2
)
F1 =
2 pr p + r
BEP和 测度的值越大， BEP和F测度的值越大，则表示分类器的性能越 好。 BEP只是F1所有可能取值中的一个特定值 只是F1所有可能取值中的一个特定值（ BEP只是F1所有可能取值中的一个特定值（当p r时），因此BEP小于或等于F1的最大值 因此BEP小于或等于F1的最大值。 = r时），因此BEP小于或等于F1的最大值。
20
分类的评测
偶然事件表（ Table） 偶然事件表（Contingency Table）
属于此类 判定属于此类 判定不属于此类 A C 不属于此类 B D
对一个分类器的度量
准确率(precision) = a / (a + b) 准确率(precision) 召回率(recall) 召回率(recall) = a / (a + c) fallout = b / (b + d)
自动的方法(学习) 自动的方法(学习)：从训练语料中学习规则
优点： 优点：
快速 准确率相对高(准确率可达60%或者更高) 60%或者更高 准确率相对高(准确率可达60%或者更高) 来源于真实文本， 来源于真实文本，可信度高
缺点： 缺点：
结果可能不易理解(比如有时是一个复杂的数学表达式) 结果可能不易理解(比如有时是一个复杂的数学表达式)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最简单的降低特征空间维数的方法 稀少的词具有更多的信息，因此不宜用DF大幅度地 删除词
30
词的熵
term的熵
该值越大，说明分布越均匀，越有可能出现在 较多的类别中； 该值越小，说明分布越倾斜，词可能出现在较 少的类别中
Entropy(t ) P(ci | t ) log P(ci | t )
12
一种中文网页的分类体系
13
系统结构
训练数据
文本
预处理
标注工具
模型数据
机器学习工具
标注的样本
新数据
文本
预处理
分类工具
类别
14
文本分类的应用
垃圾邮件的判定(spam or not spam)
类别{spam, not-spam}
新闻出版按照栏目分类
类别{政治,体育,军事,…}
类别{名词,动词,形容词,…} 类别{词义1,词义2,…}
度量两者(term和类别)独立性程度
2 越大，独立性越小，相关性越大 若AD<BC,则类和词独立, N=A+B+C+D
34
特征提取方法的性能比较(Macro-F1)
35
特征提取方法的性能比较(Micro-F1)
36
结论
可以看出CHI，IG，DF性能好于MI MI最差 CHI，IG，DF性能相当 DF具有算法简单，质量高的优点，可以 替代CHI，IG
22
多类分类问题的评价
宏平均（macro-averaging）
先对每个分类器计算上述量度，再对所有分 类器求平均 是关于类别的均值 先合并所有分类器的偶然事件表中的各元素， 得到一个总的偶然事件表，再由此表计算各 种量度。 是关于文本的均值
23
微平均（micro-averaging）
收集训练数据
互信息(Mutual Information)：MI越大t和c共 现程度越大 互信息的定义与交叉熵近似，只是互信息不考 虑t不出现的概率，它的定义为：
I (t ) i Pr (ci ) log
I AVG (t ) P(ci ) I (t , ci )
i 1 m
Pr (t | ci ) Pr (t )
20
分类的评测
偶然事件表（Contingency Table）
属于此类 判定属于此类 判定不属于此类 A C 不属于此类 B D
对一个分类器的度量
准确率(precision) = a / (a + b) 召回率(recall) = a / (a + c) fallout = b / (b + d)
15
词性标注
词义排歧
文本分类的过程（1）
获取训练文档集合
训练(training)：即从训练样本中学习分类的规律。 测试(test或分类classification)：根据学习到的规律对新来 的文本进行类别判定。 目前的文本分类系统，绝大多数都是以词语来表征文档 的，用关键词、短语、主题词、概念的都有。
9
关于分类体系
分类体系的构建标准可以是按照语义(如：政治、 经济、军事…)，也可以是按照其他标准(如：垃圾 vs. 非垃圾；游戏网站vs. 非游戏网站)，完全取决于 目标应用的需求。 分类体系一般由人工构造，可以是层次结构。
一些分类体系: Reuters语料分类体系、中图分类、 Yahoo ！分类目录。
21
BEP和F测度
BEP（break-even point）
当准确率和召回率相等时的值即为BEP
F测度，取β=1
F p, r
β
1 pr 2pr
2
F 1
2 pr pr
BEP和F测度的值越大，则表示分类器的性能越 好。 BEP只是F1所有可能取值中的一个特定值（当p = r时），因此BEP小于或等于F1的最大值。
I MAX (t ) max im 1 I (t , ci )
33
2统计量（CHI）：
2统计量的定义可以从一个词t与一个类别c的 偶然事件表引出（假设文本的总数为N ）
t ~t
c A C
Байду номын сангаас
~c B D
N ( AD CB) 2 2 (t , c) ( A C )( B D)( A B)(C D)
863评测语料(中图分类) 搜狗语料 复旦语料
25
训练集的大小
通过不断增加实例的个数，考察每个类训练样 本对分类器质量的影响
宏观F1 微观F1
26
特征提取
27
特征提取(Feature Selection)
在文本分类问题中遇到的一个主要困难就是高维 的特征空间
通常一份普通的文本在经过文本表示后，如果以词为特 征，它的特征空间维数将达到几千，甚至几万 大多数学习算法都无法处理如此大的维数
TREC提供统一的训练集和测试集进行系 统评测
国外：CMU,BERKLEY,CORNELL 国内：中科院计算所，清华大学，复旦大学
后续增加了网页语料和中文文本
但是中文文本是新华社的新闻稿，与网页的 分类体系还有差别
24
目前已有的评测语料
有指导的机器学习方法是实现中文网页 自动分类的基础，因此训练集是实现分 类的前提条件 已有训练语料
在不牺牲分类质量的前提下尽可能降低特征空间 的维数 特征选取的任务将信息量小，不重要的词汇从特 征空间中删除，减少特征项的个数 在许多文本分类系统的实现中都引入了特征提取 方法
28
特征选择举例
对每类构造k 个最有区别能力的term 例如：
计算机领域：
主机、芯片、内存、编译 …
轮胎，方向盘，底盘，气缸，…
i
31
信息增益(Information Gain, IG)
该term为整个分类所能提供的信息量 不考虑任何特征的熵和考虑该特征后的熵的差值 信息增益计算的是已知一个词t是否出现在一份文本中对于 类别预测有多少信息。 这里的定义是一个更一般的、针对多个类别的定义。
t 出现的概率 t 不出现
建立文档表示模型
16
文本分类的过程（2）
特征选择
不管是训练还是测试，都要先分析出文本的某些特征 (feature，也称为标引项term)，然后把文本变成这些特 征的某种适宜处理的表示形式，通常都采用向量表示形 式或者直接使用某些统计量。 建立从文档特征（或属性）到文档类别的映射关系，是 文本分类的核心问题。现有的分类方法主要来自两个方 面：统计和机器学习，比较著名的文档分类方法有kNN 、Naïve Bayes（NB）、SVM等等。
6
分类的概念
给定:
一个实例的描述, xX, X是实例空间 一个固定的文本分类体系: C={c1, c2,…cn} 由于类别是事先定义好的，因此分类是有指 导的（或者说是有监督的） 实例x的类别 c(x)C, c(x) 是一个分类函数， 定义域是 X ，值域是C
7
确定:
文本分类的定义
文本分类与聚类
1
这一部分将讲述
文本分类及聚类的概念 文本特征的提取方法 贝叶斯分类，KNN分类 层次聚类的方法
2
文本分类概述
3
概述
文本分类包括普通文本分类和网页文本分类 中文网页分类技术已经成为中文信息处理领 域的一项基础性工作 网页分类可以为搜索引擎用户提供目录导航 服务，进而提高系统查准率 网页分类可以为个性化搜索引擎奠定基础
G (t ) Pr (t )i Pr (ci | t ) log
Pr (ci | t ) P (c | t ) Pr (t )i Pr (ci | t ) log r i Pr (ci ) Pr (ci )
取第 i 个类别时 的概率
32
假定t 出现时取第i 个 类别的概率
互信息（Mutual Information）
汽车领域:
29
用文档频率选特征
文档频率
DF (Document Frequency) DFi：所有文档集合中出现特征i的文档数目
基本假设：稀少的词或者对于目录预测没有帮 助，或者不会影响整体性能。 实现方法：先计算所有词的DF，然后删除所有 DF小于某个阈值的词，从而降低特征空间的维 数。 优缺点：
从类别数目来分
2类问题，属于或不属于(binary) 多类问题，多个类别(multi-class)，可拆分成2类问题 一个文本可以属于多类(multi-label)
从是否兼类看分
单标签(single label)问题：一个文本只属于一个类 多标签(multi-label)问题：一个文本可以属于多类，即出 现兼类现象
37
分类器学习
训练样本实例：<x, c(x)>
一个文本实例 xX 带有正确的类别标记 c(x)
学习的过程是在给定训练样本集合D 的 前提下，寻找一个分类函数h(x), 使得:
x, c( x) D : h( x) c( x)
5