vectorclassify-文本分类-向量空间-朴素贝叶斯
基于机器学习的自然语言处理算法简介
基于机器学习的自然语言处理算法简介自然语言处理（Natural Language Processing，简称NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、解析和生成人类语言。
随着机器学习技术的发展，基于机器学习的自然语言处理算法逐渐成为研究和应用的重点。
本文将介绍几种常见的基于机器学习的自然语言处理算法。
一、词向量表示词向量表示是自然语言处理中的一个基础问题，它将词语映射到一个低维向量空间中，使得计算机能够通过向量运算来理解和处理词语。
其中最经典的算法是Word2Vec，它基于神经网络模型，通过训练大量的语料库来学习词向量表示。
Word2Vec不仅能够捕捉词语之间的语义关系，还能够进行类比推理，例如“国王-男人+女人=女王”。
二、文本分类文本分类是自然语言处理的一个重要任务，它将文本划分到不同的类别中。
基于机器学习的文本分类算法通常使用支持向量机（Support Vector Machine，简称SVM）或者朴素贝叶斯（Naive Bayes）等算法。
这些算法通过训练一组标注好的文本样本来学习分类模型，然后利用该模型对新的文本进行分类。
三、命名实体识别命名实体识别是自然语言处理中的一个重要任务，它旨在从文本中识别出具有特定意义的实体，例如人名、地名、组织机构等。
基于机器学习的命名实体识别算法通常使用条件随机场（Conditional Random Field，简称CRF）模型。
CRF模型通过训练一组标注好的实体样本来学习识别模型，然后利用该模型对新的文本进行命名实体识别。
四、机器翻译机器翻译是自然语言处理中的一个重要任务，它旨在将一种语言的文本转化为另一种语言的文本。
基于机器学习的机器翻译算法通常使用统计机器翻译（Statistical Machine Translation，简称SMT）或者神经机器翻译（Neural Machine Translation，简称NMT）等算法。
这些算法通过训练一组平行语料（即同一段文本的不同语言版本）来学习翻译模型，然后利用该模型对新的文本进行翻译。
Python技术的文本分类方法
Python技术的文本分类方法随着电子文本内容的爆炸式增长，人们对于高效的文本分类方法的需求越来越迫切。
文本分类是一种将文本按照其语义和主题进行预先定义的类别划分的技术，可应用于信息检索、情感分析、垃圾邮件过滤等众多领域。
Python作为一种功能强大且易于上手的编程语言，为实现文本分类提供了各种灵活可靠的方法。
本文将介绍几种常用的Python技术的文本分类方法。
1. 词袋模型（Bag of Words）词袋模型是文本分类中应用最广泛的方法之一。
该方法将文本看作是一个词语的集合，而文本的特征表示则是单词的出现频率。
实现词袋模型的一种常见方法是使用Python中的CountVectorizer类。
这个类可将文本数据中的词语转换为特征向量，然后使用统计学算法训练分类器。
这个方法在文本分类中非常有效，然而它忽略了词语的顺序和语境信息。
2. TF-IDFTF-IDF（Term Frequency-Inverse Document Frequency）是另一种常用的文本分类方法，用于评估一个词语在文本中的重要性。
它通过计算词语的词频和逆文档频率，得出一个特征向量来表示文本。
在Python中的实现方式是使用TfidfVectorizer 类。
相比词袋模型，TF-IDF更加关注文本的主题和关键词，能够提供更准确的特征表示。
3. 朴素贝叶斯分类器朴素贝叶斯分类器是一种基于贝叶斯定理和特征条件独立性假设的分类方法。
在文本分类中，朴素贝叶斯分类器被广泛应用于垃圾邮件过滤和情感分析等任务。
Python中的scikit-learn库提供了多种朴素贝叶斯分类器的实现，如MultinomialNB 和BernoulliNB。
这些分类器可以将文本转换为特征向量，并使用贝叶斯概率模型来进行训练和分类。
4. 支持向量机（SVM）支持向量机是一种强大的监督学习算法，也常用于文本分类。
SVM通过构建超平面将不同类别的样本点分开。
在文本分类中，支持向量机可以将文本数据转换为高维特征空间，并寻找最佳超平面来实现分类。
自然语言处理中常见的文本分类模型对比(十)
自然语言处理中常见的文本分类模型对比在当今信息爆炸的时代，海量的文本数据正在不断产生和累积。
如何高效地对这些文本数据进行分类和分析成为了重要的课题。
自然语言处理技术的发展为文本分类提供了强大的工具，各种文本分类模型也应运而生。
本文将对常见的文本分类模型进行对比分析，包括朴素贝叶斯、支持向量机、深度学习等。
1. 朴素贝叶斯分类器朴素贝叶斯分类器是一种基于概率统计的分类模型，其基本假设是特征之间相互独立。
朴素贝叶斯分类器简单、易于实现，对小规模的数据表现良好。
然而，由于其假设的“朴素”性质，朴素贝叶斯分类器在处理复杂的文本数据时表现并不理想。
特别是对于含有大量特征之间相关性的文本数据，朴素贝叶斯分类器的性能会受到限制。
2. 支持向量机支持向量机是一种强大的分类模型，其核心思想是将数据映射到高维空间中，通过寻找一个最优的超平面来进行分类。
支持向量机在处理文本分类问题时具有较好的泛化能力和鲁棒性，尤其适用于高维度的特征空间。
然而，支持向量机在处理大规模文本数据时计算复杂度较高，需要大量的计算资源和时间。
3. 深度学习模型近年来，深度学习技术的快速发展为文本分类问题提供了全新的解决途径。
通过构建深层神经网络模型，可以自动地学习文本数据中的复杂特征和规律。
深度学习模型在处理文本分类问题时展现出了强大的表现，尤其在处理大规模数据和复杂数据结构时具有优势。
然而，深度学习模型需要大量的训练数据和调参工作，且模型的黑盒性使得解释性较差。
4. 对比与总结朴素贝叶斯分类器、支持向量机和深度学习模型分别代表了传统的统计学习方法、核方法和深度学习方法。
这三种文本分类模型在不同的场景下都有其独特的优势和局限性。
朴素贝叶斯分类器适用于简单的文本分类问题，支持向量机在高维度特征空间中表现良好，而深度学习模型则在处理复杂的文本数据时具有较强的表现。
总的来说，选择合适的文本分类模型需要根据具体的问题和数据特点来进行综合考量。
对于大规模复杂的文本数据，深度学习模型可能是一个不错的选择；而对于简单的文本分类问题，朴素贝叶斯分类器可能更为适合。
自然语言处理中的文本分类方法
自然语言处理中的文本分类方法文本分类是自然语言处理领域中的一个重要任务，它是将给定的文本按照预先定义好的类别进行分类的过程。
在现实生活中，我们经常会遇到需要对大量文本数据进行分类的情况，例如垃圾邮件过滤、情感分析、新闻分类等。
为了应对这些任务，研究者们提出了多种文本分类方法，本文将对其中的几种常见方法进行介绍和分析。
1. 朴素贝叶斯分类器朴素贝叶斯分类器是文本分类中最经典的方法之一。
它基于贝叶斯定理和特征条件独立假设，将文本表示为不同特征的集合，并计算给定类别的条件概率。
朴素贝叶斯分类器在处理大规模文本数据时具有较高的效率和良好的性能。
然而，由于特征条件独立假设的限制，朴素贝叶斯分类器在处理语义关联性较强的文本分类任务上可能表现不佳。
2. 支持向量机（SVM）支持向量机是一种二分类模型，但可以通过一对多方式扩展到多类别分类。
SVM通过把输入样本映射到高维空间，使得在该空间中能够找到一个最优的超平面来分隔不同类别的样本。
对于文本分类任务，可以使用SVM将文本表示为高维向量，然后利用这些向量进行分类。
SVM具有很好的泛化能力，并且在处理少量有标记样本的情况下也能取得较好的分类效果。
3. 深度学习模型近年来，深度学习模型在文本分类任务中取得了巨大的成功。
深度学习模型通过多层神经网络的堆叠，学习出对文本的抽象表示。
这些模型可以自动提取文本中的高级特征，从而在不依赖人工设计特征的情况下实现文本分类。
常见的深度学习模型包括卷积神经网络（CNN）、长短期记忆网络（LSTM）和深度残差网络（ResNet）等。
深度学习模型通常需要大量的标记样本和计算资源来训练，但在大规模数据和充足计算资源的情况下，其分类效果可能超越传统方法。
4. 集成学习方法集成学习方法是一种将多个分类器集成在一起进行分类的方法。
通过将多个分类器的预测结果进行加权平均或投票，可以获得更准确的分类结果。
集成学习方法可以充分利用不同分类器的优点，降低单一分类器的错误率。
自然语言处理中的词向量表示与文本分类
自然语言处理中的词向量表示与文本分类自然语言处理（Natural Language Processing，NLP）是人工智能领域的一个重要分支，旨在实现计算机对人类语言的理解和处理。
在NLP中，词向量表示和文本分类是两个重要的研究方向。
本文将介绍词向量表示的概念和方法，并探讨其在文本分类中的应用。
一、词向量表示的概念及方法在NLP中，词向量表示是将词语转化为数值向量的过程。
通过将词语映射到向量空间，可以将语义信息转化为数值，便于计算机进行处理和分析。
常见的词向量表示方法有以下几种：1. 独热编码（One-Hot Encoding）独热编码是最简单的词向量表示方法之一。
它将每个词语表示为一个与词汇表大小相等的向量，其中只有一个元素为1，其余元素都为0。
这种表示方法没有考虑词之间的语义关系，只是用来表示词语的存在与否。
2. 词袋模型（Bag-of-Words Model）词袋模型是将文本看作一个无序的词语集合，忽略词语在文本中的位置和顺序。
它将文本表示为一个固定长度的向量，向量的每个元素表示对应词语的出现次数或者TF-IDF值。
3. Word2VecWord2Vec是一种基于神经网络的词向量表示方法，通过训练一个两层的神经网络，学习到词语之间的语义关系。
它将每个词语表示为一个固定长度的向量，具有较强的语义表示能力。
4. GloVeGloVe（Global Vectors for Word Representation）是一种基于全局词共现统计的词向量表示方法。
它利用词语之间的共现信息，通过矩阵分解的方法得到词向量表示。
二、词向量表示在文本分类中的应用词向量表示在文本分类中具有重要的应用价值。
通过将文本转化为向量表示，可以利用机器学习算法对文本进行分类和预测。
以下是文本分类中常用的方法：1. 朴素贝叶斯分类器（Naive Bayes Classifier）朴素贝叶斯分类器是一种基于概率模型的文本分类方法。
文本处理中的向量空间模型
向量空间模型在文本处理中的应用引言在信息检索和自然语言处理领域，向量空间模型是一种常用的文本表示方法。
它将文本转换为向量形式，通过计算向量之间的相似度来实现文本分类、聚类和检索等任务。
本文将详细介绍向量空间模型在文本处理中的原理、应用和优化方法。
1. 向量空间模型的原理向量空间模型基于词袋模型，将文本表示为一个高维向量。
每个维度代表一个词语，而向量中的值表示该词语在文本中出现的次数或权重。
通过这种方式，可以捕捉到不同词语在文本中的重要性和关联性。
具体而言，向量空间模型包括以下步骤：1.文本预处理：去除停用词、标点符号等无关信息，并进行词干化或词形还原等操作。
2.构建词典：将所有文档中出现过的词语构建成一个词典。
3.文档表示：对每个文档进行向量化表示，常见的方法有计算词频（TermFrequency）或使用TF-IDF（Term Frequency-Inverse DocumentFrequency）对词频进行加权。
4.向量相似度计算：通过计算向量之间的余弦相似度或欧氏距离等指标，来度量文本之间的相似性。
2. 向量空间模型的应用向量空间模型在文本处理中有广泛的应用，包括但不限于以下几个方面：2.1 文本分类文本分类是将文本分为不同类别的任务。
向量空间模型可以将每个文档表示为一个向量，并使用分类算法（如朴素贝叶斯、支持向量机等）进行分类。
通过对训练集进行学习，可以构建一个分类器，用于对新文档进行分类。
2.2 文本聚类文本聚类是将相似的文档分到同一类别的任务。
向量空间模型可以通过计算向量之间的相似度，将相似的文档聚在一起。
常见的聚类算法有K-means、层次聚类等。
2.3 文本检索文本检索是根据用户输入的查询词，在大规模文本库中找到相关文档的任务。
向量空间模型可以将用户查询和每个文档表示为向量，并计算它们之间的相似度。
通过排序相似度得分，可以返回与查询最相关的前几个结果。
2.4 信息抽取信息抽取是从文本中提取结构化信息的任务。
文本分类聚类算法
文本分类聚类算法
文本分类聚类算法是一种将文本数据根据其内容或特征进行分类和聚类的方法。
常见的文本分类聚类算法有以下几种：
1. K-means聚类算法：K-means是一种基于距离的聚类算法，
可以用于将文本数据划分为k个不同的类别。
该算法通过迭代地更新类别的均值来找到最佳的聚类结果。
2. 层次聚类算法：层次聚类算法通过计算文本数据之间的相似度或距离来将其分层次地组织成一个层次结构。
这样可以通过设置层次结构中的切割点来得到不同的聚类结果。
3. 朴素贝叶斯分类算法：朴素贝叶斯分类算法是一种基于统计学原理的文本分类算法，它通过计算文本数据在不同类别下的条件概率来进行分类。
4. 支持向量机分类算法：支持向量机分类算法是一种基于机器学习的文本分类算法，它通过在特征空间中构建一个最优的超平面来实现分类。
5. 基于深度学习的分类算法：近年来，随着深度学习的发展，深度学习在文本分类聚类领域也得到了广泛应用。
常见的深度学习模型包括卷积神经网络（CNN）和循环神经网络（RNN）等。
这些算法在不同场景下有不同的适用性和性能表现，具体选择哪种算法需要根据具体问题和数据特点来决定。
文本分类的关键技术
文本分类的关键技术文本分类是一种将文本划分为不同类别的自然语言处理任务，它在信息检索、情感分析、垃圾邮件过滤等领域具有重要应用。
实现文本分类的关键技术包括：特征提取、分类模型选择和模型训练等。
1. 特征提取：特征提取是文本分类的关键技术之一，它通过将文本转化为计算机可处理的向量表示，为后续的分类模型提供输入。
常用的特征提取方法包括词袋模型、TF-IDF模型和Word2Vec 模型等。
- 词袋模型：将文本表示为一个固定大小的向量，其中包含文档中出现的词或短语的频率或存在性。
这种模型忽略了单词的顺序和上下文信息，但在处理大规模文本数据时具有较快的计算速度和较低的内存占用。
- TF-IDF模型：通过计算词的词频（TF）和逆文档频率（IDF）来衡量词的重要性。
TF 表示词在文档中出现的频率，IDF表示词在整个语料库中的重要程度。
TF-IDF模型能够在保留一定上下文信息的降低常见词的权重。
- Word2Vec模型：通过将词映射到一个高维空间中的向量来表示词的语义信息。
该模型通过训练神经网络来学习词之间的关系，使得类似的词在向量空间中距离较近。
Word2Vec模型能够较好地处理语义相似的词，且保留了一定的上下文信息。
2. 分类模型选择：选择合适的分类模型对文本分类的准确性和效果有重要影响。
常用的分类模型包括朴素贝叶斯、支持向量机（SVM）、逻辑回归和深度学习模型等。
- 朴素贝叶斯：基于贝叶斯定理和特征条件独立性的假设，通过计算给定输入的条件下各个类别的概率来进行分类。
朴素贝叶斯模型具有较快的训练速度和较低的内存占用，适用于大规模数据集和高维特征。
- 支持向量机（SVM）：通过寻找一个最优的超平面将不同类别的样本分开。
SVM模型具有较高的分类准确性和较好的泛化能力，特别适用于处理高维特征的文本分类任务。
- 逻辑回归：通过建立一个线性的回归模型来进行分类。
逻辑回归模型具有较快的训练速度和较好的模型解释性，适用于二分类和多分类问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
另一个朴素贝叶斯模型： 贝努利模型
13 13
分类评价
▪ 评价必须基于测试数据进行，而且该测试数据是与训练数 据完全独立的 (通常两者样本之间无交集)
▪ 很容易通过训练可以在训练集上达到很高的性能 (比如记 忆所有的测试集合)
▪ 指标: 正确率、召回率、 F1值、分类精确率(classification accuracy)等等
▪ 对于一些其他文本分类器方法来说，特征选择也是获得 好结果的必要手段
31
另一种互信息Βιβλιοθήκη 定义- (点)互信息( Pointwise Mutual Information，PMI)：PMI越大t和c 共现程度越大
I (t, c) log P(t c) log P(t | c) log A N
P(WTO|China) ▪ 如果 WTO 在训练集中没有出现在类别 China中:
99
MLE估计中的问题：零概率问题（续）
▪ 如果 WTO 在训练集中没有出现在类别 China中，那么就会有 如下的零概率估计：
▪ → 那么，对于任意包含WTO的文档，P(China|d) = 0。 ▪ 一旦发生零概率，将无法判断类别
44
利用Rocchio方法进行向量空间分类
▪ 相关反馈和文本分类的主要区别在于：
▪ 在文本分类中，训练集作为输入的一部分事先给定 ▪ 在相关反馈中，训练集在交互中创建
▪ Tct 是训练集中类别c中的词条t的个数 (多次出现要计算多次) ▪ 给定如下的 朴素贝叶斯 独立性假设(independence
assumption):
88
MLE估计中的问题：零概率问题
P(China|d) ∝ P(China) ・ P(BEIJING|China) ・ P(AND|China) ・ P(TAIPEI|China) ・ P(JOIN|China) ・
24
互信息(Mutual information)
▪ 特征效用 A(t, c) 采用词项t 和类别 c的期望互信息 (Expected Mutual Information)来计算
▪ MI给出的是词项所包含的有关类别的信息及类别包含的 有关词项的信息量
▪ 比如，如果词项的出现与否与类别独立(不同类别中包含 和不包含词项的文档比例完全一样)
2 MAX
(t)
max
im1{
2
(t,
ci
)}
i 1
34
特征选择方法的性能比较(1)
35
特征选择方法的性能比较(2)
36
特征选择方法的性能比较(3)
CMU Yang Yi-ming 的实验结论
Yang, Y., Pedersen J.P. A Comparative Study on Feature Selection in Text Categorization. Proceedings of the Fourteenth International Conference on Machine Learning (ICML'97), 1997, pp412-420.
❹ Rocchio
❺ kNN
❻ 线性分类器
❼ 多类情况
43
相关反馈(Relevance feedback)
▪ 在相关反馈中，用户将文档标记为相关/不相关 ▪ 相关/不相关可以看成两类。 ▪ 对每篇文档，用户觉得它到底属于哪个类别 ▪ IR 系统使用用户的类别判定结果来构建一个能反映信息
需求的更好的查询 ▪ . . . 并返回更好的文档 ▪ 相关反馈可以看成文本分类的一种形式。
▪ 定义：
25
(期望)互信息的另一种定义
- 信息增益(Information Gain, IG)：该term为整个分类所能提供 的信息量(不考虑任何特征的熵和考虑该特征后的熵的差值)
IG(t) Entropy(S) Expected Entropy(St )
M i 1
P(ci
)
log
P(ci
分类 ▪ Rocchio分类器：将Rocchio相关反馈思想应用于文本分类
领域 ▪ k近邻分类器 ▪ 线性分类器 ▪ 多类问题
18
提纲
❶ 上一讲回顾 ❷ 特征选择
❸ 基于向量空间的分类方法
❹ Rocchio
❺ kNN
❻ 线性分类器
❼ 多类情况
19
特征选择
▪ 文本分类中，通常要将文本表示在一个高维空间下，每 一维对应一个词项
ARACHNOCENTRIC标志着类别 China的出现 ▪ 这种从训练集中的偶然现象学习得到的一般化结果称为
过学习(overfitting) ▪ 特征选择能减少过学习的可能性，提高分类器的精度
21
基本的特征选择算法
22
特征选择所考虑的因素
- 类内代表性 - 类间区别性 - 特征子集的最优性
23
20
噪音特征的例子
▪ 比如我们将对文本是否属于China类进行判断 ▪ 假定某个罕见词项，比如 ARACHNOCENTRIC，没有任
何关于 China 类的信息 ▪ . . . 但是在训练集中，ARACHNOCENTRIC的所有出现正
好都在 China这个类别中 ▪ 这种情况下，我们就可能训练得到一个分类器，它认为
选择P(c)最高的那个类别
66
具有最大后验概率的类别
▪ 朴素贝叶斯分类的目标是寻找“最佳”的类别 ▪ 最佳类别是具有最大后验概率(maximum a posteriori -
MAP)的类别 cmap:
77
参数估计 : 极大似然估计
▪ 如何从训练数据中估计 和
？
▪ 先验:
▪ Nc : 类c中的文档数目; N: 所有文档的总数 ▪ 条件概率:
10 10
避免零概率: 加一平滑
▪ 平滑前： ▪ 平滑后: 对每个量都加上1 ▪ B 是不同的词语个数 (这种情况下词汇表大小 |V | = B)
11 11
避免零概率: 加一平滑（续）
▪ 利用加1平滑从训练集中估计参数 ▪ 对于新文档，对于每个类别，计算
▪ (i) 先验的对数值之和以及 ▪ (ii) 词项条件概率的对数之和 ▪ 将文档归于得分最高的那个类
14 14
正确率P 及召回率 R
P = TP / ( TP + FP) R = TP / ( TP + FN)
15 15
F值
▪ F1 允许在正确率和召回率之间达到某种均衡 ▪ ▪ 也就是P和R的调和平均值 and R:
16 16
微平均 vs. 宏平均
▪ 对于一个类我们得到评价指标F1 ▪ 但是我们希望得到在所有类别上的综合性能 ▪ 宏平均(Macroaveraging)
39
向量空间分类
▪ 同前面一样，训练集包含一系列文档，每篇都标记着它 的类别
▪ 在向量空间分类中，该集合对应着空间中一系列标记的 点或向量。
▪ 假设 1: 同一类中的文档会构成一片连续区域（contiguous region）
▪ 假设2: 来自不同类别的文档没有交集 ▪ 接下来我们定义直线、平面、超平面来将上述不同区域
不同的特征选择方法
▪ 特征选择方法主要基于其所使用特征效用(Utility)指标来 定义。
▪ 特征效用指标：
▪ 频率法 (DF)– 选择高频词项 ▪ 互信息(MI-Mutual information) – 选择具有最高互信息的那
些词项 ▪ 这里的互信息也叫做信息增益(IG-information gain) ▪ 卡方(Chi-square)
▪ 本讲义中，我们不特意区分不同的概念: 每个坐标轴 = 维 = 词语 = 词项 = 特征
▪ 许多维上对应是罕见词，而罕见词可能会误导分类器 ▪ 这些会误导分类器的罕见词被称为噪音特征（noise
feature） ▪ 去掉这些噪音特征会同时提高文本分类的效率和效果 ▪ 上述过程称为特征选择（feature selection）
27
Reuters 语料中poultry/EXPORT的MI计算
28
MI 特征选择的结果
29
朴素贝叶斯: 特征选择的效果
(multinomial = 多项式朴素贝叶斯） binomial= 贝努利朴素贝叶斯)
30
朴素贝叶斯中的特征选择
▪ 一般来说，为了获得较好的结果，朴素贝叶斯有必要进 行特征选择
分开
40
向量空间中的类别
• 文档*到底是属于UK、China还是Kenya类？首先找到上述类别 之间的分类面，然后确定文档所属类别，很显然按照图中分 类面，文档应该属于China类
• 如何找到分类面并将文档判定给正确类别是本讲的重点。
41
题外话: 2D/3D 图形可能会起误导作用
左图：从二维空间的半圆映射到一维直线上。点x1、x2、x3、x4、x5 的X轴坐 标分别是−0.9、−0.2、0、0.2和0.9，距离| x2x3| ≈ 0.201，和| x2‘ x3’ | = 0.2只
❻ 线性分类器
❼ 多类情况
3
上一讲内容
• 文本分类的概念及其与IR的关系 • 朴素贝叶斯分类器(朴素贝叶斯) • 文本分类的评价
44
文本(主题)分类
55
朴素贝叶斯分类器
▪ 朴素贝叶斯是一个概率分类器
▪ 文档 d 属于类别 c 的概率计算如下：
▪ nd 是文档的长度(词条的个数) ▪ P(tk |c) 是词项tk 出现在类别c中文档的概率 ▪ P(tk |c) 度量的是当c是正确类别时tk 的贡献 ▪ P(c) 是类别c的先验概率 ▪ 如果文档的词项无法提供属于哪个类别的信息，那么我们直接
)
[P(t)(
M i 1
P(ci
|