主题模型LDA简介
LDA主题模型
LDA主题模型（⼀）LDA作⽤传统判断两个⽂档相似性的⽅法是通过查看两个⽂档共同出现的单词的多少，如TF-IDF等，这种⽅法没有考虑到⽂字背后的语义关联，可能在两个⽂档共同出现的单词很少甚⾄没有，但两个⽂档是相似的。
举个例⼦，有两个句⼦分别如下：“乔布斯离我们⽽去了。
”“苹果价格会不会降？”可以看到上⾯这两个句⼦没有共同出现的单词，但这两个句⼦是相似的，如果按传统的⽅法判断这两个句⼦肯定不相似，所以在判断⽂档相关性的时候需要考虑到⽂档的语义，⽽语义挖掘的利器是主题模型，LDA就是其中⼀种⽐较有效的模型。
在主题模型中，主题表⽰⼀个概念、⼀个⽅⾯，表现为⼀系列相关的单词，是这些单词的条件概率。
形象来说，主题就是⼀个桶，⾥⾯装了出现概率较⾼的单词，这些单词与这个主题有很强的相关性。
怎样才能⽣成主题？对⽂章的主题应该怎么分析？这是主题模型要解决的问题。
⾸先，可以⽤⽣成模型来看⽂档和主题这两件事。
所谓⽣成模型，就是说，我们认为⼀篇⽂章的每个词都是通过“以⼀定概率选择了某个主题，并从这个主题中以⼀定概率选择某个词语”这样⼀个过程得到的。
那么，如果我们要⽣成⼀篇⽂档，它⾥⾯的每个词语出现的概率为：这个概率公式可以⽤矩阵表⽰：其中”⽂档-词语”矩阵表⽰每个⽂档中每个单词的词频，即出现的概率；”主题-词语”矩阵表⽰每个主题中每个单词的出现概率；”⽂档-主题”矩阵表⽰每个⽂档中每个主题出现的概率。
给定⼀系列⽂档，通过对⽂档进⾏分词，计算各个⽂档中每个单词的词频就可以得到左边这边”⽂档-词语”矩阵。
主题模型就是通过左边这个矩阵进⾏训练，学习出右边两个矩阵。
主题模型有两种：pLSA（ProbabilisticLatent Semantic Analysis）和LDA（Latent Dirichlet Allocation），下⾯主要介绍LDA。
（⼆）LDA介绍如何⽣成M份包含N个单词的⽂档，LatentDirichlet Allocation这篇⽂章介绍了3⽅法：⽅法⼀：unigram model该模型使⽤下⾯⽅法⽣成1个⽂档：For each ofthe N words w_n:Choose a word w_n ～ p(w);其中N表⽰要⽣成的⽂档的单词的个数，w_n表⽰⽣成的第n个单词w，p(w)表⽰单词w的分布，可以通过语料进⾏统计学习得到，⽐如给⼀本书，统计各个单词在书中出现的概率。
机器学习笔记19-----LDA主题模型（重点理解LDA的建模过程）
机器学习笔记19-----LDA主题模型（重点理解LDA的建模过程）1.主题模型主要内容及其应⽤(1)主要内容(2)主要应⽤2.共轭先验分布3.Dirichlet分布(狄利克雷分布)4.LDA的介绍LDA 在主题模型中占有⾮常重要的地位，常⽤来⽂本分类。
LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出，⽤来推测⽂档的主题分布。
它可以将⽂档集中每篇⽂档的主题以概率分布的形式给出，从⽽通过分析⼀些⽂档抽取出它们的主题分布后，便可以根据主题分布进⾏主题聚类或⽂本分类。
主题模型，它称作为：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），是⼀种概率主题模型。
主题模型就是⼀种⾃动分析每个⽂档，统计⽂档中的词语，根据统计的信息判断当前⽂档包含哪些主题以及各个主题所占⽐例各为多少。
LDA 主题模型要⼲的事就是：根据给定的⼀篇⽂档，反推其主题分布。
主题模型是对⽂本中隐含主题的⼀种建模⽅法，每个主题其实是词表上单词的概率分布；主题模型是⼀种⽣成模型，⼀篇⽂章中每个词都是通过“以⼀定概率选择某个主题，并从这个主题中以⼀定概率选择某个词语”这样⼀个过程得到的。
LDA运⾏完会得到主题分布(θ)、词分布(Φ)(1)LDA是⼀个⽣成模型，下⾯介绍LDA⽣成⽂档的过程。
LDA 主题模型的⽣成过程图模型结构如下图所⽰：5.PLSA模型PLSA模型是最接近 LDA模型，所以理解PLSA模型有助于我们理解 LDA模型。
(1)pLSA模型下⽣成⽂档过程第⼀步： 假设你每写⼀篇⽂档会制作⼀颗K⾯的“⽂档-主题”骰⼦（扔此骰⼦能得到K个主题中的任意⼀个），和K个V⾯的“主题-词项” 骰⼦（每个骰⼦对应⼀个主题，K个骰⼦对应之前的K个主题，且骰⼦的每⼀⾯对应要选择的词项，V个⾯对应着V个可选的词）。
例⼦： ⽐如可令K=3，即制作1个含有3个主题的“⽂档-主题”骰⼦，这3个主题可以是：教育、经济、交通。
LDA模型
LDA(主题模型)算法&&概念：首先引入主题模型(Topic Model)。
何谓“主题”呢？望文生义就知道是什么意思了，就是诸如一篇文章、一段话、一个句子所表达的中心思想。
不过从统计模型的角度来说，我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。
LDA可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。
它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为易于建模的数字信息。
LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。
所谓生注：每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。
备注：流程（概率分布）：→→许多（单）词某些主题一篇文档/**解释：LDA生成过程*对于语料库中的每篇文档，LDA定义了如下生成过程(generativeprocess): *1.对每一篇文档，从主题分布中抽取一个主题;*2.从上述被抽到的主题所对应的单词分布中抽取一个单词;*3.重复上述过程直至遍历文档中的每一个单词。
**/把各个主题z在文档d中出现的概率分布称之为主题分布，且是一个多项分布。
把各个词语w在主题z下出现的概率分布称之为词分布，这个词分布也是一个多项分布。
&&深入学习：理解LDA，可以分为下述5个步骤：1.一个函数：gamma函数2.四个分布：二项分布、多项分布、beta分布、Dirichlet分布3.一个概念和一个理念：共轭先验和贝叶斯框架4.两个模型：pLSA、LDA（在本文第4 部分阐述）5.一个采样：Gibbs采样本文便按照上述5个步骤来阐述，希望读者看完本文后，能对LDA有个尽量清晰完整的了解。
lda模型方法描述 -回复
lda模型方法描述-回复LDA模型，即潜在狄利克雷分配模型（Latent Dirichlet Allocation），是一种用于主题建模的生成式概率模型。
它能够通过分析文档中的词汇分布，自动地将文档集合划分为不同的主题，并估计每个文档属于各主题的概率。
本文将一步一步回答关于LDA模型的相关问题。
第一步：概率图模型LDA模型基于概率图模型，具体地说是基于贝叶斯网络。
在贝叶斯网络中，文档集合被视为观测变量，而主题则是隐藏变量。
通过观察文档集合中的词汇分布，我们可以推测隐藏主题的存在及其相关性。
概率图模型是用来表示观测变量和隐藏变量之间的依赖关系的数学模型。
第二步：生成过程LDA模型假设文档集合的生成过程遵循以下步骤：1. 对每个主题分配一个狄利克雷分布参数向量，该向量表示单词在该主题上的概率分布。
2. 对每篇文档，做如下操作：a. 从主题分布中随机选择一个主题。
b. 根据选择的主题，从该主题对应的词汇分布中随机选择一个词。
c. 重复前两步，生成文档中的每个词。
LDA模型采用了概率生成的方式来建模文档集合中的词汇分布，通过生成的过程，每个文档中的词汇以及整个文档集合的结构能够与主题之间建立起有效的联系。
第三步：模型推断在LDA模型中，推断过程是指根据已观察到的文档集合，估计出主题分布、词汇分布以及文档所属主题的过程。
常用的推断方法有变分推断和采样推断。
1. 变分推断：通过最大化模型对数似然函数的下界，估计出后验分布的近似解。
该方法能够有效地处理大规模数据。
2. 采样推断：通过基于蒙特卡洛方法的采样过程，估计出后验分布的近似解。
该方法的计算成本较高，但可以得到更精确的结果。
根据推断得到的后验分布，我们可以得到文档集合中每个文档所属主题的概率分布，以及主题中每个词的概率分布。
第四步：应用领域LDA模型在文本挖掘和信息检索等领域有着广泛的应用。
以下是LDA模型在不同领域的应用示例：1. 主题建模：LDA模型可以将大规模文档集合划分为不同的主题，从而帮助我们理解文档集合的结构和内容，以及主题之间的关联性。
lda主题模型计算
lda主题模型计算LDA（Latent Dirichlet Allocation）是一种常用的主题模型，用于发现文本数据中的隐藏主题结构。
下面我将从多个角度来回答关于LDA主题模型的计算问题。
首先，LDA主题模型的计算可以分为两个主要步骤，参数估计和推断。
参数估计是指通过给定的文本数据集，计算出模型中的参数，包括主题-词分布和文档-主题分布。
推断是指对于给定的新文档，计算其主题分布。
在参数估计方面，通常使用的是变分推断算法或者Gibbs采样算法。
变分推断算法通过最大化一个变分下界来近似求解模型参数，而Gibbs采样算法则通过迭代地从联合分布中采样来估计参数。
这两种方法都需要进行多次迭代，直到满足收敛条件。
其次，LDA主题模型的计算还涉及到一些重要的数学计算。
例如，计算主题-词分布需要使用贝叶斯公式和狄利克雷分布的性质。
计算文档-主题分布则需要使用Gibbs采样或变分推断算法中的数学公式。
此外，还需要计算每个词在给定主题下的概率和每个文档中的词的分布。
另外，为了更好地理解LDA主题模型的计算过程，还可以从数学模型的角度来解释。
LDA主题模型可以看作是一种概率图模型，其中文档表示为主题和词的随机变量的混合。
通过最大化似然函数，可以得到模型参数的最优估计。
此外，还可以从实际应用的角度来讨论LDA主题模型的计算。
LDA主题模型广泛应用于文本挖掘、信息检索、社交网络分析等领域。
在实际应用中，需要考虑到数据预处理、模型选择、参数调优等问题，以提高模型的性能和效果。
总结起来，LDA主题模型的计算涉及到参数估计和推断两个步骤，需要使用变分推断算法或Gibbs采样算法进行迭代计算。
同时，还需要进行一系列的数学计算和模型解释，以及考虑实际应用中的相关问题。
希望以上回答能够满足你的需求。
LDA模型简介
LDA模型简介近年来，隐含狄雷克雷分布（LDA）对语义主题构成提供了⼀个新颖的架构，⽽被⼴泛应⽤，例如图像检索、图像场景分类，以及⾏为检测等任务。
PLSA 提供⼀个与词典容量⽆关的稳定表⽰，由于没有对潜在主题如何⽣成⽂档提供⼀个概率模型，不能对新⽂档产⽣良定义，导致泛化性能较差。
Blei在 PLSA基础上的扩展，提出 LDA 模型。
LDA 是在 PLSA 模型基础上加上超参数层来建⽴隐藏变量z 的概率分布⽽形成的，它是⼀个层次化的贝叶斯模型。
它使⽤ Dirichiet分布来描述主题分布，即以基于 Dirichict 共扼先验分布来采样视频主题的混合。
在 LDA 模型中⾸先采样⼀组主题，然后每个视频由这⼀主题分布⽽产⽣的，根据每个相关主题下的多项式分布上产⽣每个运动词语。
因此 LDA 克服了 PLSA 模型中上述缺点，因此可以本⽂将在LDA 模型的基础上进⾏扩展实现⼈体⾏为建模，完成⼈体⾏为分类。
LDA（Latent Dirichlet Allocation）是⼀种⽂档主题⽣成模型，也称为⼀个三层贝叶斯概率模型，包含词、主题和⽂档三层结构。
所谓⽣成模型（前⾯博客有讲过），就是说，我们认为⼀篇⽂章的每个词都是通过“以⼀定概率选择了某个主题，并从这个主题中以⼀定概率选择某个词语”这样⼀个过程得到。
⽂档到主题服从多项式分布，主题到词服从多项式分布。
下⾯对其做详细介绍：1）隐含狄雷克雷分布（LDA）模型设含有M （ j = 1,2,...,M）个视频序列的数据集D={v1，v2，....,v M}其中每个视频v j 表⽰为含有 N 个运动词汇的序列(3-32)并且每个运动词汇w i 均取⾃含V （ i = 1, 2,...,V）个基本词汇的运动词汇表。
形式化讲，视频集 D 中视频序列v包含的⾏为模式w ⽣成过程如下：(1) 确定⾏为模式 w 所含动作词汇的数⽬ N ： N ∼ Poisson (ξ )；(2) 确定各种⾏为类型的混合⽐例θ：θ∼ Dirichlet(α )；(3) 确定各种运动词汇的混合⽐例φ：φ∼ Dirichlet( β)；2）参数学习在本节的⼈体分类任务中，概率图模型引⼊隐含变量z 和θ，须借助 EM 算法结合变分推导（Variational Inference）完成⽣成模型的参数学习。
基于LDA主题模型的电商评论情感分析研究
基于LDA主题模型的电商评论情感分析研究随着电商平台的盛行，人们越来越倾向于在购物前查看其他消费者的评论，以便了解商品的优劣。
这些评论能够提供大量的反馈，但同时也存在着太多信息，难以全部把握。
为此，我们可以运用LDA主题模型进行评论情感分析，从而更好地捕捉评论的有效信息。
一、LDA主题模型LDA（Latent Dirichlet Allocation）主题模型是一种生成式模型，用于分析文本数据中的主题结构。
在文章中，主题是指文本中的一些重要话题，这些话题经常被提到，并且经常被一些词汇所概括。
LDA主题模型通过统计词汇之间的共现关系，将文本中的主题结构转化为概率分布的形式。
在LDA主题模型中，我们假设每篇文章包含若干个主题，每个主题可以使用不同的词汇组合，如图1所示。
假设我们要分析电商评论的主题结构，那么一个主题可能包括“质量”、“物流”、“服务”等相关的词汇，其中“质量”在所有主题中出现的概率很高，而“物流”在“快递”等主题中出现概率较高。
图1 LDA主题模型的示意图二、电商评论的情感分析随着互联网的发展，电商平台上的评论数量不断增加。
这些评论内容涉及商品的各个方面，如质量、价格、物流、售后服务等。
由于评论的数量庞大，人工对这些评论进行分析滞后且费时费力。
为了更好地利用这些评论的信息，我们可以对这些评论进行情感分析。
情感分析是指通过某种算法，分析文本中的情感倾向，例如对某件商品或服务的好评与差评等，从而提取关于该商品或服务的重要特征和信息。
在电商评论情感分析中，我们需要明确两个问题：第一，情感类型，指在情感分析中，一个评论是正向情感、中性情感还是负向情感。
第二，情感目标，指这个评论是针对商品本身，还是针对服务、物流等方面。
三、基于LDA主题模型的电商评论情感分析具体而言，我们可以通过以下步骤进行基于LDA主题模型的电商评论情感分析：步骤一：数据预处理首先，需要对原始的评论文本进行分词和预处理。
分词是将句子划分成词语或短语的过程，目的是将原始的评论文本转化为一组有序的词序列。
基于LDA算法的主题模型技术
基于LDA算法的主题模型技术随着信息时代的发展，我们生活中充斥着大量的数据，如何从海量数据中提取有价值的信息成为了一个亟待解决的问题。
近年来，随着机器学习、自然语言处理等技术的发展，主题模型技术得以广泛应用。
本文将详细介绍一种基于LDA算法的主题模型技术。
1. 主题模型简介主题模型是文本挖掘中的一种重要技术，它通过对文本的分析和处理，将文本数据转化为比较抽象的主题，从而达到对文本的归类、聚类或分类的目的。
主题模型可以应用于文本分类、主题分析、信息聚合等领域。
主题模型的核心思想是将文本中的词汇映射到一个固定的主题空间中。
在这个主题空间中，每个主题都由一组概率分布表示，而每个词则有一定的概率分布属于某个主题。
这样一来，文本就被表示成了一个主题分布的向量，可以进行比较、聚类、分类等操作。
目前比较常用的主题模型算法有LDA、PLSA、NMF等。
2. LDA算法原理LDA（Latent Dirichlet Allocation）是一种概率主题模型算法，它是由Blei、Ng和Jordan在2003年提出的。
LDA算法的核心思想是，每个文档可以由多个主题组成，每个主题又可以由多个单词组成。
具体来说，LDA算法假设文本中的每个单词都是由多个主题组合而成的。
在建立模型时，我们需要定义每个文档中包含的主题数量以及每个主题中包含的单词数量。
这些参数可以设置为常量也可以通过训练来确定。
对于LDA算法而言，我们需要先假设文本中的每个单词都是由多个主题组合而成，然后再根据概率论的理论去估计每个单词所对应的主题。
这样一来，我们就可以对每个文本构造出一个主题-单词矩阵，从而实现对文本的主题建模。
3. LDA算法应用场景LDA算法可以应用于多个场景中，如文本分类、主题分析、信息聚合等领域。
在文本分类中，LDA算法可以将文本中的主题向量和标签向量进行比较，实现对文本分类的目的。
在主题分析中，LDA算法可以发现文本中的隐藏主题，从而帮助人们更好地理解文本。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
李威
什么是主题？
• 主题就是一个概念、一个方面。它表现为一系列相李彦宏”等词语就会以较高的频率出现，而如果涉及到“IBM” 这个主题，那么“笔记本”等就会出现的很频繁。
• 如果用数学来描述一下的话，主题就是词汇表上词语的条件概率 分布 。与主题关系越密切的词语，它的条件概率越大，反之则越 小。
“事物”
生命 0.3 路 0.2 夜 0.1 天空 .04 孩子 .03 …
2013/12/8
“行动”
爱 0.2 碎 0.1 哭 0.1 死 .07 飞 .01
生成p(w|z)的 先验分布：
Dirichlet(η)
不再迷惘的生命 被燃碎千万次 也依然坚强 …
坚强的孩子 依然前题模型？
• 文档之间是否相关往往不只决定于字面上的词语重复，还取决于 文字背后的语义关联。对语义关联的挖掘，可以让我们的搜索更 加智能化。主题模型是对文字隐含主题进行建模的方法。它克服 了传统信息检索中文档相似度计算方法的缺点，并且能够在海量 互联网数据中自动寻找出文字间的语义主题。
30/49
从二项分布推广到多项分布 从Beta分布推广到dirichlet分布
共轭分布
注：上式中的加号“+”， 并不代表实际的数学公 式是相加，事实上，实 际计算过程是相乘的。
32/49
Beta分布期望
33/49
Beta分布的期望推广到Dirichlet分布
狄利克雷分布（Dirichlet分布）是多项式分布的共轭先验 概率分布。
数学知识
理解LDA，可以分为下述5个步骤：
• 一个函数：gamma函数 • 四个分布：二项分布、多项分布、beta分布、Dirichlet分布 • 一个概念和一个理念：共轭先验和贝叶斯框架 • 两个模型：pLSA、LDA • 一个采样：Gibbs采样
随机变量的分布
15/49
思考
• 尝试计算X(k)落在区间[x,x+Δx]的概率：
• 换言之，人类根据文档生成模型写成了各类文章，然后丢给了 计算机，相当于计算机看到的是一篇篇已经写好的文章。现在计 算机需要根据一篇篇文章中看到的一系列词归纳出当篇文章的主 题，进而得出各个主题各自不同的出现概率：主题分布。即文档 d和单词w是可被观察到的，但主题z却是隐藏的。
54/49
词分布和主题分布
基于主题模型的应用：
• 1、情感分析。从用户生成的包含观点和意见的文本中提取出这些观点和意见。
• 主题模型在情感分析的任务是学习出来用户讨论和评论中的内容主题。常用三大方 法：无监督主题抽取、弱监督学习、联合抽取主题和观点。
• 最后可以根据主题模型的输出，进行文档情感分类、生成基于主题的情感摘要、构 建情感词典。
• 在传统信息检索领域里，实际上已经有了很多衡量文档相似性的 方法，比如经典的VSM模型。然而这些方法往往基于一个基本假 设：文档之间重复的词语越多越可能相似。这一点在实际中并不 尽然。很多时候相关程度取决于背后的语义联系，而非表面的词 语重复。
• 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)，是一种主题模型， 基于一个常识性假设：文档集合中的所有文本均共享一定数量的隐含主 题。基于该假设，它将整个文档集特征化为隐含主题的集合，可以将文 档集中每篇文档的主题按照概率分布的形式给出。
• 3、它可以排除文档中噪音的影响。一般来说，文档中的噪音往往处于次要主题中， 我们可以把它们忽略掉，只保持文档中最主要的主题。
• 4、它是无监督的，完全自动化的。我们只需要提供训练文档，它就可以自动训练 出各种概率，无需任何人工标注过程。
• 5、它是跟语言无关的。任何语言只要能够对它进行分词，就可以进行训练，得到 它的主题分布。
路 0.2 夜 0.1 天空 .04 孩子 .03 …
“行动”
爱 0.2 碎 0.1 哭 0.1 死 .07 飞 .01 …
p(w|z)
d
坚强的孩子 依然前 行在路上 张开翅膀 飞向自由 让雨水埋 葬他的迷惘 …
w
p(w| d)= p(w| z)p(z | d) z
观测，已知
未知，需学习
• plsa作为topic-model ，每篇文档对应一系列topics,每个topic对应一批terms，有如下问题： • 1.每篇文档及其在topic上的分布都是模型参数，也就是模型参数随着文档的数目增加而增
• 通俗来说，一个主题就好像一个“桶”，它装了若干出现概率较 高的词语。这些词语和这个主题有很强的相关性，或者说，正是 这些词语共同定义了这个主题。
case1：
如果时间回到2006年，马云和杨致远的手还会握在一起吗? 阿里巴巴集团和雅虎就股权回购一事签署了最终协议。
case2：
富士苹果真好，赶快买！！！ 苹果7真好，赶快买！！！
主题模型发展和改进
松弛LDA的假设：
• 1、LDA作出的一个假设是词袋模型，在这种设定下，词的顺序是无关紧要的。当然 我们自然的认知下，文档中的词之间存在着各种各样的规律，所以我们的目标是将 这些特定的结构引入。对于更加复杂的目标——例如语言的生成——上述假设就很 不合理了。现在也有一些建模方式把词的顺序设置为不可以调换的了。例如 Wallach设计出一种话题模型可以在LDA和标准HMM模型之间进行转换。这些模型显 著地扩展了参数空间，然而在语言建模性能上却有了一定的提升。
• 2、另一个假设是文档的顺序没有影响。这个假设在分析在较长 一段时间内的文档集合时候就不是很合适了。在这样的文档集合 下，我们可能希望假设话题随着时间而改变。针对这个问题的一 个观点是动态话题模型——一个增加了对文档的顺序的影响因素， 并给了一个比LDA更加丰富的后验话题结构。还可以引入文档、 主题、词之间的关联。
57/49
Gibbs Sampling
总结
主题模型的优点？
• 1、它可以衡量文档之间的语义相似性。对于一篇文档，我们求出来的主题分布可 以看作是对它的一个抽象表示。对于概率分布，我们可以通过一些距离公式来计算 出两篇文档的语义距离，从而得到它们之间的相似度。
• 2、它可以解决多义词的问题。“苹果”可能是水果，也可能指苹果公司。通过我 们求出来的“词语－主题”概率分布，我们就可以知道“苹果”都属于哪些主题， 就可以通过主题的匹配来计算它与其他文字之间的相似度。
• 它能够发现文档-词语之间所蕴含的潜在语义关系（即主题）——将文档 看成一组主题的混合分布，而主题又是词语的概率分布——从而将高维度 的“文档-词语”向量空间映射到低维度的“文档-主题”和“主题-词语” 空间，有效提高了文本信息处理的性能。
应用场景：
• 主题模型LDA（latent dirichlet allocation）的应用还是很广泛的，在检索、 图像分类、文本分类、用户评论的主题词抽取，做feature、降维等。例 如可以用主题维度来表示原来的字典维度，大大的降低了文本表示的维 度。通过一些聚类等的思想，将一些细粒度的特征组合到一个新的空间 上去，例如主题空间。
表示topic k分配给文档m中的word的次数。
计算因子
51/49
计算因子
52/49
• 反过来，既然文档已经产生，那么如何根据已经产生好的文档反 推其主题呢？这个利用看到的文档推断其隐藏的主题（分布）的 过程（其实也就是产生文档的逆过程），便是主题建模的目的： 自动地发现文档集中的主题（分布）。
34/49
• 根据贝叶斯法则
P
x
Px P
Px
Px
P
• P(x|θ)表示以预估θ为参数的x概率分布，可以直接求得。P(θ)是已 有原始的θ概率分布。
• 方案：选取P(x|θ)的共轭先验作为P(θ)的分布，这样，P(x|θ)乘以 P(θ)然后归一化结果后其形式和P(θ)的形式一样。
• 2、对学术文章挖掘。学术文章不同于一般的新闻报道、博客文章，
PLSA到LDA
47/49
多项式分布 的参数p(z|d)
生成p(z|d)的 先验分布：
Dirichlet(α )
rakecas…@
0.5 0.4 0.1
0.6 0.2 0.2
…
…
…
生成模型：LDA
多项式分布 的参数p(w|z)
Topic
“情感”
孤独 0.3 自由 0.1 迷惘 0.1 坚强 .08 绝望 .05 …
Beta分布中的参数可以 认为形状参数，通俗但 不严格的理解是，和共 同控制Beta分布的函数 “长的样子”：形状千 奇百怪，高低胖瘦有关。
28/49
共轭先验分布
• 在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的 分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分 布叫做似然函数的共轭先验分布。
35/49
1.unigram model 词袋模型
36/49
• 问题：粗暴地认为词与词之间没有联系。没有解决一词多义和歧 义的现象。
文本生成模型：PLSA
0.5 0.4 0.1
p(z|d)
z
Topic
“情感”
孤独 0.3
自由 0.1
迷惘 0.1
坚强 .08
绝望 .05
…
“事物”
生命 0.3
16/49
划分为3段
17/49
事件E2：假设有2个数落在区间[x,x+Δx]
18/49
只需要考虑1个点落在区间[x,x+Δx]
19/49
X(k)的概率密度函数
20/49
Γ函数
• Γ函数是阶乘在实数上的推广
21/49
Beta分布
利用Γ函数
23/49
Beta-Binomial 共轭引例：