第18章 概率潜在语义分析
基于概率潜在语义分析的词汇情感倾向判别
ｍ ｅ ｈｏ ｔ ｄ。ｗ ｅ ｏ ａｎ ｔ ｅ ａ ｔｃｃ ｕｓｅ ｆｔ ｇ ｏ ｄｓ ｂｙ ＰＬＳＡ ，ａ ｈｅ ｐｏ ａ ｉｙ ｏｆａ ｔ ｒ ｔｗ ｏ ｄ ｉ ｈｅ ｔ ｒ ｂｔ ｉ ｈｅ ｓ ｍ ｎ ｉ ｌ ｔ ｒ ｏ ａｒ ｅｔｗ ｒ ｎｄ ｔ ｌ ｒｔ ａ ｇｅ ｒ ｓ ｔ ｎ ｄｅ ｅ — ｍ ｉ ｄ ｂｙ ａ ｓ ｏｎ ｎｅ ｙｎ ｙｍ－ ｓ ｄ ｍ ｅ ｈｏ ｂａ ｅ ｔ ｄ． Ｔ ｈ ｄｖ ｎｔ ｇ Ｏ ｂ ｈ ｍ ｅ ｈ ｅ ａ ａ ａ ｅ ｔ ｏｔ ｔ ｏｄｓｌｅ ｎ ｔ ａ ｈ ｙ ｃ ｎ ｗｏｒ ｅｌｗｉｈ ｔａ ｘ— ｉｓ ｉ ｈ ｔｔ ｅ ａ ｋｗ ｌ ｔ ｏｕ ｎｙ ｅ
第 ２ ５卷 第 ２期 ２１ ０ １年 ３月
中 文 信 息 学 报
Ｊ ＯＵＲＮＡＩ ０Ｆ ＣＨ Ｉ ＮＥＳ Ｉ Ｅ ＮＦＯＲＭ ＡＴＩ ＯＮ ＰＲＯＣＥＳ Ｉ Ｓ ＮＧ
Ｖｏ１ ２５， ＮＯ ２ ． ．
Ｍ ａ． ｒ ，２０ １１
文 章 编 号 ：１ ０ — ０ ７ ２ １ ） ２０ ８ — ５ ０ ３ ０ ７ （ ０ １ ０ ０ ９０
３ ．山 西 大 学 数 学 科 学 学 院 ，山 两 太 原 ０ ０ ０ ） ３ ０ ６ 摘 要 ：该 文 利 用 概 率 潜 在 语 义分 析 ， 出 了两 种 用 于判 别 词 汇 情 感 倾 向 的 方 法 。 一 是 使 用 概 率 潜 在 语 义 分 析 获 给 得 目标 词 和 基 准 词 之 间 的 相 似 度 矩 阵 ， 利 用投 票 法 决 定 其 情 感 倾 向 ； 是 利 用概 率 潜 在 语 义分 析 获 取 目标 词 的 再 二
ａ ｌｓ ｉ ｔ ｎ ｍ ａ ｉ ｎ ｙｓｓ ＰＩＳＡ ）． Ｉ ｈｅ ｆｒ ｔｍ ｅ ｈｏ ｂｉ ｔｃ Ｌａ ｅ ｔＳｅ ｎｔｃ Ａ ａｌ ｉ （ ｉ ｎ ｔ ｉｓ ｔ ｄ，ｔ ｉ ｉａ ｉｙ ｍ ａ ｒｘ ｂｅ ｗ ｅ ｎ ｔ ｒ ｔｗ ｏ ｄｓａ ｒ ｈｅ ｓｍ ｌ ｒｔ ｔ ｉ ｔ ｅ ａ ｇｅ ｒ ｎｄ ｐａ —
基于概率潜在语义分析的中文文本分类研究
不 同概 念被 划 归为 同 一 个类 别 ， 一 种是 两 篇 文 另
档 的某 特征 项分 别为 两个词但 表 达 了同一 概念被
划 归 为不 同的类别 ． 因此 ， 现“ 发 暗含” 在应 用文本
词 语之 间潜 在 的语 义关 系是 提高分 类系统性 能 的
一
存 储 的电子 文档 的数 目急剧 增 长 ， 特别 是 随 着 互
潜 在 的概 率 语 义 空 间 ， 将 文 档 和词 映 射 到 同一 个 语 义 空 间 ． 文 将 概 率 潜 在 语 义 分 析 模 型 用 于 中 文 文 本 分 并 该 类 ， 方 面 较 好 地处 理 了 自然 语 言 中的 同 义 、 义 问 题 ； 一 方 面 通 过 计 算 概 率 潜 在 语 义 空 间 中 向量 的 距 离 来 一 多 另 获得 文档 间 的类 别 信 息 从 而 达 到 文 本分 类 的 目的 ． 验 结 果 表 明 ， 分类 器具 有 良好 的 分类 性 能 ． 实 该
关 键词 ： 文文 本 分 类 ； 率 潜 在 语 义分 析 ； 义 空 间 中 概 语
中 图分 类 号 ： ３ １ ＴＰ ９ 文献标识码 ： Ａ
０ 引 言
近十年 来 ， 于 人 工智 能 的 自动文 本 分 类 技 基 术获 得 了长 足 的发 展 ， 主 要 是 因 为 以数 字 形 式 这
Ｌ Ａ）引， Ｓ 认 为 词 语 在 文 本 中 的使 用 模 式 内 Ｓ ￣ Ｌ Ａ 存在 着潜 在 的语义 结 构 ， 同义 词 之 间应 该具 有 基
简单 地说 ， 自动 文本 分 类 就 是 在 给定 的分 类
体 系下 ， 根据文 本 的 内 容 自动地 确 定 文 本关 联 的
潜在语义分析的理论研究及应用
收稿日期:2006—06—07作者简介:李华云(1969—),男,盐城工学院图书馆馆员,上海大学国际工商管理学院硕士在读,发表论文10余篇。
潜在语义分析的理论研究及应用李华云(盐城工学院,盐城224001)〔摘 要〕 潜在语义分析(Latent Semantic Analysis ,简称LS A )通过奇异值分解(S ingular Value Decom position ,简称S VD )分析文本集之间的关系,是产生关键词———语义之间映射规则的方法。
而随后又出现的P LS A (ProbabilisticLatent Semantic Analysis )对基于奇异值分解的LS A 又进行统计学的极大似然估计重新解释。
LS A 最初应用在文本信息检索领域,随着应用领域的不断拓展,LS A 在信息过滤、跨语言检索、认知科学和数据挖掘中的信息理解、判断和预测等众多领域中得到了广泛的应用。
〔关键词〕 潜在语义分析;P LS A ;奇异值分解〔Abstract 〕 Latent Semantic Analysis provides a means of creating the mapping rule of key w ord -concept.And then the Probabilistic Latent Semantic Analysis (P LS A )gives the LS A which is based on singular value decom posi 2tion a novel statistical explanation of maximum likely 2hood.Initially ,LS A is applied in the field of text in formation re 2trieval.With the ceaselessly development of its application ,LS A has g ot a wide application field in In formation Filter 2ing ,Cross 2language retrieval ,C ognitive Science and Date M ining which relate with in formation com prehension ,judg 2ment and prediction.〔K ey w ords 〕 Latent Semantic Analysis ;Probabilistic Latent Semantic Analysis ;S ingular Value Decom position 〔中图分类号〕G 354 〔文献标识码〕A 〔文章编号〕1008-0821(2006)11-0205-021 潜在语义索引方法及其特点潜在语义分析通过奇异值分解,将文档在高维向量空间模型中的表示,投影到低维的潜在语义空间中,有效地缩小了问题的规模。
概率潜在语义模型综述
概率潜在语义模型综述信息检索本质上是语义检索, 而传统信息检索系统都是基于独立词索引, 因此检索效果并不理想. 概率潜在语义索引是一种新型的信息检索模型, 它在潜在语义索引模型思想的基础上, 通过EM迭代算法将词向量和文档向量投影到一个低维空间, 消减了词和文档之间的语义模糊度, 使得文档之间的语义关系更为明晰。
论述了概率潜在语义索引的理论基础, 探讨了隐含语义索引在信息处理处理中的应用。
标签：信息检索；潜在语义索引；SVD分解；概率潜在语义索引1 简介传统的信息检索模型可归为三类：布尔模型、向量空间模型和概率模型。
它们都分别把文本和查询表示为索引词的集合，尽管使用了不同的方法，但本质上均为某种形式的索引词的匹配，而没有进一步做语义上的分析。
自然语言中存在大量的同义词、多义词，这分别对传统检索模型的召回率和准确率有不利的影响。
检索系统要求用户提供足够多精确、无歧义的关键词才有可能得到所需要的信息，这大大增加了系统使用的难度。
为了进行更自然更人性化的查询，检索系统必须能够处理自然语言中的同义、多义现象，进行语义上的分析。
潜在语义分析(LSA)是一种发现潜在语义并分析文档、词和语义三者之间关系的方法。
其主要思想是通过统计分析来发现文档中词与词之间存在的某种潜在的语义结构，并且使用这些潜在的语义结构来表示词和文本。
虽然潜在语义分析在信息检索领域取得了令人满意的效果，但是它存在几个缺陷：首先由于潜在语义分析过程中奇异值分解的物理意义不够明确，较难控制词义聚类的效果；此外这个算法的空间和时间复杂度太大，在目前的计算机硬件条件下很难实际适应实际应用。
针对潜在语义分析的这些缺陷，Hoffmann 提出了一种新的方法－概率潜在语义分析(PLSA)，该方法使用概率模型来表示“文档—潜在语义—关键词”三者之间的关系，文档和关键词都可以映射到同一个语义空间，这样，文档和文档以及文档和关键词之间的相似度都可以通过计算语义空间上的夹角而得以量化。
基于潜在语义分析的中文概念检索研究
基于潜在语义分析的中文概念检索研究一、内容概览随着互联网的普及和发展，越来越多的中文信息被存储在网络中。
然而由于中文语言的特殊性，检索中文信息变得尤为困难。
因此研究如何有效地检索中文概念成为了一个亟待解决的问题。
近年来基于潜在语义分析的中文概念检索技术逐渐受到关注，本文将围绕这一主题展开研究，探讨如何在海量中文信息中快速准确地找到用户所需的概念。
首先我们将对潜在语义分析技术进行简要介绍，以便读者了解该技术的基本原理和应用领域。
接着我们将分析现有的中文概念检索方法，总结各种方法的优缺点，为后续的研究提供参考。
在此基础上，我们将提出一种基于潜在语义分析的中文概念检索模型，通过实验验证该模型的有效性。
我们将讨论该模型在实际应用中的局限性以及未来的研究方向。
A. 研究背景和意义在信息爆炸的时代，我们每天都会接触到大量的文字信息，从新闻报道、学术论文到日常生活中的博客、微博等。
然而随着信息的增长，我们在查找特定信息时往往感到力不从心，尤其是在面对中文文本时，由于词汇的丰富性和歧义性，我们很难准确地找到所需的概念。
因此研究如何高效地对中文概念进行检索成为了一项亟待解决的问题。
潜在语义分析(Latent Semantic Analysis,LSA)是一种基于概率模型的自然语言处理技术，它通过对文本中词语之间的关系进行建模，挖掘出词语之间的潜在关系，从而实现对文本的理解和检索。
近年来LSA在中文概念检索领域的应用逐渐受到关注，为解决中文概念检索问题提供了新的思路和方法。
本研究旨在探讨基于潜在语义分析的中文概念检索方法，以提高中文概念检索的效率和准确性。
首先我们将对现有的中文概念检索方法进行梳理和分析，总结其优缺点；其次，我们将尝试将潜在语义分析应用于中文概念检索，构建相应的检索模型；我们将通过实验验证所提出的方法在中文概念检索任务上的性能，并与其他常用方法进行比较。
本研究的意义在于：一方面，它有助于提高中文概念检索的效率和准确性，使得用户能够更快速、准确地找到所需信息；另一方面，它为潜在语义分析在中文领域的应用提供了有益的探索，拓展了该技术的适用范围。
probabilistic latent semantic analysis
probabilistic latent semantic analysis 概率潜在语义分析（probabilisticlatentsemanticanalysis,PLSA）是一种基于概率模型的文本主题分析方法。
PLSA是在潜在语义分析（LatentSemanticAnalysis,LSA）的基础上发展而来的。
PLSA将文本表示为概率分布，将主题定义为概率分布的组合，然后使用EM算法来估计模型参数，从而得到文本的主题分布。
1. 背景在信息检索和文本挖掘领域，文本数据量越来越大，文本主题分析也变得越来越重要。
文本主题分析的目的是将文本表示为主题的概率分布，从而获得文本的语义信息。
传统的文本主题分析方法主要是基于词频矩阵或者TF-IDF矩阵，这些方法存在着一些问题，比如忽略了词语之间的关系，对于一些常见的词语，权重过高等。
为了解决这些问题，潜在语义分析（LSA）被提出。
LSA通过奇异值分解（SVD）将词频矩阵转化为词语和主题之间的关系矩阵，然后使用主题模型来进行文本主题分析。
但是LSA存在着一些问题，比如主题的数量需要人为指定，模型的可解释性不好等。
为了解决这些问题，概率潜在语义分析（PLSA）被提出。
2. 原理PLSA将文本表示为概率分布，将主题定义为概率分布的组合。
假设有N个文档，M个词语，K个主题。
对于每个文档d，PLSA将其表示为一个词语概率分布P(w|d)，对于每个主题z，PLSA将其表示为一个词语概率分布P(w|z)。
然后，PLSA假设每个文档的主题分布P(z|d)是由主题的概率分布P(z)和文档中每个词语的概率分布P(w|z)相乘得到的。
即：P(w|d)=∑z P(w|z)P(z|d)其中，P(w|d)表示文档d中词语w的概率分布，P(z|d)表示文档d中主题z的概率分布，P(w|z)表示主题z中词语w的概率分布，P(z)表示主题z的概率分布。
PLSA的目标是通过观察已有的文本数据，估计出模型参数P(w|z)和P(z|d)，从而得到新的文本的主题分布。
潜在语义分析中算法的并行化研究与实现的开题报告
潜在语义分析中算法的并行化研究与实现的开题报告一、研究背景和意义随着大数据时代的到来，人们面临着处理大规模文本数据的巨大挑战。
传统的文本分析方法往往受限于数据规模、人工干预的难度等问题而难以满足实际需求。
因此，自然语言处理（NLP）领域的一项重要研究内容——潜在语义分析（LSA）应运而生。
潜在语义分析是一种基于统计方法的文本分析技术，在语义层面上对文本数据进行降维、压缩和语义相似度计算。
其主要应用于信息检索、文本推荐、文本分类和情感分析等领域。
但是，由于大量的计算量和数据规模，LSA算法的效率往往比较低，限制了它们的应用范围。
因此，本研究旨在探究LSA算法的并行化研究和实现，以提高算法的运行效率和可扩展性，从而更好地适应大数据时代的需求。
二、研究内容和研究方法1、研究内容（1）分析潜在语义分析算法的运行机制和瓶颈问题。
（2）探讨并行化技术在LSA算法中的应用方法。
（3）设计并实现基于MapReduce的并行化LSA算法。
（4）基于Spark平台实现LSA算法的并行化。
2、研究方法（1）对潜在语义分析算法进行理论分析和实验验证，探讨算法的瓶颈问题。
（2）设计并实现基于MapReduce的并行化LSA算法，验证其可行性和有效性。
（3）结合Spark平台，进一步提高算法的处理效率和可扩展性。
三、预期成果和研究意义本研究的主要预期成果包括：（1）分析潜在语义分析算法的运行机制和瓶颈问题，深入探讨了LSA算法在大数据环境下的适用性。
（2）提出了MapReduce和Spark平台下的并行化LSA算法，通过实验验证算法的性能和有效性。
（3）改进LSA算法的计算效率和可扩展性，对其在实际应用中具有重要的指导和应用意义。
本研究具有以下研究意义：（1）提高潜在语义分析算法的计算效率和可扩展性，为文本分类、信息检索和推荐等领域的应用提供更好的支持。
（2）拓展并行化技术在自然语言处理领域中的应用，促进了科技的发展和进步。
《统计学习方法》笔记--概率潜在语义分析
《统计学习⽅法》笔记--概率潜在语义分析概率潜在语义分析(probabilistic latent semantic analysis，PLSA)是⼀种利⽤概率⽣成模型对⽂本集合进⾏话题分析的⽆监督学习⽅法。
跟潜在语义分析相似，⽽其特点是基于概率模型，⽤隐变量表⽰话题；整个模型表⽰⽂本⽣成话题，话题⽣成单词，从⽽得到单词-⽂本共现数据的过程。
概率潜在语义分析模型有⽣成模型，以及等价的共现模型。
假定n个⽂本的集合，⽂本中所有单词的集合；设定K个话题，他们为集合，多项概率分布P(d)表⽰⽣成⽂本d的概率,多项条件概率分布P(z|d)表⽰⽂本d⽣成话题z的概率,多项条件概率分布P(w|z)表⽰话题z⽣成单词w 的概率。
⽣成模型⽣成模式通过以下步骤⽣成⽂本-单词共现数据：（1）依据概率分布P(d)，从⽂本集合中随机选取⼀个⽂本d，共⽣成N个⽂本；针对每个⽂本，执⾏下⼀步操作，（2）在⽂本d给定条件下，依据条件概率分布P(z|d)，从话题集合中随机选取⼀个话题z，共⽣成L个话题，（3）在话题z给定条件下，依据概率分布P(w|z)，从单词集合中随机选取⼀个单词w。
⽣成模型属于概率有向图模型，可以⽤以下的图表⽰，图1-1 概率潜在语义分析的⽣成模型从数据⽣成过程可推出⽂本-单词共现数据T的⽣成概率为所有单词-⽂本对（w，d）的⽣成概率乘积，⽽每个单词-⽂本对（w，d）的⽣成概率由以下公式决定：共现模型同样，⽂本-单词共现数据T的⽣成概率为所有单词-⽂本对（w，d）的⽣成概率乘积：但每个单词-⽂本对（w，d）的⽣成概率由以下公式决定：共现模型假设在话题z给定的条件下，单词w与⽂本d是条件独⽴的，即图1-2 概率潜在语义模型的共现模型虽然⽣成模型与共现模型在概率公式的意义上是等价的，但拥有不同的性质。
⽣成模型刻画⽂本-单词共现数据⽣成的过程，且单词变量w与⽂本变量d是不对称的，⽽共现模型描述⽂本-单词共现数据的拥有过模式，单词变量w与⽂本变量d是对称的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 概率潜在语义分析受潜在语义分析的启发，前者基于概率模型，后者基于非 概率模型
基本想法
• 给定一个文本集合，每个文本讨论若干个话题，每个话题由若干 个单词表示。
• 对文本集合进行概率潜在语义分析，就能够发现每个文本的话题， 以及每个话题的单词。
• 话题是不能从数据中直接观察到的，是潜在的。
基本想法
• 文本集合转换为文本-单词共现数据，具体表现为单词-文本矩阵
• 文本数据基于如下的概率模型产生（共现模型）：
• 首先有话题的概率分布，然后有话题给定条件下文本的条件概率分布，以及话题给 定条件下单词的条件概率分布。
• 概率潜在语义分析就是发现由隐变量表示的话题，即潜在语义。
• 随机变量w取值于单词集合 • 随机变量d取值于文本集合 • 随机变量z取值于话题集合
生成模型
• 概率分布P(d)、条件概率分布P(zld)、条件概率分布P(w|z)皆属 于多项分布
• P(d)：生成文本d的概率 • P(zId)：文本d生成话题z的概率 • P(wIz)：话题z生成单词w的概率
• 直观上，语义相近的单词、语义相近的文本会被聚到相同的“软的类别”中，而话 题所表示的就是这样的软的类别。
基本想法
• 假设有3个潜在的话题，图中三个框各自表示一个话题。
生成模型
• 假设有单词集合 • 文本（指标）集合 • 话题集合
，其中M是单词个数 ，其中N是文本个数 ，其中 K是预先设定的话题个数
第十八章 概率潜在语义分析
概率潜在语义分析
• 概率潜在语义分析（probabilistic latent semantic analysis, PLSA)， 是一种利用概率生成模 型对文本集合进行话题分析的无监督学习方法。
• 模型的最大特点是用隐变量表示话题；整个模型表示文本生成话题，话题生 成单词，从而得到单词一文本共现数据的过程
• （3）在话题z给定条件下，依据条件概率分布P(wlz)，从单词集合中随机选 取一个单词w
生成模型
• 生成模型中，单词变量w与文本变量d是观测变量，话题变量z是 隐变量
• 模型生成的是单词-话题-文本三元组(w, z, d)的集合，但观测 到的是单词-文本二元组(w, d)的集合
• 观测数据表示为单词-文本矩阵T的形式 • 矩阵T的行表示单词，列表示文本，元素表示单词-文本对(w, d)
• 可以由M维空间的(M-1)单纯形(simplex)中的点表示
模型的几何解释
• 图中为三维空间的情况
• 单纯形上的每个点表示一
个分布P(wld)（分布的参数 向量）
• 所有的分布 P(wld)（分布
的参数向量）都在单纯形 上，称这个(M-1)单纯形为 单词单纯形。
模型的几何解释
• 概率潜在分析模型（生成模型）中的文本概率分布P(w|d)有下 面的关系成立：
• 共现模型也可以表示为三个矩阵乘积的形式
• 概率潜在语义分析模型中的矩阵U’,和V’是非负的、规范化的，表示条 件概率分布，
• 潜在语义分析模型中的矩阵U和V是正交的，未必非负，并不表示概率 分布。
概率潜在语义分析的算法
• EM算法是一种迭代算法，每次迭代包括交替的两步： • E步，求期望 • M步，求极大
的出现次数
生成模型
• 从数据的生成过程可以推出，文本-单词共现数据T的生成概率为 所有单词-文本 对(w, d)的生成概率的乘积
• 这里n(w, d)表示（w, d)的出现次数，单词-文本对出现的总次 数是 N x L
生成模型
• 每个单词-文本对(w, d)的生成概率由以下公式决定
• 即生成模型的定义 • 生成模型假设在话题z给定条件下，单词w与文本d条件独立，即
• 文本对应的点就在K个话题的点构成的(K-1)话题单纯形中
• 注意通常K<<M，概率潜在语义模型存在于一个相对很小的参数空 间中
与潜在语义分析的关系
• 概率潜在语义分析模型（共现模型）可以在潜在语义分析模型的 框架下描述
• 图中显示潜在语义分析，对单词-文本矩阵进行奇异值分解得到
与潜在语义分析的关系
• 文本-单词共现数据T的生成概率为所有单词-文本对(w, d)的生 成概率的乘积：
• 每个单词-文本对(w, d)的概率由以下公式决定：
• 即共现模型的定义
共现模型
• 共现模型假设在话题z给定条件下，单词w与文本d是条件独立的， 即
• 图中所示是共现模型。图中文本变量d是一个观测变量，单词变 量w是一个观测变量，话题变量z是一个隐变量
• E步是计算Q函数，即完全数据的对数似然函数对不完全数据的条 件分布的期 望
• M步是对Q函数极大化，更新模型参数。
概率潜在语义分析的算法
• 设单词集合为 话 题集合为
，文本集合为
，
• 给定单词-文本共现数据
• 目标是估计概率潜在语义分析模型（生成模型）的参数
• 如果使用极大似然估计，对数似然函数是
生成模型
• 生成模型属于概率有向图模型，可以用有向图(directed graph) 表示
• 图中实心圆表示观测变量，空心圆表示隐变量，箭头表示概率依 存关系，方框表示多次重复，方框内数字表示重复次数。
• 文本变量d是一个观测变量，话题变量z是 一个隐变量，单词变 量二是一个观测变量。
共现模型
• 可以定义与以上的生成模型等价的共现模型。
概率潜在语义模型参数估计的EM算法
概率潜在语义模型参数估计的EM算法
• 概率分布P(w|z)也存在于M维空间中的(M-1)单纯形之中
• 如果有K个话题，那么就有K个概率分布P(wlzk), k=1,2,…,K，由 (M-1)单纯形上的K个点表示
• 以这K个点为顶点，构成一个(K-1)单纯形，称为话题单纯形。 • 话题单纯形是单词单纯形的子单纯形。
模型的几何解释
• 生成模型中文本的分布P(w|d)可以由K个话题的分布 P(wlzk), k = 1,... ,K，的线性组合表示
• 概率潜在语义分析的生成模型和共现模型的参数个数是O(M・K + N・K)，其中K是话题数
• 现实中K<<M，所以概率潜在语义分析 通过话题对数据进行了更 简洁地表示，减少了学习过程中过拟合的可能性
模型参数
• 图中显示模型中文本、话题、单词之间的关系。
模型的几何解释
• 概率分布P(w|d)表示文本d生成单词w的概率，
共现模型
• 虽然生成模型与共现模型在概率公式意义上是等价的，但是拥有不同的性质。
• 生成模型 • 刻画文本-单词共现数据生成的过程 • 单词变量w与文本变量d是非对称的 • 非对称模型
• 共现模型 • 描述文本-单词共现数据拥有的模式 • 单词变量w与文本变量d是对称的 • 对称模型
模型参数
• 如果直接定义单词与文本的共现概率P(w,d)，模型参数的个数是 O(M・N)，其中M是单词数，N是文本数
• 一个文本的内容由其相关话题决定，一个话题的内容由其相关单 词决定。
生成模型
• 生成模型通过以下步骤生成文本-单词共现数据：
• （1）依据概率分布P(d)，从文本（指标）集合中随机选取一个文本d，共生 成N 个文本；针对每个文本，执行以下操作
• （2）在文本d给定条件下，依据条件概率分布P(z|d)，从话题集合随机选取 一个话题z，共生成L个话题，这里L是文本长度
代表不完全数据，是已知变量
• 条件概率分布
和
的乘积代表完全数据，是未知变量
概率潜在语义分析的算法
• 由于可以从数据中直接统计得出P(dj)的估计，这里只考虑
,
的估计，可将Q函数简化为函数Q’
• Q’函数中的
可以根据贝叶斯公式计算
• 其中
和
由上一步迭代得到
概率潜在语义分析的算法
• M步：极大化Q函数
• 但是模型含有隐变量，对数似然函数的优化无法用解析方法求解
Байду номын сангаас
概率潜在语义分析的算法
• 这时使用EM算法。E步：计算Q函数 • Q函数为完全数据的对数似然函数对不完全数据的条件分布的期望。针对
概率潜 在语义分析的生成模型，Q函数是
•
：文本dj中的单词个数
•
：单词wi在文本dj中出现的次数
• 条件分布概率
• 通过约束最优化求解Q函数的极大值，这时 变量
和
是
• 因为
和
形成概率分布，满足约束条件
概率潜在语义分析的算法
• 应用拉格朗日法，引入拉格朗日乘子 和 数
，定义拉格朗日函
• 将拉格朗日函数 分别对 0，得到下面的方程组
和 求偏导数，并令其等于
概率潜在语义分析的算法
• 解方程组得到M步的参数估计公式：