文档网络中的关联主题模型

文档网络中的关联主题模型Jonathan Chang普林斯顿大学计算机科学系Princeton UniversityPrinceton, NJ 08544 *******************David M. Blei普林斯顿大学计算机科学系35 Olden St.Princeton, NJ 08544 *****************.edu出现在第12届国际会议人工情报和的统计（AISTATS）2009年，克利尔沃特海滩，佛罗里达州，美国。

第5卷JMLR：W＆CP 5。

版权2009年的作者。

摘要我们开发了一个关联主题模型（RTM），模型建立在文档和它的链接之间。

对于每个文档，RTM模型它们作为一个二元随机变量，链接基于它们的内容。

该模型可以被用来总结文档的网络，预测它们之间的联系，和预测它们中的词语。

我们得到有效的推理和基于变分法的学习算法和评价预测RTM的性能对大型网络的科学文摘和WEB文档。

1 引言网络数据，如文档的引用网络，网页的链接网络，朋友的社交网络，在现在机器学习应用中变得越来越普遍。

分析网络数据提供了有用的预测模型，对新朋友指出社会网络成员，科学文档相关的参考文献，以及对网页对其它相关联的网页。

近年来在该领域的研究主要集中潜变量链接结构模型，模型分解网络根据它的节点间的连接的隐藏模式（Kemp等人，2004；Hoff等人，2002；Hofman and Wiggins 2007；Airoldi等人，2008）。

虽然强大，但是这些模型只统计了网络的结构，忽略了节点观察到的属性。

例如，一个网络模型可以寻找占科学文档之间的引用链接的模式，但它不能同时考虑文本。

这种类型的信息有关的节点，以及它们之间的联系，应该用于发现，理解和利用的潜结构中的数据。

为此，我们开发了一个统计如引用的链接和如文本的属性两者间新的网络数据模型。

统计两个来源的数据模式得到一个比那些只考虑链接更强大的模型。

一个新的节点和它们间的联系，网络结构的传统模型可以提供一种预测其它节点可能被连接的分布。

我们的模型不需要遵守任何链接的一个新的节点，它可以预测仅使用其属性的链接。

因此，我们可以建议新写论文的引用情况，动态的预测可能出现的超链接的网页，或暗示一个社交网络的友谊仅仅基于一个新的用户的个人资料的兴趣。

此外，由于一个新的节点和链接，模型提供了一个预测分布节点的属性。

这种互补的预测机制可以用来预测关键字引用或一个用户的兴趣从他或她的社会关系。

这些类型的预测是传统网络模式遥不可及的。

我们的模型是关系主题模型（RTM）的分层模型的链路和节点属性。

针对网络上的文本数据，在RTM明确联系的文件的内容，与它们之间的连接。

首先，我们描述统计假设背后的RTM。

然后，我们获得高效的算法近似的后验推断，参数估计和预测。

最后，我们研究科学引文网络的性能和超链接的网页。

RTM提供了显著更好的单词预测和链路预测，比天然替代品，目前最先进的。

2 关联主题关系的主题模型（RTM）是一个模型的数据组成的文件，它是单词的集合，它们之间的联系（见图1）。

它嵌入数据在一个潜在空间，这个空间说明单词、文档以及它们是如何连接的。

图1：数据的适当关联主题模式。

每个文档被表示为一个袋子的话，及链接到其它通过引用的文件。

RTM定义了一个联合分布的词语，在每个文档中引用它们之间的联系.RTM是基于对潜在狄利克雷分配（LDA）（Blei等人，2003）。

LDA是一个生成的概率模型使用一组“主题”，分布在一个固定的词汇，来描述一个文档集。

在其生成每个文档TIVE过程，被赋予与一类狄利克雷主题比例向量，和每个字的假定先绘制一个主题绘制的笔从这些比例分配，然后绘制从相应的主题分布的字。

.在RTM中，每个文档首先是从LDA算法中产生的主题，文件之间的链接然后模拟成二元变量，每个变量对应一个文档。

这些都是根据依赖于分布主题用于生成每个的构成文件。

以这种方式，在统计学上的文件内容连接到它们之间的链接结构。

.到RTM的参数是K分布的术语β1：K的K维的Dirichlet参数α，并提供二进制概率函数ψ。

（此功能在下面详细解释）。

RTM假定一组观测到的文件W1：D，1：N和二进制之间的联系Y1：D，1：D都是按下面的方法产生的。

1. 对于每个文档d：(a) 写出主题比例θd |α ∼ Dir(α).(b) 对于每个单词wd,n ：i. 写出分配zd,n |θd ∼ Mult(θd ).ii. 写出单词wd,n |zd,n , β1:K ∼ Mult(βzd,n ).2. 对于每个文档对d, d’：(a) 写出二进制链接指示y|zd , zd ∼ ψ(•|zd , zd ).图2示出了一个单一的一对文件建立模型的过程。

完整的模型包含了从所有D文件和D2链接变量为每个可能的它们之间的连接所观察到的单词，这是很难说明的。

图2：两个文件段的RTM。

变量y表示这两个文件是否链接。

完整的模型为每个文件对包含此变量。

板块指示复制。

这个模型捕获的文字和链接在图1中所示的数据结构。

函数ψ是定义链接概率函数，该函数一个分布在两个文件之间的联系。

这个函数依赖主题分配产生它们的单词，Z d和Z d’。

我们将探讨两种可能性。

首先，我们考虑：ψσ(y=1)=σ(ηT(z d∘z d′)+ν)(1)其中z d=1Nd ∑z d,nn，符号○表示Hadamard（元智）乘积，并且函数σ是S形的。

此链接函数模型，每对二进制变量一个逻辑回归与隐藏协变量。

它是参数化的系数η与截距ν。

协变量构造的Hadamard积Z d和Z d’，它可以捕获隐藏这两个文件主题表示形式之间的相似性。

然后，我们考虑：ψe(y=1)=exp⁡(ηT(z d∘z d′)+v). (2)这里，ψe使用相同的协变量作为ψσ，但是有一个指数的是由函数代替的。

当z d和z d′趋近时，而不是渐行渐远。

这个函数返回的概率继续呈指数级增长。

对于某些代数运算，函数e可以被看作是由Blei和Jordan（2003年）提出的建模方法的近似变种。

我们认为这两个ψ函数，响应变量是潜在特征函数的期望值，z d和z d′。

这一提法，灵感来自有监督的LDA模型（Blei和McAuliffe 2007年），确保相同的潜在主题分配用于生成的文件的内容还可以生成它们的链接结构。

模型不执行该耦合，如Nallapati等（2008年），划分主题成两个独立的子集，一个用于链接和其它的词。

这样的分解防止这些模型作出有意义的预测有关给出词链接和给出链接的词。

在第四节我们展示了实证上在这些任务上RTM优于很多模型。

3 推断，估计和预测定义了模型，我们转向近似后验推理，参数估计和预测。

我们开发的变分推理过程来逼近的后路。

我们使用这个程序在一个变期望最大化（EM）算法中做参数估计。

最后，我们展示了如何一个模型的参数已估计可以作为预测模型使用的词和链接。

推论在后验推断，我们试图计算条件的潜变量的后验分布的观测值。

精确的后验推断是棘手的（Blei等人，2003; Blei和McAuliffe 2007）。

我们提出变分方法。

在变分方法中，我们假定一个家族的分布超过潜变量的自由变参数索引这些参数适合逼近真实后验，后验的封闭性来测量相对信息熵见Jordan 等（1999年）进行审查。

我们使用完全因式分解家族，q(Θ,Z|γ,Φ)=∏d[qθ(θd|γd)∏n q z(z d,n|ϕd,n)], (3)这里γ是一个Dirichlet参数集合，它为每个文档，并且是一组多项式参数，一个用于每个文档中的每个单词。

需要注意的是：E q[z d,n]=ϕd,n。

相对熵最小化相当于最大化Jensen的下限观测的边际概率，即证据下限（ELBO），φ=∑E q(d1,d2)[log p(y d1,d2|z d1,z d2,η,υ)]+∑∑E q[log p(w d,n|β1:Κ,z d,n)]+∑∑E q[log p(z d,n|θd)]+ndnd∑E q[log p(θd|α)]+Η(q)d， (4)（d1，d2）表示所有文档对。

第一项的ELBO区分RTM从LDA（Blei 等2003）。

文件之间的连接会影响目标在近似的后验推断（和，以下，在参数估计）。

在我们开发的推理过程的假设下，仅观察到的的链接将被建模（即y d1,d2是1或不可观察的）1。

我们这样做的原因有两个。

首先，当修正y d1,d2=1，无论何时可以观察到一个链接在d1和d2之间及设定y d1,d2=0，否则，这个在语料库方法是不合适没有出现在的一个链接无法视为证据对于y d1,d2= 0。

在这些情况下，把这些链接作为不可观测的变量是更加忠实于底层语义的数据。

例如，在大型社交网络Facebook的情况下两个人之间的链接并不必然意味着他们不是朋友；他们可能是真正的朋友，在网络中他们是不知道对方存在的。

此链接未观察到更好的方面我们缺乏处理了解他们之间的关系这种状态。

其次，把无链接当成隐含链接进行处理，减少了非链接推断的计算开销；因为链接变量在图形化模型的的末端，它们可以被删除，只要他们是不可观测的。

因此计算的复杂度捕捉到许多观测的链接而不是文档对。

这提供了一个重要的计算的优势。

我们现在的目标是计算每个术语的目标函数，公式4中给出。

第一项依赖于我们选择的链接概率函数。

这一条是不容易计算的当逻辑函数方程式选择公式1时。

我们使用了一阶近似（Braun 2007和McAuliffe ）。

φd 1,d 2≡E q [log p(y d 1,d 2=1|z d 1,z d 2,η,υ)]≈ηT πd 1,d 2+υ+log σ(−ηT πd 1,d 2−υ), (5)其中πd 1,d 2=ϕd 1∘ϕd 2并且ϕd =E q [z d ]=1Nd ∑ϕd,n n 。

当ψe 是响应函数时，这个公式可以明确计算为：E q [log p(y d 1,d 2=1|z d 1,z d 2,η,υ)]=ηT πd 1,d 2+υ (6)我们使用坐标就参数γ，Φ上升到优化的ELBO ，ϕd,j ∝exp⁡{∑(∇πd,d ′φd,d ′)η∘ϕd ′N d d ′≠d +Εq [log θd |γd ]+log β∙,ωd,j },其中φd,d ′被计算根据公式5或者是公式6，及它们选择的ψ。

log β∙,ωd ,j 可以被计算通过带入第ωd,j 列的β求其对数。

E q [log θd |γd ]是Ψ(γd )−Ψ(∑γd,i ),其中Ψ是Digamma 函数。

（一个digamma 的一个向量是 向量digammas 。

）更新γ是完全相等的对于变分推理LDA(Blei 等人，2003)，γd ←α+∑ϕd,n n 。

参数估计对于每个参数，我们要找到它们的极大似然值，多维主题向量β1:Κ和链接函数参数η,ν。