无向图模型(马尔科夫随机场)

19 无向图模型（马尔科夫随机场）

19.1 介绍

在第十章,我们讨论了图形化模型(DGMs),通常称为贝叶斯网。然而,对于某些域,需要选择一个方向的边即(DGM), 例如,考虑建模一个图像。我们可能会假设相邻像素的强度值是相关的。我们可以创建一个DAG模型的2D拓扑如图19.1所示。这就是所谓的因果MRF或马尔可夫网。然而,它的条件独立性通常不好。

另一种方法是使用anundirected图形化模型(UGM),也称为马尔可夫随机场(MRF)或马尔可夫网络。这些不需要我们指定边缘方向,在处理一些问题,如图像分析和空间统计数据时显得更自然。例如,一个无向二维点阵显示（如图19.1(b)）；现在每个节点的马尔科夫Blanket只是最近邻节点,正如我们在19.2节所示的那样。

粗略地讲,在建立在DGMs上的UGMs的主要优点是:(1)它们是对称的,因此对

某些领域更“自然”,如空间或关系数据；(2)Discriminativel UGMs(又名条件随机域,或CRFs),它定义了条件概率密度p(y|x),要比Discriminativel UGMs更好，我们在19.6.1节中解释原因。相比于DGMs，UGMs的主要缺点是:(1)参数是可很难解释及模块化程度较差,我们在19.3节解释原因;(2)参数估计计算代价更高,原因我们在19.5节解释。

19.2 UGMs的条件独立性

19.2.1

UGMs通过简单的图分离定义CI关系如下：对于节点集的A,B,C,我们说X A ⊥G X B | X C,如果从在图G中把A从B中分离出来。这意味着，当我们删除所有C 中的节,如果在A上没有任何连接的路径到B，那么CI 属性holds。这就是所谓的UGMs的全局马尔可夫性质。例如,在图19.2(b),有{ 1,2 }⊥{ 6、7 } | { 3、4、5 }。

图19.1

节点的节点集呈现t有条件地独立于所有其他节点图为t的马尔科夫blanket;我们将表示通过mb(t)。正式,马尔可夫全面满足以下属性

节点的集合呈现一个节点t条件独立于所有图中的其他节点被称为t的马尔

可夫blanket;我们将通过MB（t）表示这一点。从形式上看，马尔科夫blanket满足以下的特性：

其中是结点t的闭节点。可以证明，在一个UGM中，一个节点的马尔科夫blanket是其集近邻的节点。这就是所谓的无向本地马尔科夫属性。例如，在图19.2（b）中，有。

从局部马尔可夫属性，我们可以很容易地看到，两个节点是条件独立给出的其余部分，如果它们之间没有直接相连。这就是所谓的马氏Pairwise属性。符号上表示为:

使用三马尔可夫特性我们已经讨论过，我们可以从UGM得出以下的CI特性（其中包括）

很明显，全局马尔可夫给出了局部成对的这些马氏节点。这是不太明显的，但尽管如此真实（假定对于所有的x ，P（x）> 0，即，p是一个正密度），Pairwise 意味着全局性的，因此，所有这些马尔可夫性质是相同的，如图图19.3（参考‘Koller and Friedman 2009, p119’的证明）。这一结果的重要性在于，它通常更容易根据经验评估Pairwise条件独立性; 这种成对的CI声明可以用来构建一个从全局CI中

提取出来的图。

19.2.2 从无向到D-Separation

我们已经看到，检查 CI关系，在UGMs中要比DGMS容易得多，因为我们不必担心边的方向性。在本节中，我们将展示如何在有向图中使用UGM检查CI关系。

人们很容易通过删除边简单地将有向图转化为无向图，但是这显然是不正确

的，因为V型结构A→B←C相比于无向图中V型结构A-B-C有很不同的CI属性。后者不正确地给出了A⊥C | B。为了避免这种不正确的形式，我们可以在未连接的A和C之间添加边，然后从边上画箭头，成形无向全连通图。这个过程被称为规范化(moralization)。图19.2（b）给出了例子。

我们互连2和3，因为它们具有共同的子节点5，我们互连4，5和6，因为它们具有共同的子节点7。不幸的是，教化失去了一些CI信息，因此我们不能使用规范化的UGM去检测DGM的CI属性。例如，在图19.2（a）中，使用

D-分离，我们看到4⊥5|2添加标准化弧4 - 5将失去这一性质（见图19.2（b））。但是，请注意4-5的边，这表明可以用以下的方法来确定，如果A⊥B | C。首先，我们形成DAG图U= A∪B∪C。这意味着我们删除图中不在U中的所有节点或者不是U的祖先节点。那么我们这个标准化原图，并应用了简单的分离规则UGMs。例如，在图19.4（a）中，我们显示了原始图，图19.2（a）使用U={2，4,5}。在图19.4（b）中，我们将展示这个图表的moralization版本。很明显我们现在可以正确地得出结论，4⊥5|2。

19.2.3 比较有向和无向图模型

哪种图有更强的“表现力”，有向图或无向图？正式搞清这个问题，回忆我们说G是一个I-MAP，概率分布为P，如果有I（G）?I（P）的话。如果I（G）= I（P），则G是I-MAP的一个完美的映射，换言之，该图可以代表所有的（也是唯一的）的CI 分布的特性。事实证明，DGMS和UGMs是不同分布集上完美

的map（见图19.5）。在这个意义上，两者都不是比谁更有强大的表示能力。

作为能够由DGM完美地模拟一些CI的关系的一个例子，考虑V结构A →C ←B，预示着A ⊥ B , 且A B | C，去掉箭头有A ? C ? B , A ⊥ B | C 且 A B。事实上，没有一种UGM可以精确代表所有只由一个V型结构编码的两个CI statement。在一般情况下，CI的属性在UGMs是单调的，如果A ⊥B | C , 则A ⊥B | ( C ∪ D )，但在DGMS，CI的属性可以是非单调的，通过变量调节可以消除条件独立。

作为能够完美地模拟由一个UGM CI的关系的一个例子，考虑图19.6所示的4个周期，正确表示了A ⊥C | B,D，然而B ⊥D | A又是不正确的，图19.6（c）是A ⊥ C | B,D另外一种错误情况， B ⊥D。

一些分布可以由DGM或UGM完美模拟;产生的图形被称为decomposable 或者叫弦。粗略的说，这意味着：如每个最大团所有的变量坍塌，使“mega变量”，由此产生的图形将是一棵树。当然，如果图形已经是一个树（包括比较特殊的“链”），这将是弦。参见20.4.1节的细节。

19.3 MRFs参数化

19.3.1 Hammersley-Cliford理论

由于是无向图没有相关的拓扑排序，我们不能用链式法则来表示P（Y）。所以，联想势函数SOR因子s与图中的每一个极大团。我们给出势函数。一个潜在的函数是一个参数为非负的函数。可以证明任何正向分布，其CI的属性可以通过一个UGM表示。

定理19.3.1（Hammersley-Clifford），一个正向分布p(y) >0满足无向图G的CI属性，如果P能被一个最大团因子所表示。

其中C是图中所有最大团的集合，Z ( θ )是分割函数，

分割函数确保所有分布和为1

（证明未给）

如果p满足CI属性，于是p可以写作如下形式：

其中，

UGMs和统计物理之间的深刻联系。特别是，有一个被称为吉布斯分布的模型，该模型可以写成如下：

是与团块c中的变量相关的能量，通过定义一下公式能够转换为UGMs图：

我们看到，高概率状态对应于低能量配置。这种形式的模型被称为以能量为基础的模型，并且通常用在物理学和生物化学以及机器学习的一些分支上。注意，我们可以自由地参数化到图形的边，而不是最大小集团。这就是所谓的成对MRF。

19.3.2 势函数的表示

如果变量是离散的，我们能够用一张表格（非负值）来表示势函数，然而，这并不是概率，通过以下例子来看一下.

通常用LOG函数来定义势函数：

是的特征向量，LOG概率如下的形式：

这就是著名的最大熵或者叫线性LOG模型

例如，考虑MRF对，我们关联一个长度为K2的特征向量：

每一个特征值都有一个权重，我们将其转化为K X K的势函数形式：

所以我们看到，我们可以用对数线性形式很容易地表格化表示势。

为了说明为什么这是有用的，假设我们有兴趣做英文的概率模型拼写。由于某些字母组合在一起会发生相当频繁（比如，“ING”），我们将需要更高阶的因子捕捉到这一点。假设我们限制自己的trigrams。一张表格潜力仍然有个参数。

另一种方法是定义一个寻找某些“特殊”的三元组指示器的功能，如“ING”，“qu- ”等，那么我们可以在每个trigrams下定义势：

定义任意长度一个单词的概率：

由此产生的一个问题是特征函数来自哪里，在许多应用中，它们是由手工创建，以反映领域知识（我们会看到后面的例子），但它也可以从数据学习他们，正如我们在19.5.6节讨论的那样。

19.4 MRFs的一些例子

一些通过UGMs表示的例子

19.4.1伊辛模型

伊辛模型是MRF在统计物理学上的一个例子，通常用在描述磁力性质的模型上，给定y s∈{?1, +1}，代表一个原子的自旋，这可以被旋转向下或向上。在一些磁铁，称为铁磁体，相邻的自旋倾向排列在相同的方向，而在其他类型的磁体上，称为反铁磁体，自旋和周围原子不同。

我们可以按如下这个模型作为磁流变。在一个二维或三维晶格的形式创建的曲线图，并连接相邻的变量，如在图19.1（b）所示。然后，我们定义以下两两团块的势：

这里是节点s和t之间的耦合强度。如果两个节点不连接图中，我们设置。我们假设权重矩阵W是对称的，所以。通常我们假设所有的边有相同的强度，所以的（假设）。

如果权值是正的，相邻原子的旋转貌似有相同的状态，这可以被用来建模铁磁体，并且是一个关联马尔可夫网络的一个例子。如果权重是非常大，相应的概率分布将有两种模式，相应于所有的+1状态和全1的状态。这些被称为系统的基态。

如果所有的权重为负，J<0，则自旋希望与周围不同，这可以被用来模拟一个反铁磁体，并导致一个“沮丧的系统”在其中不是所有的约束可以同时得到满足。相应的概率分布将有多种模式。有趣的是，计算分区functionZ（J）可以在多项式时间内通过马尔科夫网络来完成，但是一个NP难的问题。

有伊辛模型和高斯图形化模型之间一个有趣的比喻。首先，假设，我们可以写一个伊辛模型非标准化的LOG概率，如下：

修改后的分布

其中，

如果定义，重写这个公式有点像高斯公式的形式，

19.4.2 Hopfield网络

Hopfield网络是一个权完全对称的Ising模型，这些权重，加上偏置条件B，可以从训练数据中学习到，使用（近似值）最大似然，如第19.5节中描述的那样。

Hopfield神经网络的主要应用是作为联想记忆。我们的想法是这样的：假设我们训练一套可完全观察的位向量，对应我们要记住的模式。然后，在测试的时候，我们提出了一个局部模式。我们想估算所缺失的变量;这就是所谓的“模式完备”。参见图19.7的例子，称为“联想记忆”。

由于准确的推断在这个模型中是一个顽固性问题，它是标准的用坐标下降算法称为迭代条件模型（ICM），这只是设置每个节点到其最可能（最低能量）的状态。充分条件是可以被证明的

因为推理是确定性的，它也有可能该模型解释为神经网络。（这是与16.5节的前馈神经网络相当不同，它只能被用于监督学习）。

Boltzmann机通过包括一些隐藏的节点，这使得该模型表示上更强大。它是推广了的Hopfield/Ising模型。

但是，我们也同样可应用吉布斯的Hopfield网络和ICM的Boltzmann机，推理算法不是模型定义的一部分。

19.4.3 Potts模型

这是很容易推广伊辛模型到多个离散状态情况下，，通常使用以下形式的势函数。

以上称为Potted模型。如果J>0相邻节点有相同的标签。从图19.8中可以看到对于J > 1.44，很多大的聚集产生，J< 1.44许多小的聚集产生，在K=1.44的

条件下，大小聚集都会混合产生。

Potts模型可以用于图像分割，因为相邻像素很可能具有相同的离散标签，因此属于同一网络。如下所示：

其中是观测到像素x t的概率属于K类。

相应的图形模型是无向和有向边的混合，如图19.9所示，无向2d网络表示先验概率p(y)。另外，没一个y t中存在有向边xt。从技术上讲，一个无向和有向图的这个组合被称为链图。但是，尽管x t是可观测的，他们可以“吸收”到模型中，从而留下一个无向“骨架”。

该模型是一种HMM的二维模拟，并且可以被称为一个部分地观察到MRF.As 在HMM中，目标是执行后的推理。例如：计算，不幸的是，在2D 情况下比一维情况下证明更难，必须采取近似的方法，在后面的章节中讨论。

虽然Potts现验可以解决规范化监督学习的问题，但它不能在无监督的方式下进行图像分割。对于无监督的情况下，需要使用更复杂的先验概率。

19.4.4 高斯MRFs

一个无向GGM，也称为高斯MRF，有如下形式：

我们可以很容易地吸势ψt到边的potentials中，但我们保持区分的清晰度，联合分布可以写成如下:

我们认识到这是一个多元高斯形式，其中及

如果，没有pairwise连接s和t,这样分解定理：

中的0称为结构0，因为它们表示在图中不存在边。因而无向GGMs对

应于稀疏矩阵。

19.4.4.1 比较高斯DGMs 和UGMs

在第10.2.5节中，我们看到了有向GGMs对应稀疏回归矩阵，协方差矩阵，以及稀疏的Cholesky因式分解，然而无向GGMs对应稀疏矩阵的精度。DAG的好处是，我们可以使用回归权重W，因此Σ，是有条件的协变量信息，无需担心正定约束。

它实际上是可能的两种表示法结合起来，产生一个高斯链曲线图。例如，考虑AA离散时间二阶马尔可夫链中的状态是连续转换函数可以被表示为一个矢量值的线性高斯CPD。

这就是所谓的向量自回归VAR或2阶的过程，这种模型被广泛用于计量经济学中，时间序列方面最适合DGM建模。然而，如果是稀疏的，然后其中一个时间片内的部件的相关性使用UGM建模。例如假设我们有：

和

所得的图形模型表示在图19.10。在过渡零矩阵A1 和A2对应缺失的从

和到的有向弧。零矩阵对应缺失的在节点间的无向弧。

有时候，我们有一个稀疏的协方差矩阵，而不是一个精确稀疏矩阵。这可以通过使用双向图来表示，其中，每个边具两个方向上的箭头，如图19.11（a）所示。这里没有连接节点是无条件独立的。如图19.11（a）我们看到，在高斯模型下面意味着，相反，如果是一个无向模型，我们有

其中，。

一个双向图可以转化为具有隐变量的DAG图，每个双向边被替换为一个隐变量，如图19.11（b）所示，CI的属性可以使用D分割来确定，我们可以结合双向图有向边得到一个有向混合图模式。

19.4.5 马尔科夫逻辑网络

在第19.4.1节，我们看到了怎样通过扩展UGM网格去进行到任意大小的图像建模。更复杂的领域中，变量之间的关系如何？创造这样的场景模式往往是使用一阶逻辑，例如，考虑“吸烟导致癌症”和“如果两个人是朋友，一个抽烟，另一个也这样”，我们能写下这个句子的逻辑形势：

当然，这些规则并非总是如此。事实上，脆性导致这样的逻辑方法的AI不再广泛使用。一个简单的方法是把逻辑规则和附加权重（称为确定性因素）赋予它们，然后把它们解释为条件概率分布。例如：我们可以说

，不幸的是，该规则并没有说要预测什么，如果的话。此外，以这种方式结合的CPDs不保证定义一致的联合分布，因为所得到的曲线图可能不是一个DAG。

另一种方法是把这些规则作为UGM中的势函数，结果被称为一个Markov 逻辑网。指定网络，我们首先重写所有规则，合取范式（CNF），也被称为子句形式。在这种情况下，我们得到

第一个子句可以读作“X或不抽烟或他有癌症”，这在逻辑上是等价公式19.32。

推理在一阶逻辑是只有半可判定，所以它是通常使用的受限子集。一种常见的方法（如Prolog语言中使用）是限制语言Horn子句，它是包含最多一个正向的字面条文。从本质上讲，这意味着该模型是一系列的if-then规则。

一旦我们将我们的知识编码为一组句子，可以为其关联权值，这些权重是该模型的参数，它们如下定义了团块的势：

其中，是一个逻辑表达式。是附加到上面的权值。

现在假设有两个人在世界上，安娜和Bob，我们将通过符号A和B表示。我们可以创建二元随机变量。和，其结果如图19.12所示，带8个二进制节点。

综上所述，我们可以认为MLN作为指定UGM模板的简便方法，可以展开以处理任意大小的数据。还有其他一些方法来定义概率模型。在一些情况下，有关于对象或关系的数量或存在不确定性。

19.5 学习

在本节中，我们将讨论如何执行ML和MAP来对MRFS进行参数估计。我们将看到计算是相当耗费时间的。出于这个原因，它是比较少见的执行贝叶斯推断MRFS的参数。

19.5.1使用梯度法训练最大熵模型

考虑MRF的LOG形式：

其中C标识团块，

因为函数为凸函数，所以它拥有全局最大值，我们可以找到梯度，对其进行基于梯度的优化，特别是，该衍生为特定团块的权值。C通过如下形式给出：

在第一个式子中，我们修正y为可观察值，通常称为闭合式（clamped term）第二个式子，y是自由的，通常称为开放式（unclamped term）。

需要注意的是计算unclamped要求推理模型，每一个梯度step都需要做这样的工作，这使得UGM训练比DGM训练要慢得多。

对数似然的梯度可以根据经验分布减去了特征矢量的模型的期望，改写为特征向量形式：

分布特征和模型匹配度预测公式：

称之为矩匹配。

19.5.2训练可部分观察的最大熵模型

假设在我们的模型中有一些丢失的数据或者隐变量。模型大致通过如下表示：

LOG形式表现：

其中

是非标准化的分布，式子同样是整个模型的划分函数，期望y 通过y i修正，

总的梯度通过给出。

19.5.3近似方法计算MRFS极大似然估计

当将ML或参数的MAP估计应用在非闭合的UGM上时，我们需要使用基于梯度的优化。这种梯度需要推论。在模型中，推论是棘手的，学习也变得棘手。这促使以ML/ MAP估计需要各种计算速度更快的替代品。我们在后面的章节讨论。

19.5.4 伪似然

一种可以替代的MLE是最大限度伪似然，根据如下定义：

也就是说，我们优化了充分条件语句，也被称为复合可能性（林夕1988）的产品，与此相比，客观上为最大似然

在高斯MRFS的情况下，PL是相当于ML（Besag1975），但是这是不正确的，一般对PL的方法示于图19.13为一个二维网格。

我们学会预测每个节点，给出的所有邻节点，这个过程一般很快，因为每个完整的条件概率只需要在总结单个节点的状态,.为了计算局部归一化常数。在PL方法类似于单独计算每一个完整的条件。除了参数被相邻节点之间绑定。

用PL的一个问题是很难应用于模型隐藏的变量，另一个更微妙的问题是，每个节点假定它的邻居有已知值。如果节点是对节点S的一个完美的预测，那么它将学会完全依靠节点T，即忽略其它可能有用的信息。然而，在实验表明预测PL的工作速度仍然可观。

19.5.5随机最大似然估计

回想一下，对数似然的一个全面观察MRF的梯度由下式给出：

对于部分观察到的梯度是相似的。在这两种情况下，我们可以使用蒙特卡罗抽样近似模型的期望。我们可以用随机梯度下降，这需要从样本的经验分布结合

起来。伪码得到的方法示于算法3

19.5.6最大熵模型特征介绍

MRFs需要较好的特征集，通常通过非监督的方式去学习，是先从功能基本集，然后不断地创建新的特征，结合已有的转给模型。这种方法最早在1997年被提出，然后扩展到了CRF的情况下。

为了说明的基本思想，我们提出一个例子，它说明了如何构建无条件概率模型来表示英文拼写。最初的模型没有特性，它代表了均匀分布。该算法开始通过选择新增功能。

它会检查任何字母是小写或没有。该特征被添加后，再将参数调整到最大似然。对于此功能给出估计值，这意味着在任何位置小写字母的单词是没有在这个位置上小写字母相同字的倍。从这个模型产生的Gibbs抽样如下。

如果算法检查到两个相邻的字符是小写的话就加入第二个特征。

现在这个模型如下形式：

继续以这种方式，该算法增加的字符串特征是S >及ING>，其中> 表示单词的结束，并用于各种正则表达式，如[0-9]等。一些模型中的样本有1000个特征，通过GIBBS采样，结果如下：

特征学习的这种方法可以被认为是作为图模型结构的学习形式，它具有更细粒度：我们添加的特征是有用的，不管所得到的图形结构。然而，所得到的曲线可以成为稠密的连接，参数估计更加顽固。

19.5.7迭代比例拟合(IPF)

如下LOG形式的公式

与相似，特征向量只指示了功能属性。

从公式可以看到最大似然估计实证期望的特征等于该模型的期望

其中Pemp是实证期望，