无向图模型(马尔科夫随机场)
条件马尔可夫模型
条件马尔可夫模型条件马尔可夫模型（Conditional Markov Model）是一种用于建模序列数据的概率模型。
它是马尔可夫模型的一种扩展，通过考虑当前状态和前一个状态之间的条件关系，能够更准确地预测未来的状态。
在条件马尔可夫模型中，序列数据被看作是由一系列离散的状态组成的。
每个状态可以是一个观察值或者隐藏状态，隐藏状态是指在模型中不能直接观测到的状态，而观察值则是可以直接观测到的状态。
条件马尔可夫模型假设每个状态的出现仅依赖于前一个状态，这被称为马尔可夫性质。
在实际应用中，条件马尔可夫模型被广泛应用于自然语言处理、语音识别、机器翻译等领域。
例如，在自然语言处理中，可以使用条件马尔可夫模型来预测下一个单词出现的概率，从而实现语言模型的建模。
在语音识别中，可以使用条件马尔可夫模型来对语音信号进行建模，从而实现语音识别的任务。
条件马尔可夫模型可以分为两类：隐马尔可夫模型（Hidden Markov Model，HMM）和条件随机场（Conditional Random Field，CRF）。
隐马尔可夫模型是最常用的条件马尔可夫模型之一，它假设隐藏状态和观察值之间存在一个概率关系，并通过学习这个关系来对未知的状态进行预测。
隐马尔可夫模型包括三个基本问题：状态序列问题、观测序列问题和学习问题。
状态序列问题是给定观测序列，求解最可能的状态序列；观测序列问题是给定状态序列，求解观测序列的概率；学习问题是根据观测序列和对应的状态序列，估计模型参数。
条件随机场是另一种常用的条件马尔可夫模型，它是一种无向图模型，用于建模标注问题。
与隐马尔可夫模型不同的是，条件随机场考虑了观测值之间的相关性，可以更好地建模序列数据之间的依赖关系。
条件随机场包括两个基本问题：标注问题和学习问题。
标注问题是给定观测序列，求解最可能的状态序列；学习问题是根据观测序列和对应的状态序列，估计模型参数。
无论是隐马尔可夫模型还是条件随机场，它们都是一种重要的序列建模工具，可以用于处理各种实际问题。
条件随机场的基础知识
条件随机场的基础知识条件随机场（Conditional Random Field，简称CRF）是一种概率图模型，常用于序列标注、自然语言处理、计算机视觉等领域。
它是一种无向图模型，用于建模输入序列和输出序列之间的关系。
本文将介绍条件随机场的基础知识，包括定义、特点、参数表示和推断算法等内容。
一、定义条件随机场是给定一组输入序列X的条件下，对应的输出序列Y的联合概率分布模型。
它假设输出序列Y是给定输入序列X的马尔可夫随机场，即满足马尔可夫性质。
条件随机场的定义如下：P(Y|X) = 1/Z(X) * exp(∑k∑lλkTk(yi-1, yi, X, i) +∑m∑nμnUn(yi, X, i))其中，Y表示输出序列，X表示输入序列，Tk和Un是特征函数，λk和μn是对应的权重参数，Z(X)是归一化因子。
二、特点条件随机场具有以下几个特点：1. 无向图模型：条件随机场是一种无向图模型，图中的节点表示输出序列的标签，边表示标签之间的依赖关系。
2. 局部特征：条件随机场的特征函数是局部的，只依赖于当前位置和相邻位置的标签。
3. 马尔可夫性质：条件随机场假设输出序列是给定输入序列的马尔可夫随机场，即当前位置的标签只与前一个位置的标签有关。
4. 概率模型：条件随机场是一种概率模型，可以计算输出序列的概率分布。
三、参数表示条件随机场的参数表示方式有两种：全局参数和局部参数。
1. 全局参数：全局参数表示整个条件随机场的权重参数，对所有特征函数都起作用。
2. 局部参数：局部参数表示每个特征函数的权重参数，只对对应的特征函数起作用。
四、推断算法条件随机场的推断算法主要包括前向-后向算法和维特比算法。
1. 前向-后向算法：前向-后向算法用于计算给定输入序列X的条件下，输出序列Y的边缘概率分布P(yi|X)。
它通过前向和后向两个过程，分别计算前缀和后缀的边缘概率。
2. 维特比算法：维特比算法用于求解给定输入序列X的条件下，输出序列Y的最优路径。
马尔科夫随机场与概率图模型的区别及联系解读(九)
马尔科夫随机场（Markov Random Field，MRF）和概率图模型（Probabilistic Graphical Model，PGM）是人工智能领域中常见的概率建模工具，在模式识别、自然语言处理、计算机视觉等领域有着广泛的应用。
虽然它们都是用来描述随机变量之间的依赖关系，但是在具体的应用和理论框架上存在一些不同。
本文将分析马尔科夫随机场和概率图模型的区别和联系，帮助读者更好地理解它们的特点和适用范围。
首先，我们来看一下马尔科夫随机场和概率图模型的基本概念。
马尔科夫随机场是用一个无向图表示的联合概率分布，图中的节点表示随机变量，边表示随机变量之间的依赖关系。
概率图模型是一个更加通用的概念，它包括了贝叶斯网（Bayesian Network）和马尔科夫随机场两种常见的特例。
贝叶斯网使用有向无环图表示联合概率分布，节点表示随机变量，边表示依赖关系和因果关系。
然后，我们来讨论一下马尔科夫随机场和概率图模型的区别。
首先，从表达能力上来说，概率图模型比马尔科夫随机场更加灵活，能够表示更加复杂的概率分布。
贝叶斯网通过有向边表示因果关系，能够更加清晰地表达变量之间的因果关系；而马尔科夫随机场则更适合表示无向边的关系，例如在图像分割、自然语言处理等领域有着广泛的应用。
其次，从推断的角度来看，概率图模型通常使用因子分解来进行推断，具有更高的效率；而马尔科夫随机场的推断通常需要使用MCMC等方法，计算复杂度较高。
接着，让我们来看一下马尔科夫随机场和概率图模型的联系。
首先，概率图模型是马尔科夫随机场的一种特例，可以说马尔科夫随机场是概率图模型的一种特殊情况。
因此，它们都是用来描述随机变量之间的依赖关系，都可以用于建模和推断。
其次，它们在一些具体的应用中也常常会相互转化。
例如，通过因子分解，可以将一个马尔科夫随机场转化为一个贝叶斯网；而通过消除变量，也可以将一个贝叶斯网转化为一个马尔科夫随机场。
总的来说，马尔科夫随机场和概率图模型是人工智能领域中常用的概率建模工具，它们都是用来描述随机变量之间的依赖关系，但是在具体的应用和理论框架上存在一些不同。
markov random field (mrf)原理及公式
markov random field (mrf)原理及公式1. 引言1.1 概述引言部分旨在介绍本文将要讨论的主题——Markov Random Field（MRF）以及其原理和公式。
MRF是一种概率图模型，被广泛应用于图像处理、计算机视觉和模式识别等领域。
通过建立随机变量之间的关联关系，MRF可以更好地描述数据的空间结构特征。
1.2 文章结构文章将按照以下顺序进行叙述：首先在第二节中介绍MRF的基本概念，包括马尔可夫性质、随机场与马尔可夫随机场的定义以及MRF图模型的构建和表示方法。
接下来，在第三节中详细讲解MRF的原理和公式，涵盖条件概率分布与联合概率分布的关系、MRF势函数的定义和作用以及MRF能量函数与最大熵原理之间的关系。
第四节将探讨MRF在图像处理中的应用领域，包括图像分割、图像去噪以及图像恢复等方面。
最后，在第五节中对全文进行总结，并展望未来发展方向。
1.3 目的本文旨在深入探究MRF这一重要概率图模型的原理和公式，并介绍其在图像处理领域中的应用。
通过阐述MRF的基本概念、原理和公式，使读者可以全面理解MRF的工作机制，并了解它对于图像分割、去噪和恢复等任务中所起到的作用。
同时，也旨在激发读者对于未来在该领域进一步研究和应用的兴趣。
2. Markov Random Field (MRF)的基本概念2.1 马尔可夫性质：马尔可夫性质是指在给定当前状态下，一个系统的未来状态只与其当前状态有关，而与过去状态无关。
简言之，即“未来不依赖于过去”。
在数学中，这种性质可以用条件独立性定义。
2.2 随机场和马尔可夫随机场的定义：随机场（Random Field）是指由一组随机变量构成的结构化随机模型。
它可以描述在空间或时间上相关联的一系列随机事件。
马尔可夫随机场（Markov Random Field，MRF）是一种特殊类型的随机场，它满足马尔可夫性质。
即给定一个特定节点值，该节点与其它非直接相邻节点之间的依赖关系可以通过邻接节点来表示。
机器学习——马尔可夫随机场（Ma...
机器学习——马尔可夫随机场（Ma...最近刚好在调研马尔可夫随机场，发现可以参考的资料少之⼜少，中⽂外⽂⽂献资料都相对较少。
按照仅有的知识稍作稍作整理⾃留以免之后⽤到再作查询。
有需要的也可以简单参考，但。
根据已有资料确实不太好理解，有简单明了易理解的还望推荐。
马尔可夫随机场（MRF）：是关于⼀组有马尔可夫性质的随机变量X的全联合概率分布模型。
换句话说，若⼀组随机变量是马尔可夫随机场，那么其⼀定满⾜马尔可夫性质。
马尔可夫⽹络或是MRF在依赖性的表⽰上类似于贝叶斯⽹络。
两者的区别在于：贝叶斯⽹络是有向⽆环的，⽽马尔可夫⽹络是⽆向可以有环的。
因此，马尔可夫是可以表⽰某些贝叶斯⽹络⽆法表述的依赖关系，⽐如循环依赖。
另⼀⽅⾯，它也不能表⽰贝叶斯⽹络可以表述的依赖，⽐如诱发依赖。
马尔可夫随机场的底图可以是有限的也可以是⽆限的。
1.定义给定⼀个⽆向图G=（V,E）,其中每个顶点v∈V表⽰⼀组随机变量X=(Xv)，每条边{u，v}∈E表⽰随机变量u和v之间的⼀种依赖关系。
（1）成对马尔可夫性质：任意两个不相邻的变量相对给定的其他全部变量都是条件独⽴的。
（2）局部马尔可夫性质：所有其他变量的邻居变量都是条件独⽴的。
（3）全局马尔可夫性质：对于给定⼀个分离⼦集，任何两组变量都是条件独⽴的以上三个马尔可夫性质并不等价：全局马尔可夫性质强于局部马尔可夫性质，同样的，局部马尔可夫性质也强于成对马尔可夫性质。
Markov⽹Markov⽹也称 Markov 随机场(Markov random field,简称 MRF),是⼀个变量集合 X=(X1,X2,…,X n)∈χ的联合分布模型.它由⼀个⽆向图 G 和定义于 G 上的⼀组势函数φk组成.其中,⽆向图的每个节点都代表⼀个随机变量,⽽ G 中的每⼀个“团(clique)”都对应着⼀个势函数(为⾮负实函数),表⽰团的⼀个状态.Markov ⽹所代表的变量集的联合分布表⽰为P ( X = x ) =1/ Z ∏kφk(X{k}) (1)其中，X{k}表⽰Markov⽹中第k团的状态，即对应于第k个团中所有变量的取值状态。
graphical model解释
图形模型1. 介绍图形模型（Graphical Model）是一种用于描述随机变量之间依赖关系的工具。
它可以表示为一个图结构，其中节点表示随机变量，边表示变量之间的依赖关系。
图形模型在统计学、人工智能和机器学习等领域中得到广泛应用。
图形模型分为两大类：有向图模型（Directed Graphical Model）和无向图模型（Undirected Graphical Model）。
有向图模型也称为贝叶斯网络（Bayesian Network）或信念网络（Belief Network），无向图模型也称为马尔可夫随机场（Markov Random Field）。
2. 有向图模型有向图模型使用有向边来表示变量之间的因果关系。
节点表示随机变量，边表示变量之间的依赖关系。
每个节点都与其父节点相连，父节点的取值影响子节点的取值。
贝叶斯网络是一种常见的有向图模型。
它通过条件概率表来描述各个节点之间的依赖关系。
条件概率表定义了给定父节点取值时子节点取值的概率分布。
例如，假设我们要建立一个天气预测系统，其中包括三个变量：天气（Weather）、湿度（Humidity）和降雨（Rainfall）。
天气节点是根节点，湿度和降雨节点是其子节点。
贝叶斯网络可以表示为以下图结构：Weather -> HumidityWeather -> Rainfall其中，天气节点对湿度和降雨节点有直接影响。
我们可以通过条件概率表来描述这种影响关系。
3. 无向图模型无向图模型使用无向边来表示变量之间的相关关系。
边表示变量之间的相互作用，没有方向性。
每个节点都与其他节点相连，表示它们之间存在依赖关系。
马尔可夫随机场是一种常见的无向图模型。
它通过势函数来描述各个节点之间的依赖关系。
势函数定义了变量取值的联合概率分布。
例如，假设我们要建立一个人脸识别系统，其中包括三个变量：人脸（Face）、眼睛（Eyes）和嘴巴（Mouth）。
人脸节点是中心节点，眼睛和嘴巴节点与人脸节点相连。
马尔科夫随机场在社交网络分析中的性能评估方法总结(Ⅰ)
马尔科夫随机场在社交网络分析中的性能评估方法总结社交网络在当今社会中扮演着越来越重要的角色，人们通过社交网络平台进行信息传递、社交互动、个人表达等活动。
因此，对社交网络的分析和评估显得尤为重要。
马尔科夫随机场（Markov Random Field，MRF）作为一种用于建模和分析复杂系统的数学工具，在社交网络分析中也得到了广泛应用。
本文将对马尔科夫随机场在社交网络分析中的性能评估方法进行总结和讨论。
一、马尔科夫随机场的基本原理马尔科夫随机场是一种用于描述多变量联合分布的概率图模型。
它由一个无向图和一组随机变量组成，其中无向图的节点表示随机变量，边表示变量之间的依赖关系。
马尔科夫随机场的基本原理是基于局部马尔科夫性，即给定邻居节点的条件下，每个节点的概率分布仅依赖于其邻居节点，而不依赖于整个网络的其他节点。
这使得马尔科夫随机场能够有效地捕捉到变量之间的相互作用和依赖关系，从而对复杂系统进行建模和分析。
二、社交网络分析中的马尔科夫随机场应用在社交网络分析中，马尔科夫随机场被广泛应用于多种任务，如社区发现、信息传播、用户推荐等。
以社区发现为例，社交网络中的用户节点可以看作是随机变量，节点之间的关系可以看作是随机场的无向边。
利用马尔科夫随机场对社交网络进行建模，可以有效地发现社区结构，识别具有相似兴趣和行为模式的用户群体，为社交网络平台提供个性化推荐和精准营销等服务。
三、马尔科夫随机场性能评估方法对于马尔科夫随机场模型在社交网络分析中的性能评估，主要包括模型拟合度、预测准确度和模型解释性等方面。
模型拟合度可以通过比较观测数据和模型预测数据的拟合程度来评估，常用的方法包括对数似然比、均方误差等。
预测准确度则可以通过交叉验证、AUC值等指标来评估模型的预测能力。
而模型的解释性则可以通过特征重要性、边缘概率等指标来评估模型对数据的解释能力。
四、马尔科夫随机场性能评估方法的优势和局限马尔科夫随机场模型在社交网络分析中具有一定的优势，如能够有效地捕捉节点之间的依赖关系，适用于非线性和复杂结构的网络，能够处理高维数据等。
概率流程计算
01 简单介绍概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。
无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。
严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。
这个过程也称概率推理(probabilistic inference）。
而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。
但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。
好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。
无向图和有向图的例子如（图一）所示：图一(a)无向图（隐马尔科夫）(b)有向图概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。
图的每个节点都可看成一个变量，每个变量有N个状态（取值范围），节点之间的边表示变量之间的关系，它除了可以作为构建模型的语言外，图还可以评价模型的复杂度和可行性，一个算法的运行时间或者错误界限的数量级可以用图的结构性质来分析，这句话说的范围很广，其实工程领域的很多问题都可以用图来表示，最终转换成一个搜索或者查找问题，目标就是快速的定位到目标，试问还有什么问题不是搜索问题？树是图，旅行商问题是基于图，染色问题更是基于图，他们具有不同的图的结构性质。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
19 无向图模型（马尔科夫随机场）19.1 介绍在第十章,我们讨论了图形化模型(DGMs),通常称为贝叶斯网。
然而,对于某些域,需要选择一个方向的边即(DGM), 例如,考虑建模一个图像。
我们可能会假设相邻像素的强度值是相关的。
我们可以创建一个DAG模型的2D拓扑如图19.1所示。
这就是所谓的因果MRF或马尔可夫网。
然而,它的条件独立性通常不好。
另一种方法是使用anundirected图形化模型(UGM),也称为马尔可夫随机场(MRF)或马尔可夫网络。
这些不需要我们指定边缘方向,在处理一些问题,如图像分析和空间统计数据时显得更自然。
例如,一个无向二维点阵显示（如图19.1(b)）；现在每个节点的马尔科夫Blanket只是最近邻节点,正如我们在19.2节所示的那样。
粗略地讲,在建立在DGMs上的UGMs的主要优点是:(1)它们是对称的,因此对某些领域更“自然”,如空间或关系数据；(2)Discriminativel UGMs(又名条件随机域,或CRFs),它定义了条件概率密度p(y|x),要比Discriminativel UGMs更好，我们在19.6.1节中解释原因。
相比于DGMs，UGMs的主要缺点是:(1)参数是可很难解释及模块化程度较差,我们在19.3节解释原因;(2)参数估计计算代价更高,原因我们在19.5节解释。
19.2 UGMs的条件独立性19.2.1UGMs通过简单的图分离定义CI关系如下：对于节点集的A,B,C,我们说X A ⊥G X B | X C,如果从在图G中把A从B中分离出来。
这意味着，当我们删除所有C 中的节,如果在A上没有任何连接的路径到B，那么CI 属性holds。
这就是所谓的UGMs的全局马尔可夫性质。
例如,在图19.2(b),有{ 1,2 }⊥{ 6、7 } | { 3、4、5 }。
图19.1节点的节点集呈现t有条件地独立于所有其他节点图为t的马尔科夫blanket;我们将表示通过mb(t)。
正式,马尔可夫全面满足以下属性节点的集合呈现一个节点t条件独立于所有图中的其他节点被称为t的马尔可夫blanket;我们将通过MB（t）表示这一点。
从形式上看，马尔科夫blanket满足以下的特性：其中是结点t的闭节点。
可以证明，在一个UGM中，一个节点的马尔科夫blanket是其集近邻的节点。
这就是所谓的无向本地马尔科夫属性。
例如，在图19.2（b）中，有。
从局部马尔可夫属性，我们可以很容易地看到，两个节点是条件独立给出的其余部分，如果它们之间没有直接相连。
这就是所谓的马氏Pairwise属性。
符号上表示为:使用三马尔可夫特性我们已经讨论过，我们可以从UGM得出以下的CI特性（其中包括）很明显，全局马尔可夫给出了局部成对的这些马氏节点。
这是不太明显的，但尽管如此真实（假定对于所有的x ，P（x）> 0，即，p是一个正密度），Pairwise 意味着全局性的，因此，所有这些马尔可夫性质是相同的，如图图19.3（参考‘Koller and Friedman 2009, p119’的证明）。
这一结果的重要性在于，它通常更容易根据经验评估Pairwise条件独立性; 这种成对的CI声明可以用来构建一个从全局CI中提取出来的图。
19.2.2 从无向到D-Separation我们已经看到，检查 CI关系，在UGMs中要比DGMS容易得多，因为我们不必担心边的方向性。
在本节中，我们将展示如何在有向图中使用UGM检查CI关系。
人们很容易通过删除边简单地将有向图转化为无向图，但是这显然是不正确的，因为V型结构A→B←C相比于无向图中V型结构A-B-C有很不同的CI属性。
后者不正确地给出了A⊥C | B。
为了避免这种不正确的形式，我们可以在未连接的A和C之间添加边，然后从边上画箭头，成形无向全连通图。
这个过程被称为规范化(moralization)。
图19.2（b）给出了例子。
我们互连2和3，因为它们具有共同的子节点5，我们互连4，5和6，因为它们具有共同的子节点7。
不幸的是，教化失去了一些CI信息，因此我们不能使用规范化的UGM去检测DGM的CI属性。
例如，在图19.2（a）中，使用D-分离，我们看到4⊥5|2添加标准化弧4 - 5将失去这一性质（见图19.2（b））。
但是，请注意4-5的边，这表明可以用以下的方法来确定，如果A⊥B | C。
首先，我们形成DAG图U= A∪B∪C。
这意味着我们删除图中不在U中的所有节点或者不是U的祖先节点。
那么我们这个标准化原图，并应用了简单的分离规则UGMs。
例如，在图19.4（a）中，我们显示了原始图，图19.2（a）使用U={2，4,5}。
在图19.4（b）中，我们将展示这个图表的moralization版本。
很明显我们现在可以正确地得出结论，4⊥5|2。
19.2.3 比较有向和无向图模型哪种图有更强的“表现力”，有向图或无向图？正式搞清这个问题，回忆我们说G是一个I-MAP，概率分布为P，如果有I（G）⊆I（P）的话。
如果I（G）= I（P），则G是I-MAP的一个完美的映射，换言之，该图可以代表所有的（也是唯一的）的CI 分布的特性。
事实证明，DGMS和UGMs是不同分布集上完美的map（见图19.5）。
在这个意义上，两者都不是比谁更有强大的表示能力。
作为能够由DGM完美地模拟一些CI的关系的一个例子，考虑V结构A →C ←B，预示着A ⊥ B , 且A B | C，去掉箭头有A − C − B , A ⊥ B | C 且 A B。
事实上，没有一种UGM可以精确代表所有只由一个V型结构编码的两个CI statement。
在一般情况下，CI的属性在UGMs是单调的，如果A ⊥B | C , 则A ⊥B | ( C ∪ D )，但在DGMS，CI的属性可以是非单调的，通过变量调节可以消除条件独立。
作为能够完美地模拟由一个UGM CI的关系的一个例子，考虑图19.6所示的4个周期，正确表示了A ⊥C | B,D，然而B ⊥D | A又是不正确的，图19.6（c）是A ⊥ C | B,D另外一种错误情况， B ⊥D。
一些分布可以由DGM或UGM完美模拟;产生的图形被称为decomposable 或者叫弦。
粗略的说，这意味着：如每个最大团所有的变量坍塌，使“mega变量”，由此产生的图形将是一棵树。
当然，如果图形已经是一个树（包括比较特殊的“链”），这将是弦。
参见20.4.1节的细节。
19.3 MRFs参数化19.3.1 Hammersley-Cliford理论由于是无向图没有相关的拓扑排序，我们不能用链式法则来表示P（Y）。
所以，联想势函数SOR因子s与图中的每一个极大团。
我们给出势函数。
一个潜在的函数是一个参数为非负的函数。
可以证明任何正向分布，其CI的属性可以通过一个UGM表示。
定理19.3.1（Hammersley-Clifford），一个正向分布p(y) >0满足无向图G的CI属性，如果P能被一个最大团因子所表示。
其中C是图中所有最大团的集合，Z ( θ )是分割函数，分割函数确保所有分布和为1（证明未给）如果p满足CI属性，于是p可以写作如下形式：其中，UGMs和统计物理之间的深刻联系。
特别是，有一个被称为吉布斯分布的模型，该模型可以写成如下：是与团块c中的变量相关的能量，通过定义一下公式能够转换为UGMs图：我们看到，高概率状态对应于低能量配置。
这种形式的模型被称为以能量为基础的模型，并且通常用在物理学和生物化学以及机器学习的一些分支上。
注意，我们可以自由地参数化到图形的边，而不是最大小集团。
这就是所谓的成对MRF。
19.3.2 势函数的表示如果变量是离散的，我们能够用一张表格（非负值）来表示势函数，然而，这并不是概率，通过以下例子来看一下.通常用LOG函数来定义势函数：是的特征向量，LOG概率如下的形式：这就是著名的最大熵或者叫线性LOG模型例如，考虑MRF对，我们关联一个长度为K2的特征向量：每一个特征值都有一个权重，我们将其转化为K X K的势函数形式：所以我们看到，我们可以用对数线性形式很容易地表格化表示势。
为了说明为什么这是有用的，假设我们有兴趣做英文的概率模型拼写。
由于某些字母组合在一起会发生相当频繁（比如，“ING”），我们将需要更高阶的因子捕捉到这一点。
假设我们限制自己的trigrams。
一张表格潜力仍然有个参数。
另一种方法是定义一个寻找某些“特殊”的三元组指示器的功能，如“ING”，“qu- ”等，那么我们可以在每个trigrams下定义势：定义任意长度一个单词的概率：由此产生的一个问题是特征函数来自哪里，在许多应用中，它们是由手工创建，以反映领域知识（我们会看到后面的例子），但它也可以从数据学习他们，正如我们在19.5.6节讨论的那样。
19.4 MRFs的一些例子一些通过UGMs表示的例子19.4.1伊辛模型伊辛模型是MRF在统计物理学上的一个例子，通常用在描述磁力性质的模型上，给定y s∈{−1, +1}，代表一个原子的自旋，这可以被旋转向下或向上。
在一些磁铁，称为铁磁体，相邻的自旋倾向排列在相同的方向，而在其他类型的磁体上，称为反铁磁体，自旋和周围原子不同。
我们可以按如下这个模型作为磁流变。
在一个二维或三维晶格的形式创建的曲线图，并连接相邻的变量，如在图19.1（b）所示。
然后，我们定义以下两两团块的势：这里是节点s和t之间的耦合强度。
如果两个节点不连接图中，我们设置。
我们假设权重矩阵W是对称的，所以。
通常我们假设所有的边有相同的强度，所以的（假设）。
如果权值是正的，相邻原子的旋转貌似有相同的状态，这可以被用来建模铁磁体，并且是一个关联马尔可夫网络的一个例子。
如果权重是非常大，相应的概率分布将有两种模式，相应于所有的+1状态和全1的状态。
这些被称为系统的基态。
如果所有的权重为负，J<0，则自旋希望与周围不同，这可以被用来模拟一个反铁磁体，并导致一个“沮丧的系统”在其中不是所有的约束可以同时得到满足。
相应的概率分布将有多种模式。
有趣的是，计算分区functionZ（J）可以在多项式时间内通过马尔科夫网络来完成，但是一个NP难的问题。
有伊辛模型和高斯图形化模型之间一个有趣的比喻。
首先，假设，我们可以写一个伊辛模型非标准化的LOG概率，如下：修改后的分布其中，如果定义，重写这个公式有点像高斯公式的形式，19.4.2 Hopfield网络Hopfield网络是一个权完全对称的Ising模型，这些权重，加上偏置条件B，可以从训练数据中学习到，使用（近似值）最大似然，如第19.5节中描述的那样。
Hopfield神经网络的主要应用是作为联想记忆。
我们的想法是这样的：假设我们训练一套可完全观察的位向量，对应我们要记住的模式。