受限玻尔兹曼机RBM剖析

根据y的值计算概率p(hj=1|v)，其中hj的取值就是yj的值。 2.然后产生一个0到1之间的随机数，如果它小于p(vi=1|h)，hi的取值 就是1，否则就是0。
受限玻尔兹曼机
• RBM的基本模型 RBM也可以被视为一个无向图模型。v 为可见层，用于 表示观测数据，h 为隐层，可视为一些特征提取器，W 为 两层之间的连接权重。 对于一组给定的状态(v; h)， RBM作为一个系统所具备 的能量定义为
受限玻尔兹曼机
当参数确定时，基于该能量函数，我们可以得到(v; h)的 联合概率分布：
对于一个实际问题，我们最关心的是由RBM所定义的关于 观测数据v的分布，即联合概率分布的边际分布，也称为 似然函数：
受限玻尔兹曼机
由RBM的特殊结构(即层间有连接，层内无连接）可知： 当给定可见单元的状态时，各隐单元的激活状态之间是条 件独立的。此时，第j个隐单元的激活概率为
e ss
果小磁针方向与外场方向一致，则能量也会降低。我们定义总能量：
Esi J
i , j
s s
i
j
H si
i
N
其中J为一个能量耦合常数，E{si}表示系统处于状态组合{si}下的总 能量。求和下标表示对所有相邻的两个小磁针进行求和。我们看到， 如果si=sj，则总能量就会减少J。H表示外界磁场的强度,它是一个参 数，如果外界磁场向上H为正，否则为负。如果某个小磁针的方向与 外场一致，则总能量减少一个单位。
后来，他让他的学生Ernst Ising对一维的Ising模型进行求解，但是并 没有发现相变现象，因此也没有得到更多物理学家的关注。随后，著
名的统计物理学家Lars Onsager于1944年对二维的Ising模型进行了
解析求解，并同时发现了二维Ising模型中的相变现象，从而引起了更
玻尔兹曼机
• 模型表述
玻尔兹曼机
• 玻尔兹曼机简介
BM的原理起源于统计物理学，是一种基于能量函数的建模方法， 能够描述变量之间的高阶相互作用，BM的学习算法较复杂，但所建 模型和学习算法有比较完备的物理解释和严格的数理统计理论作基础 。BM是一种对称耦合的随机反馈型二值单元神经网络，由可见层和 多个隐层组成，网络节点分为可见单元(visible unit)和隐单元(hidden unit)，用可见单元和隐单元来表达随机网络与随机环境的学习模型， 通过权值表达单元之间的相关性。
n
根据x的值计算概率p(hj=1|v)，其中vi的取值就是xi的值。 2.然后产生一个0到1之间的随机数，如果它小于p(hj=1|v) ， yj的取值 就是1，否则就是0。 反过来，现在知道了一个编码后的样本y，想要知道原来的样本x， 即解码过程，跟上面也是同理，过程如下： 1.先利用公式 m
p(vi 1 h) ( j 1 w ji h j bi )
考虑一个如左图所示的晶格世界。
i
假设第个i节点是一个小磁针，每个小 磁针有上下两种状态，我们用si来表 示这个状态，并且si={1,-1}。 表示磁针朝上或者朝下。网格上相
邻的两个小磁针可以发生相互作用。
玻尔兹曼机
• 能量函数
我们可以通过总能量的概念来刻画这种相互作用： 即如果两个相邻方格的小磁针状态一致（例如都是朝上），则系统的 总能量减1单位，否则如果不同就加1单位。外界还可能存在磁场，如
受限玻尔兹曼机
• 结构
RBM网络结构有m个可视节点和n个隐藏节点
受限玻尔兹曼机
• 结构（续）
RBM网络有几个参数，一个是可视层与隐藏层之间的权重矩阵 Wn×m，一个是可视节点的偏移量b=(b1,b2⋯bn)，一个是隐藏节点的偏 移量c=(c1,c2⋯cm)，这几个参数决定了RBM网络将一个n维的样本编 码成一个什么样的m维的样本。 首先为了描述容易，先假设每个节点取值都在集合{0,1}中，即 ∀i,j,vi∈ {0,1}，ℎj∈ {0,1} 。 一个训练样本x过来了取值为x=(x1,x2⋯xn)，根据RBM网络，可以得 到这个样本的m维的编码后的样本y=(y1,y2⋯ym)，这m维的编码也可
玻尔兹曼机
• 玻尔兹曼机简介（续）
BM是由Hinton和Sejnowski提出的一种随机递归神经网络，可以看 做是一种随机生成的Hopfield网络，是能够通过学习数据的固有内在
表示解决困难学习问题的最早的人工神经网络之一，因样本分布遵循
玻尔兹曼分布而命名为BM。BM由二值神经元构成，每个神经元只取 1或0这两种状态，状态1代表该神经元处于接通状态，状态0代表该神
以认为是抽取了m个特征的样本。
受限玻尔兹曼机
• 结构（续） 隐藏节点的第j个特征的取值为1的概率为
p(h j 1 v) (i 1 w jivi c j )
n
其中的v取值就是x，hj的取值就是yj。且，
受限玻尔兹曼机
• 结构（续）
生成yj的过程就是： 1.先利用公式
p(h j 1 v) (i 1 w jivi c j )
受限玻尔兹曼机
陈文根 2016-6-12
河南工业大学
目录
• 一．玻尔兹曼机（BM）
– Ising模型 – 能量函数
• 二．受限玻尔兹曼机（RBM）
– 结构
玻尔兹曼机（BM）
• Ising模型
Ising模型是统计物理中迄
今为止唯一的一个同时具备:表述简单、内涵丰富、应用广泛这三种优
点的模型。
Ising模型最早的提出者是Wilhelm Le 结构
能量函数定义为：
根据规则，如果与神经元i相 邻的所有神经元都激活，并且 它们的连接权重为正的话，那 么该神经元就有可能被激活。 这就相当于最小化一个全局的 能量函数。
受限玻尔兹曼机（RBM）
• 简介
Smolensky提出的RBM由一个可见神经元层和一个隐神经 元层组成，由于隐层神经元之间没有相互连接并且隐层神经元独立于 给定的训练样本，这使直接计算依赖数据的期望值变得容易，可见层 神经元之间也没有相互连接，通过从训练样本得到的隐层神经元状态 上执行马尔可夫链抽样过程，来估计独立于数据的期望值，并行交替 更新所有可见层神经元和隐层神经元的值。
RBM的结构是对称的，当给定隐单元的状态时，各可见单 元的激活状态之间也是条件独立的，即第i个可见单元的激 活概率为