玻尔兹曼机网络

Boltzmann 机网络1. 网络结构伯尔兹曼机网络（Boltzmann machines ，BM ）在网络结构方面与Hopfield 神经网络类似，网络采取有教师的学习方法，每一个神经元之间对称的反馈互联，即各对神经元之间的传输权重系数是对称的：ji ij w w =，0=ii w 。

但是，两者之间在运行原理方面有根本区别。

（1）Hopfield 网络的神经元的结构功能，及其在网络中的地位是一样的。

BM 中一部分神经元与外部相连，可以起到网络的输入、输出功能，或者严格的说可以受到外部条件的约束；而另一部分神经元则不与外部相连，因而属于隐单元；BM 是具有隐单元的反馈互联网络。

（2）神经元的状态为0或1的概率取决于相应的输入。

（3）学习与工作原理有其独特之处。

BM 网络的神经元特性取概率阈值模型，如图1所示。

对于第i 号神经元，它的全部输入信号的总和为i I ，可表示如下i N i j j j ij i x w I θ-=∑-≠=1,0 （1）或者∑-≠==1,0N i j j j ij i x w I （2）神经元i 的输出为i x ，i x 只能取1或0，i x 取1的概率i p 由下式决定 ()()T I i j e x p /111-+== （3） ()()==-==110i i x p x p ()T I T I j j e e //1--+ （4） 式（3）就是我们熟悉的Sigmoid 形式，但是前面分析中常用的参数0u 改用了字母T ，并且称之为温度，这与在BM 的分析中将与热力学类比有关，在不同的温度下i p 随i I 的变化如图2所示，温度参数T 在BM 神经网络的搜索过程中起重要的作用。

图1 BM 神经元结构图2 BM 神经元的特性2．训练方法2.1 状态更新算法（1）网络初始化给初始状态赋[-1，1]之间的随机数，设定起始温度0T 和目标温度值final T 。

（2）求解内部状态从N 个神经元中随机选取一个神经元，根据下式求解出神经元的输入总和，即内部状态。

()()j j Ni j j ij i b t u w t H +=∑≠=,1 （5）()j j nj ij i b v w t u +=∑=1 （6）（3）更新神经元状态根据下面的公式更新神经元的状态：()[]()()T t H t v P i i /ex p 1111-+==+ （7） 1vv iv 1-200.90.80.750-5-100.10.20.30.40.50.6-150151020()()()T t u i i e t v P -+==+1111 （8）（4） 除i 外的神经元的输出状态保持不变，即除i 外的神经元的状态由下面公式求解得出：()()t v t v j j =+1 i j N j ≠⋅⋅⋅=;,,2,1 。

（9）（5） 令 1+=t t ，按照下式计算出新的温度参数：()()1log 10+=+t T t T （10） （6） 第（5）步计算出的温度参数是否小于目标温度，小于目标温度则算法结束，否则返回（2），进入下一轮计算。

2.2 注意事项（1）概率阀值的确定方法在网络初始化时按经验确定，或在运行过程中选取一个[0，0.5]之间均匀分布的随机数。

（2）网络权值的确定方法（3）在每一温度下达到热平衡的条件（4）降温方法通常采用指数降温，即()()1log 10+=+t T t T 为加快网络收敛速度，也可采用一个倍乘小于1的降温系数的办法。

3．相关问题算法BM 神经元网络的运行：最佳解的模拟退火法搜索模拟退火算法是最优化处理理论和方法的一个方面，并不是在BM 网络中所专有的，恰恰相反，正是由于上述的网络概率状态对参数T 的强烈依赖使我们自然地想到，在网络的运行过程中T 应先高后低以便能够在搜索速度和搜索精度两个方面得到好处，快熟而又精确地获得全局最优解。

就像在所有的自适应运算中对迭代步长α的处理那样。

而作为热处理工艺的模拟退火方法也将工件高温加热，然后慢慢冷却，所追求的物理目的就是将工件的微观物质结构在高温下进行充分的扰动、而在降温的进程中生成微观晶格有序化的低能量状态，共同的理论思想使二者走到了一起，也是热力学理论引入信息处理领域的最初尝试和成功范例。

模拟退火算法（Simulated Annealing ，SA ）它由Metropolis 于1953年提出，是最优化处理算法中的一种改进的蒙特—卡罗方法、包括Metropolis 算法和退火过程（Annealing Procedure ，AP ）组成。

S Kirkpatrick （1983）和V Cerny （1985）进一步发展和应用了这一方法。

方法的概要是，首先在高温下进行搜索，由于此时各状态出现概率相差不大，系统可以很快进入“热平衡状态”，是一种快速找到系统概率的低能区的“粗搜索”过程。

随着温度逐渐降低，各状态出现概率的差距逐渐被扩大，搜索精度不断提高。

最后以一较高置信度达到网络能量函数的全局最小点。

简要说明如下。

（1）Metropolis 抽样过程Metropolis 算法是模拟退火算法的基础。

它假定随机变量在某一时刻的状态为i v ，在另一时刻状态为j v 。

假设这种状态的转移满足对称条件()()i j j i v v p v v p ||=。

令i E ∆表示系统从状态i v 转移至状态j v 所引起的能量差。

如果i E ∆<0，即转移就导致了状态能量的降低，则兑现这种转移。

新状态将作为算法下一步的起点。

如果i E ∆>0，算法按概率操作结果随机决定兑现或放弃这一转移。

概率操作的方法很多，其中取随机数的方法很简单。

随机生成一个在[0,1]区间内均匀分布的随机数ξ，如果T E i e /∆-<ξ。

则兑现这种转移，否则拒绝这种转移。

反复迭代，达到系统当前温度下的热平衡（能量最小）。

这个过程称作Metropolis 抽样过程。

（2）退火过程退火过程就是降温过程。

即在Metropolis 抽样过程中将温度T 缓慢降低，通过参数T 的变化使系统状态收敛于全局最小能量处。

T 参数的选择对于算法最后的结果有很大的影响。

初始温度和终止温度设置的过低或过高都会延长搜索时间。

降温步骤太快，往往会漏掉全局最优点，使算法收敛至局部最优点。

叫我降温步骤太慢，则会大大延迟搜索全局最优点的计算时间，从而难以实际应用。

模拟退火的算法，得到许多研究者从不同角度和方面进行大量的研究，得到了广泛的应用。

在BM 网络中为了达到最优搜索结果，更是对模拟退火算法的应用与实现进行了充分的研究，而其中的一个重要问题就是温度降低策略。

Kirkpatrick 等进行了大量的研究，并给出了一些有用的原则。

①初始温度：选取足够高的0T ，保证存在所有可能的转移状态。

②温度下降策略：有不同降温策略，例如()()⋅⋅⋅==+2,1,1k k T k T λ此处λ是一小于却接近与1的常数。

例如可在0.8至0.99之间取值。

另外如()()⋅⋅⋅=+=+2,1,1lg 10k k T k T ③终止温度：如果在连续的若干个温度下没有可接受的新状态，算法结束。

BM 网络的运行采用了模拟退火算法，具体步骤如下：设BM 网络具有N 个神经元，其中P 个为显见神经元，Q 个为隐见神经元；j i ,号神经元的连接权值为()N j i w ,,2,1,ij ⋅⋅⋅=。

请特别注意，这里讨论的是网络工作阶段的运行问题。

ij w 是已训练的最优权值。

第一步：网络初始化。

设定初始温度0T 、终止温度end T 、神经元输出取1的概率阈值ρ。

第二部：逐一调整每一个神经元的状态。

首先，在温度()k T 条件下，随机选取网络中的一个神经元i ，计算神经元i 的净输入∑-≠==1,0N i j j j ij i x w I若0>i I 即能量差i E ∆>0，由前述分析知，i x 取1降低网络能量，故兑现之u ，取()11=+k x i 。

若0<i I 即能量差i E ∆<0，则()1+k x i 按概率取值。

先计算取1概率()()T I i j e x p /111-+== 若()ρ>k p i ，取()11=+k x i ，若()ρ<k p i ，取()k x k x i i =+)1(。

然后，判断网络是否是一个局部稳态，若是，则转入第三步，降低温度，实施退火；若不是一个局部稳态，则反复随机选取另一个神经元重复本步过程，直到达到一个局部稳态。

第三步：模拟退火。

重新逐一调整每一神经元的状态。

按()()1,1<=+λλk T k T 等策略降低系统温度，重复第二步工作。

第四步：终止。

条件终止：如果在连续的若干个温度下没有可接受的新状态，算法结束。

无条件终止：()end T k T >+1，算法结束。

4．BM 机的应用介绍BM 网络的应用结果的文献相对其它类型的网络少得多，其原因在前面已经提及，主要就是计算工作量太大，限制了应用者的兴趣。

但是许多研究者致力于网络模型和计算方法改进的研究，还取得了一些重要进展，在各个技术领域的最优化处理应用也相当的广泛。

目前BM 机已经广泛应用到图像、声纳、雷达等模式识别领域。

下面结合一些实际的应用来具体介绍一下。

4.1 BM 在最优化计算方面的应用目前已有许多利用BM 进行一类复杂决策问题的BM 求解实例。

本节重点介绍用遗传算法优化的BM 机。

由于人工神经网络自身具有并行性、鲁棒性等特点，附以一些其他算法，有可能解决目前优化设计领域中存在的一些问题。

国内外已有很多学者对此进行了研究，也取得了令人满意的结果。

目前BM 机已经广泛应用到图像、声纳、雷达等模式识别领域。

但是BM 机运用模拟退火算法学习理论上能跳出局部最优值而获得全局最优值或者全局最优值的近似值，是一种功能比较强大的网络。

但是其各个节点状态的变化是个异步的过程，并且在权值调整时调整量的大小不容易确定。

遗传算法是一种并行计算的智能优化算法，并且对于待寻优的函数无连续性、可微性等限制，因而应用范围较广。

将遗传算法应用于BM 机的学习中，用其并行寻优能力调整BM 机的权值变化，实现了不通过复杂的概率统计调整BM 机的权值，同样训练出来符合要求的网络。

4.1 .1 算法原理BM 机学习过程中，在正向学习阶段和反向学习阶段，网络中的自由活动的节点的输出状态按概率： T E i i eP /11∆-+= （4-1） 进行改变。

式中，T 为网络的温度，i E ∆为由节点状态的变化而引起的网络能量的变化值。

并且经过模拟退火算法不断降低网络的温度，最终使网络达到热平衡状态。

当正向学习阶段的网络和反向学习阶段的网络都达到热平衡状态时，统计网络中的任意两个节点同时为1的平均概率，根据概率统i 为由节点状态的变化而引起的网络能量的变化值。