最优化设计：第10章 Hopfield神经网络优化方法

神经网络主要应用领域有：模式识别与图象处理（语音 、指纹、故障检测和图象压缩等）、控制与优化、预测与管 理（市场预测、风险分析）、通信等。
10.1 人工神经网络模型
生物神经系统是一个有高度组织和相互作用的数目庞大 的细胞组织群体。这些细胞又称为神经细胞，也称为神经元。 多个神经元以突触连接构成完整的神经网络。
第三篇 智能优化方法
第10章 Hopfield神经网络优化方法
人工神经网络（简称神经网络，Neural Network）是模 拟人脑思维方式的数学模型。是指由大量简单人工神经元互 联而成的一种计算结构。它可以在某种程度上模拟生物神经 系统的工作过程，从而具备解决实际问题的能力。
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能，以及它的高度自组织和自适应能力已成为解决许 多工程问题的有力工具，近年来得到了飞速的发展。
迄今为止，已有数十种不同的人工神经网络模型被提出， 分别适用于不同的问题领域，如计算机视觉，语言识别，智 能控制，模式识别等。
神经网络的研究已经有几十年的历史。
1943年McCulloch和Pitts提出了神经元数学模型；
1950年-1980年为神经网络的形成期，如1975年Albus提 出了人脑记忆模型CMAC网络，1976年Grossberg提出 了用于无导师指导下模式分类的自组织网络。
xi ui i
神经元 i 的输出 vi f (xi )
常用的激活函数有以下几种形式：
（1）阈值函数，即阶跃函数
f
(x)
sgn(x)
1 0
于是神经元i的相应输出为：
1 vi 0
xi 0 xi 0
x0 x0
（2）分段线性函数
1
f
(
x)
1 2
(1
x)
0
x 1 1 x 1
x 1
（3）sigmoid函数
（1）前馈型网络
前馈网络主要起函数 映射作用, 常用于模式识 别和函数逼近, 如误差反 向传播模型(BP), 对向传 播网络模型(CPN), 小脑 模型(CMAC) 等都可以 完成这种计算。
（2）反馈型网络
反馈型网络按对能量函数极小点的利用分为两类：一类是能量 函数的所有极小点都起作用，主要用作各种联想存储器；第二 类只利用全局极小点，主要用于优化问题求解。
上述步骤往往是成功应用霍氏网的关键。
霍氏网的基本结构
(a) 基本结构
(b) 展开形式
图10-8 Hopfield神经网络的基本结构
霍普费尔德神经网络
霍普费尔德网络输出反馈到网络前面层的输入，因而属于循环 式神经网络。
霍普费尔德网络图中I1, I2,..., IN是外部对网络的输入；v1, v2,..., vN是神经元对网络外部的输出：u1, u2, ..., uN是网络中相应神经元 的输入总量（激活能）；wij则是从第j个神经元的输出与第i个神经 元的输入之间的连接权，且wji=wij，wii=0；而 f(*)则是非线性的硬 限函数或Sigmoid 函数。
3. 求和器：用 表示，以计算各输入信号的加权和，其效果等 同于一个线性组合；
4. 激活函数：图中的 f ()，主要起非线性映射作用，另外还可 以作为限幅器将神经元输出幅度限制在一定范围内；
5. 阈值：控制激活函数输出的开关量，用i表示。
上述作用可用数学方式表示如下：
n
ui wij s j j 1
1980年以后为神经网络的发展期，1982年Hopfield提出 了Hopfield网络，解决了回归网络的学习问题。
1986年美国的PDP研究小组提出了BP网络，实现了有导 师指导下的网络学习，为神经网络的应用开辟了广阔的发展 前景。
1986-现在，神经网络从理论走向应用领域，出现了神 经网络芯片和神经计算机。
复杂的神经网络是依靠众多突触所建立的链式通路反馈 环路来传递信息，并在神经元之间建立密切的形态和功能联 系的。生物神经网络的功能不是单个神经元生理和信息处理 功能的简单叠加，而是一个有层次的、多单元的动态信息处 理系统。
它们有其独特的运行方式和控制机制，可以接受生物内 外环境的输入信息，通过综合分析、处理，进而调节和控制 机体对环境做出适当的反应。
10.2 Hopfield神经网络
Hopfield 于 1982 年 提 出 的 反 馈 神 经 网 络 模 型 （ Hopfield Neural Network, HNN），简称Hopfield网络。由于网络中引入 了反馈，所以它是一个非线性动力学系统。
通常非线性动力学系统着重关心的是系统的稳定性问题。而 在Hopfield模型中，神经网络之间的联系总是设为对称的，这保 证了系统最终会达到一个固定的有序状态，即稳定状态。
10.1.1 生物神经系统
图10-1 生物神经元结构
10.1.2 人工神经元模型
• 图10-2 基本的人工神经元模型
10.1.2 人工神经元模型
1. 输入与输出信号：如图10-2所示的s1、s2、….sn为输入，vi 为输出。输出也称为单元的状态；
2. 权值：给不同的输入的信号一定的权值，用 wij 表示。一般权 值为正表示激活，为负表示抑制；
f (x)
1
1 exp(cx)
可供选择的各种非线性函数
非线性函数 二值硬限器：
双极硬限器：
Sigmoid函数的定义
二值Sigmoid：
双极Sigmoid：
当选用硬限函数时，霍氏网成为二值或二极网络，亦即离散 霍氏网，而当选用Sigmoid函数时，霍氏网是一个连续值网 络。
10.1.3 人工神经网络的互连模式
自从霍普费尔德(Hopfield)揭示了他所提出的计算网络的运算 能力以来，大量的工作被投人霍氏网的分析和应用。霍氏网的收 敛性和稳定性已经被证明。加以适当改进后，霍氏网可用于求解 旅行商问题等许多有约束条件的最优化问题。
有约束条件的最优化问题
将一个有约束条件的最优化问题抽象为可由霍氏网解决的形 式，需要： (1) 将代价函数和约束条件转换为霍普费尔德能量函数； (2) 确定拉格朗日(Lagrange）参数。
常，霍普费尔德网络没有自反馈，即wii=0 。对称性：wji=wij 。
ห้องสมุดไป่ตู้
10.2.1 离散型Hopfield网络
• “离散”一词在神经网络术语中通常是指神经元采用二值或双 极的情况。