第四章 反馈神经网络模型

DHNN模型结构 DHNN模型结构
x1(t +1 x2 (t +1) xn−1(t +1) xn (t +1) )
a1
a2
an−1
an
x1(t)
x2 (t)
xn−1(t)
xn (t)
DHNN模型数学描述 DHNN模型数学描述
DHNN网中的每个神经元都有相同的功能，其输出称 网中的每个神经元都有相同的功能， 网中的每个神经元都有相同的功能 为状态， 表示。 为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态 X=[x1,x2,…,xn]T 反馈网络的输入就是网络的状态初始值，表示为 反馈网络的输入就是网络的状态初始值， X(0)=[x1(0),x2(0),…,xn(0)]T 反馈网络在外界输入激发下， 反馈网络在外界输入激发下，从初始状态进入动态演 变过程， 变过程，变化规律为
an−1
an
x1(t) x2 (t) xn−1(t) xn (t)
工作方式
(1)网络的异步（串行） (1)网络的异步（串行）工作方式 网络的异步
网络运行时每次只有一个神经元进行状态的调整计 其它神经元的状态均保持不变， 算，其它神经元的状态均保持不变，即
sgn[ net j (t )] x j (t + 1) = x j (t )
网络连接形式 输出输入关系 学习算法 应用（功能） 稳定性理论 不含反馈连接 简单映射关系，不考虑 滞后效应 BP算法，收敛慢 分类、联想 分析简单
Hopfield 网络
包含反馈连接 要考虑输出输入间的延迟，要 用差分或微分方程描述 Hebb规则，收敛快 分类、联想、优化计算 分析复杂
Hopfield的主要贡献有： Hopfield的主要贡献有： 的主要贡献有 提出了利用能量函数研究反馈网络稳定状态的方法。 <1> 提出了利用能量函数研究反馈网络稳定状态的方法。 <2> 给出了利用模拟电子线路实现反馈型人工神经网络的 电路模型。 电路模型。 成功求解了人工智能的典型难题——TSP问题。 TSP问题 <3> 成功求解了人工智能的典型难题 TSP问题。 以此为基础，人们对Hopfield网络进行了深入研究， 以此为基础，人们对Hopfield网络进行了深入研究， Hopfield网络进行了深入研究 主要有以下几个方面：寻找Hopfield Hopfield网络的稳定性规律 主要有以下几个方面：寻找Hopfield网络的稳定性规律 并进而研究其信息容量；提出各种改进的Hopfield Hopfield网络 并进而研究其信息容量；提出各种改进的Hopfield网络 模型；参照Hopfield Hopfield电子线路模型研究人工神经网络的 模型；参照Hopfield电子线路模型研究人工神经网络的 硬件实现方法；借助能量函数方法用Hopfield Hopfield网络求解 硬件实现方法；借助能量函数方法用Hopfield网络求解 优化计算、组合数学、人工智能问题的多种实例。 优化计算、组合数学、人工智能问题的多种实例。
对于DHNN DHNN网 按同步方式调整状态 调整状态， 定理 2 对于DHNN网，若按同步方式调整状态，且 连接权矩阵W为非负定对称阵，则对于任意初态， 连接权矩阵W为非负定对称阵，则对于任意初态， 网络都最终收敛到一个吸引子。 网络都最终收敛到一个吸引子。
证明： 证明：
∆E( t ) = E( t + 1) − E( t )
= −∆XT (t)[WX (t) −T] − 1 ∆XT (t)W∆X(t) 2
并考虑到W为 将 ∆X (t ) = [0,...,0, ∆x j (t ),0,...,0] 代入上式 ，并考虑到 为 对称矩阵， 对称矩阵，有
T
∆E(t) = −∆x (t)[∑(w x −T )]
n j i=1 ij i j
∆E( t ) = E( t + 1) − E( t )
1 [ = − [X(t) + ∆X(t)] W X(t) + ∆X(t)] +[X(t) + ∆X(t)] T 2 1 −[− X (t)W (t) + X (t)T] X 2
T T T T
= −∆XT (t)WX (t) − 1 ∆XT (t)W∆X(t) + ∆XT (t)T 2
i =1
n
j=1,2,…,n
反馈网络稳定时每个神经元的状态都不再改变， 反馈网络稳定时每个神经元的状态都不再改变，此时 的稳定状态就是网络的输出， 的稳定状态就是网络的输出，表示为
lim X ( t )
t→ ∞
权值矩阵
Hopfield神经网络模型由单 层全互连的神经元ui(i=1,…， n)组成。神经元没有自连接, 即：wii＝0；神经元与神经 元之间的连接是对称的，即 wij＝wji。
(a )
(b )
若网络是不稳定的，由于DHNN 若网络是不稳定的，由于DHNN 网每个节点的状态只有1 网每个节点的状态只有1和-1 两种情况， 两种情况，网络不可能出现无 限发散的情况， 限发散的情况，而只可能出现 限幅的自持振荡， 限幅的自持振荡，这种网络称 (a) 为有限环网络。 为有限环网络。 如果网络状态的轨迹在某个确 定的范围内变迁， 定的范围内变迁，但既不重复 也不停止， 也不停止，状态变化为无穷多 轨迹也不发散到无穷远， 个，轨迹也不发散到无穷远， (a) 这种现象称为混沌。 这种现象称为混沌。 (b)
吸引子与能量函数
对于DHNN 网，若按异步方式调整网络状态， 按 对于 且连接权矩阵W 为对称阵，则对于任意初态， 且连接权矩阵 为对称阵，则对于任意初态，网络都最 终收敛到一个吸引子。 终收敛到一个吸引子。 证明： 证明： 定义网络的能量函数为： 定义网络的能量函数为：
内容提要
Hopfield神经网络模型 双向联想存储器
第一节
Hopfield模型 Hopfield模型
美国加州理工学院物理学家J.J.Hopfield教授于 美国加州理工学院物理学家J.J.Hopfield教授于 J.J.Hopfield 1982年提出一种单层反馈神经网络 年提出一种单层反馈神经网络， 1982年提出一种单层反馈神经网络，后来人们将这种反馈 网络称作Hopfield 网络称作Hopfield 网。 下表是Hopfield 网络与BP网络的简单比较。 BP网络的简单比较 下表是Hopfield 网络与BP网络的简单比较。 BP网络
(b)
(c)
吸引子与能量函数
网络达到稳定时的状态X， 吸引子。 网络达到稳定时的状态 ，称为网络的 吸引子。 如果把吸引子视为问题的解，从初态朝吸引子演变的过程 如果把吸引子视为问题的解，从初态朝吸引子演变的过程 便是求解计算的过程。 便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子， 若把需记忆的样本信息存储于网络不同的吸引子，当输 入含有部分记忆信息的样本时，网络的演变过程便是从 入含有部分记忆信息的样本时，网络的演变过程便是从 部分信息寻找全部信息， 联想回忆的过程 的过程。 部分信息寻找全部信息，即联想回忆的过程。 若网络的状态X 定义 1 若网络的状态 满足 X=f(WX-T) 则称X为网络的吸引子。 则称 为网络的吸引子。 为网络的吸引子
，所以∆E(t)<0。 所以 。
情况c 所以∆x 所以有∆E(t)=0。 情况c ：xj(t)=xj(t+1), 所以 j(t)=0,所以有 所以有 。
由此可知在任何情况下均有∆E(t)≦0 。 由此可知在任何情况下均有
由于网络中各节点的状态只能取1 由于网络中各节点的状态只能取1 或 –1 ，能量函 1 作为网络状态的函数是有下界的，因此网络能量函 数E(t) 作为网络状态的函数是有下界的，因此网络能量函 数最终将收敛于一个常数， 综上所述， 数最终将收敛于一个常数，此时ΔE(t)=0 。综上所述， 当网络工作方式和权矩阵均满足定理5.1的条件时， 5.1的条件时 当网络工作方式和权矩阵均满足定理5.1的条件时，网络最 终将收敛到一个吸引子。 终将收敛到一个吸引子。 综上所述，当网络工作方式和权矩阵均满足定理5.1的 综上所述，当网络工作方式和权矩阵均满足定理 的 条件时，网络最终将收敛到一个吸引子。 条件时，网络最终将收敛到一个吸引子。
Hopfield网络分为离散型和连续型两种网络模型， Hopfield网络分为离散型和连续型两种网络模型， 网络分为离散型和连续型两种网络模型 分别记作DHNN 分别记作DHNN (Discrete Hopfield Neural Network) Network)， 和CHNN (Continues Hopfield Neural Network)，重点 讨论前一种类型。 讨论前一种类型。
x j = f ( net j )
j=1,2,…,n
DHNN网的转移函数常采用符号函数 网的转移函数常采用符号函数
1 net j ≥ 0 x j = sgn net j） （ = − 1 net j < 0
式中净输入为
j=1,2,…,n
net j = ∑ ( wij xi − T j )
1 E( t ) = − 2 X T ( t )WX ( t ) + X T ( t )T
令网络的能量改变量为∆E，状态改变量为 ， 令网络的能量改变量为 ，状态改变量为∆X，有
∆E (t ) = E (t + 1) − E (t )
∆X (t ) = X (t + 1) − X (t )
则网络能量可进一步展开为
∆E( t ) = − ∆x j ( t )net j ( t )
上式中可能出现的情况： 上式中可能出现的情况：
情况a 又因为net 情况a ：xj(t)=-1, xj(t+1)=1, 则∆xj(t)=2, 又因为 j(t)≧0， ，