第四章-反馈型神经网络知识讲解

可能为：
0
Xi(t1)Xi(t)
Xi Xi(t1)Xi(t) 2 Xi(t1)1,Xi(t)1
2 Xi(t1)1,Xi(t)1
E 1 2jn 1w iX j j(t) X i1 2jn 1w jX i j(t) X i Ii X i
根据串行方式的定义，每个时刻只有一个节点发 生变化，若第i个节点变化，而其它的节点不变，根据 公式(4.2.7)可得：
(4)两者都有局部极小问题。
§4.1.2 反馈型神经网络模型
一、网络结构
Y1
Y2
……
Yn
θ1
X1
w 11 w 21
θ2
X2
w 12 w 22
……
θn
Xn
w 1n w 2n
w n1
w n2
w nn
……
I1
I2
In
图4.1 单层全反馈型神经网络结构
输入输出关系为：
n
Yj f(xj)f( wijYiIjj)j=1,2,…,n
二、网络状态 i1
(4.1.1)
(1)轨迹经过一段时间t (t>0)后不会再延伸，而永远 停留在X(t0+t)状态，这时称网络收敛到一个稳定点或平 衡点。在一个反馈网络中，可能存在有多个稳定点， 根据不同的情况，这些稳定点可分为：
① 渐近稳定点Xe
② 不稳定的平衡点Xf ③ 网络的解
④ 网络的伪稳定点
一、 并行方式 定理 4.3 当网络工作在并行方式下，满足wij=wji，
(2) 前馈型神经网络的学习训练主要采用BP算法，计 算过程和收敛速度比较慢；反馈型神经网络的学习主 要采用Hebb规则，一般情况下计算的收敛速度很快， 并且它与电子电路有明显的对应关系，使得网络易于 用硬件实现。
(3) 前馈型神经网络学习训练的目的是快速收敛，一 般用误差函数来判定其收敛程度；反馈型神经网络的 学习目的是快速寻找到稳定点，一般用能量函数来判 别是否趋于稳定点。
§4.2 离散型Hopfield神经网络
§4.2.1 离散型Hopfield神经网络模型 §4.2.2 网络的稳定性定理 §4.2.3 网络权值的学习 §4.2.4 网络的稳定性实验 §4.2.5 联想记忆
§4.2.1 离散型Hopfield神经网络模型
一、网络结构 DHNN的结构是一个单层结构的全反馈网络，有n
第四章-反馈型神经网络
§4.1 概述
§4.1.1 前馈型与反馈型神经网络的比较 §4.1.2 反馈型神经网络模型
§4.1.1 前馈型与反馈型神经网络的比较
(1) 前馈型神经网络只表达输入输出之间的映射关系， 实现非线性映射；反馈型神经网络考虑输入输出之间 在时间上的延迟，需要用动态方程来描述，反馈型神 经网络是一个非线性动力学系统。
n
Hi(t) wji Xj(t)i
j1
网络的状态向量为X(t)∈{1,-1}n，且wii=0，i=1,2,…,n。
二、网络的工作方式
(1) 串行（异步）工作方式
任一时刻t，只有某一个节点i (随机地或确定性地选 择)依据(4.2.1)和(4.2.2)式变化，而其余n-1个节点的状 态保持不变，即：
个节点，W是一个n×n的对称零对角权值矩阵，θ为n 维阈值向量。每个节点可处于两个可能的状态之一， 即1或-1。假设各节点的外加输入Ii=0，i=1,2,…,n。令 Xi(t)表示t时刻节点i的状态，则节点i的下一个状态由下 面算式决定：
1 Xi(t1)sgH n i(t() ) 1
H i(t)0 H i(t)0
所以网络无论在什么条件下都能保证△E≤0，这
样就保证了网络的稳定性和收敛性。
定理 4.2 当网络工作在串行方式下，满足wij=wji， wii>0，i、j=1,2,…,n，则能量函数单调下降，且网络必
定稳定。
证明：对于DHNN网络的第i个节点发生变化，因
为wij=wji，且wii>0则
E1 2jn iw ijXj(t) X i1 2jn iw jiXj(t) X i
因为 所以
wij=wji wii=0
n
E( w jiXj(t)Ii) XiH i(t) Xi
j1
因为 X i( t 1 ) sH g i( t ) n X ) i , X ( i( t 1 ) X i( t )
因此 当 Hi(t)≥0 时， △Xi≥0 △E≤0 当 Hi(t) <0 时， △Xi≤0 △E≤0
X (t0 t t) X (t0 t) t 0
则称网络是稳定的，这时所有的节点输出不再变化， 网络稳定在某一状态。
§ 4.2.2 网络的稳定性定理
Hopfield定义了一个网络的能量函数：
2i j
i
E1
w ijXiXj IiXi
由于Xi、Xj只可能为1或者为-1，wij、Ii有界，i、
Байду номын сангаас
Xi(t1)sgH ni(t)) ~i
Xj(t1)Xj(t)
ji
(2) 并行（同步）工作方式
任一时刻t，所有的节点都依据式(4.2.1)和(4.2.2)改 变状态，即：
n
Xi(t1)sgnw (jiXj(t)i) i
j1
三、网络的状态 若网络从一个初态X(t0)出发，经过一个有限时刻t，
网络的状态不再发生变化，即：
w i[ iX i2 (t 1 ) X i2 (t) ]Ii X i
n
( wjX i j(t)Ii)Xiw i iXiXi(t1)
j1
H i(t) X i w ii X iX i(t 1 )
由于wii>0，且△Xi与Xi(t+1)是同号的，即能保证 △E≤0，这样就保证了网络的稳定性和收敛性。
(2)轨迹为环状，称为极限环。
(3)如果X(t)的轨迹在某个确定的范围内变化，但既 不重复又不能停下来，状态变化为无穷多个，而轨迹 也不发散到无穷远，这种现象成为混沌（Chaos）.
(4)如果X(t)的轨迹随时间一直延伸到无穷远，此时 状态发散，而系统的输出也发散。
三、网络的设计要求 (1)网络的稳定性 (2)网络的稳定点 (3)稳定点的吸引域
j=1,2,…,n，所以能量函数E也是有界的：
E1
2i
w ijX i Xj Ii X i
j
i
1 2i
wij Ii
j
i
一、串行方式
定理4.1 当网络工作在串行方式下，满足wij=wji，
wii=0，i、j=1,2,…,n，则能量函数单调下降，且网络必 定稳定。
证明：对于DHNN网络的任一个节点i，它的输出变化