20030303-hejianhua-神经网络讲义-part5-Hopfield网络

合集下载

Hopfield神经网络优化方法ppt课件

Hopfield神经网络优化方法ppt课件
人工神经网络是指由大量简单人工神经元互联而成的一 种计算结构。它可以在某种程度上模拟生物神经系统的 工作过程,从而具备解决实际问题的能力。
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能,以及它高度的自组织和自适应能力,已成为 解决许多工程问题的有力工具,近年来得到了飞速的发 展。
形式。 反馈网络按对能量函数极 小点的利用分为两类:
•一类是能量函数的所有极 小点都起作用,主要用作 各种联想存储器;
•第二类只利用全局极小点 ,主要用于优化问题求解 。Hopfield模型、波尔兹 曼机(BM)模型等可以完 成此类计算。
Hopfield神经网络优化方法神经网络优化方法神
经网络优化方法神经网络优化方法神经网络优化
第10章 Hopfield神经网络优化 方法
1
Hopfield神经网络优化方法
10.1 人工神经网络模型 10.2 Hopfield神经网络 10.3 Hopfield网络与最优化问题
Hopfield神经网络优化方法神经网络优化方法神
经网络优化方法神经网络优化方法神经网络优化
方法
2
人工神经网络
经网络优化方法神经网络优化方法神经网络优化
方法
12
激活函数的若干形式
2
(1
x)
0
特点:
x 1 1 x 1
x 1
类似于系数为1的非线性放大器, 当工作于线性区时它是一个线性组合器,
放大系数趋于无穷大时变成一个阈值单元
Hopfield神经网络优化方法神经网络优化方法神
主要起函数映射作用,常用于模式识别和函数逼近 。
Hopfield神经网络优化方法神经网络优化方法神
经网络优化方法神经网络优化方法神经网络优化

Hopfield神经网络ppt课件

Hopfield神经网络ppt课件
1)保证系统在异步工作时的稳定性,即它的 权值是对称的;
2)保证所有要求记忆的稳定平衡点都能收敛 到自己;
3)使伪稳定点的数目尽可能的少; 4)使稳定点的吸引域尽可能的大。 MATLAB函数
[w,b]=solvehop(T);
.
23
连续性的Hopfield网络
CHNN是在DHNN的基础上提出的,它的原理
.
34
几点说明:
1)能量函数为反馈网络的重要概念。 根据能量函数可以方便的判断系统的稳 定性;
2)能量函数与李雅普诺夫函数的区 别在于:李氏被限定在大于零的范围内, 且要求在零点值为零;
3)Hopfield选择的能量函数,只是 保证系统稳定和渐进稳定的充分条件, 而不是必要条件,其能量函数也不是唯 一的。
1、激活函数为线性函数时
2、激活函数为非线性函数时
.
29
当激活函数为线性函数时,即
vi ui 此时系统的状态方程为:
U AU B 其中A 1 WB。
R 此系统的特征方程为:
A I 0 其中I为单位对角阵。通过对解出的特征值1, 2,, r 的不同情况,可以得到不同的系统解的情况。
.
霍普菲尔德(Hopfield) 神经网络
1、网络结构形式 2、非线性系统状态演变的形式 3、离散型的霍普菲尔德网络(DHNN) 4、连续性的霍普菲尔德网络(CHNN)
.
1
网络结构形式
Hopfield网络是单层对称全反馈网络,根据激 活函数选取的不同,可分为离散型和连续性两种 ( DHNN,CHNN)。 DHNN:作用函数为hadlim,主要用于联想记忆。 CHNN:作用函数为S型函数,主要用于优化计算。
.
19
权值修正的其它方法

第五章霍普菲尔德(Hopfield)神经网络

第五章霍普菲尔德(Hopfield)神经网络
Hopfield模型属于反馈型神经网络,从计算的角度上讲,它 具有很强的计算能力。这样的系统着重关心的是系统的稳定 性问题。稳定性是这类具有联想记忆功能神经网络模型的核 心,学习记忆的过程就是系统向稳定状态发展的过程。 Hopfield网络可用于解决联想记忆和约束优化问题的求解。
反馈网络(Recurrent Network),又称自联 想记忆网络,如下图所示:
x1
x2
x3
y1
y2
y3
图 3 离散 Hopfield 网络
考虑DHNN的节点状态,用yj(t)表示第j个神经元,即节点j在时 刻t的状态,则节点的下一个时刻t+1的状态可以求出如下:
1, u j (t) 0 y j (t 1) f[u j (t)] 0, u j (t) 0 u j (t) w i, j y i (t) x j θ j
在不考虑外部输入时,则有
j 1,2,..., n
n y j (t 1) f w i, j yi (t) θ j i 1
•通常网络从某一初始状态开始经过多次更新后才可 能达到某一稳态。使用异步状态更新策略有以下优点: (1)算法实现容易,每个神经元节点有自己的状态 更新时刻.不需要同步机制; (2)以串行方式更新网络的状态可以限制网络的输 出状态,避免不同稳态以等概率出现。 一旦给出HNN的权值和神经元的阈值,网络的状态转 移序列就确定了。
5.2 离散Hopfield网络
• Hopfield最早提出的网络是神经元的输出为 0-1二值的NN,所以,也称离散的HNN (简称为 DHNN).
–下面分别讨论DHNN的
• • • • 结构 动力学稳定性(网络收敛性) 联想存储中的应用 记忆容量问题

神经网络-- Hopfield网络

神经网络-- Hopfield网络

Hopfield 神经网络前馈(前向)网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。

1982年到1986年,美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果,引起了人们广泛的兴趣,并且将这种单层反馈网络称为Hopfield 网络。

在单层全反馈网络中(基本Hopfield 网络中),节点之间相互连接,每个节点接收来自其它节点的输入,同时又输出给其它节点,每个神经元没有到自身的连接。

由于引入反馈,所以它是一个非线性动力学系统。

其结构如下所示:n1n32y y(a ) (b )图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系,一般不考虑输出与输入间在时间上的滞后效应;反馈网络需要考虑输出与输入间在时间上的延时,需要利用动态方程(差分方程或微分方程)描述神经元和系统的数学模型。

前馈网络的学习(训练)主要采用误差修正法,计算时间较长,收敛速度较慢;反馈网络(如Hopfield 网络)的学习主要采用Hebb 规则,收敛速度较快。

Hopfield 网络在应用上除可作为联想记忆与分类外,还可用于优化计算。

可以认为,Hopfield 网络的联想记忆和优化计算这两种功能是对偶的:当用于联想记忆时,通过样本模式的输入给定网络的稳定状态,经学习求得联接权值W ;当用于优化计算时,以目标函数和约束条件建立系统的能量函数来确定联接权值,当网络演变至稳定状态时即可得出优化计算问题的解。

Hopfield 网络神经元模型可以是离散变量,也可以连续取值。

一.离散Hopfield 网络 1.网络结构及性能描述:离散Hopfield 网络模型如图1所示。

设共有N 个神经元,ij 表示从神经元j 到神经元i 的联接权,j s 表示神经元j 的状态(取+1或-1),j v 表示神经元j 的净输入,有:⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω,即:⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j (1) 或:⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。

Hopfield网络ppt课件

Hopfield网络ppt课件

Vi f (ui )
Ii
ui
f (•)
Vi
Ri
Ci
Vj
Rij
f (•)
(b)
图9-2 连续型Hopfeld网络
10
Hopfield网络模型
设 x = u,V = y,t = Ri'Ci ,q = I C

dxi dt
=-
1 t
xi
+1 Ci
wij yj
+qi
yi = f (xi )
式中
f (x)
第七章 Hopfield神经网络
1
第七章 Hopfield神经网络
Hopfield网络结构和模型 Hopfield网络输出的计算过程(离散) Hopfield网络的稳定性 Hopfield网络的学习算法 Hopfield网络的几个问题 Hopfield网络的MATLAB实现示例
2
概述
Hopfield网络是神经网络发展历史上的一个重要的里 程碑。由美国加州理工学院物理学家J.J.Hopfield教授于 1982年提出,是一种单层反馈神经网络。 Hopfield网络是一种由非线性元件构成的反馈系统,其 稳定状态的分析比前向神经网络要复杂得He多llo。,I’1m98Jo4h年n, Hopfield设计并研制了网络模型的电路,并Ho成pf功iel地d 解决 了旅行商(TSP)计算难题(优化问题)。
9
网络模型
设网络由n 个节点组成,第 i 个节点的方程:

Ci
dui dt

n Vj ui
R j 1
ij
ui Ri
Ii
Vi
Hale Waihona Puke f(ui ) 1

神经网络-第五章

神经网络-第五章

4 联想记忆
• 人脑从一种事物得到对应事物的两种途径 – 按时间顺序对相关事物进行思考 »可通过时间表来回忆某一阶段所做的工作。 – 通过事物本质特征的对比来确定事物的属性 »由提示信息或局部信息对事物进行回忆或确 认。 – 这两种方式抽象成计算技术中常用的搜索方法 »按地址寻找 »按内容寻找
4 联想记忆
▲网络运行过程: • 网络经训练后,可认为网络处于等待工作状态。 • 对网络给定初始输入x,网络处于初始状态。由此开始 运行,可得到网络输出(即网络的下一个状态)。 • 该输出状态通过反馈连接送到网络的输入端,作为网 络下一阶段运行的输入信号。该信号可与初始输入信 号x不同。 • 由这个新的输入又可得下一步的输出,如此下去,网 络的整个运行过程就是上述反馈过程的重复。 • 如果网络是稳定的,则随着多次反馈运行,网络状态 的变化逐渐减少,最后不再变化,达到稳态。此时由 输出端可得到网络的稳定输出。
0 0
状态 N (t0 t ) 称为网络的稳定点或平衡点。 网络的稳定状态:从任一初始状态开始运动,若存在 某一有限时刻,从此时刻后的网络状态不再发生变化, 则称该网络是稳定的。处于稳定时的网络;也称定点 吸引子。
2 状态轨迹
▲ 稳定可分为以下几种: • 渐近稳定点:若在稳定点Ne的某邻域 N ( )内,从任 一初始状态N(t0)出发,有 lim N (t 0 t ) N e ,则Ne称为 t 渐近稳定点(吸引子)。N ( ) 称为吸引域。 • 不稳定平衡点:从稳定点Nen的任意小的邻域内的 初始状态N(t0)出发,状态N(t)都会偏离Nen,则称 Nen为不稳定平衡点。 • 网络的解:网络最终收敛到所期望的稳定点,该稳 定又是渐近稳定点,则称之为网络的解。 • 网络的伪稳定点:网络最终稳定到一个渐近稳定点 上,但该稳定不是所期望的,称之为伪稳定点或伪 解。

第5讲-Hopfield-课件获奖课件

对于同步方式,因为无调整顺序问题,所以相应 旳吸引域也无强弱之分。
五、若干有关概念
2. DHNN旳记忆容量(Memory Capacity)
四、DHNN旳联想记忆功能与权值设计
联想记忆(Associative Memory,AM)功能是 DHNN旳一种主要应用。
在Hopfield网络旳拓扑构造及权值矩阵均一定旳 情况下,网络旳稳定状态将与其初始状态有关。
也就是说,Hopfield网络是一种能储存若干个预 先设置旳稳定状态旳网络。若将稳态视为一种记忆样 本,那么初态朝稳态旳收敛过程便是寻找记忆样本旳 过程。初态可以为是给定样本旳部分信息,网络变化 旳过程可以为是从部分信息找到全部信息,从而实现 了联想记忆旳功能。
(1) x(0) x(3) 1 1 1 1T
显然它比较接近x(1),用异步方式按1,2,3,4旳调整 顺序来演变网络:
n
x1 (1) f w1 j x j (0) f (6) 1
j1
x2 (1) x2 (0) 1 x3 (1) x3 (0) 1
即 x(1) 1 1 1 1 T x(1)
m ik max 4
m 2 n m 8 1 m 5
不满足前面给出旳充分条件,是否为吸引子需详细 加以检验:
6 1
6 1
f (Wx(1) ) f 6 1 x(1) , f (Wx(2) ) f 6 1 x(2)
6 1
6 1
6 1
6 1
可见,两个样本 均为网络旳吸引子。
3)考察两个吸引子引域
为了能实现联想记忆,对于每一种吸引子应该 有一定旳吸引范围,这个吸引范围便称为吸引域。
对于异步方式,对同一种状态,若采用不同旳 调整顺序,有可能弱吸引到不同旳吸引子。若存在 一种调整顺序能够从x演变到吸引子x(a),则称x弱吸 引到x(a) ;若对于全部旳调整顺序,都能够从x演变 到吸引子x(a),则称x强吸引到x(a) 。

神经网络第四章

这一点符合生物神经网络的情况。
(1)串行(异步)方式:
任一时刻只有一个单元改变状态,其余单元不
变(动作顺序可以随机选择或按某种确定顺序选 择)。
(2)并行(同步)方式: 某一时刻所有神经元同时改变状态(常称这种工 作方式的网络为Litt1e模型)。
Hopfield网络运行规则
神经网络主要有两种运行方式:
这是一个只有四个神经元的离散型Hopfield网络。
其中每个神经元只能取“1”,或“0”两个状态。设网络有n 个神经元,则各个神经元的状态可用向量U表示:
U=(u1,u2,…,un) 其中,ui=1或0 (i=1,2,….n)
Hopfield网络的各个神经元都是相互连接的,即每
一个神经元都将自己的输出通过连接权传送给所有 其它神经元,同时每个神经元又都接收所有其它神 经元传递过来的信息。
上式表明:当所有其它神经元输出的加权总和超过 第i个神经元的输出阈值时,此神经元被“激活”、 否则将受到”抑制”。
u 这里特别应该注意的是,改变状态的神经元 i,并
不是按顺序进行的,而是按随机的方式选取的。
下面将Hopfield工作运行规则总结如下:
(1)从网络中随机选取一个神经元ui; (2)求所选中的神经元ui的所有输入的加权总和;
(3)计算ui的第t+1时刻的输出值,即
(4)ui以外的所有神经元输出保持不变 (5)返回到第一步,直至网络进如稳定状态。
Hopfield网络是一种具有反馈性质的网络,而反馈网 络的一个重要特点就是它具有稳定状态,也称为吸
引子。那么Hopfield网络的稳定状态是怎样的呢?
当网络结构满足前面所指出的两个条件时,按上述 工作运行规则反复更新状态,当更新进行到一定程 度之后,我们会发现无论再怎样更新下去,网络各 神经元的输出状态不再改变,这就是Hopfield网络的 稳定状态。

完整的神经网络讲解资料

一、感知器的学习结构感知器的学习是神经网络最典型的学习。

目前,在控制上应用的是多层前馈网络,这是一种感知器模型,学习算法是BP法,故是有教师学习算法。

一个有教师的学习系统可以用图1—7表示。

这种学习系统分成三个部分:输入部,训练部和输出部。

神经网络学习系统框图1-7 图神经网络的学习一般需要多次重复训练,使误差值逐渐向零趋近,最后到达零。

则这时才会使输出与期望一致。

故而神经网络的学习是消耗一定时期的,有的学习过程要重复很多次,甚至达万次级。

原因在于神经网络的权系数W有很多分量W ,W ,----W ;也即是一n12个多参数修改系统。

系统的参数的调整就必定耗时耗量。

目前,提高神经网络的学习速度,减少学习重复次数是十分重要的研究课题,也是实时控制中的关键问题。

二、感知器的学习算法.感知器是有单层计算单元的神经网络,由线性元件及阀值元件组成。

感知器如图1-9所示。

图1-9 感知器结构感知器的数学模型:(1-12)其中:f[.]是阶跃函数,并且有(1-13)θ是阀值。

感知器的最大作用就是可以对输入的样本分类,故它可作分类器,感知器对输入信号的分类如下:即是,当感知器的输出为1时,输入样本称为A类;输出为-1时,输入样本称为B类。

从上可知感知器的分类边界是:(1-15)在输入样本只有两个分量X1,X2时,则有分类边界条件:(1-16)即W X +W X -θ=0 (1-17) 2121也可写成(1-18)这时的分类情况如固1—10所示。

感知器的学习算法目的在于找寻恰当的权系数w=(w1.w2,…,Wn),。

当d熊产生期望值xn),…,x2,(xt=x定的样本使系统对一个特.x分类为A类时,期望值d=1;X为B类时,d=-1。

为了方便说明感知器学习算法,把阀值θ并人权系数w中,同时,样本x也相应增加一个分量x 。

故令:n+1W =-θ,X =1 (1-19) n+1n+1则感知器的输出可表示为:(1-20)感知器学习算法步骤如下:1.对权系数w置初值对权系数w=(W.W ,…,W ,W )的n+11n2各个分量置一个较小的零随机值,但W =—g。

神经网络课程实验三hopfield网络

神经网络课程实验三h o p f i e l d 网络(M a t l a b)(共9页)-本页仅作为预览文档封面,使用时请删除本页-实验三 Hopfield 网络学习算法的简单应用1.不同印刷版本数字8的识别一. 实验目的1. 加深对Hopfield 网络学习算法的理解2. 通过实验了解Hopfield 学习算法的工作原理3. 通过上机实验掌握具体的实现方法二. 实验原理Hopfield 网络Hopfield 网络是一种具有全互联结构的递归神经网络,其具有反馈机制的非线性动力学系统,反映了生物神经系统结构的复杂性。

该网络一般分为离散型(DHNN )和连续型(CHNN )两种,其标准的网络能量函数可以表示为:12ij i j i ii j iE T VV I V =--∑∑∑.式中:ij T 是神经元i 和神经元j的连接权值;i I 是神经元i 的输入阈值;i V 和j V 分别是神经元i 和神经元j 的输出值。

在满足一定条件下,能量函数的能量在网络运行过程中不断减小,最后趋于稳定的平衡状态。

Hopfield 网络自提出以来,已成功应用于多个方面。

网络的定义一个 n 阶的 Hopfield 网络是一个五元组:(),,,,n F DHN G IF OF OA WA =其中:1)GF :规定 DHN (n ) 拓扑结构的扩展模糊图:(),(),()F F F F G N G E G A G =其中,N (G F ) = {N i (i )1i n } 是非空神经元集合,每一个神经元 N i 附有阈值i ;E (G F ) = {e ij1i,j n } 是边的集合,e ij 是 N i N j 的边; A (G F ) = (w ij )n n 是联系矩阵,w ij 是 N i N j 的联系效率。

2)IF N (G F ):输入域。

3)OF N (G F ):输出域。

4)WA :工作算法,令 o i (t ) {-1,1} 为 N i 在 t 时刻的状态,o (t ) =(o 1(t ),o 2(t ),…,o n (t ))T 为 N (G F )在 t 时刻的状态向量 (t=0,1,2,…),则::()()(,)I O I O WA IF OF →⊆o o o o o其中,o I {-1,1}nI 1 (n I n ) 和 o O {-1,1}nO 1 (n O n ) 分别为 IF和 OF 的状态向量。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

–权值移动 –交叉干扰
3.3 记忆容量
权值移动
– 当k=2时,为了记忆样本T2,需要在记忆了样本Tl的权值上加 上对样本T2的记忆项T2T2T-I,将权值在原来值的基础上产生了 移动 – 由于在学习样本T2时,权矩阵W是在已学习了T1的基础上进行 修正的,W起始值不再为零,所以由此调整得出的新的W值, 对记忆样本T2来说,也未必对所有的s个输出同时满足符号函 数的条件,即难以保证网络对T2的精确的记忆 – 随着学习样本数k的增加,权值移动现象将进一步发生,当学 习了第q个样本Tq后,权值又在前q-1个样本修正的基础上产生 了移动,这也是网络在精确的学习了第一个样本后的第q-1次 移动 – 对已记忆的样本发生遗忘,这种现象被称为“疲劳”
37 2012-8-28
3.3 记忆容量
设计DHNN网络的目的,是希望通过所设计的权
值矩阵W储存多个期望模式 当网络只记忆一个稳定模式时,该模式肯定被 网络准确无误地记忆住,即所设计的W值一定 能够满足正比于输入和输出矢量的乘积关系 但当需要记忆的模式增多时,网络记忆可能出 现问题
38 2012-8-28
–期望解
11 2012-8-28
• 网络的解:如果网络最后稳定到设计人员期望的稳定点, 且该稳定点又是渐近稳定点,那么这个点称为网络的解; • 网络的伪稳定点:网络最终稳定到一个渐近稳定点上,但 这个稳定点不是网络设计所要求的解
1.2 网络稳定性
状态轨迹为极限环 –在某些参数的情况下,状态N(t)的轨迹是一个圆, 或一个环 –状态N(t)沿着环重复旋转,永不停止,此时的输出 A(t)也出现周期变化(即出现振荡) –如果在r种状态下循环变化,称其极限环为r –对于离散反馈网络,轨迹变化可能在两种状态下来 回跳动,其极限环为2
6 2012-8-28
1.2 网络稳定性
状态轨迹 –设状态矢量N=[n1, n2, …,nr],网络的输出矢量 为A=[a1,a2…,as]T –在一个r维状态空间上,可以用一条轨迹来描述状 态变化情况 –从初始值N(t0)出发, N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt),这些在 空间上的点组成的确定轨迹,是演化过程中所有可 能状态的集合,我们称
状态轨迹为混沌 –如果状态N(t)的轨迹在某个确定的范围内运动,但 既不重复,又不能停下来 –状态变化为无穷多个,而轨迹也不能发散到无穷远, 这种现象称为混沌(chaos) –出现混沌的情况下,系统输出变化为无穷多个,并 且随时间推移不能趋向稳定,但又不发散
30 2012-8-28
3.1 状态更新
由-1变为1;由1变为-1;状态保持不变
串行异步方式 –任意时刻随机地或确定性地选择网络中的一个神经 元进行状态更新,而其余神经元的状态保持不变 并行同步方式 –任意时刻网络中部分神经元(比如同一层的神经元) 的状态同时更新。如果任意时刻网络中全部神经元 同时进行状态更新,那么称之为全并行同步方式
1.2 网络稳定性
稳定轨迹 –状态轨迹从系统在t0时状态的初值N(t0)开始,经过 一定的时间t(t>0)后,到达N(t0+t)。如果 N(t0+t+Δt)=N(t0+t),Δt>0,则状态N(t0+t)称 为网络的稳定点,或平衡点 –反馈网络从任一初始态P(0)开始运动,若存在某一 有限时刻t,从t以后的网络状态不再发生变化 (P(t+Δt)= P(t),Δt>0)则称网络是稳定的 –处于稳定时的网络状态叫做稳定状态,又称为定吸 引子
15 2012-8-28
1.3 网络工作方式
考虑具体应用,可以将能量的极小点作
16 2012-8-28
为一个优化目标函数的极小点,把状态 变化的过程看成是优化某一个目标函数 的过程 因此反馈网络的状态移动的过程实际上 是一种计算联想记忆或优化的过程。 它的解并不需要真的去计算,只需要形 成一类反馈神经网络,适当地设计网络 权值wij,使其初始输入A(t0)向稳定吸引 子状态移动就可以达到目的
28 2012-8-28
2.4 联想记忆与优化计算
联想记忆问题 –稳定状态已知并且通过学习和设计算法寻求合适的 权值矩阵将稳定状态存储到网络中 优化计算 –权值矩阵W已知,目的为寻找具有最小能量E的稳定 状态 –主要工作为设计相应的W和能量函数公式
29 2012-8-28
三、DHNN
3.1 3.2 3.3 3.4 神经元状态更新方式 网络学习 网络记忆容量 权值设计
32 2012-8-28
3.2 网络学习
联想记忆
– 联想记忆功能是DHNN的一个重要应用范围。 – DHNN用于联想记忆有两个突出的特点,即记忆是分布式的, 而联想是动态的 – 反馈网络实现联想记忆必须具备的两个基本条件
• 网络能收敛到稳定的平衡状态,并以其作为样本的记忆信息; • 具有回忆能力,能够从某一残缺的信息回忆起所属的完整的记忆 信息
–其中,α>0,i=1,2…,r;j=1,2…,r。在实 际学习规则的运用中,一般取α=1或1/r
35 2012-8-28
3.2 网络学习
向量形式表示 α=1时
神经网络工具箱中采用海布公式求解网络权矩阵变化
的函数为learnh.m和learnhd.m。后者为带有衰减学习 速率的函数
36 2012-8-28
3 2012-8-28
一、反馈网络
1.1 反馈网络简介 1.2 网络稳定性
4 2012-8-28
1.1 反馈网络简介
反馈网络(Recurrent Network),又称自
联想记忆网络
–其目的是为了设计一个网络,储存一组平衡 点,使得当给网络一组初始值时,网络通过 自行运行而最终收敛到这个设计的平衡点上。
13 2012-8-28
1.2 网络稳定性
状态轨迹发散 –状态N(t)的轨迹随时间一直延伸到无穷远。此时状 态发散,系统的输出也发散 –在人工神经网络中,由于输入、输出激活函数上一 个有界函数,虽然状态N(t)是发散的,但其输出 A(t)还是稳定的,而A(t)的稳定反过来又限制了 状态的发散。 –一般非线性人工神经网络中发散现象是不会发生的, 除非神经元的输入输出激活函数是线性的
– dW=1earnh(P,A,lr) – dW=learnhd(W,P,A,lr,dr); – 对于简单的情况,lr可以选择1;对于复杂的应用,可取lr= 0.1~0.5,dr=lr/3
3.2 网络学习
简单验证 –q=1, α=l –求出的权值wij是否能够保证ai=pi?
–对于第i个输出节点,有
10 2012-8-28
1.2 网络稳定性
稳定点分类 –在一个反馈网络中,存在很多稳定点 –稳定点收敛域
• 渐近稳定点:在稳定点Ne周围的N(σ)区域内,从任一个初 始状态N(t0)出发,当t→∞时都收敛于Ne,则称Ne为渐近 稳定点 • 不稳定平衡点Nen:在某些特定的轨迹演化过程中,网络能 够到达稳定点Nen,但对其它方向上任意小的区域N(σ), 不管N(σ)取多么小,其轨迹在时间t以后总是偏离Nen;
神经元的激活函数f为S型的函数(或线性饱和
函数)
25 2012-8-28
2.3 CHNN
电路实现 –神经元模型(见参见教材) –电阻Ri和电容Ci并联,模拟生物神经元输出的时间 常数 –跨导Tij模拟神经元之间互连的突触特性 –运算放大器模拟神经元的非线性特性 –ui为第i个神经元的输入,Vi为输出 网络模型
22 2012-8-28
2.3 CHNN
将霍普菲尔德网络推广到输入和输出都取连续
数值的情形 网络的基本结构不变,状态输出方程形式上也 相同。则网络的状态转移方程可写为
23 2012-8-28
2.3 CHNN
神经元的激活函数f为S型的函数(或线性饱和
函数)
24 2012-8-28
2.3 CHNN
7 2012-8-28
1.2 网络稳定性
状态轨迹 –离散与连续轨迹
8 2012-8-28
1.2 网络稳定性
状态轨迹分类:对于不同的连接权值wij和输入
Pj(i, j=1, 2, … r),反馈网络可能出现不同 性质的状态轨迹
–轨迹为稳定点 –轨迹为极限环 –轨迹为混沌现象 –轨迹发散
9 2012-8-28
人工神经网络及其应用
第5讲 Hopfield网络
何建华 电信系,华中科技大学
2003年3月3日
内容安排
一、反馈网络 二、Hopfield网络简介 三、DHNN网络 四、稳定性与应用 五、内容小结
2 2012-8-28
要点
反馈网络如何通过网络神经元状态的变迁而最
终稳定于平衡状态,得到联想存储或优化计算 的结果 关心网络的稳定性问题 研究重点为怎样得到和利用稳定的反馈网络
反馈网络能表现出非线性动力学系统动
态特性
5 2012-8-28
–网络系统具有若干个稳定状态。当网络从某一初始 状态开始运动,网络系统总可以收敛到某一个稳定 的平衡状态; –系统稳定的平衡状态可以通过设计网络的权值而被 存储到网络中
1.1 反馈网络简介
反馈网络分类 –如果激活函数f(· )是一个二值型的硬函数,即ai= sgn(ni),i=l, 2, … r,则称此网络为离散型反 馈网络; –如果f(· )为一个连续单调上升的有界函数,这类网 络被称为连续型反馈网络
31 2012-8-28
3.1 状态更新
串行异步方式 –任一时刻,网络中只有一个神经元被选择进行状态 更新或保持,所以异步状态更新的网络从某一初态 开始需经过多次更新状态后才可以达到某种稳态。 –实现上容易,每个神经元有自己的状态更新时刻, 不需要同步机制; –异步状态更新更接近实际的生物神经系统的表现 并行同步方式
相关文档
最新文档