异联想记忆Hopfield神经网络的模型、算法及性能
合集下载
hopfield神经网络及其应用教学课件
2 旅行家问题
求解人员在旅行时路径最短方案的问题。
3 最短路问题
求解网格地图上从起点到目标的最短路径问题。
Hopfield神经网络在金融风险评估中的应用
应用场景
可用于预测市场波动、分析股票的波动风险、风险 指数的评估等。
数据处理
通过分析历史数据并训练神经网络模型进行预测， 可帮助投资者更好地控制风险。
优点
能够实现自我组织、自我修复和自我学习的功能，具有很强的容错能力。
2
缺点
存在模型建立时间长、计算复杂度高等问题，在大规模网络中应用受到限制。
3
发展趋势
将向更多交叉领域发展，如神经系统科学、人工智能等，同时将致力于提高网络计算效 率和准确度。
Hopfield神经网络及其应用实例介绍
电子显微镜图像处理
Hopfield神经网络在模式恢复与记忆中的应 用
图像恢复
绘画
能够自动去除损伤、扭曲等现象， 对于图像降噪也有一定效果。
将草图转化为具有更多细节和色 彩的绘画作品。
音乐恢复
将不同曲调的曲谱恢复成原音。
Hopfield神经网络在优化问题求解中的 应用
1 逆向工程
能够自动优化物理结构的技术，可应用于电路设计、芯片布局等领域。
Hopfield神经网络在交通流预测中的应 用
应用场景
能够应用于道路交通流预测、车流控制、智能交通系统等实践应用领域。
模型构建
通过分析交通流数据并构建合理的神经网络模型，可以精确预测交通流量及拥堵情况。
优势
较传统交通流预测算法更高效且具有更高的精确度。
Hopfield神经网络的优缺点与发展趋势
1
通过神经网络对显微镜图像进行 优化处理，提高图像清晰度和对 比度。
求解人员在旅行时路径最短方案的问题。
3 最短路问题
求解网格地图上从起点到目标的最短路径问题。
Hopfield神经网络在金融风险评估中的应用
应用场景
可用于预测市场波动、分析股票的波动风险、风险 指数的评估等。
数据处理
通过分析历史数据并训练神经网络模型进行预测， 可帮助投资者更好地控制风险。
优点
能够实现自我组织、自我修复和自我学习的功能，具有很强的容错能力。
2
缺点
存在模型建立时间长、计算复杂度高等问题，在大规模网络中应用受到限制。
3
发展趋势
将向更多交叉领域发展，如神经系统科学、人工智能等，同时将致力于提高网络计算效 率和准确度。
Hopfield神经网络及其应用实例介绍
电子显微镜图像处理
Hopfield神经网络在模式恢复与记忆中的应 用
图像恢复
绘画
能够自动去除损伤、扭曲等现象， 对于图像降噪也有一定效果。
将草图转化为具有更多细节和色 彩的绘画作品。
音乐恢复
将不同曲调的曲谱恢复成原音。
Hopfield神经网络在优化问题求解中的 应用
1 逆向工程
能够自动优化物理结构的技术，可应用于电路设计、芯片布局等领域。
Hopfield神经网络在交通流预测中的应 用
应用场景
能够应用于道路交通流预测、车流控制、智能交通系统等实践应用领域。
模型构建
通过分析交通流数据并构建合理的神经网络模型，可以精确预测交通流量及拥堵情况。
优势
较传统交通流预测算法更高效且具有更高的精确度。
Hopfield神经网络的优缺点与发展趋势
1
通过神经网络对显微镜图像进行 优化处理，提高图像清晰度和对 比度。
《hopfield神经网络》课件
神经网络的学习算法
1
Hebbian学习规则
根据同时激活的神经元之间的相关性来更新连接权重。
2
Delta规则
使用反向传播算法根据误差信号来调整连接权重，以逼近期望输出。
3
学习的稳定性
神经网络的学习算法可以保证网络的稳定性和收敛性。
神经网络的应用领域
1 模式识别
2 优化问题
通过学习和存储模式来实现模式识别和分类， 例如图像识别和语音识别。
《hopfield神经网络》PPT 课件
介绍《hopfield神经网络》的PPT课件，包含神经网络的基本概念与应用，学 习算法以及与其他神经网络的比较，展望神经网络未来的发展趋势。
Hopfield神经网络概述
Hopfield神经网络是一种用于模式识别和优化问题的反馈神经网络，基于神 经元之间的相互连接和信号传递。
Kohonen网络
Kohonen神经网络适用于聚类和自组织特征映射， 常用于无监督学习和可视化。
神经网络中的记忆与自组织
记忆
Hopfield神经网络可以学习和存储输入模式，并能够通过模式关联实现模式识别和记忆恢复。
自组织
神经网络中的神经元可以自动组织为有效的连接结构，以适应不同问题的处理和学习需求。
神经网络的基本形式
结构
Hopfield神经网络由神经元和它们之间的连接组成， 形成一个全连接的反馈网络结构。
激活函数
神经元通过激活函数将输入信号转换为输出信号， 常用的激活函数包括Sigmoid函数和ReLU函数。
反向传播算法
Hopfield神经网络使用反向传播算法来量函数
能量函数是Hopfield神经网络的核心概念，它通过计算网络状态的能量来衡 量模式之间的关联性和稳定性。
hopfield神经网络及其应用教学课件PPT
02
Hopfield神经网络的数学基础
向量运算和矩阵运算
向量加法
对应元素相加，得到一个新的向量。
向量数乘
一个标量与一个向量相乘，得到一个新的向量。
向量点乘
两个向量的对应元素相乘后求和，得到一个标量。
向量运算和矩阵运算
01
020304 Nhomakorabea向量叉乘
两个向量按照顺序相乘，得到 一个新的向量。
矩阵加法
对应位置的元素相加，得到一 个新的矩阵。
适用场景
旅行商问题、背包问题、图着色问题等组合优化问题，以 及各种工程优化问题。
05
Hopfield神经网络的未来发展
Hopfield神经网络与其他神经网络的结合
与卷积神经网络结合
利用Hopfield神经网络的记忆特性，与卷积神经网络共同处理图 像识别等任务，提高识别精度和稳定性。
与循环神经网络结合
训练方法
通过特定的训练算法，对 Hopfield神经网络进行训练，使 其能够记忆和识别特定的模式或 状态。
优化算法
采用优化算法（如梯度下降法、 遗传算法等），对Hopfield神经 网络的参数进行调整和优化，以 提高其性能和稳定性。
性能评估
通过测试和评估，对训练和优化 后的Hopfield神经网络进行性能 评估，包括准确率、稳定性、实 时性等方面的评估。
Hopfield神经网络及其应用教 学课件
目
CONTENCT
录
• Hopfield神经网络简介 • Hopfield神经网络的数学基础 • Hopfield神经网络的实现 • Hopfield神经网络的应用案例 • Hopfield神经网络的未来发展
01
Hopfield神经网络简介
《hopfield神经网络》课件
图像识别实例
总结词
通过Hopfield神经网络，可以实现高效的图像识 别。
总结词
图像识别的准确率取决于训练样本的多样性和数 量。
详细描述
在图像识别实例中，可以将图像信息转化为神经 网络的输入，通过训练和学习，网络能够将输入 的图像信息与预存的图像模式进行匹配，从而实 现图像的快速识别。
详细描述
为了提高图像识别的准确率，需要收集大量具有 代表性的训练样本，并采用多种不同的训练方法 对网络进行训练，以增加网络的泛化能力。
神经元模型
神经元模型
Hopfield神经网络的基本单元是神经元，每个神经元通过加权输 入信号进行激活或抑制。
激活函数
神经元的输出由激活函数决定，常用的激活函数有阶跃函数和 Sigmoid函数。
权重
神经元之间的连接权重用于存储记忆模式，通过训练可以调整权重 。
能量函数
1 2 3
能量函数定义
能量函数是描述Hopfield神经网络状态的一种方 式，其值越低表示网络状态越稳定。
《Hopfield神经网 络》PPT课件
目录
CONTENTS
• Hopfield神经网络概述 • Hopfield神经网络的基本原理 • Hopfield神经网络的实现 • Hopfield神经网络的优化与改进 • Hopfield神经网络的实例分析
01 Hopfield神经网络概述
定义与特点
能量函数的性质
能量函数具有非负性、对称性、连续性和可微性 等性质，这些性质对于网络的稳定性和记忆性能 至关重要。
最小能量状态
训练过程中，网络会逐渐趋近于最小能量状态， 此时对应的模式被存储在神经元连接权重中。
稳定性分析
稳定性定义
Hopfield神经网络ppt课件
1）保证系统在异步工作时的稳定性，即它的 权值是对称的；
2）保证所有要求记忆的稳定平衡点都能收敛 到自己；
3）使伪稳定点的数目尽可能的少； 4）使稳定点的吸引域尽可能的大。 MATLAB函数
[w,b]=solvehop(T);
.
23
连续性的Hopfield网络
CHNN是在DHNN的基础上提出的，它的原理
.
34
几点说明：
1）能量函数为反馈网络的重要概念。 根据能量函数可以方便的判断系统的稳 定性；
2）能量函数与李雅普诺夫函数的区 别在于：李氏被限定在大于零的范围内， 且要求在零点值为零；
3）Hopfield选择的能量函数，只是 保证系统稳定和渐进稳定的充分条件， 而不是必要条件，其能量函数也不是唯 一的。
1、激活函数为线性函数时
2、激活函数为非线性函数时
.
29
当激活函数为线性函数时，即
vi ui 此时系统的状态方程为：
U AU B 其中A 1 WB。
R 此系统的特征方程为：
A I 0 其中I为单位对角阵。通过对解出的特征值1， 2，， r 的不同情况，可以得到不同的系统解的情况。
.
霍普菲尔德（Hopfield） 神经网络
1、网络结构形式 2、非线性系统状态演变的形式 3、离散型的霍普菲尔德网络（DHNN） 4、连续性的霍普菲尔德网络（CHNN）
.
1
网络结构形式
Hopfield网络是单层对称全反馈网络，根据激 活函数选取的不同，可分为离散型和连续性两种 （ DHNN,CHNN）。 DHNN：作用函数为hadlim，主要用于联想记忆。 CHNN：作用函数为S型函数，主要用于优化计算。
.
19
权值修正的其它方法
2）保证所有要求记忆的稳定平衡点都能收敛 到自己；
3）使伪稳定点的数目尽可能的少； 4）使稳定点的吸引域尽可能的大。 MATLAB函数
[w,b]=solvehop(T);
.
23
连续性的Hopfield网络
CHNN是在DHNN的基础上提出的，它的原理
.
34
几点说明：
1）能量函数为反馈网络的重要概念。 根据能量函数可以方便的判断系统的稳 定性；
2）能量函数与李雅普诺夫函数的区 别在于：李氏被限定在大于零的范围内， 且要求在零点值为零；
3）Hopfield选择的能量函数，只是 保证系统稳定和渐进稳定的充分条件， 而不是必要条件，其能量函数也不是唯 一的。
1、激活函数为线性函数时
2、激活函数为非线性函数时
.
29
当激活函数为线性函数时，即
vi ui 此时系统的状态方程为：
U AU B 其中A 1 WB。
R 此系统的特征方程为：
A I 0 其中I为单位对角阵。通过对解出的特征值1， 2，， r 的不同情况，可以得到不同的系统解的情况。
.
霍普菲尔德（Hopfield） 神经网络
1、网络结构形式 2、非线性系统状态演变的形式 3、离散型的霍普菲尔德网络（DHNN） 4、连续性的霍普菲尔德网络（CHNN）
.
1
网络结构形式
Hopfield网络是单层对称全反馈网络，根据激 活函数选取的不同，可分为离散型和连续性两种 （ DHNN,CHNN）。 DHNN：作用函数为hadlim，主要用于联想记忆。 CHNN：作用函数为S型函数，主要用于优化计算。
.
19
权值修正的其它方法
第五章霍普菲尔德(Hopfield)神经网络
Hopfield模型属于反馈型神经网络，从计算的角度上讲，它 具有很强的计算能力。这样的系统着重关心的是系统的稳定 性问题。稳定性是这类具有联想记忆功能神经网络模型的核 心，学习记忆的过程就是系统向稳定状态发展的过程。 Hopfield网络可用于解决联想记忆和约束优化问题的求解。
反馈网络(Recurrent Network),又称自联 想记忆网络,如下图所示:
x1
x2
x3
y1
y2
y3
图 3 离散 Hopfield 网络
考虑DHNN的节点状态,用yj(t)表示第j个神经元,即节点j在时 刻t的状态,则节点的下一个时刻t+1的状态可以求出如下:
1, u j (t) 0 y j (t 1) f[u j (t)] 0, u j (t) 0 u j (t) w i, j y i (t) x j θ j
在不考虑外部输入时,则有
j 1,2,..., n
n y j (t 1) f w i, j yi (t) θ j i 1
•通常网络从某一初始状态开始经过多次更新后才可 能达到某一稳态。使用异步状态更新策略有以下优点： （1）算法实现容易，每个神经元节点有自己的状态 更新时刻．不需要同步机制； （2）以串行方式更新网络的状态可以限制网络的输 出状态，避免不同稳态以等概率出现。 一旦给出HNN的权值和神经元的阈值，网络的状态转 移序列就确定了。
5.2 离散Hopfield网络
• Hopfield最早提出的网络是神经元的输出为 0-1二值的NN,所以,也称离散的HNN (简称为 DHNN).
–下面分别讨论DHNN的
• • • • 结构 动力学稳定性(网络收敛性) 联想存储中的应用 记忆容量问题
反馈网络(Recurrent Network),又称自联 想记忆网络,如下图所示:
x1
x2
x3
y1
y2
y3
图 3 离散 Hopfield 网络
考虑DHNN的节点状态,用yj(t)表示第j个神经元,即节点j在时 刻t的状态,则节点的下一个时刻t+1的状态可以求出如下:
1, u j (t) 0 y j (t 1) f[u j (t)] 0, u j (t) 0 u j (t) w i, j y i (t) x j θ j
在不考虑外部输入时,则有
j 1,2,..., n
n y j (t 1) f w i, j yi (t) θ j i 1
•通常网络从某一初始状态开始经过多次更新后才可 能达到某一稳态。使用异步状态更新策略有以下优点： （1）算法实现容易，每个神经元节点有自己的状态 更新时刻．不需要同步机制； （2）以串行方式更新网络的状态可以限制网络的输 出状态，避免不同稳态以等概率出现。 一旦给出HNN的权值和神经元的阈值，网络的状态转 移序列就确定了。
5.2 离散Hopfield网络
• Hopfield最早提出的网络是神经元的输出为 0-1二值的NN,所以,也称离散的HNN (简称为 DHNN).
–下面分别讨论DHNN的
• • • • 结构 动力学稳定性(网络收敛性) 联想存储中的应用 记忆容量问题
第9章Hopfield神经网络与联想记忆PPT课件
9.1 神经动力学
1989年Hirsch把神经网络看成是一种非线性动力学 系统，称为神经动力学（Neurodynamics）。
确定性神经动力学将神经网络作为确定性行为，在 数学上用非线性微分方程的集合来描述系统的行为， 方程解为确定的解。
统计性神经动力学将神经网络看成被噪声所扰动， 在数学上采用随机性的非线性微分方程来描述系统 的行为，方程的解用概率表示。
反馈神经网络是一个反馈动力学系统，具有更强的计 算能力。1982年J. Hopfield提出的单层全互连含有对 称突触连接的反馈网络是最典型的反馈网络模型。 Hopfield 用能量函数的思想形成了一种新的计算方法， 阐明了神经网络与动力学的关系，并用非线性动力学 的方法来研究这种神经网络的特性，建立了神经网络 稳定性判据，并指出信息存储在网络中神经元之间的 连接上，形成了所谓的离散Hopfield网络。
第9章 Hopfield神经网络与联想记忆
前言 神经动力学 Hopfield神经网络 Hopfield神经网络 联想记忆 最优化计算 仿真实例
1
机器人智能与神经计算实验室(B) (B) (B) (B) (B)
9.0 前言
d V(t的稳态或
平衡态。
7
机器人智能与神经计算实验室(B) (B) (B) (B) (B)
N维向量所处的空间称为状态空间， 状态空间通常 指的是欧氏空间，当然也可以是其子空间，或是类 似圆、球、圆环和其他可微形式的非欧氏空间。
3
机器人智能与神经计算实验室(B) (B) (B) (B) (B)
1984年，Hopfield设计与研制了Hopfield网络模型的 电路，指出神经元可以用运算放大器来实现，所有 神经元的连接可用电子线路来模拟，称之为连续 Hopfield网络。
神经网络-- Hopfield网络
Hopfield 神经网络前馈（前向）网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。
1982年到1986年，美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果，引起了人们广泛的兴趣，并且将这种单层反馈网络称为Hopfield 网络。
在单层全反馈网络中（基本Hopfield 网络中），节点之间相互连接，每个节点接收来自其它节点的输入，同时又输出给其它节点，每个神经元没有到自身的连接。
由于引入反馈，所以它是一个非线性动力学系统。
其结构如下所示：n1n32y y（a ） （b ）图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系，一般不考虑输出与输入间在时间上的滞后效应；反馈网络需要考虑输出与输入间在时间上的延时，需要利用动态方程（差分方程或微分方程）描述神经元和系统的数学模型。
前馈网络的学习（训练）主要采用误差修正法，计算时间较长，收敛速度较慢；反馈网络（如Hopfield 网络）的学习主要采用Hebb 规则，收敛速度较快。
Hopfield 网络在应用上除可作为联想记忆与分类外，还可用于优化计算。
可以认为，Hopfield 网络的联想记忆和优化计算这两种功能是对偶的：当用于联想记忆时，通过样本模式的输入给定网络的稳定状态，经学习求得联接权值W ；当用于优化计算时，以目标函数和约束条件建立系统的能量函数来确定联接权值，当网络演变至稳定状态时即可得出优化计算问题的解。
Hopfield 网络神经元模型可以是离散变量，也可以连续取值。
一．离散Hopfield 网络 1．网络结构及性能描述：离散Hopfield 网络模型如图1所示。
设共有N 个神经元，ij 表示从神经元j 到神经元i 的联接权，j s 表示神经元j 的状态（取＋1或－1），j v 表示神经元j 的净输入，有：⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω，即：⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j （1） 或：⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 异联想记忆 Hopfield NN 模型结构
反馈式 Hopfield NN 是由非线性处理单元构成的单层
反馈非线性动力学系统 ,其一般的拓扑结构是具有自反馈
连接的 ,输入和输出是同一神经元且代表相同的物理含
义 ,属于自联想记忆网络 ,不适合于解决输入和输出所需
神经元数目不同且两者间具有相关关系的异联想记忆的
Abstract : This paper analyzes the performance of associative memory neural network. On the basis of bidirectional associative memory theory , a hetero associative memory Hopfield NN model is built to be used for pattern recognition. For the shortcoming of lack of storage capacity of Hopfield NN this paper improves traditional learning algorithm , proposes pseudo converse and generalized converse learning algorithm , and therefore the capacity of Hopfield NN to store training samples is increased. The simulation and results show that the study of this paper solves the key of Hopfield NN being applied in hetero associative memory pattern recognition. Key words : Hopfield NN ; associative memory ; memory capacity ; pattern recognition
Hetero Associative Memory Hopfield NN Model , Learning Algorithms and Performance
J IANG Hui2lan , SUN Ya2ming
(School of Electrical Engineering and Automation , Tianjin University ,Tianjin 300072 ,China)
③当原型样本矢量两两相互正交时 ,各吸引子的吸引域将均匀地占据状态空间 ,进而表现出较强的 吸引性 ,容错性能较高.
因此 ,在用 Hopfield NN 来实现异联想记忆模式识别时 ,将存在两方面的困难 :一是异联想记忆模式识 别问题 ,其一组输入矢量对应着一组输出矢量 ,即输入和输出代表不同的物理含义 ,应该用不同的神经元 来表示 ;二是为实现属于模式识别问题所构造的原型样本是按照应用系统的具体情况来建立的 ,它们在状 态空间的分布不能保证是均匀的 ,更不可能满足正交的条件. 显然 ,在用具有较强容错性的 Hopfield NN 来 实现模式识别问题时 ,上述两方面是关键之处. 本文基于双向联想记忆的概念[8] ,对 Hopfield 自联想记忆 模型进行了扩展 ,建造了具有异联想记忆功能的 Hopfield NN 模型结构 ,并基于投影原理推导出适合于该 模型的伪逆学习算法和广义逆学习算法 ,使给定的原型样本通过训练尽可能地成为网络的稳定状态 ,保证 网络的联想能力. 通过选取不同性质的原型样本 ,并对三种算法的记忆能力进行了仿真分析 ,表明本文提 出的广义逆学习算法 ,对样本的记忆存储条件较比其它两个算法宽松 ,也就是说 ,为解决问题所建立的样 本模式能够容易地被存储到网络中去成为稳定吸引子 ,也只有样本被可靠地记忆到网络中 ,才谈得上容错 性. 所以本文所提出的模型和算法适合应用于异联想记忆的模式识别问题.
第5期
异联想记忆 Hopfield 神经网络的模型 、算法及性能
103
馈到输出神经元的输入端 ,权值连接为 Wx . 这种异反馈连接的离散 Hopfield NN 的表达式可用 (1) 式描述.
p
∑ yi ( t) = sgn
Wxij xj ( t) - θp+ i ,
i = 1 ,2 , …, q
虽然在容错性方面反馈式 Hopfield NN 要强于前向式 NN ,然而在网络训练过程中 Hopfield NN 对标准 训练样本的记忆存储能力却不如前向式 NN ,它受样本矢量在空间的分布以及相互间的关系影响较严重 ,
收稿日期 :2004207213 资助项目 :国家自然科学基金 (59877016) 作者简介 :姜惠兰 (1965 - ) ,女 (汉) ,河北籍 ,博士 ,副教授 ,硕士生导师 ,主攻人工智能和电力系统故障分析与控制的研 究.
模式识别问题. 为了充分发挥 Hopfield NN 容错性强的优
势 ,将其应用于异联想记忆的模式识别问题 ,本文基于双
向联想存储器的原理 ,建造了异联想记忆 Hopfield NN 模型
结构 ,如图 1 所示. 它将全部神经元 n 分成两类 ,一类是输
图 1 异联想记忆 Hopfield NN 模型结构
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
102
系统工程理论与实践
2005 年 5 月
当样本矢量分布具有某些规律时 ,网络对样本才有最大的存储容量. 考虑到任何实际问题的样本集不会是 规律性分布的 ,这将降低网络的样本存储容量 ,使为求解问题所需建立的原型样本集不能被全部记忆. 而 前向 NN 在一般的情况下受其他因素的影响较小 ,其记忆存储能力是相当强的. 因此对于那些输入信息具 有确定性的问题 ,应用前向 NN 是非常适合的 ,而对那些问题的求解是依赖于相应环境下的实时输入信 息 ,在具体获取过程中可能出现信息受干扰变异或丢失的情况 ,要求所建系统有较高的容错性 ,应用前向 NN 是存在困难的 ,目前的研究从不同的角度都试图提高其容错性[1～5] . 然而 Hopfield NN 自身的性能对于 这类问题却显示出它的巨大优势. 因此 ,对于实时信息处理系统这样的模式识别问题 ,应用 Hopfield NN 应 该是一个较合适的方法.
一个有效 NN 的联想记忆能力不仅依赖于它的模型结构 ,而且与所采用的学习算法有关. 一般地 ,
Hopfield NN 多采用 Hebb 规则 ,它具有学习速度快和信息存储方便等优点 ,但是它要求用于训练权值的“联
想记忆模式对”是一组正交的矢量集. 对于工程实际问题 ,所构造的训练样本是很难满足这一苛刻的条件 ,
1 引言
联想记忆是 NN 的重要应用之一 ,它主要利用 NN 的良好容错性能使不完整 、缺损的信号恢复成完整 的原型. 一个有效的联想记忆 NN 应该保证每个原型样本都成为网络的稳定状态 ,且具有强大的吸引特 性 ,就是说记忆为网络稳定状态所对应的样本吸引子应有一定范围的吸引域. 目前 ,用神经网络实现联想 记忆原则上有两类方式. 一类是前向式 NN ,即从输入模式到输出模式的映射网络 ,它属于异联想记忆网 络 ,是一个由非线性元件组成的学习系统 ,对样本模式的记忆能力是很强的 ,存储容量很大. 但是它不从系 统稳定性的角度出发 ,缺乏丰富的动力学行为 ,经训练记忆存储到网络中的原型样本吸引子对其他检测样 本的吸引性不强 ,即容错性不强. 另一类是反馈式网络 ,是从初态到终态的演化式网络 ,如著名的 Hopfield 网络. 它属于非线性动力学系统 ,引用 Lyapunov 能量函数的概念 ,从 NN 稳定性的角度出发 ,具有丰富的动 力学行为 ,存储的样本模式将构成系统的不动点吸引子 ,且稳定吸引子有足够大的吸引域 ,其容错性能较 强.
致使所建网络的记忆能力受到限制. 本文在分析 Hebb 规则学习算法的基础上 ,以矩阵理论的原理为基础 ,
将算法进行了改进 ,建立了异联想记忆 Hopfield NN 的伪逆和广义逆学习算法 ,它使样本正交的条件变得
宽松 ,扩大了 NN 对原型样本的记忆 ,进而为研究问题所建立的“联想记忆模式对”能够被记忆成网络的稳
2005 年 5 月
文章编号 :100026788 (2005) 0520101207
系统工程理论与实践
第5期
异联想记忆 Hopfield 神经网络的模型 、算法及性能
姜惠兰 ,孙雅明
(天津大学电气与自动化工程学院 ,天津 300072)
摘要 : 对联想记忆神经网络 (neural networks2NN) 的特性进行了分析 ,基于双向联想存储器 BAM 原理 ,对 自联想记忆 Hopfield NN 模型进行了扩展 ,建造了适合于求解模式识别问题的异联想记忆 Hopfield NN 模 型结构. 并针对 Hopfield NN 记忆容量不足的缺陷 ,对常规的学习算法进行了改进 ,建立了基于投影原理 的伪逆学习算法和广义逆学习算法 ,提高了 Hopfield NN 对样本的记忆存储能力. 分析表明 :本文的研究 解决了 Hopfield NN 应用于异联想记忆模式识别的关键问题. 关键词 : Hopfield NN ;联想记忆 ;记忆容量 ;模式识别 中图分类号 : ,联想过程可从输入到输出 ,也就是一组输入矢量可以通过联想将其相应输出联想出来 ,即可完成
异联想记忆功能. 这种模型对于解决异联想记忆的模式识别问题是完全可行的 ,从建模上解决了常规
Hopfield NN 用于异联想记忆模式识别的难点问题.
3 异联想记忆 Hopfield NN 的学习算法
定状态提供了保证. 下面介绍各种算法.
311 基于 Hebb 规则的外积法[9]
对应于图 1 的模型结构 ,原型样本的矢量将由原来自联想的 X 扩展成 S = ( X , Y) ,其中 X 代表输入