自联想记忆神经网络研究_王传栋

合集下载

自联想记忆神经网络研究_王传栋

HAM 的回忆规则描述如下:
X ' = sgn (WX ) = sgn (
M
X
i
(X
i
T
)
X
)
=
i= 1
sgn ( M X i X i, X )
( 1)
i= 1
其中, W =
M X i (Xi )T , 这里 W 为权值矩阵,
i= 1
sgn ( ) 为二值符号函数。
2 ) HAM 模型收敛性分析。
( 2) 能够通过数学理论分析该模型的存储容量以及所能获得的纠错性能;
( 3) 开创了联想记忆神经网络研究的先河, 特别是通过能量函数分析网络稳定性的思路在后续很多联想记忆模型的研究中得以广泛使用;
( 4) 为解决组合优化等实际应用问题提供了有益的思路。
2 自联想记忆模型研究进展
3. D epartm en t o f Info rm ation and T echno logy, N an jing C o llege o f Fo restry Po lice, N an jing 210046, Ch ina)
A bstract: A s an im portant art if icial n eural n etw o rk, au to - associative m em ory m odel ( AM ) can b e em p loyed to m im ic hum an th ink ing and m ach ine in tell igence, w h ich has m assively parallel distribu ted con f igurat ion and con ten t- addressab le ab ility. In th is pap er, in troduce in detail the H opf ield A ssociativeM em ory ( HAM ) n eural netw ork w h ich has y ie lded a great im pact on the developm en t of au to- assoc i ativem em ory m ode,l and an alyze HAM s strongpo in t and d raw back. S econd ly, focu sing on the exist ing re levan t research literatures, presen t a survey of au to - asso ciativem em ory m odels f rom the three aspects such as learn ing a lgorithm, n etw ork arch itecture and p ractical app lication; Fina lly, summ ariz e th e m ain question w h ich au to - associativem em ory m odels are faced w ith at presen,t and forecast its fu ture developm en t tendency. K ey words: neural netw o rk; au to- assoc iativ em em ory; in tel ligen t in form ation p rocessing

自适应联想记忆细胞神经网络的优化设计

自适应联想记忆细胞神经网络的优化设计作者：叶波李传东来源：《计算机应用》2012年第02期摘要:针对训练自适应联想记忆细胞神经网络过程收敛慢，设计出的网络抗噪性能不高的特点，通过融合蚁群优化算法和粒子群算法的思想，提出以目标网络对噪声模式的输出误差为目标函数，在目标函数的一个阈值分成的两个区间内，分别采取局部搜索和全局搜索策略，训练出的克隆模板的设计方法。

数字模拟表明，与以往的设计方法相比，该算法能在细胞神经网络4~6次的迭代过程中稳定输出期望模式，收敛速度更快，设计出的性能比较稳定，并对噪声鲁棒，对高斯噪声N(0,0.8)准确率达到90%左右。

关键词:联想记忆；细胞神经网络；蚁群优化算法；参数模板中图分类号:TP183文献标志码:AOptimal design for adaptive associative memory cellular neural networksCollege of Computer Science, Chongqing University, Chongqing 400044, ChinaAbstract:error of objective CNN as objective function and took local searching and global searching respectively in two internals separated by a given objective function threshold, coupled with the idea of ant optimization algorithm and Particle Swarm Optimization (PSO). Concluded from the numericalN(0,0.8) with recall rate of about 90%.associative memory; Cellular Neural Network (CNN); ant optimization algorithm; parameter template0 引言学习和记忆是智能系统中两个最重要的功能。

第9章 Hopfield神经网络与联想记忆

11 机器人智能与神经计算实验室(B) /rinc
这些定理要求Lyapunov函数E(V)是有界正函数，这样的函数定义如下：函数E(V)在状态空间中是有界正函数，则对所有的 V 满足下列条件：（1）函数E(V)关于状态向量V中的每个元素是连续偏导的；（2） E (V ) 0 （3） E (V ) 0 if V V 。
如果一个非线性动力系统的向量函数 F(V(t)) 隐含地依赖于时间t，则此系统称为自治系统，否则不是自治的。

8
机器人智能与神经计算实验室(B) /rinc
稳定性和收敛性的定义:

定义1 平衡态 V 在满足下列条件时是一致稳定的，对任意的正数，存在正数 , 当 || V (0) V || 时，对所有的 t 0 均有：
24
机器人智能与神经计算实验室(B) /rinc

Hopfield网络的“能量函数” 定义为：
n 1 n n E wij vi v j bi vi 2 i 1 j 1 i 1 i j j i

Hopfield反馈网络是一个非线性动力学系统， Hopfield网络按动力学方式运行，即按“能量函数” 减小的方向进行演化，直到达到稳定状态。因而上式所定义的“能量函数”值应单调减小。
18 机器人智能与神经计算实验室(B) /rinc

Hopfield网络中有个n神经元，其中任意神经元 i 的输入用 ui 表示，输出用 vi 表示，它们都是时间的函数，其中vi(t)也称为神经元 i 在 t 时刻的状态。
ui (t ) wij v j (t ) bi
25 机器人智能与神经计算实验室(B) /rinc

为说明这一问题，可考虑网络中的任意神经元i，其能量函数为:

基于多维联想记忆神经网络的图像回忆

２…，），ｎ作为库向量。理论和数值实验结果都表明，高噪声情况下采用新的库向量能够明显提高图像回忆效果，减少图像
回忆时间。
ＣｌｂｒｔｅＲｎＣｄｎａｄＡｓｏｉｉｅＭｅｒ［．ｏｌｏａｉａｋｏｉｇｎｓｃｔａｖａｖｍｏＪｙ］
第３８卷第９期
Ｖ０．１３８
・
计
算
机
工
程
２１０２年５月
Ｍａｖ２０１２
ＮＯ．９
ＣｏｍｐｕｅｇｉｅｉｇｔｒＥｎｎｅｒｎ
人工智能及识别技术・
文编１４（１ｏ．７０章号：００２２２９０７３文识Ａ８０） — １ — 削示码：
（ｌｄｍｅｓｎｌＡｓｃａｖＭｅｒＮｕａＭｕｔｉｎｉａｉｏｓｏｉｉｅｔｍｏｙｅｒｌＮｅｗｒｓｔｏｋ，
ＭＤ－ＭＮ，并把它用到图像回忆中。２１ＡＮ）００年，文献ｆ５把１］不规则的凸多边形作为向量引入到图像回忆，提高了图
垂向聚合成一个新矩阵，以新矩阵的列向量作为库向量。数值实验结果表明，相比２个列向量构成的库向量，以４个列向量构成的库向量进行回忆的灰度图像更清晰且效率更高。
关健诃：多维联想记忆；神经网络；投影；库向量；图像回忆；图像矩阵
ＩａｅａｌｎｇＢａｅｎｍｇｅＲｃｌｉｓｄ０ＭｕｔｄｉｅｉｎａｓｃａｉｅｏｙＮｅａｔｒｌｉｍｎｓｏｌＡｓｏｉｔｖｅＭｍｒｕｒｌＮｅｗｏｋ

一类双向联想记忆神经网络概周期解的全局渐近稳定性

ｒＪ
Ｔ● Ｊ
Ｏ
ｒ
ａ
滨摘要：用Ｂｎｎｈ空间中的不动点定理、数二分法和Ｌａｕｏ利ａａｃ指ｙｐｎｖ函数方法研究了一类
州
分布实例说明了判据的有效性．学时滞双向联想记忆神经网络概周期解的全局渐近稳定性，院关学ｕ键词：向联想记忆神经网络；双时滞；概周期解；全局渐近稳定性
则Ｓ什构成一个Ｂｎｃａａｈ空间．
２主要结果
定理１１炭设条件（）和（２ＨＩＨ）成立，糸貌（）仔征唯一的概周别｛ｚ（）满足则１Ｉｔ，弹
一ｌ≤
，
。（。：ｄ（ｓ，。：）（ｓ，ｅ “ｓ，』ｅ “（ｓ＝』ｅｌＩ）…’ （ｄ－－（ｆ）… 一（，）＝一（１ｄｊｅ “ｓ，『Ｉ）（ｓ，。：ｄｓ）。』Ｕ，ｆ“ ）…ｒ：ｄｄ。６．ｄ．ａｕ）。ａｄｎＪ＿６ “ 一“ 』）
则Ｂ是ｓ的凸闭子集．计由文献［］知，ｌ。ｌ≤ ，以，６ｌｌＺ所
Ｉｌｌｚ＋ｌ＿｝ｊＩ ≤ｌ。ｌｌ举＋—＿Ｉ ≤ ｚｚ — ｚ。＿．
ｐＲＳＵ ∈
第６期
邓星，林一双向想忆经络周解全渐稳ｍ性明王山类联记神网概期的局近定
．一
１
√ ｕ
“ ［
）
（
（ｓｕｄ）－）ｕ

自联想记忆神经网络研究

面对自联想记忆神经网络的研究进展进行了归纳阐述；总结了自联想记忆神经网络目前存在的主要问题，且预测了其并
未来的发展趋势。
关键词：经网络；神自联想记忆；能信息处理智
中图分类号：Ｐ８＿１３ｒ
ＡｂｔａｔＡｓａｏｔｔｒｆｉｅｒｌｅｗｒａｔ— ｓｏｉｔｅｍｅｏｍｏｅＡＭ）ｃｌｂｍｐｏｅｏｍｍｉｈｍａｉｋｎｓｃ：ｌｉｒｎｔｃａｎｕａｎｔｏｋ，ｕｏａｓｃａｖｍ￣ｒｌｍｐａａｉｌｉｉｄｌ（ａｅｅｌｙｄｔｉｃｕｎｔｎｉｇｌｈ
ｎｃｉｅｉｔｌｅｃａｄｍａｈｎｎｅｆｇｎｅ，ｗｈｃａｓｉｅｙｐｒｌｅｉｔｉｕｅｏｆｕａｉｎａｄｃｎｅｔｄｒｓａｌｂｌｔＩｈｓｐｐｒｉｔｏｃｉｉｈｈｓｍａｓｖｌａａｌｌｄｓｒｂｔｄｃｎｇｒｔｉｏｎｏｔｎ－ａｄｅｓｂｅａｉｙ．ｎｔｉａｃ，ｎｒｄｕｅｉ
经网络研究的一个重要分支。介绍了开创自联想记忆神经网络研究先河的Ｈｐｅ联想记忆神经网络模型，析了该模ｏｆｌｉｄ分型的优缺点；然后在系统分析现有白联想记忆神经网络相关研究文献的基础上，从学习算法、系结构和应用领域三个方体
ＷＡＮＧｕｎ— ｎ－．ＡＮＧｎｉｇＣｈａｄｏｇ，ＹＹａ —ｙｎ

形态学联想记忆网络的研究进展

（南师范大学计算机与信息技术学院，河南新乡４３０）河５０７
摘要：形态学联想记忆网络具有无限存储能力、步回忆记忆、良好地抵抗腐蚀噪声或者膨胀噪声的噪声容限等许多优一
点。从形态学联想记忆的概念、本原理、展脉络、究新成果、展趋势和研究方向等多个方面综述了形态学联想记忆基发研发
ｃｕｉｇｃｎｅｔ，ｂｓｃｐｎｉｌｓｄｖｌｐｎａｋｌｔｎｅｒｓａｃｎｉｇ，ｄｖｌｐｎｅｄａｄｒｓａｃｉｃｉｎｅｃｔＳｌｄｎｏｃｐｓａｉｒｃｐｅ，ｅｅｏｍｅｔｌｅｅｏ，ｎｗｅｒｈｆｄｎｓｅｅｏｍｅｔｒｎｎｅｈｄｒｔｔ．Ｉｉｓｅｉｔｅｒｅｏ ’ ｅｐｃｅｅｏｒａｅｅｉｔｅｒｓａｃｎｍｏｈｌｇｃｌｓｏｉｔｅｍｅｒｅｏｋ．ｘｅｔｄｔｂｆｅｔｎｆｔｅｅｒｈｏｒｏｏｉａｓｃａｉｍｏｎｔｒｓｏｇｂｔｏｈｐａｖｙｗＫｅｒｓｓｏｉｔｖｍｏ；ｏｈｌｇｃｌｓｏｉｔｅｍｅｒ；ｎｕａｅｗｏｋ；ｅｅｏａｓｃａｉｅｍｅｒｅ；ａｔｍｃｇｉｏｙｗｏｄ：ａｓｃａｉｅｍｅｒｍｒｏｏｉａａｓｃａｉｍｏｙｐｖｙｅｌｔｒｓｈｔｒ — ｓｏｉｔｍｏｉｓｐｔｒｎｖｅｒｏｎｔｎｅｉ

一种联想记忆网络的研究

Ｈｅｌｂｂｒｅ，ｍａｅｈｗｏｏｒｅｏｎｃｅｏｍｅｒ，ｃａｓｃｐｏｅｌａａｅｂｇｕｋｓｔｅｔｒｍｏｅｎｔｃｎｅｔｄｔｍｏｙｌｓｉｒｐｒｙｃｎｈｖｉ— ｇｓａａｉｅｔｃｐｃｔｙ，ｅｌｔｎｐｏｅｉｉｆｃｅｃｔｏｓｍｕａｉｒｖｔｓａｅｆｉｎｙｍｅｈｄｏｉ
１０２，ｈｎ；．ｉｉｒｆｓｉａＩｓｔｔ，ｉｉ５６０，ｈｎ）５０８Ｃｉａ２ＱｔｈＰｏｅｓｎｌｎｔｕｅＱｔｈ１４０Ｃｉａｅｏｉａｅａ
ＡｂｔａｔＴｈｂｕｌｓｖｒａｙｔｅｌｚｎＡＭｅｗｏｋｓｒｃ：ｅＨｅｂｒｅｉｅｙｅｓｏｒａｉｅｉｎｔｒｓ，ａｄｈｓｆｖｒｂｅｅｆｃ，ｎａａｏａｌｆｅｔｂｔｉａｓａｅｓｍｅｄｓｄｖｎａｅｕｔｌｏｈｖｏｉａａｔｇｓ，ｔｓｐａｅｕｓｆｒｒｔｃｕｅｓｍｐｅａｄｈｖｌｈｉｐｒｐｔｏｗａｄａｓｒｔｒｉｌｎａｅｗｅｌｕｅｆｃｓｆｅｔ．ＴａｅｄａｔｇｆｎｍｂｒｍｅｒｏａａｙｅａｄｒｓａｃｈｋｓａｖｎａｅｏｕｅｍｏｔｎｌｚｎｅｅｒｈｔｅＡＮＮａｅｎｔｅｙｂｓｄｏｈ
高记忆效果，研究结果表明方法是有效的．
１外积法
域，中联想记忆是Ｈｏｆｌ其ｐｅｄ神经网络的重要研究

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

联想回忆出不完整的输入, 特别适用于处理含噪和不确定的信息, 因此在内容可寻址存储、智能搜索和检索、优化计算、纠错编码、智能控制、图像压缩、模式识别和知识推理等方面获得了极为广泛的应用, 成为当今神经计算主要研究课题之一 [ 1] 。
迄今为止, 作为人工神经网络研究的一个重要分支, 联想记忆模型的研究已经取得了丰硕的成果, 涉及到自联想、异联想、序列联想、多向联想和多对多联想等各种联想模式 [ 2], 研究重点主要包括体系结构、学习算法和实际应用。文中在系统调研现有自联想记忆神经网络相关研究文献的基础上, 结合我们在该领域的研究成果, 首先详细介绍了著名的 Hop field 联想记忆模型 ( H op f ie ld A ssociative M em ory, HAM ), 接着归纳阐述了自联想记忆神经网络的研究进展, 最后总结了自联想记忆神经网络目前存在的主要问题, 并且预测
1 ) HAM 模型权值更新规则。
HAM 模型是由二值神经元以全互连的方式构成, 其学习算法采用了著名的 H ebb 学习规则。学习的实
质是最小化 Lyapunov能量函数, 通过调整各个神经元的权值最终达到存储待记忆模式的目的。假设有一组
待记忆的 n 维模式列向量 {X i { - 1, 1 }n, i = 1, 2, , M } , X 为任意输入模式, X 为' X 的下一个状态,
摘要: 自联想记忆神经网络能模拟人脑思维和机器智能, 具有信息分布式存储和内容可寻址访问的重要特征, 是人工神
经网络研究的一个重要分支。介绍了开创自联想记忆神经网络研究先河的 H opfie ld联想记忆神经网络模型, 分析了该模
型的优缺点; 然后在系统分析现有自联想记忆神经网络相关研究文献的基础上, 从学习算法、体系结构和应用领域三个方
面对自联想记忆神经网络的研究进展进行了归纳阐述; 总结了自联想记忆神经网络目前存在的主要问题, 并且预测了其
未来的发展趋势。
关键词: 神经网络; 自联想记忆; 智能信息处理
中图分类号: TP183
文献标识码: A
文章编号: 1673- 629X ( 2011) 03- 0109- 04
R esearch on Auto- A ssociative M emory N eural Networks
收稿日期: 2010 - 08- 20; 修回日期: 2010- 11- 20 基金项目: 国家自然科学基金 ( 61003040 ) ; 南京邮电大学校科研基金 ( NY 210043 ) 作者简介: 王传栋 ( 1971- ), 男, 讲师, 硕士, 研究方向为神经网络与模式识别、数据仓库与数据挖掘; 杨雁莹, 副教授, 硕士, 研究方向为软件工程与数据库、数据挖掘。
( 2)
2
满足两个条件: ( 1 )能量函数 E ( t) 有界; ( 2) 能量函数
E ( t) 随 X ( t) 的变化而减小, 则说明 HAM 网络在该更新方式下收敛, 详细证明过程参见文献 [ 5] 。
3 ) HAM 模型的特点。
HAM 模型具有以下几个特点:
( 1) 创造性地引入 Lyapunov能量函数描述神经网络状态的动态学习行为, 能量函数的局部最小点存储了所有待学习的模式或信息;
HAM 的回忆规则描述如下:
X ' = sgn (WX ) = sgn (
M
X
i
(X
i
T
)
X
)
=
i= 1
sgn ( M X i X i, X )
( 1)
i= 1
其中, W =
M X i (Xi )T , 这里 W 为权值矩阵,
i= 1
sgn ( ) 为二值符号函数。
2 ) HAM 模型收敛性分析。
( 2) 能够通过数学理论分析该模型的存储容量以及所能获得的纠错性能;
( 3) 开创了联想记忆神经网络研究的先河, 特别是通过能量函数分析网络稳定性的思路在后续很多联想记忆模型的研究中得以广泛使用;
( 4) 为解决组合优化等实际应用问题提供了有益的思路。
2 自联想记忆模型研究进展
WA NG Chuan- dong1, 2, YA NG Y an- y ing3
( 1. C o lleg e o f C om pu te r, N anjing U n iv ersity o f Po sts & T e lecomm un ica tions, N anjing 210003, Ch ina; 2. Institute o f Com puter T echno lo gy, N an jing U niversity of Po sts & T elecomm un icatio ns, N an jing 210003, Ch ina;
第 21卷第 3期 2011年 3月
计算机技术与发展
COM PUTER TECHNO LOGY AND D EV ELO PM EN T
V o.l 21 N o. 3 M ar. 2011
自联想记忆神经网络研究
王传栋1, 2, 杨雁莹 3
( 1. 南京邮电大学计算机学院, 江苏南京 210003; 2. 南京邮电大学计算机技术研究所, 江苏南京 210003; 3. 南京森林警察学院信息技术系, 江苏南京 210046)
0引言
长期以来, 为了模仿人脑功能, 构造出具有类人智能的人工智能系统, 人们对大脑的工作机制和思维的本质作了大量的研究工作。人工神经网络就是这样一种能够模仿和延伸人脑智能、思维和意识等功能的自适应动力学系统。联想记忆模型作为人工神经网络研究的一个重要分支, 具有信息分布式存储和内容可寻址访问的重要特点, 能模拟人脑简单的思维功能, 通过
尽管 HAM 模型的影响甚大, 推动了神经网络方向的研究, 但分析表明该模型仍然存在如下缺陷:
( 1) 存储容量偏低, 其上界仅为 0. 15N (N 为网络中神经元个数 );
( 2) 神经元状态仅为二值, 无法直接处理现实中的多值情形;
( 3) 网络结构过度复杂, 随着网络规模的扩大, 神经元个数的增多将导致不可实现的全互连, 等等。
3. D epartm en t o f Info rm ation and T echno logy, N an jing C o llege o f Fo restry Po lice, N an jing 210046, Ch ina)
A bstract: A s an im portant art if icial n eural n etw o rk, au to - associative m em ory m odel ( AM ) can b e em p loyed to m im ic hum an th ink ing and m ach ine in tell igence, w h ich has m assively parallel distribu ted con f igurat ion and con ten t- addressab le ab ility. In th is pap er, in troduce in detail the H opf ield A ssociativeM em ory ( HAM ) n eural netw ork w h ich has y ie lded a great im pact on the developm en t of au to- assoc i ativem em ory m ode,l and an alyze HAM s strongpo in t and d raw back. S econd ly, focu sing on the exist ing re levan t research literatures, presen t a survey of au to - asso ciativem em ory m odels f rom the three aspects such as learn ing a lgorithm, n etw ork arch itecture and p ractical app lication; Fina lly, summ ariz e th e m ain question w h ich au to - associativem em ory m odels are faced w ith at presen,t and forecast its fu ture developm en t tendency. K ey words: neural netw o rk; au to- assoc iativ em em ory; in tel ligen t in form ation p rocessing
110
计算机技术与发展
第 21卷
Байду номын сангаас
了其未来的发展趋势。
1 Hopfield联想记忆模型
早在 20 世纪 80 年代初, 美国著名物理学家
H op field发表了两篇具有划时代意义的论文 [3, 4], 这两篇文章吸收了前人的许多观点, 如 G rossberg的改进模型, M cCu lloch和 P itts的神经模型, A nderson 的线性联
因此, Hop field模型更多的是在于理论指导意义, 为此, 国内外许多学者从以下三个方面展开了一系列富有成效的研究: