神经网络导论-双向联想记忆
带分布时滞的双向联想记忆神经网络周期解的存在性
强．
２ 预备知识
为方便起见 ， 引入 以下符号 ：
］
）
鬈 ］ｉ ） ［ （Ｉ ｑ ， ｊ
鬈 】 『
ｉ １２… ，， Ｖ ＝ ，， 礼 ｘ∈Ｒ Ｊ＝ １２… ，， Ｖ ，， Ｐ ｙ∈Ｒ
其中 也（ ， （ 是连续有界函数． ｓ ｓ ） ）
收稿 日期： ０ ９０．２ ２０—１１ 资助项 目： 国家 自然科学基金 （０ ７０ ７； １５ ２５ ）江苏省 自然科学基金 （Ｋ ２０ １６ Ｂ ０６ ８）
１６ ４
应 用 泛 函 分 析 学 报
第 １ 卷 ３
文献 ［ 中 已经对 系统 （．） ９ 】 １１ 的模型进行 了讨论 ， 但是 其中函数 和 的限制条件 比较严格． 本
会出现传输时滞的分布． 在这种情形下， 信号传输不再是即时的滞 的模型 ［ １ ． ９ ２ －】
本文考虑 如下带分布时滞 的 Ｂ Ｍ 神经 网络模型 ： Ａ
Ｐ
＝
。 。
ｈ （） ∑ｐ（ ｔ） （ ＋ ｊｔ ｉ）
分别表 示在与神经 网络不连通并 且无外部 附加 电压差的情况 下第 ｉ 神经 元与第 Ｊ个神经元在 ｔ时 个 刻恢复静 息状 态的速率． （ 和 （ 分别表示第 ｉ 神经元与第 Ｊ个神 经元在 ｔ时刻的状态变量． ￡ ） ｔ ） 个 ｐｉ ）ｑ （ ， ，ｊｔ 是连续 的 周期 函数： （）ｑ （ 是 第 ｉ 神经元与第 Ｊ个神经元在 ｔ时刻 ｊ（ ，ｉｔ 厶（ Ｊ（ ｔ ｊ） ） ） ，ｉ ｔ ｊ） 个 的关联强度 ； ｔ， （ 分别表示 第 ｉ 神经元与第 Ｊ个神 经元在 ｔ时刻的外部输入 ．Ｋｊ 和 Ｓｊ是 厶（） ｔ ） 个 ｉ ｉ 时滞核 函数 ， ，ｉ ｇ 分别表示第 个神经元与第 ｉ 个神经元 在 ｔ 时刻的输 出． 系统 （．） １１ 的初始条 件为： ｘ（） （） ｉ ＝ ｓ， ｓ ｙ（） （） ｊ８ ＝ ｓ， ｓ∈（ 。０， ｉ ，，一， 一。，］ ＝１２・ 礼 ８ 一 。ｏ， Ｊ＝ １２… ， ∈（ 。，ｌ ，， Ｐ
基于神经网络推理联想记忆模型设计优化
基于神经网络推理联想记忆模型设计优化推理与记忆是人类高级认知功能的重要组成部分，对于机器智能来说也是一项重要的挑战。
神经网络在推理与记忆任务中具有巨大的潜力，并广泛应用于自然语言处理、计算机视觉以及智能问答等领域。
本文将探讨基于神经网络的推理联想记忆模型的设计优化。
推理联想记忆模型是一种基于人类记忆机制构建的神经网络模型，它可以实现从给定的部分信息中推理、联想并记忆相关的事实或知识。
该模型通常由两个重要组成部分构成，即推理网络和联想记忆网络。
在设计优化推理联想记忆模型时，我们首先需要考虑的是推理网络的结构和参数设置。
推理网络负责从给定的输入中推理出可能的答案或结论。
为了提升推理网络的表达能力，我们可以采用一些现有的神经网络结构，如卷积神经网络（CNN）、循环神经网络（RNN）或transformer网络等。
这些网络结构可以帮助模型学习到输入之间的关系和模式，提高推理的准确性和鲁棒性。
在推理网络中，需要注意的是选择合适的损失函数和优化算法。
损失函数的选择应该与任务的特点相匹配，如交叉熵损失函数可以用于分类任务，均方差损失函数可以用于回归任务。
优化算法可以采用常见的梯度下降法或其变种算法，如Adam、RMSProp等。
同时，为了防止过拟合，可以加入正则化项或采用早停策略。
第二个重要的组件是联想记忆网络，它负责联想并记忆与输入相关的额外信息或知识。
为了设计优化联想记忆网络，关键是在保证模型记忆能力的同时，提升模型的存取效率和记忆容量。
一种常见的方法是使用注意力机制，通过计算输入与记忆单元之间的注意力权重，选择与输入最相关的记忆进行联想。
此外，可以利用记忆增加技术，如记忆存储和检索的哈希化等方法来提高记忆容量和速度。
在训练推理联想记忆模型时，我们需要考虑样本的选择和训练策略。
为了模型能够更好地泛化到未见过的数据上，应该选择多样性和代表性的训练样本，并进行正确的数据增强和正负样本平衡处理。
在训练策略方面，可以采用深度强化学习方法，通过与环境的交互来优化模型参数，或者结合元学习等方法进行参数初始化和优化。
内连式复值双向联想记忆模型及性能分析
样 拳对 成 为 其稳 定 点 ， 服 了 Ｃ Ａ 所 存 在 的补 码 问题 计 算机 模 拟 证 明 了谊模 型 比 Ｃ Ｂ Ｍ 具 有 更 高 的存 克 ＤＢ Ｍ Ｄ Ａ
储 容 量 和 更 好 的 纠 错 性 能
关 键 词 ：双 向 联 想 记 忆 ： 经 网络 ； 量 函数 ； 数 域 ； 神 能 复 多值 联 想 记 忆 ； 内连 接
维普资 ３ ４３） ０ － ２／０／ （ ） ３４ ０ ９ ２ １０ ０ ５
￣０２ｏ ｎ ｆ ａ 软 件 学 塑 ２ ｕ ａ ｆｏｗｒ ０Ｊｒｌ Ｓｔ ｅ ｏ
！ ！ ： 坚 堡
内连 式 复 值 双 向联 想 记 忆 模 型 及 。 分 析 陛能
在 存 储 容 量 和 纠 错 率 低 的问 题 ， 补码 问题 也 未 得 到解 决
本 文 的 目的 是 在 Ｃ ＤＢＡＭ 的基 础 上 ， 助 于 Ｍ Ｉ 借 ＢＡＭ 的 思 想 ， 引入 神 经 元 层 内的 自联 想 （ 内连 接 ） 实 现 两 或 来 者 的结 合 ， 而 推 广 上述 两 个 模 型 ， 一 方 面 可 使 Ｍ Ｉ 从 即 ＢＡＭ 具 有 处 理 复 值 即 多 值 的 能力 ． 同时 使 原 有 Ｃ ＡＭ 在 ＤＢ
１１ 修 正 内连 式 双 向联 想记 忆 模 型 ．
假 定 有 坍 对 存 储 的 二 值 数 据 或 模 式 （ ， ） ＝１２… ， ∈卜 ｌＩ ∈（ ｌｌ ， ，， ． 七 ，）． 一，
ＭＩ ＢＡＭ 的 取 向 更新 规 则 是 ：
＊
收 稿 日期 ：２ ０ —５ ｌ．修 改 日期 ：２ ０ 一８ １ ０ ００ １ ０ ０ ｏ ．５
基 金 项 目 ：国 家 自然 科 学 基 金 资 助 项 目（９ 叭 ０ ４， 家 教 育 部 青 年 骨 干 教 师 资 助 项 目 ． 京 大 学 计 算 机 软 件 新 技 术 国 家 重 点 ６ ７ ０ ）国 南
第5章 Hopfield神经网络与联想记忆
第5章Hopfield神经网络与联想记忆前面介绍了前向网络及其学习算法，对于所介绍的前向网络，从学习的观点来看，它是一个强有力的学习系统，系统结构简单、易于编程；从系统的观点来看，它是一个静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂系统的非线性处理能力；从计算的观点来看，它并不是一强有力系统，缺乏丰富的动力学行为。
反馈神经网络是一个反馈动力学系统，具有更强的计算能力。
1982年美国物理学家J. Hopfield提出的单层全互连含有对称突触连接的反馈网络是最典型的反馈网络模型。
Hopfield 用能量函数的思想形成了一种新的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的Hopfield网络，称之为离散Hopfield网络。
而且Hopfield还将该反馈网络同统计物理中的Ising模型相类比，把磁旋的向上和向下方向看成神经元的激活和抑制两种状态，把磁旋的的相互作用看成神经元的突触权值。
这种类推为大量的物理学理论和许多的物理学家进入神经网络领域铺平了道路。
1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，称之为连续Hopfield网络。
用该电路Hopfield成功的解决了旅行商（TSP）计算难题（优化问题）。
Hopfield网络是神经网络发展历史上的一个重要的里程碑。
把神经网络看作一种非线性的动力学系统，并特别注意其稳定性研究的学科，被称为神经动力学（Neurodynamics）。
Hopfield神经网络可看作一种非线性的动力学系统，所以为了方便介绍Hopfield神经网络，本章首先简单介绍神经动力学。
前面介绍的单层前向网络和多层前向网络，其思路均是先介绍网络模型再介绍相应的学习算法。
变时滞的双向联想记忆神经网络的全局指数稳定性
第 ３ 卷 ７
Ａ＝ｄａ （ｌ…ａ ，１ ， ∈Ｒ ，Ｊ ＝（１…Ｓ，ｌ ， ） ｉｇ ａ， ｂ… ｂ ） ” ｏ Ｓ， ｈ… ∈Ｒ ， ”
（ 一 （）＝（ （ｌ －＂／） （ （一 （）ｇ（ （－ １）， （ 一 （）ｒ ，） ｆ Ｙ（ Ｚ ）， ） ｔ ｌ ）…， ， ，） ｌ ８ ｔ） （ ）， ｘ ｔ （）…， ，） ． ））
ｄ ｉ Ｏ３ ６ ￣ｉ ｎ１ ０ —４ ３２ １．７ ７ ｏ ：１ ．９９ ．ｓ ． ３２ ８ ． １ ． ｓ ０ ０ Ｏ０
文献［ 讨论 了双层双 向联想记忆神经 网络模型（Ａ ） １ ］ Ｂ ＭＮ 的稳定性， 在此基础上， 文献［ ５得到了稳定性 的 １］ ． 不少判定方法， 文献【 １］ ６ Ｏ分析了时滞为常数的双向联想记忆神经 网络模型指数的吸引性， — 得到了很好的结果． 但在时滞是 时间变量的情况下， 其全局吸引性和全局指数稳定性 的应用更加广泛， 但这方面的研究和文献却很 少．
＝
（ １ ｗ
， ＝ｉ（，Ｌ， ， ∈ ， （ ，， Ｌ ｄｇ ． ）Ｒ Ｍ ＝ ａ Ｌ… … １ ， … ＋
定理 ２ 【 如果系统（ 满足下列条件 ： ．９ １】 Ｉ ３ ）
１Ｉ（） ＵＩＬ“ Ｕ， ）ｇ ） ｌ一： ， ） ｊ￣ （） ｊ 一２ 一 ： “ ｌ ｆｕ～ ２＜ ｌ Ｉ ｌ ｇ Ｉ
｛ ， ， Ｊ２， Ｉ） ∈０ ＝ 辜 ＝… ｙ ）Ｓ 】 １ｍ ｊ （ ｓ ［， ， － ，
其中 ， ： ，］ Ｒ是连续函数． 卜ｒ０
令 ｆ ：（ ｆ ，ｆ， “ ．（ ） （ ） （ ， （ …， ｆ ＝（， ）Ｘ （ ， ， ｆ Ｙ （ ， ，ｆ …， ∈Ｒ ， ） ） ） （ ， ，ｆ … ｘ （ ， ｆ Ｙ （ ， Ｙ （ ） ｆ ） ） ） ） ）
双向LSTM
双向LSTM1.理论 双向循环神经⽹络（BRNN）的基本思想是提出每⼀个训练序列向前和向后分别是两个循环神经⽹络（RNN），⽽且这两个都连接着⼀个输出层。
这个结构提供给输出层输⼊序列中每⼀个点的完整的过去和未来的上下⽂信息 六个独特的权值在每⼀个时步被重复的利⽤，六个权值分别对应：输⼊到向前和向后隐含层（w1, w3），隐含层到隐含层⾃⼰（w2,w5），向前和向后隐含层到输出层（w4, w6） 值得注意的是：向前和向后隐含层之间没有信息流，这保证了展开图是⾮循环的2.代码#!/usr/bin/env python3# encoding: utf-8'''@author: bigcome@desc:@time: 2018/12/5 9:04'''import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#准备数据集mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)#设计模型#设置参数#学习率learning_rate = 0.001# Network Parameters# n_steps*n_input其实就是那张图把每⼀⾏拆到每个time step上n_input = 28n_steps = 28# 隐藏层⼤⼩n_hidden = 512n_classes = 10# 每次训练的样本⼤⼩batch_size = 100n_batch = mnist.train.num_examples // batch_sizedisplay_step =10# tf Graph input# [None, n_steps, n_input]这个None表⽰这⼀维不确定⼤⼩x = tf.placeholder(tf.float32,[None,n_steps,n_input])y = tf.placeholder(tf.float32,[None,n_classes])#Define weightsweights = tf.get_variable("weights", [2 * n_hidden, n_classes], dtype=tf.float32, #注意这⾥的维度initializer = tf.random_normal_initializer(mean=0, stddev=1))biases = tf.get_variable("biases", [n_classes], dtype=tf.float32,initializer = tf.random_normal_initializer(mean=0, stddev=1))def BiRNN(x, weights, biases):#x是[50,28,28]#矩阵转置后是[28,50,28]x = tf.transpose(x, [1, 0, 2])#调整维度[-1,28]x = tf.reshape(x, [-1, n_input])x = tf.split(x, n_steps)lstm_fw_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden, forget_bias=0.8)lstm_bw_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden, forget_bias=0.8)output, _, _ = tf.contrib.rnn.static_bidirectional_rnn(lstm_fw_cell, lstm_bw_cell, x, dtype=tf.float32)return tf.matmul(output[-1], weights) + biases#define bi-lstmdef Bilstm(x,weights,biases):lstm_fw_cell = tf.nn.rnn_cell.BasicLSTMCell(n_hidden,forget_bias=1.0)lstm_bw_cell = tf.nn.rnn_cell.BasicLSTMCell(n_hidden,forget_bias=1.0)init_fw = lstm_fw_cell.zero_state(batch_size, dtype=tf.float32)init_bw = lstm_bw_cell.zero_state(batch_size, dtype=tf.float32)outputs, final_states = tf.nn.bidirectional_dynamic_rnn(lstm_fw_cell,lstm_bw_cell,x,initial_state_fw=init_fw,initial_state_bw=init_bw)outputs = tf.transpose(outputs, (1, 0, 2))#outputs = tf.concat(outputs, 2) # 将前向和后向的状态连接起来#tf.reshape(outputs, [-1, 2 * n_hiddens])ouput = tf.add(tf.matmul(outputs[-1], weights), biases) # 注意这⾥的维度return ouputprediction = BiRNN(x, weights, biases)#prediction = Bilstm(x,weights,biases)cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=prediction,labels=y)) optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cross_entropy)correct_prediction = tf.equal(tf.argmax(prediction,1),tf.argmax(y,1))accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))init = tf.global_variables_initializer()with tf.Session() as sess:sess.run(init)epoch = 0while epoch < n_batch:batch_x, batch_y = mnist.train.next_batch(batch_size)batch_x = batch_x.reshape((batch_size, n_steps,n_input)) # 要保证x和batch_x的shape是⼀样的 sess.run(optimizer, feed_dict={x: batch_x, y: batch_y})if epoch % display_step == 0:acc = sess.run(accuracy, feed_dict={x: batch_x, y: batch_y})loss = sess.run(cross_entropy, feed_dict={x: batch_x, y: batch_y})print("Iter " + str(epoch * batch_size) + ", Minibatch Loss= " + \"{:.6f}".format(loss) + ", Training Accuracy= " + \"{:.5f}".format(acc))epoch += 1print("Optimization Finished!")test_len = 10000test_data = mnist.test.images[:test_len].reshape((-1, n_steps, n_input))test_label = bels[:test_len]print("Testing Accuracy:", sess.run(accuracy, feed_dict={x: test_data, y: test_label}))。
神经网络导论第三讲课文档
Hopfield模型数学描述
输入 该模型中神经元实际上是一线性阈
值单元。图中x1，x2，…，xn为该自适应
线性元在t时刻的外部输入，用向量表示 为:
X＝（x1，x2，…，xn）T
这个向量称为自适应线性元的输入 信号向量或输入模式向量。
第6页，共63页。
Hopfield模型数学描述
0 w12 w13 w14 w15
2 2 2 0
第13页，共63页。
Hopfield模型应用之模式补全
问题描述
10×10的点阵表示的图案存储在Hopfield 网络中。现将受损坏的图案输入，让受 损坏的图案恢复原状。去噪过程。
模拟
第14页，共63页。
Hopfield模型的容量问题
作为相联存储器的Hopfield网络有两个 局限，第一是存储在Hopfield神经网络 模型中的标准样本模式不能太多，可以 证明，当m≤0.15n时，一般都能达到比 较好的匹配。 第二是如果两类标准样本 模式向量中相同的元素很多，那么其中 任何一个标准样本模式开始迭代，但最 后可能会收敛于另一个标准样本模式。
该式表明当每行只有一个皇后时，该式 可以取得最小值0，否则该式的值将大于 0。
第24页，共63页。
Hopfield模型应用实例8皇后问题
能量函数的定义 考察下式：
88
H2 [( aij)1]2
该式表明i1当每j1列只有一个皇后时，该式 可以取得最小值0，否则该式的值将大于 0。
第25页，共63页。
H (H 1 H 2 )H 3H 4
权值定义
E1 2i,
wij,klaijakl
j,k,l
第29页，共63页。
Hopfield模型应用实例8皇后问题
【国家自然科学基金】_双向联想记忆_基金支持热词逐年推荐_【万方软件创新助手】_20140801
2011年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2011年 科研热词 推荐指数 双向联想记忆神经网络 4 时滞 2 脉冲 1 稳定性 1 概周期解 1 时滞神经网络电路实验 1 存在性 1 周期解 1 双向联想记忆神经网络:m-矩阵 1 分布时滞 1 全局渐近稳定性 1 全局指数稳定性 1 simulink数值仿真 1 mawhin连续定理 1
2009年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
科研热词 双向联想记忆 鲁棒稳定 鲁棒性 解析解 线形矩阵不等式 稳定性 神经网络 模糊双向联想记忆网络 概念格 有界性 时间延迟 时滞 无穷时滞 形式背景 形式概念分析 平衡点 学习算法 周期解 同步 变系数 双向联想记忆神经网络 双向联想记忆(bam)神经网络 全局渐近稳定性 三角模 lyapunov泛函:banach空间 lyapunov泛函 (lmis)
2008年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
科研热词 推荐指数 双向联想记忆神经网络 3 鲁棒稳定 2 线性矩阵不等式 2 脉冲 1 离散时滞 1 时滞双向联想记忆神经网络 1 时滞 1 时变时滞 1 指数稳定 1 指数收敛 1 周期振荡解 1 全局指数稳定 1 不确定性 1 markov跳变 1 lyapunov泛函 1 lyapunov-krasovskii函数序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
2014年 科研热词 推荐指数 阈值 1 脉冲神经网络 1 联想记忆 1 结构稳定性 1 粒度函数 1 神经网络 1 比例时滞 1 时标 1 平衡解 1 吸引子 1 同态映射 1 全局指数稳定性 1 ∨-t模糊双向联想记忆网络 1 lyapunov稳定性 1 brouwer不动点定理 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《神经网络导论》实验二——双向联想记忆专业：信息与通信工程班级： 5030班学号： 3115091011姓名：王静一、实验目的熟悉Kosko型双向联想记忆网络的原理与结构，通过仿真实验掌握具体的实现方法，了解该网络的功能及性能，加深对该类网络的稳定状态和能量函数等概念的理解。
二、实验原理我们知道，联想记忆功能分为自联想和异联想，异联想也称为双向联想记忆，简写为BAM。
BAM存储器可存储两组矢量，若有如下N维矢量与P维矢量B：A=[a0,a1,…,a N−1]T∈{−1,1}NB=[b0,b1,…,b P−1]T∈{−1,1}P构成M对矢量(A s,B s)，s=0,1,…,M-1，将它们存入BAM存储器即可进行由A到B 或由B到A的双向联想，即给定A（或B）可经联想得到对应的标准样本B（或A），当有噪声或缺损时，联想功能可使样本对复原。
其实，人脑就具有根据相关线索回忆和恢复信息的能力。
例如，片断曲调往往可以唤起人们对整个乐曲的回忆；在人群中某人的背影就足以使我们想起一位老朋友。
人工神经网络力图实现这种功能。
Kosko的BAM网络就是其中的一种。
如图1所示，与矢量A相应的一层有N个节点，另一层对应矢量B，有P个节点，两层间双向连接。
假定B到A的传输为正向，正向的权矩阵为W，反之，A 到B为反向传输，权矩阵为W T。
如果输入矢量由上层加入，且相应于网络中B的稳定状态，则经W之作用产生A稳定状态。
同理，如果输入矢量在下层，且相应于网络中A的稳定状态，经W T之作用产生B稳定状态，当输入任意矢量时，网络要经若干次迭代计算演变至稳定状态，过程可示意为：WB (t )→A (t +1) W T A (t +1)→B (t +2) WB (t +2)→A (t +3)…直至A 、B 为稳态，演变过程结束。
网络学习遵从Hebb 规则，若给定M 个双极性矢量对：(A 0,B 0),(A 1,B 1),…,(A M−1,B M−1)则正、反向权矩阵为：W =∑A s B s TM−1s=0W T =∑B s A s T M−1s=0如果BAM 网络神经元函数阈值为0，则称为齐次BAM 网络，其能量函数为： E (A,B )=−12A T WB −12B T W TA =−A T WB若神经元非线性函数为f ，则描述齐次BAM 动态特性的差分方程为： 正向联想(B ⇒A)a i (t +1)=f[∑w ijb j (t)P j=1] (1)反向联想(A ⇒B)b J (t +2)=f[∑w ij a i (t +1)N i=1] (2)三、 实验内容3.1 连接权矩阵和能量值1.连接权矩阵对于给定的4对学习样本根据Hebb 规则计算网络的连接权矩阵，这里只计算正向传输（即从B 到A ）的权重连接矩阵，反向权矩阵为正向权矩阵的转置。
下面为四对学习样本A1=[1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1]'； A2=[1,1,-1,-1,1,1,-1,-1,1,1,-1,-1,1,1,-1]'； A3=[1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1]'； A4=[1,1,1,1,-1,-1,-1,-1,1,1,1,1,-1,-1,-1]'； B1=[1,1,1,1,-1,-1,-1,-1,1,1]'； B2=[1,1,1,-1,-1,-1,1,1,1,-1]'； B3=[1,1,-1,-1,1,1,-1,-1,1,1]'； B4=[1,-1,1,-1,1,-1,1,-1,1,-1]'；已知连接权矩阵的计算公式W =∑A s B s TM−1s=0，即W 为15*10的矩阵，则带入四对样本可得连接权矩阵W 为：2.能量值由实验原理可知，对于输入的一对样本A 、B ，其能量值计算公式为：E (A,B )=−12A T WB −12B T W T A =−A T WB将四对样本分别带入得能量值分别为：表二：能量值验证网络的联想能力即任选标准样本A i 输入网络进行迭代运算直至网络稳定，观察上下两层的状态是否为(A i ,B i )，同样，任选B i 输入，观察稳定后的状态。
过程可按如下所示框图描述：输入为B 输入为A按公式(1)正向联想得A 按公式(2)反向联想得B按公式(2)反向联想得B 按公式(1)正向联想得A两次联想的到的A 是否相等两次联想的到的B 是否相等稳定输出A 稳定输出B是否否是根据输入矢量的长度确定输入的是哪个矢量，进而确定进入哪个循环，判断结束的条件为网络稳定，即两次得到的所求矢量相等。
例如，当输入为矢量B 时，前一次通过正向联想和反向联想得到A i ，后一次再经过正向联想和反向联想得到A i+1，若两次得到的相等，则认为网络稳定则输出稳定矢量A ，否则，继续迭代。
双向联想网络实验框图1.实验过程随机选取某一保准矢量的若干位取反形成畸变矢量，将其输入网络迭代至稳态，观察对应的输出是否依然正确。
实验中取了如下五组数据：图中所示为输出的能量值标准输入矢量A1=[1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1]'标准输出矢量B1=[1,1,1,1,-1,-1,-1,-1,1,1]'一位取反的畸变矢量A1’=[1,1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1]'实际输出B1’=[1,1,1,1,-1,-1,-1,-1,1,1]'= B1图一：输入A1一位取反的能量变化曲线可以看出，当输入A1并且有一位取反时，网络通过联想仍能得到正确的输出B1.因此网络此时的能量与输入标准矢量（A1，B1）时能量相等。
标准输入矢量A1=[1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1]'标准输出矢量B1=[1,1,1,1,-1,-1,-1,-1,1,1]'两位取反的畸变矢量A1’=[1,1,1,-1,1,-1,-1,-1,1,-1,1,-1,1,-1,1]'实际输出B1’=[1,1,1,1,-1,-1,-1,-1,1,1]'= B1图二：输入A1两位取反的能量变化曲线因此网络此时的能量与输入标准矢量（A1，B1）时能量相等。
标准输入矢量B2=[1,1,1,-1,-1,-1,1,1,1,-1]'标准输出矢量A2=[1,1,-1,-1,1,1,-1,-1,1,1,-1,-1,1,1,-1]'一位取反的畸变矢量B2’=[1,1,1,1,-1,-1,1,1,1,-1]'实际输出A2’=[1,1,-1,-1,1,1,-1,-1,1,1,-1,-1,1,1,-1]'= A2图三：输入B2一位取反的能量变化曲线可以看出，当输入B2并且有一位取反时，网络通过联想仍能得到正确的输出A2.因此网络此时的能量与输入标准矢量（B2，A2）时能量相等。
标准输入矢量B3=[1,1,-1,-1,1,1,-1,-1,1,1]'标准输出矢量A3=[1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1]'一位取反的畸变矢量B3’=[-1,1,-1,-1,1,-1,-1,-1,1,1]'实际输出A3’=[1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1]'= A3图四：输入B3两位取反的能量变化曲线因此网络此时的能量与输入标准矢量（B3，A3）时能量相等。
实验五：表七：输入B3且有两位取反标准输入矢量B3=[1,1,-1,-1,1,1,-1,-1,1,1]'标准输出矢量A3=[1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1]'一位取反的畸变矢量B3’=[-1,1,-1,-1,1,1,-1,-1,-1,1]'实际输出A3’=[-1,-1,1,-1,-1,-1,1,1,-1,-1,-1,-1,1,1,1]'图五：输入B3两位位取反的能量变化曲线可以看出，当输入B3并且有两位取反时，网络联想此时出现错误，故此时网络的能量与输入标准矢量（B3，A3）时能量不同。
2.实验分析从实验中可以看出，当输入矢量有一位取反时，由于网络的联想功能，基本可以输出正确的结果，但是当输入有多位取反时，则会出现错误，即伪稳定状态。
当然，这只是几个简单的实验，并不能说明当输入有一位取反时就完全不会出现错误输出，也不能从此说明网络的联想能力。
下面会从统计的角度对网络的联想能力做出评估。
3.4 噪声大小对联想能力的影响本实验针对不同的输入以及不同的取反位数计算网络联想的正确率，用其表示网络的联想能力。
每次实验采取1000次输入，每次输入通过迭代得到其对应的输出，再将输出与对应的标准输出矢量比较，判断此次输出是否正确。
进而得到本次实验的正确率。
1.输入为A2.输入为B3.实验分析从实验结果中可以看出，在一行中（即输入相同时），噪声越大，正确率越低。
同时可以看出，由于矢量A的维数较多，所以当矢量B与矢量A取相同的取反位数时，可认为B矢量上的信噪比衰落更大，所以正确率下降。
而且还可以看出一个大致上的规律，当输入矢量内部变化较快（例A1，B4）时，随着噪声增加，其正确率比那些内部变化较慢（例A4）的矢量大。
3.5 伪稳定状态伪稳定状态，即当带噪声的样本输入到网络后，网络仍然迭代至一“稳定状该伪稳定状态是B2加噪声输入，输入有三位取反，输出有五位错误。
四、实验思考题1、在实验步骤4中观察网络能量E是如何变化的？根据网络机理说明原因。
通过实验可以看出，在实验过程中网络能量趋于减小，最终稳定。
这是由于双向联想网络仍是Hopfield网络，因此它仍具有Hopfield神经网络的特点，即网络能量向能量减小的方向走，直至达到极小值的稳定状态。
2、如果我们想要“擦除”存储矢量对中的某对(A i,B i)，应如何调整网络？（考虑运算量）双向联想记忆网络中，要想去除某对输入的影响，只要在连接权矩阵中减去这对输入的影响即可。
即W∗=W−A i B i T3、通过总结第5步和第6步实验结果，能得出什么结论？简要解释其中的原因。
从实验结果可以看出：1）噪声越大，正确率越低2）输入矢量维数越大，网络对噪声的承受能力越好，正确率越高3）输入矢量中元素符号变化较快，在一定程度上对网络正确率有所提高五、实验总结在这次实验中，我在进行实验时，主要的难点在于判断迭代停止的条件，刚开始是想每对输入的能量值已经求得，那么稳定的输出结果就应该是对应的输入与输出应该计算得出这一对矢量对应的能量值。