动态神经网络的模型
神经网络中的动态神经元模型
神经网络中的动态神经元模型神经网络是一种模拟人脑中神经系统运作的系统，可以通过学习和适应来识别、分类和预测信息。
在神经网络的基本组成部分——神经元中，动态神经元模型是一种能够根据输入信号的强弱和频率进行调整的神经元模型。
在这篇文章中，我们将讨论神经网络中的动态神经元模型，包括它的特点、应用和未来发展方向。
一、什么是动态神经元模型神经元是组成神经网络的基本单元，可以看作是一种信息处理单元，它接收诸如视觉、触觉等各种信息，进行处理并将信息传递给其他神经元。
传统的神经元模型是基于阈值激活的，也就是说，神经元的输出只受到输入信号的幅度的影响，而与信号的频率无关。
动态神经元模型则考虑到了输入信号的频率对神经元输出的影响。
它的特点是根据输入信号的强弱和频率进行调整，并且可以产生周期性的输出。
这种具有动态调整机制的神经元模型可以更好地模拟人脑神经元的特性，能够更准确地进行信息处理和预测。
二、动态神经元模型的应用动态神经元模型在模拟人脑神经系统、图像处理、语音识别等领域中得到广泛应用。
以小波神经网络为例，它是一种利用小波变换进行信号处理的神经网络，其中的动态神经元模型可以对不同频率的信号进行不同的处理，精度高、鲁棒性强，适用于信号处理复杂的情况。
动态神经元模型在模拟人脑神经系统方面的应用也十分广泛。
例如，在人脑捕食行为的研究中，科学家使用动态神经元模型对神经元活动进行建模，分析捕食行为中信息的处理和神经元之间的相互作用。
这种研究有利于更好地了解人脑神经系统的特性和机制。
三、未来发展方向动态神经元模型作为神经网络的基本组成部分之一，已经得到了广泛的研究和应用。
未来，人们将继续深入研究动态神经元模型的特性和机制，以提高神经网络的性能和精度。
另外，随着人工智能的发展，动态神经元模型的研究将更加重要。
例如，在自动驾驶方面，动态神经元模型可以对驾驶员的转向、加减速等行为进行识别和模拟，从而提高自动驾驶的安全性和精度。
总之，动态神经元模型是神经网络中的一种重要组成部分，它的特点和应用将越来越受到研究者和应用者的关注。
一种新的基于动态SOFM的神经网络聚类模型
Ｖｏ ． ５ Ｎｏ ４ １２ ．
Ｄｅ ．２ ０７ ｃ ０
２０ 年 １ ０７ ２月
一
种 新 的基 于 动 态 Ｓ Ｍ 的 神经 网络 聚类 模 型 ＯＦ
陆宇曼 ， 会林 ， 郭 李陶 深 ， 一丹 苏
（ 广西大学 计算机与 电子信息学院 ， 广西 南宁 ５０ ０ ） ３ ０ ４
摘 要： 提出一种动态增删自组织映射（Ｇ Ｓ Ｍ） Ｄ Ｄ Ｏ 神经网络， 给出该模型的聚类算法描述及实现过程。定义
１ ＤＧＤＳ ＯＭ 模 型
本文 提 出的 ＤＧ ＯＭ 模型 结构如 图 １所示 ， ＤＳ 它包 含 了输入 层 、 竞争 层 和输 出层 以及输 出层与竞争 层 之间的 反馈模 块 。该模 型 的输入 层与 传统 的 Ｓ Ｍ 模 型相 同 ； ＯＦ 把输 出层 独立 出来 是 因为输 出层需记 录
维普资讯
第２ ５卷
第４ 期
广西 师范 大学 学报 ： 自然 科学 版
Ｊｕ ｎ ｌ ｆ ｕ ｎ ｘ ｒ ｌ ｉ ｒｉ ： ｔｒｌ ｃ ｎｅＥ ｉｏ ｏ ｒ ａ ｏ ａ ｇ ｉ ｍａ Ｕｎｖ ｓ ｙ Ｎａｕａ Ｓ ｉ ｃ ｄｔ ｎ Ｇ Ｎｏ ｅ ｔ ｅ ｉ
图 １ Ｄ Ｄ ＯＭ 模 型结 构 Ｇ Ｓ
Ｆｉ ＤＧ ＳＯＭ ｍ ｏ ｅ ｔｕｃ ｕｒ ｇ．１ ｄ ｌｓ ｒ ｔ ｅ
节点 信任 度是指通 过 评价 节点所 产生 的聚类 效果优 劣 ， 定 节点存 在 的合理程 度 的评价值 。 决 这是删 除 节点 的依据 。节 点信 任度 由熵值 和模 式个 数决 定 ： 熵值 反映 了聚类 效果 的好 坏 ， 而模 式个 数评价 的是 当前
中图 分 类 号 ： Ｐ ９ Ｔ ３１ 文献标识码 ： Ａ 文 章 编 号 ：０ １６ ０ （０ ７０ —２ ７０ １ ０—６ ０ ２ ０ ） ４０ ５ —４
神经科学中的脑网络动态：探索大脑神经网络的动态特性与认知功能的关系
神经科学中的脑网络动态：探索大脑神经网络的动态特性与认知功能的关系摘要大脑是一个极其复杂的系统，由数十亿个神经元通过复杂的网络连接而成。
理解大脑神经网络的动态特性及其与认知功能的关系，是神经科学领域的核心问题之一。
本文将深入探讨脑网络动态的研究进展，包括研究方法、主要发现以及对认知功能的启示。
我们将讨论静态和动态脑网络模型的差异，强调动态模型在捕捉大脑功能变化方面的优势。
此外，本文还将探讨脑网络动态在不同认知任务中的作用，以及其在神经精神疾病研究中的应用前景。
1. 引言大脑神经网络的复杂性一直是神经科学研究的焦点。
传统上，我们通过静态的脑网络模型来描述大脑的连接模式，但这种模型无法捕捉大脑功能的动态变化。
近年来，随着神经影像技术和计算方法的进步，我们开始认识到脑网络的动态特性，即神经元之间的连接强度和网络拓扑结构在时间和任务上的变化。
这种动态特性被认为与认知功能的灵活性密切相关。
2. 研究方法2.1 神经影像技术功能磁共振成像（fMRI）、脑电图（EEG）和脑磁图（MEG）等神经影像技术为研究脑网络动态提供了关键工具。
这些技术可以实时监测大脑活动，揭示神经元之间的动态相互作用。
2.2 计算方法图论、时间序列分析和机器学习等计算方法被广泛应用于分析神经影像数据，构建动态脑网络模型。
这些模型可以量化脑网络的拓扑属性、连接强度和时间变化模式。
3. 主要发现3.1 静态与动态脑网络模型静态脑网络模型描述了大脑的平均连接模式，但忽略了时间上的变化。
动态脑网络模型则可以捕捉到神经元之间连接强度的波动和网络拓扑结构的重组，更准确地反映大脑功能的动态特性。
3.2 脑网络动态与认知功能研究表明，脑网络动态与多种认知功能密切相关，包括注意力、记忆、决策和执行控制等。
例如，在执行任务时，大脑的不同区域会形成动态的功能网络，以支持特定的认知过程。
3.3 脑网络动态与神经精神疾病脑网络动态异常可能与多种神经精神疾病有关，如精神分裂症、抑郁症和自闭症等。
高速公路动态交通流的神经网络模型
华 南 理 工 大 学 学 报 （自 然 科 学 版 ）
第３ Ｏ卷 第 ８期
２０ ０ ２年 ８月
Ｊ ｒ ｏｕ ｎａｌｏｆ Ｓ ｏｕｔ ｈｉ ｎｉ ｅｒ ｉ ｙ ｏｆＴ ｅ ｈｎｏｌ ｈ Ｃ ｎａ Ｕ ｖ ｓｔ ｃ ｏｇｙ
个 入 口和 一 个 出 口．
Ｍａ ｋ ｓＰ ｐ ｇ ｏ ｇｏ ｒ ｏ ａ ａ ｅ ｒ ｉｕ提 出 一 个 比较 有 代 表 性 的高 速 公 路 交 通 流 宏 观 流 体 模 型 ［ 该 模 型 常 用 来 引，
描述 稳 态 交 通 流 ． 此 基 础 上 ， 考 文 献 ［ ］ 给 出 在 参 ６ 中 了一个 类 似 于 Ｍａ ｋ ｓＰ ｐ ｇ ｏ ｇｏ 的 交 通 流 模 ｒ ｏ ａ ａ ｅ ｒ ｉｕ 型 ， 可 用 来 描 述 宏 观 动 态 交 通 流 ， 模 型 描 述 如 它 该
下 ：
１１
进行 了 相 关 研 究 ， 考 文 献 ［ ］ ［ ］ 别 把 神 经 网 参 ３ 和 ４分
络用 在 城 市 内交 通 量 预 测 和 交 通 控 制 上 ， 用 神 经 但 网 络来 描 述 宏 观 动 态 交 通 流 模 型 方 面 ， 很 少 有 文 还 献提 及 ． 文 在 对 Ｍａ ｋ ｓＰ ｐ ｇ ｏ ｇｏ 本 ｒ ｏ ａ ａ ｅ ｒ ｉｕ的 交 通 流 模 型 进行 分 析 的 基 础 上 ， 出 了 高 速 公 路 宏 观 动 态 提 交 通 流 的神 经 网络 模 型 ， 真 结 果 表 明 ， 神 经 网 络 仿 该 模 型 能 准 确 地 描 述 高 速 公 路 交通 流 的 真 实 行 为 ．
１１
Ｐ（ ｉｋ＋１ ＝Ｐ （ ＋ ［ ｉ ｌ ｋ） ｉｋ） ） ｆ ｋ） ｑ — （ 一ｑ （ ＋
人工神经元模型
nh
二、前向神经网络模型
假设每一层的神经元激励函数相同，则对于L+1层 前向传播网络，其网络输出的数学表示关系方程式 一律采用：
Γ l为各层神经元的激励函数， Wl 为l-1层到l层的连接权矩阵， l=1,2,...,L θ l 为l层的阀值矢量 其中:
二、前向神经网络模型
有导师学习的基本思想
y
1k
x
1k
x 2k
y2k
1) oj ( w ( jl x l j )
ni
l 1
j=1,2,...,nh
xn k
i
yn k
o
w(1)
ij
w (2)
ij
Oj为隐含层的激励
i=1,2,...,no
示意图
图3—1—14(a) 含一个隐含层前向传播网络结构示意图 (2) y
1k j 1
y i ( w ij oj i )
i 1
第r＋1个隐含层：
Net
( r 1) pj r) wrjl1o(pl jr 1 l 1 nr
r 0,1,2...L 1
输出层
L ( L 1) L y pj L ( Net pj ) L ( wL o ji pi j ) i 1 n L 1
二、前向神经网络模型
BP学习算法的推导：
对于N个样本集，性能指标为
E E p ( t pi y pi )
p 1 p 1 i 1
N
N
no
φ（·）是一个正定的、可微的凸函数 ，常取
1 no E p ( t pj y pj ) 2 2 i 1
时间序列动态学习率神经网络模型及其初步试验
（ ｕ ｈ ｔ ｒｌｇ ａ Ｂ ｒａ ， ｕ ｈ ４ ０ ０ Ｃ ｉａ Ｋ ｃ ｅＭｅｅ ｏｏｉ ｌ ｕｅｕ Ｋ ｃ ｅ８ ２ ０ ， ｈｎ ） ｏ ｃ
Ａ ｓ ａ ｔＡ ｐｉ ｔ ｎ ｏ ｅ ｒｌｎ ｔｏｋ ｉ ｗ ａｈ ｒｆｒ ｆｒｃｓ ｎ ａ ｏｔｎ ａ ｏ ｔ Ｐ （ａ ｋ ｂ ｔ ｃ ： ｐ ｌ ａｉ ｆ ｎｕａ ｅｗ ｒ ｎ ｅ ｔｅ ｏ ｏｅ ａｔ ｇ ｗ ｓ ｆ ｄ ｐ ｒ ｃ ｏ ｉ ｅ Ｂ Ｂ ｃ
ｔ ｅ ｎ ｕ ａ ｅｗｏ ｋ ｈ ｅ ｒｌ ｎ ｔ ｒ ｍｏ ｅ ｓ ｄｌｉ ｍｏ ｉ ｅ ，ａ ｄ ｈ ｎ ｈ ｉ ｅ ｉ ｓ ａ ｌ ｉ ｔａｎ ｄ ｂ ｓｎ ｄ ｆ ｄ ｎ ｔ ｅ ｔ ｅ ｔ ｉ ｍｅ ｓ ｒ ｓ ｍｐ ｅ ｓ ｒ ｉ ｅ ｙ ｕ ｉ ｇ ａ ｅ ｍｏ ｉ ｅ ｄ ｌ ｆ ｒ ａ ｏ ｅ ｓｅ ｓ ｔ ｉ ｐ ｐ ｒ ｓ ｔ ｕ ｙ ａ ｃ ｎ ｕ ａ ｅｗｏ ｋ ｗｉ ｔ ｅ ａ ｄ ｆ ｄ ｍｏ ｅ，ａ ｔ ｂ ｖ ｔｐ ｈ ｓ ａ ｅ ｅ ｐ ａ ｄ ｎ ｍｉ ｅ ｒ ｌ ｎ ｔ ｒ ｔ ｉ ｉ ｅ ｈ ｍｅ ｓ ｒ ｌ ｉ
Ａｉ ｍｐ ｒ ｔ ｒ ｒ ｄ ｃ ｔｏ ｉ ｇ ａ Ｄｙ ａ ｃ Ｌ ａ ｎ ｎ ｔ ｒＴｅ ｅ ａ ｕ ｅ Ｐ ｅ ｉａ ｉｎ Ｕｓｎ ｎ ｍｉ ｅ ｒ ｉ ｇ Ｒａｅ Ｎｅ ｒ ｌＮｅｗｏ ｋ Ｍｏ ｅ ｓ ｄ ｏ ｍｅ Ｓ ｒｅ ｕ ａ ｔ ｒ ｄ ｌＢａ ｅ ｎ Ｔｉ ｅ ｉｓ
（ 车县 气 象局 ， 疆 库 新 库车 ８２０ ） ４ ０ ０
摘
要 ： 经 网络在 气 象上的 应 用往 往是 采 用 固定 学 习率 的 Ｂ 神 Ｐ算 法 建模 ， 习过 程 易 出 学
神经网络三种模型综述(反馈,模糊和小脑)
j=1,2,…,n
反馈神经网络
Hopfield网络
网络的稳定性
DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若 能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定 的。如果网络是稳定的，它可以从任一初态收敛到一个稳态： 如图a)所示 若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网 络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为 有限环网络，如图b)所示
式中净输入为
netj (wij xi ) T j
i 1
n
j=1,2,…,n
对于DHNN网，一般有wii=0 ，wij=wji
反馈网络稳定时每个神经元的状态都不再改变，此时 的稳定状态就是网络的输出,表示为： lim X(t)
t
反馈神经网络
Hopfield网络
网络的工作方式
网络的异步工作方式
反馈神经网络
随机神经网络
主要区别
–
在学习阶段，随机网络不像Hopfield那样基于某 种确定性算法调整权值，而是按某种概率分布进 行修改。 在运行阶段，随机网络不是按某种确定性的网络 方程进行状态演变，而是按某种概率分布决定其 状态的转移。
–
反馈神经网络
随机神经网络
模拟退火原理
模拟退火算法是随机网络中解决能量局部极小问题的一个有效方法，其基本 思想是模拟金属退火过程。 金属退火过程大致是，先将物体加热至高温，使其原子处于高速运动状态， 此时物体具有较高的内能；然后，缓慢降温，随着温度的下降，原子运动速 度减慢，内能下降；最后，整个物体达到内能最低的状态。模拟退火过程相 当于沿水平方向晃动托盘，温度高则意味着晃动的幅度大，小球肯定会从任 何低谷中跳出，而落入另一个低谷。
神经元网络建模的主要方法
神经元网络建模的主要方法神经元是神经系统中最基本的处理单元，其通过电化学信号传递信息。
神经元网络模型是对生物神经网络进行的抽象，它的建立有助于对神经网络的功能进行理解和分析。
神经元网络模型可用于计算机视觉、语音识别、预测和控制等各种应用中。
到目前为止，人们发明了许多神经元网络建模方法，以下将介绍其主要方法。
1. 阈值感知器模型阈值感知器是一种最简单的神经元网络，由美国心理学家罗森布拉特(Rosenblatt)于1957年提出的，其结构和工作原理模拟了大脑中神经元的特征。
阈值感知器是一种单层神经元网络结构，其中输入信号通过经过加权的阈值函数，产生输出信号。
它的特点是处理速度很快，适用于处理一些比较简单的模式识别问题。
然而，阈值感知器存在一个限制：只能解决线性可分问题。
2. 反向传播模型反向传播模型是一种多层前馈神经元网络，由美国学者鲍莫(Baum)于1960年代提出，并由美国学者效苏本(Effector)和皮特布鲁克(Peter Brook)于1970年代进行改进。
它包含输入层、多个隐层和输出层，各层神经元之间互相连接。
反向传播模型通过不断迭代来更新权重值，使得模型能够提高预测精度。
其优点是适用于处理非线性可分问题和大规模神经网络问题，但其训练速度较慢，容易陷入局部极值。
3. 自适应神经元模型自适应神经元模型是一种基于反馈机制的神经元网络模型，它可以自适应地改变神经元的阈值和权值，以达到更准确的预测。
自适应神经元模型是一种动态学习方法，其不需要大量的训练数据，能够快速适应新的数据。
但是，由于其节点之间的连接具有长时滞，训练和使用都需要耗费大量的计算资源。
4. 循环神经元模型循环神经元模型可以在时间序列数据上建模，具有记忆和预测的功能。
它是一种基于时间和空间的神经网络模型，其中节点之间的连接具有时间依赖性。
循环神经元模型在时间序列数据处理、自然语言处理等领域有广泛应用，但它的训练难度较大，容易出现梯度消失/爆炸问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
动态神经网络的模型李嘉刚（中国海洋大学信息科学与工程学院电子系，青岛264005）摘要：动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。
本文主要介绍动态神经网络的几种常见模型，比较不同模型之间的区别，在此基础上介绍一下动态神经网络的功能及应用。
关键词：动态神经网络，动态神经网络模型神经网络按是否含有延迟或反馈环节可以分为静态神经网络和动态神经网络，含有延迟或反馈环节的神经网络称为动态神经网络。
动态神经网络主要包括Hopfield型神经网络及细胞神经网络模型。
Hopfield型神经网络模型是由N个节点全部互相联结而构成的反馈型动态网络系统。
由于它可以实现联想记忆，并能进行优化问题的求解，因而受到人们的高度重视，并对神经网络理论的研究产生了重大的影响。
细胞神经网络系统与Hopfield神经网络系统结构上有很大的相似之处，不同之处在于Hopfield神经网络系统的神经元为全联结，而细胞神经网络系统不是全联结。
反映在模型的数学表述上就在于关联矩阵的特性不一样。
特性的不一样就决定了它们的应用范围不一样。
细胞神经网络系统主要在图象处理和汉字识别等方面有良好的应用前景，因此也受到了人们的广泛关注[1]。
一、动态神经网络模型根据网络结构特点,将它们分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。
1.1全反馈网络全反馈网络的突出代表就是Hopfield 网络,是由Hopfield在1982年提出的,如图1所示,是一种单层对称全反馈的结构。
Hopfield根据系统动力学和统计力学的原理,将“能量函数”的概念引入到对称Hopfield网络的研究中,给出了网络的稳定性判据。
可以证明,采用Hebb规则进行训练的Hopfield网络系统总是朝着能量减小的方向变化,最终进入稳定状态,即收敛于某个平衡点。
由于Hopfield网络的连接是全连接,因此当节点数目比较多时,网络的结构过于复杂,而网络结构中没有隐含层,使得网络的非线性性能较差,尤其是对于复杂的非线性动态过程系统,因此在一定程度上限制了它的应用[2]。
图1Hopfield网络结构图1.2部分反馈的神经网络全反馈的神经网络结构复杂,在实际应用的时候往往需要简化,同时保留动态的性能,比较典型的有Elman网络、Jordan网络、内回归网络、外回归网络等。
这样的网络结构常常是看作在多层前向网络的基础上加入各种反馈。
1.2.1Elman神经网络Elman神经网络是在三层前向网络的基础上将隐含节点输出反馈到输入端而得到的,如图2所示,包含虚线。
隐含节点的输出可以看作系统的状态(虚拟状态),因此这种反馈网络又叫做状态反馈网络。
Elman网络结构可由非线性离散时间系统的状态空间描述得出:Y(k+1)=f2(X(k+1))=f2(f1(X(k),U(k)))=f(X(k),U(k))由上式的,系统的k+1时刻的输出可以表示为第k时刻的系统状态和外界输入的函数。
值得注意的是,式中X为真实系统状态,而Elman网络中隐含节点输出没有具体的物理意义,但都起到记录过去的系统信息的作用。
隐含节点的数目或虚拟状态的数目可以凭借经验来确定,但这样的方式往往不可靠,而且费时;比较好的方法是采用剪枝法来确定虚拟状态的数目。
理论上,Elman网络可以对n阶系统建模,如果采用前向网络,则需要2n个输入节点,对于Elman网络输入节点只需要1个或者n+1个(这时反馈节点被看作是输入节点),因此Elman网络结构要简单得多。
Elman网络适用于一阶线性系统建模,对高阶系统有困难,大的学习速率导致振荡或者不稳定,学习速率小时又导致训练过程耗时大,又不能增加隐含层节点的数目太多。
基于此情况,提出了一种改进的Elman网络,即在反馈节点上加自反馈,系数为α,如图2中虚线所示。
α值在0-1之间,越接近1,则反馈中包含的过去的输出越多,因为系统的阶数与当前输出对过去时刻输入的依赖程度有关,自反馈的引入提高了Elman网络对高阶系统的建模能力。
Elman网络的训练可以采用传统的BP算法,也可以采用遗传算法(D.T.Pham,1999)[3]。
图2Elman网络结构图图3Jordan网络结构图1.2.2Jordan神经网络Jordan网络结构如图3所示,不包含虚线部分。
网络的输出反馈到输入层。
由非线性系统状态空间方程可以推出:X(k+1)=f-12(Y(k+1))Y(k+1)=f2(X(k+1))=f2(f1(X(k),U(k))=f2(f1(f-12(Y(k)),U(k))=f′(Y(k),U(k))从上式可知,系统k+1时刻的输出可以表示为k时刻的输出Y和输入U的函数的形式。
反映在网络结构上就是将网络的输出延迟一个时间步长后反馈到系统的输入端,从而得到Jordan网络结构。
Jordan网络也不能实现一般n阶系统的建模,因此,类似于修正的Elman网络,也将Jordan网络在状态层加自反馈进行修正,使得网络可以记住过去更多时刻状态的信息,网络的非线性性能大大提高。
D.T.Pham等结合这两种网络的特点,提出了一种混合网络结构,即网络中同时包含从输出层和隐含层来的反馈,此种网络理论上能对任意阶数线性动态系统和任意阶数的非线性系统建模。
1.2.3多层反馈RNN网络根据Elman网络及其局限性,文献中提出了适用于化工复杂系统建模的神经网络结构,如图4所示。
即在原Elman神经网络的基础上增加多层反馈子层,这样n个反馈子层可以保存n个时刻的隐含层节点的输出,各个反馈子层可进行短时记忆,与Elman网络比较,保存了更多的一些空间状态信息,更加接近实际模型,表现出更强的动态特性。
与改进的Elman网络相比,多层反馈子层与隐含层之间的连接权重可以在训练过程中不断的修正,更能真实地反映出过去时刻系统状态对当前时刻输出的贡献程度,而修正的Elman网络中的自反馈系数是不变的[4]。
图4多层反馈神经网络结构图5对角回归神经网络模型1.2.4对角回归神经网络对角回归神经网络根据对角回归元所在位置分为内回归对角神经网络(有的文献中也叫IRNN,即internal recurrent neural network)和外回归对角网络(ERNN,external recurrent neural network)。
前者是一种仅在网络隐含层有内部时延自反馈的神经网络结构,可以看作Elman网络的一种简化,结构简单,但也能实现动态映射。
隐含层中每一个均为激励函数为S型函数的回归元,如图5所示,其中,有阴影的神经元代表为对角回归元。
正因为对角回归元的存在使得网络具有很强的描述动态系统的能力。
方框中z-1表示延迟一个时间步长。
可以证明当网络采用梯度方法进行训练的时候,若学习速率满足一定的值,那么能保证在二次型指标函数下训练算法收敛。
外回归对角神经网络与对角回归神经网络结构类似,只是对角回归元在输出层。
根据两类网络的特点,提出的一种混合的对角回归神经网络(IERNN),具有更好的性能。
这一点类似于D.T.Pham提到的混合神经网络,而实际上这里的IERNN可以看作混合神经网络的简化形式。
1.3无反馈的神经网络结构1.3.1时延神经网络时延神经网络,即TDNN(time-delayed neural network)。
这种网络就是将实际系统的输入和输出的过去值当作网络的输入,下一个输出作为教师信号,结构如图6所示。
网络结构本身是静态的,但是通过时延输入,就把一个时域问题转变为空间领域的建模问题。
我们将离散时间系统状态空间表示通过变换而对此网络结构给出合理化的解释。
Y(k+1)=f2(X(k+1))=f2(f1(X(k),U(k)))=f′(X(k),U(k))=f″(X(k-1),U(k),U(k-1))=f(n-1)(X(k-n),U(k),…,U(k-n))如式上式所示,k+1时刻的输出可以表示为第k-n时刻系统状态和前n个时刻系统输入的函数,而当n足够大时,可以将X(k-n)项忽略,这样,k+1时刻的输出就表示为前n个时刻的输入变量的函数,即:Y(k+1)=f(U(k),U(k-1),…,U(k-n))(6)这种网络仍然是多层前向网络,优点就是利用现有的输入输出数据,算法成熟,网络模型收敛性好,缺点是输入变量多,容易受外界噪声的影响,对于高阶系统预测精度要差。
1.3.2DBPNN神经网络文献中提出一种DBPNN网络结构,在传统的多层前向网络的基础上加以改进,即利用输入时延,使得网络能够反应系统的动态特性,并通过引入集中节点,而使得网络的结构大为简化。
这样的网络结构已经成功地应用于炼油厂分馏装置质量参数预测建模中,与相应的静态BP网络所建立的模型比较,具有更高的预测精度。
网络结构如图7所示。
图6TDNN结构图图7DBPNN结构图二、动态神经网络的功能动态神经网络(DNN)具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种崭新的非线性模型引入复杂系统的建模中引起了许多学者广泛关注[2]。
动态神经网络现在广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。
2.1故障检测估计方法在故障检测中应用广泛，如发动机的故障检测。
用故障参数估计实现发动机故障检测,由于构建的发动机数学模型的不精确性，影响了检测性能。
静态反推神经网络可以实现系统的动态辨识过程,但反推神经网络的学习算法存在局部极小问题,在线学习收敛速度比较慢,不易满足工程上实时性要求。
动态神经网络直接用李雅诺夫方法推出神经网络的权值修改公式,得到稳定的学习规则,并且学习收敛到全局最优,因此可以考虑用动态神经网络来辨识发动机的动态响应过程,估计发动机传感器测量信号。
基于发动机测量信号与动态神经网络辨识信号得到的残差信号,然后将残差信号的的某一特定范数输入检测逻辑,得到发动机故障检测结果,实现动态神经网络的故障检测策略[3]。
2.2变形预报静态神经网络模型用于在线时间序列的预报时具有局限性,即网络的泛化能力有限,且模型不能不断地适应新增样本的变化。
如果每增加一个样本对神经网络重新训练,需要大量的计算时间。
由此产生了动态神经网络预报模型。
在获得新增样本数据之后,通过比较预报值与实际值之差的绝对值是否大于敏感因子a,决定模型是否需要修正。
使用在线动态修正方法降低了模型修正的计算时间,,实现了增加样本而矩阵阶数不增加,且避免了矩阵求逆运算,提高了计算效率。
该方法在计算时间和预报精度两个方面都具有一定优势,可应用于在线实时变形预报及相关领域[4]。
2.3模式信息处理和模式识别所谓模式，从广义上说，就是事物的某种特性类属，如：图像、文字、声纳信号、动植物种类形态等信息。