动态神经网络综述

动态神经网络综述

摘要

动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。

关键词：动态神经网络，模型，功能，算法，应用

Abstract

Dynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion.

Keywords: DNN, Models , Function , Algorithm , Application

1、绪论

人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。

神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。

本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。

2、DNN网络的基本模型和算法

根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。

反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示:

图2-1 反馈网络模型

反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。

反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：

第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；

第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。

反馈网络根据信号的时间域的性质的分类为

如果激活函数f(·)是一个二值型的阶跃函数,则称此网络为离散型反馈网络,主要用于联想记忆;

如果f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。

2.1、Hopfield神经网络

1982年,美国加州工学院J.Hopfield提出了可用作联想存储器和优化计算的反馈网络,这个网络称为Hopfield神经网络(HNN)模型,也称Hopfield模型.Hopfield网络是全反馈网络的突出代表,如图2-2所示,是一种单层对称全反馈的结构。Hopfield神经网络的结构特点是：每一个神经元的输出信号通过其它神经元后，反馈到自己的输入端。Hopfield网络具有从初始状态朝着能量减小的方向变化,最终收敛到稳定状态的能力,因此Hopfield网络可以实现优化计算，联想记忆等功能[4]。

图2-2 Hopfiled网络结构图

Hopfield 神经网络是一种互连型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分议程描述（离散型）或微分方程（连续型）来描述。系统的稳定性可用所谓的“能量函数”进行分析。在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统的状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点（吸引子）、极限环、混沌、状态发散[5]。

f?是一个二值型的硬函数，则称此网在Hopfield网络中，如果其传输函数()

f?是一个连续单调上升的有界函数，络为离散型Hopfield网络；如果传输函数()

则称此网络为连续型Hopfield网络。

2.1.1、离散Hopfield神经网络

Hopfield最早提出的网络是神经元的输出为0-1二值的NN,所以,也称离散的HNN (简称为DHNN)。

在DHNN网络中,神经元所输出的离散值1和0分别表示神经元处于兴奋和抑制状态。各神经元通过赋有权重的连接来互联。

2.1.1.1、 网络结构

以三个神经元组成的DHNN 来说一下，其结构如下：

1 3 2

图2-2 三个神经元组成的HNN

在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能;

而第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线

性函数f 处理后产生输出信息。

f 是一个简单的阈值函数,如果神经元的输入信息的综合大于阈值θ,那么,

神经元的输出就取值为1;小于阈值θ,则神经元的输出就取值为0。

对于二值神经元,它的计算公式如下

j n 1i i j i,j x y w

u +=∑=

其中x j 为外部输入,并且有

y j =1,当u j ≥θj 时

y j =0,当u j <θj 时

对于DHNN,其网络状态是输出神经元信息的集合。

对于一个输出层是n 个神经元的网络,则其t 时刻的状态为一个n 维向量:

y (t)=[y 1(t),y 2(t),...,y n (t)]τ

因为y i (t)可以取值为1或0,故n 维向量y (t),即网络状态,有2n 种状态.

对于一个由n 个神经元组成的DHNN,则有n ?n 权系数矩阵

w ={w ij |i=1,2,...,n; j=1,2,...,n},同时,有n 维阈值向量θ=[θ1,θ2,...,θn ]τ。

一般而言,w 和θ可以确定一个唯一的DHNN.

当w i,j 在i=j 时等于0,则说明一个神经元的输出并不会反馈到它自己的输

入。这时,DHNN 称为无自反馈网络.

当w i,j 在i=j 时不等于0,则说明—个神经元的输出会反馈到它自己的输入。

这时,DHNN 称为有自反馈的网络.

2.1.1.2、 工作方式

DHNN 有二种不同的工作方式:串行(异步)方式和并行(同步)方式.

1、串行(异步)方式

在时刻t 时,只有某一个神经元j 的状态产生变化,而其它n-1个神经元的状

态不变这时称串行工作方式。并且有：

?????≠=+=??????-+=+∑=i j (t)y 1)(t y i j x (t)y w f 1)(t y j j

j j n 1r r j r,j θ

在不考虑外部输入时,则有 ??????-=+∑=j n 1r r j r,j (t)y w f 1)(t y θ

2、并行(同步)方式

在任一时刻t,所有的神经元的状态都产生了变化,则称并行工作方式。并且

有

n 1,2,...,j x (t)y w f 1)(t y j j n 1i i j i,j =??

????-+=+∑=θ

在不考虑外部输入时,则有 ??

????-=+∑=j n 1i i j i,j (t)y w f 1)(t y θ

2.1.1.3、 学习算法

Hopfield 网络按动力学方式运行，其工作过程为状态的演化过程，即从初始

状态按“能量”减小的方向进行演化，直到达到稳定状态，稳定状态即为网络的

输出状态。

下面以串行方式为例说明Hopfield 网络的运行步骤：

第一步 对网络进行初始化；

第二步 从网络中随机选取一个神经元i ；

第三步 求出神经元i 的输入

()i u t ： 1()()n

i i j j i

j j i u t w v t b =≠=+∑ 第四步 求出神经元i 的输出

(1)i v t +，此时网络中的其他神经元的输出保持不变；

说明：

(1)(())i i v t f u t +=,f 为激励函数，可取阶跃函数或符号函数。如取符号函数，则

Hopfield 网络的神经元输出(1)i v t +取离散值1或－1，即：

111,()0

(1)1,()0n

ij j i j j i i n ij j i j j i w v t b v t w v t b =≠=≠?+≥???+=??-+

∑∑ 第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件，则

结束；否则转至第二步继续运行。

这里网络的稳定状态定义为：若网络从某一时刻以后，状态不再发生变化。

即：()(),0v t t v t t +?=?>。

2.1.2、连续Hopfield 神经网络

连续Hopfield 网络(简称CHNN)的拓扑结构和DHNN 的结构相似. 这种拓扑

结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在CHNN 中,和

DHNN 一样,其稳定条件也要求W ij =W ji 。CHNN 和DHNN 不同的地方在于其函数g 不

是阶跃函数,而是S 形的连续函数.一般取g(u)=1/(1+e -u )

CHNN 在时间上是连续的.所以,网络中各神经元是处于同步方式工作的。

2.1.2.1 网络结构

考虑对于一个神经细胞,即神经元i,其内部膜电位状态用u j 表示,生物神经

元的动态(微分系统)由运算放大器来模拟,其中微分电路中细胞膜输入电容为C i ,

细胞膜的传递电阻为R i ,输出电压为V i ,外部输入电流用I i 表示,神经元的状态满

足如下动力学方程.

?????==++-=∑=n

i t U g t V I t V W R t U t t U C i i i i n j j ji i i i i ,...,2,1))(()()()(d )(d 1

模仿生物神经元及其网络的主要特性，连续型Hopfield 网络利用模拟电路构

造了反馈人工神经网络的电路模型，图2-4为其网络结构：

电路中

微分系统的暂态过程的时间常数通过电容C i ,和电阻R i 并联实现,

跨导T ij 模拟神经元之间互连的突触特性

运算放大器模拟神经元的非线性特性

Hopfield 用模拟电路设计了一个CHNN 的电路模型，如图2-3所示：

图2-3

图2-4

2.1.2.2基本算法

取参数

得：

()i i i u f v = N i ?????????=4321

过程：先设定初态（ i u ），运行至稳定，得到稳定状态。

()'111n i i i j j i i

ij i i i i du I u V dt R C R C C V f u =?=-++???=?∑'1111N j i i ij R R R =??=+ ? ???∑1

n i i ij j i j du u w v dt θτ==-++∑

对应输出：

由于Hopfleld 网络是全反馈网络,因此当网络中神经元节点数目比较多时,网络的结构就过于复杂,并且Hopfleld 网络中没有隐含层,使得网络的非线性性能比较差,因此在一定程度上限制了它的应用。

2.2、Elman 神经网络

Elman 网络是部分反馈网络的突出代表。Elman 网络是 Jeffrey L. Elman 于 1990年首先针对语音处理问题而提出来的, Elman 神经网络是一种动态的反馈网络，它除了具有输入层、隐层、输出层单元外，还有一个特殊的联系单元（关于该网络的更详细内容可参考文献[6]）。联系单元是用来记忆隐层单元以前时刻的输出值，可认为是一时延算子，它使该网络具有动态记忆的功能。

2.2.1、网络结构

Elman 网络结构如图2-5 所示[7]。

图2-5 Elman 网络结构示意图

Elman 网络由4层组成：

输入层 信号传输作用

隐含层

承接层 也称上下文单元或状态层,承接层从隐含层接收反馈信号，用来记忆隐 含层神经元前一时刻的输出值，承接层神经元的输出经延迟与存储，再输入到隐

011tan 2i i u v u ??=+????

含层。这样就使其对历史数据具有敏感性，增加了网络自身处理动态信息的能力。输出层仅起线性加权作用。

2.2.2、数学模型

其中连接权为联系单元与隐层单元的连接权矩阵，为输入单元与隐层单元的连接权矩阵，为隐层单元与输出单元的连接权矩阵，和分别表示联系单元 1 和隐层单元的输出，表示输出单元的输出，

为自连接反馈增益因子。多取为 sigmoid 函数，

2.2.3学习算法

设第 k 步系统的实际输出为，则 Elman 网络的目标函数即误差函数可表示为：

根据梯度下降法，分别计算 E(k)对权值的偏导数并使其为 0，可得到 Elman 网络的学习算法：

2.3、无反馈神经网络

时延神经网络是一种典型的无反馈网络，这种网络模型是在多层前向神经网络模型的基础上引入时间延迟器得到的,该网络自隐层至输出层的所有节点,与上一层每个节点的输出之间存在一组并行延迟单元。图2-7为延时器连接结构,图2-8为l层节点i到l+1层节点j之间的延时器内部结构,节点j时输入为上

一层节点i在时刻输出的加权和,为层延时器的延迟单元数目,延迟单元的引入使神经元不但了解当前时刻输入的信息,还了解过去时刻输入的信息,有利于序列数据的识别。

图2-7 图2-8

3、DNN 实际应用

动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世

纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模

中引起了工程控制领域许多学者的关注。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面[8]。

3.1、故障检测

估计方法在故障检测中应用广泛，如发动机的故障检测。用故障参数估计实现发动机故障检测,由于构建的发动机数学模型的不精确性，影响了检测性能。静态反推神经网络可以实现系统的动态辨识过程,但反推神经网络的学习算法存在局部极小问题,在线学习收敛速度比较慢,不易满足工程上实时性要求。动态神经网络直接用李雅诺夫方法推出神经网络的权值修改公式,得到稳定的学习规则,并且学习收敛到全局最优,因此可以考虑用动态神经网络来辨识发动机的动态响应过程,估计发动机传感器测量信号。基于发动机测量信号与动态神经网络辨识信号得到的残差信号,然后将残差信号的某一特定范数输入检测逻辑,得到发动机故障检测结果,实现动态神经网络的故障检测策略[9]。

3.2、变形预报

静态神经网络模型用于在线时间序列的预报时具有局限性,即网络的泛化能力有限,且模型不能不断地适应新增样本的变化。如果每增加一个样本对神经网络重新训练,需要大量的计算时间。由此产生了动态神经网络预报模型。在获得新增样本数据之后,通过比较预报值与实际值之差的绝对值是否大于敏感因子a,决定模型是否需要修正。使用在线动态修正方法降低了模型修正的计算时间, ,实现了增加样本而矩阵阶数不增加,且避免了矩阵求逆运算,提高了计算效率。该方法在计算时间和预报精度两个方面都具有一定优势,可应用于在线实时变形预报及相关领域[10]。

3.3、交通事件自动检测

交通事件的自动检测算法发展至今已有几十年的历史,较早期代表性算法有: California算法及其10个版本的改进算法、时间序列算法、贝叶斯算法、动态模型算法、突变论算法等,这些算法均有各自的特点,但都不能完全满足事件检测

的要求,不同的算法只是在不同的情况下性能优越,从理论上讲,动态模型法捕捉交通动态过程及自适应方面较好,且其可移植性好,但是它的计算效率需要进一步改善;突变论方法从计算效率和实时运行以及实现上具有无可比拟的优越性,但是它的检测性能指标需要进一步的提高。近二十年随着神经网络的迅速发展,尤其是在处理非线性问题上的优势,使得神经网络已经应用于事件检测中并充分显示出它优于其他算法的特点。目前应用于事件检测中的神经网络大多是应用静态前馈神经网络进行模式分类,这种网络的特点是结构简单、训练方法成熟,但是它的动态性能比较差,满足不了像交通流这样高度复杂的动态大系统。

在动态神经网络的基础上融合了基于状态估计的非线性系统故障检测的方法,以改善神经网络的动态性,使其更适合进行检测交通事件。具体做法是:依据基于状态估计的非线性系统故障检测的基本原理,利用动态神经网络根据一段高速公路两端的检测数据来估计路段中间的交通状态,并将状态的估计值与实测值进行比较,产生残差向量,通过对残差向量的分析,确定事件的发生及性质[11]。

3.4、最优化问题计算

人工神经网络的大部分模型是非线性动态系统，若将计算问题的目标函数与网络某种能量函数对应起来，网络动态向能量极小值方向移动的过程则可视作优化问题的解算过程，稳态点则是优化问题的局部的或全局最优动态过程解。这方面的应用包括组合优化、约束条件优化等一类求解问题，如：任务分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的解算等。

3.5通信

卫星通信逐渐从单纯的军用通信，转向了民用领域。随着 OFDM，WCDMA 等高峰均比调制技术在新一代卫星通信中的大量使用，这些宽带信号会引起带外干扰，从而造成发射信号的失真。为了解决上述问题，双盒 Wiener 预失真方法、双盒 Hammerstein 预失真方法、Volterra 滤波预失真方法和人工神经网络方法等预失真方法被广泛应用于星载功率放大器线性化处理。现在卫星上正在使用的预失真方法主要集中于双盒Hammerstein 预失真方法和双盒 Wiener 预失真方法，这两种方法均采用 2 个子块，一个用于消除功率放大器的非线性，另一个用于消除功率放大器的记忆效应，但是随着高峰均比调制技术在卫星通信中的应用，功率放大器的非线性特性和记忆效应呈现出交互特性，将非线性特性和记忆效应分别进行处理已不能满足卫星通信的需求。针对下一代卫星通信的需求，预失真技术主要采用 Volterra 滤波预失真方法和神经网络预失真方法。文献［12］和文献［13］提出基于前馈法和反馈法的 Volterra 滤波预失真方法，为了追求一定的线性化精度，但这两种方法所采用的 Volterra 模型的阶数都较长，导致预失真器的系数更新速度较慢，当发射信号的变化较大时，会产生很大的延时。神经网络预失真方法也是目前最热门的预失真技术，文献［14］提出了一种基于多个隐层来消除记忆效应和非线性特性的方法，但随着隐层数量和神经元的增加，会导致计算量急剧增长，从而使神经网络的系数产生较大的延时。文献［15］提出了一种基于幅度和相位的双神经网络预失真方法，该方法由于采用非直接的训练算法，导致卫星长时间工作的记忆效应无法得到修正，并且神经网络模型系数采用

矢量来代替矩阵，随着时间的延长，会产生较大的误差。针对上述缺点，采用直接学习法的动态神经网络预失真方法，该方法首先通过对输入信号进行幅度和相位的分离，并分别利用神经网络预失真方法对数据进行处理，在处理过程中引入前 M 个时刻的输出所构造的记忆效应反馈模型，并详细推导整个神经网络预失真方法的数学算法。该方法与没有经过预失真处理的方法相比可以有效消除功率放大器的非线性特性和记忆效应，在高速卫星通信中具有较好的应用价值[16]。

3.6模式信息处理和模式识别

所谓模式，从广义上说，就是事物的某种特性类属，如：图像、文字、声纳信号、动植物种类形态等信息。模式信息处理就是对模式信息进行特征提取、聚类分析、边缘检测、信号增强噪声抑制、数据压缩等各种变换。模式识别就是将所研究客体的特性类属映射成“类别号”，以实现对客体特定类别的识别。人工神经网络所具有的非线性映射能力和高度并行运算能力为非线性动态负荷模型的辨识提供了一条有效的途径。动态神经网络特别适宜解算这类问题，形成了新的模式信息处理技术。它在各领域的广泛应用是神经网络技术发展的重要侧面。这方面的主要应用有：图形符号、符号、手写体及语音识别，雷达及声纳等目标的识别，药物构效关系等化学模式信息辨识，机器人视觉、听觉，各种最近相邻模式聚类及识别分类等等。

目前基于动态神经网络的研究、应用越来越广。动态神经网络已推广到方方面面。例如：Hopfield神经网络及其应用的图像边缘检测[17]；Hopfield网络及其在图像识别中的应用[18];基于Elman神经网络的股票价格预测研究[19];改进的Elman网络在火工品气动压力机建模中的应用[20];基于Ｅｌｍａｎ动态神经网络的煤质预测算法研究[21];基于动态BP 神经网络的财务危机预警算法研究[22]等等。

4、DNN改进

Elman网络采取与BP网络一致的权值更新方法——梯度下降法，其缺陷是容易陷入局部最小值，可以借助遗传算法来训练优化初始权值。遗传算法针对所给问题进行编码，通过选择、复制、交叉、变异这几种进化机制来寻找最优解。因此，遗传算法全局变异算子可以避免陷入局部最优，并且由于其具有并行搜索的特性，保证了算法的快速、稳定。

Elman网络的初始权值由随机产生的1到l之间的均匀实数组成。每次训练完毕，计算一次均方误差MSE。同时，把误差平方和E(t)作为遗传算法的适应度函数，通过引用遗传算法优化误差平方和，来确定最优的初始权值。由于适应度函数通常寻求最大值，而网络要求误差平方和最小，所以这里用f=1／E(t)代替目标函数。

改进后的GA．Elman神经网络模型的工作流程如下：

(1)Elman网络初始化以及初始权值编码。遗传算法将Elman网络的初始随机基于动态神经网络的股价预测模型研究权值编码为若干染色体组成的初始种群。

(2)适应度函数的选取适应度函数式。

(3)选择算子。

(4)交叉算子。遗传算法的交叉操作分为控制基因交叉和参数基因交叉。这里，对控制基因串采用单点交叉。由于参数基因采用实值编码，为保证交叉后产生新

的参数值，并开辟出新的搜索空间，参数基因的交叉操作采用线性组合方式，将两个基因串对应交叉位的值相组合生成新的基因串，

(5)变异算子

对控制基因，变异操作可以以一定的概率对变异位进行取反运算；而对参数基因的变异操作，可采用均匀变异，即以一定概率给变异位基因加一个符合某一范围内均匀分布的随机数。

(6)形成新的一代并检验是否满足停止准则，最后产生优化后的神经网络初始权值。

(7)Elman网络开始工作，进行学习和训练，并更新权值，计算网络误差，检验是否达到要求精度并利用测试集检验网络效果。

参考文献

[1]张青贵.人工神经网络导论[M]、北京:水利水电出版社,2004.5-20

[2]王颖.基于动态神经网络的系统建模理论及优化技术研究[D].大庆.东北石油大学计算机

与信息技术学院.2011

[3]Grossberg S, Adaptive pattern classification and universal recording. I:Parallel development

and coding of neural feature detectors, Biolog. Cybernetics[M],Boston,1976,23:121-134. [4]Grossberg S, Adaptive pattern classification and universal recording. II: Feedback,

expectation, olfaction , and illusion, Biology Cybernetics[M],Boston, 1976 , 23: 187 -202 [5]杨盈. Hopfield神经网络的改进及其应用基于Hopfield神经网络的脱机手写数字识别[D].

无锡.江南大学物联网工程学院.2008

[6]Shi, X.H., Liang, Y.C., Lee, H.P., Lin, W.Z., Xu, X.and Lim, S.P. Improved Elman networks and

applications for controlling ultrasonic motors[J]. Applied Artificial Intelligence, 2004, 18: 603-629.

[7]韩旭明. Elman 神经网络的应用研究[D].天津.天津大学.2006

[8]李嘉刚.动态神经网络的模型[D].青岛.中国海洋大学.2010

[9]黄敏超，张育林，陈启智. 动态神经网络在液体火箭发动机故障检测与分离中的应用[J].

航空动力学报，1996，11(2)：149-152.

[10]邓兴升，王新洲. 动态神经网络在变形预报中的应用[J]. 武汉大学学报，2008，33(1)：

93-96.

[11]吕琪,王慧. 基于动态神经网络模型的交通事件检测算法[J]. 公路交通科

技,2003,20(6):105-107.

[12]Wang Yong，Xiang Xin，Yi Kechu．Memory Predistorter in Wideband OFDM

System[J]． Systems Engineering and Electronics，2006，28( 9) : 1456-1459 [13]Pan Jie． Nonlinear Electrical Predistortion and Equalization for the Coherent

Optical Communication System． Journal of Lightwave Technology，2011，29( 18) : 2785-2789

[14]Mkadem F，Boumaiza S． Physically Inspired Neural Network Model for RF Power

Amplifier Behavioral Modeling and Digital Predistortion[J]． IEEE Trans on Microwave Theory and Techniques，2011，59( 4) : 913-923

[15]崔华，赵祥模，艾渤．记忆功放的 BP 神经网络分离预失真方法[J]．西安电子科

技大学学报，2010，37( 3) : 565-569

[16]唐成凯，廉保旺，张玲玲.卫星通信中动态神经网络预失真算法研究[J].西北工业大

学学报,2013,31(1):34-39

[17]Yonghong Zhang,Dejin Hu,Kai Zhang,Junjie Xu. Hopfield neural network and its

applications on image edge detection[J]. Chinese Optics Letters,2004,04,213-216

[18]刘雅莉;李华. Hopfield网络及其在图像识别中的应用[J]. 商洛学院学

报,2008,22(5),62-65

[19]林春燕;朱东华. 基于Elman神经网络的股票价格预测研究[J]. 计算机应

用,2006,26(2),476-484

[20]胡斌;刘荣;李璀. 改进的Elman网络在火工品气动压力机建模中的应用[J]. 工业控制计

算机,2011,06,46-49

[21]张玮，张丹.基于Ｅｌｍａｎ动态神经网络的煤质预测算法研究[J] 中国矿

业,2013,22(3),106-108

[22]杨济亭. 基于动态BP 神经网络的财务危机预警算法研究[J].信息技术.2013,2, 96-100

附录A 摘要集

[1]基于动态神经网络的系统建模理论及优化技术研究

摘要

系统建模技术己成为分析、研究各种系统，特别是复杂非线性系统的重要工具，由于具有经济、可靠、易实现和可多次重复使用等优点，己成为对实际系统进行分析、设计、实验、评估的有效手段，在科学研究和工程领域具有广泛应用。随着科学研究与工程应用领域的不断扩大，人们所面临的系统建模问题也变得越来越复杂。大多数建模对象存在着多种不确定性因素以及难以定量描述的非线性特性，并且对系统模型的描述能力和建模方法的灵活性、适用性以及智能水平要求越来越高，传统的系统建模方法在许多方面己不再满足当前的需求，存在模型选择及建模困难、精度低、求解难度大等问题。

近几年来，智能信息处理理论和技术得到重视和发展，为解决复杂非线性动态系统的建模问题提供了一种有效途径。由于动态神经网络具有高度非线性映射能力、大规模并行分布处理和良好的自适应学习机制，在复杂系统建模方面表现出较大的优势。因此，将动态神经网络应用到系统建模方面的研究具有很好的前景。

论文提出和建立了一种反馈动态神经网络模型，对一般过程神经网络模型的信息处理机制进行了改进。模型具有适用性强、学习效率高、对具体实际问题易于建模等特点;构建了基于梯度一牛顿结合训练算法、基于二次样条拟合训练算法以及基于数值积分训练算法等三种动态神经网络学习方法，并给出了模型及算法的优化原则和实现技术。最后结合油田开发生产中的实际问题，进行了动态神经网络系统建模方法的具体应用。

关键词:时变输入输出系统，动态神经网络，学习算法，系统仿真，数值积分

[2]Adaptive pattern classification and universal recording. I:Parallel development and coding

of neural feature detectors

Abstract.

This paper analyses a model for the parallel development and adult coding of neural feature detectors. The model was introduced in Grossberg (1976). We show how experience can retune feature detectors to respond to a prescribed convex set of spatial patterns. In particular, the detectors automatically respond to average features chosen from the set even if the average features have never been experienced. Using this procedure, any set of arbitrary spatial patterns can be recoded, or transformed, into any other spatial patterns (universal recoding), if there are sufficiently many cells in the network's cortex. The network is built from short term memory (STM) and long term memory (LTM) mechanisms, including mechanisms of adaptation, filtering, contrast enhancement, tuning, and nonspecific arousal. These mechanisms capture some experimental properties of plasticity in the kitten visual cortex. The model also suggests a. classification of adult feature detector properties in terms of a small number of functional principles. In particular, experiments on retinal dynamics, including amacrine cell function, are suggested.

[3]Adaptive pattern classification and universal recording. II: Feedback, expectation,

olfaction , and illusion

Abstract.

Part I of this paper describes a model for the parallel development and adult coding of neural feature detectors. It shows how any set of arbitrary spatial patterns can be recoded, or

transformed, into any other spatial patterns (universal recoding), if there are sufficiently many cells in the network's cortex. This code is, however, unstable through time if arbitrarily many patterns can perturb a fixed number of cortical cells. This paper shows how to stabilize the code in the general case using feedback between cellular sites. A biochemically defined critical period is not necessary to stabilize the code, nor is it sufficient to ensure useful coding properties.

We ask how short term memory can be reset in response to temporal sequences of spatial patterns. This leads to a context-dependent code in which no feature detector need uniquely characterize an input pattern; yet unique classification by the pattern of activity across feature detectors is possible. This property uses learned expectation mechanisms where-by unexpected patterns are temporarily suppressed and/or activate nonspecific arousal. The simplest case describes reciprocal interactions via trainable synaptic pathways (long term memory traces) between two re-current on-center of T-surround networks undergoing mass action (shunting) interactions. This unit can establish an adaptive resonance, or reverberation, between two regions if their coded patterns match, and can suppress the reverberation if their patterns do not match. This concept yields a model of olfactory coding within the olfactory bulb and prepyriform cortex. The resonance idea also includes the establishment of Reverberation between conditioned reinforces and generators of contingent negative variation if presently available sensory cues are compatible with the net-work's drive requirements at that time; and a search and lock mechanism whereby the disparity between two patterns can be minimized and the minimal disparity images locked into position. Stabilizing the code uses attentional mechanisms, in particular nonspecific arousal as a tuning and search device. We suggest that arousal is gated by a chemical transmitter system for example; no repinephrine whose relative states of accumulation at antagonistic pairs of on-cells and of T-cells through time can shift the spatial pattern of STM activity across a field of feature detectors. For example, a sudden arousal increment in response to an un-expected pattern can reverse, or rebound, these relative activities, thereby suppressing incorrectly classified populations. The rebound mechanism has formal properties analogous to negative afterimages and spatial frequency adaptation.

[4]Hopfield神经网络的改进及其应用基于Hopfield神经网络的脱机手写数字识别

摘要

脱机手写数字识别在很多领域具有广泛的应用前景，国内外学者对此做了大量的研究工作，提出了很多预处理和模式识别的算法，大大提高了手写数字的识别精度。但到目前为止，手写数字识别的识别精度还有待提高，阀值参数选择等问题尚有待解决。

为了提高手写数字识别的精度，本文将Hopfield 神经网络应用于脱机手写数字识别分析中，Hopfield 神经网络的“能量函数”的能量在网络运行过程中，具有不断地减少最后趋于稳定的平衡状态的特性，而且网络一旦建立即可自动运行，无需要训练。脱机手写数字的识别过程分为两步：训练阶段，识别阶段。在训练阶段，提取训练样本集的代数特征，建立网络模型，以输入向量为目标向量，保存网络连接权值和阈值以及代数特征；在识别阶段，将待识别数字特征送入网络运行，待网络运行到平衡状态后，将输出结果与数字特征库的向量进行比较，距离最小者即为待识别的数字。

脱机手写数字识别一般分为图像预处理、特征提取、数字串分割、识别这几个阶段。

首先，票据的数字图像进行预处理，通过去噪、平滑、二值化等一系列预处理工作，在对手写数字图像进行预处理时，引入了基于小波变换的图像处理新方法，它较改进的中值滤波算法根据先进性和更适应于后续的Hopfield 神经网络的训练和识别过程。得到待识别的

手写体数字串后本文提出了一种基于识别的分割方法以得到分割最佳组合，这种分割方法的分割结果是基于识别结果的，在识别数字的同时得到分割结果设计了包含神经元的神经网络分类器识别手写数字，在训练分类器的时候，将反例样本作为必要的训练样本估计分类器的参数，并且合理的选择正例样本和反例样本的比例，这样训练得到的分类器具备很好的分类能力。试验数据表明，这样设计的脱机手写数字识别分类器大大的降低了误识率，得到了较高的识别正确率。

关键词：脱机手写数字识别，Hopfield 神经网络，小波变换，特征提取

[5]Improved Elman networks and applications for controlling ultrasonic motors Abstract.

Two improved Elman network models, output-input feedback (OIF) and output-hidden feedback (OHF), are proposed based on the modified Elman network. A recurrent back-propagation control (RBPC) network model is developed by using the OIF Elman network as a passageway of the error back-Propagation. The stability of the improved Elman and RBPC networks is analyzed. Adaptive learning rates are given in the form of discrete-type Lyapunov stability theory, which could guarantee the convergence of the improved Elman and RBPC networks. The speed of the ultrasonic motor is identified using the modified Elman network, OIF and OHF Elman networks, respectively, and some useful comparable results are presented. Numerical results show that the RBPC controller is effective for various kinds of reference speeds of the USM and the proposed scheme is fairly robust against random disturbance to the control variable.

[6]Elman 神经网络的应用研究

摘要

本文介绍了人工神经网络的一些基础知识，而且详细地介绍了两种具有动态反馈机制的人工神经网络模型，Elman 网络和输出－输入反馈Elman 网络，即OIF Elman (Output-Input Feedback Elman)网络，以及它们的数学模型和学习算法。

考虑到股民投资的主要目的是盈利。为了提高网络的预测精度，得到更加精确的预测结果，从而获得更多的利润，本文在 Elman 人工神经网络的基础上，将时间收益因素引入到Elman 网络的目标函数中，提出了一种改进的 Elman 神经网络模型—TPFENN(Time Profit Factor Elman Neural Network)，并将其用于股票综合指数的预测以及股票利润率的计算和比较。为了更好地度量网络模型的预测性能，本文采用绝对平均误差(Absolute Average Error, AAE)和最小二乘误差(Least Square Error, LSE)表示网络的预测精度。实验结果表明：改进的 Elman 神经网络模型用于股市投资是可行的、有效的，该模型不仅可以明显提高网络的预测精度，达到快速收敛，而且还能够明显改善收益，提高股票投资的利润率，从而实现较大幅度地获得收益的目的。

另外，为了控制大气污染，关心大气质量，及时、准确地预测未来大气变化、预防严重污染事件的发生，本文在输出－输入反馈 Elman 网络，即 OIF Elman(Output-Input Feedback Elman)网络的基础上，将惩罚收益因素引入到 OIF Elman神经网络模型中，提出了一种基于 OIF Elman 神经网络的改进模型—DPFOIFENN ( Direction Profit Factor OIF Elman Neural Network)，并将其用于预测和评价长春市的大气质量。实验结果表明：引入惩罚收益因素 OIF Elman 模型具有极佳的逼近性能，取得了较高的拟合精度，所得到的预测数据和评价结果与实际结果基本吻合。

上述结果表明：本文所提出的 TPFENN 和 DPFOIFENN 两种模型可为金融投资和大气环境预测及评价提供新的技术和方法，具有较好的应用潜能和一定的应用前景。

关键词：Elman 神经网络 OIF Elman 神经网络惩罚收益因素时间收益因素综合指数预测利润率大气质量预测和评价

[7]动态神经网络的模型

摘要

动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文主要介绍动态神经网络的几种常见模型，比较不同模型之间的区别，在此基础上介绍一下动态神经网络的功能及应用。

[8]动态神经网络在液体火箭发动机故障检测与分离中的应用

摘要

应用动态神经网络在线辨识方法,提出了一种液体火箭发动机故障实时检测与分离基本系统。检测逻辑通过度量包含发动机故障信息的辨识残差信号实现火箭发动机故障检测,故障分离通过分析辨识误差相关函数的不同空间特征来实现。仿真研究表明动态神经网络可成功地应用于泵压式液体火箭发动机故障检测与分离。

[9]动态神经网络在变形预报中的应用

摘要

静态神经网络模型用于在线时间序列的预报时具有局限性,即网络的泛化能力有限,且模型不能不断地适应新增样本的变化。如果每增加一个样本对神经网络重新训练,需要大量的计算时间。针对该问题,提出了动态神经网络预报模型。在获得新增样本数据之后,通过比较预报值与实际值之差的绝对值是否大于E敏感因子,决定模型是否需要修正。为了降低模型修正的计算时间,提出了在线动态修正方法,实现了增加样本而矩阵阶数不增加,且避免了矩阵求逆运算,理论上可以提高计算效率。通过实例表明,该方法在计算时间和预报精度两个方面都具有一定优势,可应用于在线实时变形预报及相关领域。

[10]基于动态神经网络模型的交通事件检测算法

摘要

本文将一种新型的动态神经网络结构与传统的基于状态估计的故障检测方法相结合,提出了一种基于动态神经网络的交通事件检测算法。该网络借鉴静态BP网络的训练算法,并针对其训练方法中收敛速度慢及容易陷入局部极小点的缺点采用一种改进的算法,改善了训练效果。最后利用Matlab对提出的算法进行仿真,得到令人满意的效果。

[11]Physically Inspired Neural Network Model for RF Power Amplifier Behavioral

Modeling and Digital Predistortion

Abstract.

In this paper, a novel two hidden layers artificial neural network (2HLANN) model is proposed to predict the dynamic nonlinear behavior of wideband RF power amplifiers (PAs). Starting with a generic low-pass equivalent circuit of the PA, several circuit transformations are applied in order to build an appropriate artificial neural network structure and improve the modeling accuracy. This approach culminates in the development of a real-valued and feed-forward 2HLANN-based model. The parameters (number of neurons, memory depth, etc.) of the proposed model and the back propagation learning algorithm (learning rate, momentum term, etc.) used for its training were carefully studied and thoughtfully chosen to ensure the generality of the constructed model. The validation of the proposed models in mimicking the behavior of a 250-W Doherty amplifier driven with a 20-MHz bandwidth signal is carried out in terms of its accuracy in predicting its output spectrum, dynamic AM/AM and AM/PM characteristics, and in minimizing the normalized mean square error. In addition, the linearization of the Doherty PA using the 2HLANN enabled attaining an output power of up to 46.5 dBm and an average efficiency of up to 40% coupled with an adjacent channel power ratio higher than 50 dBc.