应用Elman神经网络的混沌时间序列预测-论文

华　东　理　工　大　学　学　报 Journal o f Eas t C hi na Un iv ersi ty of S cience and Tech no l ogy V o l.28增刊

2002-09

收稿日期35

作者简介张兴会(63),男,河北孟村人,副教授,博士生,研究方

向为智能控制和预测控制。

文章编号:1006-3080(2002)NN -S 0-0030-04

应用

Elman 神

经网络的混沌时间序列预测

张兴会1*,　刘　玲1,　陈增强2,　袁著祉2

(1.天津技术师范学院计算机系,天津300222; 2.南开大学自动化系,天津300071)

摘要:利用改进的Elma n 神经网络对3个典型的混沌时间序列在不同的噪声水平下进行预测,探讨了神经网络学习与泛化之间的关系,通过试凑法给出了Elman 最优的隐节点个数。并利用3种指标对预测结果进行了评估,结果显示Elma n 网络对混沌时间序列预测的良好特性。

关键词:混沌时间序列;预测;改进型Elman 神经网络;径向基函数神经网络

中图分类号:TP 18

文献标识码:A

Prediction of Chaos Time Series Using Elman Neural Networks

Z H AN G X ing -hui 1*

,　LIU Ling 1

,　C HEN Zeng-qia ng 2

,　Y U AN Zhu-zhi

2

(1.Department of Computer ,Tia njin University of Technology and Educa tion ,Tianjin 300222,China ;

2.Depar tment of A uto mation,N ankai University,Tia njin 300071,China )Abstr act :This paper uses the improved Elman neural networks to predict three typical chaos time se-ries under different noise conditions .It also discusses the relationship between lear n ing and generalization of the neura l networks and gives the optimal number of Elma n 's hidden layer units.In addition,the pre-diction results a re evalua ted by three targets which show the perfect performance of Elman networks in the prediction of the chaos time series .

Key words :chaos time series;prediction ;improved Elman neural network;radial basis function neu-ral network

混沌现象是非线性系统研究的一个热点。混沌时间序列预测在工业、经济等复杂系统都有着重要的意义,其应用领域可见于经济预测和调整、金融分析、天气预报、地震预测等方面[1～2]

。神经网络技术已用于对混沌时间序列的预测研究,文献[3]指出该技术可以从被噪声污染的某些混沌系统中提取混沌吸引子。文献[4]探讨了BP 网络和回归网络对混沌系统的预测,仿真结果表明回归网络优于BP 网络,但是对其网络结构和隐含节点的选择未进行讨论,使得预测结果不如文献[5]的理想。文献[6～7]分别探讨了模糊神经网络、小波网络在混沌时间序列预测中的应用问题,但是它们算法较复杂,预测精度较低,且大多研究结果并未考虑观测噪声。文献[5]应

用径向基函数神经网络(RBF 网络)得到了较快的收敛速度、较高的预测精度,并分析了有噪声情况下的拟合误差和预测误差情况。

本文采用改进型回归记忆Elma n 网络,对Lo-gistic map 、Henon map 、Mackey-Glass 3种混沌时间序列进行了预测仿真研究。结果表明,改进型Elman 网络优于文献[4]提出的方法。在有噪声时,Elman 网络模型的拟合误差和预测误差均较小,明显优于文献[5]提出的方法,取得较好的效果。

1　改进型Elman 神经网络

网络是在B 网络基本结构的基础上,通过存储内部状态使其具备映射动态特性的功能,从而使系统具有适应时变特性的能力,在复杂过程的建模方面,有着广泛的应用前景。神经网络

30

D OI :10.14135/https://www.360docs.net/doc/8d4836417.html, k i .1006-3080.2002.s1.008

:2002-0-2:19-Elman P Elman

除输入层、隐层以及输出层单元外,还有一个独特的结构单元。与通常的多层前馈网络相同,输入层单元仅起信号传输作用,输出层单元起线性加权和作用,隐层单元可有线性或非线性激发函数。而结构单元则用来记忆隐层单元前一时刻的输出值,可以认为是一个时延算子。改进型Elman 神经网络[8]的结构单元具有一个固定增益T 的自反馈连接,改进型El-ma n 神经网络利用标准BP 学习算法辨识高阶动态系统,是解决高阶系统辨识问题的更好方案。改进型的Elman 神经网络结构如图1

所示。

图1　改进型Elma n 神经网络结构Fig .1

　Improved Elma n neura l network 设网络的外部输入为u (k -1)∈R r ,预测输出为y (k)∈R m

,若记隐层的输出为x (k)∈R n

,则有如下非线性状态空间表达式成立:

x (k )=f (W 1

x c (k )+W 2

u (k -1))

x c (k )=x (k -1)+Tx c (k -1)

y (k)=W 3x (k )

(1)

其中W 1

,W 2

,W 3分别是结构单元到隐层、输入层到隐层,以及隐层到输出层的连接权矩阵,T 为自连接反馈增益,f (W 1

x c (k)+W 2

u (k-1))为隐层单元激发函数所组成的非线性向量函数。

改进型Elman 网络可用标准BP 学习算法辨识

高阶系统,具体算法公式为:

Δw 3ij

=Z (y di (k )-y i (k))x j (k)　i =1,2,…,m;

j =1,2,…,n

Δw 2

jq

=Z ∑m

i=1(y di (k)-y i (k ))w 3

i j f ′j (W 1

x c (k)+

W 2

u (k -1))u q (k -1)

j =1,2,…,n;q =1,2,…,r

(2)

Δw 1

jl =Z ∑m

=(y di (k )-y i (k))w 3

ij

x j (k )w 1j j =,,…,;=,,…, 其中Z 为网络学习率,y ()为y ()的预测值,而

x j (k)w 1

j l

=f ′j (W 1x c (k )+W 2

u (k -1))x l (k -1)+T

x j (k -1)

w 1jl

(3)

对于混沌系统建模,神经网络的输入变量个数的选择与估计的混沌吸引子的维数有关。文献[9]提出,对于含有噪声的混沌信号,利用有限的隐节点个数,可以得到最小预测误差,提高其泛化能力。就本文所选择的3个典型混沌系统,输入层节点个数为1,采用试凑法[10]确定隐层节点个数分别为:3,3,4。

2　仿真实验设计及结果

2.1　混沌模型的选择

我们研究以下3个混沌系统:

(1)Logistic map

x t =λx t-1(1-x t-1)

(4)

当λ∈(3.5669,4]时,Logistic ma p 呈现混沌

状态,本文取λ=4。

(2)Henon map

x t =1-a x 2

t-1+z t-1

z t =bx t-1

(5)

当a = 1.4,b =0.3时,Henon ma p 系统将处于混段状态。

(3)Mackey-Glass 方程的离散形式

x t =x t-1+a x t-s

1+(x t -s )

c -bx t -1

(6)

其中a =0.2,b=0.1,c=10.0,s=17。

仿真研究将在无任何噪声和有附加噪声两种情况下进行。对于无噪声时,观测数据为:

y t =x t

(7)把y t 看作目标变量。对于有附加噪声的情形,

y t =x t +v t (8)

其中v t 为噪声部分。

v t =U e u t

(9)

式中U 分别取0.01,0.1,0.25,0.5,U 是x t 的

样本标准差,u t 是标准正态分布的随机变量。对于每种模型,取m 个样本,其中前n 个样本用于建模,后m-n 个样本用于预测。对于Logistic

map 模型和Henon map 模型,取m=200,n=180。对于Mackey -Glass 方程,取m =1000,n =900。当存在附加噪声时,对于U 的每一个取值,都取组数据集分别进行建模和预测。

　评价指标

对于每种模型的每次仿真实验,都采用3个统

31

增刊张兴会等:应用El man 神经网络的混沌时间序列预测 i 1

l

12n l 12n

i k di k 202.2

计量来评价模型的拟合程度和预测效果,这3个统计量是RMSE 、RMSP E 和RMSP E /SD 。

为比较训练后网络的拟合能力,计算出如下的误差指标。

RMSE =

1

n ∑n

t=1

(y t -y t )2

(10)

其中y t 是y t 的估计值。

为评价预测的效果,计算一步预测的均方误差的平方根,即

RMSPE =

1

m -n ∑m

t =n +1

(y t -y t )2

(11)

其中y t 是y t 的一步预测值。

还可以通过计算RMSP E 与SD 的比值(RM-SP E /SD )来做进一步的比较。对于无噪声情况,SD

由下式计算:

SD =

1

m -n ∑m

t =n +1

(y t -y -)2

(12)

这里,y -是y t 的样本均值,也就是说,SD 是预

测阶段的样本标准差。RMSP E /SD 的值越接近于零,则估计模型的预测效果越好。

对于存在噪声的情况,SD 由下式计算

SD =

1m -n ∑m

t =n+1

(v t -v -)2(13)

这里,v -是在预测阶段v t 的样本均值。因v 是由式(9)产生的,SD 的值接近于v t 的标准差,即为

U e 。当估计模型的预测效果较好时,估计模型的RMSP E 值应该接近于SD 值,即RMSP E 与SD 的比值应该接近1。2.3　仿真实验结果

采用改进型Elma n 神经网络分别对Logistic map 、Henon map 和Mackey-Glass 方程进行学习,计算出不同噪声水平下(U=0.01,0.1,0.25,0.5)的3个统计量,即RMSE 、RMSPE 和RMSP E /SD ,并与相同噪声条件下对3种混沌时间序列利用

RBF 网络的仿真结果[5]

进行了比较,如表1、表2、表3所示。

表1　Logistic ma p 的仿真结果Table 1　Simula tion results of Logistic map

U

R MSE

Elman

RBF RM SP E

Elman RB F RM SP E /SD

El man RBF 0.01

1.2415×10-40.0033 6.4514×10-40.00361.06071.06250.1

2.0842×10-3

0.0335 2.8044×10-3

0.03601.18121.06210.250.08320.08550.08270.09121.10391.02070.5

0.1637

0.1673

0.1694

0.1802

1.2140

1.0626

表2　Henon map 的仿真结果Table 2　Simula tion r esults of Henon map

U

R MSE

Elman

RBF RM SP E

Elman RB F RM SP E /SD

El man RBF 0.01

1.3611×10-40.0057 1.7856×10-40.00831.13091.18130.1

2.7598×10-3

0.0560 4.2000×10-3

0.08481.12961.19290.250.12140.14110.12660.21051.12871.19780.5

0.2243

0.2805

0.2287

0.4232

1.0220

1.2067

表3　Mackey-Glass 方程的仿真结果Table 3　Sim ulation results of Mackey-Glass ma p

U

R MSE

Elman

RBF RM SP E

Elman

RB F

RM SP E /SD

El man RBF 0.01

6.6726×10-40.0022 2.6223×10-4

0.00231.02361.03250.11.1191×10-3

0.02200.01010.02251.00071.030955555633535

　

32 华　东　理　工　大　学　学　报第28卷

0.20.04010.000.02820.01.081.0120.0.08880.1108

0.0749

0.1118

1.0001

1.0210

从表中可以看出,对于3个模型在不同噪声水平下,采用改进型Elman 网络时的3个评价指标(RMSE 、RMSPE 和RMSP E /SD )小于采用RBF 网络时的相同值,表明改进型Elman 网络在混沌系统建模与预测方面效果比RBF 网络要好,说明该网络有很好的抗噪能力。

3　讨　论

混沌是确定性系统内在的随机性,其内部有着确定的规律性。这种规律性用Elman 神经网络得到

了较好的表达,取得了比其他神经网络方法更好的效果。如何设计网络结构使其性能(学习速度、精度、泛化能力、结构复杂性、计算复杂性)最优,挖掘回归神经网络的运行机理,给出严格的数学证明,证明该类型网络具有最好的预测精度与泛化能力等问题有待进一步工作。参考文献:

[1]　郭　刚,王丽敏,付大鹏.基于混沌理论进行股票市场的多步

预测[J ].信息与控制,2000,29(2):177-180.

[2]　梁志珊,史忠科,戴冠中.应用混沌理论的电力系统短期负荷

预测[J ].控制与决策,1998,13(1):87-90.

[3]　Albano A M,Pass aman te A,Hed i ger T,et https://www.360docs.net/doc/8d4836417.html,ing neural

net s t o l o ok for chaos [J].Ph ysica D,1992,58:1-9.

[4]　Gencay R ,Li u T .Nonli near mo d eli ng and p rediction wi th

feedfoward and recu rren t networks [J ].Ph ysica D,1997,108:119-134.

[5]　李冬梅,王正欧.基于RBF 神经网络的混沌时间序列预测

[J ].模式识别与人工智能,2001,14(2):231-234.

[6]　Magui re L P ,Roche B ,Mcginni ty T M ,et al .Pred i cting a

chaotic t ime seri es using a fuzzy neu ral net work [J ].Infor-mati on sciences,1998,112:125-136.

[7]　Cao L Y,Hong Y G,Fang H P,et al.

Predi cti ng chaotic

tim e s eri es wi th wavel et net wo rk s [J ].Ph ysica D,1995,85:225-238.

[8]　孙增圻,张再兴,邓志东.智能控制理论与技术[M ].北京:清

华大学出版社,2000.

[9]　Henry L,Ti t us L O,Wang S.Predicti on of noising chaotic

tim e seri es usi ng an opti mal radial basis function neural Net -work [J ].IEEE Trans on Neural Networks ,2001,12(5):1163-1171.

[10]　何述东,瞿　坦,黄献青,等.多层前项神经网络结构的研究进

展[J ].控制理论与应用,1998,15(3):313-319.

(上接第29页

)

图4　模型的泛化能力

Fig .4

　Generalization a bility of the model ○—Desi red ou tpu t;+—Act ual out put

参考文献:

[1]　张　彤,王宏伟,王子才.变尺度混沌优化方法及其应用[J ].

控制与决策,1999,14(3):285-288.

[2]　李　兵,蒋慰孙.混沌优化方法及其应用[J ].控制理论与应

用,1997,14(4):613-615.

[3]　童树鸿,沈　毅,刘志言.遗传算法在模糊系统优化设计中的

应用研究[J ].系统工程与电子技术,2001,23(1):73-76.

33

增刊张兴会等:应用El man 神经网络的混沌时间序列预测