PSO优化BP神经网络的混沌时间序列预测

PSO优化BP神经网络的混沌时间序列预测卢辉斌;李丹丹;孙海艳【摘要】BP neural network for forecasting has low speed of convergence, low precision and easily falling into the local minimum state. An improved prediction method of optimized BP neural network based on Improved Particle Swarm Opti-mization algorithm(IPSO)is proposed. The IPSO algorithm adopts modified adaptive inertia weight and adaptive acceler-ation coefficients to optimize the weights and thresholds of BP neural network. Then BP neural network is trained to search for the optimal solution. This experiment is done with several typical nonlinear systems. The results demonstrate that the improved method has faster convergence speed, higher accuracy and not easily falling into the local minimum state.%针对于BP神经网络预测模型，收敛速度慢，精度较低，容易陷入局部极小值等缺点，提出了一种改进粒子群优化BP神经网络预测模型的算法。

在该算法中，粒子群采用改进自适应惯性权重和改进自适应加速因子优化BP神经网络预测模型的初始权值和阈值，然后训练BP神经网络预测模型并预测。

将该算法应用到几个典型的混沌时间序列预测。

实验结果表明，该算法明显提高BP神经网络预测模型的收敛速度和预测模型的精度，减少陷入局部极小的可能。

【期刊名称】《计算机工程与应用》【年(卷),期】2015(000)002【总页数】7页(P224-229,264)【关键词】混沌时间序列;混沌预测;反向传播(BP)神经网络;粒子群算法【作者】卢辉斌;李丹丹;孙海艳【作者单位】燕山大学信息科学与工程学院，河北秦皇岛 066004; 河北省特种光纤与光纤传感实验室，河北秦皇岛 066004;燕山大学信息科学与工程学院，河北秦皇岛 066004; 河北省特种光纤与光纤传感实验室，河北秦皇岛 066004;河北建材职业技术学院机电工程系，河北秦皇岛 066004【正文语种】中文【中图分类】TP183混沌现象是指在确定系统中出现的一种貌似无规则，类似随机的现象，普遍存在于现实世界中。

随着混沌动力学的发展，混沌科学在数学，物理学，生命科学，信息科学，经济学等得到广泛应用。

混沌系统的建模、预测、控制也成为当代混沌研究的热点。

而构建混沌动力系统模型，预测系统未来状态，为混沌的控制奠定了基础。

混沌系统预测的思想是通过混沌系统的状态构建混沌系统的模型。

其主要方法包括全局预测[1]、局部预测[2-4]和自适应预测[5]。

神经网络是非线性系统逼近和建模的有效工具，不仅可以实现全局预测，而且可以实现局域预测，借助于神经网络建立混沌系统的模型[6-8]已经成为现今的热点研究问题之一。

因此，本文采用BP神经网络预测模型，该模型具有较强的非线性拟合能力，但是该模型收敛速度慢，预测精度不高，易陷入局部极小值，文中采用粒子群算法优化BP神经网络预测模型。

粒子群算法[9]（Particle Sw arm Optim ization，PSO）是一种有效的全局寻优算法，最初由学者Kennedy和Eberhart提出。

它是基于群体智能理论的优化算法，通过群体中粒子间的合作与竞争产生的群体智能优化搜索。

该算法收敛速度快，容易实现和具有全局收敛的特点，非常适用于求解非线性模型参数优化问题[10]，许多文献利用粒子群算法优化神经网络，如文献[11-12]等。

因此，本文提出改进PSO算法，并用改进的PSO算法优化BP神经网络预测模型的初始权值和阈值，然后对混沌时间序列预测。

相空间重构理论是研究混沌理论的基础。

Takens和Packard等人[13-14]认为系统中任意一分量的演化都是由与之相互作用的其他分量所决定的。

因此，这些相关分量的信息隐含在任意一个分量的发展过程中，重构系统相空间只需考察一个分量。

设X表示观测到的混沌时间序列，x(t)，t=1，2，…，n，根据Takens定理，进行相空间重构，则在状态空间中重构后的状态矢量可以表示为：式中，M=n-(m-1)τ是重构相空间中的相点个数，τ延迟时间，m是嵌入维数。

Takens证明了可以找到一个合适的嵌入维数，即如果延迟坐标的维数m≥2d+1，d是动力系统的维数，在这个嵌入维空间里就可以把吸引子恢复出来。

即在重构Rm空间中的轨线上，原动力系统保持微分同胚，从而为混沌时间序列的预测奠定了坚实的理论基础。

混沌时间序列的预测实质是一个动力系统的逆向问题，通过动力系统的状态来重构系统的动力学模型。

BP神经网络具有较强的非线性拟合能力，是构造混沌时间序列非线性预测模型的很好方法。

典型的三层BP神经网络是由输入层，隐含层和输出层组成，其核心是通过一边向后传递误差，一边修正误差的方法来不断调整网络的权值和阈值，以实现或逼近所希望的输入，输出映射关系。

用三层BP神经网络预测混沌时间序列，输入层神经元数一般取m，与嵌入维数相同，隐层神经元数多为靠经验选取，这里记为p，输出层神经元数为1，即完成f:Rm→R1。

BP神经网络传递函数采用Sigmoid函数，输出为线性单元。

隐层节点的输入：式中，wij是输入层到隐层的连接权值，θj是隐层节点的阈值。

隐层节点的输出：式中，vj是隐层到输出层的连接权值，γ是输出层的阈值。

输出层节点的输出：输入混沌时间序列，训练BP神经网络，得到训练好的网络，然后进行预测。

但是，BP神经网络开始训练之前的各层连接权值和阈值都是随机初始化的，这种随机初始化的值往往会使BP神经网络的收敛速度慢，精度低，容易陷入局部最小。

采用PSO算法可以对初始权值和阈值进行优化，优化后的初始权值和阈值能使BP 神经网络具有更好的收敛速度和更高的预测精度。

4.1 基本粒子群算法在PSO算法[9]中，每一个优化问题的解被看作是搜索空间中的一只鸟，即“粒子”。

算法首先生成初始解，即在D维可行解空间中随机初始化N个粒子组成种群z={z1，z2，…，zN}，每个粒子所对应两个向量，位置和速度，即zi={zi1，zi2，…，ziD}和vi={vi1，vi2，…，viD}，然后根据目标函数计算粒子的适应度值，在S维解空间中进行迭代搜索。

迭代时，粒子将跟踪两个“极值”来更新自己，一个是粒子本身搜索到的最好的解pid，另一个是种群目前搜索到的最优解pgd。

每个粒子根据下式来更新自己的位置和速度：式中，vid(t+1)表示第i个粒子在t+1次迭代中第d维上的速度，ω为惯性权重，c1，c2为加速常数，r1，r2为0～1之间的随机数。

文中基本粒子群算法，ω取线性递减惯性权重[15]，加速因子取常数。

线性递减惯性权重算法ω为：式中，iter表示当前迭代次数，itermax表示最大迭代次数，ωmax表示惯性权重初值，ωmin表示惯性权重终值。

首先，线性递减惯性权重算法，ω的变化完全依赖于当前迭代次数和最大的迭代次数，尤其在迭代后期，收敛速度慢，很难跳出局部最优解。

其次，常数学习因子，由于粒子是根据自身经验和全体粒子经验向着最优解的方向“飞行”，在较大学习因子作用下，粒子很有可能错过最优解，使算法收敛速度慢或不能收敛[16]。

另外，在算法收敛时，由于所有的粒子朝着最优解的方向搜索，种群中粒子趋向一致，失去解的多样性，使算法收敛速度慢，精度低或容易陷入局部最优。

4.2 改进粒子群算法4.2.1 基于混沌的改进粒子群算法（IPSO）混沌时间序列具有随机性、遍历性、和规律性，文献[17]中粒子群采用混沌初始化，文献[18]中粒子群采用混沌变异，混沌这些特点在粒子群算法中得到很好的应用。

因此本文提出一种新的基于混沌的改进粒子群算法。

该算法中，利用混沌自适应的调整粒子的搜索能力ω和学习能力c1，c2，使粒子跳出局部最优。

算法中采用典型Logistic混沌时间序列：同时该算法将粒子按适应度值区分为两部分，适应度值是衡量粒子质量的标准，通过比较单个粒子适应度值和群体粒子平均适应度值，区分出粒子质量的优劣，合理调整粒子的搜索能力ω和学习能力c1，c2，有利于粒子群快速收敛。

式中，0＜ω0＜1，1＜c10＜2，1＜c20＜2，k1，k2，k3是0～1之间常量，μ=4，x是0～1之间的随机数，f是第iter代的第i个粒子的适应度值，favg是第iter代的所有粒子的平均适应度值。

当f＞favg时，粒子质量较差，式（10）通过增强粒子的全局搜索能力ω和社会学习能力c2，减小自我学习能力c1，使粒子迅速向最优解方向“飞行”，改善粒子质量。

当f＜favg时，粒子质量较好，式（11）通过增强粒子的局部搜索能力ω和自我学习能c1，减小社会学习能力c2，保护质量较好的粒子，避免所有粒子趋向同一，保护解的多样性。

该算法有利于寻找全局最优解，提高粒子的收敛速度，减少陷入局部最优的可能。

4.2.2 IPSO算法收敛性分析记φ1=c1 r1，φ2=c2 r2，为便于表达，把问题简化为一维，则粒子i运动状态方程式（6）（7）可化为：由式（16）可知粒子的速度变化是一个二阶差分方程。

由此类似可得粒子的位置变化过程，即可见粒子的位置变化过程也是一个二阶差分方程。

将式（16）进行Z变换，可得：假设φ1，φ2是一常数，那么式（18）可看成是一个线性系统，其特征方程为：对式（19）作双线性变换，将z=(μ+1)/(μ-1)代入上式化简得：由Routh判据可知，二阶线性系统稳定的充要条件是特征方程各项系数均为正值，于是可得式（16）的稳定条件为：由于φ1，φ2为正数，因此，在不考虑随机量，局部最优值和全局最优值位置不变的情况下，单个粒子速度变化过程稳定的条件是由上式的后两个不等式决定的，且两个条件不能同时取等号。

同理可得粒子位置变化过程稳定的条件：通过对以上粒子群算法收敛性分析，并观察式（11），式（12），可知，当式（11）满足式（22）条件时，式（10）显然也满足。