一种基于改进回声状态网络的预测算法
基于在线回声状态网络的变形数据预测分析
基于在线回声状态网络的变形数据预测分析单毅;杨建伟;王新志【摘要】结合Kalman滤波与回声状态网络,将在线回声状态网络算法应用于变形数据预测.回声状态网络的输出权值通过Kalman滤波训练,直接对网络的输出权值进行在线更新,克服了传统递归网络需要收集大量样本后才能进行拟合预测的缺陷,同时也保证了预测精度.实例计算验证了该方法的有效性.【期刊名称】《大地测量与地球动力学》【年(卷),期】2016(036)007【总页数】4页(P617-619,629)【关键词】在线学习;变形观测数据;回声状态网络;Kalman滤波【作者】单毅;杨建伟;王新志【作者单位】南京信息工程大学数学与统计学院,南京市宁六路219号,210044;南京信息工程大学数学与统计学院,南京市宁六路219号,210044;南京信息工程大学遥感学院,南京市宁六路219号,210044【正文语种】中文【中图分类】P258神经网络以其强大的自适应性和联想记忆能力，广泛应用于变形数据的建模预测[1-4]。
回声状态网络(ESN)是近年来兴起的一种非线性映射能力很强的神经网络，其采用求伪逆的训练方法，可避免基于梯度下降算法的一些缺陷[5-6]。
目前包括ESN在内的传统神经网络大多采用离线学习方式，在大量样本提交后才会调整网络参数。
然而变形数据在某些情况下不容易观测得到，导致没有足够的观测值供离线学习[1]，且离线学习需要占用大量的计算资源，不能实时调节相关参数[7]。
此时，需要一种在线预测方法，在相对节省存储空间的前提下，对快时变的变形数据作出准确预报。
Kalman滤波是一种在线预测算法，但其限制条件苛刻，要求系统模型精确且系统误差模型和观测误差模型已知[8]，这在实际应用中很难满足。
基于此，韩敏等[7] 提出一种在线ESN。
本文将这种在线ESN应用于变形数据的预测，采用Kalman滤波实时更新ESN的输出权值。
相比基于求逆或者梯度下降的离线训练方式，该算法训练效率高，能动态调整网络权值，从而提高网络在线预测性能。
基于改进的BP神经网络的预测算法研究
基于改进的BP神经网络的预测算法研究随着人工智能技术的不断发展，神经网络已成为当前最为流行的一种机器学习模型。
而BP神经网络是其中最为经典的一种。
然而，传统BP网络存在着训练速度慢、易过拟合等问题。
因此，基于改进的BP神经网络已经成为当前神经网络研究的一个重要方向。
本文将以基于改进的BP神经网络的预测算法为主题，探讨神经网络预测算法的发展及其应用。
一、BP神经网络的基本原理BP神经网络是一种前向传播网络，采用误差反向传播算法（Back Propagation，BP）进行训练。
其基本结构由输入层、中间层和输出层三个部分组成。
其中，输入层是网络的输入，中间层是网络的隐藏层，用来处理信息传递，输出层是网络的输出。
网络是以权重矩阵为基础进行信息传递、信息转换、信息处理、信息输出的，使用的激活函数有sigmoid函数、tanh函数等。
BP神经网络的训练过程分为前向传播和反向传播两个阶段。
前向传播从输入层开始，逐层经过中间层到达输出层，以一种推导的方式计算出输出层的结果。
反向传播则利用误差的梯度下降方法，将输出层的误差逐层反向传播到输入层，调整每个神经元之间的连接权重，以使误差最小化，从而实现整个神经网络的训练。
二、BP神经网络在预测中的应用BP神经网络在时间序列预测、识别、分类、回归等方面都应用广泛。
例如在天气预测方面，可以通过BP神经网络来预测未来数日的温度、气压、湿度等参数；在股票预测方面，可以通过BP神经网络来预测未来一段时间股票的涨跌情况等。
此外，BP神经网络还有应用于语音识别、图像处理和模式识别等领域。
三、BP神经网络预测算法存在的问题然而，尽管BP神经网络有着广泛的应用前景，但是在实际的应用中，它也存在着一系列的问题。
其中最为关键的问题是训练速度慢、易过拟合等。
为了解决这些问题，学者们在实践中对BP神经网络进行了一系列的改进。
下面，我们将介绍一些典型的改进方法。
四、基于改进的BP神经网络算法1. 改进的BP神经网络算法经典的BP神经网络算法虽然在理论上具有一定的优越性，但是在实际中却存在很多问题，例如：容易过拟合、局部最小值等。
回声状态网络的神经元模型和拓扑结构优化研究
摘要近年来，随着人工智能技术的快速发展，回声状态网络（Echo state network, ESN）在非线性时间序列处理和动态预测系统方面表现出了一定的优势，受到了国内外研究学者的广泛关注。
作为一种改进的递归神经网络（Recurrent neural network, RNN），回声状态网络采用大规模稀疏连接的结构（动态储备池）作为隐含层，且只对输出连接权值进行调整，使整个训练阶段变得简单高效，克服了经典递归神经网络学习规则实现难度大，运行时间长等缺点，逐渐成为非线性时间序列预测任务的重要处理方法。
其中，隐含层作为信息处理的重要环节，对ESN模型的计算能力起着关键性作用。
然而，传统的ESN采用随机生成的储备池拓扑结构，其计算能力有限，难以满足一些高复杂度预测任务对于预测精度的要求。
此外，在构建新的储备池计算模型时，要尽量平衡预测精度和计算复杂度两个指标。
针对这两个问题，本文从储备池优化入手，包括拓扑结构和神经元模型两个方面，开展基于ESN 非线性时间序列预测精度提升的相关工作。
一方面，基于复杂网络理论，本文构建了无标度高聚类网络，验证了其小世界和无标度特性。
然后将该结构引入ESN储备池计算，成功建立了无标度高聚类ESN 计算模型。
最后，采用非线性自回归滑动平均模型和金融序列预测任务检验了所提出模型的优势。
实验结果表明：相较于传统的随机网络，多簇无标度结构因其具备小世界和无尺度特性有更好的计算能力。
另一方面，基于环状结构和漏积分神经元（leaky integrator neuron），构建了低复杂度ESNs。
为了和传统ESN进行性能比较，分别构建了随机ESN,环状ESN,随机漏积分ESN，环状漏积分ESN，混合环状漏积分ESN五种不同的ESN计算模型。
采用MGS（Mackey-Glass）混沌时间序列预测任务，分别从预测性能、抗噪声能力和非线性逼近性能三个方面对网络性能进行评估。
实验结果表明：简单的环状结构和随机结构性能相当；漏积分单元比传统的Sigmoid神经元具备更好的记忆性能；环状结构和漏积分神经元的结合显著地提高了ESN在MGS序列预测上的性能。
基于压缩感知的回声状态神经网络在时间序列预测中的应用
基于压缩感知的回声状态神经网络在时间序列预测中的应用压缩感知是一种信号处理技术，通过对信号进行稀疏表示和重构，从而实现高效的信号采样和重建。
在时间序列预测领域，压缩感知技术可以帮助我们更好地理解和预测数据的变化趋势，提高预测的准确性和效率。
回声状态神经网络（ESN）是一种基于循环神经网络的模型，具有快速的训练速度和强大的非线性建模能力。
本文将探讨基于压缩感知的回声状态神经网络在时间序列预测中的应用，并分析其在实际场景中的效果和优势。
一、压缩感知在时间序列预测中的应用压缩感知技术可以通过对信号进行稀疏表示和重构，实现高效的信号采样和重建。
在时间序列预测中，我们经常需要对过去一段时间内的数据进行分析和建模，以预测未来一段时间内的变化趋势。
传统的时间序列预测方法通常需要对长时间序列进行完整采样和建模，计算量大，且可能受到数据的高维和复杂结构的影响，导致预测的准确性和效率受到限制。
而压缩感知技术可以帮助我们更好地理解和利用时间序列数据的稀疏性和结构特点，从而实现对时间序列的高效采样和重建。
通过对时间序列数据进行稀疏表示和压缩，我们可以减少采样和存储的成本，提高数据的处理速度和存储效率，同时保持数据的重要信息和结构特点，从而更好地进行时间序列的预测和分析。
回声状态神经网络（ESN）是一种基于循环神经网络的模型，具有快速的训练速度和强大的非线性建模能力。
ESN模型通常由输入层、隐含层和输出层组成，其中隐含层的状态可以反馈到自身或输出层，形成一种回声状态网络结构，从而实现对时间序列数据的建模和预测。
ESN模型具有较少的参数和较快的训练速度，可以快速适应不同的时间序列数据，并具有较强的非线性建模能力，可以有效地处理复杂的时间序列变化趋势和结构特点。
ESN 模型在时间序列预测领域具有广泛的应用前景，可以帮助我们更好地理解和预测时间序列数据的变化趋势，提高预测的准确性和效率。
在实际应用中，基于压缩感知的ESN模型可以广泛应用于气象预测、股票市场分析、工业生产控制等领域，为实际生产和生活提供更准确、更高效的时间序列预测解决方案。
基于压缩感知的回声状态神经网络在时间序列预测中的应用
基于压缩感知的回声状态神经网络在时间序列预测中的应用1. 引言1.1 研究背景时间序列预测是许多领域中的重要问题，如气象预测、股票市场预测、交通流量预测等。
传统的时间序列预测方法通常依赖于大量的数据和复杂的算法，然而在实际应用中，有时候这些方法会面临数据稀疏、噪声干扰等问题，导致预测精度不高。
结合压缩感知和回声状态神经网络的方法，可以更好地处理时间序列预测中的挑战，提高预测精度和效率。
本文将探讨基于压缩感知的回声状态神经网络在时间序列预测中的应用，并通过实验验证其有效性。
这将为时间序列预测领域的研究和应用提供新的思路和方法。
1.2 研究意义基于压缩感知的回声状态神经网络在时间序列预测中的应用可以有效地提高模型的预测精度和泛化能力，同时减少训练和测试过程中的计算和存储开销。
通过优化压缩感知算法和回声状态神经网络的结构，可以更好地适应不同类型的时间序列数据，并且更好地处理数据中的噪声和异常值。
这种融合模型的研究和应用有助于推动时间序列预测技术的发展，提升各领域中时间序列数据分析的效率和准确性，具有广泛的应用前景和重要的社会意义。
1.3 研究目的研究目的是为了探究基于压缩感知的回声状态神经网络在时间序列预测中的应用效果。
通过本研究，我们旨在验证该模型在时间序列预测任务中的有效性和可靠性，探讨其在处理时间序列数据时的优势和局限性。
我们还希望通过实验结果分析，为进一步的研究提供参考和启示，为时间序列预测领域的发展和应用提供新的思路和方法。
通过明确研究目的，我们可以更好地确定研究的方向和目标，提高研究的科学性和实用性，为解决实际问题和推动学术进步做出贡献。
2. 正文2.1 压缩感知的原理压缩感知是一种用于还原或重建信号的新型方法，其核心思想是在信号经过稀疏变换后，能够通过极少量的线性投影来恢复原始信号。
其原理基于信号的冗余性和稀疏性，即信号在某个变换域中只有少数非零元素，而且这些非零元素通常可以通过线性组合来表示整个信号。
基于小波回声状态网络的时间序列预测
2.2. 回声状态网络模型
2.2.1. 回声状态网络模型结构 回声状态网络是一种新型的递归神经网络[3]，它是通过创建一个大规模的“储备池”代替传统神经 网络的隐层作来对系统的动态信息进行处理。回声状态网络的模型结构如图 2 所示。 回声状态网络由三部分组成，分别为输入层、储备池和输出层。输入信号 u ( k ) 与储备池之间经由输 储备池中有许多随机分布的神经元， 神经元节点之间经由内部连接权矩阵 W res 实 入连接权矩阵 W in 连接， 的输出组成， x ( k ) 经由输出连接权矩阵 W out 与输出层进行连接。储备池的主要作用就是对输入信号进行 处理，其中 W res 、 W in 、 W back 在网络初始化阶段随机产生，在其后的训练过程中保持不变，不需要再对 其进行训练。输出层的神经元数目与输入数目相等，其输出神经元是由一系列平行的神经元构成。在回 声状态网络中，只需要对 W out 这一个输出连接权进行训练，而且训练过程十分简单，只需要求解一个线 性回归问题。 假设回声状态网络具有 L 个输入单元、 M 个输出单元、 N 个内部信号处理单元。则输入数据单元
T
(3)
T
y (k ) = y1 ( k ) , y2 ( k ) , , yM ( k )
(4)
89
刘天慧 等
输入层 储备池 输出层
back
Figure 2. Echo state network model structure 图 2. 回声状态网络模型结构图
Abstract
In order to forecast time series with multi-scale characteristics better, the echo state network model is combined with wavelet analysis method to create a new prediction model which is wavelet echo state network. The original time series are processed with the Mallat algorithm and Daubechies wavelet based on wavelet multi-scale analysis theory that can respectively get the details of the different layers and overview part of sequences. Then different echo state network forecasting models are respectively created based on the different sequence characteristics to forecast and eventually add the forecast data of detail sequences and overview sequence to obtain the original time series prediction result. The simulation examples of forecast model for a country gross national product show that this model can well fit the development trend of time series and the forecast accuracy is higher.
基于改进型BP神经网络算法的流量预测模型构建
基于改进型BP神经网络算法的流量预测模型构建随着互联网技术的不断发展，大量的数据被生成，随之而来的是海量的数据应用需求，其中流量预测模型是其中一项非常重要的应用。
流量预测模型应用广泛，例如社交网络的用户活跃度预测、电子商务平台的销售预测、搜索引擎的流量预测等等。
因此，本文将重点讨论一种基于改进型BP神经网络算法的流量预测模型构建方法。
BP神经网络在流量预测方面具有一定的优势。
相较于传统的统计模型，BP神经网络具有更强的非线性拟合能力，更适用于复杂的系统建模。
但是在实际应用中，BP神经网络也存在着一些问题，例如训练时间慢、容易陷入局部最优解等等。
因此，本文将通过改进BP神经网络算法，提高流量预测的准确性和效率。
首先，我们需要对BP神经网络进行改进，以提高其预测精度。
我们可以对BP 神经网络中的梯度下降算法进行改进，以降低其陷入局部最优解的概率。
例如，可以采用动量梯度下降算法，引入动量因子来储存之前训练过程的历史梯度，以在梯度变化较小时，能够加速网络的收敛速度。
此外，我们还可以采用自适应学习率算法，在训练的初始阶段使用较大的学习率来加快收敛速度，待到网络接近收敛时降低学习率，以减少之后的震荡。
其次，我们需要对神经网络进行正确的输入数据预处理，以提高预测精度。
输入数据预处理是神经网络模型的一个重要环节，因为不同的处理方法会直接影响神经网络的预测精度。
我们可以通过分析所要预测的数据特点，选择合适的预处理方法。
例如，对于时间序列预测模型，我们可以采用差分法将数据转化为平稳序列，以去掉趋势和季节性等影响因素。
最后，我们需要对网络进行良好的训练和测试，以验证模型的准确性和效率。
网络的训练需要进行多次迭代，直到网络收敛。
测试阶段需要用新的数据集对模型进行验证，以检验其在新数据上的预测能力。
我们可以选择平均绝对误差（MAE）和均方误差（MSE）等指标来度量预测误差大小，以及误差率、准确率等指标来评估模型的性能。
总之，建立基于改进型BP神经网络算法的流量预测模型，并不是一件简单的任务。
ENS-回声状态网络
4.2 PSO算法简介
4.2 PSO算法简介
4.2 PSO算法具体描述
4.2 PSO算法流程
①给定训练数据集，并作规范化处理，初始化 ESN，获得状态矩阵B和教师信号T；
②根据输出权重Wout，初始化粒子的个数和位
置； ③根据粒子位置x和B、T，由BWout求出实际输
出层数据，并与T比较求出误差函数；
但是，PSO-ESN也有固有的缺陷：由于演化 粒子较多和迭代次数较多，使得模型训练时 间较长。因此，如何提高PSO-ESN的训练速 度是以后工作的重点。
谢谢！
回声状态网络
Echo State Network
第八组
第一章：绪论
人工神经网络（Artificial Neural Network） 是由大量处理单元互联组成的非线性、自 适应信息处理系统 。
人工神经网络按照性能分为两类： （1）静态神经网络 Static Neural Network （2）动态神经网络 Recurrent Neural Network 其中，动态神经网络又称为递归神经网络
4.2 PSO算法流程
④根据误差函数，评价每个粒子的使适应度 ；根据式子（5）和（6），更新每个粒子的 位置x和飞行速度V。检验速度是否越界，若 是，调整速度为算法规定的最大值；
⑤达到最大次数或误差达到设定值时候，学 习过程结束，否则返回③继续迭代。
4.3 小结
本章提出了一种基于PSO的回声状态网训练 方法，与传统方法相比，PSO-ESN在训练阶 段和预测阶段的性能都有较大幅度的提升， 能够在非常少的样本情况下，对复杂的序列 获的非常理想的预测精度，说明该算法有较 大的发展前景。
注：神经元激活函数的不同输入范围，其非
线性程度不同。
回声状态网络研究
回声状态网络研究张晋雁;陶宏才【摘要】回声状态网络是一种新型的递归神经网络,近年来引起诸多学者的关注,对回声状态网络的研究也逐步深入.系统介绍回声状态网络的网络结构、学习过程和主要参数,详细论述几种比较热门的改进算法以及回声状态网络目前的应用研究情况,归纳并且比较该算法与BP神经网络、SVM支持向量机等预测模型各自的优缺点以及适用范围,最后总结回声网络目前存在的问题以及未来的研究方向.【期刊名称】《成都信息工程学院学报》【年(卷),期】2015(030)006【总页数】5页(P546-550)【关键词】回声状态网络;储备池;递归神经网络【作者】张晋雁;陶宏才【作者单位】西南交通大学信息科学与技术学院,四川成都611756;西南交通大学信息科学与技术学院,四川成都611756【正文语种】中文【中图分类】TP1830 引言回声状态网络(echo state network，ESN)由 Jaeger[1]于2001年提出，在模型构建与学习算法方面较传统的递归神经网络有较大差别，其相应的学习算法为递归神经网络的研究开启了新纪元。
回声状态网络采用“储备池”代替传统神经网络中的隐层。
储备池由大量稀疏连接的神经元组成，并将输入信号从低维空间映射到高维空间，唯一需要训练的参数即为输出权值矩阵[2]。
这些特点大大简化了回声状态网络的训练算法和求解过程。
回声状态网络在时间序列预测[3－4]、非线性系统识别[5]、图像检测[6]等领域有广泛应用。
针对不同应用领域对回声状态网络的优化改进算法研究也日益倍增，研究方向主要针对储备池的优化。
标准回声状态网络的储备池是随机生成的，但是这并不代表随机生成的即为最优储备池。
所以，针对不同的应用问题，提出不同的储备池优化方法。
文献[7]提出一种最简储备池回声状态网络，构造出仅包含单个节点的储备池网络，简化储备池的拓扑结构。
韩敏等[8]提出一种多储备池回声状态网络，构建出一种多储备池ESN层次结构模型，每一层的核心组成是ESN，ESN 的核心组成又是储备池，由此形成的多储备池ESN具有强大的非线性系统建模能力。
基于互信息和Just-in-Time优化的回声状态网络
基于互信息和Just-in-Time优化的回声状态网络
张衡;王河山
【期刊名称】《郑州大学学报（工学版）》
【年(卷),期】2017(038)005
【摘要】为了提高回声状态网络(ESN)的适应性,提出基于互信息(MI)和Just-in-Time(JIT)的优化方法,对ESN的输入伸缩参数以及输出层进行优化,所得网络称为MI-JIT-ESN.ESN的优化方法分为两部分:一是基于网络输入与输出之间的互信息,对网络的多个输入伸缩参数进行调整;二是基于JIT优化的局部输出层,对ESN的隐层输出数据进行局部重新建模,从而提升ESN输出层的回归拟合精度.将MI-JIT-ESN应用于青霉素补料分批发酵过程建模.结果显示,MI-JIT优化方法能提高模型的适应性,并优于其他比较方法.
【总页数】6页(P1-6)
【作者】张衡;王河山
【作者单位】郑州大学电气工程学院,河南郑州450001;郑州大学电气工程学院,河南郑州450001
【正文语种】中文
【中图分类】TP183
【相关文献】
1.基于蚁群算法优化回声状态网络的研究 [J], 宋绍剑;王尧;林小峰
2.基于回声状态网络优化的宽间隔混沌跳频码预测 [J], 陈建华;马玉芳
3.基于优化回声状态网络的微电网等效建模 [J], 吴忠强;戚松岐;尚梦瑶;申丹丹
4.基于改进粒子群算法优化回声状态网络的时间序列预测 [J], 张亚楠;赵丽娜
5.基于优化回声状态网络的短期电力负荷预测 [J], 周璇;迟慧
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
预测算法无论是在仿真分析还是在实际应用中都发挥了重要作用遥以校园网为例袁出口带宽需要实时满足网络流量需求袁而校园网规模在不断扩大袁依据智能算法实现对网络流量的合理预测可以作为优化网络性能时的重要参考依据遥目前常用的预测算法主要有基于数据驱动的方法咱1-2暂袁如BP神经网络和极限学习机遥但是BP神经网络容易受梯度算法限制袁存在收敛速度慢尧全局搜索能力弱等问题曰而极限学习机虽然通过单隐层结构优化了神经网络部分性能袁但是在网络参数的确定方面存在着很大难题咱3暂遥作为一种全新的递归型神经网络袁回声状态网络渊ESN冤在学习训练中只需要设置隐层神经元个数袁就可通过调整储备池内部网络的权值来实现记忆数据的功能袁可以有效反映非线性系统的运行状态咱4暂遥为此袁我们以回声状态网络为基础袁对其进行改进袁构建合理的储备池规模袁以有效提高预测精度和效率袁更好地满足实际工程应用的需求遥1回声状态网络模型ESN是一种新型的递归神经网络袁主要由输入层尧储备池和输出层三部分构成袁其拓扑结构如图1所示遥在图1中袁空心圆代表神经元袁输入层具有K个神经元袁输出层具有L个神经元袁储备池具有N个神经元袁Win代表输入连接权值矩阵袁W是储备池到下一时刻的连接值矩阵袁Wout是输出连接权值矩阵袁Wback是反馈连接权值矩阵袁u渊t冤为输入向量袁x渊t冤为储备池状态向量袁y渊t冤为输出向量遥
设储备池内部神经元激励函数为fin
渊x冤袁则t+1时
刻ESN的网络状态更新方程咱5暂为x渊t+1冤=fin渊Winu渊t+1冤+Wx渊t冤+Wbacky渊t冤冤遥
设输出层神经元的激励函数为fout
渊x冤袁可以得到t+
1时刻ESN的输出方程咱5暂
为
y渊t+1冤=fout渊Wout渊u渊t+1冤袁x渊t+1冤袁y渊t冤冤冤遥
根据期望目标输出ytarget来确定Wout
袁以使得期望
目标输出ytarget和t+1时刻的ESN网络输出y渊t+1冤之间的差距尽可能小遥
一种基于改进回声状态网络的预测算法庄小叶1,李轲2渊1.潍坊工程职业学院信息工程系,山东青州262500曰2.火箭军士官学校作战保障系袁山东青州262500冤摘要院针对校园网流量非线性强袁常用预测算法预测效果不理想的问题袁通过分析回声状态网络模型的基本原理和固有缺陷袁提出了一种人工免疫粒子群算法对该模型进行改进袁并给出了储备池结构参数的计算方法遥通过实例进行验证袁证明了改善预测算法的有效性袁能满足对校园网流量实际预测的需求遥关键词院回声状态网络曰预测曰粒子群曰网络流量中图分类号院TP391文献标识码院A文章编号院2095-7726渊2019冤03-0027-03
第36卷第3期Vol.36No.3新乡学院学报JournalofXinxiangUniversity2019年3月Mar.2019
收稿日期院2018-11-10作者简介院庄小叶渊1983要冤袁女袁山东青州人袁讲师袁硕士袁研究方向院计算机科学与技术尧计算机网络技术遥
图1ESN拓扑结构图渊1冤渊2冤
xuy2改进ESN算法2.1问题描述ESN网络中储备池的规模袁即储备池的内部神经
元的个数N和内部连接权值矩阵谱半径R对网络性能有着较大影响遥储备池的规模越大袁其内部所含神经元个数越多袁储备池中蕴含的非线性信息就越多袁ESN对动态系统的描述也就越准确咱6-7暂遥但是过大的储备池
规模会导致ESN网络的过拟合袁故需要根据输入样本的数量袁结合智能优化算法对储备池的内部神经元的个数N进行优化选择遥储备池内部连接权值矩阵谱半径R是权值矩阵W中绝对值最大的特征值袁但是目前对上述结构参数还缺少系统性获取方法袁这就影响了算法的实际效果遥2.2人工免疫粒子群算法对ESN的改进
我们将人工免疫算法和PSO算法相结合袁通过优化ESN储备池内神经元个数N和内部连接矩阵谱半径R袁达到改善网络预测性能的目的遥适应度函数的构建方法如下遥渊1冤构建免疫系统遥系统由L个基因长度为M的
抗体组成袁这里L为种群规模袁基因长度M代表转换为二进制编码的参数位数遥抗体代表待优化的参数组合袁待优化的参数有储备池的规模N和内部连接矩阵谱半径R遥N和R的取值范围需要根据实际情况确定袁进而确定基因的长度L遥渊2冤计算抗体的平均信息熵
渊3冤计算总相似度渊4冤定义抗体浓度Ci为相似抗体占总群体的比例袁人
工免疫粒子群算法IAPSO中抗体i的免疫适应度函数为
其中袁k为常数袁f为适应度函数遥2.3算法的实现步骤
渊1冤构建IAPSO网络袁并且定义待优化参数的全
局最优解为抗原袁初始化网络参数遥渊2冤计算抗体的免疫适应度袁获得每个抗体和整个
群体的最优位置Pid渊i冤和Pgd
袁按照PSO的位置和速度
更新公式袁更新Pid渊i冤和Pgd
遥
渊3冤组建抗体记忆库遥按照免疫适应度对抗体进行
排序袁取免疫适应度最大的前20%个抗体组建抗体记忆库遥渊4冤组建新抗体群遥若渊2冤中产生的抗体全局最优
值Pgd是新的袁则随机产生H个新抗体曰否则从抗体记忆库中随机抽取H个抗体袁形成一个新的数量为H+L的新抗体群遥渊5冤新抗体群的变异操作遥将每个抗体由十进制编
码转换为二进制编码袁从新抗体群中选择L个抗体进行基因的交叉尧变异袁获得子代抗体群袁更新抗体库的基因编码渊即粒子位置冤遥渊6冤免疫选择遥若渊5冤中交叉变异获得的抗体免疫
适应度不如父代袁则选择原来的抗体遥渊7冤计算抗体群中所有抗体的免疫适应度袁若得到
的新Pgd比历史Pgd更好袁则更新Pgd
遥
渊8冤更新粒子速度遥渊9冤终止操作遥如果适应度达到目标阈值或者到达
最大迭代次数袁则算法终止曰否则重复渊2冤到渊8冤遥3实例分析
为了验证本文所提方法的有效性袁以某学校校园网管理中心监测的某段时间内的网络流量为基础进行具体分析遥为了方便计算袁以理论峰值流量为分母袁对网络流量数值进行归一化处理遥以1s作为间隔时间采集高峰时段校园网流量数据172组袁前110组作为训练数据袁后62组作为测试数据遥利用本文中的方法袁按照2.3中给出的步骤进行训练袁得到储备池规模N=44袁内部连接矩阵谱半径R=0.55遥预测起始点为第111组样本袁预测结果以及预测误差分别如图2和图3所示遥由图2可以看出袁预测值非常接近真实值袁能够很好地跟随真实值的变化过程遥图3描述了各点的预测误差遥经计算袁其平均绝对误差尧均方根误差尧平均绝对百分比误差以及相对均方根误差分别为0.0143尧0.0187尧0.0163和0.0214袁从总体平稳性角度以及总
体跟随性角度反映出了较理想的预测效果遥作为对比袁我们采用相同的训练与预测区间袁利用传统ESN法进行预测袁结果如图4所示遥从图4可以看出传统ESN法的预测结果与实际值间存在较大的误差遥这主要是由于原储备池参数限制了ESN最优的规模结构袁影响了对非线性关系的描述能力袁预测效果远不如改进后的ESN网络遥
新乡学院学报渊3冤1()1()AL
HL=
+。
渊4冤
IAexp()iiiffkC×=×,渊5冤
11()()MjjHLHLM=
=å。
28窑窑4结束语针对校园网流量预测非线性强尧传统方法预测效果不佳的问题袁以回声状态网络为基础袁采用人工免疫粒子群进行改进袁合理优化了储备池内部的规模参数遥实例分析表明院本文所提方法可以有效改善回声状态网络预测性能袁能够满足校园网流量实际预测需求遥参考文献院咱1暂JAEGERH,HASSH.Harnessingnonlinearity:predictingchaoticsystemsandsavingenergyinwirelesscommunication咱J暂.Science,2004,304渊5667冤:78-80.咱2暂DEIHIMIA,SHOWKATIH.Applicationofechostatenetworksinshort-termelectricloadforecasting咱J暂.Energy,2012,39渊1冤:327-340.咱3暂杜占龙袁李小民袁郑宗贵袁等.基于正则化与遗忘因子的极限学习机及其故障预测中的应用咱J暂.仪器仪表学报,2015袁36渊7冤院1546-1553.
咱4暂LUNSX,YAOXS,QIHY,etal.Anovelmodelofleakyintegratorechostatenetworkfortime-seriesprediction咱J暂.Neurocomputing,2015,159渊2冤:58-66.咱5暂李丁园,刘富,乔俊飞.一种基于脑网络的分层模块化回声状态网络咱J暂.机械工程学报袁2015袁51渊22冤院128-134.咱6暂罗熊袁黎江袁孙增圻.回声状态网络的研究进展咱J暂.工程
科学学报袁2012袁34渊2冤院217-222.咱7暂许美玲袁韩敏.多元混沌时间序列的因子回声状态网络
预测模型咱J暂.自动化学报袁2015袁41渊5冤院1042-1046.揖责任编辑梅欣丽铱
图2改进ESN算法的预测结果图3改进ESN算法的预测误差
图4传统ESN算法的预测结果PredictingAlgorithmBasedonModifiedEchoStateNetworkZHUANGXiaoye1袁LIKe2
渊1.DepartmentofInformationEngineering,WeifangEngineeringVocationalCollege,Qingzhou262500,China;2.DepartmentofCombatSupport,RocketSergeantAcademy,Qingzhou262500,China冤
Abstract:Tosolvetheproblemofthestrongnonlinearcampusnetworkflowandtheundesirablepredictingeffect,analgorithmbasedonartificialimmuneparticleswarmoptimizationwasusedtomodifytheESN(echostatenetwork)accordingtothestudyontheESNtheoryandinherentdisadvantages.Meanwhile,theestablishmentofstructureparameterswasproposed.Themethodhasbeenverifiedbytherealsampleforimprovingtheeffectivenessandfulfillingthepredictingrequires.Keywords:echostatenetwork;predicting;particleswarm;networkflow
庄小叶,李轲院一种基于改进回声状态网络的预测算法29窑窑