混沌时间序列局域偏最小二乘回归多步预测模型

１引言

混沌是指由确定系统在复杂因素作用下产生的、貌似随机的不规则运动，是自然界客观存在的一类重要的形式，人们通常取得该系统的一个特征观察量时间序列进行分析研究。首先混沌现象对初始条件非常敏感，使混沌运动产生了长期不可预测的特性；但是混沌蕴含着有序其运动轨机逃逸不出奇异吸引子的约束，使得短期预测可行。混沌时间序列分析在物理、水文、电力等众多的非线性动力系统的建模及预测中具有很好的应用价值。

可以使用混沌时间序列分析方法来研究非线性动力系统的复杂结构，其前提条件是首先使用该序列重构原混沌系统的相空间。混沌时间序列预测是混沌时间序列分析的重要形式，自Ｆａｍｍｅｒ等提出混沌时间序列零阶局域预测方法以来［１］，混沌时序局域预测得到了广泛的应用。局域预测方法基于相邻的相点具有相似的发展趋势这一假设，选择与预测相点近邻的相点进行预测模型的参数识别。局域预测方法包括零阶和一阶局域预测及其加权形式，其中一阶局域预测在混沌时间序列预测中使用最为普及［２］。以往一阶局域法单步预测模型进行多步预测存在误差累积问题，文献［３］提出了加权一阶局域多步预测模型。但是一阶局域方法没有考虑重构相空间延时坐标维可能存在多重共线性和算法中选择的临近点数少于嵌入维问题，这样普通最小二乘回归将无法很好解决。

文中提出使用局域偏最小二乘回归建立混沌时间序列的直接多步预测模型，不仅提高了模型的适应性，而且在建模预测过程中能同时利用参考相点当前及将来的信息。

２混沌序列分析理论及预测方法

相空间重构理论指出：任一非线性系统的动力

混沌时间序列局域偏最小二乘回归多步预测模型

廖辉传，刘遵雄

（华东交通大学信息工程学院，江西南昌３３００１３）

摘要：针对混沌序列局域一阶多步预测问题，提出了基于偏最小二乘回归的混沌时间序列局域直接多步预测模型，偏最小二乘用于混沌时序重构相空间中演化轨迹前后相点信息间的建模。该模型克服了以往一阶局域单步预测模型进行多步预测时存在的误差累积，而且能抑制重构相空间中多重共线性的影响，提高了预测精度。试验中使用交叉验证方法将偏最小二乘的提取成分数。通过对Ｃｈｅｎ’ｓ混沌序列和Ｍａｃｋｅｙ－Ｇｌａｓｓ混沌序列的多步预测试验，验证了该模型在混沌时序预测方面具有很好的效果。

关键词：混沌序列；多步预测；偏最小二乘回归；局域模型

中图分类号：Ｏ２３文献标识码：Ａ文章编号：１０００－７１８０（２００７）０４－０１９３－０４

Ｍｕｌｔｉ－ＳｔｅｐＬｏｃａｌＰｒｅｄｉｃｔｉｏｎＭｏｄｅｌｗｉｔｈＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓ

ｆｏｒＣｈａｏｔｉｃＴｉｍｅＳｅｒｉｅｓ

ＬＩＡＯＨｕｉ－ｃｈｕａｎ，ＬＩＵＺｕｎ－ｘｉｏｎｇ

（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＥａｓｔＣｈｉｎａＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｃｈａｎｇ３３００１３，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｃｏｎｓｉｄｅｒｉｎｇｃｈａｏｔｉｃｔｉｍｅｓｅｒｉｅｓｍｕｌｔｉ－ｓｔｅｐｐｒｅｄｉｃｔｉｏｎ，Ｍｕｌｔｉ－ｓｔｅｐｄｉｒｅｃｔｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎｐａｒｔｉａｌｌｅａｓｔｓｑｕａｒｅｓ（ＰＬＳ）ｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ，ｗｈｅｒｅＰＬＳ，ｔｈｅｍｅｔｈｏｄｆｏｒｐｒｅｄｉｃｔｉｎｇａｓｅｔｏｆｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｆｏｒｍａｌａｒｇｅｓｅｔｏｆｐｒｅｄｉｃｔｏｒｓ，ｉｓｕｓｅｄｔｏｍｏｄｅｌｔｈｅｄｙｎａｍｉｃｅｖｏｌｕｔｉｏｎｂｅｔｗｅｅｎｔｈｅｓｐａｃｅｐｏｉｎｔｓａｎｄｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｆｕｔｕｒｅｐｏｉｎｔｓ．Ｔｈｅｍｏｄｅｌｃａｎｅｌｉｍｉｎａｔｅｅｒｒｏｒａｃｃｕｍｕｌａｔｉｏｎｗｉｔｈｔｈｅｃｏｍｍｏｎｓｉｎｇｌｅ－ｓｔｅｐｌｏｃａｌｍｏｄｅｌａｌｇｏｒｉｔｈｍ，ａｎｄｒｅｆｒａｉｎｆｒｏｍｔｈｅｈｉｇｈｍｕｌｔｉｃｏｌｌｉｎｅａｒｉｔｙｐｒｏｂｌｅｍｉｎｔｈｅｒｅｃｏｎｓｔｒｕｃｔｅｄｓｔａｔｅｓｐａｃｅｗｉｔｈｔｈｅｉｎｃｒｅａｓｅｏｆｅｍｂｅｄｄｉｎｇｄｉｍｅｎｓｉｏｎ．Ｉｎｔｈｅｅｘｐｅｒｉｍｅｎｔｓ，ｔｈｅｎｕｍｂｅｒｏｆｅｘｔｒａｃｔｅｄｃｏｍｐｏｎｅｎｔｓｉｎＰＬＳｉｓｓｅｔｗｉｔｈｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎｐｒｏｃｅｄｕｒｅ．ＳｉｍｕｌａｔｉｏｎｐｒｅｄｉｃｔｉｏｎｓａｒｅｄｏｎｅｏｎｔｈｅＣｈｅｎ’ｓａｎｄＭａｃｋｅｙ－Ｇｌａｓｓｃｈａｏｔｉｃｔｉｍｅｓｅｒｉｅｓｗｉｔｈｔｈｅｍｏｄｅｌ，ｔｈｅｓａｔｉｓｆｙｉｎｇｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｉｓｏｂｔａｉｎｅｄａｎｄｔｈｅｍｏｄｅｌｅｆｆｉｃｉｅｎｃｙｖｅｒｉｆｉｅｄ．

Ｋｅｙｗｏｒｄｓ：ｃｈａｏｔｉｃｔｉｍｅｓｅｒｉｅｓ；ｍｕｌｔｉ－ｓｔｅｐｐｒｅｄｉｃｔｉｏｎ；ｐａｒｔｉａｌｌｅａｓｔｓｑｕａｒｅｓ；ｌｏｃａｌｍｏｄｅｌ

收稿日期：２００６－０４－２８

学信息包含在该系统任一变量的时间序列中，把单变量的时间序列嵌入到新的坐标系中所得到的状态轨迹（相点轨迹）保留了原空间状态轨迹的最主要特征。

对一个复杂的混沌系统，通常考察一个单维的混沌时间序列｛ｘ

ｔ

，ｔ＝１，２，…，ｎ｝根据相空间重构理论

可以生成该序列在ｍ维相空间的相点为：Ｘ（ｔ）＝（ｘ（ｔ），ｘ（ｔ－τ），…，ｘ（ｔ＝（ｍ－１）τ））；式中ｔ＝（ｍ－１）τ＋１，…，ｎ；τ为时滞；ｍ为嵌入维。

根据Ｔａｋｅｎｓ定理［４］，适当选择τ，ｍ（ｍ≥２ｎ＋１，ｎ，ｎ为混沌吸引子维数），存在确定性映射Ｆ（ｍ）：Ｒｍ→Ｒｍ，使得

Ｘｔ＋１＝Ｆ（ｍ）（Ｘｔ）（１）

为了使用局域预测方法预测时序Ｘ

ｔ

点的下一步值Ｘ!ｔ＋１，通常根据欧式距离：

ｄ２（Ｘｔ，Ｘｔ１）＝∑ｍ

ｉ＝１（ｘｔ－（ｉ－１）τ－ｘｔ１－（ｉ－１）τ）２

$（２）

在相空间中找出一定数目的Ｘ

ｔ近邻相点｛Ｘｎ

ｔｉ｝ｋｉ＝１及其

后续相点的信息对式（１）进行建模处理，求出表征系统动力学演化特征的函数关系Ｆ（ｍ），从而可以求出预测参考点Ｘ（ｔ）的下一演化状态点Ｘ!（ｔ＋１），Ｘ!ｔ＋１就是Ｘ!（ｔ＋１）的一维坐标值。这里建模问题的输入输出为相点信息，使用偏最小二乘回归求解模型。

３偏最小二乘回归

偏最小二乘回归ＰＬＳ（ＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓ）［５］是一种多因变量对多自变量的回归建模方法，在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，可以用于处理经典回归无法解决的自变量间多重相关性和观察样本少于变量个数等问题。偏最小二乘回归不仅提供更为合理的回归模型，而且易于辨识系统信息与噪声，对因变量也有较强的解释能力。

考虑使用ＰＬＳ对两组观察变量建模问题，其中ｘ%&Ｎ表示维自变量，ｙ%&Ｍ是Ｍ维因变量。偏最小二乘回归通过使用得分向量组对ｙ和ｘ进行建模。假设存在ｎ个数据样本，从而形成关于自变量和因变量的矩阵，并变换各列使之均值为零，有（ｎ×Ｎ）维自变量矩阵Ｘ和（ｎ×Ｍ）维自变量矩阵Ｙ，ＰＬＳ将这两个矩阵分别进行分解为

Ｘ＝ＴＰＴ＋Ｆ

Ｙ＝ＵＱＴ＋Ｇ（３）其中，Ｔ，Ｕ是Ｘ和Ｙ提取的ｐ个潜在成分的（ｎ×ｐ）维矩阵；Ｐ和Ｑ是分别是Ｘ和Ｙ的荷载矩阵，维数各自为Ｎ×ｐ，Ｍ×ｐ；Ｆ，Ｇ表示残差矩阵。经典的ＰＬＳ算法是ＮＩＰＡＬＳ（ｎｏｎｌｉｎｅａｒｉｔｅｒａｔｅｄｐａｒｔｉａｌｌｅａｓｔｓｑｕａｒｅｓ）算法，需要求取满足下式的投影向量组ｗ

和ｃ：

ｃｏｖ（ｔ，ｕ

’(

）２＝ｃｏｖ（Ｘｗ，Ｙｃ

’)

）２

＝ｍａｘ

ｒ＝ｓ＝１

ｃｏｖ（Ｘｒ，Ｙ

’)

ｓ２（４）其中，ｃｏｖ（ｔ，ｕ

’)

）＝ｔＴｕ／ｎ表示成分向量ｔ与ｕ间的协方差。ＮＩＰＡＬＳ算法首先将Ｙ的成分向量ｕ进行随机初始化，然后重复以下过程直到过程收敛：

①ｗ＝ＸＴｕ／（ｕＴｕ）②‖ｗ‖→１③ｔ＝Ｘｗ

④ｃ＝ＹＴｔ（ｔＴｔ）⑤‖ｃ‖→１⑥ｕ＝Ｙｃ

事实上投影向量ｗ的求解对应着以下特征值问题

ＸＴＹＹＴＸｗ＝"ｗ（５）的第一个特征向量的求解，Ｘ的潜在成分向量ｔ＝Ｘｗ，同理可以求取对应Ｙ的成分向量ｕ和投影向量ｃ［６］。而且成分向量ｔ可以直接通过求解特征值问题ＸＸＴＹＹＴｔ＝"ｔ的第一个特征向量得出，Ｙ的潜在成分向量ｕ可以使用ｕ＝ＹＹＴｔ估计。

最终求的偏最小二乘回归模型是

Ｙ!＝ＸＢｐｌｓ（６）

其中，Ｂ

ｐｌｓ

＝ＷＢＣＴ，Ｗ是求解的ｋ次Ｘ投影向量ｗ组

成Ｗ＝［ｗ

１

，ｗ２，…，ｗｋ］，同样Ｃ是Ｙ的ｋ次投影向量ｃ构成。Ｂ是对角矩阵，其元素是ｋ次Ｘ的潜在成分向量ｔ的模的倒数。

４混沌序列局域偏最小二乘回归直接多步预测算法

文中提出将偏最小二乘回归用于混沌时序的

多步预测，对于给定的混沌时序｛ｏ

ｔ

，ｔ＝１，２，…，ｎ｝，根据有关算法求得其重构相空间的嵌入维ｍ和延时τ后，生成序列相点ｏ（ｔ）＝（ｏ（ｔ），ｏ（ｔ－τ），…，ｏ（ｔ－（ｍ－

１）τ）），标示为｛ｏｉ｝ｎ－（ｍ－１）τ

ｉ＝１

，其中ｔ＝（ｍ－１）τ＋１，…，ｎ。假设需要在ｔ＝ｎ点进行步长为ｌ的多步预测，则预测

中心相点为ｘ

ｐｒｅ

＝ｏｎ－（ｍ－１）τ，其算法如下：

①对于第ｓｔｅｐ步预测（ｓｔｅｐ≤ｌ），根据当前相点和其后续ｓｔｅｐ步相点信息构造相点与其ｓｔｅｐ步相

点对（这里为行向量），ｘ

ｉ

＝ｏｉ，ｙｉ＝ｏｉ＋ｓｔｅｐ，其中ｉ＝１，…，ｎ－（ｍ－１）τ－ｓｔｅｐ。

②在相点集ｘｉ找出一定数目的预测中心相点ｏｎ－（ｍ－１）τ的近邻点，该数目可以根据试算取得（通常与

相点维数ｍ成比例，假设为２ｍ）。将求得的ｘ

ｉ

点与

对应的ｙ

ｉ

点构成偏最小二乘回归的自变量ｘ和因

变量值ｙ对｛ｘｉ，ｙｉ｝２ｍ

ｉ＝１，并形成自变量和因变量矩阵

Ｘ，Ｙ。

③将Ｘ，Ｙ进行标准化处理，调用偏最小二乘回归算法建立局部模型，求得回归系数矩阵Ｂｐｌｓ。

④将预测中心相点ｘｐｌｓ使用与Ｘ处理时相同

的中间数据进行标准化，根据式（６）求值并进行反标准化处理得ｙ!ｐｒｅ，则时序在ｎ＋ｓｔｅｐ点的预测值就是

ｙ

!ｐｒｅ的第一维坐标值。⑤重复以上步骤直到完成了从时序ｎ点始的ｓｔｅｐ步预测。

５预测实例５．１Ｃｈｅｎ’ｓ混沌序列

Ｃｈｅｎ’ｓ混沌吸引子由如下三维自治系统所产

生

ｘ

!＝ａ（ｙ－ｘ）ｙ

!＝（ｃ－ａ）ｘ－ｘｚ＋ｃｙｚ

!＝ｙ－ｂ!

#####"#####$

ｚ（７）

其中，参数ａ＝３５，ｂ＝３，ｃ＝２８。取初值ｘ（０）＝０，ｙ（０）＝１，ｚ（０）＝０；积分时间步长ｈ＝０．００１。用４阶Ｒｕｎｇｅ－Ｋｕｔｔａ法积分方程组（７），除去前面１０００个过渡点，用后面９０００个点作为训练样本，５０００个点作为测

试样本，用局域偏最小二乘回归模型进行多步预测。重构相空间的参数选取为：嵌入维ｍ＝８，时间延迟τ＝１０。图１是局域偏最小二乘回归模型模型对

Ｃｈｅｎ’ｓ混沌序列进行多步预报的结果，可见预测值

拟合真实值效果较好。

５．２

Ｍａｃｋｅｙ－Ｇｌａｓｓ混沌序列

考察Ｍａｃｋｅｙ－Ｇｌａｓｓ延时微分动力学方程

ｘ!（ｔ）＝０．２ｘ（ｔ－τ）

１＋ｘ１０

（ｔ－τ

）－０．１ｘ（ｔ）（８）

产生的这一广泛使用的混沌时间序列的建模预测的用例。使用４阶Ｒｕｎｇｅ－Ｋｕｔｔａ算法求解以上微分方程生成并整数点值后隔１０取样得到需要的时间

序列值｛ｘｔ｝Ｎ

ｔ＝１，取ｘ０＝１．２，τ＝１７；并且当ｔ＜０时，ｘｔ＝０。

根据通常的ＭＧ时间序列预测的惯例有，该序列重构相空间的嵌入维ｍ＝４，延时Δ＝６，所以已知ｔ时时间序列值ｘｔ，构造的相点形式为ｘｔ＝（ｘｔ，ｘｔ－６，ｘｔ－１２，ｘｔ－

１８

），构造１０００个相点点｛ｘｔ｝１１１７ｔ＝１１８。使用局域偏最小二

乘回归模型对该序列进行５次１００步预测，预测起始点分别为序列的５２８、６２８、７２８、８２８和９２８。使用两种指标评价系统的预测性能，第一种为平均绝对

百分误差，ＭＡＰＥ＝

∑ｎｔ＝１

ｘｔ－ｘ

&ｔｘｔｎ

×１００，其中ｎ为进

行多步预测的预测点数，此处ｎ＝１００；第二种绝对百

分误差，ＡＰＥ＝

ｘｔ－ｘ

&ｔｘｔ

×１００，其中ｘｔ，ｘ

"ｔ分别为时间ｔ点的真实值和预测值。将５次预测结果的ＭＡＰＥ指标和ＡＰＥ指标落在［０，１］，［１，３］和［３，∞］三个区间的比率列于表１。

根据表１可看出，使用局域偏最小二乘回归多步预测模型对ＭＧ时间序列进行多大１００步预测，五次预测的ＭＡＰＥ指标最大不超过２，显示了非常理想的预测精度，当然也可以进行更长步数的多步预测，从而也验证了ＭＧ时间序列良好的预测性，图２给出了使用本方法以５１８为起始点进行３００步预测的预测值和真实值曲线，从图中知道使用局域偏最小二乘回归多步预测方法对该ＭＧ时序以５１８为起始点进行２００步预测，预测值曲线和真实值曲线几乎重合，２００点后的１００个点预测值曲线也基本拟合了真实值曲线形态，差别很小。根据图１和图２，随着预测步增大，预测误差相应增大，这符合混沌系统长期行为预测存在局限性特点。

偏最小二乘回归能解决自变量间存在多重共线性的多元回归问题，这对于基于相空间重构的混沌预测具有实在意义，因为在重构混沌序列的相空间时如果选择的嵌入维过大则有可能会存在嵌入

表１５次１００步预测结果的ＭＡＰＥ值和

ＡＰＥ

值落在不同区间的比率

预测起始点

５１８６１８７１８８１８９１８ＭＡＰＥ０．７３９０２１．８０３２１．１７８６１．２３５０．４１４２５

ＡＰＥ≤１（％）６７３６６１６０９４１≤ＡＰＥ≤３（％）３３４３３４２７６ＡＰＥ≥３（％）

０

２１

５

１３

０

维属性间的多重共线性和信息冗余问题，这是一阶局域线性回归无法解决的问题，这里将ＭＧ时序重构相空间的嵌入维定义为４到９时，使用本方法以

５１８为其始点进行３００步预测，比较这几次试验的

预测结果。在试验中偏最小二乘回归提取的成分数根据交叉验证方法给定，使用的近邻点数大约为重构相空间的嵌入维数的２倍，图３给出了嵌入维分别为４，６和８时预测的３００点的绝对百分误差

ＡＰＥ的曲线图。表２给出了在嵌入维不同情况下３００步预测的ＭＡＰＥ指标值。结果显示在嵌入适当

增大的情况下局域偏最小二乘多步预测模型的预测性能没有受到影响，因为ＰＬＳ克服了传统最小二乘回归方法的不足，可以用于处理自变量间的共线性问题。图３说明嵌入维在４，６和８时进行１００步模型预测结果都比较理想，预测步长增大预测性能变差。

使用局域偏最小二乘多步预测模型进行预测时涉及到近邻点选择的问题和ＰＬＳ成分提出的问题，它们一定程度影响了预测效果，这也是其它混沌序列局域预测方法和因子处理方法共有的问题。

６结束语

综上所述，文中提出的局域偏最小二乘回归多

步预测方法在混沌时序预测中获得了很好的精度，借助偏最小二乘回归可以解决多因变量对多自变

量回归问题的特点，使用相点的前后演化规律在相点间建模，用于解决混沌时序的多步预测问题。同时偏最小二乘回归具备处理多重共线性的优点，载嵌入维选择过大的情况下也显示了很好的预测效果。今后，将局域偏最小二乘回归多步预测方法推广到实际的工程应用中，并研究近邻点选取和ＰＬＳ过程中成分数提取的问题。

参考文献：

［１］

ＦｒａｓｅｒＡＭ，ＳｗｉｎｎｅｙＨＬ．Ｉｎｄｅｐｅｎｄｅｎｔｃｏｏｒｄｉｎａｔｅｓｆｏｒｓｔｒａｎｇｅａｔｔｒａｃｔｏｒｓｆｒｏｍｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ［Ｊ］．Ｐｈｙｓ．Ｒｅｖ，Ａ１９８６，３３：１１３４

［２］丁涛，周惠成．混沌时间序列局域预测方法［Ｊ］．系统工程

与电子技术，２００４，２６（３）：３３８￣４００

［３］ＣａｉＭＬ，ＣａｉＦ，ＳｈｉＡＧ，ｅｔａｌ．Ｃｈａｏｔｉｃｔｉｍｅｓｅｒｉｅｓｐｒｅ－

ｄｉｃｔｉｏｎｂａｓｅｄｏｎｌｏｃａｌ－ｒｅｇｉｏｎｍｕｌｔｉ－ｓｔｅｐｓｆｏｒｅｃａｓｔｉｎｇｍｏｄ－ｅｌ［Ｊ］．ＬｅｃｔＮｏｔｅｓＣｏｍｐｕｔＳＣ，２００４，３１７４：４１８￣４２３［４］ＴａｋｅｎｓＦ．Ｄｅｔｅｃｔｉｎｇｓｔｒａｎｇｅａｔｔｒａｃｔｏｒｓｉｎｆｌｕｉｄｔｕｒｂｕｌｅｎｃｅ．

Ｓｐｒｉｎｇｅｒｌｅｃｔｕｒｅｎｏｔｅｓｉｎｍａｔｈｅｍａｔｉｃｓ［Ｊ］．Ｂｅｒｌｉｎ，Ｓｐｒｉｎｇｅｒ，

１９８１，８９８：３６６￣３８１

［５］王惠文．偏最小二乘回归方法及其应用［Ｍ］．北京：国防

工业出版社，１９９９

［６］Ｈ$ｏｓｋｕｌｄｓｓｏｎＡ．ＰＬＳｒｅｇｒｅｓｓｉｏｎｍｅｔｈｏｄｓ［Ｊ］．Ｊｏｕｒｎａｌｏｆ

Ｃｈｅｍｏｍｅｔｒｉｃｓ，１９８８，２：２１１￣２２８

作者简介：

廖辉传

男，硕士，讲师。研究方向为数据库、机器学习、非线性时间序列分析。刘遵雄

男，博士，副教授。研究方向为机器学习、

非线性时间序列分析及其在网络行为分析中的应用

。

表２

不同嵌入维３００步预测ＭＡＰＥ

嵌入维

４５６７８９

ＭＡＰＥ２．０８８９１．６１４１１．７０２７２．０２２５１．５９３３１．３９９９