时间序列分析与综合--ARMA模型的阻尼最小二乘法

论文题目：ARMA模型的阻尼最小二乘法班级：姓名：学号：指导教师：摘要ARMA模型是将实际问题利用时间序列建立起的模型，只要把ARMA模型的参数估计出来，实际问题就能解决了。

本文只对讨论了ARMA模型参数的优化理论估计方法的一种：阻尼最小二乘法。

非线性时间序列ARMA模型参数的优化估计法一阻尼最小二乘法，它结合了Newton法和最速下降法的优点，既保证了迭代计算的收敛性，又加快了收敛的速度。

当初值的精度较差时，更宜采用阻尼最小二乘法。

本文给出实例的MATLAB程序，并利用t统计量检验出阻尼最小二乘法要比最小二乘法的参数估计值更为显著，拟合模型更优。

关键词：非线性；阻尼最小二乘法；ARMA；MATLABAbstractARMA model is to establish a real problem using time series models, As long as the ARMA model parameters estimated from the actual problem can be solved. Nonlinear time series ARMA model parameter optimization estimation method—Damped least squares method, It combines the advantage of Newton method and the steepest descent method, It not only ensures the convergence of iterative calculations, but also accelerate the speed of convergence. When the accuracy of the original value is poor, it better to using qualified damped least squares method. This paper gives examples of the MATLAB program,And use the t-statistic tests the damped least squares method more significant than the method of least squares parameter estimates, and better fitting model.Keywords: Nonlinear; Damped least squares method; ARMA; MATLAB1.引言时间序列分析是数理统计中的一个重要分支，用随机过程理论和数理统计方法研究随机数据序列的规律。

时间序列分析提供了一套具有科学依据的动态数据处理方法，该方法的主要手段是对各种类型的数据采用相应的数学模型去近似描述。

通过对模型的分析研究，便可更本质地了解数据的内在结构和复杂特性，从而达到预测其发展趋势并进行必要的控制的目的。

随着新经济和网络时代的到来，无论是自然科优化算法学领域，社会科学领域，还是国家宏观管理和企业生产经营管理，甚至与人们的日常生活，信息需求量日益增多，信息处理技术更加复杂，而时间序列分析可以解决相关问题，ARMA模型是将实际问题利用时间序列建立起的模型，只要把ARMA模型的参数估计出来，实际问题就能解决了．ARMA模型参数估计方法大致可分为三类，一类是由时序理论本身发展的参数估计方法，称为ARMA模型参数的时序理论估计方法；另一类是将优化理论中的迭代算法用于模型参数估计，称为ARMA模型参数的优化理论估计方法，第三类是将控制理论中差分模型的参数估计方法用于ARMA模型参数估计，称为ARMA模型参数的控制理论估计方法．2.时间序列分析方法2.1 描述性时序分析早期的时序分析通常都是通过直观的数据比较或绘图观测，寻找序列中蕴含的发展规律，这种分析方法就称为描述性时序分析。

古埃及人发现尼罗河泛滥的规律就是依靠这种分析方法。

而在天文、物理、海洋学等自然科学领域，这种简单的描述性时序分析方法也常常能使人们发现意想不到的规律。

描述性时序分析方法具有操作简单、直观有效的特点，它通常是人们进行统计时序分析的第一步。

2.2 统计时序分析随着研究领域的不断扩展，人们发现单纯的描述性时序分析有很大的局限性。

在金融、保险、法律、人口、心理学等社会科学研究领域，随机变量的发展通常会呈现处非常强的随机性，想通过对序列简单的观察和描述，总结出随机变量发展变化的规律，并准确预测处它们将来的走势通常是非常困难的。

为了更准确地估计随机序列发展变化的规律，从20 世纪20 年代开始，学术界利用数理统计学原理分析时间序列。

研究的重心从表面现象的总结转移到分析序列值内在的相关关系上，由此开辟了一门应用统计学科——时间序列分析。

纵观时间序列分析的发展历史可以将时间序列分析方法分为两大类。

频域分析方法也被称为“频谱分析”或“谱分析”方法。

早期的频域分析方法假设任何一种无趋势的时间序列都可以分解成若干不同频率的周期波动，借助富里埃分析从频率的角度揭示时间序列的规律，后来又借助了傅里叶变换，用正弦、余弦项之和来逼近某个函数，20世纪60 年代，Burg 在分析地震信号时提出最大熵谱估计理论，该理论克服了传统谱分析所故有的分辨率不高和频率漏泄等缺点，使谱分析进入一个新阶段，我们称之为现代谱分析。

目前谱分析方法主要应用于电力工程、信息工程、物理学、海洋学和气象科学等领域，它是一种非常有用的纵向数据分析方法。

但是由于谱分析过程一般都比较复杂，研究人员通常要具有很强的数学基础才能熟练使用它，同时它的分析结果也比较抽象，不易于进行直观解释，导致谱分析方法的使用具有很大的局限性。

时域分析方法主要是从序列自相关的角度揭示时间序列的发展规律。

相对于谱分析方法，它具有理论基础扎实、操作步骤规范、分析结果易于解释的优点。

目前它已广泛应用于自然科学和社会科学的各个领域，成为时间序列分析的主流方法。

时域分析方法的基本思想是源于事件的发展通常都具有一定的惯性，这种惯性用统计的语言来描述就是序列值之间存在着一定的相关关系，而且这种相关系通常具有某种统计规律。

我们分析的重点就是寻找这种规律，并拟合出适当的数学模型来描述这种规律，进而利用这个拟合模型预测序列未来的走势。

3.ARMA 模型ARMA 模型的全称是自回归滑动平均(auto regression moving average)模型，它是目前最常用的拟合平稳序列的模型。

它又可以细分为AR 模型(auto regression model)、MA 模型(moving average model)和ARMA 模型(autoregression moving average model)三大类。

AR( p)模型和 MA(q)模型实际上是 ARMA( p, q)模型的特例，它们都统称为ARMA 模型。

3.1 ARMA 模型的阻尼最小二乘法的优化算法阻尼最小二乘法结合了Newton 法在()S β的极小值附近收敛快和最速下降法可对任意初值都能收敛这两个优点，不但保证了迭代计划的收敛性，又加快了收敛速度，在计算过程中只须求一阶导数，不必求逆矩阵．而且比最小二乘法参数估计值更为显著，拟合模型更优。

3.1.1 目标函数对于观测时序为{}(1,2,...,)t x t n =,需对其拟和出数学模型：(,)t t t x f X βε=+ （1）式中[]12...Tt t t t k X x x x ---=，它是由不同时刻的观测值组成的k 维向量，[]12,,...,Tm ββββ=它是由待估计的模型参数,1,...,i i m β=组成的M 维向量，一般k,m<n;t ε是模型的残差；f 表示t X 与β之间的函数关系．对于ARMA(p,q)模型：11221122......t t t p t p t t t q t qx x x x ϕϕϕεθεθεθε------=++++----根据(1)式可以写为Tt t t x X βε=+，式中 1212Tt t t t p tt tqX x x x εεε------⎡⎤=⎣⎦; 1212;Tp q k p q βϕϕϕθθθ⎡⎤=+=⎣⎦;(,)Tt t m p q f X X ββ=+= （2）由12,,...,t t t q εεε---是12,,...,t t t qx x x ---的函数，从而导致β非线性项出现．故对于ARMA 模型t X 与β之间具有非线性关系，从而ARMA 模型的目标函数()s β定义为模型的残差平方和。

[]2211()(,)nnttt t p t p s xf X βεβ=+=+==-∑∑（3） 从优化理论的角度来看，参数β的估值问题就是对()s β的寻优(求极小值)问题。

文中对ARMA 模型参数的估值问题，利用优化理论中的Newton 法的改进法一阻尼最最小二乘法，推出参数估值的迭代算法。

2．2 初值的确定2．2．1 参数初值0β的确定参数初值0β的选取十分重要，它关系到迭代计算收敛速度的快慢，文中采用了0()AR p 的长自回归模型．由0()AR p 模型描述的等价系统传递函数为：00111()1p ip i i B I B ϕ==-∑ （4）式中，i I 是逆函数，i I 等于于AR 模型参数0i ϕ，如式0(1);1,0()j j j n I I j n ϕ⎧⎫≤≤⎪⎪=-=⎨⎬>⎪⎪⎩⎭，由ARMA(p ，q)模型描述的等价系统传递函数为：0010011()()1pjj p j qiqi i BB B B θθϕϕ==-=-∑∑ （5）由于各传递函数所描述的系统是等价的，故(4)与(5)两式应相等，即有：002002000201212121...)(1...)1...p p pp q p I B I B I B B B B B B Bθθθϕϕϕ--------=---- （6）比较(6)式两边B 算子的同次幂系数，有：001110002211100003321111000022110002211;;;.........;0...()p q p q p p p q k q k k k I I I I I I I I I I I I I I k p ϕθϕθθϕθθθϕθθθθθθ------=+=-+=--+=----+=----+> （7）对于此式中的前p 个方程，当0jθ为已知时，这是关于0i ϕ的线形方程组，可方便解出0i ϕ为：0011100012220021000012100101p p p p p I I I ϕθθϕθθθθθϕθ--⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎢⎥⎢⎥⎢⎥=+⎢⎥⎢⎥⎢⎥⎢⎥--⎢⎥⎢⎥⎢⎥⎢⎥--⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ （8）注意此式中,当j>q 后，取00j θ=对于式(7)的最后一式，分别令k=p+1,p+2,...,p+q ，且p+q=p 0,写成矩阵形式有：111102122012p pp p q p p p p q p q p q p p q q I I I I I I I I I I I I θθθ+-+-+++-+-+-+⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦ （9）此式仍是关于0jθ。