自回归模型AR详解哦

自回归模型AR(p)的整体估计【摘要】：主要讨论时间序列的自回归模型AR(p)的参数估计问题，列出常用的普通最小二乘估计。

但实际的观测值是含有随机误差的，且与自身前一个或前几个时刻的观测值有关或有依赖性，都要考虑其所含的随机误差，所以引入整体最小二乘法的思想进行参数估计，得出相应的公式，最后并以算例加以验证与分析讨论。

关键词：自回归模型；参数估计；整体最小二乘估计；A Total Least Square Estimation of Autoregressive ProcessesAbstract:It discusses mainly the time series autoregressive model AR (p) of the parameter estimation problem, listing commonly used ordinary least squares estimation. But the actual observation contains random error, and with their own previous or the first few moments of the observations relating to, or dependent,so we must take into account the random error it contains.We introduce the total least squares parameter Estimates, and obtain the corresponding formula . In the last give the example to the verification and analysis.Key words: autoregressive process; estimation of parameter; total least square estimation;0 引言时间序列分析的目标就是通过分析要素(变量)随时间变化的历史过程, 揭示其变化发展规律, 并对未来状态进行分析预测[1]。

如在变形测量中,可以采用时间序列分析方法对观测数据进行分析,以便建立变形体的动态变形预测模型,并对其变形趋势进行预测。

所谓时间序列的参数估计，就是在模型结构及阶次已确定的条件下，对模型参数与进行估计，使所建立的模型是实际时间序列的“最佳”拟合模型[1]。

但在实际的观测中，观测值是由一定观测手段得到的，不可避免地含有随机误差，在这种情况下,普通的最小二乘估值难以保证结果的最优性。

本文将整体最小二乘法的思想引入时间序列模型中，不仅考虑自身观测值的误差，同时考虑与其有关的自身前一个或前几个时刻的观测值的误差，从而进行参数估计。

能够为预测得出更为准确的数据。

1 自回归模型[1] 1.1 模型子样观测值{ ,1,0,±=i x i },白噪声序列表示为{t a },回归系数用),,2,1(p j j =ϕ表示，则可得到的AR 模型：t p t p t t t a x x x x ++++=---ϕϕϕ 2211 (1)1.2模型参数的最小二乘估计设样本观测值{ ,1,0,±=t X t }，记[]TNp p x x x Y 21++=[]T N p p a a a 21++=ε []T p ϕϕϕϕ 21=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=---+-p N N N p p p p x x x x x x x x x A212111则AR(p)模型可以表示为εϕ+=A Y （2） 由最小二乘原理可得到模型参数的估计为Y A A A T T 1)(ˆ-=ϕ那么根据最小二乘估计值可以得到噪声的估值为p p t t t t t x x x x aϕϕϕˆˆˆˆ2211-------= ),,1(N p t += 噪声方差2ˆa σ的最小二乘估值为 εεσˆˆ1ˆ1122T Np t tu p N a p N -=-=∑+=∧ 2 整体最小二乘法参数估计在进行许多时间序列分析的实际问题中，建立模型的主要目的就是在确定模型参数之后，对未来可能出现的结果进行分析预报。

而结果又与自身前一个或前几个时刻的观测值有关，观测必有误差的存在，所以不能忽略之前观测值A 的随机误差。

整体最小二乘法就是同时考虑自变量和因变量误差存在的算法。

方程(2)εϕ+=A Y 与线性回归方程具有相同的形式。

在线性回归中y=ax+b ，自变量x 是确定的，y 和b 是随机变量。

在AR(p)模型中 ,,21--t t x x 自然也是随机变量，但在t-1时刻，它们均已确定不变，所以AR(p)模型可以看做条件线性回归模型，故可用多元回归分析中的有关方法进行参数估计[1]。

A 作为自身前一个或前几个时刻的观测值是确定已知的，但在观测中是含有随机误差的，在计算中应该考虑其所含误差的影响。

应用整体解算的方法进行解算。

2.1整体最小二乘原理及解算步骤。

TLS 的基本思想可以归纳为[2]:观测方程1,,1,m m n n X Y β=中，不仅观测向量Y 中存在误差V y ，同时系数矩阵X 中也含有误差V X 。

此时，可用TLS 方法求得参数∧β。

也就是说，在TLS 中，考虑的是矩阵方程()X V X +∧β=Y V Y + （2-1） 或⎪⎭⎫ ⎝⎛+=+==X ^X ^^^^V Y V X X ,X Y Y ，β （2-2） 的求解。

在测量数据处理中，n 为观测个数，m 为参数个数，通常情况下n >m ，矩阵X 的秩n m X R m n <=⎪⎭⎫ ⎝⎛,。

显然式（2-1）的矩阵表示为 ()01][][^=⎥⎥⎦⎤⎢⎢⎣⎡-+βV V Y XY X（2-3） 或等价为()0=+z D B （2-4）其中：][1,,1,n mn m n Y XB =+为增广矩阵，][V V Y XD =为误差矩阵，=+1,1m Z ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-1^1,m β，求解上式的整体最小二乘方法可以表示为约束最优化问题：m in =DF（2-5）DF是D 的)(Frobenius F 范数。

求的DF=min 的问题称为TLS 问题，若能找到式(2-1)的一个最小点][V V YOXO，则任何满足()+=+Y X V XO ^βV YO的^β都称为TLS 解[3]求解TLS 问题的主要工具是奇异值分解[4]，得[]⎥⎦⎤⎢⎣⎡-==⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=+1ˆ,,1βλZ k Y Y XY Y X X X Y XY X B B m TTT T T T T 令⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡YY XYXY XXTTT T N N N N Y Y X Y Y X XX ，得[]XY m XX N I N 11ˆ-+-=λβ 综上所述，求解矩阵方程1,,1,m mn n X Yβ=中参数β的TLS 解TLS β的步骤为： (1)列观测方程式1,,1,m mn n X Y β=; (2)构成增广矩阵⎥⎦⎤⎢⎣⎡=+1,,1,n m n m n Y X B ; (3)求矩阵B B T 的特征值，并求出最小特征值1+m λ;(4)计算参数β的TLS 解1,1,1,^1,m XY m m m m m XX m N I N -+⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-=λβ。

2.2自回归模型AR(p)的整体估计 线性模型：εϕ+=A Y用矩阵形式表示：βˆX Y = 式中：ϕβ==ˆ,A X 可得：[]XYm XX N I N 11ˆ-+-==λβϕ， 3 实例分析以文献[3]例5.6的数据为样本观测数据，共计36个数据沉降观测数据(1) 模型参数的最小二乘估计 由文献[3]得模型阶数为3=p误差方程 36,,5,4,ˆˆˆ332211 =-++=---i x x b x b x b v i i i i i 参数估计为 ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=-635059.0327809.0041087.0)(ˆˆˆˆ1321Y X X X b b b T T β 得自回归模型 321635059.0327809.0041087.0---++=i i i i x x x x)(80.0ˆ,6476.0304286.192ˆ2mm p n V V T ===-=σσ(2) 整体估计参数估计为 []⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=-=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=-+XY m XX N I N b b b 11321ˆˆˆˆλβ 得自回归模型4 结论不足之处在于矩阵A 中是不同时刻的观测值，需要在每个时刻都要进行平差求解才行，这里只是一个整体的结算过程，还需要进行每一的迭代计算。

参考文献[1]吴怀宇. 武汉：武汉大学出版社[M].2004.[2]Van Huffel S,Vandewalle J.The Total least Squares Proble,Computational Aspects andAnalysis,Math,SIAM[J].Philadelphia,1991.[3]邱卫宁，陶本藻，姚宜斌，吴云，黄海兰.测量数据处理理论与方法[M].武汉：武汉大学出版社，2008[4]俞锦成.关于整体最小二乘的可解性[J].南京师范大学学报(自然科学版)，1996，19(1):13-16.。