时间序列分析-第四章 均值和自协方差函数的估计
合集下载
自相关函数求均值
自相关函数求均值
自相关函数是一种用于衡量时间序列中各时间点之间相互关联
程度的统计方法。
在实际数据处理和分析中，常常需要求出自相关函数的均值。
这个均值可以用来判断时间序列的相关性和稳定性。
要求自相关函数的均值，可以通过下面的步骤来实现：
1.计算自相关函数。
自相关函数是用于描述时间序列之间相关性的函数。
它可以通过计算时间序列的协方差来得到。
具体计算方法是：对于时间序列X(t)，其自相关函数R(k)可以表示为：
R(k) = E[(X(t)-u)(X(t-k)-u)] / Var(X(t))
其中，u是时间序列的均值，Var(X(t))是时间序列的方差。
k表示时间序列之间的间隔。
可以通过计算不同间隔的自相关函数，得到一个自相关函数序列。
2.求自相关函数序列的均值。
将自相关函数序列中的所有值求和，然后除以序列的长度，即可得到自相关函数的均值。
这样就可以得到时间序列的自相关函数均值。
如果均值接近于0，则说明时间序列之间的相关性较小；如果均值接近于1，则说明时间序列之间的相关性较大。
根据自相关函数的均值可以判断时间序列的相关性和稳定性，从而为数据处理和分析提供参考。
- 1 -。
均值、方差、自相关函数的估计
2
{x(t)
E[x(t)]}2
f
( )d
0
2
0 [sin(0t
)
0]2
1
2
d
1 2
(3)自相关函数
R(t1,t2 ) E[x(t1)x(t2 )]
2
0 [x(t1)x(t2 )] f
( )d
2
0 sin(0t1
) sin(0t1
)
1
n0
此估计均值为：
^
E[ x2 ]
E
1 N
N 1
[x(n) mx ]2
n0
1 N
N 1
E[x(n) mx ]2
n0
1 N
N 1
x2
n0
x2
（2.3.6）
因为估计的均值等于真值，故为无偏估计
估计的方差为：
^
^
^
var(
2 x
)
E{[
2 x
E[x(n)x(m)] E[x(n)]E[x(m)] mx2
2 E[m x ]
1 N
mx2
N 1 N 1
[
m2x ]
n0 m0,mn
1 N
mx2
N N
1
m2
x
上式代入式（2.3.3），有
^
var(mx )
1 N
mx2
N N
1
m2
x
m2x
1 N
E(
2 x
)]2}
将式（2..6）代入上式，得
时间序列分析入门
xt t t1 2t2 3t3
均值为零？ 是否平稳？ 方差为有限常数？
自协方差与t无关？
AR(1)平稳旳条件
xt t t1 2t2 3t3
• 均值
E(t ) 0 E(xt ) 0
成立
• 方差
Var( xt
)
2
(1
2
4
6
)
(1)t充分大时Var(
xt
)
1
2
2
自协方差函数
1
r0
1
2
(1 11)(1 1 12
1 )
2
r2 E[xt2 (1xt1 t 1t1)] 1r1
rk 1rk1 (k 2)
ARMA(1,1)旳自有关函数
k
(1 11 1 12
)(1 1 211
)
1 k 1
k 1 k2
ARMA(p,q)旳自有关函数与AR(p)一样，具有拖尾性
③ 滞后算子形式
xt 1xt1 2xt2 p xtp t 1t1 2t2 qtq
p (B)xt q (B)t
xt
1 p
(
B)
q
(
B)
t
t
1 q
(
B)
p
(
B)
xt
性质总结
模型
• 自有关 • 函数 • 偏自有
关函数
• 平稳旳 条件
• 可逆旳 条件
AR(p) 拖尾
MA(q) 截尾
ARMA(p,q) 拖尾
① 自回归模型旳定义
• 描述序列{xt}某一时刻t和前p个时刻序列 值之间旳相互关系 xt 1xt1 2 xt2 p xt p t 随机序列{εt}是白噪声且和前时刻序列xk （k<t ）不有关，称为p阶自回归模型， 记为AR(p)
平稳过程公式自协方差函数自相关函数的计算公式
平稳过程公式自协方差函数自相关函数的计算公式为了计算平稳过程的自协方差函数和自相关函数，我们首先需要了解平稳过程、协方差函数和自相关函数的定义和计算方法。
一、平稳过程的定义在时间序列分析中，平稳过程指的是具有稳定统计特性的随机过程。
简单来说，平稳过程是指整个时间序列的统计分布在不同时刻不发生明显变化的过程。
二、协方差函数的定义和计算公式协方差函数用来衡量两个随机变量之间的线性关系程度。
对于平稳过程，协方差函数只与时间间隔有关，而与具体的时间点无关。
对于平稳过程{X(t)}，其协方差函数γ(k)定义为：γ(k) = Cov(X(t), X(t+k))其中，Cov表示协方差的计算，k表示时间间隔。
根据简单的平均值计算公式，协方差函数的计算公式为：γ(k) = E[(X(t)-μ)(X(t+k)-μ)]其中，E表示期望操作，μ表示随机变量X(t)的均值。
三、自相关函数的定义和计算公式自相关函数用来衡量一个随机过程在不同时刻的相关性。
对于平稳过程，自相关函数只与时间间隔有关，而与具体的时间点无关。
自相关函数ρ(k)定义为：ρ(k) = Co v(X(t), X(t+k)) / Var(X(t))其中，Cov和Var分别表示协方差和方差。
根据协方差函数和方差的定义，自相关函数的计算公式为：ρ(k) = γ(k) / γ(0)其中，γ(k)表示协方差函数。
四、总结通过以上的论述，我们可以得出平稳过程的自协方差函数和自相关函数的计算公式：自协方差函数：γ(k) = Cov(X(t), X(t+k))自相关函数：ρ(k) = γ(k) / γ(0)需要注意的是，在实际计算中，协方差函数和自相关函数通常只计算一部分的值，比如只计算前几个滞后阶数的值，以节省计算时间和资源。
总而言之，平稳过程的自协方差函数和自相关函数提供了衡量序列内在关系的重要指标，对于分析时间序列的特征和预测未来数值具有重要作用。
正确理解和计算这些函数的公式是进行时间序列分析的基础。
数学建模中的预测方法：时间序列分析模型
自相关函数
k 满足 ( B) k 0
它们呈指数或者正弦波衰减，具有拖尾性
3）ARMA（ p, q）序列的自相关与偏自相关函数均是拖尾的
（2）模型的识别
自相关函数与偏自相关函数是识别ARMA模型的最主 要工具，B-J方法主要利用相关分析法确定模型的阶数. 若样本自协方差函数 k 在 q 步截尾，则 X t 是MA（ q ）序列
注：实参数 1 ,2 ,
,q 为移动平均系数，是待估参数
引入滞后算子，并令 (B) 1 1B 2 B2 q Bq 则模型【3】可简写为
X t ( B)ut
【4】
注1：移动平均过程无条件平稳 注2：滞后多项式的根都在单位圆外时，AR过程与MA过程 能相互表出，即过程可逆，
2
N 为样本大小，则定义AIC准则函数
用AIC准则定阶是指在
得 AIC (S )
p, q
最小的点
ˆ,q ˆ) (p
作为
( p, q)
的估计。
2p N 2( p q ) 2 ( p , q ) ˆ ARMA 模型 ： AIC ln N
AR（ p ）模型 ：
ˆ2 AIC ln
应用案例：
（1）CUMCM2004-A:奥运临时超市网点设计；
（2）CUMCM2004-B:电力市场的输电阻塞管理；
（3）CUMCM2005-A:长江水质的评价与预测；
（4）CUMCM2006-B:艾滋病疗法的评价与预测； （5）CUMCM2008-B:高校学费标准探讨问题。
3.灰预测GM(1,1)：小样本的未来预测 应用案例
k 在
2） kk 的截尾性判断 作如下假设检验：M N
H0 : pk , pk 0, k 1, , M H1 : 存在某个 k ，使kk
时间序列分析第四章ARMA模型的特性王振龙第二版
一、自协方差函数
• 理论自协方差函数和自相关函数 对于ARMA系统来说，设序列的均值为零，则自协方差函数
k E Xt Xtk
自相关函数
k
k 0
• 样本自相关函数的计算
在拟合模型之前，我们所有的只是序列的一个有限
样本数据，无法求得理论自相关函数，只能求样本的自
= 1.1
-4.0E+10 X
-6.0E+10
25 50 75 100 125 150 175 200 225 250
X
= -1.1
24
20
20
16 15
12
10
8
5
4
0
0
-5
-10 -4
25 50 75 100 125 150-15175 200 225 250
=1
X -20
25 50 75 100 125 150 175 200 225 250
第四章 ARMA模型的特性
4.1 格林函数和平稳性
一、线性常系数差分方程及其解的一般形式 先回忆线性常系数微分方程及其解的结构：
y(t) a0 y(t) u(t)
可转化为 y(t 1) a0 y(t) u(t) 其中 a0 1 a0
将上述方程中的近似号改为等号，实数t改为自然数k，
MA(m)模型的可逆性条件为其特征方程
V m 1V m1 2V m2 ... m 0 的特征根Vk
满足 Vk 1
• ARMA(n,m)系统格林函数与逆函数的关系
在格林函数的表达式中，用 I j 代替 G，j 代替 ，
代替 ，即可得到相对应的逆函数。
第三节 自协方差函数
时间序列分析-第四章 均值和自协方差函数的估计
^
一般情况下，无偏估计比有偏估计来得好，对 _ 于由(1.1)定义的 X N 。有
E XN
1 N
1 EX k N k 1
N
.
k 1
N
所以 X N 是均值 的无偏估计。
均值估计的相合性
好的估计量起码应是相合的。否则，估计量不 收敛到要估计的参数，它无助于实际问题的解 决。 对于平稳序列{X t } ，如果它的自协方差函数{ k }
样本自相关系数(ACF)估计为
k
(2.2)
k ,| k | N 1 0
(2.3)
自协方差函数估计公式
估计 k 一般不使用除了 N k 的估计形式： N k 1 (2.4) ( x j x N )( x j k x N )
N k
j 1
, a.s., , a.s.. lim k k lim k k
N N
定理2.1的证明
下面只对由(2.2)定义的样本自协方差函数证明 的证明是一样的。 定理2.1。对由(2.4)定义的 k 设 EX1. 则{Yt } {X t } 是零均值的平稳序列。 利用
因为： 我们不对大的k值计算 k 更重要的是只有除以N的估计式才是正定的。
样本自协方差的正定性
N 只要观测 x1 , x2 ,, xN 不全相同则 正定。 令 y j x j xN . 记
) ( k j k , j 1,2,, N
0 0 A y1
均值估计公式
设 x1 , x2 ,, xN 是平稳列 { X t }的观测。 EX t 的点估计为
时间序列分析
Ext = E ( µ + ε t − θ1ε t −1 − θ 2ε t −2 − L − θ qε t − q ) = µ
2.常数方差 2.常数方差
Var ( xt ) = Var ( µ + ε t − θ1ε t −1 − θ 2ε t −2 − L − θ qε t −q ) = (1 + θ12 + L + θ q2 )σ ε2
时间序列
时间序列的基础知识 时间序列模型构建步骤 时间序列的几个基本模型
2011.6
时间序列的基础知识
背景介绍
1927年，英国统计学家G.U.Yule提出了子回归模型 （AR），不久之后，英国数学家、天文学家G.T.Walker提 出了移动平均（MA）模型和自回归移动平均（ARMA） 模型。 1970年，美国统计学家G.E.P.Box和英国统计学家 G.M.Jenkins提出了求和自回归移动（ARIMA）模型。
MA模型的可逆性条件：MA（ MA模型的可逆性条件：MA（q）模型可以表示为 模型的可逆性条件
εt =
xt Θ( B )
Θ( B ) = 1 − θ1B − L − θ q B q为移动平均系数多项式. 为移动平均系数多项式.
移动平均系数多项式的根均在单位圆外时，可逆。 移动平均系数多项式的根均在单位圆外时，可逆。
2011.6
15
平稳时间序列的性质
一 常数均值
EX t = µ
二 自相关函数和自协方差函数只依赖与时间的平移长 度而与时间的起始位置无关的
γ (t , s ) = γ ( k , k + s − t )
2011.6
16
平稳性的检验 两种检验方法： 两种检验方法：
2.常数方差 2.常数方差
Var ( xt ) = Var ( µ + ε t − θ1ε t −1 − θ 2ε t −2 − L − θ qε t −q ) = (1 + θ12 + L + θ q2 )σ ε2
时间序列
时间序列的基础知识 时间序列模型构建步骤 时间序列的几个基本模型
2011.6
时间序列的基础知识
背景介绍
1927年，英国统计学家G.U.Yule提出了子回归模型 （AR），不久之后，英国数学家、天文学家G.T.Walker提 出了移动平均（MA）模型和自回归移动平均（ARMA） 模型。 1970年，美国统计学家G.E.P.Box和英国统计学家 G.M.Jenkins提出了求和自回归移动（ARIMA）模型。
MA模型的可逆性条件：MA（ MA模型的可逆性条件：MA（q）模型可以表示为 模型的可逆性条件
εt =
xt Θ( B )
Θ( B ) = 1 − θ1B − L − θ q B q为移动平均系数多项式. 为移动平均系数多项式.
移动平均系数多项式的根均在单位圆外时，可逆。 移动平均系数多项式的根均在单位圆外时，可逆。
2011.6
15
平稳时间序列的性质
一 常数均值
EX t = µ
二 自相关函数和自协方差函数只依赖与时间的平移长 度而与时间的起始位置无关的
γ (t , s ) = γ ( k , k + s − t )
2011.6
16
平稳性的检验 两种检验方法： 两种检验方法：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
。则
N(XN)dN(0,2)
可以据此计算 的9 5 %
置信区间。
[X N 1 .9 6/ N ,X N 1 .9 6/ N ].
(1.3)
其中的1.96也经常用2近似代替。
精品课件
平稳列的均值估计的中心极限定 理
定理1.2 设{ t } 是独立同分布W的N(0, 2)
，线性平稳序{ X 列t }
然后由均值和自协方差函数解出模型参数。 均值和自协方差可以用矩估计法求。 还要考虑相合性，渐进分布，收敛速度等问题
。
精品课件
均值估计公式
设 x1,x2,
测 。EXt
,xN
是{平X 稳t } 列
的点估计为
xN
1 N
N
xk
k1
的观
把观测样本看成随机样本时记作大写的
X1,X2, ,XN
精品课件
3 如果
则是
XN
则
是 的相
XN
还是严平稳遍历序列，
的强相合估计。
精品课件
第三条结论利用1.5的遍历定理5.1可得。 一般地，任何强相合估计一定是相合估计。 线性平稳列的均值估计是相合估计。 ARMA模型的均值估计是相合估计。
精品课件
独立同分布样本的中心极限定 理
若 X 1,X 2, ,X N id d(, 2)
易见重对数律满N 足时 2 ln ln N
精品课件
AR(2)的均值计算
令 A (z) (1 e iz)(1 e iz)
考虑AR(2)模型
A(B)Xt t
X t 2c o sX t 12 X t 2t
为模拟方便设 {t}iid N(0,2)
。
XN1 N
Nt1
Xt,
N1 N Nt1
t
精品课件
AR(2)的均值计算(2)
精品课件
估计收敛性的模拟
为 个了 值观 然察 后XN 观N,N 察n0,n0X1 时,N ,L 化。
XN
为了研究固定N情况下
的收敛可以模拟L 的变
的精度以至于抽样X N
分布。可以进行M次独立的随机模拟，得到M个
的观察值。这种方法对于难以得到估计量的 理论分布的情况是很有用的。
由
Xt ktk,tZ,
(1.5)
k
{ k }
{ X t}
定义。其中
平方可和。如果
的谱
密度 f() 22 |k ktk|,tZ,
0
f (0) 0.
N
(1.6) N (X N ) d N (0 ,2 f(0))
在
连续，并且精品课件
则当
推论
当{ k } 绝对可和时f ，( )
推论1.3
第四章
均值和自协方差函数的估计
精品课件
本章结构
均值的估计 自协方差函数的估计 白噪声检验
精品课件
§4.1 均值的估计
相合性 中心极限定理 收敛速度 X 的模拟计算
精品课件
均值、自协方差函数的作用
AR,MA,ARMA模型的参数可以由自协方差函数唯 一确定。
有了样本之后，可以先估计均值和自协方差函 数。
正定。
令 yj xj xN.
0
0
A0
y1
y1
yN1
记
y1 y2 y2 y3
yN 0
不全相同则 N( ) kj k,j1,2, ,N
yN1 yN
0
yN
0
0
N 1 AAT N
是零则A满秩。
精品课件
精品课件
精品课件
精品课件
精品课件
§4.2 自协方差函数的估计
自协方差估计公式及正定性
k 的相合性 k 的渐进分布
模拟计算
精品课件
自协方差函数估计公式
kN 1N j 1 k(xjxN )(xj kxN ),0kN 1 ,
k k
(2.2)
样本自相关系数(ACF)估计为
E | t |r
2 谱密r度 2 在
连续。并且
对某个
成立。
精品课件
则有重对数律
lim su p
N (X N)2f(0 ),a .s.
(1.N 8 ) 2 ln lnN
lim N i n f2 ln N lnN (X N ) 2 f(0 ),a .s.
(1.9)
(X N )o ( 1 ) 0 (ln ln N ), N(X n)/o ( 1 )
k
k 0
,| k | N 1
(2.3)
精品课件
自协方差函数估计公式
估计 k 一般不使用除了N k
式：N1 kN j 1 k(xj xN)(xjkxN)
(2.4)
的估计形
k
因为：
我们不对大的k值计算
更重要的是只有除以N的估计式才是正定 的。
精品课件
样本自协方差的正定性
只要观测 x1,x2, ,xN
相合性
设统计量 ^ N 是 的估计，在统计学中有如 下的定义
1 如果E 偏估计。
^
N
， 则E 称^N
N,EN .
是 的无
^
N
2 如果当
则称
是 的^渐N
进 无偏估计^ N。
3 如果 依概率收敛到 ，则称
的相合^ 估N a计.s .。
^
N 4如果Fra bibliotek收敛到 ，则称
是
是的
强相合估计。
精品课件
如果 | k k
|
成立N ，则当
时
连续。
和 k k
0
N (X N ) d N (0 ,2f(0 ))
并且
2 f
(0) 0
2 j.
(1.7)
j1
精品课件
收敛速度
相合的估计量渐进性质除了是否服从中心极限 定理外，还包括这个估计量的收敛速度。
收敛速度的描述方法之一是所谓的重对数律。 重对数律成立时，得到的收敛速度的阶数一般
是
o( 2 ln ln N ). N
除了个别情况，这个阶数一般不能再被改进。
精品课件
收敛速度(2)
定理1.4 设{ t } 是独立同分布W的N(0, 2)
。线性平稳序{ X 列t }
由(1.5)定义。谱f (密0)度 0
。当以下的条件之一成立时：
1 k当,|k|
以负指数阶收敛于
0.
f ( ) 0
精品课件
精品课件
利用切比雪夫不等式
P r(|X N |)E (X N 2 )2 0 .( 0 )
得到
X
N
依概率收敛到
。于X 是N
是
的相合估计。
精品课件
均值估计的性质
定理1.1 设平稳序列{ X t } 有均 值 和自
协方{差 k函} 数
。则
X
N1
是
的无偏估计。
2 如 k果 0,
合估计。 { X t }
一般情况下，无偏估计比有偏估计来得好，对 _ 于由(1.1)定义的X N 。有
1N
1N
EXNNk1E Xk Nk1 .
所以X N
是均值
的无偏估计。
精品课件
均值估计的相合性
好的估计量起码应是相合的。否则，估计量不 收敛到要估计的参数，它无助于实际问题的解 决。
对于平稳序列{ X t } ，如果它的自协方差函{数 k } 收敛到零，则：