时间序列分析讲义(1)

时间序列分析

第二章 时间序列分析

第二节 时间序列模型

一、 线性时间序列模型的分类 1. 自回归（AR ）过程 AR(1)过程

t

u t X t X +-+=110φφ， ),0(~2σWN t u , Z t ∈。

(i) 当且仅当11

<φ时因果，此时有唯一传递形式

∑∞=-+-=0

1110

j j t u j

t X φφ

φ。 (ii) 当11

>φ时平稳而不因果，有唯一形式

∑∞=+---=1

1110

j j t u

j

t X φφ

φ。 (iii) 当11

=φ时必定不平稳，称为随机游走。特别当还有00≠φ时，

称为带漂移的随机游走。由于有

)0()

1100()(φ

φt X E u t u t u t X E t X E +=++-+++=Λ， 2]2)1

1[()(σt u t u t u E t X Var =++-+=Λ。

由于方差不为常数，所以序列不平稳。 (iv) 当11

-=φ时必定不平稳。实际上，

)0

()

1

2221220()2(X E u u t u t u t u X E t X E =-+--+--+=Λ，

2

2]

2)1222122[()2(σt u u t u t u t u E t X Var =-+--+--=Λ； )0(0)12221200()12(X E u u t u t u X E t X

E -=+-+---+-=-φφΛ， 2)12(]

2)122212[()12(σ-=+-+---=-t u u t u t u E t X Var Λ。 不论t 是奇数还是偶数，都有2)(σt t

X Var =。由于方差不为

常数，所以序列不平稳。

补充命题 一元p 次方程 011)(=---=Φp

x p

x x φφΛ （其中

0≠p φ）的p 个（复）根都在单位圆1||=z 以外的

（1） 必要条件是11

<∑=p

j j

φ且1||

（2） 一个充分条件是11

||<∑=p

j j φ。

（3） 特别当0,01,,1

>≥-p

p φφ

φΛ时，充分必要条件是11

<∑=p

j j φ。

二、平稳时间序列的自相关及偏自相关函数 1． 自相关函数(ACF)

补充定理* 定义在整数集Z 上的实值偶函数

{}Z k k ∈,γ是一个实

值平稳序列{

}

Z t t

X ∈,的自协方差函数，即Z

k k t X

t

X k

∈-=),,cov(γ（与t 无关），当且仅当它是非负定的，即对任何1≥n ，任何R n

a a ∈,,1Λ，

任何Z n

t t ∈,,1Λ有

01

,≥∑=-n

j i j a j t i t i a γ （二次型非负定）

。

（5）样本自相关函数（SACF ）与相关图

给定时间序列T

X X X ,,2,1Λ，我们定义样本自协方差函数

（SACVF ）和样本自相关函数（SACF ）。 SACVF:

??

???---=--=∑-=-+--=.

1,),1(?,1,,1,01

))((1?ΛΛT k k T k k

T t X k t X X t X T

k γγ。 以样本方差∑=-=T

t X t

X T 1

2)(10?γ作为序列的理论方差)(0t X Var =γ的估计。它与前面定义的样本（修正）方差

∑=--=T t X t X T 1

2)(112?σ稍有不同。 SACF:

??

??

?????---=--=∑=-∑-=-+-==.

1,),1(?,

1,,1,012)(1))((0???ΛΛT k k T k T t X t

X k

T t X k t X X t X k k ργγρ，

其中∑==-T

t t X T

X 1

1为样本均值。

相关图：SACF {}

1,,1,0,?-=T k k

Λρ

的作图称为相关图。

补充命题 （1）以上定义的SACVF 和SACF 都是非负定的，即 各阶样本自协方差阵非负定，对T k ,,2,1Λ=

0≥?????

??

?

?

?------=Γ13?2?1?3?11?2?2?1?11

?1?2?1?1

?Λ

ΛΛΛΛΛ

ΛΛΛ

k k k k k k k γγγγγγγγγγγγ；

各阶样本自相关阵非负定，对T k ,,2,1Λ=

0≥?

????

?

?? ??------=Γ=13?2?1?3?11?2

?2?1?11?1?2?1?1?)0(?1?ΛΛΛΛΛΛ

ΛΛΛk k k k k k k k R ρρρρρρρρρρρργ。 （2）当样本方差01

2)(10

?>∑=--=T

t X t X T γ时（也就是 T X X X ,,2,1Λ不全相等时）

，以上各阶样本自协方差阵k Γ?和样本相关阵k

R

?，T k ,,2,1Λ=，都是对称正定的。 SACF 是对理论ACF 的估计，所以SACF 的行为应该像ACF 的行为。例如，MA(q)过程的ACF 在q 步后截尾。因此其SACF 看起来也应有这一特征。后面将看到这是我们识别MA(q)过程的重要依据。

2．偏自相关函数(PACF)

（1） 偏自相关函数的定义

设?

?????

∈Z t t

Y ,是均值为μ的平稳时间序列，有自协方差函数

???

???∈Z k k ,γ。现在考虑用常数项和k t Y t Y t Y ---,,2

,1Λ（1≥k ）对t

Y 作线

性最小均方误差预报，即最小化均方误差

()∑=+∑=---∑=--++=?

?????????

???? ??∑=---=?

?

?

???------=k

j kj

k k j j t Y t Y E kj k k j i j

t Y i t Y E kj ki k t Y E k j j t Y

kj k t Y E k t Y kk t Y k k t Y E k

1

021)(2021,)

(20)2(210

2110φμφφμφφφφφφφφφδΛ。 （*1）

根据多元函数的极值理论，解线性正规方程组

???????==+∑=----=??=∑=+-=??k

j k k

i j t Y t Y E j t Y i t Y E ki kj

k k j kj k k k ,,10

021

)(2)(20

122020Λμφφφδφμμφφδ

从第一式中得到

?

??

?

??∑=-=k j kj k 110φμφ （*2）

带入第二式中得到

k j j t Y t Y E k i j t Y i t Y E ki ,,1,2)(1]2)([Λ=--∑==---μμφ

即 （因为j

i i t Y j t Y i j -=--=-γγ),cov(） k j j k

i i j ki ,,1,

1

Λ==∑=-γγφ。 两端除以0γ得

k j j k

i i j ki ,,1,1

Λ==∑=-ρρφ

或写成矩阵形式

?????

??

?

??=???????

? ??????????

??------=???????? ??k kk k k k k k k k k k kk k k k k R ρρρρφφφφρρρρρρρρρρρρφφφφM M Λ

ΛΛ

Λ

ΛΛ

ΛΛΛM 3213211

321

3112

21

11

12

11

321

（*3）

这就是Yuler-Walker 方程组，其中的k

j i j i k R ≤≤??

? ??-=,1ρ为k 阶相关阵。

补充命题 1 当自协方差函数?

???

??∈Z k k

,γ满足00>γ

且0

lim ||=∞→k

k γ

时，相关阵()k j i j i k

R

≤≤-=,1ρ

对任何1≥k 都是对称正定的。此时关

于未知向量T kk

k ),,1

(φ

φΛ的Yuler -Walker 方程组有唯一解。

特别地，MA(q)过程、因果的AR(p)过程、因果的ARMA(p,q)过程都满足命题1中ACVF 衰减向零的条件。

偏自相关函数的第一种定义 满足Yuler-Walker 方程组的最后一个

系数*=k

kk ρφ

:称为???

???

∈Z t t Y ,在滞后k （1≥k ）处的偏自相关系数。函

数}1,:{≥*=k k

kk ρφ称为??????∈Z t t Y ,的偏自相关函数（PACF ）。

为了给出更体现PACF 的含义的它的第二种定义，我们同样考虑用常数项和k t Y t Y t Y

---,,2,1Λ（1≥k ）对1

--k t Y

作向后的线性最小均方误差“预报”，即最小化均方误差

()????

?????????? ??∑=-+-----=?

?

?

???--------=2110

121101k j j k t Y

kj k k t Y E t Y kk k t Y k k k t Y E k

φφφφφδΛ。 （*4）

令

k j kj

k ,,1,0,0Λ==??φδ

， 同样可导出（*2）和Yuler-Walker 方程组（*3）式，当然解出相同的 解

T kk

k k ),,1,0(φφφ

Λ。 （*5）

但是，注意对1

--k t Y

与对t

Y 预报的系数正好次序颠倒，在（*1）中k

t Y

-距t

Y 时间上最远，在（*4）中1

-t Y

距1

--k t Y

时间上最远。

回忆两个随机变量X 和Y 的相关系数定义为

)

()()

,cov(),(Y Var X Var Y X Y X corr =

。

偏自相关函数的第二种定义 对于（*2）和（*3）的解系数（*5）

式，记用常数项和k t Y t Y t Y

---,,2,1Λ（1≥k ）对t Y 和1

--k t Y

分别作的线性最小均方误差预报分别为

∑=-+=k j j t Y kj k t Y 10?φφ， ∑=-+-+=--k

j j k t Y kj k k t Y 1

1

01?φφ。 称相关系数

*+=++=------1

1,1)1?1,?(k k k k t Y k t Y t Y t Y corr ρφ 为??????∈Z t t Y ,在滞后1+k 处的偏自相关系数。

（注意t Y 与1

--k t Y 时间间隔为1+k ）。如想要在滞后k 处的偏自相关系数，则要用时间上介于中间的1,,2,1+---k t Y

t Y t Y

Λ（2≥k ）以及常数项对t Y 和k

t Y -分别作线性最小均方误差预报，记为t Y

?和k t Y -?，那么 *==----k

k k k t Y k t Y t Y t Y corr ρφ,)?,?(。

补充命题 2 以上两种定义中的在滞后k （2≥k ）处的偏自相

关系数相等。而在?

???

??

∈Z t t

Y ,在滞后1=k 处的偏自相关系数*=1

1,1ρφ

等于在滞后1=k 处的自相关系数1

ρ。

补充命题3 设平稳序列?

???

??

∈Z t t

Y ,的自相关函数为}0,{≥k k

ρ。则

它的偏自相关函数}1,:{≥*=k k

kk ρφ可以通过以下Durbin-Levinson 递

推算法计算：111,1ρρφ

=*=，且记)(0:0t

Y Var ==γδ，)211(0:1ργδ-=， ∑-=--∑-=---==*1

1

,111

1,1k j j j k k j j

k j k k kk k ρφρφρφρ， Λ,4,3,2=k

预报的均方误差）()1()?(21211kk

k k k k Y Y E φδδ-=-=-++。 其中1

?+k Y

为用常数项和k Y Y Y ,,2,1Λ对1

+k Y

作的线性最小均方误差预

报。

注意：以上递推公式使用时，是对每个k 计算完三个等式后，在进入到1+k 。

（2） AR(p)过程的偏自相关函数

?????

?

?

? ?????????? ?????????? ??-------=-1,11,11,11,11,1k k k kk k k k k k k φφφφφφφM M M

补充定理4 设?

???

??

∈Z t t

Y ,是平稳时间序列。则?

???

??∈Z t t

Y ,是因果

平稳的AR(p)过程当且仅当它的偏自相关函数}1,:{≥*=k k

kk ρφ

在滞后

p 以后截尾，即0=*k

ρ对任何p k >。 证明* 只证?方向，即因果平稳的AR(p)过程的PACF 在滞后p 以后截尾。（相反方向的证明比较困难，此处从略）。考虑因果平稳的AR(p)模型

)2,0(~,110σφφφWN t

u t u p t X p t X t X +-++-+=Λ

将此式带入用常数项和k t X

t X t X

---,,2,1Λ对t

X 作线性最小均方误差预报的均报误差中，当p k ≥时有

2

21

1)(000221

10011002)2(21010σφφφφφσφφφφφφφφφφφφδ

≥∑+=--∑=--+

-++=∑=--∑=-+

-+∑=--∑=-+-+=∑=---+∑=-+=??????

???????

??????? ????????

?

??????

?

??????

??????

?

?

??

?????????? ??

???????

????????

???

??

?

?

??k

p j j t X kj p j j t X kj j k E k

j j t X kj p j j t X j k E k j j t X kj p j j t X j k t u E t u E k j j t X kj k t u p j j t X j E k

，

其中中间项为零是因为白噪声性质以及由因果性和传递形式有对任何

1≥j ，

[]

00=???

?

?????

??? ??∑∞=--+=-l l j t u

l t u E j t X t u E ψμ。 因此要使得2min σδ=k ，只要取（注意单下标的j

φ是固定不变的，双

下标的kj

φ是需选择的）

00φφ=k ， ??

?=≤≤+≤≤=时没有）

（当p k k j p p

j kj j

10

1φφ。

所以，当p k =时，p

p pp φρφ=*=，而当p k >时，0=*=k kk ρφ。

□

可见偏自相关函数的截尾性完全刻画了因果平稳的自回归过程。

（3） MA(q)过程和ARMA(p,q)过程的偏自相关函数 例2.3 我们首先考虑MA(1)过程的PACF 。设

)2,0(~,1σθWN t

u t u t u c t X -++=。

我们前面已经得到它的ACF 为

??????

?≥±=+===2

||0

1101

2

110k k k k k θθγγρ。

我们用Durbin-Levinson 算法来计算它的PACF 。对1=k ，

21

11111,1θθρρφ+==*=。对2=k ， 61

2

12141212111111121)1()(1122,2θθθθθθρφρφρρφ----=++-=--=*=， 4

1

212111)1(1,12,21,11,2θθθθφφφφ+++=

-=。 对3=k ，

81

2

13122212112222131)1()(133,3θθθρφρφρφρφρρφ----=----=*=。 可以推知一般地对1≥k ，

时）

（当时）（当1|1|1

)

1(21)

121()1(1|1|)

1(211)211()

1(,>-+------=<+----=

*=θθθθθθθθρφk k k k k k k 。

所以，从上式看出只要1,0,11-≠θ，就有PACF 按几何（指数）率衰减向零，称为拖尾的。

对一般的MA(q)过程

)2,0(~,11σθθWN t

u q t u q t u t u c t X -++-++=Λ，

和一般的ARMA(p,q)过程，

)2,0(~,11110σθθφφφWN t

u q

t u q t u t u p t X p t X t X -++-++-++-+=ΛΛ

我们回忆它们的可逆性：

∑∞

=-+=0

j j

t X

j t u πλ （m.s.） 是白噪声，其中∞<∑∞

=0

||j j π。及其充分必要条件：特征方程

011)(=+++=Θq

x q

x x θθΛ

的根都在单位圆以外。

关于它们的PACF 我们有以下结果。

补充命题5 任何可逆的MA(q)过程和可逆的ARMA(p,q)过程，它们的偏自相关函数按几何（指数）率衰减向零，称为拖尾的。

（4） 样本偏自相关函数（SPACF ）与偏相关图

回忆给定时间序列T

X X X ,,2,1Λ，我们前面已经定义了样本自

协方差函数（SACVF ）和样本自相关函数（SACF ）

??

???---=--=∑-=-+--=.

1,),1(?,1,,1,01

))((1?ΛΛT k k T k k

T t X k t X X t X T

k γγ，

??

??

?????---=--=∑=-∑-=-+-==.

1,),1(?,

1,,1,012)(1))((0???ΛΛT k k T k T t X t

X k

T t X k t X X t X k k ργγρ，

其中∑==-T t t X T

X 1

1为样本均值。我们现在定义SPACF 。

回忆我们前面用两种方法定义了（理论上的）PACF 。在第一种定

义中称满足Yuler-Walker 方程组的最后一个系数*=k

kk ρφ:为??

????∈Z t t Y ,在滞后k （1≥k ）处的偏自相关系数。

仿照这个定义我们来定义SPACF 。

补充定义6 对1,,2,1-=T k Λ，称样本形式的Yuler-Walker 方程组

???????

?? ??=????????? ??????????? ??------=????????? ??k kk k k k k k k k k k kk k k k k R ρρρρφφφφρρρρρρρρρρρρφφφφ?3?2?1??3?2?1?13?2?1

?3?11?2?2?1?11?1?2?1?1?3?2?1??M M ΛΛΛΛΛΛΛΛΛM 的解中的最后分量*=k

kk ρφ??为在滞后k 处的样本偏自相关系数，上式中的k

j i j i k R ≤≤??

? ??-=,1??ρ为k 阶样本相关阵。称{}

1,,2,1,??-=*=T k k kk Λρφ

为样本偏自相关函数（SPACF ），它的作图称为偏相关图。

回忆前面的一个补充命题。

从而样本形式的Yuler-Walker 方程组有唯一解。

我们在回忆理论的PACF 可以通过Durbin-Levinson 算法递推计算。这个算法对计算SPACF 也适用。

补充命题8 当样本方差01

2)(10

?>∑=--=T t X t X T γ时，样本偏自相关函数{}

1,,2,1,??-=*=T k k kk Λρφ

可以通过以下Durbin-Levinson 递

推算法计算：1?1?1,1?ρρφ

=*=，且记0?:0?γ=v ，)21?1(0

?:1?ργ-=v 。则 ∑-=--∑-=---==*1

1

?,1?11

1?,1????k j j j k k j j k j k k kk k ρφρφρφρ， 1,,4,3,2-=T k Λ，

)2?1(1??kk

k v k v φ--=。

其中k

v

?（1,,3,2,1-=T k Λ）为用数据T X X X ,,2,1Λ拟合自回归AR(k)模型时之中的白噪声方差的估计。

3． 线性平稳时间序列的统计特征

?????

???

?

??????????? ??????????? ??-------=-1,1?1,1??1,1?1,1?1,?1?k k k kk k k k k k k φφφφφφφM M M

我们从前面的讨论总结出对三种常用模型AR(p)、MA(q)、ARMA(p,q)模型，它们的因果性、可逆性，以及它们的自相关函数（ACF ）、偏自相关函数（PACF ）的特征。这些特征是识别这三种模型的重要依据。

（1） SACF 和SPACF 的截尾性判定

以上讨论的ACF 或PACF 的截尾性是理论上的特性。而在实际问 题中往往是观测到时间序列样本T

X X X ,,2,1Λ，通过判别SACF 和

SPACF 的截尾性推测理论上的截尾性。而因为SACF k

ρ

?和SPACF kk

k

φρ

??=*都是统计量，取值是随机的，所以判别它们截尾要在

统计意义下进行，也就是要做假设检验。 以下定理用来判别ACF 的截尾性。

补充定理（Bartlett 公式）给定时间序列样本T

X X X ,,2,1Λ。

[1]设已给序列为独立同分布的白噪声加常数t

u c t X +=，

)2,0(~σIID t

u 。则对任何固定的1≥k ，前k 个样本自相关系数满足 ),0()?,,1?(k

I N d

k T ?'ρρ

Λ，k I 为k 阶单位阵。 [2]设已给序列为独立的白噪声驱动的MA(q)过程t

u L c t X )(Θ+=，

)2,0(~σIID t

u 。则对任何固定的1+≥q k ，样本自相关系数k ρ?满足 ???? ?

?∑=+?q j j N d k T 1221,0?ρρ。 以上定理的[1]用于识别独立同分布序列。对任何固定的1≥k ，由于标准正态分布)1,0(N 的上2.5%分位数为1.96，因此近似地认为

%952196.1?=??

????-≤T k P ρ。

当计算的k

ρ

?不满足上式方括号中的不等式时，则在水平05.0=α上拒 绝零假设（理论值）0

:0=k H ρ，而接受双边备择假设0:1≠k

H ρ。 [2]用于识别MA(q)模型。在实际中欲判别MA(q)过程的k

ρ?（对任何固定的1+≥q k ）为零时，用样本的j

ρ?（对q j ,,1Λ=）代替未知的理论的j

ρ进行检验。即近似地认为

%9512?212196.1?=???????

?∑=+-≤q j j T k P ρρ， 当计算的k

ρ

?不满足上式方括号中的不等式时，则在水平05.0=α上拒绝零假设（理论值）0

:0=k H ρ，而接受双边备择假设0:1≠k

H ρ。 注解 在实际应用[2]时，MA(q)过程的阶数q 一般不很大，而样本数T 很大。实际中经常认为211

2212

1-≈∑=+-T q j j

T ρ，即当1+≥q k 时也通过

%952196.1?=??

????-≤T k P ρ 检验假设（理论值）0

:0=k

H ρ。例如，Eviews 软件就是这样近似的。 例子（Brockwell & Davis, Time Series: Theory and Methods, 2nd , Springer, 1991）

以上相关图中描画了从零均值的高斯MA(1)过程

{})1,0(~1

8.0IID t X t Z t Z t X --= （不是)1,0(WN ）

来的200个观察值的样本自相关函数40,,1,0,?Λ=k k

ρ

。第一步，根据以上定理的[1]进行独立性检验。由于滞后1的样本自相关系数是

21120057.75354.0?-?-=-=ρ

， 不在[1]中给出的

1386.020096.121±≈?±-的界限内，所以在水平05.0=α上我们拒绝

数据来自于独立的白噪声。第二步，由于从图中直观看到除去1

?ρ以外，样本的402?,,?ρρ

Λ都小了，提示着数据有可能来自MA(1)过程。我们需要应用定理的[2]严格进行检验。图中描画了定理中按照MA(1)过程给