第三章线性平稳时间序列模型
第三章 线性平稳时间序列分析

第三章 线性平稳时间序列分析在时间序列的统计分析中,平稳序列是一类重要的随机序列。
在这方面已经有了比较成熟的理论知识,最常用的是ARMA (Autoregressive Moving Average )序列。
用ARMA 模型去近似地描述动态数据在实际应用中有许多优点,例如它是线性模型,只要给出少量参数就可完全确定模型形式;另外,便于分析数据的结构和内在性质,也便于在最小方差意义下进行最佳预测和控制。
本章将讨论ARMA 模型的基本性质和特征,这是时间序列统计分析中的重要理论基础。
§3.1 线性过程通常假设随机序列是由平稳序列{}t X 与相互独立的冲击或振动{}t ε叠加生成,其中tε是服从某一固定分布的随机变量,实际中由于t ε的独立性及分布情况难以确定,常用白噪声序列来定义。
在正式讨论之前,我们首先给出相应的准备工具,介绍延迟算子和求解线性差分方程,这些工具会使得时间序列模型表达和分析更为简洁和方便,下面是延迟算子的概念。
定义 设B 为一步延迟算子,如果当前序列乘以一个延迟算子,就表示把当前序列值的时间向过去拨一个时刻,即1-=t t X BX 。
进一步地,对于任意的n ,延迟算子B 满足:22t t n t t nB X X B X X --==一般地,延迟算子B 有如下性质: (1) 01B =;(2) 若c 为任意常数,则()()1t t t B c X c B X c X -⋅=⋅=⋅;(3) 对于任意的两个序列{}t X 和{}t Y ,有()()()11t t t t t t B X Y B X B Y X Y --±=±=±; (4)()()()01!1!!nnni i n B B i n i =--=-∑。
接下来我们讨论求解线性差分方程。
定义 定义如下形式方程为序列{:0,1,2,}t z t =±±的线性差分方程:()11t t p t p z z z h t αα--+++=,其中1p ≥,1,,p αα为实数,()h t 为t 的已知函数。
第3-2章_平稳时间序列分析-ARMA模型

所以,平稳AR(2)模型的协方差函数递推公式为
1 2 2 0 (1 )(1 )(1 ) 2 1 2 1 2 1 0 1 1 2 k 1 k 1 2 k 2,k 2
例3.1:考察如下四个模型的平稳性
(1) xt 0.8xt 1 t
(2) xt 1.1xt 1 t
(3) xt xt 1 0.5xt 2 t
(4) xt xt 1 0.5xt 1 t
例3.1平稳序列时序图
(1) xt 0.8xt 1 t
1 2 p 1
(2)由于
i (i 1,, p) 可正可负,AR(p)模型
1 2 p 1
稳定的充分条件是:
例3.1平稳性判别 模 型
(1)
(2) (3) (4)
1
特征根判别
1 0.8
1 1.1
1 i 2
平稳域判别
结 论
(一)AR模型定义
具有如下结构的模型称为 p 阶自回归模型,简 记为 AR( p)
xt 0 1 xt 1 2 xt 2 p xt p t p 0 2 E ( t ) 0,Var( t ) , E ( t s ) 0, s t Ex 0, s t s t
(3) xt xt 1 0.5xt 2 t
例3.1非平稳序列时序图
(2) xt 1.1xt 1 t
(4) xt xt 1 0.5xt 1 t
从时序图上可以看出,(1)(3)模型平稳, (2)(4)模型非平稳。
(三)AR模型平稳性常用判别方法 特征根判别 AR(p)模型平稳的充要条件是它的p个特征根 都在单位圆内。
时间序列分析方法 第3章 平稳ARMA模型

第三章 平稳ARMA 过程一元ARMA 模型是描述时间序列动态性质的基本模型。
通过介绍ARMA 模型,可以了解一些重要的时间序列的基本概念。
§3.1 预期、平稳性和遍历性 3.1.1 预期和随机过程假设可以观察到一个样本容量为T 的随机变量t Y 的样本:},,,{21T y y y这意味着这些随机变量之间的是相互独立且同分布的。
例3.1 假设T 个随机变量的集合为:},,,{21T εεε ,),0(~2σεN i 且相互独立,我们称其为高斯白噪声过程产生的样本。
对于一个随机变量t Y 而言,它是t 时刻的随机变量,因此即使在t 时刻实验,它也可以具有不同的取值,假设进行多次试验,其方式可能是进行多次整个时间序列的试验,获得I 个时间序列:+∞=-∞=t t t y }{)1(,+∞=-∞=t t t y }{)2(,…,+∞=-∞=t t I t y }{)(将其中仅仅是t 时刻的观测值抽取出来,得到序列:},,,{)()2()1(I t t t y y y ,这个序列便是对随机变量t Y 在t 时刻的I 次观测值,也是一种简单随机子样。
定义3.1 假设随机变量t Y 是定义在相同概率空间},,{P Ω上的随机变量,则称随机变量集合},2,1,0,{ ±±=t Y t 为随机过程。
例3.2 假设随机变量t Y 的概率密度函数为: ]21exp[21)(22t t Y y y f t σσπ=此时称此时密度为该过程的无条件密度,此过程也称为高斯过程或者正态过程。
定义3.2 可以利用各阶矩描述随机过程的数值特征: (1) 随机变量t Y 的数学期望定义为(假设积分收敛):⎰==+∞∞-tt Y t t t dy y f y Y E t )()(μ 此时它是随机样本的概率极限:∑==∞→I i i t I t y I P Y E 1)(1lim )((2) 随机变量t Y 的方差定义为(假设积分收敛):20)(t t t Y E μγ-=例3.3 (1) 假设},,{21 εε是一个高斯白噪声过程,随机过程t Y 为常数加上高斯白噪声过程:t t Y εμ+=,则它的均值和方差分别为:μεμμ=+==)()(t t t E Y E 2220)()(σεμγ==-=t t t t E Y E(2) 随机过程t Y 为时间的线性趋势加上高斯白噪声过程:t t t Y εβ+=,则它的均值和方差分别为:t E t Y E t t t βεβμ=+==)()( 2220)()(σεμγ==-=t t t t E Y E3.1.2 随机过程的自协方差将j 个时间间隔的随机变量构成一个随机向量),,(1'=--j t t t t Y Y Y X ,通过随机试验可以获得该随机向量的简单随机样本。
第三章平稳时间序列预测

xˆt l E Xtl Xt , Xt1,
E tl 1tl1 qtlq Xt , Xt1,
0
21
❖ MA(q)模型预测方差为
var
et l
1 12
112
2 l 1
2
q2 2
lq lq
22
例3
❖ 已知某地区每年常驻人口数量近似服从MA(3)模型 (单位:万人):
时刻t和以前时刻的观察值 xt , xt1, xt2 ,
,
我们将用已知的观察值对时刻t后的观察值xtl l 0
进行预测,记为xˆt l,称为时间序列Xt 的第 l
步预测值。
2
最小均方误差预测
❖ 考虑预测问题首先要确定衡量预测效果的标准,
一个很自然的思想就是预测值xˆt l与真值 xtl 的均
方误差达到最小,即设
et1(l 1)
xˆt1(l 1)
修正预测原理
❖ 在旧信息的基础上,Xt+l的预测值为
xˆt (l) Gli ti Glt Gl1t1 i0
❖假设新获得一个观察值Xt+1 ,则
▪ Xt+l的修正预测值为
xˆt1(l 1) Gl1 t1 Glt Gl1 t1 Gl1t1 xˆt (l)
X t 100 t 0.8t1 0.6t2 0.2t3, 2 25
最近3年的常驻人口数量及一步预测数量如下:
年份
统计人数
预测人数
2002
104
110
2003
108
100
2004
105
109
预测未来5年该地区常住人口的95%置信区间
X t 100 解t : 0.8t1 0.6t2 0.2t3, 2 25
平稳时间序列模型的建立

第三章 平稳时间序列模型的建立
第一节 时间序列的采集 直观分析和特征分析 第二节 时间序列的相关分析 第三节 平稳时间序列的零均值处理 第四节 平稳时间序列的模型识别 第五节 平稳时间序列模型参数的矩估计 第六节 平稳时间序列模型的定阶 第七节 平稳时间序列模型的检验 第八节 平稳时间序列模型的建模方法
检验后面s个回归因子对因变量的影响是否显著
H 0 :r s 1 r s 2 r 0
设样本容量为N;上述两个模型的残差平方和分别是Q0与
Q1;则检验统计量为 FQ1Q0 s Fs,Nr
Q0 Nr
F检验定阶法
FQ1Q0 s Q0 Nr
Fs,Nr
M1: y1X12X2 rXr M2: y1X12X2 X rs rs H0: rs1 rs2 r 0
Et0, vart2, Est0,st EXst0, st
非中心化ARMAp;q模型
X t 0 1 X t 1 2 X t 2 p X t p t 1 t 1 2 t 2 q t q
ARMA模型:自回归移动平均模型
中心化ARMAp;q模型
X t1X t 12X t 2pX tpt1t 12t 2qt q X t1 1 1 1 B B 2 2B B 2 2 q p B B q p t
数据图检验法
以时间为横轴;变 量Xt的取值为纵轴
平稳的特点
无明显的趋势性或 周期性
在一直线附近做小 幅波动
1990年12月19日2008年11月6日上 证A股指数日数据除去节假日;共 4386个数据
数据图检验法
1994年1995年香港环境数 据序列
a 表示因循环和呼吸问题 前往医院就诊的人数;
第三章 线性平稳时间序列模型

x 这种状况可用模型概括为: t
1at 1
(3)如果当天的反应是疼痛 0 ,第二天 出现了红肿 1 ,那么:
时间 输入 输出 t :1 at: 0 xt:0 2 1
0
3 0
1
4 0 0
5 0 0
这种状况可用模型概括为: x
t
0 at 1at 1
(4)如果打针以后各个时刻都存在相应的反 应,那么,关于该刺激的总的概括为:
上一页 下一页 返回本节首页
第二节 建立线性时序模型的原理 ——动态性
上一页 下一页 返回本节首页
动态性:就是指时间序列各观测值之间的 相关性。 从系统的观点看:动态性即指系统的记忆 性,也就是某一时刻进入系统的输入对 系统后继行为的影响,图示如下:
输入 输出(响应)
系统
例
(1)某人在某一天打了一针,如果当天的反应 是疼痛 0 ,而以后没有其它反应,那么系统 的输入、输出如下:
(2)自相关图检验(判断准则)
平稳序列通常具有短期相关性。该性质用自相 关系数来描述就是随着延迟期数的增加,平稳序
列的自相关系数会很快地衰减向零。
若时间序列的自相关函数在k>3时都落入置 信区间,且逐渐趋于零,则该时间序列具有平稳 性; 若时间序列的自相关函数更多地落在置信区间
外面,则该时间序列就不具有平稳性。
ˆ k ~ N ( 0, ) n 1 , k 0
上一页 下一页 返回本节首页
2.假设条件
m 原假设:延迟期数小于或等于 期的序列 值之间相互独立
H 0: 1 2 m 0, m 1
H 1:至少存在某个 k 0, m 1, k m
m
纯随机序列也称为白噪声序列,它满足如 下两条性质 (1) EX t , t T
第3章 平稳时间序列分析(1)

第3章平稳时间序列分析本章教学内容与要求:了解时间序列分析的方法性工具;理解并掌握ARMA 模型的性质;掌握时间序列建模的方法步骤及预测;能够利用软件进行模型的识别、参数的估计以及序列的建模与预测。
本章教学重点与难点:利用软件进行模型的识别、参数的估计以及序列的建模与预测。
型来息。
t x 为t x 的1阶差分: ▽1t t t x x x --=对1阶差分后的序列再进行一次1阶差分运算称为2阶差分,记▽2tx 为t x 的2阶差分:▽2t x =▽t x -▽1-t x以此类推,对p-1阶差分厚序列再进行一次1阶差分运算称为p 阶差分。
记▽p t x 为t x 的p 阶差分:▽p t x =▽p-1t x -▽p-11-t x (二)k 步差分kt x 为t x 的10,,1t = 10,,2 = 即2阶差分序列▽2t x :3,22,-63,-54,-6,16,-52,-40,10,,3t = 2步差分:▽29x x x 133=-= ▽234x x x 244=-=……▽2-28x x x 81010=-=即2步差分序列:9,34,-7,-26,12,21,-16,-28 二、延迟算子(滞后算子) (一)定义延迟算子类似于一个时间指针,当前序列值乘以一个延迟算子,就相x因此,15-18+6=343-30+9=222.k 步差分▽k =t k t k t k t t x )B 1(x B x x x -=-=--三、线性差分方程在实践序列的时域分析中,线性差分方程是非常重要的,也是极为有效的工具,事实上,任何一个ARMA模型都是一个现象差分方程。
因此,ARMA模型的性质往往取决于差分方程的性质。
为了更好地讨论ARMA 模型的性质,先简单介绍差分方程的一般性质。
设,,方程两边同除以,得特征方程(这是一个一元p次方程,应该至少有p个非零实根,称这p个实根为特征方程(3)的特征根,不防记作.特征根的取值情况不同,齐次线性差分方程的解会有不同的表达形式。
第三章线性平稳时间序列模型

j k
收敛,故 { X t } 为平稳序列。
6
,
3.1.2 线性过程的因果性
在应用时间序列分析去解决实际问题时,
所使用的线性过程是因果性的,即:
X t t G1 t 1 G2 t 2
G j t j
j 0
2 j
G0 1,
G
E( t ) 0,Var( t ) 2 , E( t s ) 0, s t
(2) Exs t 0, s t 那么我们就说xt遵循一个一阶自回归或AR(1)随机过程。
如果{xt}是一个非零均值的平稳时间序列,可先对其做中 心化处理,使其转化为零均值平稳时间序列: 设:Ext 令: yt xt
第三章 线性平稳时间序列模型
Contents
§3.1 线性过程的定义
§3.2 线性平稳时间序列模型的种类
§3.3 ARMA(p,q)模型的平稳性 和可逆性
§3.4 ARMA模型的传递形式 和逆转形式
第一节 线性过程
线性过程的定义
线性过程的因果性 线性过程的可逆性
3.1.1线性过程的定义
q t q
三、自回归移动平均模型, ARMA(p,q)
如果零均值平稳序列{Xt}的当前值不仅与自身的过去 值有关,而且还与其以前进入系统的外部冲击存在一定 依存关系,那么它可以用如下的线性模型来描述:
2 1 B B 1 2
xt 1xt 1 p xt p t 1 t 1 q t q
今后在分析AR模型时,都简化为对它的中心化模型进 行分析。
二、移动平均模型(Moving average model , MA)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
可见,AR(1)模型中,xt在t时刻值依赖于两部分,一部分依 模型中, 时刻值依赖于两部分, 可见 模型中 时刻值依赖于两部分 赖于它的前一期的值x 另一部分是依赖于与x 赖于它的前一期的值 t-1;另一部分是依赖于与 t-1不相关 的部分ε 的部分 t 可将AR(1)模型写成另一种形式: 模型写成另一种形式: 可将 模型写成另一种形式
xt = ϕ1xt −1 + ϕ2 xt −2 +L+ ϕ p xt − p + εt
其中: (1) p ≠ 0 (2) εt是白噪声序列 (3) Exsε t = 0, ∀s < t
E (ε t ) = 0,Var (ε t ) = σ ε2 , E (ε t ε s ) = 0, s ≠ t
那么我们就说xt遵循一个p阶自回归或AR(p)随机过程。
例如: ARIMA(2,1,2)表示先对时间序列进行一阶差分,使之 转化为平稳序列,然后对平稳序列建立ARMA(2,2)模型。 ARIMA(p,0,q)就相当于ARMA(p,q)。 ARIMA(p,0,0)就相当于AR(p)。 ARIMA(0,0,q)就相当于MA(q)。 对于一个ARIMA(p,d,q)也可以用推移算子B表示如下 ϕ (B )(1 − B) d xt = θ ( B)ε t 其中: ϕ (B ) = 1 − ϕ 1 B − ϕ 2 B 2 − L − ϕ p B p
(二).二阶自回归模型,AR(2)
1.设{xt}为零均值的随机序列,如果关于xt的合适模型为: 其中:
xt = ϕ1xt −1 + ϕ2 xt −2 + εt
ε (1) t是白噪声序列
E (ε t ) = 0,Var (ε t ) = σ ε2 , E (ε t ε s ) = 0, s ≠ t
(2) Exsε t = 0, ∀s < t 那么我们就说xt遵循一个二阶自回归或AR(2)随机过程。 思考:若建立 模型以后, 思考:若建立AR(2)模型以后,上述假设不符合,说明了 模型以后 上述假设不符合, 什么问题? 什么问题?
xt −ϕ1xt −1 = εt
通过这一种形式可以看出,AR(1)模型通过消除 t中依赖于 模型通过消除x 通过这一种形式可以看出, 模型通过消除 xt-1的部分,而使相关数据转化成了独立数据。 的部分,而使相关数据转化成了独立数据。
2.随机游走 随机游走(Random Walk)过程 随机游走 过程
θ (B ) = 1 − θ 1 B − θ 2 B 2 − L − θ q B q
(1 − B) d xt = ∆d xt
第二节
ARMA(p,q)模型的平稳性和可逆 ARMA(p,q)模型的平稳性和可逆 性
一、时间序列模型的平稳性 二、时间序列模型的可逆性 三、AR模型的平稳性条件 四、MA模型的可逆性条件 五、ARMA模型的平稳性条件和可逆性条件
三、AR(p)模型的平稳性条件
对于一个有限阶的AR(P)模型:
2 p ϕ 其中: (B ) = 1 − ϕ1 B − ϕ 2 B − L − ϕ p B
Φ ( B ) xt = ε t
例如,二阶自回归模型 xt = 0.7 X t −1 + 0.3 X t − 2 + ε t ,可 写成 (1 − 0.7 B − 0.3B 2 ) xt = ε t
二、移动平均模型(Moving average model , MA)
(一)一阶移动平均模型,MA(1) 如果关于零均值随机序列xt的合适的模型如下:
自回归系数多项式
引进滞后算子,中心化 AR ( p )模型又可以为
xt = ϕ1 Bxt + ϕ 2 B 2 xt + L + ϕ p B p xt + ε t 从而有: (1 − ϕ1 B − ϕ 2 B 2 − L − ϕ p B p ) xt = ε t 记:
则模型可以表示成:
Φ( B) = 1 − ϕ1 B − ϕ 2 B 2 − L − ϕ p B p
四、 求和自回归移动平均模型(ARIMA , Integrated Autoregressive Moving average model)
如果序列xt是均值非平稳的,对其进行d次差分后,变成了 平稳的序列∆dxt,这个差分后的平稳序列的适应性模型为 ARMA(p,q) ,此时就称对原始序列xt建立了ARIMA(p,d,q) 模型。 其中: p为自回归部分项阶数, q指移动平均部分 阶数, d为使序列平稳之前必须对其差分的次数。
对于上式,可以证明如下结论: ∞ 2 Var ( xt ) = σ a ∑ G 2 j
j =0
2 σ a 且: E (ε t xt − j ) = 0
j=0 j>0
∞ i =o =o
2 γ k =; k
G2 < ∞ 由于平稳过程的方差存在。因此必须有∑ j
j =0
∞
这是平稳过程的条件。
对于一个有限阶的MA(q)模型 总有:
∞ q
x t = ε t − θ 1ε t − 1 − θ 2 ε t − 2 − L − θ q ε t − q
G2 = 1+ ∑θi2 < ∞ ∑ j
j =0 i =1
所以,一个有限阶的 一个有限阶的MA(q)模型总是平稳的。 模型总是平稳的。 一个有限阶的 模型总是平稳的 一个有限阶的MA(q)模型本身就是一种传递形式。 模型本身就是一种传递形式。 一个有限阶的 模型本身就是一种传递形式
xt = εt −θ1εt −1
其中:εt为白噪声序列,那么就称xt满足一阶移动平均 过程,记作MA(1)
(二)一般移动平均模型,MA(q)
如果关于零均值时间序列xt的合适的模型如下:
xt = εt −θ1εt −1 −θ2εt −2 −L−θqεt −q
其中: (1)εt为白噪声过程 (2)θ q ≠ 0 那么就称xt满足q阶移动平均过程,记作MA(q) 使用滞后算子,MA(q)模型可以写成:
一、自回归模型(Auto regressive model, AR)
(一).一阶自回归模型,AR(1) 1.设{xt}为零均值随机序列,如果关于xt的合适模型为: 其中:
xt = ϕ1xt −1 + εt
ε 是白噪声序过程(外部冲击) (1) t是白噪声序过程(外部冲击)
E(εt ) = 0,Var(εt ) = σε2 , E(εtε s ) = 0, s ≠ t
xt = (1 − θ1 B − θ 2 B 2 − L − θ q B q )ε t = θ ( B)ε t
三、自回归移动平均模型, ARMA(p,q)
如果零均值序列{Xt}的当前值不仅与自身的过去值有 关,而且还与其以前进入系统的外部冲击存在一定依存 关系,那么它可以用如下的线性模型来描述:
xt = φ1 xt −1 + L + φ p xt − p + ε t − θ1ε t −1 − L − θ qε t − q 其中: (1)φ p ≠ 0,θ q ≠ 0 2 为白噪声过程,即E (ε t ) = 0,Var (ε t ) = σ ε , E (ε t ε s ) = 0, s ≠ t (2)ε t (3)Exsε t = 0, ∀s < t
对于一个有限阶的自回归模型AR(P)
xt = ϕ1xt −1 + ϕ2 xt −2 +L+ ϕ p xt − p + ε t
总有: 1+
∑
∞
π
j =1
j
=1+
∑
p
ϕ
j =1
j
< ∞
所以,一个有限阶的 模型本身就是一种逆转形式。 所以,一个有限阶的AR(P)模型本身就是一种逆转形式。 模型本身就是一种逆转形式
如果一个时间序列xt的合适的模型为如下的形式: 如果一个时间序列 的合适的模型为如下的形式: 的合适的模型为如下的形式
xt = xt −1 + ε t
其中: 为白噪声序列 那么就称xt为随机游走过程 为白噪声序列, 其中:εt为白噪声序列,那么就称 为随机游走过程 。 “随机游走”一词首次出现于1905年自然(Nature)杂志 随机游走”一词首次出现于 年自然( 随机游走 年自然 ) 的一篇通信中。 第72卷Pearson K. 和 Rayleigh L.的一篇通信中。该信件 卷 的一篇通信中 的题目是“随机游走问题” 的题目是“随机游走问题”。文中讨论寻找一个被放在 野地中央的醉汉的最佳策略是从投放点开始搜索。 野地中央的醉汉的最佳策略是从投放点开始搜索。
思考:如果{xt}是一个非零均值的平稳时间序列, 怎么对其建立模型?
Ex 设: t = µ E 于是: ( xt − µ ) = 0 则可对序列{xt − µ} 建立ARMA模型:
例如AR模型的一般形式可写为: ( xt − µ ) − ϕ1 ( xt −1 − µ ) − ϕ 2 ( xt − 2 − µ ) − L − ϕ p ( xt − p − µ ) = ε t 若μ未知,可估计如下模型: xt − ϕ1 xt −1 − ϕ 2 xt − 2 − L − ϕ p xt − p = ϕ 0 + ε t ϕ0 其中: µ = 1 − ϕ1 − ϕ 2 − L − ϕ p 今后在分析AR模型时,都简化为对它的中心化模型进 行分析。
则称Xt满足自回归移动平均过程,记为ARMA(p,q)。
利用滞后算子,ARMA(p,q)模型可写为:
ϕ(B) = 1−ϕ1B −ϕ2 B2 −L−ϕ p B p 其中: θ (B) = 1−θ1B −θ2 B2 −L−θq Bq
ϕ 且, (B )和θ (B ) 之间不出现公共因子。