时间序列模型归纳总结复习

时间序列模型归纳总结复习 随机时间序列分析的几个基本概念一、随机过程(Stochastic Process)定义 设（Ω,F,P ）是概率空间，T 是给定的参数集，如果对于任意t ∈T ，都有一定义在（Ω,F ,P ）上的随机变量X(t,ω)与之对应，则称随机变量族{X(t,ω),t ∈T}为随机过程。

简记为{X(t,),t ∈T}或{X t ,t ∈T }或X T离散参数的随机过程也称为随机序列或（随机）时间序列。

上述定义可简单理解成：随机过程是一簇随机变量{X t ,t ∈T}，其中T 表示时间t 的变动范围，对每个固定的时刻t 而言，X t 是一普通的随机变量，这些随机变量的全体就构成一个随机过程。

当t={0,±1,±2,…}时，即时刻t 只取整数时，随机过程{X t ,t ∈T}可写成如下形式，{X t ,t=0,±1,±2,…}。

此类随机过程X t 是离散时间t 的随机函数，称它为随机序列或时间序列。

对于一个连续时间的随机过程的等间隔采样序列，即{X t ,t=0,±1,±2,…}就是一个离散随机序列。

二、时间序列的概率分布和数值特征1、时间序列的概率分布一个时间序列便是一个无限维的随机向量。

一个无限维随机向量X=(…,X-1,X0,X1,…)/的概率分布应当用一个无限维概率分布描述。

根据柯尔莫哥夫定理，一个时间序列的概率分布可以用它有限维分布簇来描述。

时间序列所有的一维分布是：…，F-1(·)，F0(·)，F1(·),… 所有二维分布是：Fij(·，·)， i ，j=0,±1,±2,…,(i ≠j)一个时间序列的所有有限维分布簇的全体，称为该序列的有限维分布簇。

2、时间序列的均值函数一个时间序列的均值函数是指：()t t t EX XdF X μ∞-∞==⎰其中EXt 表示在t 固定时对随机变量Xt 的求均值，它只一维分布簇中的分布函数Ft(·)有关。

3、时间序列的协方差函数与自相关函数与随机变量之间的协方差相似，时间序列的协方差函数定义为：()(),(,)()()(,)t t s s t s s t s t s E X X X Y dF X Y γμμμμ∞∞-∞-∞=--=--⎰⎰其中Ft,s(X,Y)为（Xt ，Xs ）的二维联合分布。

类似可以定义时间序列的自相关函数，即：(,)(,)t s t s ργ=时间序列的自协方差函数有以下性质： （1） 对称性：(,)(,)t s s t γγ=（2） 非负定性：对任意正整数m 和任意m 个整数k 1, k 2,。

k m ，方阵()()()()()()()()()11121m 21222m m 1m 2m m k ,k k ,k k ,k k ,k k ,k k ,k k ,k k ,k k ,k m γγγγγγγγγ⎡⎤⎢⎥⎢⎥Γ=⎢⎥⎢⎥⎢⎥⎣⎦为对称非负定矩阵。

时间序列的自相关函数同样也具有上述性质且有ρ(t,t)=1。

三、平稳随机过程平稳时间序列是时间序列分析中一类重要而特殊的随机序列，时间序列分析的主要内容是关于平稳时间序列的统计分析。

（一）两种不同的平稳性定义：1、 严平稳：如果对于时间t 的任意n 个值12,,,n t t t 和任意实数ε，随机过程t X 的n 维分布满足关系式：()()12121212,,;,,,,;,,n n n n n n F x x x t t t F x x x t t t εεε=+++则称t X 为严平稳过程。

2、宽平稳：若随机过程{},t X t T ∈的均值（一阶矩）和协方差存在，且满足（1）[]t E X at T =∀∈ （2）[][](),t k t E X a X a k t t k T γ+--=∀+∈则称{},t X t T ∈为宽平稳随机过程。

通常说的平稳是指宽平稳。

二者的联系：（Ⅰ）严≠>宽：因为宽平稳要求期望和协方差存在，而严平稳要求概率分布存在，而不能断言一、二阶矩存在。

（Ⅱ）宽≠>严，这是不言而喻的。

（Ⅲ）严平稳+二阶矩存在⇒宽平稳。

但反过来一般不成立。

（Ⅳ）对于正态过程来说，有：严平稳⇔宽平稳 （二）平稳时间序列自协方差函数和自相关函数为了叙述方便，常假定平稳时间序列t X 的均值为零，即[]0t E X =。

用以下记号表示平稳序列t X 的自协方差函数，即[][]()0k t k t k t t t t t kE X EX X EX EX EX X γ+++=--==当时相应地，t X 的自相关函数用以下记号0k k ργ=平稳序列t X 的自协方差函数列和自相关函数列具有以下性质： （1） 对称性：,k k k k γγρρ--==； （2） 非负定性：对于任意正整数m ，01m-110m-2m-1m-20m γγγγγγγγγ⎡⎤⎢⎥⎢⎥Γ=⎢⎥⎢⎥⎣⎦，1m-11m-2m-1m-2111m R ρρρρρρ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦ 为非负定对称方阵； （3）0,1k k γγρ≤≤。

（三）平稳序列的样本统计量 （1） 样本均值时间序列无法获得多重实现，多数时间序列仅包含一次实现，对于一个平稳序列用时间均值代替总体均值。

即11nt t X X n ==∑上式的估计是无偏的。

（2） 样本自协方差函数()()11ˆn kk t t k t X X X X n γ-+==--∑()()11ˆn kk t t k t X X X X n k γ-+==---∑ 第一式是有偏估计，第二式是无偏估计，但有效性不如第一式。

其它概率性质和偏自相关函数的定义将在以后章节介绍。

四、几类特殊的随机过程（序列）：1、纯随机过程：随机过程如果是由一个不相关的随机变量的序列构成的，则称其为纯随机过程。

2、白噪声序列（White noise ）：如果时间序列t X 满足以下性质： （1）[]0t E X = （2）[]2,t s t s E X X σδ=式中，当t ≠s 时，,,0,1t s t t δδ==。

称此序列为白噪声序列，简称白噪声。

白噪声是一种最简单的平稳序列。

（3）独立同分布序列：如果时间序列{},t X t T ∈中的随机变量X t ,t=0,±1,±2,…,为相互独立的随机变量，而且X t 具有相同的分布，称这样的时间序列{},t X t T ∈为独立同分布序列。

独立同分布序列是一种最简单的严平稳序列。

一般说，白噪声序列与独立同分布序列是不同的两种序列，当白噪声序列为正态序列时，它也是独立同分布序列，此时称之为正态白噪声序列。

（4）独立增量随机过程：对于任意正整数n ，任意()121,2,,,i n t T i n t t t ∈=<<<，随机变量21321,,n n t t t t t t X X X X X X ----相互独立。

简单地讲，就是任意两相邻时刻上的随机变量之差（增量）是相互独立的。

（5）二阶矩过程：若随机过程{},t X t T ∈对每个,t T ∈t X 的均值和方差存在，则称之为二阶矩过程。

（6）正态过程：若{},t X t T ∈的有限维分布都是正态分布，则称{},t X t T ∈为正态随机过程。

主要介绍三种单变量模型：自回归（AR ）模型、移动平均（MA ）模型和自回归移动平均（ARMA ）模型。

第一节 自回归模型一、一阶自回归模型AR(1)如果时间序列独立，就是说事物的后一时刻的行为主要与其前一时刻的行为毫无关系。

这样的资料所揭示甲统计规律就是事物独立地随机变动，系统无记忆能力。

如果情况不是这样，资料之间有一定的依存性。

后一时刻的行为主要与前一时刻的行为有关，而与其前一时刻以前的行为无直接关系，即已知Xt-1；X t 主要与X t-1相关。

用记忆性来说，就是最短的记忆，即一期记忆，也就是一阶动态性。

描述这种关系的数学模型就是一阶自回归模型。

即11t t t X X a ϕ-=+记作AR （1）。

其中X t 零均值平稳序列，αt 为随机扰动。

1、 一阶自回归模型的特点X t 对X t-1有线性相关关系 αt 为独立正态同分布序列()0,1,2,...t t j E a X j -==2、 AR （1）与普通一元线性回归的关系(0,N σ主要区别：（1） 普通线性回归模型需要一组确定性变量值和相应的观测值；ＡＲ（１）模型只需要一组随机变量的观测值。

（2） 普通一无线性回归表示的是一随机变量对另一个确定性变量的依存关系；而AR （1）表示的是一个随机变量对其自身过去值的依存关系。

（3） 普通线性回归是在静态的条件下研究的；AR （1）是在动态的条件下研究的。

（4） 二者的假定不同。

（5） 普通回归模型实质是一种条件回归，而AR （1）是无条件回归。

主要联系：固定时刻t-1，且观察值Xt-1已知时，AR （1）就是一个普通的一元线性回归。

二、AR （1）模型的特例－随机游动 １、随机游动模型1t t t X X a -=+ ２、模型的特性（１） 系统具有极强的一期记忆性，系统在t-1和t 时刻的响应，除随机扰动外，完全一致，差异完全是由扰动引起的。

（２） 在时刻t-1时，系统的一步超前预测就是系统在t-1时的响应X t-1，即(1)11ˆt t X X --=。

（３） 系统行为是一系列独立随机变量的和，即 0t t jj X a∞-==∑三、一般自回归模型AR(n)1122...t t t n t n t X X X X a ϕϕϕ---=++++其中：t a 为白噪声，()0,1,2,...t t j E a X j -==。

第二节 移动平均模型一、一阶移动平均模型MA （1）如果系统的响应X t 仅与其前一时刻进入系统的扰动αt 存在一定的相关关系，则有MA （1）模型： 11t t t X a a θ-=-其中：t a 为白噪声。

MA （1）模型的基本假设为：（1）系统的响应X t 仅与其前一时刻进入系统的扰动αt 有一定的依存关系；（2）t a 为白噪声。

二、一般移动模型MA （m ）模型的形式：1112...t t t t m t m X a a a a θθθ---=----其中：（1）X t 仅与1t α-，2t α-，… ，t m α-有关，而与t j α-（j=m+1,m+2,…）无关；（2）t α为白噪声。

第三节 自回归移动平均(ARMA)模型一、ARMA （2，1）模型1、ARMA （2，1）模型的形式：112211t t t t t X X X ϕϕαθα-----=-其中：t X 与1t X -、2t X -和1t α-有相关关系，t α白噪声。