时间序列分析讲义(2)

（3） 最大似然估计法（MLE ）

首先大家打开教材第43页看，我们纠正教材中的错误。它说： “对于一组相互独立的随机变量),,2,1(,T t t

x =，当得到一个样本),,,(21T x x x 时，似然函数可表示为

∏===T t t x f x f x f x f T x x x L 1

)()2

()2()1(),,2,1(γγγγγ 式中),,,(21k γγγγ =是一组未知参数”。

我们知道时间序列一般不是独立的，而是相依的离散时间随机过程。因此，得到的样本),,,(21T x x x 不可能是相互独立的，似然函数绝不是以上概率密度乘积的形式。所以，教材中这一段是错误的。

似然函数在估计理论中有着根本的重要性的一个原因是因为“似然原理”。这个原理说：已知假定的模型是正确的，数据非得告诉我们的关于参数的全部包含在似然函数中，数据的所有其他方面是不切题的。

实际上，一般的ARMA 过程（含AR 、MA 过程）参数的最大似 然估计计算过程很复杂。至少有三种方法写出精确的似然函数：向后

预报法、递推预报法、状态空间与卡尔曼（Kalman ）滤波法。我们讲只对递推预报法最简要介绍，从而为引出模型选择的AIC 、BIC 信息准则铺平道路。

我们先以最简单的因果的AR(1)过程的MLE 为例，说明MLE 的主要思想。考虑因果的AR(1)过程，满足模型

t

u t X t X +-+=110φφ， ),0(~2σN IID t u ， 且11<φ。则均值为 )(1

10t X E =-=φφμ。我们以),1,(2σφμ为三个未知参数，而)1

1(0φμφ-=不作独立的未知参数。模型中心化为 t

u t X t X +--=-)1(1μφμ。 设已得到了样本值),,,(21T x x x 。则关于参数),1,(2

σφμ的似然函数为 )2,1

,;1()2,1,;12()2,1

,;2,,2,11()2,1,;1,,1(),,2,1;2,1,(σφμσφμσφμσφμσφμx f x x f T x x x T x f T x x T x f T

x x x L ⨯---= 联合概率密度在样本值),,,(21T x x x 处的值写为条件概率密度和最后一个无条件概率密度的乘积。由AR(1)模型知当1,,1-t X X 给定时，t

X 的条件分布为 )2),1

(1(~1,,1σμφμ--+-t X N t X X t X 。 （正态分布） 再由因果性和传递形式和正态分布性质对均方极限的封闭性，有

)21

12,(~0111φσμφμ-∑∞=-+=N j j u j X （正态分布）。 所以，似然函数等于

[]

⎭⎬⎫⎩⎨⎧---⎪⎭⎫ ⎝⎛=⎪⎭

⎪⎬⎫⎪⎩⎪⎨⎧----⨯⎪⎪⎭

⎫ ⎝⎛∏=⎭⎬⎫⎩⎨⎧-----=)1,(221exp 2112222)1(22211exp 221122)1(1221exp 21),,2,1;2,1,(φμσφπσμσφσπφμφμσσπσφμS T x T t t x t x T

x x x L 其中

[][]

⎪⎪⎭⎫ ⎝⎛∑=+∑-∞==∑=----+--=T t t u t T x x t u E T t t x t x x S 2212),,1(22)1(12)1)(211()1,( μφμμφφμ （可写为包含向后预报）称为无条件平方和函数，它不含2σ。

[1] 无条件的（或精确的）最大似然估计。最大化无条件对数似然函数),,2,1;2,1,(ln T x x x L σφμ。将2

σ整体，而不是σ看作一个未知参数，解

0)1,(212ln 422=+-=∂∂φμσ

σσS T L 得

)1,(1ˆ2φμσS T

=。 再将上式带回到对数似然函数中得到

⎪⎭⎫ ⎝⎛-+⎪⎭⎫ ⎝⎛-+-=211ln 21)1,(1ln 2)1)2(ln(2)1,(ln φφμπφμS T

T T L ， 它已经不含2σ。然后再相当于最小化“约简的似然函数”（或称“剖面似然函数”）

⎪⎭⎫ ⎝⎛--⎪⎭⎫ ⎝⎛=211ln 1)1,(1ln )1,(φφμφμT S T

l 来求得最大似然估计1

ˆ,ˆφμ。最后带入得白噪声方差的最大似然估计 )1ˆ,ˆ(1ˆ2φμσS T

=。 [2] 无条件的（或精确的）最小二乘估计。直接最小化无条件平方

和函数)1,(φμS 来求得估计1

ˆ,ˆφμ，然后取白噪声方差的最小二乘估计为 )1ˆ,ˆ(2

1)1ˆ,ˆ(2ˆφμφμσS T S -==个数由度为残差数减去参数回归中残差平方和的自。

[3] 条件的最大似然估计。在给定1

X 的条件下最大化条件的似然函数。在以上精确的似然函数中舍去最后的因子无条件概率密度值

)2,1

,;1(σφμx f ，即得到条件的似然函数 ⎭

⎬⎫⎩⎨⎧---⎪⎭⎫ ⎝⎛=⨯---=)1,(221exp 2)1(22)2,1

,;12()2,1

,;2,,2,11()2,1,;1,,1()1

,,2;2,1,(φμσπσσφμσφμσφμσφμc S T x x f T x x x T x f T x x T x f x T x x L 其中

[]

∑==∑=----=T t t u T t t x t x c S 2222)1(1)1,(μφμφμ 称为条件平方和函数，它不含2σ，它比前面无条件平方和函数)1,(φμS 少一项2)1

)(211(μφ--x 。解 0

)1,(4212212)1,,2;2,1,(ln =+--=∂∂φμσσσσφμc S T x T x x L 得

)1,(112ˆφμσc

S T -=。 再将上式带回到对数条件似然函数中得到