时间序列分析方法 第05章 最大似然估计
最大似然估计详解
最⼤似然估计详解⼀、引⼊ 极⼤似然估计，我们也把它叫做最⼤似然估计(Maximum Likelihood Estimation)，英⽂简称MLE。
它是机器学习中常⽤的⼀种参数估计⽅法。
它提供了⼀种给定观测数据来评估模型参数的⽅法。
也就是模型已知，参数未定。
在我们正式讲解极⼤似然估计之前，我们先简单回顾以下两个概念：概率密度函数(Probability Density function),英⽂简称pdf似然函数(Likelyhood function)1.1 概率密度函数 连续型随机变量的概率密度函数(pdf)是⼀个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是⼀个区间的概率)。
给个最简单的概率密度函数的例⼦，均匀分布密度函数。
对于⼀个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:\[f_{I_{[a,b]}}(x) = \frac{1}{b-a}I_{[a,b]} \]其图像为：其中横轴为随机变量的取值，纵轴为概率密度函数的值。
也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。
这个函数虽然不是完全连续的函数，但是它可以积分。
⽽随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。
Tips:当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。
对于离散型随机变量，我们把它的密度函数称为概率质量密度函数对概率密度函数作类似福利叶变换可以得到特征函数。
特征函数与概率密度函数有⼀对⼀的关系。
因此，知道⼀个分布的特征函数就等同于知道⼀个分布的概率密度函数。
(这⾥就是提⼀嘴，本⽂所讲的内容与特征函数关联不⼤，如果不懂可以暂时忽略。
)1.2 似然函数 官⽅⼀点解释似然函数是，它是⼀种关于统计模型中的参数的函数，表⽰模型参数的似然性(likelyhood)。
最大似然估计概述
最大似然估计概述最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。
“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。
故而，若称之为“最大可能性估计”则更加通俗易懂。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
该方法在每组序列比对中考虑了每个核苷酸替换的概率。
最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。
通俗一点讲，就是在什么情况下最有可能发生已知的事件。
举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。
我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。
这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。
假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？我想很多人立马有答案：70%。
这个答案是正确的。
可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。
在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。
在一个三条序列的比对中，如果发现其中有一列为一个C，一个T和一个G，我们有理由认为，C和T所在的序列之间的关系很有可能更接近。
由于被研究序列的共同祖先序列是未知的，概率的计算变得复杂；又由于可能在一个位点或多个位点发生多次替换，并且不是所有的位点都是相互独立，概率计算的复杂度进一步加大。
尽管如此，还是能用客观标准来计算每个位点的概率，计算表示序列关系的每棵可能的树的概率。
最大似然估计法公式
最大似然估计法公式
最大似然估计法是一种用来估计模型参数的方法。
对于给定的样本数据，最大似然估计法所估计的参数值，是使样本数据出现的概率为最大的参数值。
具体公式如下：
设样本数据为 {x1, x2, ..., xn}，模型参数为θ，则样本数据出现的概率为：L(θ|x1, x2, ..., xn)
L(θ|x1, x2, ..., xn) 表示为似然函数。
最大似然估计法的核心思想是：选择一组参数值θ，使得在该组参数值下，样本数据出现的概率L(θ|x1, x2, ..., xn) 最大。
具体实现时，通常会对似然函数取对数，使问题转化为求解对数似然函数的最大值。
时间序列的极大似然估计
时间序列的极大似然估计1. 引言（150-200字）时间序列分析是指通过观察时间序列数据，确定数据的模式、趋势和周期性等属性，并预测未来的发展趋势。
在时间序列分析中，极大似然估计（Maximum Likelihood Estimation，简称MLE）是一种常用的参数估计方法，它利用观测到的样本数据，推断出该数据的参数的最优值。
本文将深入探讨时间序列极大似然估计的原理、公式和步骤，以及如何应用于实际数据分析中。
2. 时间序列分析概述（250-300字）时间序列分析可用于统计、金融、经济学等领域，对于预测和决策具有重要意义。
在时间序列分析中，我们通常假设数据是来自某一分布的随机过程，而该分布的参数则需要进行估计。
极大似然估计是一种经典的参数估计方法，它寻求参数使得样本数据在给定参数下出现的概率最大化。
3. 极大似然估计原理（300-400字）极大似然估计的核心思想在于选择参数使得观测到的数据出现的概率最大化。
在时间序列分析中，我们通常假设数据服从某一特定分布，如正态分布、指数分布等。
以正态分布为例，假设观测到的数据为x1, x2, ..., xn，那么极大似然估计的目标就是找到最适合数据分布的参数值。
4. 极大似然估计公式（300-400字）在极大似然估计中，我们通过最大化似然函数的对数来推导参数的最优值。
以正态分布为例，似然函数为L(θx1, ..., xn) = Π[1/(σ√(2π))] * e^(-(xi-μ)²/(2σ²))，其中θ表示参数，μ表示均值，σ表示标准差。
极大似然估计的公式为：θ^ = argmax[ln(L(θx1, ..., xn))]。
5. 极大似然估计步骤（400-500字）极大似然估计的实施步骤分为以下几步：（1）根据数据分析确定所采用的概率分布模型；（2）写出似然函数；（3）对似然函数取对数，并进行化简；（4）求解由对数似然函数导数为零得到的方程组；（5）检查所得估计值的合理性，并进行参数的显著性检验。
时间序列分析方法第05章最大似然估计
时间序列分析方法第05章最大似然估计最大似然估计(Maximum Likelihood Estimation, MLE)是一种常用的统计学方法，用于估计时间序列模型的参数。
在时间序列分析中，最大似然估计可以用于估计自回归(AR)、移动平均(MA)、自回归滑动平均(ARMA)等模型的参数。
最大似然估计的基本思想是寻找最能解释已观测到的数据的模型参数。
具体来说，最大似然估计根据已观测到的数据样本，通过优化模型参数使得该样本的出现概率最大化。
换句话说，最大似然估计通过寻找最可能产生观测到的数据样本的模型参数值，来估计真实的未知参数值。
最大似然估计的主要步骤如下：1.选择合适的时间序列模型。
根据数据的特征和背景知识，确定适合的时间序列模型。
常见的时间序列模型包括AR、MA、ARMA、ARIMA等。
2.建立模型的似然函数。
似然函数是一个关于模型参数的函数，表示了在给定参数值的情况下，观测到数据样本的概率。
3.对似然函数取对数，得到对数似然函数。
似然函数通常非常复杂，可能难以直接处理。
取对数可以简化计算，并不改变估计值的最优性质。
4.求解对数似然函数的最大值。
通过优化算法(如牛顿法、梯度下降法)求解对数似然函数的最大值，得到最大似然估计值。
5.检验估计结果。
最大似然估计得到的估计值通常具有一些统计性质，可以进行假设检验、置信区间估计等。
最大似然估计方法在时间序列分析中具有广泛的应用，可以用于估计参数、进行模型选择和模型比较等。
然而，最大似然估计方法也有一些限制和假设，它假设数据是独立同分布的，且服从一些特定的概率分布。
对于一些时间序列数据，可能不满足这些假设，或者需要使用其他方法进行估计。
总之，最大似然估计是一种重要的时间序列分析方法，可以用于估计自回归、移动平均等模型的参数。
它通过优化模型参数，使得模型生成观测到的数据样本的概率最大化。
最大似然估计方法在实际应用中具有广泛的应用，并可以通过检验统计性质来评估估计结果的准确性和有效性。
最大似然估计的原理及应用
最大似然估计的原理及应用1. 原理概述最大似然估计（Maximum Likelihood Estimation，简称MLE）是统计学中一种常见的参数估计方法，通过寻找使观测数据发生的概率最大化的参数值，来估计未知参数的方法。
其基本原理是在给定观测数据的条件下，选择参数值使得似然函数（或对数似然函数）最大。
2. 最大似然估计的步骤最大似然估计的步骤可以总结为以下几点：1.建立概率模型：根据观测数据的特点，选择合适的概率分布模型，如高斯分布、泊松分布等。
2.构建似然函数：将观测数据与参数构成的概率模型相结合，得到关于参数的似然函数。
3.对似然函数取对数：通常对似然函数取对数，方便计算和推导。
4.求导并解方程：对似然函数取导数，并解方程找到使似然函数最大化的参数值。
5.参数估计：得到使似然函数最大化的参数值，作为对未知参数的估计。
3. 最大似然估计的优点最大似然估计具有以下几个优点：•简单易用：只需要建立合适的概率模型，并求解似然函数的最大值，无需额外的假设或先验知识。
•有效性：在样本量充足的情况下，最大似然估计能够产生高质量的参数估计结果。
•渐进无偏性：在样本量趋于无穷的情况下，最大似然估计的结果具有无偏性。
4. 最大似然估计的应用4.1. 二项分布的参数估计二项分布是一种常见的离散概率分布，用于描述n次独立的二元试验中成功次数的概率分布。
最大似然估计可以用来估计二项分布的参数。
假设我们观测到了一系列成功次数的数据，我们可以建立一个二项分布模型，并使用最大似然估计来确定二项分布的参数，如成功概率p。
4.2. 正态分布的参数估计正态分布是一种常见的连续概率分布，具有对称性和钟形曲线特点。
最大似然估计可以用来估计正态分布的参数，包括均值和方差。
假设我们观测到一组服从正态分布的数据，我们可以建立正态分布模型，并使用最大似然估计来确定正态分布的参数，如均值和方差。
4.3. 泊松分布的参数估计泊松分布是一种常见的离散概率分布，用于描述单位时间内独立事件发生次数的概率分布。
时间序列分析方法 第05章 最大似然估计
第五章 最大似然估计在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。
我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。
§5.1 引 言5.1.1 ARMA 模型的极大似然估计假设数据的真实生成过程是一个),(q p ARMA 过程，则该过程的数据生成机制为： q t q t t p t p t t t Y Y Y c Y -----++++++++=εθεθεφφφ 112211 其中t ε是白噪声序列，满足：⎩⎨⎧≠==t s ts E t s ,0,)(2σεε我们将要讨论如何利用t Y 的观测值来估计母体参数：),,,,,,,,,(22121σθθθφφφq p c =θ我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。
假设获得了T 个样本),,,(21T y y y ，如果能够计算出相应的联合概率密度函数：);,,,(21),,(1θT Y Y y y y f T上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。
这时我们需要极大化上述联合概率密度。
为此，我们假设噪声序列是高斯白噪声序列，即 ),0(...~2σεN d i i t虽然这个假设非常强，但是在这样假设下得到的参数估计θˆ，对于非Gauss 过程来说也是很有意义的。
具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。
这里涉及到一些代表性的非线性数值优化问题。
§5.2 高斯)1(AR 过程的似然函数假设数据生成过程是一个具有高斯白噪声序列的)1(AR 过程：t t t Y c Y εφ++=-11这时对应的参数向量为：),,(2'=σφc θ。
我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。
(1) 求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出1Y 的概率密度。
最大似然估计(Maximum likelihood estimation)(通过例子理解)
最大似然估计(Maximum likelihood estimation)(通过例子理解)之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。
概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。
结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用θ 表示环境对应的参数，x 表示结果，那么概率可以表示为：P(x|θ)P(x|θ)是条件概率的表示方法，θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：理解为已知结果为 x ，参数为θ (似然函数里θ 是变量，这里## 标题 ##说的参数是相对与概率而言的)对应的概率，即：需要说明的是两者在数值上相等，但是意义并不相同，是关于θ 的函数，而 P 则是关于 x 的函数，两者从不同的角度描述一件事情。
最大似然估计(实用知识)
d ln L() d
n
xi
i 1
1 n 0
n
xi
i 1
1 n
ˆ
1 n
n
i 1
xi
为λ的最大似然估计值.
ˆ
1 n
n
i 1
X
i
为λ的最大似然估计量.
技术教学
9
3.指数分布
设总体 X服从指数分布
X~
f
(
x
)
e
x
λ为待估参数.
0
x0 x0
求参数λ的最大似然估计.
f (x)
解 设样本观测值为 x1, x2,..., xn
n xi i 1
技术教学
为似然函数.
10
n
e L( ) n
xi i 1
为似然函数.
ln
L(
)
n
ln
n
xi
ln
e
i 1
d ln L( ) d
n
1
n
xi i 1
0
n1
n
xi i 1
ˆ
n
n
xi
i 1
1
1 n
n
i 1
xi
1 x
为λ的最大似然估计值.
ˆ
n
n
Xi
i 1
1
1 n
n
i 1
Xi
1 X
为λ的最大似然估计量.
技术教学
11
当有两个或两个以上 未知参数 1 ,2,...,k 时， 似然函数为
P X1 x1 , X2 x2 , ..., Xn xn PX1 x1PX2 x2... PXn xn
p( x1;1 ,2 ,...,k )p( x2;1 ,2 ,...,k ) ... p( xn;1 ,2,...,k )
第5章(5.8)最大似然序列估计(MLSE)与维特比算法(VA)
5.8 最大似然序列估计（MLSE ）与维特比算法（V A ）引言：1．最大似然函数准则—在AWGN 或AGN 信道上最佳接收准则。
∏==Nk i ki x yp x p 1)()(y2.最大似然序列估计准则—在ISI+AGN （AWGN ）信道或y.{x i 噪声（白，非白）用K-L 展开式，分解y 任意正交基，分解yy(t)或ymax ))((=i x t y p , 判发送i x . i=1,2,…,M可分解成N 个独立的一维概率密度函数连乘M 元{x i 统计独立展开式，分解y一 最佳接收准则及性能指数1． 系统模型2．最佳接收准则——ML 函数准则——MLSE 准则 求似然函数：在N 维复信号空间中，利用K －L 展开式，在标准正交基(){}t f n 上()()∑=∞→=Nk k k N t f z t z 1,lim特点：k r 的均值与)(t h 所覆盖的若干连续符号（即序列I p ）有关。
原因：信道)(t h 弥散效应使相邻符号之间引入相关性。
所以：k r 的统计特性与序列I p 有关。
则似然函数为1(()|)(|)(|)Nk k p r t p p r ===∏p N p p I r I I⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛--=∑∑∏=-=Nk nnk n kk Nk khI r 12121exp 21λπλ}n I()()()t z nT t h I t r nn +-=∑问题：在非白噪声及ISI 中的最佳接收{I n ()k k N z λ,0~ 统计独立高斯变量()(),lim1t f r t r kNk kN ∑=∞→= ⎪⎭⎫⎝⎛∑-nk n k n k h I N r λ,~ 统计独立高斯变量 式中， ∑+=-nk nk n k z hI r接收信号能量 也可写成：()()()2111|2n Nnk k p r t I h t nT dt λ∞-∞=⎧⎫⎪⎪=---⎨⎬⎪⎪⎩⎭∑⎰N p r I ()12,,...,N r r r =N r ， ()12,,...,P I I I =P I按照MLSE 准则，对给定接收信号r (t ), 当 ()|max p =N p r I ，判p I即最佳估计序列 {}12ˆ,,...,p P I I I =I 是取遍所有序列后使ML 最大的序列。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 最大似然估计在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。
我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。
§5.1 引 言5.1.1 ARMA 模型的极大似然估计假设数据的真实生成过程是一个),(q p ARMA 过程，则该过程的数据生成机制为： q t q t t p t p t t t Y Y Y c Y -----++++++++=εθεθεφφφ 112211 其中t ε是白噪声序列，满足：⎩⎨⎧≠==t s ts E t s ,0,)(2σεε我们将要讨论如何利用t Y 的观测值来估计母体参数：),,,,,,,,,(22121σθθθφφφq p c =θ我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。
假设获得了T 个样本),,,(21T y y y ，如果能够计算出相应的联合概率密度函数：);,,,(21),,(1θT Y Y y y y f T上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。
这时我们需要极大化上述联合概率密度。
为此，我们假设噪声序列是高斯白噪声序列，即 ),0(...~2σεN d i i t虽然这个假设非常强，但是在这样假设下得到的参数估计θˆ，对于非Gauss 过程来说也是很有意义的。
具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。
这里涉及到一些代表性的非线性数值优化问题。
§5.2 高斯)1(AR 过程的似然函数假设数据生成过程是一个具有高斯白噪声序列的)1(AR 过程：t t t Y c Y εφ++=-11这时对应的参数向量为：),,(2'=σφc θ。
我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。
(1) 求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出1Y 的概率密度。
它的均值和方差为：φ-=11c EY ，22211)(φσμ-=-Y E由于它具有正态分析，因此对应的密度函数为：⎥⎦⎤⎢⎣⎡-----==)1/(2)]}1/([{exp )1/(21),,;();(22212221111φσφφσπσφc y c y f y f Y Y θ (2) 在给定11y Y =的条件下，2Y 的条件概率分布可以得到：)),((~|21112σφy c N y Y Y +=对应的概率密度函数为：⎥⎦⎤⎢⎣⎡---=2212212|2)(exp 21);|(12σφπσy c y y y f Y Y θ (3) 类似地，在给定前两个观测值的条件，3Y 的条件概率密度函数为：⎥⎦⎤⎢⎣⎡---=22232123,|2)(exp 21);,|(213σφπσy c y y y y f Y Y Y θ 注意到上述条件概率分布中只依赖一阶滞后的条件观测值。
(4) 最后一个样本的条件概率分布为：⎥⎦⎤⎢⎣⎡---=---2212121,,,|2)(exp 21);,,,|(1213σφπσT T T T Y Y Y Y y c y y y y y f T θ 注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。
(5) 根据无条件密度函数与条件密度函数之间的关系，可以得到：∏=----=Tt t t Y Y Y T T Y Y Y y y f y f y y y y f t t T T 21|1121,,,);|();();,,,,(1111θθθ经常对上述函数取对数，得到对数似然函数：)];|([log );(log )(1|2111θθθ-=-∑+=t t Y Y Tt Y y y f y f t t L(6) 将具体的密度函数代入上式，可以得到)1(AR 过程的似然函数为：∑=-⎥⎦⎤⎢⎣⎡--------------=Tt t ty c y T T c y 222122221222)(log ]2/)1[()2log(]2/)1[()1/(2)]}1/([{)]1/(log[21)2log(21)(σφσπφσφφσπθL可以将上述似然函数表示为更为紧凑的向量和矩阵形式。
令均值向量和自协方差为μ和Ω，注意到过程之间具有的自协方差函数表达形式，则有：V Ω2σ=，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡-=------111111321322122 T T T T T T φφφφφφφφφφφφφV 这样一来，所观测到的样本可以当作多元正态母体)(Ωμ,N 的一个简单抽样，具有的联合概率密度函数为：⎥⎦⎤⎢⎣⎡-'--=---μ)(y Ω)μ(y Ωθ);(y 1Y 21exp ||)2(2/112/T fπ 理论上可以对上述极大似然函数求导数，然后获得参数估计。
但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。
一种近似的方法是假设第一个观测值是确定性的，然后求解给定1Y 时的条件似然函数值，这时的目标函数是：∑=-⎥⎦⎤⎢⎣⎡-------=Tt t t T Y Y Y y c y T T y y y f T 2221212|,,2)(log ]2/)1[()2log(]2/)1[();|,,(log 12σφσπθ上式最大值相当于求下式的最小值：[]∑=---Tt t t y c y 221)(φ上式的最小值就是线性回归的最小二乘估计，满足方程：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-=⎥⎦⎤⎢⎣⎡∑∑∑∑∑=-=-=-=-=-T t t t T t t Tt t Tt t Tt t y y y y y y T c212122121211ˆˆφ 类似地，噪声的方差为：[]∑=----=T t t t y c y T 2212)ˆˆ(11ˆφσ 当样本容量足够大时，可以证明上述近似或者条件极大似然估计具有与精确极大似然估计一致的极限分布。
§5.3 高斯)(p AR 过程的似然函数对于一般的高阶自回归过程：t p t p t t t Y Y Y c Y εφφφ+++++=--- 2211，),0(..~2σεN d i i t 此时所要估计的总体参数向量是：),,,,,(221σφφφp c =θ。
(1) 似然函数的估值 Evaluating the Likelihood Function假设我们获得了T 个来自)(p AR 过程的样本，假设前p 个样本表示为 ),,,(21'=p p y y y y可以将这个向量当作p 维Gauss 变量的一个样本。
这个向量的均值表示为p μ，它的每个分量都是：)1/(1p c φφμ---=假设p V 2σ是),,(1p Y Y 的协方差矩阵，则有：⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡---------------=22122212121212)()])([()])([()])([()()])([()])([()])([()(μμμμμμμμμμμμμμμσp p p p p p Y E Y Y E Y Y E Y Y E Y E Y Y E Y Y E Y Y E Y EV 对于一阶自回归过程而言(1=p )，上述矩阵是一个标量，)1/(12φ-=p V ；对于p 阶自回归而言：⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=======03213012210112102γγγγγγγγγγγγγγγγσ p p p p p p p V 这里j γ是)(p AR 过程的第j 个自协方差，可以按照以前的介绍公式计算。
由于自回归过程的条件相依性具有截断性质，因此我们将样本分为p 个一组，样本中前p 个观测值的联合概率分布为),(2p p N V μσ，密度为：⎥⎦⎤⎢⎣⎡-'--=⎥⎦⎤⎢⎣⎡-'--=----------)μ(y V )μ(y V )μ(y V )μ(y V θ);(p p p p p p p p p p p p p p p p p Y Y Y Y Y Y fp p 122/112/22/122/1122/11,,,21exp ||)()2(21exp ||)2(,,,11σσπσσπ 对于样本中剩余的观测值),,,(21T p p y y y ++，我们可以使用推断误差分解(predictionerror decomposition)，将前个观测值作为条件，则第t 个观测值的条件分布为Gauss 分布，且均值和方差分别为：p t p t t y y y c ---++++φφφ 2211，2σ只有p 个最近的观测值与这个分布有关，因此，对于p t >，则有：⎥⎦⎤⎢⎣⎡------==------------222112221,,,|121,,,|21exp 21,,,|,,,|1121)(θ);(θ);(p t p t t t p t t t t Y Y Y Y t t t Y Y Y Y y y y c y y y y y f y y y y fp t p p t t t t φφφσπσ因此，整个样本的似然函数为：∏+=------------⨯=Tp t p t t t t Y Y Y Y p p p Y Y Y T T T Y Y Y y y y y y y y y fy y y y f pt p t t p p T T 121,,,|121,,,121,,,,,,|,,,,,,,,1211111θ);(θ);(θ);( 则对数似然函数形式为：∑∑+=-----+=--------------'--+--=-----------'--+--==--T p t p t p t t t p p p p p p T p t pt p t t tp p p p p p t t t Y Y Y Y y y yc y T T y y y c y p T p T p p y y y y fL p t t 12222111212122221121212121,,,|2)()(21||log 21)log(2)2log(22)log(2)2log(2)()(21||log 21)log(2)2log(2,,,|log )(1121σφφφσσπσφφφσπσσπ)(μy V μy V )(μy V μy V θ);(θ 为了获得上述似然函数值，我们需要获得逆矩阵1-p V ，为此我们有下述命题： 命题5.1 利用)(p v ij 表示矩阵1-p V 的第),(j i 位置的元素，则对任意p j i ≤≤≤1，有： ⎥⎦⎤⎢⎣⎡-=∑∑-+-+=-+-=-+j i p j p k i j k k i k i j k k ijp v 110)(φφφφ这里10-≡φ。