第一部分4 GLS和MLE(三大检验)
极大似然估计及其性质
极大似然估计及其性质一、极大似然估计 设联合密度函数为12(;),'()k f Y θθθθθ=则似然函数为似然函数(;)(;)L Y f Y θθ==为使关于θ的似然函数最大化，求θ的一个估计ˆθ，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE ）。
定义对数似然函数为ln l L =则l l L L θθ∂∂=∂∂ 最大化l 的ˆθ值也会最大化L ，l 对θ的导数(;)s Y θ称作得分，将得分定义为0，即可解出（MLE ）ˆθ，即 (;)0ls Y θθ∂==∂ 二、MLE 的性质1、一致性。
ˆlim()P θθ= 2、渐进正态性。
1ˆ~(,())N I θθθ- 式中()I θ为信息矩阵2()'l l l I E E θθθθθ⎡⎤'⎡⎤∂∂∂⎛⎫⎛⎫⎢⎥==- ⎪⎪⎢⎥∂∂∂∂⎢⎥⎝⎭⎝⎭⎣⎦⎣⎦ 当θ是一个k 维向量时，lθ∂∂表示k 个偏导数组成的列向量，即12k l l l l θθθθ∂⎛⎫∂ ⎪ ⎪∂∂ ⎪∂= ⎪∂ ⎪ ⎪∂ ⎪∂⎝⎭ 而lθ∂∂的二阶导数为 222211212222212*'k k k k kkl l l ll ll θθθθθθθθθθθθ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪⎪∂= ⎪∂∂⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂∂∂⎝⎭ 3、渐进有效性。
2ˆ)(0,)d N θθσ-−−→4、不变性。
如果ˆθ是θ的MLE ，()g θ是θ的连续函数，则ˆ()g θ是()g θ的MLE 。
5、得分的均值为0，方差为()I θ。
三、线性模型的极大似然估计 设2~(0,)Y XB UU N σ=+U 的多元正态密度函数为21()(')2221()(2)U U n f U eσπσ-=Y 关于X 的多元条件密度为(,)()Uf Y X f U Y∂=∂ UY∂∂是由U 中元素关于Y 中元素的偏导数组成的n n ⨯矩阵转换成的行列式的绝对值，并且为恒等矩阵。
三大检验
' e e 有约束模型残差平方和； ** e′e无约束模型残差平方和；
2011-12-19
中级计量经济学
8
• 三、Wald检验
H0 : g ( β ) = C
• 如果约束条件为真，则g ( β
MLE
g ( β MLE ) − C显著异于零时，约束条件无效 无约束极大似然估计值。当
) − C → 0 不应该显著异于零，其中 β MLE 是
• 假设对于给定样本 {Y , X }，其联合概率分布存在， f (Y , X ; ξ ) 。将该 联合概率密度函数视为未知参数 ξ 的函数，则 f (Y , X ; ξ ) 称为似然函 数（Likelihood Function）, 即观测到所给样本的可能性. • 极大似然原理就是寻找未知参数 ξ 的估计 ξˆ ，使得似然函数达到最 大，或者说寻找使得样本
{Y , X }
出现的概率最大的 ξˆ 。
2011-12-19
中级计量经济学
3
• （三）线性回归模型最大似然估计 • 1、估计结果 u ~N (0, σ 2 I n ) Y = Xβ +u
2 2 − n 2
(Y − X β )′(Y − X β ) L(Y , X ; β , σ ) = (2πσ ) exp{− } 2 2σ
' e e 有约束模型残差平方和； * * e ′e 无 约 束 模 型 残 差 平 方 和 ；
2011-12-19 中级计量经济学 10
四、拉格朗日乘子检验（LM）
• 基本思想：拉格朗日乘子检验（LM），又称为Score检验。该检验基 于约束模型，无需估计无约束模型。 • 假设约束条件为 H 0 : g (θ ) = C ，在约束条件下最大化对数似然函数 ，另
结构方程模型检验_拟合指数与卡方准则_温忠麟
收稿日期:2003-02-22＊本研究得到全国教育科学”十五”规划教育部重点课题(DBA010169)以及香港中文大学和华南师范大学心理应用研究中心(教育部文科基地)资助。
通讯作者:温忠麟,Email :wenzl @scnu .edu .cn结构方程模型检验:拟合指数与卡方准则＊温忠麟1,2 侯杰泰1 马什赫伯特3(1香港中文大学教育学院,香港)(2华南师范大学教科院,广州510631)(3西悉尼大学教育学院,悉尼,澳大利亚)摘 要 讨论了Hu 和Bentler (1998,1999)推荐的检验结构方程模型的7个拟合指数准则,对这7个指数的历史、特点和表现做了比较详细的述评。
指出了他们基于这7个指数的单指数准则和2-指数准则的不足之处。
提出了超低显著性水平下的卡方准则,并部分重复他们的模拟例子,将卡方准则与这7个指数准则比较,结果说明新的卡方准则优于其中的6个,与另一个相当。
最后简要说明了应当如何检视拟合指数进行模型检验和模型比较。
关键词 结构方程,模型检验,拟合指数,临界值,卡方检验。
分类号 B841.2 近年来,结构方程(structural equation )分析(包括验证性因子分析)在我国的心理、教育、社会、管理和传播等研究领域已经逐步有了一些应用。
面对结构方程分析软件(如流行的LI SREL 、EQS 、AMOS )输出结果,如何检视诸多的拟合优度统计量(也称为拟合指数,以下简称指数)以检验或选择模型,是应用工作者很感兴趣的问题。
本文研究的问题可以简单地归结为:第一,应当根据哪些指数来检验模型?第二,多大的指数值才算是一个“好”的模型?所谓指数,是反映模型与样本数据吻合程度的统计量,所以第一个问题就是用什么统计量来检验所拟合的模型。
第二个问题类似于通常的假设检验中统计量(如t 检验中的统计量)的临界值(以下称为界值)如何确定。
实际上,这两个问题都是结构方程分析中很重要、且尚未很好解决的问题。
详解最大似角估计,最大后验概率估计和贝叶斯公式
详解最大似角估计,最大后验概率估计和贝叶斯公式在统计学中，估计是一项非常重要的任务，从样本数据中估计出总体的特征是估计的主要目的。
在此过程中，最大似角估计、最大后验概率估计和贝叶斯公式这三种方法被广泛地应用于不同的场景。
本文将详细阐述这三种方法的原理和应用。
最大似角估计（maximum likelihood estimation, MLE）是一种在参数估计中被广泛使用的方法，它基于一个假设：样本是独立同分布的。
在此基础上，MLE的目标是寻找一个最大化似然函数的参数值，这个值被认为是最有可能产生观测数据的参数值。
似然函数是指在给定参数下，样本数据出现的概率密度函数。
MLE通常用于连续参数的估计，比如正态分布的均值和方差等。
举个例子，假设有一个有10个数据点的样本，且这个样本服从正态分布，MLE的目的是找到一个均值和方差，使得这个样本的似然函数最大化。
即，找到使得如下公式的值最大的μ和σ^2：∏^10 i=1f(x_i | μ, σ^2) = (2πσ^2)^(-n/2) * exp[ - ∑^10 i=1(x_i-μ)^2 / 2σ^2 ]其中，n为样本数据点的数量，f(x_i | μ, σ^2)为正态分布的概率密度函数。
最大后验概率估计（maximum a posteriori estimation, MAP）是贝叶斯统计推断的一种形式，它通过估计某一事实或参数的似然性及在此基础上的先验信息来获取后验概率密度函数，以便进行决策。
与MLE不同，MAP 还考虑了给定参数下样本数据的可能性，即先验概率。
MAP 的目标是在给定观测数据的前提下，找到一个使得后验概率最大的参数值。
MAP常常用于分类问题中，比如垃圾邮件分类。
理解MAP最简单的方法之一是，如果我们知道某个事件A发生的条件下，事件B发生的可能性，那么我们就可以预测事件B的概率。
这个问题可以使用贝叶斯定理得到，即：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)是指在已知事件B发生的条件下，事件A发生的概率；P(B|A)是指在已知事件A发生的条件下，事件B发生的概率；P(A)是指事件A发生的先验概率；P(B)是指事件B发生的先验概率。
润滑剂分析常用理化指标和意义
润滑剂分析常用理化指标和意义默认分类2009-08-14 11:14:31 阅读201 评论0 字号：大中小1. 粘度液体受外力作用移动时,液体分子间产生内摩擦力的性质,称为粘度。
粘度随温度的升高而较低。
它是润滑油的主要技术指标，粘度是各种润滑油分类分级的依据,对质量鉴别和确定用途等有决定性的意义。
我国常用运动粘度、动力粘度和条件粘度来表示油品的粘度。
测定运动粘度的标准方法为GB/T 265、GB/T 11137，即在某一恒定的温度下，一定体积的液体在重力下流过一个标定好的玻璃毛细管的时间。
粘度计的毛细管常数与流动时间的乘积就是该温度下液体的运动粘度。
运动粘度的单位为m2/s,通常实际使用单位是mm2/s。
国外相应测定油品运动粘度的标准方法主要有美国的ASTM D445、德国的DIN 51562和ISO 3105等。
某些油品，如液力传动液、车用齿轮油等低温粘度通常用布氏粘度计法来测定。
我国的GB/T 11145、美国的ASTM D2983和德国的DIN 51398等标准方法。
粘度是评定润滑油质量的一项重要的理化性能指标，对于生产，运输和使用都具有重要意义。
在实际应用中，绝大多数润滑油是根据其40℃时中间点运动粘度的正数值来表示牌号的，粘度是各种设备选油的主要依据；选择合适粘度的润滑油品，可以保证机械设备正常、可靠地工作。
通常，低速高负荷的应用场合；选用粘度较大的油品，以保证足够的油膜厚度和正常润滑；高速低负荷的应用场合，选用粘度较小的油品，以保证机械设备正常的起动和运转力矩，运行中温升小。
测定不同温度下粘度，可计算出该油品的粘度指数，了解该油品在温度变化下的粘度变化情况，另外，粘度还是工艺计算的重要参数之一。
粘度的度量方法分为绝对粘度和相对粘度两大类。
绝对粘度分为动力粘度、运动粘度两种；相对粘度有恩氏粘度、赛氏粘度和雷氏粘度等几种表示方法。
粘度指数粘度指数是一个表示润滑油粘度随温度变化的性质的参数。
汽车维修质量检验课程教学大纲
汽车维修质量检验课程教学大纲第一篇：汽车维修质量检验课程教学大纲汽车维修质量检验课程教学大纲第一部分大纲说明一、课程的性质和任务汽车维修质量检验是以国家、行业及地方相关法律、法规为指导，以国家行业技术标准为基础，紧密联系汽车维修实际的一门专业课，是汽车运用与维修专业的限选课程。
本课程的任务是使学生掌握汽车维修质量相关法律、法规及标准，熟悉各级维护与维修质量检验的主要内容，能借助仪器、设备进行维修质量控制的能力。
二、本课程与相关课程的关系：学习本课程之前应具有汽车发动机、底盘、电气设备构造与维修的基础知识。
三、本课程教学的基本要求（1）了解汽车维修质量检验的相关法律、法规及标准。
（2）熟悉汽车检测技术的基本知识。
（3）掌握汽车各级维护、修理质量检验作业的主要内容及技术条件要求。
四、课程内容的基本要求本课程内容的基本要求分为“了解、熟悉、掌握”三个层次。
其中：了解---是指通过阅读教材，知晓应用范围。
熟悉---是指把握教学重点，理解基本概念。
掌握---是指熟记教学重点，并能正确完成作业项目及操作。
五、教学方法和教学形式建议本课程涉及知识面较宽，实践性较强，课程教学形式建议以课堂讲授为主，并配合必要的实际操作训练（实习）。
第二部分教学时数、教材、考试一、学时分配课内学时18（1学分）教学内容汽车维修质量管理汽车维修质量检验基础知识汽车维修质量检验作业合计二、教材本课程教材一册，包括教学内容、习题及附录。
教材名称：《汽车维修质量检验》课内学时 4 8 6 18其中附录主要选自国家及行业技术标准，为教学、实训及今后工作中查阅。
三、考试本课程采用闭卷考试，时间为120min（2小时）学生获得成绩由考试成绩及平时考察成绩组成，其中考试成绩占80%。
第三部分教学内容和教学要求第一章汽车维修质量管理一、教学内容1.汽车维修质量管理的相关国家法律1.1相关国家法律《产品质量法》、《计量法》、《标准化法》、《合同法》、《消费者权益法》的基本内容1.2国家法律在汽车维修行业中的贯彻与执行2.汽车维修质量管理的相关行业规章2.1 现行的维修行业规章的基本内容2.2 现行行业规章的贯彻与实施3.汽车维修质量管理及质量保证体系3.1 汽车维修质量的含义3.2 汽车维修质量的评价参数3.3 汽车维修质量管理概念3.4 汽车维修质量的保证体系的基本概念二、教学要求了解汽车维修质量管理相关国家法律的名称、基本内容及贯彻实施的办法。
最大似然估计及三大检验(WaldLMLR)讲解
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
MLE
(R β- q) '[ R(X'X) R'] (R β- q) ~ 2 ( J )
2 -1 1
Λ
Λ
a
其中 2
e'e n
三大检验——拉格朗日乘子检验
拉格朗日乘子(LM)检验：
• 该检验基于有约束模型而非无约束模型：
ln L* (θ) ln L(θ) λ '[c(θ) q]
由于约束最优值不会大于无约束最优值，所以介于0与1之间。
若接近于0, 则约束可能出错。
三大检验——似然比检验
• 似然比检验统计量的渐近分布：
若正则条件与H0满足，则-2 ln ~ 2 ( J )，其中J 个约束个数。
若该值超过了在一定显著性水平下的 2临界值，应拒绝原假设
a
• 似然比检验的一个缺点是，要求同时估计有约束与无 约束的参数向量；在一些较为复杂的模型中，这些估 计值可能很难计算。
极大似然估计——基本性质
• Cramer-Rao下界(Cramer-Rao lower bound)：
如果正则条件满足，参数向量θ的一个CAN 估计量的渐近方差协方差 矩阵至少等于 ln L(θ) ln L(θ) ln L(θ) [I(θ)]1 E[ ] E[( )( ) '] θθ' θ θ
2 ln L(θ) ln L(θ) ln L(θ) 其中I(θ) E[ ] E[( )( ) '] θθ' θ θ
极大似然估计——基本性质
• 渐近有效性
渐近有效的定义：如果一个估计量一直且渐近正态度分 布（CAN)，且其渐近协方差矩阵不大于任何其他CAN 估计量的渐近协方差矩阵，那么它就是渐近有效的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四章 GLS 和MLE 一、广义最小二乘法（GLS ） 1、回归模型的矩阵表示总体回归方程可表示为：=+y X βε也可以写成：[|] =E y X X β。
当(|)E y X 取不同的形式时，也就构成了不同的模型，包括：线性、非线性和非参数等。
我们这里主要讨论的是线性模型(一元或多元)：其中：12(1)N N y y y ⨯⎛⎫⎪⎪= ⎪ ⎪⎝⎭y ，111112122111()111j k j k N N jN k N k x x x x x x x x x ---⨯⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎪⎝⎭X ，011(1)k k βββ-⨯⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎪⎝⎭ β T表示样本数量，k 表示解释变量个数（包含了常数项），当2k =时就是一元线性回归模型。
而()12(1)TNN εεε⨯=ε表示的是随机扰动项，包含了除了解释变量以外的其他影响因素。
若遗漏变量，则这个变量也将被扰动项所包含。
2、经典假设满足时的残差项的方差协方差矩阵在无异方差和无自相关的假定下，残差项的方差协方差矩阵是一个对角阵，并且主对角线的元素都相同。
即有：（22200σσσ⎛⎫⎪'= ⎪⎝⎭E (εε|X)=I此时OLS 估计量是最优线性无偏估计BLUE ）问题的提出：若扰动项违背球形假定，结果怎样？Ω='=+=2][,0][,σεεεεβE E X y （1）其中Ω是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵。
（1）异方差时212222200000n σσσσσ⎡⎤⎢⎥'Ω==⎢⎥⎢⎥⎣⎦E (εε|X)=Ω存在异方差时的后果：OLS 估计量是线性无偏估计，但不是最有效的。
处理方法：第一条思路：找到最优线性无偏估计。
具体方法加权最小二乘法（WLS ），也就是模型变换法；第二条思路：存在异方差时OLS 估计量是线性无偏，但是原OLS 方法得到的方差计算公式有误。
对于系数估计仍采用OLS 估计，对于系数的方差估计进行修正。
得到稳健估计量。
具体参见本科课程（2）自相关时211122122112111n n n n n n ρρσσρρσσσσρρ----⎡⎤⎛⎫⎢⎥ ⎪'=Ω=⎢⎥ ⎪⎝⎭⎢⎥⎣⎦E (εε|X)=存在自相关时的后果：OLS 估计量是线性无偏估计，但不是最有效的。
处理方法：第一条思路：找到最优线性无偏估计。
具体方法广义差分方法； 第二条思路：存在自相关时OLS 估计量是线性无偏，但是原OLS 方法得到的方差计算公式有误。
对于系数估计仍采用OLS 估计，对于系数的方差估计进行修正。
得到稳健估计量。
具体参见本科课程（利用广义差分方法处理，具体参见本科课程）（3）同时存在异方差和自相关时21111122211n n n nn n n σσωωσσωωσσ⎛⎫⎛⎫⎪' ⎪== ⎪ ⎪⎝⎭⎝⎭E (εε|X)=Ω存在异方差、自相关时的后果：OLS 估计量是线性无偏估计，但不是最有效的。
处理方法：第一条思路：找到最优线性无偏估计。
具体方法广义最小二乘（GLS ）； 第二条思路：存在异方差、自相关时OLS 估计量是线性无偏，但是原OLS 方法得到的方差计算公式有误。
对于系数估计仍采用OLS 估计，对于系数的方差估计进行修正。
得到稳健估计量。
3．GLSGLS的思想十分简单，就是通过对总体方差协方差矩阵的分解，将回归的残差转变成满足古典假定的残差，然后使用OLS估计。
由于Ω是一个正定的对称矩阵，由矩阵代数的知识，我们知道存在一个满秩矩阵P，使得'PPΩ=。
在古典回归方程y=Xβ+u两边同乘1P-，得到：-1-1-1P y=P Xβ+P u或者写成：***y=Xβ+u（其中-1-1-1***y=P y,X=Pβ,u=P u）可以看出，'-1'-1'**-1'-1'-12-1'2-1'-1'2E(u u)=E(P uu(P))=P E(uu)(P)=P(σΩ)(P)=σP(P P)(P)=σI显然变换后的模型满足古典假定，因此可以用OLS对该式进行估计。
得到如下结果：ˆ''-1-1-1-1****β=(X X)(X y)=(XΩX)XΩY4、FGLS（可行的GLS）FGLS是GLS在实际问题中的应用。
显然，如果方差协方差矩阵是Ω已知的，那么GLS就是最优的估计方法。
但是，在实际的问题中，Ω往往是未知的。
这就要求我们必须先对矩阵Ω进行估计，得到ˆΩ，然后再按照上述GLS的方法对回归模型进行估计。
二、最大似然估计（MLE ）一个关于最大似然估计的实例（打猎的例子） 1、引子利用来自泊松分布的10个观测值，估计相关的参数。
已知泊松分布的密度函数是：(,)!ix i i e f x x θθθ-=,θ为参数，X 为观察值。
Poisson 分布，X 所有的可能取值为0,1,2……。
取各值的概率既和x 有关，也和参数θ有关。
思考问题：现得到10个观测值，5，0，1，1，0，3，2，3，4，1,估计其参数。
解答：似然函数11012101(,)(,,|)(|)(|)(|)()Ni i L x f x x f x f x f x f x θθθθθ===⋅=∏具体的：11010201011(,)()!!207360iii x x N i i i i i e eeL x f x x x θθθθθθθ=---==∑====∏∏∏该似然函数给出由具有未知参数θ的泊松分布生成数据时，观察到特定样本的概率。
什么样的的θ使这个样本最为可能。
考虑最大化这个函数。
由于对数函数是单调递增的，而且便于处理，因此通常最大化lnL(θ)，即最大化对数似然函数。
ln (,)1020ln 12.242ln ()201002L x d L d θθθθθθθ=-+-=-+==又因为222ln ()200,d L d θθθ=-<因此为极大值。
2、极大似然函数及其估计的基本原理 （1）MLE 估计的原理 ○1似然函数的定义： 从总体中经过N 次随机抽取得到样本容量为N 的样本观测值，在任一次随机抽取中，样本观测值都以一定的概率出现，各样本的抽取是独立的，因此容易得到样本的联合密度函数。
似然函数——样本观测值的联合概率函数（联合密度函数）○2似然函数的表示： 设总体的概率密度函数为f ，其类型是已知的，但含有未知参数θ，观测值12,,,N x x x 的联合密度函数为：样本的似然函数——1(,)()Ni i L x f x θ==∏，包含有未知参数θ。
对数似然函数——1ln (,)ln()Ni i L x f x θ==∑○3原理： 极大似然估计的原理就是寻找参数估计量 θ，使得似然函数达到最大， θ就称为极大似然估计量。
求解的方法：通过取对数以及一阶条件可以求得该参数估计值。
最大化ln (,)L x θ的必要条件是ln (,)0L x θθ=∂一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。
极大似然估计量 (MLE) 具有一致性和渐近有效性。
（2）例2，经典线性回归模型的最大似然估计量 线性回归模型的MLEy t = β0 + β1 x t1 + β 2 x t 2 + … + β k-1 x t k -1 + u t , t = 1, 2, …, T,进行极大似然估计。
假定u t ~ N(0, σ 2 ), 则y t 也服从正态分布。
y t ~ N(E( y t ), σ 2 )，其中E( y t ) = β0 + β1 x t1 + β 2 x t 2 + … + βk -1 x t k -1。
若y t 是相互独立的，则对于样本 ( y 1, y 2, …, y T )，似然函数是L(y 1, ,y 2, …, y T |β, σ 2) = f( y 1) f( y 2) … f( y T ), 其中 β 表示未知参数 β0, β1, …, β k -1的集合。
正态分布：f ( x t ) =2/12)2(1πσ22()2x u eσ--每个y t 的概率密度函数为：f ( y t ) =2/12)2(1πσexp[222))(E (σt t y y --].取对数后：ln f ( y t ) = 222111lnf ( yt )=-ln 2ln [E ()]222t t y y πσσ---].对于样本 ( y 1, y 2, …, y T )，对数似然函数为logL = ∑=Tt log 1f ( y t )= -2T log 2π -2T log σ 2-∑=Tt ty 12[21σ- E( y t ) ]2.= -2T log 2π -2T log σ 2-∑=Tt t y 12[21σ- β0 + β1 x t1 + β 2 x t 2 + … + β k -1 x t k -1 ]2分析：对logL 极大化，等同于使平方和∑=Tt t y 1[- E( y t )]2 极小化，即选择β~使∑=Tt t y 1(-0~β -1~βx t 1 -2~βx t 2 - (1)-k βx t k -1) 2= ∑=Tt t u 12~极小化。
上式中tu ~表示残差。
这种估计方法恰好与OLS 法相同，所以在这个例子中 β 的MLE 估计量β~与OLS 估计量βˆ完全相同，即β~=βˆ。
（具体的，是对数似然值对于每个β~求偏导数，并等0。
ln 0ˆiLβ∂=∂）与OLS 法不同的是极大似然估计法在估计β~的同时，还得到u t 方差的估计量。
对（lnL ）求 σ 2 的偏导数并令其为零。
2σ∂∂L l o g = -22σT +421σ∑=Tt t y 1[- E( y t ) ]2= 0.用β~代替上式中E(y t ) 中的β 得2~σ= T -1∑=Tt tu 12~3、极大似然估计的性质若似然函数(),f x θ满足正则条件，极大似然估计量有下列渐进性质：M1、一致性：ˆlim p =θθ M2、渐进正态：()1ˆ,a N -⎡⎤−−→⎡⎤⎣⎦⎣⎦θθI θ，()2ln T L E ⎡⎤∂=⎢⎥∂∂⎣⎦I θθθ M3、渐进有效： θ是渐进有效的，且达到一致估计量的克拉美-劳下界： ()12ln ˆ.T L Asy Var E -⎧⎫⎡⎤∂⎪⎪⎡⎤=-⎨⎬⎢⎥⎣⎦∂∂⎪⎪⎣⎦⎩⎭θθθθ()()1l n l n TL L E -⎧⎫⎡⎤∂∂⎛⎫⎛⎫⎪⎪=⎢⎥⎨⎬ ⎪ ⎪∂∂⎢⎥⎝⎭⎝⎭⎪⎪⎣⎦⎩⎭θθθθM4、不变性：若 θ是θ的ML 估计，()θc 是连续函数，则()θ=γc 的ML 估计是 ()θc 。
这四个性质特别是最后两个性质，估计量达到了最小方差，即ML 估计量是有效估计量。