最大似然估计及三大检验(Wald LM LR)(DOC)
最大似然估计及三大检验(Wald LM LR)资料
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
似然比检验、Wald检验和拉格朗日检验的Stata实现讨论
似然⽐检验、Wald检验和拉格朗⽇检验的Stata实现讨论似然⽐检验（LR）、Wald检验、拉格朗⽇检验（LM）都基于最⼤似然估计（MLE），本⽂以logit模型为例讨论三类检验的Stata实现。
不当之处，请各位指正。
1、似然⽐检验use /stat/stata/faq/nested_tests, clear*Likelihood-ratio testlogit hiwriteestimates store m1logit hiwrite female read math scienceestimates store m2lrtest m1 m2当然我们可以使⽤另外⼀种⽅法来实现上述同样的结果：*another method to compute LR testlogit hiwrite female read math sciencescalar c=2*(e(ll)-e(ll_0))scalar p_c = chi2tail(1,c)di as txt 'chi2(4) = ' as result %9.2g `=c'di as txt 'Prob > chi2 = ' asresult %9.4g `=p_c'两者的结果是⼀样的：当然logit模型本⾝也汇报了LR统计量：2、wald检验*wald testqui:logit hiwrite female read math sciencetest female read math science3、拉格朗⽇检验本来Stata⾥有⼀个user-written的命令叫做testomit，但是这个命令当前在Stata⾥并不能被找到。
可能是作者移除了⽹页。
如果您有这个命令的源程序，⿇烦您联系我。
Statalist⾥很多⼈都在讨论如何进⾏LM检验，来⾃Universityof Konstanz的Maarten L. Buis给出的答案如下：* Lagrange multiplier testqui:logit hiwrite female read math science// use the resulting gradient and var-covmatrix to compute the test statisticsmatrix S = e(gradient)*e(V)*e(gradient)'scalar a = el(S,1,1)scalar p_s = chi2tail(1,a)// display the resultdi as txt 'chi2(1) = ' as result %9.2g `=a'di as txt 'Prob > chi2 = ' asresult %9.4g `=p_s'但是由于这种⽅法得到的结果和前述两种检验得到的结果差别真的太⼤，我对这个⽅法持谨慎态度。
参数估计公式最大似然估计贝叶斯估计矩估计
参数估计公式最大似然估计贝叶斯估计矩估计参数估计是统计学中的一个重要问题，它的目标是通过已经观测到的样本数据来估计未知参数的值。
在参数估计中，最大似然估计、贝叶斯估计和矩估计是常用的方法。
下面将分别介绍这三种估计方法及其公式。
一、最大似然估计最大似然估计是一种常用的参数估计方法，它基于样本数据的观测结果，通过寻找参数值使得观测样本出现的概率最大化来估计未知参数的值。
最大似然估计的公式如下所示：$$\hat{\theta}_{MLE} = \arg \max_{\theta} P(X|\theta)$$其中，$\hat{\theta}_{MLE}$表示最大似然估计得到的参数值，$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率。
二、贝叶斯估计贝叶斯估计是另一种常用的参数估计方法，它基于贝叶斯定理，通过在先验分布和观测数据的基础上更新参数的后验分布来进行参数估计。
贝叶斯估计的公式如下所示：$$P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)}$$其中，$P(\theta|X)$表示给定观测样本$X$后，参数$\theta$的后验分布；$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率；$P(\theta)$表示参数$\theta$的先验分布；$P(X)$表示观测样本$X$的边缘概率。
三、矩估计矩估计是一种基于样本矩的无偏估计方法，它通过样本矩与理论矩之间的差异来估计未知参数的值。
矩估计的公式如下所示：$$\hat{\theta}_{MME} = g(\overline{X}_n)$$其中，$\hat{\theta}_{MME}$表示矩估计得到的参数值，$g(\cdot)$表示由样本矩计算得到参数的函数，$\overline{X}_n$表示样本的均值。
在实际应用中，最大似然估计常用于样本量较大、参数唯一可估情况下的参数估计；贝叶斯估计常用于样本量较小、先验分布已知情况下的参数估计；矩估计常用于样本量较大、参数个数较多时的参数估计。
三大检验
' e e 有约束模型残差平方和； ** e′e无约束模型残差平方和；
2011-12-19
中级计量经济学
8
• 三、Wald检验
H0 : g ( β ) = C
• 如果约束条件为真，则g ( β
MLE
g ( β MLE ) − C显著异于零时，约束条件无效 无约束极大似然估计值。当
) − C → 0 不应该显著异于零，其中 β MLE 是
• 假设对于给定样本 {Y , X }，其联合概率分布存在， f (Y , X ; ξ ) 。将该 联合概率密度函数视为未知参数 ξ 的函数，则 f (Y , X ; ξ ) 称为似然函 数（Likelihood Function）, 即观测到所给样本的可能性. • 极大似然原理就是寻找未知参数 ξ 的估计 ξˆ ，使得似然函数达到最 大，或者说寻找使得样本
{Y , X }
出现的概率最大的 ξˆ 。
2011-12-19
中级计量经济学
3
• （三）线性回归模型最大似然估计 • 1、估计结果 u ~N (0, σ 2 I n ) Y = Xβ +u
2 2 − n 2
(Y − X β )′(Y − X β ) L(Y , X ; β , σ ) = (2πσ ) exp{− } 2 2σ
' e e 有约束模型残差平方和； * * e ′e 无 约 束 模 型 残 差 平 方 和 ；
2011-12-19 中级计量经济学 10
四、拉格朗日乘子检验（LM）
• 基本思想：拉格朗日乘子检验（LM），又称为Score检验。该检验基 于约束模型，无需估计无约束模型。 • 假设约束条件为 H 0 : g (θ ) = C ，在约束条件下最大化对数似然函数 ，另
线性回归模型检验方法拓展-三大检验
第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。
对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。
（2）在零假设条件下，寻求用于检验的统计量及其分布。
（3）得出拒绝或接受零假设的判别规则。
另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误P（拒绝H|H0为真）=α和第二类错误P（接受H|H0不真）=β在下图，粉红色部分表示P（拒绝H0|H0为真）=α。
黄色部分表示P（接受H0|H0不真）=β。
而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。
总体真实分布完全由未知参数θ的取值所决定。
对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数据X ，0()P X W θα∈≤。
α是显著性水平，即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在0()P X W θα∈≤ 0θ∈Θ的条件下，使得()P X W θ∈，0θ∈Θ-Θ达到最大，或1()P X W θ-∈，0θ∈Θ-Θ达到最小。
其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。
最新三大检验LM_WALD_LR
11.1 模型总显著性的F检验（已讲过） 11.2 模型单个回归参数显著性的t检验（已讲过） 11.3 检验若干线性约束条件是否成立的F检验 11.4 似然比（LR）检验 11.5 沃尔德（Wald）检验 11.6 拉格朗日乘子（LM）检验 11.7 邹（Chow）突变点检验（不讲） 11.8 JB（Jarque-Bera）正态分布检验（不讲） 11.9 格兰杰（Granger）因果性检验（不讲）
例11.1：建立中国国债发行额模型
用19802001年数据得输出结果如下；
DEBTt = 4.31 +0.35 GDPt +1.00 DEFt +0.88 REPAYt
(0.2) (2.2)
(31.5)
(17.8)
（第3版256页）
R2 = 0.999, DW=2.12, T =22, SSEu= 48460.78, (1980-2001) 是否可以从模型中删掉DEFt和REPAYt呢？可以用F统计量完成上述检验。
详见第 2 章。
•三大检验LM_WALD_LR
（第3版253页）
11.3 检验若干线性约束条件是否成立的F 检验
如 H 0：1 0，2 0，1 +0 + 1 =1，1 /2 0.8 等是否成立的检验。
以 k 元线性回归模型 yt = 0 +1xt1 + 2xt2 +…+k xt k +ut （无约束模型）
= -2 (-161.0583 +115.8888) = 90.34
因为
LR
=
90.34
2 (2)
=
5.99，所以推翻原假设。结论是不能从模型中
最大似然估计及三大检验(WaldLMLR)讲解
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
三大检验选读
• （3）渐进正态性
2018/12/27
中级计量经济学
6
二、似然比检验（LR）
• 1、似然比 • 命题： H0 : g C • 检验思想：如果约束是无效的，有约束的最大似然函数值当然不会超 过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最
大值应当“接近”无约束的最大值，这正是似然比检验的基本思路。
• 对未知参数求导：
2018/12/27
中级计量经济学
4
ˆ (X X ) 1 X Y • 得到， ML 2 1 ˆ ML ee n
• 与OLS对比
将估计量代入对数似然函数，得到最大对数似然估计值
n n l LnL Ln( ) 1 Ln(ee) 2 2
H0 : R r
ˆ r ) R ˆ r ) ~ 2 (q) ˆ W ( R ( X X ) R ( R
2 1 1 a
• 拒绝域，
2 W (q)
• Wald统计量另一种表达形式，
' n(e* e* ee) W ~ 2 (q) ee
2 2 n 2
• 对数似然函数：
n n (Y X )(Y X ) l LnL Ln 2 Ln 2 2 2 2 2
1 l ˆ) 0 ( 2 X Y 2 X X 2 ˆ ˆ 2 l n 1 (Y X ˆ )(Y X ˆ) 0 2 2 4 ˆ ˆ ˆ 2 2
• 似然比：
L( , 2 ) ˆ , ˆ2) L(
• 无约束模型似然函数值： • 有约束模型似然函数值：
ˆ , ˆ2) L(
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
但有些时候可能会遇到非样本信息——对未知参数的约束限制（如生产函数中的规模报酬不变等）。
在这种情况下，我们就可以采用拉格朗日估计法。
对于线性模型（1），若其参数β具有某种线性等式约束： 0H β= （6）其中H 是m k ⨯矩阵（m k <，()rank H m =）。
β可视为除分量0β以外的1k ⨯矩阵。
上式表明未知参数12,,,k βββ之间的某些线性关系的信息。
现在的问题是寻求满足上式又使()()Y X Y X ββ'--达到最小的估计量0ˆH β。
为此，构造拉格朗日函数。
（λ是1m ⨯的向量）()()L Y X Y X H ββλβ''=--+ （7）于是ˆˆ220ˆH HHL X Y X X H βλβ∂'''=-++=∂ （8）ˆ0ˆH HL H βλ∂==∂ （9） 由（8）可得11ˆˆˆ()2H HX X H ββλ-''=- （10） （10）式的ˆβ是OLS 的估计量。
两边再左乘H ，并结合（9）式有 11ˆˆˆ0()2H HH H H X X H ββλ-''==- 所以，11ˆˆ2[()]H H X X H H λβ--''= 代入（10）式，我们便得到估计量：111ˆˆˆ()[()]HX X H H X X H H βββ---''''=- （11） 这就是拉格朗日估计，或称为带约束的最小二乘估计。
它既利用了样本信息，也利用了非样本信息。
另外，ˆHβ也是带约束的极大似然估计量（证明从略）。
四、广义最小二乘估计（GLS ） 1、数理过程在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰动项存在异方差或自相关。
比如利用截面数据进行分析时，随机因素的方差会随着解释变量的增大而增大（即所谓的递增异方差——如在研究消费收入的关系时，随着收入的增加，随机因素的变化会增大）。
而利用时间序列数据进行分析时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是扰动项的一阶自相关。
（即1t t t u u ρε-=+）当存在异方差或自相关的情况下，传统的OLS 不再是有效估计，这时，我们应采用广义最小二乘法来解决这类问题。
具体地，2'Euu σ=Ω （12）其中212122n n w w σσσσ⎛⎫ ⎪⎛⎫ ⎪⎪Ω== ⎪⎪ ⎪ ⎪⎝⎭⎪⎝⎭时t u 存在异方差， 1221211111n n n n ρρρρρρρ----⎛⎫⎪ ⎪Ω=⎪- ⎪ ⎪⎝⎭时t u 存在一阶自相关。
需要说明的是，无论是异方差还是自相关，矩阵Ω是正定矩阵。
于是，存在非奇异矩阵P ，使得PP 'Ω= 或 1()P P I -''Ω=在模型 Y X u β=+ 两边同时左乘1P -，得 111P Y P X P u β---=+或写成***Y X u β=+ （13） 此时，**111212'['()]()Eu u E P uu P P P I σσ----''==Ω= 即*u 已无异方差和自相关。
那么，对（13）式运用OLS 可以得到**1**11111111ˆ()(())()()X X X Y X P P X X P P Y X X X Y β'---------''''''===ΩΩ （14）这就是未知参数β的广义最小二乘估计量GLS 。
它同样具有良好的统计性质。
即它是无偏的、一致的、渐近正态211ˆˆ(,())E Var X X βββσ--'==Ω的估计量。
换句话说，GLS 估计量是广义模型中的最小方差线性无偏估计。
这就是所谓的Aitken 定理，当I Ω=时高斯—马尔科夫定理为其特例。
2、WLS 和广义差分法广义最小二乘法是处理异方差和自相关问题的一般良好估计方法。
当Ω已知时，比如异方差时，各个22i i w σσ=已知，此时，矩阵PP ⎫⎪=⎪ ⎝，1P -⎫⎪⎪= ⎪ ⎝*1Y P Y -⎛ == ⎪，*1X P X -⎛⎫ ⎪ ⎪== ⎪ ⎝，*1u P u -⎛ == ⎪。
这时由（13）式估计出来的β，其实同加权最小二乘估计（WLS ）是相同的。
换句话说，加权最小二乘实际上是广义最小二乘的特例。
再比如随机扰动项有一阶自相关且ρ已知，此时1221211111n n n n PP ρρρρρρρ----⎛⎫⎪ ⎪'Ω==⎪- ⎪ ⎪⎝⎭，可以算得100001000010001P ρρρ-⎫⎪- ⎪ ⎪=- ⎪ ⎪ ⎪-⎝⎭那么（13）式中的1*1211n n Y Y Y P Y Y Y ρρ--⎫⎪- ⎪== ⎪ ⎪ ⎪-⎝⎭，1*1211nn X X X P X X X ρρ--⎛⎫⎪- ⎪== ⎪⎪ ⎪-⎝⎭ 此时估计（13）式得出的ˆβ，其实就是所谓的广义差分法。
也就是说广义差分法也是GLS 的特例。
所以，GLS 是一个普遍适用的方法。
3、Ω未知时的GLS当然，上述情形只是Ω已知的情况。
而在现实应用时，Ω往往是未知的。
于是我们面临一个问题——Ω如何确定？回答当然是对Ω中的未知量进行估计（比如自相关中的ρ，异方差中的i W ）。
那么又该如何估计呢？在回答这个问题之前，我们先考察一下GLS 与最大似然估计的关系（可对照OLS 与ML 的关系）一般来说，当2(0,)N μσΩ或2(,)YN X βσΩ时，Y 的对数似然函数为221112()()()222n InL In In Y X Y X πσβσβ-'=--Ω--Ω-或者考虑到PP 'Ω=，而1*P Y Y -=、1*P X X -=，又有（经过适当的运算）2****21ln ln 2ln ln ||()()222n n L P Y X Y X πσββσ=--+---最大化上式，对β求导令其为0，可得到β的极大似然估计量（它其实就是GLS ）。
对Ω或P 中的未知量求导令其为0，可得到Ω中未知量（比如ρ）的估计。
这是一种理论上可行的方法，但实际操作可能会遇到障碍，尤其是在有异方差存在时。
为此，我们介绍另一种方法——可行广义最小二乘法FGLS 4、可行广义最小二乘法（FGLS ）异方差的具体形式是复杂多样的，但总的来说都是与解释变量有关的,随解释变量的变化而变化。
以下三种假设情况基本上涵盖了文献中讨论过的大多数情形。
（i ）2011i i p ip Z Z σααα=+++ （ii ）011i i p ip Z Z σααα=+++（iii ）2011i i p ip ln Z Z σααα=+++ （或2011exp()i i p ip Z Z σααα=+++）我们称这些方程为扰动项方差的辅助方程。
式中的Z 是原模型中部分或全部的X 或X 的函数（比如21121312Z =X ,Z =X ,Z X X =等等）。
可行广义最小二乘法的基本思想就是，先利用辅助函数求得参数估计值ˆi α，然后得出估计值ˆi σ从而得到ˆΩ及最终的GLS 结果。
FGLS 的步骤如下： （1）Y 对常数项和12,,,K X X X 回归，求得β的OLS 估计值；（2）计算残差011ˆˆˆi i i k kie Y X X βββ=---- （3）选择上述方程的适当形式 （3i ）2i e 对常数项及1,,P Z Z 回归，求得α的估计值。
这是针对上述（i ）的情况。
式中的Z 为原来X 的平方或交叉乘积。
然后把这些α的估计值代回（i ）便得到2i σ的估计值2ˆi σ。
再使用GLS 或WLS 得出最终结果。
需要指出的是，这种方式并不能保证所有的2ˆi σ都为正，如果其中出现了0或负数，那么我们就只能使用原来的2i e 代替2ˆi σ了。
（3ii ）对应于上述方程（ii ），让i e 对常数项及1,,P Z Z 回归，求得α的OLS估计值，代入（ii ）得到ˆi σ，然后使用GLS 或WLS （此时选择权数为1ˆi σ，如ˆi σ为负，那么权数为1ie ）。
（3iii ）对应于方程（iii ），让2i lne 对常数项及1,,P Z Z 回归，求出α的OLS 估计值，再代回（iii ）求得2ˆi ln σ或2ˆi σ。
然后利用GLS 或WLS 得出结果。
这里值得一提的是，此时的2ˆi σ只会产生正值，不存在0或负的情况，这也是此种方法很有吸引力的地方。