多元线性回归模型：估计及t检验

多元线性回归模型:估计及t检验

————————————————————————————————作者: ————————————————————————————————日期：

多元线性回归：估计方法及

回归系数显著性检验

线性回归模型的基本假设:

i ki k i i i u x x x y +++++=ββββ 22110 i ＝ 1 , ２ , … ， ｎ 在普通最小二乘法中,为保证参数估计量具有良好的性质,通常对模型提出若干基本假设:

1.解释变量间不完全相关;

2.随机误差项具有０均值和同方差。即：

0)(=i u E , 2

)(σ=i u Var i = 1 , 2 , … , ｎ

3.不同时点的随机误差项互不相关（序列不相关)，即

0),(=-s i i u u Cov ｓ ≠ 0, i ＝ 1 , ２ , … , n 4.随机误差项与解释变量之间互不相关。即

0),(=i ji u x Cov ｊ = 1 , ２ , … , ｋ , i = 1 ， 2 , … , ｎ

5.随机误差项服从０均值、同方差的正态分布。即

i u ～ ),0(2

σN ｉ = 1 , 2 , … ， ｎ

当模型满足假设1 ~ 4时,将回归模型称为“标准回归模型”,当模型满足假设１ ~ 5时,将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假设，普通最小二乘法就不再适用,而要发展其他方法来估计模型。

广义(加权)最小二乘估计（g ｅner ａlize ｄ ｌea ｓt squ ａres)

当假设2和3不满足时,即随机扰动项存在异方差2

2)(ii i u E σ=,i = １ , 2 , … , n ，且

随机扰动项序列相关j i u u Cov ij j i ≠=,),(σ， i = １ , 2 , … , n ，j ＝1 ， 2 ， … ,

ｎ ,此时O ＬS 估计仍然是无偏且一致的，但不是有效估计。

线性回归的矩阵表示：

y

=

X β

＋

ｕ

（1）

则上述两个条件等价为：

Ｖar(ｕ）== ????

??

? ??nn T T n n σσσσσσσσσ....

..........212222111211 ≠ σ 2 I 对于正定矩阵 Ω 存在矩阵M ，使得 1''-=?=M ΩM I M M Ω。在方程（1）两边同时左乘M ,得到转换后的新模型：=+?=+y X βu My MX βMu ，令***,,= = =y My X MX u Mu ，即

***

=+y X βu

(2)

新的随机误差项的协方差矩阵为*var()E('')'===u Muu M M ΩM I ,显然是同方差、无序列相关的。目标函数，即残差平方和为：u u Mu M u u u Q 1

''''-*

*

Ω===。目标函数是残差向量的加权平方和，而权数矩阵则是u 的协方差矩阵的逆矩阵（因此,广义最小二乘估计法也称为加权最小二乘估计法）。而新模型的OL Ｓ估计量则是原模型的ＧＬS 估计量。

**1**1111?(')'('')''(')'GLS

-----===βX X X y X M MX X M My X ΩX X Ωy Ｖar （

G ＬS ）= (X *’X *)－1

=(X ’M ’ＭX)-1=(X ’ Ω －

1Ｘ）-1( Var （

OL Ｓ)= (X ’X)-1

X ’ ΩX(X ’X ）

－１ ）。 由于变换后的模型(2)满足经典ＯＬS 的所有假设,所以根据高斯-马科夫定理可知， G ＬS

估计量是BL ＵE (Bes ｔ Linear Un ｂias ｅd Es ｔimator ）。

虽然从理论上讲，ＧLS 比ＯＬS 有效,但由于多数情况下残差序列的协方差矩阵未知,当我们用代替G ＬＳ 估计式中的Ω以获得估计时，估计量虽然仍旧是一致的,但却不是最好线性无偏估计。而且，也很难推导出估计量的小样本性质。继而用White(1980）的异方差一致协方差估计方法（残差序列有未知形式的异方差，但序列不相关）和Newey-W ｅst(198７） 的异方差－－自相关一致协方差估计方法(有未知形式的异方差且自相关存在)得到修正的Var （

OLS ）是相对较好的选择。(使用Whi ｔe 或N ｅwe ｙ-W ｅst 异方差

一致协方差估计不会改变参数的点估计,只改变参数估计的标准差。）

White 协方差矩阵公式为：

1121)()(?-=-'??

? ??''-=∑∑X X x x u X X k n n n

i i i i W

其中n 是观测值数，ｋ是回归变量数，u i 是最小二乘残差。

Newey －West 协方差矩阵公式为:

11)(?)(?--'Ω'=∑X X X X NW

其中??

???????????? ??'+'???? ??+-+'-=Ω

∑∑∑==+=----n i q v n v i i i v i v i v i v i i i i i i x u u x x u u x q x x u k

n n

1112))(11?ν， ｑ是滞后截尾，一个用于评价ＯL Ｓ残差 u ｉ的动态的自相关数目的参数。)])100(4[(9

2n q =。

二阶段最小二乘法 （TSLS ，Ｔwo ｓｔage least squar ｅs,Sargan(1958））

当假设4不成立时,即随机误差项与某些解释变量相关时，OLS 和广义LS 都是有偏的和不一致的。

有几种情况使右边某些解释变量与误差项相关。如：在方程右边有内生决定变量,或右边变量具有测量误差。为简化起见，我们称与残差相关的变量为内生变量,与残差不相关的变量为外生变量。

解决解释变量与随机误差项相关的方法是使用工具变量回归。就是要找到一组变量满足下面两个条件:

（1）与内生变量相关; （２）与残差不相关；

这些变量称为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。考虑工具变量时，应注意以下问题:

１）使用TS ＬS 估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多(Ｄav ｉｄｓｏn & M ａc Ｋi ｎn ｏn(199４）和Ｊｏｈnst ｏn & Di Ｎa ｒd ｏ(1９97))。

２）根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量。 3)常数c 是一个合适的工具变量。

在二阶段最小二乘估计中有两个独立的阶段。在第一个阶段中，找到内生变量和工具变量。这个阶段包括估计模型中每个内生变量关于工具变量的最小二乘回归。第二个阶段是对原始方程的回归，所有内生变量用第一个阶段回归得到的拟合值来代替。这个回归的系数就是TSLS 估计。

令Z 为工具变量矩阵,y 和X 是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来:

y Z Z Z Z X X Z Z Z Z X TSLS

''''''=---111)())((?β 系数估计的协方差矩阵为:

112))(()?(--'''=X Z Z Z Z X s Var β

其中2s 是估计残差的协方差矩阵。

广义矩方法(G ＭM ，Ge ｎeral ｉzed Metho ｄ o ｆ Mom ｅnt ｓ,Hans ｅn(1982)）

由于传统的计量经济模型估计方法,例如普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须在模型满足某些假设时才具有良好的性质,而ＧＭM 估计是一个稳健估计量，因为它不要求扰动项的准确分布信息,允许随机误差项存在异方差和序列相关,所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明,普通最小二乘法、工具变量法、极大似然法都是ＧＭM 的特例

设模型为：

t t t y u =+x β

其中，12(,,,)t t t Kt x x x =x ,12(,,

,)'K βββ=β，z ｔ为工具变量(1?L )。令(),,t t t t y =w x z ,

则Ｌ个矩条件为:

()()()1,''t t t t t t L E u E y ???==-=??m w θz z x β0

对应的样本矩条件为：

()()()1

111

?,''T t t t t L t y T T ?=??=-=-=?

?∑m w θz x βz y x β0

等价于解方程:

21

???(,)'(,)K

l t t l Q m

====∑m w θm w θ0 （3）

当存在Ｌ>K 个工具变量时,共有L 个矩方程，而只有Ｋ个未知参数。因此,根据ＭＭ方法,

共有K L ?? ???个组合，可以得到的矩估计量的个数为K L ??

???

。这时，每个组合得到的MM 估计量

都不能满足(3）式，即（3)式不会恰好为０。但可以考虑将各种不同的估计结果综合起来,使（3）式最小化，即使得L 个矩条件的平方和最小。

因为不同矩的方差不同,因此更科学的方法是使用加权的平方和,

??(,)'(,)t t t Q =m

w θW m w θ

GMM 估计量是求下式的最优解:

()

{}???arg min (,)'(,)GMM t t t t Q

=θ

θW m

w θW m w θ 与GLS 相类似，ＧM Ｍ方法中,目标函数为各个矩的加权平方和，权数的选择则要考虑各

个矩的异方差和相关性。最优权数即是各个矩的协方差矩阵的逆矩阵。

如果?(,)t m w θ为一致估计量?GMM θ对应的矩，则Ｓ的一致估计量为:

(

)

()()???(,),t t Var T T Var ==S

m

w θm w θ ()11?,T t t TVar T =??= ???

∑m

w θ()()11??,',T

t t t T ==∑m w θm w θ 因此,最优权数矩阵为:

()()1

1

11???,,'T opt

t t T

t T --=??

== ???

∑W S

m w θm w θ

其是W Ｔ的一致估计。

回归系数显著性t 检验

Ｈ０： βi ＝0 vs H １: βi ≠０ 检验统计量： ｔ＝ / s ｔd()

Ｗhite t 检验:t= ／ s ｔd(

Whi ｔe )

Ｎｅwey-We ｓｔ ｔ检验：t= ／ std(

N-W ）

参考文献：

Newｅy, W. K.,Wｅｓt, Ｋ．Ｄ.，A siｍple，positｉve ｓemi-dedinｉte，heteｒoｓkedaｓticｉｔy ａnｄautocorrｅlation conｓistｅｎt coｖariaｎcｅmatriｘ. Ecｏnoｍeｔrica，55,703-７08.

Sargａn，T．Ｄ.,195８，The estｉmaｔｉoｎｏｆeｃonｏｍiｃreｌaｔｉｏnsｈips ｕsing instrumｅntａl variaｂlｅs．Ｅconomeｔrｉcａ,26,3９3－41５.

Ｗｈite, Ｈ．, 1980, Hｅｔeroｓkedaｓticｉty-coｎｓiｓtenｔｃovａricnce ｍaｔrｉｘe ｓtimａｔor and ａdirect ｔesｔfor heｔeｒoskｅdasticitｙ．Econometriｃa,4８，８1７-8３8.

Wｈite, H., 19８0,Insｔｒumental variａbｌes reｇｒesｓioｎon cross-ｓectｉon dａt ａ. Ｓan Ｄｉegｏ: Univｅrｓiｔy oｆＣaliｆorniａPrｅss.

Hanｓｅn,Ｌ. Ｐ．, Hodric, Ｒ. J., 198０, Forward exｃhａｎge rａｔes aｓｏptioｎal pr ｅdｉctｏｒｓof fuｔure spot ｒａte: an econometric ａnａlysiｓ. The Ｊｏurnal of P ｏｌｉtｉcal Eｃonoｍｙ, 5(88), ８29-853.

Hodric，R．J.,1９82, Diｖidenｄyieｌｄs ａnｄexpected stｏｃk retｕrns：ａlternati ｖｅprｏｃeｄurｅs foｒinfereｎce and measureｍｅnt. The Review of FinａｎciaｌSｔｕｄieｓ, 3(5)，3５7-386.

用于k步向前预测中,残差协方差矩阵的一致估计。

计算金融网址：

错误!未定义书签。

错误!未定义书签。