第三节 最小二乘估计量的性质

第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。

1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得：222222()ˆt ttttttttttt tt ttx yx Y x Y xxx xx x xxβ--===⎛⎫==⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y YY需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x=∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。

这说明2ˆβ是t Y 的线性组合。

（2）因为12tt tY X ββμ=++，所以有()212122ˆttttttttttttb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y 这说明2ˆβ是t μ的线性组合。

需要指出的是，这里用到了22t tt ttx x b x x===∑∑∑∑∑以及()2222222201t t tttt t t ttttttttx x X x b XX x x xxXx Xxxxx x⎛⎫+⎪==⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆYX ββ=-，所以有()121ˆˆ1tttt t Y X YXb nX b n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a X bn =-，则有1ˆt a β=∑Y这说明1ˆβ是t Y 的线性组合。

（2）因为回归模型为12tt tY X ββμ=++，所以()11212ˆtttttttttta a X a a X a βββμββμ==++=++∑∑∑∑∑Y 因为111t t ta Xb Xbnn⎛⎫=-=-= ⎪⎝⎭∑∑∑∑。

而110t t t tt tta X Xb X X Xb X n n X X ⎛⎫=-=- ⎪⎝⎭-=∑∑∑∑所以，11ˆt t a ββμ=+∑ 这说明1ˆβ是t μ的线性组合。

至此，参数的线性特性证明完毕。

问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、随机扰动项和的随机性来理解。

二、 无偏性的含义所谓无偏性是指估计值的均值等于真实值。

在这里，无偏性是指参数估计值1ˆβ和2ˆβ的期望值分别等于总体参数1β和2β。

其数学上要求是()11ˆE ββ=和()22ˆE ββ=。

证明：根据参数估计值的线性特征，我们推导出：11ˆt t a ββμ=+∑，所以有： ()()()()()()()()()()()111111ˆttttttttE E a E E a E E a E E a E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑相似地，22ˆt tb ββμ=+∑，所以有()()()()()()()()()()()222222ˆttttttttE E b E E b E E b E E b E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑三、 最优性（有的书本上直接称之为最小方差性）的含义 最优性是指用最小二乘法得到的参数估计值1ˆβ和2ˆβ在各种线性无偏估计中得到的方差最小。

根据上述的定义，我们可以任意假设2ˆβ*是用其他方法得到的总体参数2ˆβ的一个线性无偏估计。

因为2ˆβ*具有线性特性，我们可以得到：()212ˆtttt t c c X βββμ*==++∑∑Y，()()()()()()()()21212121212ˆ0t t t t ttt ttttttttttttE E c Ec X c E X c c E X c E c c E X c c Xβββμββμββμββββ*==++=++=++=++=+∑∑∑∑∑∑∑∑∑∑Y又因为2ˆβ*是用其他方法得到的总体参数2ˆβ的一个无偏估计，所以有()22ˆE ββ*= 所以由上述两个结果，可以得到：122t t t c c X βββ+=∑∑上述式子要成立，必须同时满足两个条件，即0tc=∑和1t t c X =∑现在求2ˆβ*的方差：()()()()()()()()()()()()()222222221122222112211221133223322ˆvar var ˆˆt t t t t t t t t t t t t t t t t t t t tt t t t t t c E c E c E c E c E c c E E c c E c E c E c c c E c c c c c c c c c c βμμμμμμμμμμμμμμ*⎡⎤==-⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤==++⋅⋅⋅+⎣⎦=++⋅⋅⋅++++⋅⋅⋅++∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y Y Y Y Y Y Y Y ()()()()4422tttstsc cE c E μμμμμ⎡⎤+⋅⋅⋅+⋅⋅⋅⎣⎦=+∑∑∑因为根据假设条件（常数方差和非自相关，即()222var()(())t t t tuE E E μμμμσ=-==和[][]cov(,)(())(())(0)(0)()0t s t t s s t s t s E E E E E μμμμμμμμμμ=--=--==所以，有()()()()2222222222ˆvar 2u t u t t t utt ututtt c c b b cb bb cb βσσσσσ*==-+⎡⎤⎣⎦=-++-⎡⎤⎣⎦∑∑∑∑∑2ˆβ*方差的最后一项为()()()()2222222111(1)11ttt t ttttt ttttt t t t ttttb cb bc bx x c xxc xx c X X x c XXcx -=-⎡⎤⎣⎦⎛⎫⎛⎫=- ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭=-=--=--=∑∑∑∑∑∑∑∑∑∑∑∑∑∑这是因为0t c =∑和1t t c X =∑因此，有()()22222ˆvar u t t utc b b βσσ*=-+∑∑很明显，当ttc b =时，2ˆβ*方差最小，此时，最小值为()222ˆvar u t b βσ*=∑。

而在此时，有22ˆˆt t t t c b ββ*===∑∑Y Y 即两个估计值相等。

因为2ˆβ*的最小方差等于2ˆβ的方差，即()()22ˆˆvar var ββ*≥，因此，我们说，2ˆβ在所有线性无偏估计中的方差最小，且最小方差为： ()22222ˆvar uuttbx σβσ==∑∑同理，我们可以证明，1ˆβ在所有线性无偏估计中的方差最小，且参数估计值的方差为：()()2212ˆvar ut tX n x σβ=∑∑。

由此，说明，最小二乘估计具有BLUE(best linear unbiased estimation)性质。

从而在统计学和计量经济学中得到广泛应用。

第四节 系数的显著性检验一、 系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是t Y 和t μ的线性组合。

又因为t Y 和t μ都服从正态分布，所以，我们可以自然得到两点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。

从而，可以用随机变量的一些数字特征来表示。

通常，我们采用的是均值与方差。

系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，()11ˆE ββ=，()22ˆE ββ=。

这说明系数估计值1ˆβ和2ˆβ这两个随机变量的数学期望（均值）分别等于总体参数（实际值）。

系数估计值的方差又是多少呢？根据系数估计值的最小方差性的证明，我们得到了其方差，即有()()2212ˆvar ut tX n xσβ=∑∑ ，()22222ˆvar uuttbx σβσ==∑∑。

至此，我们可以用随机变量的数学期望和方差来刻画1ˆβ和2ˆβ这两个随机变量的分布，即有：1ˆβ服从均值为1β、方差为()222ut tX n x σ∑∑的正态分布；而2ˆβ服从均值为2β、方差为22utxσ∑的分布。

用数学的语言可以描述为：()2211,2ˆu t tX N n x σββ⎛⎫ ⎪ ⎪⎝⎭∑∑ 和222,2ˆu t N x σββ⎛⎫ ⎪ ⎪⎝⎭∑ 。

可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。

随机扰动项是总体回归模型中的误差项，无法得到，只能对其估计。

二、 随机误差项方差的估计 因为总体回归模型为：12tt tY X ββμ=++而样本回归模型为：12ˆˆtt tYX e ββ=++ 从形式上看，样本回归模型中的残差te 可以看作随机扰动项t μ的估计值。

进一步，残差t e 的方差可以作为随机扰动项t μ的方差2uσ的估计值。

样本回归模型为：12ˆˆtt t YX e ββ=++ 样本回归直线为：12ˆˆˆttX ββ=+Y 样本回归模型的左右两边减去样本回归直线的左右两边，可得：ˆt t tY e -=Y ，把这个式子重新安排一下，可以得到： ()()ˆˆt t t t te Y Y Y Y =-=---Y Y现在，重点要求的是te 的两个部分，即()ˆtY-Y 和()tYY-。

这两部分知道之后，才能求te 的方差。

对样本回归模型12ˆˆtt tY X e ββ=++两边分别对t 求和，再除以n,有：1212121212ˆˆˆˆ1111ˆˆ1111ˆˆ1ˆˆt t t tt tt ttt t ttY X e YX eY X e n n nn Y X e nnnnY X enββββββββββ=++⇒=++⇒=++⇒=+⨯+⇒=++∑∑∑∑∑∑∑∑∑∑∑∑∑由前边的正规方程组，我们曾经知道，点(),X Y 在样本回归直线上，用数学的语言来讲，就有：12ˆˆYX ββ=+，因此，有1212ˆˆˆˆˆt t X Y X ββββ=+=+Y ，进而，有()22ˆˆˆt ttY X X x ββ-=-=Y对总体回归模型12tt tY X ββμ=++两边分别对t 求和，再除以n,有：1212121211212111111111tt t t tt tt t tt t tn t Y X YX Y X n n nnY X nnnnY X Y X nμμββμββμββμββμββμββμ==++⇒=++⇒=++⇒=+⨯+∑⇒=++−−−−→=++∑∑∑∑∑∑∑∑∑∑∑∑∑所以，由1212t t t Y X Y X ββμββμ=++=++，可得，()()()22t t t t t Y Y X X x βμμβμμ-=-+-=+-将两部分结合起来，现在，我们可以得到：()()()22ˆˆˆˆt t t t t t tt t t e Y Y Y Y Y x Y Y x ββμμ=-=----=-=+-Y Y Y可以得到：()()22ˆtt te x ββμμ=-+-，（从这个式子我们可以看出什么呢？）至此，已经将残差与扰动项联系起来了。