多元线性回归的参数估计方法

这是一个条件极值问题，因此我们可以利用构造拉格朗日函数如下：
∑ ∑ ∑ L(ci , λ1, λ2 ) = σ 2 ci2 + λ1( ci xi −1) + λ2 ( ci )
-3-

分别对 ci , λ1, λ2 求偏导得
∑ ∑ ∂L
∂ci
=
2σ
2ci
x21 − x1 "
x22 − x2 "
#
%
x2,k −1 − xk −1 "
xn1 − x1 xn2 − x2
⎞ ⎟ ⎟
#⎟
xn,k −1 − xk−1 ⎟⎟⎠k −1×n
M
'Y
=
⎛ ⎜ ⎜ ⎜
y1 y2
−Y −Y #
⎞ ⎟ ⎟ ⎟
⎜⎜⎝ yn − Y ⎟⎟⎠n×1
⎛ ⎜
n
∑ (xi1 − x1)2
∧
∧
∧
∧
(nx1,"
,
nxk
−1
)
⎜ ⎜ ⎜⎝
#
∧
βk −1
⎟ ⎟ ⎟⎠
+
n
βk
=
nY
即 βk
=Y
−
x1 β1 −" − xk−1 βk −1
(9)
∑ ∑ 其中 xj
=
1 n
n i=1
xi, j ,
j
= 1,", k
−1, y
=
1 n
n i =1
yi
-2-

'Y
=
(
X1'
M
(
X
' 1
M
)'
)
−1
X
' 1
MM
'Y
（10）
其中
X1
=
⎛ ⎜ ⎜ ⎜
x11
x21 #
x12
x22 #
" " %
x1,k −1
x2,k −1 #
⎞ ⎟ ⎟ ⎟
代入(10)式得
⎜⎜⎝ xn1 xn2 " xn,k −1 ⎟⎟⎠
⎛
⎜
X
' 1
M
=
⎜ ⎜
x11 − x1 x12 − x2
#
⎜⎜⎝ x1,k−1 − xk−1
+ λ1xi
+ λ2 ,
∂L ∂λ1
=
ci xi
−1, ∂L ∂λ2
=
ci
从
∂L ∂ci
＝0
得出 ci
=
−
1 2σ 2
(λ1xi
+ λ2 )
（11）
∑ ∑ 从 ∂L = 0 ， ∂L = 0 得出
∂λ1
∂λ2
ci xi = 1,
ci = 0
∑ ∑ 对(11)式两边同时加上 得 λ1 xi + nλ2 = 0 （12）
∂S = −2X 'Y + 2X ' X β ∂β
令
∂S
∧
= 0 ，并用 β
表示 β
∧
的估计值，得到最小二乘估计量 β
的方程为 X ' X
∧
β
=
X 'Y
∂β
如果 X ' X 满秩， β 的最小二乘估计量可由下面 k 个线性方程求得
∧
β = ( X ' X )−1 X 'Y (3)
3． 矩阵的分解
∧
∧
用矩阵形式Y = X β + u （1），其中 β = (β1,", βk )' 是 k ×1维常量
回归的目的是利用观察到的 y 和 X 对（1）中的未知参数进行推断，包括回归系数 β 。为了
使回归得以进行，必须对数据生成过程进行若干假定。除了对模型（1）的线性假设之外， 还有如下假定：
1.1 Ε(u | X ) = 0
⎛ ⎜ ⎜ ⎜⎝
x1' #
xn'
⎞ ⎟ ⎟ ⎟⎠
=
⎛ ⎜ ⎜ ⎜ ⎜ ⎝
x11 x21 #
xn1
x12 x22 #
xn 2
" " % "
x1k x2k
⎞ ⎟ ⎟
#⎟
⎟ xnk ⎠
假设有如下的一个简单的线性关系，变量 yi 是 k 个变量 (xi1, xi2 ,", xik ) 和不可观察随机扰

动项 ui 的线性函数， yi = β1xi1 + β2 xi2 +" + βk xik + ui , i = 1, 2,", n
⎟
⎟⎜
#
⎟
∑ ⎟
⎟⎟⎠
⎜ ⎜⎜⎝
n i =1
( xi,k −1
−
xk−1)( yi
−
Y
⎟ ) ⎟⎟⎠
∧
从 β1 的形式我们可以得出另外一种求最小二乘估计量的方法。首先，将每个变量变化为与 各自均值的离差形式，即 yi = yi − y, xij = xi, j − x j , j = 1"k −1。
∧
βk×1 = β − ( X ' X )−1 X ' y + cy = β + (c − ( X ' X )−1 X ' )u
∧
Cov(βk×1) = σ 2 ( X ' X )−1 + σ 2 (c − ( X ' X )−1 X ' )(c − ( X ' X )−1 X ' )' （14）
从(14)中的第二项是非负半正定矩阵可以知道最小二乘估计量的方差是所有的线性无 偏估计量中是最小的。
xi − nxi xi )2 − n xi2
∑ ∑ ∑ ∧
∧(
∑ ∑ 那么可以得出 β 1 的参数估计值为 β 1 =
xi )( yi ) − n xi yi ( xi )2 − n xi2
∧
∧
同样我们也可以通过此方法得出 β 2 = y − β 1 x ，这与最小二乘估计得出的估计量是一样
∧
的。现在我们要做的是把一元情况推广到多元，考虑估计量为 βk×1 = ck×n yn×1
1.2
Ε(uu'
|
X
)
=
σ
Ι2 n×n
，其中 Ιn×n
为
n × n 单位矩阵。
1.3 rank( X ) = k
在 1.1 和 1.2 假定下，基本线性回归模型（1）有 k +1 个未知参数，即 k 个系数 β 以及方差σ 2 。
回归分析就是通过观察到的 y 和 X 推断出这些参数。事实上有多种方法估计参数 β 和σ 2 。
-1-

n
n
∑ ∑ S = ( yi − xi'β )2 = ui2 = (Y − X β )' (Y − X β )
i =1
i =1
(2)
= Y 'Y − 2β ' X 'Y + β ' X ' X β
为得到使 S 最小化的 β 值，将(2)中的 S 对 β 求偏导得:
Wu Shixun, Zhao Dongfang, Jin Xiuyun
Central China Normal university mathematics and statistics institute, wuhan, hubei (430079)
Abstract According to the Gauss-Markov theorem, through the analysis of parameter estimation from the least square estimation method, this paper gains the conclusion that the value of parameter estimation from other two angles is the same to the least square estimation method. Keywords: Least squares method; parameter estimation; linear
∧
∧
然后作 yi 对 xi1,", xi,k−1 的回归求得最小二乘估计量 β1,", βk−1 ，最后将它们代入(9)式中
∧
得到 βk 。
4． 估计量的方差最小化
最小二乘估计是从残差的平方和最小的角度出发而得出的估计量。那么我们能不能 从估计量的方差最小这个角度出发而得出估计量呢？我们的回答是肯定的。 首先我们来考虑简单线性回归情形，从(3)式我们知道参数的估计量是因变量的线性组
∧
∧∧
∧∧
我们可以通过(3)得到最小二乘估计量 β ，假定 β 可以分拆为 β = (β1, β2 ) ，其中 β1, β2 分
别为 k1 ×1 和 k2 × 2 向量，且 k1 + k2 = k 。相应地，将 X 分拆为 X = ( X1, X 2 ) ,那么方程
X
'X
∧
β
=
X 'Y
可以表示为
⎛ ⎜
2
)−1
X 2' ) X1)−1
X
' 1
(
I
−
X
2
(
X
' 2
X
2
)−1
X
' 2
)Y
（8）
由于多元线性回归常数项的存在，对于多元线性回归的设计矩阵 X n×k 来说，有一列都为