--SAS系统和数据分析多元线性回归分析

第三十二课 多元线性回归分析

一、 多元回归模型表示法

通常，回归模型包括k 个变量，即一个因变量和k 个自变量（包括常数项）。由于具有N 个方程来概括回归模型：

N t X X X Y t kt k t t t ,,2,1,22110

(32.1)

模型的相应矩阵方程表示为：

错误!未定义书签。

(32.2)

式中;

N k kN N k k N X X X X X X X Y Y Y Y 2110121211121,,111, (32.3)

其中,Y 为因变量观察的N 列向量，X 为自变量观察的N × (k +1) 矩阵， 为末知参数的(k +1) )

列向量， 为误差观察的N 列向量。

在矩阵X 表达式中，每一个元素X ij 都有两个下标，第一个下标表示相应的列（变量），第二个下标表示相应的行（观察）。矩阵X 的每一列表示相应的给定变量的N 次观察的向量，

与截矩有关的所有观察值都等于1。

经典的线性回归模型的假设可以阐述如下： ● 模型形式由(32.1)给定；

● 矩阵X 的元素都是确定的，X 的秩为(k+1)，且k 小于观察数N ；

● 为正态分布，E ( )=0 和 I E 2

，式中I 为N×N 单位矩阵。

根据X 的秩为(k+1) 的假定，可以保证不会出现共线性。如果出现完全共线性，矩阵X 的一列将为其余列的线性组合，而X 的秩将小于(k+1) )，关于误差的假设是最有用的假设，因为用它可以保证最小二乘法估计过程的统计性质。除了正态性外，我们还假定每一个误差项的平均值为0，方差为常数， 以及协方差为 0 。假若我们按Y 的分布来表示第三个假设，则可写成下式：

),(~2I X N Y

(32.4)

二、 最小二乘法估计

我们的目的是求出一个参数向量使得残差平方和最小，即：

???1

2 N

t t ESS (32.5)

式中：

Y Y ?? (32.6) ??X Y

(32.7)

其中，

?表示回归残差的N 列向量，而Y ?表示Y 拟合值的N 列向量， ?表示为估计参数的(k +1) 列向量，将式(32.6)和式(32.7)代入式(32.5)，则得：

???2 ??X X Y X Y Y X Y X Y ESS (32.8)

为了确定最小二乘法估计量，我们求ESS 对

?进行微分，并使之等于0，即： 0?22?

X X Y X ESS (32.9)

所以：

)(?1Y X X X

(32.10)

被称为“交叉乘积矩阵”，即错误!未定义书签。矩阵能够保证逆变换，这是因为我们假设X 的秩为(k +1),该假设直接导致了X X 的非奇异性。最小化的二阶条件是，X X 是一个正

定矩阵。

最小二乘法残差有一个有益的特性，即：

0???

X X Y X X Y X X (32.11)

这个结果说明自变量和残差的交叉乘积的总和为O ，这个公式在一些推导中是非常有用

的。

现在可以考虑最小二乘估计量的性质。首先可以证明它们是无偏估计量。因为：

X X X X X X X Y X X X 111? (32.12)

设式中 X X X A 1，且是常数，这样：

AE A E E

(32.13)

根据式(32.13) ，可以看到，只要遗漏变量都是随机分布的，与X 无关，并且具有 0 均值，则最小二乘法估计量将是无偏的。

1

21

1 ])?)(?[( )?( X X X X X E X X X E Var

(32.14)

我们看到，最小二乘法估计量为线性和无偏估计量。事实上，

?为 的最佳线性无偏估计量，也就是说，它在全部无偏估计量中方差最小，这就是著名的高斯－马尔可夫定理。为

了证明高斯－马尔可夫定理，我们需要证明，任何其他线性估计量b 的方差比 ?的方差大。请注意

?=AY 。为了不失去一般性，我们可写成： )()()(C A X C A Y C A b

(32.15)

假如b 是无偏的，则：

1

CX I CX X X X X b E (32.16)

式(32.16)成立的一个必要和充分的条件是0 CX ，这样就可以研究矩阵)(b Var 。由于 )(C A b ，所以有：

]

))(][([])()[(}

])][(){[(]

))([()( C A C A E C A C A E C A C A E b b E b Var

(32.17)

由于：

C C C X X X X X CX X X X X X X C C C A A C A A C A C A

1

111

因为0 C X CX ，所以 C C X X C A C A 1

，即：

C C Var C C X X b Var

21

2)?(]

[)(

(32.18)

我们可以看出，C C 为一半正定矩阵。该矩阵的二次型为0，只有当C ＝0（所有元素为0）时才出现。当0 C 时，另外的估计量b 就是普通最小二乘法估计量，这样，我们的定理就得到证明。

三、 2 的估计和t 检验

为了计算估计参数的方差－协方差矩阵，我们需要给出2 的估计量，该估计量自然选为：

1

??2

k N s (32.19)