第六章多元回归解析
合集下载
第六章_多元回归分析的矩阵运算
第六章_多元回归分析的矩阵运算多元回归分析是统计学中重要的分析方法之一，用于研究多个自变量对一个因变量的影响关系。
在进行多元回归分析时，矩阵运算是一个重要的工具，可以帮助我们简化计算过程，提高效率。
本文将介绍多元回归分析中的矩阵运算。
多元回归模型可以表示为：Y=Xβ+ε其中，Y是因变量的观测值向量，X是自变量的观测值矩阵，β是自变量的系数向量，ε是误差项的观测值向量。
我们将自变量的观测值矩阵X进行标准化处理，使得X的每一列均值为0，标准差为1，即mean(X) = 0，std(X) = 1、这样做的目的是消除自变量之间的量纲差异，方便进行比较。
在进行多元回归分析时，我们需要使用最小二乘法来估计模型的参数β。
最小二乘法的估计公式为：β=(X'X)^(-1)X'Y其中，X'表示X的转置，^(-1)表示矩阵的逆运算。
矩阵的转置运算可以通过将矩阵的行转换为列，列转换为行来实现。
例如，矩阵X的转置X'的第i行第j列元素等于X的第j行第i列元素，可表示为X'ij = Xji。
矩阵的逆运算表示将矩阵转换为与其相乘后得到单位矩阵的矩阵。
例如，矩阵A的逆矩阵A^(-1)满足A^(-1)*A=I，其中I为单位矩阵。
在进行最小二乘法估计时，我们需要计算矩阵X'X的逆矩阵。
若X'X为可逆矩阵，则矩阵X'X的逆矩阵可以写为(X'X)^(-1) = 1/，X'X， *adj(X'X)，其中，X'X，表示矩阵X'X的行列式，adj(X'X)为X'X的伴随矩阵。
矩阵的行列式表示矩阵的性质，可以通过计算矩阵的特征值（即矩阵的特征多项式的根）来得到。
例如，矩阵A的行列式，A，可以通过计算A的特征值λ1，λ2，…，λn的乘积来得到，即，A，=λ1*λ2*…*λn。
矩阵的伴随矩阵可以通过矩阵的代数余子式来计算。
矩阵A的第i行第j列元素的代数余子式Aij表示在A中去掉第i行第j列后，剩余矩阵的行列式。
武汉大学计量经济学多元回归分析：其他问题
但是，experience在第二年就没有那么有价值了，从1年增加到2年时，
工资均值增加值约为0.286美元，等等。在这个例子中，存在一个转折点，
在此之前，x对y有正的影响；超过此转折点之后，x对y有负的影响。
在实际应用中，重要的是要找到这个转折点。
wage
7.37
3.73
24.4
exper
二、对函数形式的进一步讨论
ˆ1
（x1i x1)(yi y) (x2i x2)2 (x2i x2)(yi y) （x1i x1)(x2i x2) (x1i x1)2 (x2i x2)2 （x1i x1)(x2i x2)2
一、数据测度单位对OLS统计量的影响
ˆ j ,
j 1, 2,..., k
一、数据测度单位对OLS统计量的影响
β系数：定义及其意义
我们把bˆj称为标准化系数或系数（注意，这与前面所说的系数涵义不同），
涵义是，如果xij改变一单位标准离差，则yi改变bˆj单位标准离差。 （1）我们不是以xj或y的原有单位，而是以各自的标准离差为单位，来度量其变异及影响。 （2）标准化之后，回归元（解释变量）的单位无关紧要，因此，回归方程把所有解释变量
wage 3.73 0.298exp er 0.0061exp er2
(0.35) (0.041)
(0.0009)
这里的exp er对工资的影响递减：wage 0.298 2 * 0.0061* exp er
如果experience从0年增加到1年，工资均值增加0.298美元（0.298 2 * 0.0061* 0）；
既然主要是为了简洁好看，我们希望不改变本质的东西。 改变度量单位对OLS估计量（第二章） ：
第六章 多元回归分析
2
可决系数
ESS RSS R 1 TSS TSS
2
该统计量越接近于1，模型的拟合优度越高。
调整的可决系数（adjusted coefficient of determination） 在样本容量一定的情况下，增加解释变量必定使 得自由度减少，所以调整的思路是:将残差平方和 与总离差平方和分别除以各自的自由度，以剔除 变量个数对拟合优度的影响:
[ RSS ( RSS1 RSS2 )] / k F ~ Fk ,n1 n2 2 k ( RSS1 RSS2 ) /(n1 n2 2k )
例6-1：在一个F3，60分布中5%的临界值和拒绝域
面积＝0.95
面积＝0.05
0 2.76 拒绝区域
例6-2：考虑如下解释主要俱乐部棒球运动员薪水的模型：
6.2 参数的最小二乘估计
拟合值和残差的重要性质
（1）残差的样本均值为0； （2）每个自变量和OLS残差之间的样本协方差为0；拟合
值与残差之间的样本协方差也为0；
（3）点( X 2 , X 3 ,
, X k , Y ) 总位于OLS回归线上；
ˆ ˆ X ˆX Y 1 2 2 3 3
（i=2，3…k）
注意：一元线性回归中，t检验与F检验一致
一方面，t检验与F检验都是对相同的原假设H0： 2=0 进行检验;
另一方面，两个统计量之间有如下关系：
F
e
2 ˆ y i 2 i
n2 ˆ 2
e
ˆ 2 x2 2 i
2 i2) xi2
ˆX k k
随机误差项的均值为0，方差的估计量为：
ee ˆ nk
2
6.3 最小二乘估计量的性质
第六章相关与回归分析
3. 有总体相关系数与样本相关系数之分：
• 总体相关系数ρ——根据总体数据计算的，
• 样本相关系数 r ——根据样本数据计算的。
6 - 12
统
计
相关关系的计算பைடு நூலகம்式
学
rSxy
(xx)y (y)
SxSy
(xx)2 (yy)2
或化简为
r
nx yxy
nx2x2 ny2y2
6 - 13
统
计
相关系数取值及其意义
相关图——也称为散点图。一对数据对应坐标图 上一个点，将成对的观察数据表现为坐标图 的散点而形成的图。
编制相关表、图的意义——有助于分析者判断 相关的有无、方向、形态、密切程度。
6 - 10
统
计
相关关系的图示
学
完全正线性相关
正线性相关
完全负线性相关
负线性相关
非线性相关
不相关
2. 一元线性（总体）回归方程的形式如下：
3.
E( y ) = α + b x
▪ 方程的图示是一条直线，因此也称为直线回归方程
▪ α 是回归直线在 y 轴上的截距，是当 x=0 时 y 的期 望值，是回归直线是起始值；
▪ b 是直线的斜率，表示当 x 每变动一个单位时，y
的平均变动值。
6 - 22
统
6 - 11
统
计 学
（二）相关系数和判定系数
1. 都是对变量之间关系密切程度的度量； 2. 判定系数=相关系数的平方； 3. 不同类型的相关,相关系数的计算方法也不同.
对两个变量之间线性相关程度的度量称为简单相 关系数（也称直线相关系数）,常简称相关系数.
此外还有复相关系数、非线性相关系数、偏相关系 数
• 总体相关系数ρ——根据总体数据计算的，
• 样本相关系数 r ——根据样本数据计算的。
6 - 12
统
计
相关关系的计算பைடு நூலகம்式
学
rSxy
(xx)y (y)
SxSy
(xx)2 (yy)2
或化简为
r
nx yxy
nx2x2 ny2y2
6 - 13
统
计
相关系数取值及其意义
相关图——也称为散点图。一对数据对应坐标图 上一个点，将成对的观察数据表现为坐标图 的散点而形成的图。
编制相关表、图的意义——有助于分析者判断 相关的有无、方向、形态、密切程度。
6 - 10
统
计
相关关系的图示
学
完全正线性相关
正线性相关
完全负线性相关
负线性相关
非线性相关
不相关
2. 一元线性（总体）回归方程的形式如下：
3.
E( y ) = α + b x
▪ 方程的图示是一条直线，因此也称为直线回归方程
▪ α 是回归直线在 y 轴上的截距，是当 x=0 时 y 的期 望值，是回归直线是起始值；
▪ b 是直线的斜率，表示当 x 每变动一个单位时，y
的平均变动值。
6 - 22
统
6 - 11
统
计 学
（二）相关系数和判定系数
1. 都是对变量之间关系密切程度的度量； 2. 判定系数=相关系数的平方； 3. 不同类型的相关,相关系数的计算方法也不同.
对两个变量之间线性相关程度的度量称为简单相 关系数（也称直线相关系数）,常简称相关系数.
此外还有复相关系数、非线性相关系数、偏相关系 数
第六章-相关与回归
（1）r 为无单位的相对数值，可直接用于不同资料
间相关程度的比较。
（2）1≤r≤1，0≤|r|≤1。 |r|越接近于1，说明两变量的相关程度越强； |r|越接近于0，两变量的相关程度越差。
（3）r=0表示x与y无相关， r＜0表示负相关， r＞0表示正相关， |r|=1为完全相关。
二、样本相关系数的计算
（x1，y1），（x2，y2），…，（xn，yn）。
前面已经指出，要研究两种变量间的关系，最简单的方 法是把一系列观测数据在坐标中用散点图表示，如果散点 大致分布在一条直线附件，就可以判断两者为直线回归关 系。这种关系可用直线回归方程表示。则总体直线回归方 程为：
yi xi i （i=1，2，…，n） i服 N 0 从 ，2，且相互独
相关变量间的关系一般分为两种: 一种是平行关系，是研究变量间关系的强弱程度，此
时我们不关心在它们之间是谁影响了谁，谁是因，谁是果， 变量间的地位是平等的。如黄牛的体长和胸围之间的关系， 猪的背膘厚度和眼肌面积之间的关系等都属于平行关系。
另一种是因果关系，即一个变量的变化受另一个或几 个变量的影响。如仔猪的生长速度受遗传特性、营养水平、 饲养管理条件等因素的影响，子代的体高受亲本体高的影 响。
N 1N 1 (XX X)Y ( Y Y)
(XX)Y (Y) (XX)2 (YY)2
r SP xy
xy(x)n(y)
SSxSSy
x2(nx)2y2(ny)2
其中：
SPxy— 变量x和变量y的离均差乘积和简称乘积和 SSx — 变量x 的离均差平方和 SSy — 变量y 的离均差平方和
相关系数r 的特点:
变量。
例如，进行药物疗效试验 时，应用不同的剂量 （x），分析疗效（y）如 何受到药物剂量的影响及 其变化规律。这里规定的
间相关程度的比较。
（2）1≤r≤1，0≤|r|≤1。 |r|越接近于1，说明两变量的相关程度越强； |r|越接近于0，两变量的相关程度越差。
（3）r=0表示x与y无相关， r＜0表示负相关， r＞0表示正相关， |r|=1为完全相关。
二、样本相关系数的计算
（x1，y1），（x2，y2），…，（xn，yn）。
前面已经指出，要研究两种变量间的关系，最简单的方 法是把一系列观测数据在坐标中用散点图表示，如果散点 大致分布在一条直线附件，就可以判断两者为直线回归关 系。这种关系可用直线回归方程表示。则总体直线回归方 程为：
yi xi i （i=1，2，…，n） i服 N 0 从 ，2，且相互独
相关变量间的关系一般分为两种: 一种是平行关系，是研究变量间关系的强弱程度，此
时我们不关心在它们之间是谁影响了谁，谁是因，谁是果， 变量间的地位是平等的。如黄牛的体长和胸围之间的关系， 猪的背膘厚度和眼肌面积之间的关系等都属于平行关系。
另一种是因果关系，即一个变量的变化受另一个或几 个变量的影响。如仔猪的生长速度受遗传特性、营养水平、 饲养管理条件等因素的影响，子代的体高受亲本体高的影 响。
N 1N 1 (XX X)Y ( Y Y)
(XX)Y (Y) (XX)2 (YY)2
r SP xy
xy(x)n(y)
SSxSSy
x2(nx)2y2(ny)2
其中：
SPxy— 变量x和变量y的离均差乘积和简称乘积和 SSx — 变量x 的离均差平方和 SSy — 变量y 的离均差平方和
相关系数r 的特点:
变量。
例如，进行药物疗效试验 时，应用不同的剂量 （x），分析疗效（y）如 何受到药物剂量的影响及 其变化规律。这里规定的
6.1第六章回归分析
第六章 回归分析
变量之间的联系
确定型的关系：指某一个或某几个现象的变动必然会 引起另一个现象确定的变动，他们之间的关系可以使 用数学函数式确切地表达出来，即y=f(x)。当知道x的 数值时，就可以计算出确切的y值来。如圆的周长与 半径的关系：周长=2πr。 非确定关系：例如，在发育阶段，随年龄的增长，人 的身高会增加。但不能根据年龄找到确定的身高，即 不能得出11岁儿童身高一定就是1米40公分。年龄与 身高的关系不能用一般的函数关系来表达。研究变量 之间既存在又不确定的相互关系及其密切程度的分析 称为相关分析。
（3）方差齐性检验
方差齐性是指残差的分布是常数，与预测变量或 因变量无关。即残差应随机的分布在一条穿过0点 的水平直线的两侧。在实际应用中，一般是绘制 因变量预测值与学生残差（或标准化残差）的散 点图。在线性回归Plots对话框中的源变量表中,选 择SRESID或ZRESID（学生氏残差或标准化残差） 做Y轴；选择ZPRED（标准化预测值）做X轴就 可以在执行后的输出信息中显示检验方差齐性的 散点图。
要认真检查数据的合理性。
2、选择自变量和因变量
3、选择回归分析方法
Enter选项，强行进入 法，即所选择的自变量 全部进人回归模型，该
选项是默认方式。
Remove选项，消去法， 建立的回归方程时，根
据设定的条件剔除部分
自变量。
选择回归分析方法
Forward选项，向前选择 法，根据在option对话框中 所设定的判据，从无自变 量开始。在拟合过程中， 对被选择的自变量进行方 差分析，每次加入一个F值 最大的变量，直至所有符 合判据的变量都进入模型 为止。第一个引入归模型 的变量应该与因变量间相 关系数绝对值最大。
得到它们的均方。
变量之间的联系
确定型的关系：指某一个或某几个现象的变动必然会 引起另一个现象确定的变动，他们之间的关系可以使 用数学函数式确切地表达出来，即y=f(x)。当知道x的 数值时，就可以计算出确切的y值来。如圆的周长与 半径的关系：周长=2πr。 非确定关系：例如，在发育阶段，随年龄的增长，人 的身高会增加。但不能根据年龄找到确定的身高，即 不能得出11岁儿童身高一定就是1米40公分。年龄与 身高的关系不能用一般的函数关系来表达。研究变量 之间既存在又不确定的相互关系及其密切程度的分析 称为相关分析。
（3）方差齐性检验
方差齐性是指残差的分布是常数，与预测变量或 因变量无关。即残差应随机的分布在一条穿过0点 的水平直线的两侧。在实际应用中，一般是绘制 因变量预测值与学生残差（或标准化残差）的散 点图。在线性回归Plots对话框中的源变量表中,选 择SRESID或ZRESID（学生氏残差或标准化残差） 做Y轴；选择ZPRED（标准化预测值）做X轴就 可以在执行后的输出信息中显示检验方差齐性的 散点图。
要认真检查数据的合理性。
2、选择自变量和因变量
3、选择回归分析方法
Enter选项，强行进入 法，即所选择的自变量 全部进人回归模型，该
选项是默认方式。
Remove选项，消去法， 建立的回归方程时，根
据设定的条件剔除部分
自变量。
选择回归分析方法
Forward选项，向前选择 法，根据在option对话框中 所设定的判据，从无自变 量开始。在拟合过程中， 对被选择的自变量进行方 差分析，每次加入一个F值 最大的变量，直至所有符 合判据的变量都进入模型 为止。第一个引入归模型 的变量应该与因变量间相 关系数绝对值最大。
得到它们的均方。
6.2第六章 多元回归和相关、偏相关.
(一) 多元回归的线性模型和多元回归方程式
若依变数Y 同时受到m 个自变数X1、X2、…、Xm 的 影响，且这m 个自变数皆与Y 成线性关系，则这m+1 个变数的关系就形成m 元线性回归。
一个m元线性回归总体的线性模型为：
Y j 0 X 0 1 X 1 j 2 X 2 j m X mj j
Ry·12…m的存在区间为[0，1]。
(二) 多元相关系数的假设测验
令总体的多元相关系数为 ，则对多元相关系数的
假设测验为H0： 0 对HA： 0 ，
F 测验 ：
F
2R2 1(1 R 2 )
（10·16）
其中的
1 =m， 2
=n-(m+1)，R2为
t bi i
sbi
(10·11)
服从 n (m 1) 的 t 分布，可测验 bi 的显著性。
2. F 测验
U Pi
bi2 c(i 1)(i 1)
U Pi 就是y对xi的偏回归平方和， 1 。
F
U Pi Q y/12m /[n (m
1)]
c11 c12 c1M
R 1
(cij ) M M
c 2 1 cM 1
c 2 2 cM 2
c2M
c MM
令xi 和xj 的偏相关系数为rij·，解得 cij 后即有
rij·cij cii cjj
③评定各个自变数对依变数的相对重要性，以便研 究者抓住关键，能动地调控依变数的响应量。
第一节 多元回归
一、多元回归方程 二、多元回归的假设测验 三、最优多元线性回归方程的统计选择 四、自变数的相对重要性
若依变数Y 同时受到m 个自变数X1、X2、…、Xm 的 影响，且这m 个自变数皆与Y 成线性关系，则这m+1 个变数的关系就形成m 元线性回归。
一个m元线性回归总体的线性模型为：
Y j 0 X 0 1 X 1 j 2 X 2 j m X mj j
Ry·12…m的存在区间为[0，1]。
(二) 多元相关系数的假设测验
令总体的多元相关系数为 ，则对多元相关系数的
假设测验为H0： 0 对HA： 0 ，
F 测验 ：
F
2R2 1(1 R 2 )
（10·16）
其中的
1 =m， 2
=n-(m+1)，R2为
t bi i
sbi
(10·11)
服从 n (m 1) 的 t 分布，可测验 bi 的显著性。
2. F 测验
U Pi
bi2 c(i 1)(i 1)
U Pi 就是y对xi的偏回归平方和， 1 。
F
U Pi Q y/12m /[n (m
1)]
c11 c12 c1M
R 1
(cij ) M M
c 2 1 cM 1
c 2 2 cM 2
c2M
c MM
令xi 和xj 的偏相关系数为rij·，解得 cij 后即有
rij·cij cii cjj
③评定各个自变数对依变数的相对重要性，以便研 究者抓住关键，能动地调控依变数的响应量。
第一节 多元回归
一、多元回归方程 二、多元回归的假设测验 三、最优多元线性回归方程的统计选择 四、自变数的相对重要性
多元回归分析
多元回归分析引言多元回归分析是一种统计方法，用于探究自变量对因变量的影响程度。
它通过建立一个数学模型，分析多个自变量与一个因变量之间的关系，以预测因变量的变化。
本文将介绍多元回归分析的基本原理、应用场景和步骤。
基本原理多元回归分析建立了一个包含多个自变量的线性回归方程，如下所示：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y为因变量，X1、X2、…、Xn为自变量，β0、β1、β2、…、βn为回归系数，ε为误差项。
回归系数表示自变量对因变量的影响程度。
多元回归分析可以通过最小二乘法估计回归系数，即找到使误差项平方和最小的系数值。
在得到回归系数后，可以通过对自变量的设定值，预测因变量的值。
应用场景多元回归分析广泛应用于各个领域，例如经济学、社会科学和工程学等。
以下是一些常见的应用场景：1.经济学：多元回归分析可以用于预测经济指标，如国内生产总值（GDP）和通货膨胀率。
通过分析多个自变量，可以了解各个因素对经济发展的影响程度。
2.社会科学：多元回归分析可以用于研究社会现象，如教育水平和收入水平之间的关系。
通过分析多个自变量，可以找出对收入水平影响最大的因素。
3.工程学：多元回归分析可以用于预测产品质量，如汽车的油耗和引擎功率之间的关系。
通过分析多个自变量，可以找到影响产品质量的关键因素。
分析步骤进行多元回归分析时，以下是一般的步骤：1.收集数据：收集自变量和因变量的数据，并确保数据的可靠性和有效性。
2.数据预处理：对数据进行清洗和转换，以消除异常值和缺失值的影响。
3.变量选择：根据实际问题和领域知识，选择合适的自变量。
可以使用相关性分析、变量逐步回归等方法来确定自变量。
4.拟合模型：使用最小二乘法估计回归系数，建立多元回归模型。
5.模型评估：通过检验残差分布、解释变量的显著性和模型的拟合程度等指标，评估多元回归模型的质量。
6.预测分析：使用已建立的多元回归模型，对新的自变量进行预测，得到因变量的预测值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注意：一个有趣的现象
Y Y Y Yˆ Yˆ Y Y Y Y Yˆ Yˆ Y ˆ ˆ Y Y Y Y Y Y
i i i i i 2 2 2 i i i 2 2 i i i i
中国居民人均消费支出与人均 GDP（元/人) 表 2.5.1 中国居民人均消费支出与人均 GDP（元 /人）
年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 人均居民消费 CONSP 395.8 437.0 464.1 501.9 533.5 572.8 635.6 716.0 746.5 788.3 836.4 779.7 人均GDP GDPP 675.1 716.9 763.7 792.4 851.1 931.4 1059.2 1185.2 1269.6 1393.6 1527.0 1565.9 年份 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 人均居民消费 CONSP 797.1 861.4 966.6 1048.6 1108.7 1213.1 1322.8 1380.9 1460.6 1564.4 1690.8 人均GDP GDPP 1602.3 1727.2 1949.8 2187.9 2436.1 2663.7 2889.1 3111.9 3323.1 3529.3 3789.7
y 12 x2 3 x3 k q xk q u
( RSSr RSSur ) / q F ~ Fq ,nk RSSur /(n k )
对立假设H1：不正确（即中至少有一个异于0）。定义 检验的F统计量
式中RSSr为受约束模型的残差平方和，RSSur为不受约 束模型的残差平方和。 分子中使用的自由度df ＝被检验的约束个数＝dfr-dfur 即受约束模型与不受约束模型的自由度之差。 分母中使用的自由度df ＝不受约束模型的自由度＝n-k 检验不同组之间回归函数（例如k个参数）上差别的邹至庄
log(salary) 0 1 years 2 gamesyr 3babg 4 hrunsyr 5rbisyr u
式中，salary为1993年的总薪水；years为进入俱乐部的年资； gamesyr为平均每年的比赛次数；bavg为平均职业击球次数； hrunsyr为平均每年的本垒打次数；rbisyr为每年的击球跑垒 得分。 假设检验的虚拟假设是，一旦控制了俱乐部的年资和 每年的比赛次数，度量球员表现的统计指标(bavg、hrunsyr、 rbisyr）对薪水没有影响。则 虚拟假设为：
F统计量为
F 198 .311 183 .186 347 9.55 183 .186 3
显著性水平为5%的临界值为2.60，显著性水平为1%的 临界值为3.78，所以在1%的显著性水平拒绝bavg、 hrunsyr、rbisyr对薪水没有影响的假设。
t统计量
由于
ˆ ) 2 ( XX) 1 Cov (β
从t检验而言， bavg、hrunsyr、rbisyr中没有一个变量在 5%的显著性水平上具有一个统计显著的t统计量，但这 并不能表明可以拒绝H0，必须估计受约束模型。
受约束模型估计结果为
log(salary) 11.22 0.0713years 0.0202gam esyr (0.11) (0.0125 ) (0.0013 ) n 353, SSR 198.311 , R 2 0.5971
因此，可构造如下t统计量 ˆ i t i ～t (n k ) ee cii nk
t检验 设计原假设与备择假设： H0：i=0 H1：i0 给定显著性水平，可得到临界值t/2(n-k)，由 样本求出统计量t的数值，通过 |t| t/2(n-k) 或 |t|t/2(n-k)
在中国居民人均收入-消费支出二元模型例中， 由应用软件计算出参数的t值： t 0 3.306 t1 3.630 t 2 2.651 给定显著性水平=0.05，查得相应临界值： t0.025(19) =2.093。
以cii表示矩阵(X’X)-1 主对角线上的第i个元素， 于是参数估计量的方差为： ˆ ) 2c Var (
i ii
其中2为随机误差项的方差，在实际计算时， 用它的估计量代替:
2 e ee 2 i ˆ nk nk
ˆ ~ N ( , 2 c ) i i ii
称为偏回归系数（偏效应），它表示在其它自变量保
持不变的条件下，该自变量变化一个单位将引起因变
量平均变化多少个单位。
例
假定有如下总体回归函数： E(Y)＝15-1.2X2+0.8X3 令X3取值为10，将其代入式，得 E(Y)=15-1.2X2+0.8(10)=(15+8)-1.2X2=23-1.2X2 斜率B2＝-1.2表示当X3为常数时，X2每增加一个单位，Y的 平均值将减少1.2个单位
（i=2，3…k）
来拒绝或接受原假设H0，从而判定对应的解释变 量是否应包括在模型中。
注意：一元线性回归中，t检验与F检验一致
一方面，t检验与F检验都是对相同的原假设H0： 2=0 进行检验;
另一方面，两个统计量之间有如下关系：
F
e
2 ˆ y i 2 i
n2 ˆ 2
对多个线性约束的F检验
不受约束模型（unrestricted model）
y 12 x2 3 x3 k xk u
H0 : k q1 k 0
假设有q个排除性约束，不防设为自变量中的最后q个， 虚拟假设为： 受约束模型（restricted model）
( X X ) 1 X ( Xβ μ) β ( X X ) 1 X μ
பைடு நூலகம்
和
) 2I E (μμ
6.4 多元线性回归模型的统计检验
总离差平方和的分解 记
TSS (Yi Y ) 总离差平方和 2 ˆ ESS (Yi Y ) 回归（解释）平方和
统计量如下
[ RSS ( RSS1 RSS2 )] / k F ~ Fk ,n1 n2 2 k ( RSS1 RSS2 ) /(n1 n2 2k )
例6-1：在一个F3，60分布中5%的临界值和拒绝域
面积＝0.95
面积＝0.05
0 2.76 拒绝区域
例6-2：考虑如下解释主要俱乐部棒球运动员薪水的模型：
2
可决系数
ESS RSS R 1 TSS TSS
2
该统计量越接近于1，模型的拟合优度越高。
调整的可决系数（adjusted coefficient of determination） 在样本容量一定的情况下，增加解释变量必定使 得自由度减少，所以调整的思路是:将残差平方和 与总离差平方和分别除以各自的自由度，以剔除 变量个数对拟合优度的影响: RSS /(n k) 2 R 1 TSS /(n 1) 其中：n-k为残差平方和的自由度，n-1为总体平 方和的自由度。
2
2 ˆ RSS (Yi Yi ) 残差平方和
则
TSS (Yi Y ) 2 ˆ ) (Y ˆ Y )) 2 ((Yi Y i i ˆ ) 2 2 (Y Y ˆ )(Y ˆ Y ) (Y ˆ Y )2 (Yi Y i i i i i
第六章 多元回归分析
§6.1 模型的假定
§6.2 参数的最小二乘估计 §6.3 最小二乘估计量的性质 §6.4 多元线性回归模型的统计检验 §6.5 应用举例
6.1 多元线性回归模型及其假定
回归系数
在前面的多元线性回归模型中，
1 , 2 , 3 ,..., k
称为回归系数。
2 , 3 ,..., k
6.2 参数的最小二乘估计
拟合值和残差的重要性质
（1）残差的样本均值为0； （2）每个自变量和OLS残差之间的样本协方差为0；拟合
值与残差之间的样本协方差也为0；
（3）点( X 2 , X 3 ,
, X k , Y ) 总位于OLS回归线上；
ˆ ˆ X ˆX Y 1 2 2 3 3
Eviews软件估计结果
LS // Dependent Variable is CONS Sample(adjusted): 1979 2000 Included observations: 22 after adjusting endpoints Variable C GDPP CONSP(-1) Coefficient 120.7000 0.221327 0.451507 0.995403 0.994920 26.56078 13404.02 -101.7516 1.278500 Std. Error 36.51036 0.060969 0.170308 t-Statistic 3.305912 3.630145 2.651125 Prob. 0.0037 0.0018 0.0158 928.4946 372.6424 6.684995 6.833774 2057.271 0.000000
H0 : 3 0, 4 0, 5 0
采用Wooldridge中MLB1.RAW数据未受约束的模型估 计结果为
log(salary) 11.1 0.0689years 0.0126gam esyr (0.29) (0.0121 ) (0.0026) 0.00098 babg 0.0144hrunsyr 0.0108rbisyr (0.0011 ) (0.0161 ) (0.0072) n 353, SSR 183.186, R 2 0.6278
R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat