第三章 多元线性回归分析
3.1 多元线性回归模型及古典假定
第一节 多元线性回归模型及古典假设
一、多元线性回归模型及其矩阵表示 二、多元线性回归模型的古典假设
一、多元线性回归模型及其矩阵表示
1、在计量经济学中，将含有两个以上解释变量的回归模 型称为多元回归模型。相应地，在此基础上进行的回归分析 就叫多元回归分析。如果总体回归函数描述了一个应变量与 多个解释变量之间的线性关系，由此而设定的回归模型就称 为多元线性回归模型。例如：在生产理论中，C—D生产函 数描述了产量与投入要素之间的关系，其形式为： Y=AKαLβ (Y为产量，K、L分别为资本和劳动投入，α,β 为参数). 利用对数变换，可将其转化为：㏑Y=㏑A+α㏑K+β㏑L 在进行回归分析时，可设定如下形式的回归模型： (㏑Y)i= α0+α(㏑K)i+β(㏑L)i+μi （3.1.1） 回归模型3.1.1就是一个二元线性回归模型。
这就是多元线性回归模型的一般形式。（Yi,X2i,X3i,…,XKi ）为 第 i 次观测样本，βj(j=1,2, …,k) 为模型参数，μi为随机误差项。
在多元线性回归模型中，所有解释变量会同时对应变量Y的 变动发挥作用，所以，我们考察其中某个解释变量对应变量Y的 影响，必须是其它解释变量保持不变来进行。模型中的回归系 数βj(j=2, …,k) 就表示在其它解释变量不变的条件下，第 j 个解 释变量的单位变动对应变量Y的影响。由式3.1.3，可得Y的条件 期望函数：E(Y|X2i,X3i,…,XKi )= β1i+β2X2i+β3X3i+…+βKXKi
1 X 2n
X 31 X 32 X 3n
X K1
XK2
第三章 多元线性回归模型案例
第三章 多元线性回归模型案例一、邹式检验（突变点检验、稳定性检验） 1.突变点检验1985—2002年中国家用汽车拥有量（t y ，万辆）与城镇居民家庭人均可支配收入（t x ，元），数据见表3.1。
表3.1 中国家用汽车拥有量（t y ）与城镇居民家庭人均可支配收入（t x ）数据年份 t y （万辆）t x （元）年份 t y （万辆）t x （元）1985 28.49 739.1 1994 205.42 3496.2 1986 34.71 899.6 1995 249.96 4283 1987 42.29 1002.2 1996 289.67 4838.9 1988 60.42 1181.4 1997 358.36 5160.3 1989 73.12 1375.7 1998 423.65 5425.1 1990 81.62 1510.2 1999 533.88 5854 1991 96.04 1700.6 2000 625.33 6280 1992 118.2 2026.6 2001 770.78 6859.6 1993155.772577.42002968.987702.8下图是关于t y 和t x 的散点图：从上图可以看出，1996年是一个突变点，当城镇居民家庭人均可支配收入突破4838.9元之后，城镇居民家庭购买家用汽车的能力大大提高。
现在用邹突变点检验法检验1996年是不是一个突变点。
H 0：两个子样本（1985—1995年，1996—2002年）相对应的模型回归参数相等 H 1：备择假设是两个子样本对应的回归参数不等。
在1985—2002年样本范围内做回归。
在回归结果中作如下步骤：输入突变点：得到如下验证结果：由相伴概率可以知道，拒绝原假设，即两个样本（1985—1995年，1996—2002年）的回归参数不相等。
所以，1996年是突变点。
2.稳定性检验以表3.1为例，在用1985—1999年数据建立的模型基础上，检验当把2000—2002年数据加入样本后，模型的回归参数时候出现显著性变化。
第三章 多元回归分析：估计1
ˆ ˆ ˆ ˆ yi = β 0 + β1 xi1 + ... + β k xik
18 September 2011
13
Interpreting Multiple Regression 对多元回归的解释
ˆ ˆ ˆ ˆ ˆ y = β 0 + β1 x1 + β 2 x2 + ... + β k xk , so ˆ ˆ ˆ ˆ ∆y = β ∆x + β ∆x + ... + β ∆x ,
18 September 2011
3
Motivation: Advantage 动因：优点
The primary drawback of the simple regression analysis for empirical work is that it is very difficult to draw ceteris paribus conclusions about how x affects y.
...
ˆ ˆ ˆ ( y i − β 0 − β 1 x i 1 − β k x ik ) i =1
n n n
=0
ˆ ˆ ˆ x i 1 ( y i − β 0 − β 1 x i 1 − β k x ik ) = 0 i =1 ˆ ˆ ˆ x i 2 ( y i − β 0 − β 1 x i 1 − β k x ik ) = 0 i =1 ˆ ˆ ˆ x ik ( y i − β 0 − β 1 x i 1 − β k x ik ) = 0 i =1
18 SeptemberБайду номын сангаас2011
14
Example: Determinants of College GPA 例子：大学GPA的决定因素
第三章-多元线性回归模型
三、多元样本线性回归模型
由于经济变量的总体分布大多 数是未知的，与一元模型类似， 我们只能根据样本观察值进行统 计推断，以此来估计多元总体回 归方程和总体回归参数。这时导 出的模型式为：
Y iˆ1ˆ2X 2iˆ3X 3iˆkX k i ei
( i1,2n. ,)...,
ˆ1,ˆ2,ˆ3,,ˆk 称为样本回归参
上一章中谈到，经典一元线性回归模 型的OLS估计量满足线性、无偏及方差最 小性，即高斯——马尔可夫定理，对于经 典多元线性回归模型的普通最小二乘估计 量，这一性质仍然存在，换言之，对于满 足经典假设的多元线性回归模型，采用 OLS方法所得估计量 也满足线性、无偏 及方差最小性。 .
一、线性性
由OLS估计可知 βˆ(X X)-1XY
.
即使对回归方程中每个参数分别 进行的t - 检验都不显著，F –检验 也可能是显著的。比如当解释变 量之间高度相关时就可能出现这 种情况，其结果可能是参数的标 准差大而t值小，但整个模型仍然 能对数据拟合得很好。
.
F-统计量的计算公式为：
F eyˆi2i2//n(k(k1))~F(k-1,n-k)
Co (nv,1) Co (nv,2) V(anr)
即对角线上元为各个分量的方 差，其它元素为协方差，显然
该矩阵为对称矩阵，可以证明：
.
Var—Cov(ξ) =E{[ξ-E(ξ)][ξ- E(ξ)]ˊ}
即随机列向量的方差与 协方差矩阵等于随机列向量 减去其期望然后与该项的转 置相乘之后取期望。
令 ˆ 2 ei2
nk
可以证明 ˆ 2 为总体方差 2 的 无偏估计量。
最小方差的证明省略。
.
第三章
第六节
.
第三章第一节 多元线性回归模型及古典假定
假设我们要研究商品的需求。
建模：很自然会想到商品需求（Q）是商品价格（P）的函数,
其它因素微不足道，所以建立模型：Qi =a+bPi +ui 估计：我们可以得到Q、P的样本观测值，并利用ols求出a、b。
其中： Y
Y1 Y2
1 X 21 X 31 X 1 X 22 X 32
Yn
n1
1 X 2n X 3n
1
2
3 31
n3
u1
U
u2
un
n1
推广：Y与（K 1）个解释变量X 2 , X 3 ,, X K 之间有线性关系
u1 Eu1 0
E (U
)
E
u2
Eu2
0
un
Eun
0
2、同方差和无自相关性 COV (ui , uk ) E[(ui Eui )(uk Euk )]
2 , i k
E(Y X 2i , X3i ,, X ki ) 1 X2 2i X3 3i Xk ki
Yi E(Y X 2i , X3i , , X ki ) ui 1 2 X 2i 3 X3i k X ki ui
样本回归函数（SRF）
矩阵形式
Y X U
Y1 1
第三章多元线性回归模型(本科生计量经济学)剖析
^
T j j
j
S^
~ t(n k 1)
j
βj置信区间：
^
^
( j t S ^ , j t S ^ )
2
j
2
j
16
3.2 多元线性回归模型的统计检验 总离差平方和的分解
记 TSS yi2 (Yi Y )2 ESS yˆi2 (Yˆi Y )2
总离差平方和（Total Sum of Squares）
^^
^
(Yi 0 1 X1i ... k X ki) 0
ei 0
^^
^
(Yi 0 1 X1i ... k X ki)X1i 0
ei X1i 0
...
^^
^
(Yi 0 1 X1i ... k X ki)X ki 0
...
ei X ki 0
^
Y Y
^
ei Yi 0
第三章 经典单方程计量经济学模型： 多元线性回归模型
Multiple Linear Regression Model
1
3.1、多元线性回归模型与参数估计
Y 0 1X1 2 X 2 ... k X k u
多元线性回归函数 E[Y | ( X1, X 2 ,..., X k )] 0 1X1 2 X 2 ... k X k
^^
^
(Yi 0 1 X1i ... k X ki)X1i 0
...
^^
^
(Yi 0 1 X1i ... k X ki)X ki 0
普通最小二乘估计是线性估计。
^
j k jiYi ( j 0,1,2,..., k)
i
4
多元线性回归模型参数估计与参数 的关系（证明略）: ^
第三章 多元线性回归模型 思考题范文
第三章 多元线性回归模型 思考题3.1 若要将一个被解释变量对两个解释变量做线性回归分析； 1) 写出总体回归函数和样本回归函数； 2）写出回归模型的矩阵表示； 3) 说明对此模型的古典假定；4）写出回归系数及随机扰动项方差的最小二乘估计式 , 并说明参数估计式的性质。
3.2 什么是偏回归系数 ? 它与简单线性回归的回归系数有什么不同 ? 3.3 多元线性回归中的古典假定与简单线性回归时有什么不同 ?3.4 多元线性回归分析中 , 为什么要对可决系数加以修正 ? 修正可决系数与 F 检验之间有何区别与联系 ?3.5 什么是方差分析 ? 对被解释变量的方差分析与对模型拟合优度的度量有什么联系和 区别 ?3.6 多元线性回归分析中 ,F 检验与 t 检验的关系是什么 ? 为什么在做了 F 检验以后还要做 t 检验?3.7 试证明 : 在二元线性回归模型i Y =1β+2β2i X +33i X β+i u 中 , 当 2X 和3X 相互独立时,对斜率系数2β和3β的OLS 估计值 , 等于i Y 分别对2X 和3X 做简单线性回归时斜率系数的OLS 估计值。
3.8 对于本章开始提出的“中国汽车终极保有量会达到2.4亿-2.5 亿辆吗?”你认为可建立什么样的计量经济模型去分析?3.9 说明用Eviews 完成多元线性回归分析的具体操作步骤。
练习题3.1 为研究中国各地区入境旅游状况,建立了各省市旅游外汇收入(Y,百万美元)、旅行社职工人数 (1X ,人)、国际旅游人数(Xz,万人次)的模型 , 用某年31 个省市的截面数据估计结果如下ˆiY =-151.0263+0.11791i X +1.54522i X t=(-3.)(6.)(3.)2R =0. 2R =0.92964 F=191.1894 n=311) 从经济意义上考察估计模型的合理性。
2) 在 5% 显著性水平上 , 分别检验参数1β，2β的显著性。
4第三章多元线性回归模型分析(二)PPT课件
ˆ
2
1 n
n
ei2
i1
这个估计量表面上好象是 2 的一个十分自然的估计量，
但是需要注意到，最小二乘残差并不是母体残差完整的
估计量，这是因为 ei yi xib i xi (b ) ，由于 是未知的，
因此这个估计量可能被扭曲了。
▪ 这说明，所猜想的方差估计量不行，而要寻 找2的无偏估计。
现在假设矩阵 D C (XX)1 X ，则有： Dy b0 b ，因此：
Var[ b0 | X] 2[(D (XX)1 X)][( D (XX)1 X)]
因为 CX I [D (XX)1 X]X ，则有： DX 0 ，因此有：
Var[ b0 | X] 2 (XX) 1 2 DD
其中：
tr(M) tr[In X(XX)1 X] tr(In ) tr[X(XX)1 X] n tr[XX(XX)1] n K
因此，
E[ee | X] (n K) 2
由此可知，上述猜想的方差的“自然估计”ˆ 2 是一个有偏估计，
虽然其偏异随着样本容量增加趋于零。根据上述期望的计算， 可以得到方差参数的无偏估计为：
量未解释的那部分离差的大小。
定理 残差平方和分解定理 对于包含常数项的线性回归模型而言，下述平方和分解公式成立：
SST SSR SSE
这说明整个“离差平方和”等于“回归平方和”加上“残差平方和”。
证明：根据矩阵 M0 的定义，则有： SST (M0y)(M0y) yM0y 其中 y Xb e ，代入得到：
假设X中包含常数项(所有列都是1)和一个回归变量x，
1
则
X
1 1
x1
x2
xn
n2
X X
第三章多元线性回归模型
09级统计二班20091910217 马文丽第三章多元线性回归模型思考题3.1(1).总体回归函数丫「必必叫样本回归函数A A八AY = i ：2X2 ：严(2)总体回归模型的矩阵表示丫= X ：」A A丫二X⑶古典假定：1.零均值E(叫)=022•同方差和无自相关假定Var(u)二;「l n3. Cov(u ,X jJ =04. 无多重共线性25. 比~ N(0,二)A⑷：=(X'X)」X'Y性质：i.线性性质2. 无偏性3. 最小方差性3.2在多元线性回归模型中，回归系数■-j(j=1 , 2, 3…)表示的是当控制其他解释变量不变的条件下，第j个解释变量的单位变动对被解释变量平均值的影响，这样的回归系数成为偏回归系数。
在简单线性回归模型中，被解释变量只与单独的解释变量有关，所以此时的回归系数表示当解释变量单位变动时，引起的被解释变量的平均值的变动，而在多元中，回归系数表示意义的前提是其他因素保持不变时。
3.3多元线性中比简单线性回归模型多的一个假定是，各解释变量之间无多重共线性，在此假定下才可保证(x'x)J存在。
3.6F检验是对整体的回归模型进行检验，t检验是对各个解释变量进行检验，来验证解释变量和被解释变量的线性关系是否显著。
在古典假定的前提下，对整体回归模型检验通过时，对其中的各个解释变量检验时并一定都能通过，有时得到的参数的估计与实际的经济意义差异很大，所以有必要对各个解释变量进行检验。
3.7在二元线性回归模型中I、%X2i II、x23i | 一|、%X3i『X2i X3i I2 2I V X 2i ||\ X 3i | — |\ X2i X3i |「yx3i IL x22i I - |\ %X2i『X2i X3i || 送X22i || 瓦X23i I —I瓦X2i X3i I当X2和X3相互独立时，上式等价于A I' y i X2i I'2j X22i |A y i X3i〔'r X22i|与在简单线性回归模型中的表达式一致。
第三章多元线性回归模型
三、多元线性回归模型的参数估计 原理
1、普通最小二乘估计
随机抽取被解释变量和解释变量的n组观测值 (Yi , X 1i , X 2i , , X ki ), i 1, 2, n 根据这n组观测值,利用最小二乘原理, 求出模型的参数估计量 j (j 0,1, 2,
^ ^ ^
k )后，
^
一 、偏回归系数的估计
对于二元线性回归模型： Yi 0 1 X 1i 2 X 2i ui , 其中 0，1， 2 称为偏回归系数
所谓偏回归系数，是指多元线性回归模型中解释变量前 的系数。其含义是：当其他解释变量保持不变时，某一解释 变量变化一个单位而使被解释变量Y平均改变的数值。
达到最小。
根据极值存在的必要条件，应该有
e2 i 2 (Y ˆ i 0 ˆ 0 2 ei ˆ 2 (Yi 0 ˆ 1 e2 i 2 (Y ˆ i 0 ˆ 2 ˆ X ˆ 1 1i 2 X 2i ) 0
要估计二元线性回归模型 Yi 0 1X1i 2 X 2i i 中的 参数 0 、 1 、 2 ，常用的方法仍然是 普通最小二乘法 。
i=1 ，2 ，…， n ， 设根据给定一组样本数据（ Y i， X 1i， X 2i）， 采用普通最小二乘法估计得到的样本回归模型为
i 0 1 1i 2 2i
X
k ki
i
特别地，若k =2，则回归模型为二元线性回归模型， 其一般形式为 Yi 0 1 X 1i 2 X 2i ui
二、多元线性回归模型的基本假定
多元线性回归模型在满足下列基本假设的情况下，可以 采用普通最小二乘法（OLS）估计参数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
CONSP：人均居民消费（以居民消费价格指数（1990=100）缩减）。
表 2.5.1 中国居民人均消费支出与人均 GDP（元 /人） 年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 人均居民消费 CONSP 395.8 437.0 464.1 501.9 533.5 572.8 635.6 716.0 746.5 788.3 836.4 779.7 人均 GDP GDPP 675.1 716.9 763.7 792.4 851.1 931.4 1059.2 1185.2 1269.6 1393.6 1527.0 1565.9 年份 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 人均居民消费 CONSP 797.1 861.4 966.6 1048.6 1108.7 1213.1 1322.8 1380.9 1460.6 1564.4 1690.8 人均 GDP GDPP 1602.3 1727.2 1949.8 2187.9 2436.1 2663.7 2889.1 3111.9 3323.1 3529.3 3789.7
解该k个方程组成的线性代数 方程组，即可以得到 k个 待估参数的估计值
正规方程组的矩阵形式
n X 1i X ki
X X
1i 2 1i
X X X
ki
X
ki
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k 1
（Observations of the error term are uncorrelated with each other (no serial
correlation)）
5、误差项具有同方差（不存在异方差）。
（The error term has a constant variance (no heteroskedasticity)） 6、任何一个解释变量都不是其它解释变量的完全线 性函数（不存在完全多重共线性）。 （No explanatory variable is a perfect linear function of any other explanatory variable(s) (no perfect multicollinearity)） 7、误差项服从正态分布。 （ The error term is normally distributed ）
i=,2…n
其矩阵形式为
ˆ e y xβ
其中 ：
y1 y2 y y n
x11 x x 12 x 1n x 21 x k 1 x 22 x k 2 x 2 n x kn
第三章 经典单方程计量经济学模 型：多元回归
• • • • 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。 一般表现形式： Yi 1 2 X 2i 3 X 3i k X ki ui i=1,2…,n
ˆ Xβ ˆ Y
或
e1 e e 2 e n
ˆ e Y Xβ
其中：
ˆ 1 ˆ ˆ 2 ˆ k
二、多元线性回归模型的基本假定
1、回归模型是线性的，模型设定无误且含有误差项。 （The regression model is linear, is correctly specified, and has an additive error term）
上述假设的矩阵符号表示 式：
假设1，nk矩阵X是非随机的，且X的秩=k，即X满 秩。
1 E ( 1 ) E ( μ ) E 假设2,3,4 0 E ( ) n n 1 12 1 n ) E 1 n E E (μ μ 2 n n 1 n
也被称为总体回归函数的随机表达形式。它 的 非随机表达式为:
E(Yi | X 2i , X 3i , X ki ) 1 2 X 2i 3 X 3i k X ki
方程表示：各变量X值固定时Y的平均响应。
j 也被称为 偏回归系数 ，表示在其他解释变
量保持不变的情况下， Xj 每变化 1 个单位时， Y 的均值E(Y)的变化; 或者说 j给出了 Xj 的单位变化对 Y均值的“直 接”或“净”（不含其他变量）影响。
var( 1 ) cov( 1 , n ) 2 cov( , ) 0 var( ) n 1 n
0 2I 2
假设5，E(X’)=0，即 E ( ) X X E ( ) E 0
ˆ 1 ˆ ˆ β 2 ˆ k
在离差形式下，参数的最小二乘估计结果为
ˆ ( x x) 1 x Y β
ˆ Y ˆ X ˆ X 0 1 1 k k
⃟随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估计量为
i i
X Ki i
1i
i
X E ( ) Ki i
1i
i
假设6，向量 有一多维正态分布，即
μ~ N (0, 2 I )
同一元回归一样，多元回归还具有如下两个重要假设：
假设7，样本容量趋于无穷时，各解释变量的方差趋于有 界常数，即n∞时，
ˆ ˆ X ˆ X ˆ X ˆ Y i 1 2 2i 3 3i k ki
ˆ 1 ˆ 2 ˆ k
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
Q0
Q0
Q0
其中
X 其中:k-1为解释变量的数目， j称为回归参数 （regression coefficient）。 习惯上：把常数项看成为一虚变量的系数，该 虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k）
Yi 1 2 X 2i 3 X 3i k X ki ui
其中利用了
ˆ ( X X) 1 X Y β
( X X ) 1 X ( Xβ μ) β ( X X ) 1 X μ
和
) 2I E (μμ
五、样本容量问题
⒈ 最小样本容量
所谓“最小样本容量”，即从最小二乘原理 和最大或然原理出发，欲得到参数估计量，不管 其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量 的数目（包括常数项）,即 n k 因为，无多重共线性要求：秩(X)=k
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
2、无偏性
ˆ ) E (( X X ) 1 X Y ) E (β E (( X X ) 1 X ( Xβ μ )) β ( X X ) 1 E ( X μ ) β
这里利用了假设: E(X’)=0
3、有效性（最小方差性）
1 1 2 x ( X ji X j ) 2 Q j ji n n
或
1 xx Q n
其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的nk阶矩阵
x11 x k 1 x x 1n x kn
假设8，回归模型的设定是正确的。
对于正规方程组
ˆ XY XXβ
ˆ X e X Xβ ˆ X Xβ
于是
Xe 0
或
e
i
(*) (**)
i
0
ji i
X
e 0
(*)或（**）是多元线性回归模型正规方程组的另一 种写法
⃟样本回归函数的离差形式
ˆ x ˆ x ˆ x e yi 1 1i 2 2i k ki i
ˆ )2 Q e (Yi Y i
i 1 2 i i 1
n
n
ˆ ˆ X ˆX Yi 1 2 2i k ki
i 1
n
2
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X Y 1 2 2i k ki i ˆ ˆ X ˆ X YX 1 2 2i k ki i 1i ˆ ˆ X ˆ X YX i ki 1 2 2i k ki
总体回归模型n个随机方程的矩阵表达式为
Y X β μ
其中
Y1 1 Y 2 2 其中：Y X Yn k
1 X 21 1 X 22 1 X 2 n
X k1 u1 Xk2 u U 2 X kn un
样本回归函数：用来估计总体回归函数
ˆ ˆ X ˆ X ˆ X ˆ Y i 1 2 2i 3 3i k ki
其随机表示式:
ˆ ˆ X ˆ X ˆ X e Yi 1 2 2i 3 3i k ki i
ei称为残差或剩余项(residuals)，可看成是总 体回归函数中随机扰动项i的近似替代。 样本回归函数的矩阵表达: