第二章 多元线性回归模型
多元线性回归模型
Cov( X ji , i ) 0
j 1,2, k
假设4，随机项满足正态分布
i ~ N (0, 2 )
上述假设的矩阵符号表示 式：
假设1，n(k+1)维矩阵X是非随机的，且X的秩=k+1，
即X满秩。
回忆线性代数中关于满秩、线性无关!
假设2，
E (μ)
E
1
E (1 )
0
n E( n )
X ki ) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
解该（ k+1）个方程组成的线性代数方程组，即
可得到(k+1) 个待估参数的估计值
$ j
,
j
0,1,2, ,
k
。
□正规方程组的矩阵形式
en
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各X之间互不 相关（无多重共线性）。
假设2，随机误差项具有零均值、同方差及不序列相关 性。
E(i ) 0
i j i, j 1,2,, n
Var
(i
)
E
(
2 i
)
2
Cov(i , j ) E(i j ) 0
假设3，解释变量与随机项不相关
这里利用了假设: E(X’)=0
等于0，因为解释变 量与随机扰动项不相 关。
3、有效性（最小方差性）
ˆ 的方差-协方差矩阵为
Co（v ˆ） E{[ˆ E（ˆ）][ˆ E（ˆ）]}
E[(ˆ )(ˆ )]
E{（[ X X）-1X ]（[ X X）-1X ]}
第二章 经典线性回归模型
它表明，对于n个时期t =1,2,…,n，该模型成立。
6
更一般的形式为：
Yi xi ui
i 1,2,...,n
(2.4)
即模型对X和Y的n对观测值（i=1,2,…,n）成立。 (2.3)式一般用于观测值为时间序列的情形，在横 截面数据的情形，通常采用(2.4) 式。
7
例2.1 城镇居民家庭人均消费方程 根据凯恩斯的绝对收入消费理论，在其它 条件不变的情况下，消费与可支配收入同方向变 动，即消费曲线的斜率为正。根据中国2006年31 个省市的城镇居民家庭平均每人全年可支配收入 income(单位：元)和城镇居民家庭平均每人全年 消费性支出consume的数据(单位：元)，画出散 点图如下：
（6）各解释变量之间不存在严格的线性关系。
上述假设条件可用矩阵表示为以下四个条件：
18
A1. E(u)=0 A2. E (uu) 2 I n
由于
u1 u2 uu u1 u2 ... u n
2
u12 u1u2 ...... u1un 2 u2u1 u2 ...... u2un ... un ................................. 2 unu1 unu2 ...... un
8
15,000 14,000 13,000 12,000
CONSUME
11,000 10,000 9,000 8,000 7,000 6,000 8,000
12,000
16,000 INCOME
20,000
24,000
从图中看出，两变量之间呈线性关系，可建立城镇居 民家庭人均消费方程如下：
C o n su m e * In c o m e u
多元线性回归模型及其假设条件
§5.1 多元线性回归模型及其假设条件 1．多元线性回归模型 多元线性回归模型：εi pi p iiix b xb x b b y +++++= 2211，n i ,,2,1 =2．多元线性回归模型的方程组形式 3．多元线性回归模型的矩阵形式4．回归模型必须满足如下的假设条件：第一、有正确的期望函数。
即在线性回归模型中没有遗漏任何重要的解释变量，也没有包含任何多余的解释变量。
第二、被解释变量等于期望函数与随机干扰项之和。
第三、随机干扰项独立于期望函数。
即回归模型中的所有解释变量Xj与随机干扰项u 不相关。
第四、解释变量矩阵X 是非随机矩阵，且其秩为列满秩的，即：n k k X rank 〈=,)(。
式中k 是解释变量的个数，n 为观测次数。
第五、随机干扰项服从正态分布。
第六、随机干扰项的期望值为零。
()0=u E 第七、随机干扰项具有方差齐性。
()σσ22=u i（常数）第八、随机干扰项相互独立，即无序列相关。
()()u u u u jiji,cov ,=σ=0§5.2 多元回归模型参数的估计建立回归模型的基本任务是：求出参数bb b p,,,,1σ的估计值，并进行统计检验。
残差：yy e iiiˆ-=；残差平方和：Q=()∑-∑==y y e i i ni iˆ212矩阵求解：X=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡x xxx x x x x x pn nnp p212221212111111，⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=b b b b p B ˆˆˆˆ210ˆ ，⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=-y y y y n n Y 121 ，()YB X X X ττ1ˆ-=1ˆ2--=p n Qσ要通过四个检验：经济意义检验、统计检验、计量经济学检验、模型预测检验。
§5.4 多元线性回归模型的检验一、R2检验1．R2检验定义R2检验又称复相关系数检验法。
是通过复相关系数检验一组自变量xx x m,,,21与因变量y 之间的线性相关程度的方法。
高级计量经济学 第二章 多元线性回归模型
用方程形式，残差平方和可以表示为
E S S u i 2 Y i Y ˆ i2 Y i ˆ 0 ˆjX ij2
最小二乘法估计
（多元回归模型）
以包括两个解释变量的模型为例，对未知参数求一阶导数 得到：
如y果ˆ使xˆ12 , …x1,或 xk保持ˆ不1变 ，xyˆ1那么有
即每个估计的都反映出当其他因素不变时，该因
素产生的边际影响效果。
多元回归的拟合优度
多元回归方程的拟合优度同样可以用R2表示
R2RSS
TSS
Y Y ˆii Y Y2 21
同样的方法可以用于检验有关多个估计参数之间 关系的联合假设。
用下标R和UR区分有约束和无约束的回归方程R2 ，q为约束条件的个数，相应的F统计值计算公式 为：
对拟合优度的统计检验
检验拟合优度的虚假设是所有解释变量均不是真 正的解释变量，即：
H 0 : 12 .. .k 0
备择假设为至少有一个解释变量的参数不等于零 。相应的统计量为：
F k 1 ,N kE RSS K N S S 1 K 1 R R 22N K K 1
需要注意的是，在计量经济学中，“线性”指的是估计参数可以表达为 样本观察值和误差项的线性函数，并不要求回归方程中变量之间的关 系为线性的。
例：CD函数 Ye0X1 1X2 2eu
对该函数两边取对数得到：LnY=0+1LnX1+2LnX2+u
即比：较：YY *= 0e+0X 1X1 11 *X +2 2 2X 2*u +u
不同数学函数的性质
2.1 多元线性回归
(Yi Y )
TSS
2
2 ( Y Y ) ( Y Y ) i i i 2
RSS n-k
ESS k -1
总离差平方和 ＝ 残差平方和 ＋回归平方和 自由度： n-1
对以上自由度分解的说明
TSS
Y Y
i
2
1 受Y Yi 一个方程的约束, 所以df n
X X
11 12
X X
21 22
X X
X
1n
X
2n
k2 X kn
k1
5
参数的最小二乘估计
与简单回归类似，我们寻求参数B0、B1、B2和Bp的适
宜估计数值b0、b1、b2和bp,，使实际观察值和回归 方程估计值之间残差平方和最小，
即Q＝
(yi －ŷi)2
第二章 统计分析
2.1 多元线性回归与Logistic回归
Ⅰ 多元线性回归
1
多元线性回归
多元线性回归是简单线性回归的直接推广，其包含一
个因变量和二个或二个以上的自变量。
简单线性回归是研究一个因变量（Y）和一个自变量
（X）之间数量上相互依存的线性关系。而多元线性回 归是研究一个因变量（Y）和多个自变量（Xi）之间数 量上相互依存的线性关系。
2
T
n 1
2
RSS Y Y Y ( 1 2 X 2i ... k X ki ) e e 而 ,..., 由 0,....., 0方程求出，共有k 个方程
i i 2 i 2 i 1 k
第二章 多元线性回归模型
ˆ ˆ ˆ) ( Y Y 2Y Xβ β X Xβ 0 ˆ β
ˆ X Y X Xβ 0
得到：
ˆ XY XXβ
ˆ β ( X X) 1 X Y
于是：
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 ( X ' X) X 1 1 X2 1 X1 1 1 X 2 n X n X i 1 X n
可以证明，随机误差项的方差的无偏估计量为
e e ˆ n k 1 n k 1
2
e i2
二、最大或然估计
对于多元线性回归模型: i N 0, 2 , i 1, 2, , n
易知:
Yi ~ N ( X i β , 2 ) 其中: Xi 1 Xi1 Xi1 Xik
j
一、普通最小二乘估计
对于随机抽取的n组观测值 Yi , X ij , i 1, 2,, n; j 0,1, 2,, k , 其中X i 0 1
k 1个未知参数，如果样本函数的参数估计值已经得到，则有：
Y i 0 1 X i1 2 X i 2 k X ik , i 1, 2,, n
五、多元线性回归模型的参数估计实例
地区城镇居民消费模型
• 被解释变量：该地区城镇居民人均消费Y
• 解释变量：
– 该地区城镇居民人均可支配收入X1 – 前一年该地区城镇居民人均消费X2
• 样本：2006年，31个地区
数据
地区 2006年消费 支出 Y
北 天 河 山 辽 吉 上 江 浙 安 福 江 山 河 京 津 北 西 宁 林 海 苏 江 徽 建 西 东 南 14825.4 10548.1 7343.5 7170.9 7666.6 7987.5 7352.6 6655.4 14761.8 9628.6 13348.5 7294.7 9807.7 6645.5 8468.4 6685.2
计量经济学第二章(第二部分)
其中，有k个解释变量；k+1个回归参数
3
计量经济学 第二章B
同 上
（2）矩阵形式： Y XB N Y1 Y2 Y ... Y n 1 1 X ... 1 0 u1 1 u2 , B , N ... ... u n 1 k (k 1) 1 n n 1 X 11 X 12 ... X 1n X 21 X 22 ... X 2n ... ... ... ... X k1 X k2 ... X kn n (k 1)
2
（2）当 R
2
k n -1
时，
R
2
<0 ,此时， 使
2
用 R 将失去意义。因此， R 只适
2
用于Y与解释变量整体相关程度较的
情况。
34
计量经济学 第二章B
四、回归方程的显著性检验
(1) 提出原假设 (2) 构造统计量 H 0 : 1 2 ... k 0 F ESS/k RSS/n (3) 对于给定的显著性水平 （4）判定方程的显著性， 若 F F ， 则拒绝原假设 若 F F ，则接受原假设 H 0，即模型的线性关系 F 检验； - k -1 ~ F(k, n - k - 1) ( 在 H 0 成立时） F
不管其质量的好坏，而所要求的样本容量
的下限。
20
计量经济学 第二章B
同 上
ˆ 由 B ( X X)
-1
ˆ X Y 中看到，要使 B
存在，
必须保证(XˊX)-1存在，因此，必须满
足|XˊX|≠0 ，即XˊX为满秩矩阵，而
多元线性回归模型
统计学第4章 多元线性回归模型第1节 多元线性回归模型概述（一）多元线性回归模型形式一般来说，我们研究的变量往往受多个因素的影响，如作物的收成会受气温，施肥量，降雨量等等的影响，对某中商品的消费需求会受该商品价格，收入，其他商品价格等的影响。
因此，我们要讨论一个变量对两个以上变量的统计依赖关系。
1）多元线性回归模型的一般表现形式：122i i k ik i Y X X βββε=++++，1,2,,i n =其中，k 为解释变量的数目，(1,2,,)j j k β= 习惯上，把常数项看成为取值恒为1的变量的系数，上述表达式也被称为总体回归函数的随机表达形式。
其非随机形式为：12122(,,,)i i ik i k ik E Y X X X X X βββ=+++表示各变量X 值固定时Y 的平均响应j β 也称为偏回归系数，表示在其他解释变量保持不变的情况下，j X 每变化一个单位时，Y 的均值()E Y 的变化。
或者说j β给出了j X 单位变化对Y 均值的“直接”或“净”（不含其它变量）影响。
总体线性回归模型n 个随机方程的矩阵表达式为：11212112122222122Y X ...k k k k n n k nk nX Y X X Y X X βββεβββεβββε=++++⎧⎪=++++⎪⎪⎪⎨⎪⎪⎪=++++⎪⎩将此方程组写成矩阵形式：112131122223222231...1.................................1...k k n n n nk k n Y X X X Y XX X Y X X X βεβεβε⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦简写为：11n n k n Y XB ε⨯⨯⨯=+2）样本回归函数及其矩阵表达用一定的方法对1β,2β,…,k β估计后，122ˆˆˆˆ...i i k ik Y X X βββ=+++ 残差：ˆi i iY Y e -= 样本回归方程的随机形式可表示为：122ˆˆˆ...i i k ik i Y X X e βββ=++++ 则其矩阵表达为：ˆˆYXB = 或ˆY XB e =+ 其中12ˆˆ.ˆ..ˆn Y Y YY ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦ ， 12ˆˆ.ˆ..ˆk B βββ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， 12...n e e e e ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦（二） 多元线性回归模型的基本假定 1. X 与Y 之间的关系是线性的121...i i k ik i Y X X βββε=++++, N i ,...,2,1= 即12(,,,)i i ik E Y X X X 是参数的线性函数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
用矩阵形式表示
u1 E (u1 ) u E (u ) 2 2 E (u ) E 0 un E (un )
假定3：随机干扰项服从零均值，同方差，零协方差。 E (ui ) 0 i 1,2,, n
为模型的残差向量
二、多元线性回归模型的若干经典假定
假定1：解释变量是非随机的，即在重复抽样中， 解释变量 X1i , X 2i ,, X ki 取固定值，且相互之间互不 相关。这表明模型中的解释变量和随机干扰项对被 解释变量的影响是完全独立的。
假定2：随机干扰项与解释变量之间不相关。
Cov(ui , X ji ) 0 j 1,2,, k ; i 1,2,, n
这个假定说明 Xji与随机干扰项ui相互独立，互不相 关，它们对被解释变量Yi的影响同样也是独立的。 用矩阵表示为
1 X 11 1 X 12 E ( X u ) E 1 X 1n X 21 X 22 X 2n X k1 u1 u Xk2 2 0 X kn un
多元总体回归函数可用矩阵形式表示为
E(Y X ) X
多元线性样本回归模型的矩阵表达式为
ˆ e Y X
多元线性样本回归函数的矩阵表达式分别为
ˆ ˆ X Y
ˆ ˆ ˆ 0 1 ˆ k
( k 1)1
为回归系数估计值向量
e e1 e2
en n1
第二章 多元线性回归模型
第一节 第二节 第三节 第四节 第五节 第六节
多元线性回归模型及假定 多元线性回归模型的参数估计 多元线性回归模型的检验 多元线性回归模型的置信区间 可线性化的非线性回归模型 受约束回归
第一节 多元线性回归模型及假定
一、多元线性回归模型
其一般形式为：
Yi 0 1 X1i 2 X 2i k X ki ui i 1,2,, n
i i i i 0 1 1i 2 2i k ki
取最小值。 ˆ , ˆ , ˆ ,, ˆ Q 分别对 根据多元函数的极值原理， 0 1 2 k 求一阶偏导数，并令其为零。
Q 即： ˆ 0, j 0,1, 2, j
,k
得到下列方程组：
ˆ ˆ X ˆ X ˆ X )(1) 2 e 0 2(Yi 0 1 1i 2 2i k ki i ˆ ˆ X ˆX ˆ X )( X ) 2 e X 0 2(Yi 0 1 1i 2i k ki 1i i 1i 2(Y ˆ ˆ X ˆ X ˆ X )( X ) 2 e X 0 i 0 1 1i 2 2i k ki ki i ki
Y 的线性组合。
（二）无偏性
ˆ ) ，得 将 Y X u, E (u) 0 代入E (
1 ˆ E( ) E( X X) X Y
1 E ( X X ) X ( X u)
( X X )1 X E(u)
（三）有效性
ˆ ( X X )1 X Y ( X X )1 X ( X u) ( X X )1 X u 由于 E(uu) 2 I , I 为单位矩阵。
ˆ ) E{[ ˆ E( ˆ )][ ˆ E( ˆ )] } E[( ˆ )( ˆ )] Cov(
E[( X X )1 X uuX ( X X )1 ] ( X X )1 X E(uu) X ( X X )1
( X X )1 X 2 IX ( X X )1
n-k-1为自由度
2 i
这是因为在估计 RSS e 时， 必须先求出
ˆ , ˆ, ˆ , , ˆ 0 1 2 k
即消耗了k+1个自由度。
三、参数估计量的性质
（一）线性性 参数估计量是线性估计量，即是随机变量的线性函数。 由于 ˆ (X X )1 X Y CY 可见，参数估计量是被解释变量
Y X u
其中， 0 u1 Y1 1 X 11 X 21 X k1 u Y 1 X X X 1 2 2 12 22 k2 u Y X Yn n1 1 X 1n X 2 n X kn n( k 1) k ( k 1)1 un n1
Y1 0 1 X 11 2 X 21 k X k 1 u1 Y X X X u 2 0 1 12 2 22 k k2 2 X 多元线性回归模型表示的 个随机方程的矩阵表达式为： 1n 2 X 2 n k X kn un Yn 0 1n
假定4：随机干扰项服从正态分布。即
ui ~ N (0, 2 ) i 1,2,, n
用矩阵形式表示
u ~ N (0, I )
2
假定5：正确设定回归模型。 与一元回归模型一样，多元回归模型的正确设定也 有三个方面的要求： 1.选择正确的变量进入模型； 2.对模型的形式进行正确的设定；3.对模型的解释 变量被解释变量及随机干扰项做了正确的假定。 上述假定条件称为多元线性回归模型的经典假定。
ˆ ˆ X ˆ X ˆX ˆ Y i 0 1 1i 2 2i k ki
将 Yi与其平均值 Y 之间的离差分解如下：
假定3：随机干扰项服从零均值，同方差，零协方差。 E (ui ) 0 i 1,2,, n
Var (ui ) E(ui2 ) 2 , i 1,2,, n Cov(ui , u j ) E(ui , u j ) 0, i j , i, j 1,2,, n
E (ui ) 0 i 1,2,, n
j
i
当给定一个样本 (Yi , X1i , X 2i ,, X ki ),i 1,2,, n 时，上 述模型表示为
Y1 0 1 X 11 2 X 21 k X k1 u1 Y X X X u 2 0 1 12 2 22 k k2 2 Yn 0 1 X 1n 2 X 2 n k X kn un
Y2 1868.61 Y 2150.134 ， Y 3 X Y33 24506.45
112.5991 342.0921 110.9297 1 ˆ ˆ= ( X X ) X Y 0.703011， e Y X 0.267105 350.6327 ee ˆ 182.6058 n k 1
Var (ui ) E(ui2 ) 2 , i 1,2,, n Cov(ui , u j ) E(ui , u j ) 0, i j , i, j 1,2,, n
用矩阵形式表示 随机干扰项的方差—协方差矩阵
u1 u2 E (uu) E u1 u2 un 2 0 2 0 un 0 0 0 0 2In 2
1 (X X) 2
（四）随机干扰项方差估计量的性质 由于被解释变量的估计值与观察值之间的残差
ˆ X u X ( X X )1 X u X ( X X )1 X ( X u) e Y X
u X (X X )1 X u (I X ( X X )1 X )u Mu
第二节 多元线性回归模型的参数估计
一、 普通最小二乘法
(一) 普通最小二乘估计
对于多元线性回归模型，利用最小二乘法估计模 型的参数，同样应该使残差平方和达到最小，即 ˆ ˆ X ˆ X ˆ X )2 ˆ )2 (Y RSS : Q e2 (Y Y
第三节
多元线性回归模型的检验
一、模型的拟合优度检验 二、回归模型的总体显著性检验 三、回归系数的显著性检验
一、模型的拟合优度检验
（一）R2检验 1.总离差平方和的分解 对于有k个解释变量的多元线性回归模型 ei Yi 0 1 X1i 2 X 2i k X ki ui i 1,2,, n 其对应的回归方程为：
可写成矩阵形式
ei 1 X 11 X 21 e X 1 X X 22 12 i 1i ei X ki 1 X 1n X 2 n X k1 Xk2 X kn
e1 e 2 X e 0 en
由于习惯上把常数项看成为一个虚变量的系数，在 参数估计过程中该虚变量的样本观测值始终取1。这 样，模型中解释变量的数目为（K+1）。
u 2 X 2i k X ki ui
经济意义： X ji 是Y 的重要解释变量。 j 可以解释为 在其他因素（变量）不变的条件下，变量 X j 每变 动一个单位，因变量变动 个单位。
ˆ e Y X
正规方程组
ˆ X X Y X X e ˆ X Y (X X )
ˆ ( X X )1 X Y ，这就是向量 的OLS估计 因而
(二) 随机干扰项方差估计值 ˆ 2的普通最小二乘估计
随机干扰项的方差的无偏估计为
2 e ee 2 i ˆ n k 1 n k 1
ee ˆ 随机干扰项方差的估计量为 n k 1
2
E (ee) 于是 n k 1
2
例2-1
线性回归模型设定为
Yi 0 1Yi1 2 X i ui (i 2,3 ,33)
用矩阵表示为
Y X u
1 Y1 X 2 1 1592.291 1945.748 1 Y X 1 1868.61 2266.219 2 3 1 Y32 X 33 1 22854.75 31627.44