第九章多元线性回归异方差问题
南开大学计量课件多元线性回归异方差问题43页文档
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
南开大学计量课件多元线性回归异方 差问题
36、如果我们国家的法律中只有某种 神灵， 而不是 殚精竭 虑将神 灵揉进 宪法， 总体上 来说， 法律就 会更好 。—— 马克·吐 温 37、纲纪废弃之日，便是暴政兴起之 时。— —威·皮 物特
38、若是没有公众舆论的支持，法律 是丝毫 没有力 量的。 ——菲 力普斯 39、一个判例造出另一个判例，它们 迅速累 聚，进 而变成 律。 ——朱 尼厄斯
(优选)线性回归模型的异方差问题
Y
＋u E(Y|X)=α+β*X
＋u ＋u
－u －u －u
Y
＋u
＋u
＋u －u
－u －u
0
X
E(Y|X)=α+β*X
同方差(homoscedasticity)
0
X
异方差(heteroscedasticity)
一元线性回归分析－回归的假定条件
y bx
一元线性回归分析－总结（最小二乘法的优良性质 ）
➢残差之和为零 e 0
➢所拟合直线通过样本散点图的重心 (x, y)
➢误差项与解释变量不相关 (e e)(x x) 0
➢a与b分别是总体回归系数的无偏估计量
E(a) E(b)
➢a与b均为服从正态分布的随机变量
2 x2 a ~ N (, (x x)2 ), b ~ N ( ,
从残差图可以看出：残差的绝对值随着销售额的 增加而增加。
尽管残差ei与扰动项ui是两个不同的概念，根据ei 的变化并不能断言ui的方差也是变化的。但是，实践 中很难观察到ui，只能利用检验ei的变动来推断ui的 变化。
问题：如何理解残差ei与扰动项ui两个概念的差 别？
9.3 异方差的后果
如果CLRM其它假设保持不变，放松同方差假定，允 许扰动项方差随观察值而异，异方差有如下后果： 1、OLS估计量仍是线性的。 2、OLS估计量仍是无偏的。 3、OLS估计量不再具有最小方差性，即不再是有效的。 4、根据常用估计OLS估计量方差的公式得到的方差通常 是有偏的，无法先验地辨别偏差是正的还是负的。如果 OLS高估了估计量的真实方差，则产生正的偏差，如果 OLS低估了估计量的真实方差，则产生负的偏差。
多元线性回归模型常见问题及解决方法
Yi 0 1 X i1 2 X i 2
k X ik i ; i 1, 2, , n
基本假设 (1)随机扰动项ui数学期望（均值）为零。E(ui)=0 (2)随机扰动项ui的同方差性且无自相关Var(ui)=σ2 (3)解释变量X列线性无关。R(Xn×k)=K (4)随机扰动项ui与解释变量X不相关。cov(ui,X)=0
0 0 0 1 2 0
0 0 0 1 2
0 0 0 0 1
Yt 0 1 X t1
k X tk Yt 1 t
(4)回归模型含有截距项。 D.W.检验的原假设为：H0: ρ=0，即μt不存在一 阶自回归。
构造统计量：
DW . .
2 ( e e ) t t 1 t 2 2 e t t 1 n
n
该统计量的分布与给定样本中的X值有复杂关 系，其精确分布很难得到。
n1 n 2 2 n
其中，Ω为对称正定矩阵，故存在一可逆矩阵 D，使得 Ω=DD’ 用D-1左乘模型两边，得到新模型： D-1Y=D-1Xβ+D-1μ 即Y*=X*β+μ*
由于 E ( * * ') E[ D 1 '( D 1 ) '] D 1E ( ')( D 1 ) ' D 1 2( D 1 ) ' D 1 2 DD '( D 1 ) ' 2 I 故，可用普通最小二乘法估计新模型，记参数 ˆ * ，则 估计量为 ˆ * ( X * ' X * )1 X * ' Y * [ X '( D 1 ) ' D 1 X ]1 X '( D 1 ) ' D 1Y
计量经济学多元线性回归多重共线性异方差实验报告
计量经济学实验报告多元线性回归、多重共线性、异方差实验报告一、研究目的和要求：随着经济的发展，人们生活水平的提高，旅游业已经成为中国社会新的经济增长点。
旅游产业是一个关联性很强的综合产业，一次完整的旅游活动包括吃、住、行、游、购、娱六大要素，旅游产业的发展可以直接或者间接推动第三产业、第二产业和第一产业的发展。
尤其是假日旅游，有力刺激了居民消费而拉动内需。
2012年，我国全年国内旅游人数达到亿人次，同比增长%，国内旅游收入万亿元，同比增长%。
旅游业的发展不仅对增加就业和扩大内需起到重要的推动作用，优化产业结构，而且可以增加国家外汇收入，促进国际收支平衡，加强国家、地区间的文化交流。
为了研究影响旅游景区收入增长的主要原因，分析旅游收入增长规律，需要建立计量经济模型。
影响旅游业发展的因素很多，但据分析主要因素可能有国内和国际两个方面，因此在进行旅游景区收入分析模型设定时，引入城镇居民可支配收入和旅游外汇收入为解释变量。
旅游业很大程度上受其产业本身的发展水平和从业人数影响，固定资产和从业人数体现了旅游产业发展规模的内在影响因素，因此引入旅游景区固定资产和旅游业从业人数作为解释变量。
因此选取我国31个省市地区的旅游业相关数据进行定量分析我国旅游业发展的影响因素。
二、模型设定根据以上的分析，建立以下模型Y=β0+β1X1+β2X2+β3X3+β4X4+Ut参数说明：Y ——旅游景区营业收入/万元X1——旅游业从业人员/人X2——旅游景区固定资产/万元X3——旅游外汇收入/万美元X4——城镇居民可支配收入/元收集到的数据如下（见表）：表 2011年全国旅游景区营业收入及相关数据（按地区分）数据来源：1.中国统计年鉴2012，2.中国旅游年鉴2012。
三、参数估计利用做多元线性回归分析步骤如下：1、创建工作文件双击图标，进入其主页。
在主菜单中依次点击“File\New\Workfile”，出现对话框“Workfile Range”。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
计量经济学讲义——线性回归模型的异方差问题1
Gleiser检验与Park检验存在同样的弱点。
(9.3) (9.4) (9.5)
9.4 异方差的诊断－方法4：怀特(White)检验法
Yi = B1 + B 2 X 2 i + B3 X 3 i + u i
2、做如下辅助回归： (9.6) (9.7)
1、首先用普通最小二乘法估计方程(9.6)，获得残差ei
E(Y|X)=α+β*X Y
＋u ＋u －u －u －u ＋u
0
同方差(homoscedasticity)
X 0
E(Y|X)=α+β*X
异方差(heteroscedasticity)
X
一元线性回归分析－回归的假定条件
假定5 无自相关假定，即两个误差项之间不相关。 Cov（ui,uj） = 0。
ui
9.2 异方差的性质
例9.1 美国创新研究：销售对研究与开发的影响 ^ R&D ＝ 266.2575 + 0.030878*Sales se＝(1002.963) (0.008347) t ＝(0.265471) (3.699508) p ＝(0.7940) R2 ＝ 0.461032 从回归结果可以看出： （1）随着销售额的增加，R&D也逐渐增加，即销售 额每增加一百万美元，研发相应的增加3.1 万美元。 （2）随着销售额的增加，R&D支出围绕样本回归线 的波动也逐渐变大，表现出异方差性。 (0.0019)
第9章多元线性回归习题答案
第9章多元线性回归教材习题答案9.1 根据下面的数据用Excel进行回归，并对回归结果进行讨论，计算、时y 的预测值。
y x1x212 174 318 281 931 189 428 202 852 149 947 188 1238 215 522 150 1136 167 817 135 5详细答案：由Excel输出的回归结果如下：回归统计Multiple R 0.459234R Square 0.210896Adjusted R Square -0.01456标准误差13.34122观测值10方差分析df SS MS F Significance F回归分析 2 332.9837 166.4919 0.93541 0.436485残差7 1245.916 177.988总计9 1578.9Coefficients 标准误差t Stat P-value Lower 95% Upper 95%Intercept 25.0287 22.27863 1.12344 0.298298 -27.6519 77.70928X Variable 1 -0.04971 0.105992 -0.46904 0.653301 -0.30035 0.200918X Variable 2 1.928169 1.47216 1.309755 0.231624 -1.55294 5.409276得到的回证方程为：。
表示，在不变的条件下，每变化一个单位，y平均下降0.04971个单位；表示，在不变的条件下，每变化一个单位，y平均增加1.928169个单位。
判定系数，表示在因变量y的变差中能够被y与和之间的线性关系所解释的比例为21.09%。
由于这一比例很低，表明回归方程的拟合程度很差。
估计标准误差，预测误差也较大。
方差分析表显示，Significance F=0.436485>a=0.05，表明y与和之间的线性关系不显著。
异方差问题
3. 怀特证明了，利用稳健标准误对回归系数进行t检验 和F检验是渐进有效的（大样本情形下有效）。
...
ˆk
X
ki
2
一般情形：若假设varui
2 i
2
f
X ji
以1 f（X ji）为权数乘以因变量和解释变量（包括常变量），得到：
Yi f（X
ji）
1
1 f（X
ji）
2
X 2i f（X
ji）
...
k
Xki f（X
ji）
ui
1 f（X ji）
var
ui f（X
ji）
1 f（X
? ?
xiui xi 2
?
)=
xi2Var(ui ) (? xi 2 )2
?
=
(?
xi2
2 i
xi 2 )2
在同方差时，
该形式具有最小方差
Var( ?2 )= 2
? xi2
11
异方差的后果
一、回归系数的OLS估计量仍然满足：
1、线性
2、无偏
二、回归系数的OLS估计量不再满足有效性，也即： 在回归系数的所有线性无偏估计量中，OLS估计 量的方差不再是最小的。甚至在大样本下，也不 具备渐进有效性。
三、通常方法计算的OLS估计量的样本方差和标准 误都是有偏的和不一致的。（偏大偏小没有定 论）。因此利用通常方法计算的t值、F值或卡方 值进行假设检验都会失效。
四、模型的预测功能失效。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10
（四）怀特检验
3、求辅助回归方程的R2值。在零假设：不存在异方差下，
White证明了，从方程（4）中获得R2值与样本容量（n）的
积服从卡方分布
n R2 2
自由度等于（4）式中的解释变量的个数。 4、根据样本计算统计量n*R2值，并与所选取的显著性水平进行
比较，看是否接受零假设（零假设为残差不存在异方差性）。
发现：采用水平模型存在异方差性，但采用对数模型不
存在异方差性。
13
三、异方差的解决方法
加权最小二乘法 模型的重新设定
14
（一）加权最小二乘法
基本思路：赋予残差的每个观测值不同权数，从而
使模型的随机误差项具有同方差性。
15
（一）加权最小二乘法
方差已知的情形 假设已知随机误差项的方差为var(ui)= i2 , 设权数wi与异
（四）怀特检验（White test）
5
（一）残差的图形检验
这是一种最直观的方法，它以某一变量（通常取因变 量）作为横坐标，以随机项的估计量e或e2为纵坐标， 根据作出的散点图直观地判断是否存在相关性。如果
存在相关性，则存在异方差。通常的方法是先产生残
差序列，再把它和因变量一起绘制散点图。 例6-2：利用该方法绘制上一章关于美国机动车消费量 的模型中QMG与残差的散点图。
6
（二）Breusch-Pagan检验
假设回归模型如下：
Y 0 1x1 2 x2 k xk u
检验假定线性函数
(1)
u 2 0 1x1 2 x2 k xk v
(2)
7
步骤：
1、作普通最小二乘回归（1），不考虑异方差问题。 2、从原始回归方程中得残差ui，并求其平方。 3、利用原始模型中的解释变量作形如上式(2)的回归，记 下这个回归的R平方Ru22 。
（2）误差方差与xi2成比例 Var(ui)=σ2 * xi2 其中σ2为常数，这时可以令权序列
wi 1/ xi
wi 1/ xi
18
（一）加权最小二乘法
方差已知的情形 实例：住房支出模型 给出由四组家庭住房支出和年收入组成的截面数据， 建立住房支出模型，并检验和修正异方差。 （3）其他的与自变量xi的加权形式f(xi)
记下这个回归的R平方 （3）构造F或LM统计量并计算p值（前者为 F2，n－3分布， 后者用 2 分布。
2
12
（五） 实例
使用Wooldridge中的数据HPRICE.RAW中的数据 来检验一个简单的住房价格方程中的异方差性。水平 变量模型为（分别采用水平变量和其对数项分别进行
回归分析）
price 0 1lotsize 2 sqrft 3bdrms
2、再检验零假设 ＝0（不存在异方差）。如果零假设 被拒绝，则表明可能存在异方差。
9
（四）怀特检验
假设有如下模型：
yi B0 B1x1i B2 x2i ui （3）
基本步骤：
1、首先用OLS方法估计回归方程（3）式。
2、然后作辅助回归：
2 （4） ui2 A0 A1x1i A2 x2i A3 x12i A4 x2 A x x v i 6 1i 2i i
3
2、异方差的影响
1、OLS估计量不再是BLUE，其是无偏和一致的，但并 非有效的，即不再具有方差最小性。 2、检验假设的统计量不再成立，建立在t分布和F分布之 上的置信区间和假设检验不可靠。
4
二、异方差的发现和判断
（一）残差的图形检验
（二）帕克检验（Park test）
（三）戈里瑟检验（Glejser test）
1
两变量线性回归模型的异方差
Y
0
Xi
Xj
X
2
1、异方差的定义
异方差主要出现在截面数据分析中，例如大公司的利 润变化幅度要比小公司的利润变化幅度大，即大公司利润 的方差比小公司利润的方差大。这取决于公司的规模、产 业特点和研究开发支出多少等因素。又如高收入家庭通常 比低收入家庭对某些商品的支出有更大的方差。 例6-1：人均家庭支出（cum)和可支配收入（in)的关系模型 给出中国1998年各地区城镇居民平均每人全年家庭交 通及通讯支出（cum)和可支配收入（in)的数据，估计两者 之间的关系模型
5、Eviews计算：View-Residual Tests-White Heteroskedasticity . 应用：对例6-1进行White异方差检验
11
等价的White检验
（1）用OLS估计模型（3），得到残差和拟合值，计算它 们的平方； （2）做回归
u 2 0 1 y 2 y 2 v
4、检验零假设是
H 0 : 1 2 k 0
2 2 LM n Ru ~ 2 k
对方程（2）进行F检验，或计算LM统计量进行检验。
8
（三）戈里瑟检验
1、通常拟合 e 和 X j 之间的回归模型：
e Xl j
根据图形中的分布选择
l 1,1或 1 2
一、异方差及其影响
1、异方差的定义：
对于多元线性回归模型，如果随机扰动项的方差并非是 不变的常数，则称为存在异方差（heteroscedasticity)。
异方差可以表示为 Var i i2 。 或
12 2 2 Ω Varε E εε 2 n
2 i 2 i 2 i 2
归模型y=Xβ＋u，令权数序列wi =1/i ，W为N×N对角矩
阵，对角线上为wi ，其他元素为0。则变换后的模型为
Wy WX Wu
17
（一）加权最小二乘法
方差已知的情形 （1）误差方差与xi成比例 Var(ui)=σ2 * xi 其中σ2为常数，这时可以令权序列
方差的变异趋势相反, wi =1/i,, 将原模型两端同乘以wi。
wi使异方差经受了“压缩”和“扩张”变为同方差。
16
（一）加权最小二乘法
方差已知的情形 对于一元线性回归模型y=b0+b1x+u，加权最小化残差平方
和为
w w y i b0 b1xi 获得的估计量就是加权最小二乘估计量。对于多元线性回