异方差加权最小二乘法修正(精)
简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法
简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法多元线性回归是统计学中一种重要的简单线性回归模型，它可以用来研究两个或多个变量之间的关系。
然而，在多元线性回归中容易出现异方差性，这会影响回归结果的准确性。
为了解决多元线性回归中异方差性的问题，研究者提出了一种新的模型加权最小二乘法（WLS），其中权重由变量自身的方差决定。
1.加权最小二乘法（WLS）原理WLS是一种基于最小二乘法改进的新方法，它可以用来消除多元线性回归中的异方差性。
其基本原理是，在估计回归参数时利用各个观测数据的权重，以更好的拟合多元回归曲线。
其中，权重的定义如下：假设观测数据共有n组，那么第i组观测数据的权重可以定义为w_i = 1/sigma_i^2，其中sigma_i^2第i组观测数据的方差，即变量之间有异方差性。
2.权最小二乘法（WLS）的优点（1）WLS可以解决多元线性回归中异方差性的问题。
异方差性经常会影响多元线性回归模型的准确性，而WLS则可以通过调整变量之间的权重来消除异方差性。
（2）WLS也可以用来消除多元线性回归中的过度拟合问题。
WLS 的权重可以用来控制拟合曲线，从而改善模型的准确性。
（3）WLS还可以改善多元线性回归模型的稳健性。
WLS可以通过调整权重来降低一个变量对模型结果的影响，从而增加模型的稳健性。
3.权最小二乘法（WLS）的应用WLS在实际工作中得到了广泛的应用，其中最常见的是用于减少多元线性回归中异方差性的影响。
例如，在金融分析中，可以利用WLS来消除股票价格波动对投资收益的影响。
此外，WLS也可以用来消除多元线性回归中的过度拟合问题，从而提高模型的准确度。
综上所述，用加权最小二乘法消除多元线性回归中异方差性是一种有效且有效的做法，它可以改善模型的稳健性和准确度，也可以有效地减少多元线性回归中对异方差性的影响。
异方差性,请用加权最小二乘法,或双对数变换予以修正
（2012年6月9）计量经济学期末考试答案：作业一下表为1998年各地区城镇居民人均可支配收入（x,元）与交通和运输支出（y,元）的数据。
设回归模型的形式为y=a+bx。
请针对指定的模型形式，对表中数据是否存在异方差性进行检验。
如果存在异方差性，请用加权最小二乘法，或双对数变换予以修正。
解：1、在FILE菜单中选择NEW－WORKFILE，输入起止时间。
2、在主窗口菜单选QUICK－EMPTY GROUP，在编辑数据区输入X Y 所对应的数据。
3、在主窗口菜单选在QUICK－ESTIMATE EQUATION，对参数做OSL估计，输出结果见下表：Dependent Variable: YMethod: Least SquaresDate: 06/09/12 Time: 15:57Sample: 1901 1930C -56.91798 36.20624 -1.572049 0.1272R-squared 0.741501 Mean dependent var 256.8727Adjusted R-squared 0.732269 S.D. dependent var 97.56583S.E. of regression 50.48324 Akaike info criterion 10.74550Sum squared resid 71359.62 Schwarz criterion 10.83891Log likelihood -159.1825 F-statistic 80.31760用EVIEWS工具求出如图的结果：从图中可知在0.05显著水平下，t分布的临界值，所以判定，即原始数据存在显著的异方差。
修正：分别选用权重：使用eviews工具可以得到：取权重的结果（如图）Dependent Variable: YMethod: Least SquaresDate: 06/09/12 Time: 16:10Sample: 1901 1930Included observations: 30C -51.84727 32.68440 -1.586300 0.1239R-squared 0.082459 Mean dependent var 240.0747Adjusted R-squared 0.049690 S.D. dependent var 38.73801S.E. of regression 37.76331 Akaike info criterion 10.16489Sum squared resid 39929.89 Schwarz criterion 10.25831Log likelihood -150.4734 F-statistic 2.516348Unweighted StatisticsR-squared 0.741301 Mean dependent var 256.8727 Adjusted R-squared 0.732061 S.D. dependent var 97.56583 S.E. of regression 50.50279 Sum squared resid 71414.88取权重的结果（如图）Dependent Variable: YMethod: Least SquaresDate: 06/09/12 Time: 16:11Sample: 1901 1930Included observations: 30C -56.60913 35.13772 -1.611065 0.1184R-squared 0.617090 Mean dependent var 227.6382 Adjusted R-squared 0.603415 S.D. dependent var 51.05680 S.E. of regression 32.15303 Akaike info criterion 9.843231 Sum squared resid 28946.89 Schwarz criterion 9.936644 Log likelihood -145.6485 F-statistic 45.12423Unweighted StatisticsR-squared 0.741467 Mean dependent var 256.8727 Adjusted R-squared 0.732234 S.D. dependent var 97.56583 S.E. of regression 50.48654 Sum squared resid 71368.94取权重的结果（如图）Dependent Variable: YMethod: Least SquaresDate: 06/09/12 Time: 16:09Sample: 1901 1930Included observations: 30Weighting series: W3C -53.19251 33.57023 -1.584514 0.1243X 0.057385 0.006388 8.982639 0.0000R-squared 0.523215 Mean dependent var 247.8742 Adjusted R-squared 0.506187 S.D. dependent var 61.28038 S.E. of regression 43.06286 Akaike info criterion 10.42754 Sum squared resid 51923.48 Schwarz criterion 10.52095 Log likelihood -154.4131 F-statistic 30.72663R-squared 0.741396 Mean dependent var 256.8727 Adjusted R-squared 0.732161 S.D. dependent var 97.56583 S.E. of regression 50.49345 Sum squared resid 71388.47从图中可以看出，只有权重的效果最好。
异方差问题与加权最小二乘法
异方差问题与加权最小二乘法在统计学和经济学中，异方差问题是指随机变量的方差不恒定，即方差随着自变量或条件的变化而变化。
而加权最小二乘法是一种基于权重的回归分析方法，可以有效应对异方差问题。
本文将探讨异方差问题的原因、表现形式以及加权最小二乘法的原理和应用。
一、异方差问题的原因及表现形式异方差问题在实际问题中经常出现，其原因可以是多样的。
可能是由于样本观测的误差方差存在系统性差异，也可能是由于自变量的取值范围不同导致方差变异较大。
异方差问题的表现形式主要体现在回归模型的残差项中。
在经典的普通最小二乘法（OLS）中，残差的方差被假定为常数。
然而，在异方差情况下，残差的方差并非常数，导致OLS估计结果不准确。
二、加权最小二乘法的原理为了解决异方差问题，加权最小二乘法引入了样本观测权重的概念。
在加权最小二乘法中，观测值根据其方差的倒数被赋予不同的权重，即方差越大的观测值权重越小，而方差越小的观测值权重越大。
加权最小二乘法的目标是使加权残差平方和最小化。
通过使用样本观测的权重，可以降低方差较大观测值的影响，提高方差较小观测值的估计精度。
这样，加权最小二乘法可以更准确地估计模型参数，并提高模型的拟合效果。
三、加权最小二乘法的应用加权最小二乘法在实际问题中有着广泛的应用。
以下列举几个典型的应用场景：1. 金融学中的资产定价模型（CAPM）在资产定价模型中，加权最小二乘法可以解决由于不同证券的波动率不同而引起的异方差问题。
通过对收益率进行加权最小二乘回归，可以准确估计资产的贝塔系数并进行风险评估。
2. 面板数据分析面板数据包含多个观测点和多个时间点的数据，通常存在异方差问题。
通过引入面板数据的权重，加权最小二乘法可以在控制其他影响因素的前提下，更准确地估计不同因素对观测值的影响。
3. 教育评估在教育研究中，学生的学习成绩常常受到不同因素的影响，而这些因素的方差往往存在差异。
加权最小二乘法可以通过对学生进行加权分析，提高对影响因素的估计准确性，从而更好地评估教育政策的效果。
异方差与加权最小二乘法
加权。 所以我们常常进行假设，然后根据假设去加 权。 根据假设的不同，WLS也就可以有不同的具 体做法。P232-235 方法还是像知道方差一样。
（以一元回归示例） Yi 1 2 X 2i ui
2 var(ui ) i 2 X 2i 2
举例
Yi X 2i ui 1 原模型两边同除以 2i : X 1 （ ） （ 2 ） X 2i X 2i X 2i X 2i Yi 1 * 令Yi , X 1i , X 2i X 2i
~ f ( X ji ) 2 X ei 或 ln(ei 2 ) ln 2 ln X ji i ji
若在统计上是显著的，表明存在异方差性。 注：即回归中看lnX前面的系数的t检验，通过就 是异方差 3. 戈德菲尔德-匡特(Goldfeld-Quandt)检验 G-Q检验以F检验为基础，适用于样本容 量较大、异方差递增或递减的情况。
四、异方差性的后果
计量经济学模型一旦出现异方差性，如果仍采 用OLS估计模型参数，会产生下列不良后果： 1. 参数估计量非有效 OLS估计量仍然具有无偏性，但不具有有效性 因为在有效性证明中利用了 E(’)=2I
而且，在大样本情况下，尽管参数估计量具 有一致性，但仍然不具有渐近有效性。
2.
~
~ Var ( i ) E ( i2 ) ei 2
~ ei yi ( yi ) 0ls
几种异方差的检验方法：
1. 图示法 （1）用X-Y的散点图进行判断 看是否存在明显的散点扩大、缩小或复杂 型趋势（即不在一个固定的带形域中）
~ (2)X- ei 的散点图进行判断 看是否形成一斜率为零的直线
1 1
1 f ( X ji ) X ki
第五章-4异方差的解决方法
11.58966
Log likelihood
-220.1929 F-statistic
29.21043
Durbin-Watson stat 1.149682 Prob(F-statistic) 0.000008
UnWeighted Statistics
WLS处理后的残差图
2000
Hale Waihona Puke 0-2000-4000
补救异方差的基本思路：
变异方差为同方差； 尽量缓解方差变异的程度 为了补救异方差造成的（不再具有最小方差； 参数的显著性检验失效；预 测精度降低）的严重后果
方法：
一、加权最小二乘法
二、对原模型变换的方法
三、“一般解决法”（模型的对数变换）
1、加权最小二乘法的思路
根据离差平方和最小建立起来的OLS法 同方差时：认为各 ei 提供信息的重要程度是一致的，即将各样本点提供的残差一视同仁。 异方差时：离散程度大的ei 对应的回归直线的位置很不精确，拟合直线时理应不太重视 们提供的信息。即 Xi 对应的 ei 偏离大的所提供的信息贡献应打折扣，而偏离小的所提供的 信息贡献则应于重视。因此采用权数对残差提供的信息的重要程度作一番校正，以提高估计 精度。这就是 WLS（加权最小二乘法）的思路。
1
Xi
2
ui Xi
Var
ui Xi
1
X
2 i
Var
ui
2
例2 Yi 1 2 X i ui
Var(ui)
2 i
2
X
i
Yi Xi
1
Xi
2
Xi
ui Xi
Var
ui Xi
1
X
i
异方差性的概念、类型、后果、检验及其修正方法含案例
Yi和Xi分别为第i个家庭的储蓄额和可支配收入。
在该模型中，i的同方差假定往往不符合实际情况。对高收 入家庭来说，储蓄的差异较大；低收入家庭的储蓄则更有规律 性（如为某一特定目的而储蓄），差异较小。
因此，i的方差往往随Xi的增加而增加，呈单调递增型变化 。
– 在选项中，EViews提供了包含交叉项的怀特检验“White Heteroskedasticity（cross terms）”和没有交叉项的怀特检 验“White Heteroskedasticity（no cross terms）” 这样两个 选择。
• 软件输出结果：最上方显示两个检验统计量：F统计 量和White统计量nR2；下方则显示以OLS的残差平 方为被解释变量的辅助回归方程的回归结果。
随机误差项具有不同的方差，那么： 检验异方差性，也就是检验随机误差项的方差与解
释变量观测值之间的相关性及其相关的“形式”。 • 各种检验方法正是在这个共同思路下发展起来的。
路漫漫其修远兮, 吾将上下而求索
问题在于：用什么来表示随机误差项的方差？ 一般的处理方法：
路漫漫其修远兮, 吾将上下而求索
2.图示检验法
路漫漫其修远兮, 吾将上下而求索
3.模型的预测失效
一方面，由于上述后果，使得模型不具有良好的统计性质；
【书上这句话有点问题】
其中 所以，当模型出现异方差性时，Y预测区间的建立将发生困 难，它的预测功能失效。
路漫漫其修远兮, 吾将上下而求索
三、异方差性的检验（教材P111）
1.检验方法的共同思路 • 既然异方差性就是相对于不同的解释变量观测值，
（注意：其中的2完全可以是1）
异方差实验报告步骤(3篇)
第1篇一、实验目的1. 掌握异方差性的基本概念和检验方法。
2. 学会运用统计软件进行异方差的检验和修正。
3. 提高对计量经济学模型中异方差性处理能力的实践应用。
二、实验原理1. 异方差性：在回归分析中，若回归模型的误差项（残差）的方差随着自变量或因变量的取值而变化，则称模型存在异方差性。
2. 异方差性的检验方法：图形检验、统计检验（如F检验、Breusch-Pagan检验、White检验等）。
3. 异方差性的修正方法：加权最小二乘法（WLS）、广义最小二乘法（GLS）等。
三、实验步骤1. 数据准备1. 收集实验所需数据，确保数据质量和完整性。
2. 对数据进行初步处理，如剔除异常值、缺失值等。
2. 模型设定1. 根据研究问题，选择合适的回归模型。
2. 利用统计软件（如Eviews、Stata等）进行初步的回归分析。
3. 异方差性检验1. 图形检验：绘制散点图，观察残差与自变量或因变量的关系，初步判断是否存在异方差性。
2. 统计检验：- F检验：检验回归系数的显著性。
- Breusch-Pagan检验：检验残差平方和与自变量或因变量的关系。
- White检验：检验残差平方和与自变量或因变量的多项式关系。
4. 异方差性修正1. 若检验结果表明存在异方差性，则需对模型进行修正。
2. 选择合适的修正方法：- 加权最小二乘法（WLS）：根据残差平方与自变量或因变量的关系，计算权重，加权最小二乘法进行回归分析。
- 广义最小二乘法（GLS）：根据残差平方与自变量或因变量的关系，选择合适的方差结构，广义最小二乘法进行回归分析。
5. 结果分析1. 对修正后的模型进行回归分析，观察回归系数的显著性、拟合优度等指标。
2. 对实验结果进行分析，解释实验现象，验证研究假设。
6. 实验报告撰写1. 撰写实验报告，包括以下内容：- 实验目的- 实验原理- 实验步骤- 实验结果- 分析与讨论- 结论2. 实验报告应结构清晰、逻辑严谨、语言简洁。
简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法
简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法加权最小二乘法消除多元线性回归中异方差性是一种有效的数据分析方法，它能够解决多元线性回归中非常常见的异方差性问题。
本文旨在讨论加权最小二乘法消除多元线性回归中异方差性的思想与方法，探讨它的作用、原理以及应用案例。
一、加权最小二乘法消除多元线性回归中异方差性的作用加权最小二乘法消除多元线性回归中异方差性，也就是根据残差平方和，按给定权重来重新估计回归参数，从而有效减少异方差性对线性回归结果的影响。
主要使用的是基于最小二乘的统计模型。
它首先假定在给定的变量的条件下，观察到的残差遵从正态分布，其方差不随观察数改变而改变，即观察到的残差是加性误差、具有同一的方差。
二、加权最小二乘法消除多元线性回归中异方差性的原理加权最小二乘法消除多元线性回归中异方差性的基本原理是：将多元线性回归方程中的异方差性用权重修正，使得残差平方和和最小。
为此，建立最小二乘估计模型是必要的，它对残差有以下假设：（1）总体误差ε平均为0；（2）总体误差ε服从正态分布；（3）总体误差ε的方差为ε～N（0，σ2）。
以回归分析中的总体误差平方和为最小二乘估计的准则函数，采用梯度下降法，估计出回归系数的值，从而实现对多元线性回归方程中的外生性问题的消除。
三、加权最小二乘法消除多元线性回归中异方差性的应用加权最小二乘法消除多元线性回归中异方差性的应用非常广泛，在金融、经济、市场营销等领域有着重要的作用。
例如，在股票投资领域，投资人可以利用多元线性回归分析来预测股票价格，由于有异方差性的存在，因此可以通过加权最小二乘法来提高预测的准确性。
此外，在宏观经济分析领域，也可以利用加权最小二乘法消除多元线性回归中异方差性，从而更精确地检测经济趋势，从而使政策制定更加有效。
结论本文简要介绍了加权最小二乘法消除多元线性回归中异方差性的思想与方法，并阐述了它的作用、原理和应用案例。
整个方法基本上是利用梯度下降法，以残差平方和最小为准则函数，重新估计观察数据的回归参数，从而有效减少异方差性对线性回归的影响。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 案例分析
一、问题的提出和模型设定
根据本章引子提出的问题，为了给制定医疗机构的规划提供依据，分析比较医疗机构与人口数量的关系，建立卫生医疗机构数与人口数的回归模型。
假定医疗机构数与人口数之间满足线性约束，则理论模型设定为
i i i u X Y ++=21ββ （5.31）
其中i Y 表示卫生医疗机构数，i X 表示人口数。
由2001年《四川统计年鉴》得到如下数据。
表5.1 四川省2000年各地区医疗机构数与人口数
地区
人口数（万人） X
医疗机构数（个）
Y
地区
人口数（万人） X
医疗机构数（个）
Y
成都 1013.3 6304 眉山 339.9 827 自贡 315 911 宜宾 508.5 1530 攀枝花 103 934 广安 438.6 1589 泸州 463.7 1297 达州 620.1 2403 德阳 379.3 1085 雅安 149.8 866 绵阳 518.4 1616 巴中 346.7 1223 广元 302.6 1021 资阳 488.4 1361 遂宁 371 1375 阿坝 82.9 536 内江 419.9 1212 甘孜 88.9 594 乐山
345.9
1132 凉山 402.4
1471 南充 709.2
4064
二、参数估计
进入EViews 软件包，确定时间范围；编辑输入数据；选择估计方程菜单，估计样本回归函数如下
表5.2
估计结果为
56.69,2665.508..,7855.0)
3403.8()
9311.1(3735.50548.563ˆ2===-+-=F e s R X Y i
i (5.32) 括号内为t 统计量值。
三、检验模型的异方差
本例用的是四川省2000年各地市州的医疗机构数和人口数，由于地区之间存在的不同人口数，因此，对各种医疗机构的设置数量会存在不同的需求，这种差异使得模型很容易产生异方差，从而影响模型的估计和运用。
为此，必须对该模型是否存在异方差进行检验。
（一）图形法 1、EViews 软件操作。
由路径：Quick/Qstimate Equation ，进入Equation Specification 窗口，键入“y c x ”，确认并“ok ”，得样本回归估计结果，见表5.2。
（1）生成残差平方序列。
在得到表5.2估计结果后，立即用生成命令建立序列2
i e ，记
为e2。
生成过程如下，先按路径：Procs/Generate Series ，进入Generate Series by Equation 对话框，即
图5.4
然后，在Generate Series by Equation对话框中（如图5.4），键入“e2=（resid）^2”，
则生成序列
2
i
e。
（2）绘制
2
t
e
对t
X
的散点图。
选择变量名X与e2（注意选择变量的顺序，先选的变量
将在图形中表示横轴，后选的变量表示纵轴），进入数据列表，再按路径view/graph/scatter，可得散点图，见图5.5。
图5.5
2、判断。
由图5.5可以看出，残差平方
2
i
e
对解释变量X的散点图主要分布在图形中的
下三角部分，大致看出残差平方
2
i
e
随i
X的变动呈增大的趋势，因此，模型很可能存在异方
差。
但是否确实存在异方差还应通过更进一步的检验。
（二）Goldfeld-Quanadt检验
1、EViews软件操作。
（1）对变量取值排序（按递增或递减）。
在Procs菜单里选Sort Series命令，出现排序对话框，如果以递增型排序，选Ascenging，如果以递减型排序，则应选Descending，键入X，点ok。
本例选递增型排序，这时变量Y与X将以X按递增型排序。
（2）构造子样本区间，建立回归模型。
在本例中，样本容量n=21，删除中间1/4的观测值，即大约5个观测值，余下部分平分得两个样本区间：1—8和14—21，它们的样本个
数均是8个，即
8
2
1
=
=n
n。
在Sample菜单里，将区间定义为1—8，然后用OLS方法求得如下结果
表5.3
在Sample菜单里,将区间定义为14—21，再用OLS方法求得如下结果
表5.4
（3）求F统计量值。
基于表5.3和表5.4中残差平方和的数据，即Sum squared resid
的值。
由表5.3计算得到的残差平方和为∑=9.
144958
2
1i
e
，由表5.4计算得到的残差平
方和为∑=8.
734355
2
2i
e
，根据Goldfeld-Quanadt检验，F统计量为
066
.59
.1449588
.734355212
2==
=
∑∑i
i e e F （5.33）
（4）判断。
在05.0=α下，式（5.33）中分子、分母的自由度均为6，查F 分布表得
临界值为
28.4)6,6(05.0=F ，因为28.4)6,6(066.505.0=>=F F ，所以拒绝原假设，表明
模型确实存在异方差。
（三）White 检验
由表5.2估计结果，按路径view/residual tests/white heteroskedasticity （no cross terms or cross terms ），进入White 检验。
根据White 检验中辅助函数的构造，最后一项为变量的交叉乘积项，因为本例为一元函数，故无交叉乘积项，因此应选no cross terms ，则辅助函数为
t t t t v x x +++=2
2102ααασ （5.34） 经估计出现White 检验结果，见表5.5。
从表5.5可以看出，0694.182
=nR ，由White 检验知，在05.0=α下，查2
χ分布表,得临界值9915.5)2(205.0=χ（在（5.34）式中只有两项含有解释变量，故自由度为2），比
较计算的2χ统计量与临界值，因为0694.182=nR ＞9915.5)2(205
.0=χ，所以拒绝原假设，不拒绝备择假设，表明模型存在异方差。
表5.5
四、异方差性的修正 （一）加权最小二乘法（WLS ）
在运用WLS 法估计过程中，我们分别选用了权数
t i t i t t X w X w X w 1,1,13221===。
权
数的生成过程如下，由图5.4，在对话框中的Enter Quation 处，按如下格式分别键入：
X w /11=；2^/12X w =；)(/13X sqr w =，经估计检验发现用权数t w 2的效果最好。
下
面仅给出用权数
t w 2的结果。
表5.7
表5.7的估计结果如下
8838.12,0493.276..,7060.1..,9387.0)
5894.3()
3794.4(9530.26090.368ˆ2
====+=F e s W D R X Y i
i （5.36） 括号中数据为t 统计量值。
可以看出运用加权小二乘法消除了异方差性后，参数的t 检验均显著，可决系数大幅提高，
F 检验也显著，并说明人口数量每增加1万人，平均说来将增加2.953个卫生医疗机构，而不是引子中得出的增加5.3735个医疗机构。
虽然这个模型可能还存在某些其他需要进一步解决的问题，但这一估计结果或许比引子中的结论更为接近真实情况。