浅谈加权最小二乘法及其残差图

合集下载

权函数与最小二乘法结合使用

权函数与最小二乘法结合使用

y
x y
-0.3
2.3 1.8
-1.2
1.6 0.5
1.1
5.1 3.8
-3.5
-1.9 -2.8
4.6
-1.5 0.5
西南交通大学
17
散点图为
6 5 4 3 2 1 0 -1 0 -2 -3 -4
-4
-2
2
4
6
8
西南交通大学
18
解: 先求线性部分的参数,得模型
ˆ n ( x) 0.3488 0.8089 x m1n ( x ) m
n
n
3) 再用所余残差估计模型中非线性部分
m1n ( x ) Wni i
i 1
n
ˆ ˆ bX i Yi a ,n i i 1,2,
注意: 此估计中的权的选取一如上一节 所示
西南交通大学
15
4) 得回归模型的估计为
ˆ W ˆ n ( x) a ˆ bx m ni i
散点图为:
12 10 8 6 4 2 0 0 5 10
西南交通大学
15
20
11
根据散点图选择倒指数曲线
y ae
型如 其中
b x
1 ln y ln a b x
Y A bX
A ln a Y ln y X 1/ x
dy 取权 U ni dY
e |Yi e
无关
取加权残差函数为
Q U ni (Yi a bX i )
i 1
n
2

ˆ 满足 ˆ, b a
ˆ ) min Q(a, b) ˆ, b Q(a
西南交通大学 5

加权最小二乘法广义最小二乘法

加权最小二乘法广义最小二乘法

❖ H0: a1=a2=...=0
❖ H1: a1,a2...不全为0
❖ Step1:估计方程,提取残差,并求其平
方ei2。
❖ Step2:计算残差平方和的均值
avg(ei2) 。
❖ Step3:估计方程,被解释变量为
ei2/avg(ei2) ,解释变量依然为原解释
变量。
❖ Step4:构造得分统计量Score=RSS/2 服从自由度为k的卡方分布。查表检验整 个方程的显著性。
解释变量Xi之间不存在精确的线形关系,即解释变 量的样本观测值矩阵X是满秩矩阵,应满足关系式:
rank(X)=k+1<n
可以理解为各X之间互不相关(无多重共线性)
εi 具有同方差性
❖ Var(ε i|Xi) = E[ε i -E(ε i)]2 = E(ε i)2=σ2 :
违反将导致非有效。
❖ 误差项存在异方差:ε的方差-协方差矩阵 Var(ε)主对角线上的元素不相等 。
Var(Yi) Var( 0 1Xi) Var(i) Var(i) 2
• 异方差一般可归结为三种类型:
(1)单调递增型: i2随X的增大而增大; (2)单调递减型: i2随X的增大而减小; (3)复 杂 型: i2与X的变化呈复杂形式。
❖ 一个现实情况是:在我们用到的大部分 数据中(特别是截面数据),异方差是 一般情况,而同方差是特殊情况。
❖ 如果 无任何特征和规律可言,整个计量模 型的建立将无法开展,因此,我们需要人为地 为它设定一些假定条件。
❖ 如果下列假定条件满足,我们就可以用最小二 乘法对模型进行回归估计。
❖ 事实上,我们进行OLS之前,规定了误差项必 须遵守的假定
❖ 因此有了对于误差项的高斯经典假定。

简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法

简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法

简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法加权最小二乘法消除多元线性回归中异方差性是一种有效的数据分析方法,它能够解决多元线性回归中非常常见的异方差性问题。

本文旨在讨论加权最小二乘法消除多元线性回归中异方差性的思想与方法,探讨它的作用、原理以及应用案例。

一、加权最小二乘法消除多元线性回归中异方差性的作用加权最小二乘法消除多元线性回归中异方差性,也就是根据残差平方和,按给定权重来重新估计回归参数,从而有效减少异方差性对线性回归结果的影响。

主要使用的是基于最小二乘的统计模型。

它首先假定在给定的变量的条件下,观察到的残差遵从正态分布,其方差不随观察数改变而改变,即观察到的残差是加性误差、具有同一的方差。

二、加权最小二乘法消除多元线性回归中异方差性的原理加权最小二乘法消除多元线性回归中异方差性的基本原理是:将多元线性回归方程中的异方差性用权重修正,使得残差平方和和最小。

为此,建立最小二乘估计模型是必要的,它对残差有以下假设:(1)总体误差ε平均为0;(2)总体误差ε服从正态分布;(3)总体误差ε的方差为ε~N(0,σ2)。

以回归分析中的总体误差平方和为最小二乘估计的准则函数,采用梯度下降法,估计出回归系数的值,从而实现对多元线性回归方程中的外生性问题的消除。

三、加权最小二乘法消除多元线性回归中异方差性的应用加权最小二乘法消除多元线性回归中异方差性的应用非常广泛,在金融、经济、市场营销等领域有着重要的作用。

例如,在股票投资领域,投资人可以利用多元线性回归分析来预测股票价格,由于有异方差性的存在,因此可以通过加权最小二乘法来提高预测的准确性。

此外,在宏观经济分析领域,也可以利用加权最小二乘法消除多元线性回归中异方差性,从而更精确地检测经济趋势,从而使政策制定更加有效。

结论本文简要介绍了加权最小二乘法消除多元线性回归中异方差性的思想与方法,并阐述了它的作用、原理和应用案例。

整个方法基本上是利用梯度下降法,以残差平方和最小为准则函数,重新估计观察数据的回归参数,从而有效减少异方差性对线性回归的影响。

加权最小二乘定位算法-概述说明以及解释

加权最小二乘定位算法-概述说明以及解释

加权最小二乘定位算法-概述说明以及解释1.引言1.1 概述加权最小二乘定位算法是一种用于定位和测量的数学方法,通过对测量数据进行加权处理,可以更准确地计算出目标的位置信息。

这种定位算法在无线通信、室内定位、导航系统等领域有着广泛的应用,能够提高定位的精度和可靠性。

本文将介绍加权最小二乘定位算法的原理、应用和优势,同时对其发展前景进行展望,旨在帮助读者更深入地了解和应用这一定位算法。

1.1 概述部分的内容1.2 文章结构本文主要分为引言、正文和结论三部分。

引言部分将对加权最小二乘定位算法进行概述,并介绍文章的结构和目的。

正文部分将详细介绍加权最小二乘定位算法的原理、应用和优势。

结论部分将总结加权最小二乘定位算法的特点,并展望其未来的发展前景,为读者提供对该算法的全面了解和展望。

通过这样的结构,读者可以系统地学习和理解加权最小二乘定位算法的相关知识,并对其未来的发展方向有一个清晰的认识。

1.3 目的本篇文章旨在介绍加权最小二乘定位算法的原理、应用和优势。

通过对加权最小二乘定位算法的深入理解和分析,读者可以更好地了解该算法在定位领域的作用和意义。

同时,我们也将总结该算法的优势和未来发展前景,以及对其在实际应用中的展望。

通过本文的阐述,希望能够为相关领域的研究者和实践者提供有益的参考和启发。

法的展望": {}}}}请编写文章1.3 目的部分的内容2.正文2.1 加权最小二乘定位算法原理加权最小二乘定位算法原理加权最小二乘定位算法是一种基于数学模型的定位方法,其原理是通过对测量结果进行加权处理,利用加权最小二乘法来估计目标的位置。

这种算法可以有效地处理具有噪声和误差的测量数据,提高定位精度和稳定性。

该算法的原理主要包括以下几个步骤:1.数据预处理:首先对收集到的定位数据进行预处理,包括滤波、去除异常值等操作,以保证数据的准确性和可靠性。

2.数学建模:根据实际定位场景和信号传播特性,建立数学模型,描述目标与测量节点之间的空间关系和信号传播规律。

加权最小二乘回归系数的估计计算过程

加权最小二乘回归系数的估计计算过程

加权最小二乘回归系数的估计计算过程1. 概述加权最小二乘回归是一种对数据进行线性建模的方法,在现实应用中经常被使用。

通过加权最小二乘回归,我们可以得到对数据的线性关系进行建模的最佳拟合直线,并估计出各个自变量的系数。

本文将详细介绍加权最小二乘回归系数的估计计算过程,以便读者能够深入了解这一方法的原理和实现。

2. 加权最小二乘回归的基本原理加权最小二乘回归方法是最小化因变量的观测值与回归函数预测值之间的加权残差平方和来确定回归系数的方法。

其数学表达式为:(1)min∑wi(yi - β0 - β1xi1 - ... - βpxip)^2其中wi是观测值的权重,yi表示因变量的观测值,β0是截距项,β1到βp为自变量系数,xi1到xip为自变量观测值。

3. 加权最小二乘回归系数的估计计算步骤加权最小二乘回归系数的估计计算过程可以分为以下几个步骤:(1)计算加权变量根据给定的权重,对自变量和因变量进行加权变换,得到加权后的自变量和因变量。

(2)构建加权矩阵根据加权后的自变量和因变量,构建加权矩阵。

加权矩阵是一个n×(p+1)的矩阵,其中n为样本量,p为自变量的个数。

(3)计算加权矩阵的转置矩阵对加权矩阵进行转置,得到加权矩阵的转置矩阵。

(4)计算加权矩阵的乘积将加权矩阵和其转置矩阵相乘,得到乘积矩阵。

(5)计算乘积矩阵的逆矩阵对乘积矩阵进行求逆运算,得到逆矩阵。

(6)计算加权矩阵和因变量的乘积将加权矩阵和因变量相乘,得到乘积向量。

(7)计算回归系数利用逆矩阵和乘积向量,通过线性代数方法计算得到回归系数的估计值。

4. 加权最小二乘回归的优势加权最小二乘回归相对于普通最小二乘回归的优势在于,它能够更好地处理数据的异方差性。

在普通最小二乘回归中,对所有观测值一视同仁,忽略了不同观测值的方差可能不同的情况。

而通过加权最小二乘回归,我们可以根据数据的特点赋予不同观测值不同的权重,从而更准确地估计回归系数。

加权最小二乘的原理

加权最小二乘的原理

加权最小二乘的原理
在统计学和数学领域,加权最小二乘是一种用于拟合数据的常见方法。

它的原理是通过最小化残差平方和来寻找最佳拟合直线或曲线,以便能够更好地描述数据的趋势和关系。

在实际应用中,有时候不同数据点的重要性并不相同,因此需要对不同数据点进行加权处理,以便更准确地拟合数据。

加权最小二乘的原理可以简单地理解为,在拟合数据时,给予不同数据点不同的权重,以使拟合结果更加符合实际情况。

这样做的目的是为了更好地反映数据点之间的关系,并且能够更准确地预测未知数据点的取值。

在实际应用中,加权最小二乘方法被广泛应用于各种领域,如经济学、生物学、工程学等。

在加权最小二乘方法中,我们首先需要确定每个数据点的权重,然后利用这些权重来调整拟合模型,使得拟合结果更加准确。

通常情况下,我们会根据数据点的可靠性和重要性来确定权重,以便更好地利用数据信息。

通过加权最小二乘方法,我们可以得到更可靠和准确的拟合结果,从而更好地理解数据的特征和规律。

总的来说,加权最小二乘的原理是利用最小化残差平方和的方法来拟合数据,并通过赋予不同数据点不同的权重来提高拟合的准确性。

这种方法在实际应用中具有广泛的意义,可以帮助我们更好地理解数据,预测未知数据点的取值,并为进一步的分析和研究提供有力
支持。

通过深入理解加权最小二乘的原理,我们可以更好地应用这一方法,从而更好地解决实际问题,并取得更好的研究成果。

最小二乘法

最小二乘法

第七章 最小二乘法最小二乘法是实验数据处理的一种基本方法。

它给出了数据处理的一条准则,即在最小二乘以一下获得的最佳结果(或最可信赖值)应使残差平方和最小。

基于这一准则所建立的一整套的理论和方法,为随机数据的处理提供了行之有效的手段,成为实验数据处理中应用十分广泛的基础内容之一。

自1805年勒让得(Legendre )提出最小二乘法以来,这一方法得到了迅速发展,并不断完善,成为回归分析、数理统计等方面的理论基础之一,广泛地应用于天文测量,大地测量及其他科学实验的数据处理中。

现代,矩阵理论的发展及电子计算机的广泛应用,为这一方法提供了新的理论工具和得力的数据处理手段。

随着计量技术及其他现代科学技术的迅速发展,最小二乘法在各学科领域将获得更为广泛的应用。

本章仅涉及独立的测量数据的最小二乘法处理。

以等精度线性参数的最小二乘法为中心,叙述最小二乘法原理,正规方程和正规方程的解,以及最小二乘估计的精度估计。

最后给出测量数据最小二乘法处理的几个例子。

7 .1 最小二乘法原理县考察下面的例子。

设有一金属尺,在温度()C t ︒条件下的长度可表示)1(0t y y t α+=式中 y 0——温度为0°C 时的金属尺的长度;α——金属材料的线膨胀系数; t ——测量尺长时的温度。

现要求给出y 0与α的数值。

为此,可在t 1与t 2两个温度条件下分别测得尺的长度l 1与l 2,得方程组()()⎭⎬⎫+=+=20210111t y l t y l αα由此可解得y 0与α。

事实上,由于测量结果l 1与l 2含有测量误差,所得到的y 0与α的值也含有误差。

显而易见,为减小所得y 0与α值的误差,应增加y t 的测量次数,以便利用抵偿性减小测量误差的影响。

设在n t t t ,,,21 温度条件下分别测得金属尺的长度n l l l ,,,21 共n 个结果,可列出方程组⎪⎪⎭⎪⎪⎬⎫+=+=+=)1()1()1(0202101n n t y l t y l t y l ααα)1(0t y y t α+=但由于方程式的数目n 多于待求量的数目,所以无法直接利用代数法求解上述方程组。

回归分析中的异方差性检验方法(六)

回归分析中的异方差性检验方法(六)

回归分析中的异方差性检验方法回归分析是统计学中一种常用的数据分析方法,它用来研究自变量和因变量之间的关系。

在进行回归分析时,我们通常会假设误差项的方差是恒定的,即不存在异方差性。

然而,在实际应用中,误差项的方差往往并非恒定的,而是存在异方差性。

异方差性会对回归分析的结果产生影响,因此需要进行异方差性检验并进行相应的修正。

一、异方差性的概念及影响异方差性是指误差项的方差不是恒定的,而是随着自变量的变化而变化。

当存在异方差性时,回归系数的估计值会失真,标准误差会被高估或低估,导致对回归系数和其显著性的检验结果产生偏误。

因此,必须进行异方差性的检验和修正,以确保回归分析结果的准确性和可靠性。

二、异方差性检验方法1. Park检验Park检验是一种常用的异方差性检验方法,它是基于残差的平方和与自变量的关系来进行检验的。

具体步骤是:首先进行回归分析,然后计算残差的平方和,接着将残差的平方和与自变量进行回归,最后通过F检验来检验残差的方差是否与自变量相关。

如果F统计量的显著性水平小于设定的显著性水平(通常为),则拒绝原假设,即存在异方差性。

2. Glejser检验Glejser检验是另一种常用的异方差性检验方法,它是通过对自变量的绝对值进行回归来进行检验的。

具体步骤是:首先进行回归分析,然后计算自变量的绝对值,接着将自变量的绝对值与残差进行回归,最后通过t检验来检验残差的方差是否与自变量相关。

如果t统计量的显著性水平小于设定的显著性水平(通常为),则拒绝原假设,即存在异方差性。

三、异方差性的修正方法1. 加权最小二乘法(Weighted Least Squares, WLS)当检验结果表明存在异方差性时,可以采用加权最小二乘法来进行修正。

加权最小二乘法是通过对残差进行加权,使得残差的方差与自变量的关系消失,从而得到回归系数的一致估计。

2. 广义最小二乘法(Generalized Least Squares, GLS)广义最小二乘法是对加权最小二乘法的推广,它允许误差项之间存在相关性,并对误差项的方差-协方差矩阵进行估计,从而得到回归系数的一致估计。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

浅谈加权最小二乘法及其残差图——兼答孙小素副教授何晓群刘文卿ABSTRACTThe paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots.关键词:异方差;加权最小二乘法;残差图;SPSS一、引言好几年没有翻《统计研究》了。

最近,有一同行朋友打电话告诉我《统计研究》2005年第11期上刊登了一篇有关我与刘文卿合作编著的《应用回归分析》(2001.6.中国人民大学出版社)教材的文章。

赶紧找到这期的《统计研究》,看到其中孙小素副教授的文章《加权最小二乘法残差图问题探讨——与何晓群教授商榷》一文,以下简称《孙文》。

认真拜读后感触良多。

首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节,同时感谢《统计研究》给我们提供这样一个好的机会,使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。

《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。

摆出了与加权最小二乘法相关的三类残差图,指出第三类残差图的局限性。

直接的问题是三类残差图的作用,而更深层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。

二、对加权最小二乘法的认识1. 加权最小二乘估计方法拙作《应用回归分析》中对加权最小二乘法有详尽的讲述,这里仅做简要介绍。

多元线(1)普通最小二乘估计就是寻找参数的估计值使式(1)的离差平方和达极小。

式(1)中每个平方项的权数相同,是普通最小二乘回归参数估计方法。

在误差项等方差不相关的条件下,普通最小二乘估计是回归参数的最小方差线性无偏估计。

然而在异方差的条件下,平方和中的每一项的地位是不相同的,误差项的方差大的项,在式(1)平方和中的取值就偏大,在平方和中的作用就大,因而普通最小二乘估计的回归线就被拉向方差大的项,方差大的项的拟合程度就好,而方差小的项的拟合程度就差。

由式(1)求出的仍然是的无偏估计,但不再是最小方差线性无偏估计。

加权最小二乘估计的方法是在平方和中加入一个适当的权数,以调整各项在平方和中的作用,加权最小二乘的离差平方和为:(2)加权最小二乘估计就是寻找参数的估计值使式(2)的离差平方和达极小。

所得加权最小二乘经验回归方程记做(3)理论上最优的权数为误差项方差的倒数,(4)误差项方差大的项接受小的权数,以降低其在式(2)平方和中的作用; 误差项方差小的项接受大的权数,以提高其在平方和中的作用。

由(2)式求出的加权最小二乘估计就是参数的最小方差线性无偏估计。

一个需要解决的问题是误差项的方差是未知的,因此无法真正按照式(4)选取权数。

在实际问题中误差项方差通常与自变量的水平有关,可以利用这种关系确定权数。

例如与第j个自变量取值的平方成比例时,即 =k时,(5)更一般的情况是误差项方差与某个自变量取值的幂函数成比例,即 =k ,其中m是待定的未知参数。

此时权数为(6)这时确定权数的问题转化为确定幂参数m的问题,可以借助SPSS软件解决。

《应用回归》书中和《孙文》中都讲了这个方法,本文不再重述。

需要注意的是,在实际问题中比例关系 =k 只是近似的,式(6)确定的权数只是式(4)最优权数的近似值,因此所得的参数最小二乘估计也只是近似的最小方差线性无偏估计。

2. 变量变换的加权最小二乘法《孙文》中谈到:加权最小二乘法的实质是要对原始数据实施变换,获得新的解释变量和被解释变量,变换的方法是:(表示变换后的被解释变量)(7),h=0,1,2,……,p (是对应于原始变量的新解释变量)(8)对变换后的变量()重新进行普通最小二成估计(注意,此处的回归模型不包含常数项,增加了数据变换后派生出的一个新解释变量),即可得到加权最小二乘法的经验回归方程:(9)以上是《孙文》中对加权最小二乘法的解释,其中公式(7)、(8)、(9)分别对应《孙文》中的公式(3)、(4)、(5)。

3. 两种方法的异同相同之处。

显然,式(3)与式(9)两个回归方程是等价的,把式(3)同时乘以后就转化为式(9)。

拙作《应用回归分析》在正文中对加权变换残差图完全没有提及,不过“本章小结与评注”中的一句话“如果把误差项加权,那么加权的误差项是等方差的”,可以看作是对加权变换残差的诠释。

拙作《应用回归分析》关于加权普通残差图的内容是这样讲述的:“为了画残差图,需要计算出加权最小二乘估计的残差,这需要重新做回归。

第一步,在Weight Estimation对话框的Options选项中,保存最优权作为新的变量。

第二步,进入线性回归对话框,点选左下角的WLS,线性回归对话框会增加一行Weight 变量框,把在第一步保存的最优权变量选入。

第三步,点选线性回归对话框的Save选项,保存残差变量,运行。

第四步,以自变量x为横轴,以加权最小二乘估计的残差为纵轴画残差图”这段内容的直接作用是介绍加权普通残差图的绘制方法,其间接作用是介绍SPSS软件加权最小二乘估计功能的使用方法,也就是“第二步”的内容。

在SPSS软件中,加权最小二乘回归具有普通最小二乘回归的很多功能,包括共线性诊断、异常值判定、自相关分析、区间预测等等,这些功能都是以“第二步”的内容为基础的,计算残差只是众多功能之一而已。

用图形来评价结果往往只是一种粗糙的辅助手段。

正像我们在拙作《应用回归分析》第121页“本章小结与评注”上强调指出:“关于异方差性的诊断,方法很多,至于哪种检验方法最好,目前还没有一致的看法。

残差图方法直观但较粗糙。

等级相关系数检验要比残差图检验方法更为可取。

”四、对异方差问题的深入思考拙作《应用回归分析》教材定位于统计学专业的本科生或非统计学专业的硕士生,作为3学分54学时的课程教材,限制篇幅和深度,教材中对一些问题不可能全面展开叙述,在此对异方差的一些问题再做进一步探讨。

当回归模型存在异方差时,加权最小二乘估计只是对普通最小二乘估计的改进,这种改进有可能是细微的,不能理解为加权最小二乘估计会得到与普通最小二乘估计截然不同的回归方程,或者一定有大幅度的改进。

对本例的数据,普通最小二乘的经验回归方程是,加权最小二乘的经验回归方程是,两者相差不大。

比较加权普通残差图与普通残差图的差异就可以如实反映这种改进幅度。

看来需要强调指出的是这个改进幅度不是指是否变为等方差了,而是指回归方程也就是回归系数估计值的差异幅度,在这一问题上加权普通残差图是优于加权变换残差图的。

实际上,可以构造出这样的数据,回归模型存在很强的异方差,加权回归后变为等方差了,但是普通最小二乘与加权最小二乘所得的回归方程却完全一样。

加权最小二乘以牺牲大方差项的拟合效果为代价改善了小方差项的拟合效果,这也并不总是研究者所需要的。

在社会经济现象中,通常变量取值大时方差也大,在以经济总量为研究目标时,更关心的是变量取值大的项,而普通最小二乘恰好能满足这个要求。

动态数据的指数平滑法把近期数据加上大的权数,强调近期数据的贡献就是这样的统计思想。

加权最小二乘估计的理论权数是式(4),但是实际使用的只能是近似的,通常取为某个自变量平方的倒数,即。

对本例的数据,取,加权最小二乘回归方程为,判定系数 =0.933。

而取最优权数所得加权最小二乘回归方程为, =0.936,两者非常接近。

所以当手头没有SPSS软件时,直接取是一个可行的方法,这时对加权最小二乘回归的效果要用残差图等方法验证。

如前所述,当用变换变量方法做加权最小二乘估计时,选取的一个好处是回归模型中仍然含有常数项,这时不同软件对回归拟合优度检验的结果就一致了。

异方差问题是社会经济现象建立回归模型时的普遍问题,加权最小二乘估计是解决异方差的一个常用方法,另外一个方法是当模型存在异方差性时,人们往往还考虑对因变量作变换,使得对变换过后的数据误差方差能够近似相等,即方差比较稳定,所以通常称这种变换为方差稳定化变换,常见的变(1)如果与存在一定的比例关系,使用 ;(2)如果与存在一定的比例关系,使用 ;(3)如果与存在一定的比例关系,使用方差稳定变换在改变误差项方差的同时,也会改变误差项的分布,改变回归函数的形式。

因而当误差项服从正态分布,因变量与自变量之间遵从线性回归函数,只是误差项存在异方差时,应该采用加权最小二乘估计,以消除异方差的影响。

当误差项不仅存在异方差,而且误差项不服从正态分布,因变量与自变量之间也不遵从线性回归函数关系时,应该采用方差稳定变换。

变换变量的加权最小二乘估计方法可以看作方差稳定变换的一个特例,是同时变换自变量与因变量的方法,对因变量的变换是线性的,因此只改变误差项的方差,而不改变分布。

从统计思想看,方差稳定变换是真正消除了异方差。

加权最小二乘并不是去真正消除异方差,而只是通过加权的方法消除异方差对回归估计的不良影响,虽然存在异方差但是也能够构造良好的估计量,这体现了统计方法的灵活多样性。

如果认为统计方法只能适用于等方差的情况,遇到异方差时一定要先把数据变换为等方差才能处理,这种认识就显狭隘和片面了。

异方差、自相关、共线性是计量经济学建立经济回归模型常遇到的问题,拙作《应用回归分析》中重点讲的是共线性问题,用一章的内容讲述共线性的危害及识别方法,再用一章的内容讲述用SPSS软件做岭回归解决共线性问题的详细方法,而淡化了对异方差和自相关的讲述。

自相关虽然是很重要的内容,但是对此问题的深入探讨属于时间序列分析的内容,作为回归分析教材只是做简要介绍。

如前所述,即使回归模型存在很强的异方差,但是加权最小二乘所得的回归方程可能只是对普通最小二乘的微小调整,并且这种调整还不一定是研究者所需要的,所以我们认为异方差对回归模型的危害远不如共线性严重。

这样就把异方差、自相关和异常值这三个问题合并为教材的一章内容,仅对重要的方法做简要介绍,一些没能在正文中讲述的问题则在“本章小结与评注”中做简要的说明或提示。

这种认识是否正确,处理方式是否妥当,还请孙小素副教授和广大同行不吝指正。

相关文档
最新文档