备课笔记_回归检验

1.ttest 二个样本独立T检验

use https://www.360docs.net/doc/f211633184.html,/stat/stata/webbooks/reg/elemapi2

ttest api00, by(yr_rnd)

Two-sample t test with equal variances

2.检查回归模型残差的正态性

一般的观点是多元回归要求残差为正态分布。实际情况是，进行回归的有效性检验如t检验的P值、F检验的p值的情况下要求残差是正态性分布的，但回归系数估计的无偏性并不要求残差的正态性。OLS只要求残差项（误差项）独立同分布。此外，对X变量的正态分布假设也不是必要的，例如对虚拟变量的回归。

当我们进行回归分析时，通常用predict 命令提取回归的残差项，并用kdensity, qnorm, pnorm 等命令检验残差是否为正态分布。

use https://www.360docs.net/doc/f211633184.html,/stat/stata/webbooks/reg/elemapi2 //api00：学术绩效；ell：英语学习人数；emer：拥有证书的教师比例；

regress api00 meals ell emer

predict r, resid //用predict命令求得残差

kdensity r, normal //用kdensity命令进行核心密度估计并生成核密度图，其中normal选项要求正态密度和计算的核密度叠加。核密度图可以相像成是一系列无限小的柱状图组合而成。

pnorm r // pnorm命令画出标准正态概率图（P-P）。pnorm对数据中段的非正态性非常敏感。

qnorm r // qnorm命令画出变量ｒ的分位数（与分位数的正态分布相反）。qnorm对数据两端的非正态性比较敏感。

从上面两图可以看到，残差分布稍微偏离正态分布，接受残差分布为正态分布的假设。

除图形检验外，还可以用数值方法检验分布的正态性。其中一个检验程序是由Lawrence C. Hamilton 编写的，可以通过findit iqr 命令将其从网络中搜寻并安装，或者在Stata 中的帮助里查找iqr ，找到后击相对应的程序再点击、install 。

iqr r

另一个可用的检验是swilk 命令，是Shapiro-Wilk W 正态性检验，零假设为正态分布。 swilk r

从检验结果来看，p 值非常大（p=0.51），表明不能拒绝零假设。

3.检查残差的同方差（Checking Homoscedasticity of Residuals ）

OLS 的一个主要假设是残差方差是齐次的，即同方差。如果模型拟合较好，残差图和拟合值应该是一致的。如果残差的方差不是常数，意味着残差方差为“异方差”（heteroscedastic ）。可以用图形法，或者非图形法检测异方差。较常用的图形法是画出残差与拟合值，即rvfplot 命令。

rvfplot , yline(0) // yline(0)选项指使用y=0作为参考线。

R e s i d u a l s 从图上可以看到数据点分布基本均匀，只是右端有点窄，这时可认为是同方差。

还有两个命令可以检验同方差，estat imtest 和estat hettest 。

第一个是White's test，第二个是Breusch-Pagan test。二者的零假设均为方差残差是同方差。因此，如果p值非常小，我们拒绝零假设，接受备择假设，即存在异方差。

estat imtest

. estat imtest

Cameron & Trivedi's decomposition of IM-test

Source chi2 df p

Heteroskedasticity 18.35 9 0.0313

Skewness 7.78 3 0.0507

Kurtosis 0.27 1 0.6067

Total 26.40 13 0.0150

estat hettest

Breusch-Pagan / Cook-Weisberg test for heteroskedasticity

Ho: Constant variance

Variables: fitted values of api00

chi2(1) = 8.75

Prob > chi2 = 0.0031

从上面的结果来看，拒绝了同方差的零假设。这两个检验对模型假设非常敏感，因此需要和图形诊断结合起来检验异方差，以及决定是否需要修正异方差。从前面的例子来看，图形分析结果不是很明确。如何修正异方差，则需要用GLS（广义最小二乘法）、FGLS（可行广义最小二乘法）、WLS（加权最小二乘法）估计来解决，或者使用稳健标准差进行回归（Stata的命令是在回归时加上robust参数）。

使用“OLS+稳健标准差”时对回归系数和标准差的估计都是一致的，并不需要知道条件方差函数的形式，在Stata中的操作也十分简单，在回归命令reg后加上选择项“robust”即可。从理论上来讲，GLS是BLUE，但FGLS即非线性估计，也不是无偏估计，因此它不是BLUE。FGLS 必须先用用样本数据来一致地估计扰动项的协方差矩阵V(X)，然后再使用GLS，因此也被称为

可行加权最小二乘法（FWLS），有，其中是V的一致估计，此时是数据集（y, x）的非线性函数，因此是y的非线性函数，一般来说是有偏的。FWLS一般用于大样本理论中。FWLS的另一个缺点是必段估计条件方差函数，而通常情况下并不

知道条件方差的具体形式，如果该函数的设定不正确，则根据FWLS计算的标准差可能失效从而导致不正确的推断。总之“OLS+稳健标准差”适用于更一般的情形，而FWLS更为有效，因此我们必须在稳健性和有效性之间作出选择。具体来说，如果对V的估计不准确，FWLS估计效果不如“OLS+稳健标准差”。Stock and Waston(2004)建议大多数情况下应该使用后者。

下面是一个完整诊断异方差和处理异方差的例子。

use nerlve.dta, clear

reg lntc lnq lnpl lnpk lnpf

rvfplot //画残差与拟合值的散点图

rvpplot lnq //画残差与解释变量的散点图

从上面两个图均可以看到残差和拟合值、解释变量均存在较大的波动，很可能存在异方差。Estat imtest, white //怀特检验

estat hettest, iid //默认设置为使用拟合值检验，同时假定扰动项独立同分布

estat hettest, rhs iid //使用方程右边的解释变量进行检验

estat hottest lnq, iid //

各种BP检验结果的p值都拒绝同方差的原假设

在stata中实现WLS的方法如下：

reg （被解释变量）（解释变量1）（解释变量2）……[aweight=变量名]

其中，aweight后面的变量就是权重，是我们设定的函数。

一种经常的设定是假设扰动项的条件方差是所有解释变量的某个线性组合的指数函数。在stata中也可以方便地实现：

首先做标准的OLS回归，并得到残差项；

reg （被解释变量）（解释变量1）（解释变量2）……

predict r, resid

生成新变量logusq，并用它对所有解释变量做回归，得到这个回归的拟合值，再对这个拟合值求指数函数；

gen logusq=ln(r^2)

reg logusq (解释变量1) （解释变量2）……

predict g, xb

gen h=exp(g)

最后以h作为权重做WLS回归；

reg （被解释变量）（解释变量1）（解释变量2）……[aweight=h]

如果我们确切地知道扰动项的协方差矩阵的形式，那么GLS估计是最小方差线性无偏估计，是所有线性估计中最好的。显然它比OLS更有效率。虽然GLS有很多好处，但有一个致命弱点：就是一般而言我们不知道扰动项的协方差矩阵，因而无法保证结果的有效性。

到现在我们已经有了两种处理异方差的方法：一是使用对异方差稳健的标准误调整t统计量，并以此作推断；另一种是设定异方差的形式，使用可行的GLS得到有效估计。下面总结一下标准的OLS估计同上述两种方法的优劣，并结合检验异方差的方法，给出处理异方差的一般步骤。

4.检查多重共线性（Checking for Multicollinearity）

多重共线性指两个以上解释变量有较强的关联性，这意味着它们之间是可以相互替代的。我们主要关心多重共线性的程度有多少？因为从OLS估计的假设来看，多重共线性会导致回归系数标准误大幅增加，使得估计的回归系数不稳定。

可以使用vif命令在回归完成后检验多重共线性。vif可以替代方差波动指标，如果VIF值大于10，说明存在多重共线性。一般来说VIF值在0.1-10之间是可以接受的，即因变量可以看成是其它自变量的线性组合。

regress api00 meals ell emer

vif //共线性检验结果可以接受

regress api00 acs_k3 avg_ed grad_sch col_grad some_col //又一个例子

vif //共线性检验结果可以接受

从上面VIF和1/VIF（容忍度）的结果来看，avg_ed，grad_sch和col_grad变量的结果比较糟糕，所有这些衡量父母受教育程度的变量有较高的VIF值，这说明部分变量是过度加入的。例如，当得知rad_sch和col_grad的值时，能够求出avg_ed的值。因为在模型中放入了3个同样说明父母教育程度的变量，多重共线性情况就非常严重。

去掉一个解释父母受教育平均程度的解释变量avg_ed，可以看到VIF值变得比较理想。同样，也可以看到变量grad_sch和col_grad的回归标准误较之前面一个回归模型大幅减小，因为多重共线性会导致回归标准误大幅增加。当多重共线性情况消除后，变量grad_sch从不显著变变得显著了。

regress api00 acs_k3 grad_sch col_grad some_col

Source SS df MS Number of obs = 398

F( 4, 393) = 107.12

Model 4180144.34 4 1045036.09 Prob > F = 0.0000

Residual 3834062.79 393 9755.88497 R-squared = 0.5216

Adj R-squared = 0.5167

Total 8014207.14 397 20186.9197 Root MSE = 98.772

api00 Coef. Std. Err. t P>|t| [95% Conf. Interval]

acs_k3 11.7126 3.664872 3.20 0.002 4.507392 18.91781

grad_sch 5.634762 .4581979 12.30 0.000 4.733936 6.535588

col_grad 2.479916 .3395548 7.30 0.000 1.812345 3.147487

some_col 2.158271 .4438822 4.86 0.000 1.28559 3.030952

_cons 283.7446 70.32475 4.03 0.000 145.4848 422.0044

vif

Variable VIF 1/VIF

col_grad 1.28 0.782726

grad_sch 1.26 0.792131

some_col 1.03 0.966696

acs_k3 1.02 0.976666

Mean VIF 1.15

另一个检测多重共线性的命令为collin，它提供了几种不同的测量方法。我们可以检验上面两个回归模型中变量之间的共线性问题，可以看到，不像vif命令，collin命令不需要在回归之后进行，因此只有解释变量（predictor）可以进行共线性检验。Collin命令是第三方开发的，需要用前面说过的方法（findit）安装。命令为findit collin，然后在弹出来的帮助窗口找到如下容，点击后安装即可。

collin acs_k3 avg_ed grad_sch col_grad some_col

Collinearity Diagnostics

SQRT R-

Variable VIF VIF Tolerance Squared

----------------------------------------------------

acs_k3 1.03 1.01 0.9719 0.0281

avg_ed 43.57 6.60 0.0230 0.9770

grad_sch 14.86 3.86 0.0673 0.9327

col_grad 14.78 3.84 0.0677 0.9323

some_col 4.07 2.02 0.2460 0.7540

----------------------------------------------------

Mean VIF 15.66

Cond

Eigenval Index

---------------------------------

1 5.0125 1.0000

2 0.5889 2.9175

3 0.2526 4.4550

4 0.1420 5.9404

5 0.0028 42.0362

6 0.0012 65.8866

---------------------------------

Condition Number 65.8866

Eigenvalues & Cond Index computed from scaled raw sscp (w/ intercept)

Det(correlation matrix) 0.0183

把VIF值最大的变量avg_ed删除再检验一次，结果显示良好。

collin acs_k3 grad_sch col_grad some_col

注：collin的帮助文件：

---------------------------------------------------------------------------------------------------------------------- help for collin

----------------------------------------------------------------------------------------------------------------------Collinearity Diagnostics

------------------------

collin varlist [if exp] [in range] [, corr rinv]

Description

collin computes several collinearity diagnostic measures including VIF, tolerance, eigenvalues, condition index, and R-squared. It will compute the eigenvalues and condition index on either the raw SSCP with an intercept (default) or the deviation SSCP without an intercept.

Option

corr Eigenvalues and condition index computed from correlation matrix without a constant.

By default the eigenvalues and condition index are computed on the scaled raw score

SSCP matrix with an intercept.

rinv display inverse of correlation matrix.

Examples

collin read write math

collin read write math, corr rinv

collin read write math if gender==1

collin read write math if e(sample)

5.线性检验（Checking Linearity）

进行线性回归时，假设自变量和因变量都是线性的，这就是线性假设。如果该假设无效，回归估计将试图将自变量与因变量的关系拟合成一条直线而不是遵循线性关系。因为只有一个因变量，因此检验线性关系较为简单，只要看自变量和因变量的散点图是否存在线性关系即可。

use https://www.360docs.net/doc/f211633184.html,/stat/stata/webbooks/reg/elemapi2

regress api00 enroll

twoway (scatter api00 enroll) (lfit api00 enroll) (lowess api00 enroll)

用scatter 命令看api00的拟合情况，lfit 命令是显示线性拟合，lowess 则是经过平滑修饰的拟合线，可以看到二者存在一定程度的非线性关系。

对于多元回归而言，线性假设检验更复杂一些。较为直接的方法是回归之后将残差与每个自变量描绘在图上。如果能看到没有明显的线性关系，即存在非线性。此外还可以从散点图上看是否是随机分布的。仍然用elemapi2数据，用其它一些变量回归：

regress api00 meals some_col _cons 869.097 9.417734 92.28 0.000 850.5822 887.6119

some_col .8476549 .2771428 3.06 0.002 .302804 1.392506

meals -3.949 .0984576 -40.11 0.000 -4.142563 -3.755436

api00 Coef. Std. Err. t P>|t| [95% Conf. Interval]

Total 8073672 399 20234.7669 Root MSE = 61.238

Adj R-squared = 0.8147

Residual 1488766.25 397 3750.04094 R-squared = 0.8156

Model 6584905.75 2 3292452.87 Prob > F = 0.0000

F( 2, 397) = 877.98

Source SS df MS Number of obs = 400

predict r, resid scatter r meals

-200-1000

100

200

R e s i d u a l s 020*********

pct free meals

scatter r some_col

R e s i d u a l s 上面两个残差与解释变量的散点图说明残差与二个变量之间存在一定的线性关系，初步可以接受线性假设。命令acprplot 是另一种检验非线性关系的方法。acprplot 描绘出扩展的解释变量+残差图，可用于诊断数据的非线性关系。

acprplot meals, lowess lsopts(bwidth(1)) // lowess lsopts(bwidth(1))参数分别指使用平滑曲线表示拟合，lsopts(bwidth(1))指带宽平滑度设置为1.下面是帮助文件中具体的解释。帮助文件打开的是Postestimation tools for regress 的相关容，具体解释需要自己找一下。

bwidth(#) specifies the bandwidth. Centered subsets of bwidth()*N observations are used for

calculating smoothed values for each point in the data except for end points , where smaller,

uncentered subsets are used. The greater the bwidth(), the greater the smoothing.

The default is 0.8.

acprplot some_col, lowess lsopts(bwidth(1))

第一图中拟合的平滑曲线比较接近原始的回归线，说明是线性的。第二图在拟合线的右侧存在非线性的问题，这也许是某个数据所造成的。总之二个变量都不存在明显的非线性问题。

另外一个例子来自"Statistics with Stata 5" by Lawrence C. Hamilton (Duxbery Press, 1997)。

use https://www.360docs.net/doc/f211633184.html,/stat/stata/examples/sws5/nations, clear

describe

regress birth gnpcap urban // birth指出生率，gnpcap指人均国民生产总值，urban指城市人口数量。

acprplot gnpcap, lowess

acprplot urban, lowess

结果很明显。

graph matrix birth gnpcap urban, half

可以看到出生率和人均GDP，城市人口与人均GDP都存在明显的非线性关系，这时需要把人均GDP这一变量做些处理。首先看一下变量gnpcap的分布情况，用kdensity命令：

kdensity gnpcap, normal //单变量核密度估计

.00005

.00015

D e n s i t y 可以看到gnpcap 的分布有较大左倾，这意味着需要对变量进行处理。通常的办法是取对数。 generate lggnp=log(gnpcap) //生成新变量lggnp ，值为gnpcap 的以10为底的对数；

label variable lggnp "log-10 of gnpcap" //给新变量加上标签，这会显示在变量栏里；

kdensity lggnp, normal

D e n s i t y

经过取对数转换后好多了。用新的变量lggnp 加入回归。

regress birth lggnp urban

acprplot lggnp, lowess

可以看到，尽管仍然存在非线性问题，但较之以前情况有了很大改善。

6 模型设定检验（Model Specification）

当模型忽略了重要变量，或者无关变量加入回归方程都会导致模型设定错误。前者会导致将有效变量的共同方差归到现有的变量当中，且误差项的方差包含了重要变量，因此会变得较大。后者则会导致正确变量的方差错误地归结无关变量上。模型设定错误会显著影响系数估计。

下面的模型要验证班级规模对成绩有正向影响，即班级规模越大，成绩会越高。看一到模型设定。

use https://www.360docs.net/doc/f211633184.html,/stat/stata/webbooks/reg/elemapi2, clear

regress api00 acs_k3

有两种办法检验模型设定。linktest命令可以对单方程的模型设定进行检验，它的基本思想是如果模型设定正确，其它变量很少有机会被再加入进去。linktest命令建立两个新变量，一是变量的预测值_hat，另一个是变量预测值的平方_hatsq，然后用这两个新变量对被解释变量再一次进行回归。因为是预测值，_hat应该是显著的，另外，如果我们模型设定正确的话预测值的平方不会有很强的解释能力，_hatsq不会显著。也就是说，只要看_hatsq的p值是否显著我们就能够知道模型是否正确设定。

linktest

从linktest结果来看，_hatsq的值不显著（>0.05），也就是说linktest检验结果没有拒绝模型设定正确的零假设，即看来起这个模型设定是正确的。但再看看另一种检验方法ovtest。

ovtest命令执行的是回归设定误差检验（regression specification error test，RESET），ovtest 检验和linktest检验的思路是相类似的。

ovtest

ovtest的结果表明存在遗漏变量。这两个检验结果有一个表明存在模型设定错误，因此需要重新考虑在模型中加入新的变量。

regress api00 acs_k3 full

linktest

ovtest

从上面的分析可见，两种检验结果都表明模型设定错误。因此可以再加入一个新的变量meals。

regress api00 acs_k3 full meals

linktest

ovtest

linktest的检验结果变得显著了，同时ovtest的检验p值>0.05。但把变量meals and full放进模型后，size变量的系数变得不再显著。当没有其它变量进入模型的时候acs_k3对api00的影响有正向关系，而当其它重要变量进入模型后acs_k3的估计系数成为了负值。

尽管linktest在本例当中能够识别遗漏变量，但linktest和ovtest的联合运用才是Stata软件诊断模型设定的亮点。更多的知识请参阅Stata手册。