多元线性回归模型统计检验
多元线性回归的统计检验
2
R
1
(1
R2 )
n 1
n k 1
2.方程总体线性的显著性检验（F检验）
方程显著性F检验的模型：
Yi 0 1X1i 2 X 2i ... k X ki ui
检验参数k是否显著为零。 按照假设检验的原理和程序，原假设与备择假
2是随机干扰项的方差，实际计算中用 代
替。
服从正态分布如下：
j
j N(j, 2cjj )
t j j
S
j
j j
c jj
ee n k 1
t(n k 1)
t 检验
在变量显著性检验中，针对 假设为：
设X j计的原假设和备择
H0 : j 0
给定一个显著H性1：水平j α，0得到临界值t 2
或者
2
R
F
k
2
(1 R )
(n k 1)
变量的显著性检验（ t 检验）
多元线性回归模型，方程的总体线性关系式显 著的，并不能说明每个解释变量对被解释变量 的影响都是显著的。因此必须对每个解释变量 进行显著性检验，以决定是否作为解释变量被 保留在模型中。
t 统计量
参数估计量的方差：
cCoj表jv(示) 矩 2阵(X( XXX)1)主1 V对ar角(线j) 上 的2c jj第j个元素。 2
因此，在多元回归模型之家比较拟合优度，R2 不是一个合适的指标。
可调整的可决系数
思路：在样本容量一定的情况下，增加解释变 量必定使得自由度减少，所以要将残差平方和 与总离差平方和分别除以各自的自由度，剔除 变量个数对拟合优度的影响。公式如下：
RSS
2
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
多元线性回归——模型、估计、检验与预测
多元线性回归——模型、估计、检验与预测⼀、模型假设传统多元线性回归模型最重要的假设的原理为：1. ⾃变量和因变量之间存在多元线性关系，因变量y能够被x1,x2….x{k}完全地线性解释；2.不能被解释的部分则为纯粹的⽆法观测到的误差其它假设主要为：1.模型线性，设定正确；2.⽆多重共线性；3.⽆内⽣性；4.随机误差项具有条件零均值、同⽅差、以及⽆⾃相关；5.随机误差项正态分布具体见另⼀篇⽂章：回归模型的基本假设⼆、估计⽅法⽬标：估计出多元回归模型的参数注：下⽂皆为矩阵表述，X为⾃变量矩阵(n*k维)，y为因变量向量（n*1维）OLS（普通最⼩⼆乘估计）思想：多元回归模型的参数应当能够使得，因变量y的样本向量在由⾃变量X的样本所构成的线性空间G（x）的投影（即y’= xb）为向量y 在线性空间G(x)上的正交投影。
直⽩⼀点说，就是要使得(y-y’)’(y-y’)最⼩化，从⽽能够使y的预测值与y的真实值之间的差距最⼩。
使⽤凸优化⽅法，可以求得参数的估计值为：b = (x’x)^(-1)x’y最⼤似然估计既然已经在假设中假设了随机误差项的分布为正态分布，那么⾃变量y的分布也可以由线性模型推算出来（其分布的具体函数包括参数b在内）。
进⼀步的既然已经抽取到了y的样本，那么使得y的样本出现概率（联合概率密度）最⼤的参数即为所求最终结果与OLS估计的结果是⼀致的矩估计思想：通过寻找总体矩条件(模型设定时已经有的假设，即⽆内⽣性)，在总体矩条件中有参数的存在，然后⽤样本矩形条件来进⾏推导未知参数的解。
在多元回归中有外⽣性假设：对应的样本矩为：最终估计结果与OLS⽅法也是⼀样的。
三、模型检验1.拟合优度检验（1）因变量y是随机变量，⽽估计出来的y’却不是随机变量；（2）拟合优度表⽰的是模型的估计值y’能够在多⼤程度上解释因变量样本y的变动。
（3）y’的变动解释y的变动能⼒越强，则说明模型拟合的越好y-y’就越接近与假设的随机误差（4）⽽因变量的变动是由其⽅差来描述的。
《医学统计学》之多元(重)线性回归
多元(重)线性回归模型的假设
1 线性关系
假设自变量与因变量之间存在线性关系，即因变量可以用自变量的线性组合来表示。
2 独立性
假设误差项之间相互独立，即每个观测值的误差项不受其他观测值的影响。
3 常数方差
假设误差项具有常数方差，即各个观测值的误差方差相同。
多元(重)线性回归模型的估计方法
最小二乘法
多元(重)线性回归模型的模型选择方法
前向选择法
从不包含自变量的空模型开 始，逐步添加自变量，选择 最佳的组合。
后向消除法
从包含所有自变量的全模型 开始，逐步删除自变量，选 择最简单且最有效的模型。
逐步回归法
结合前向选择法和后向消除 法，逐步调整自变量，找到 最优的模型。
多元(重)线性回归模型的实际应用
医学研究
用于分析多个影响因素对疾病发生、病程进展和治 疗效果的影响。
市场分析
用于预测市场需求和销售量，并确定最佳的市场推 广策略。
财务预测
社会科学
用于预测企业的财务状况，并制定相应的经营决策。
用于研究社会现象和群体行为，解释和预测社会现 象的变化。
通过方差膨胀因子等指标，判断自变量之间是否存在高度相关性，以避免估计结果的不 准确性。
多元(重)线性回归模型的模型检验
1
残差分析
通过观察残差的分布和模式，检验回归模型是否符合基本假设。
2
拟合优度检验
通过比较拟合优度指标（如决定系数R²）和假设分布，评估回归模型的拟合程度。
3
异常值检验
通过检测异常值对回归分析结果的影响，判断数据中是否存在异常观测值。
《医学统计学》之多元 (重)线性回归
在医学统计学中，多元(重)线性回归是一种强大的数据分析方法，可用于探索 和建立多个自变量与因变量之间的关系。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββΛΛ22110 （1）的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21ΛΛ=。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
第二章 多元线性回归模型
ˆ ˆ ˆ) ( Y Y 2Y Xβ β X Xβ 0 ˆ β
ˆ X Y X Xβ 0
得到：
ˆ XY XXβ
ˆ β ( X X) 1 X Y
于是：
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 ( X ' X) X 1 1 X2 1 X1 1 1 X 2 n X n X i 1 X n
可以证明，随机误差项的方差的无偏估计量为
e e ˆ n k 1 n k 1
2
e i2
二、最大或然估计
对于多元线性回归模型: i N 0, 2 , i 1, 2, , n
易知:
Yi ~ N ( X i β , 2 ) 其中: Xi 1 Xi1 Xi1 Xik
j
一、普通最小二乘估计
对于随机抽取的n组观测值 Yi , X ij , i 1, 2,, n; j 0,1, 2,, k , 其中X i 0 1
k 1个未知参数，如果样本函数的参数估计值已经得到，则有：
Y i 0 1 X i1 2 X i 2 k X ik , i 1, 2,, n
五、多元线性回归模型的参数估计实例
地区城镇居民消费模型
• 被解释变量：该地区城镇居民人均消费Y
• 解释变量：
– 该地区城镇居民人均可支配收入X1 – 前一年该地区城镇居民人均消费X2
• 样本：2006年，31个地区
数据
地区 2006年消费 支出 Y
北 天 河 山 辽 吉 上 江 浙 安 福 江 山 河 京 津 北 西 宁 林 海 苏 江 徽 建 西 东 南 14825.4 10548.1 7343.5 7170.9 7666.6 7987.5 7352.6 6655.4 14761.8 9628.6 13348.5 7294.7 9807.7 6645.5 8468.4 6685.2
5、计量经济学【多元线性回归模型】
那么，多元线性样本回归函数 (方程) (3.3) 式的矩阵
表达式为： ˆ0
ˆ1
其中：ˆ
ˆ2
M
ˆk
(
Yˆ
YYˆˆ12 M
Yˆn
k 1)1
Yˆ X ˆ, , , , , , , , , , , , , , , , , , , , , , , (3.7)
该样本回归模型与总体回归模型相对应，其中残差 ei Yi Yˆi 可看成是总体回归模型中随机误差项 i 的 估计值。
2、多元线性回归模型的几种形式： 上述几种形式的矩阵表达式： 将多元线性总体回归模型 (3.1) 式表示的 n 个随机方 程写成方程组的形式，有：
Y1 0 1 X11 2 X 21 L k X k1 1 .Y.2.........0.......1.X...1.2........2.X...2.2. L k X k 2 2 Yn 0 1 X1n 2 X 2n L k X kn n
M
k
(k 1)1
n
n1
2、多元线性回归模型的几种形式：
并且，记
Y
Y1
Y2
为被解释变量的观测值向量；
M
Yn n1
1 X11 X 21 L
记
X 1 M
X12 M
X 22 M
L
1 X1n X 2n L
Xk1
X
k
Yi 0 1X1i 2 X 2i L k X ki i , , , ,i 1, 2,L , n, , , , (3.1)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Adjusted R-squared 0.994919 S.D. dependent var 372.6339
S.E. of regression
26.56264 Akaike info criterion 9.523012
Sum squared resid 13405.90 Schwarz criterion
GDPP
0.221359 0.060973 3.630462 0.0018
CONSP(-1)
0.451408 0.170318 2.650380 0.0158
C
120.7253 36.51374 3.306299 0.0037
R-squared
0.995403 Mean dependent var 928.4909
实现。
问题：采用普通最小二乘估计方法，已经保证了 模型最好地拟合了样本观察值，为什么还要检验 拟合程度？
2、总体平方和、回归平方和、残差平方和定义
TSS (YiY)2总体平方和(Total Sum of Squares) ESS (Y ˆi Y)2回归平方和(Explained Sum of Squares) RSS (Yi Y ˆi)2残差平方和(Residual Sum of Squares)
可决系数r2
r2 ESS 1RSS TSS TSS
r2越接近于1，模型的拟合优度越高。
问题： 如果在模型中增加一个解释变量， r2往往增大(?) 是否越多的解释变量，模型拟合的越好？
在消费模型中，Eviews软件估计结果
Dependent Variable: CONSP
Method: Least Squares
Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion Hannan-Quinn criter. Durbin-Watson stat
Prob. 0.0000 0.0000 905.3304 380.6334 9.929800 10.02854 9.954632 0.550636
§2.4 多元线性回归模型的 统计检验和区间估计
Statistical Test and Interval Estimation of
Multiple Linear Regression Model
拟合优度检验 AIC和SC准则 方程的显著性检验（F 检验） 变量的显著性检验（t 检验） 参数估计量的区间估计 预测值的区间估计 受约束回归 参数稳定性检验
问题：既然RSS反映了样本观测值与估计值偏 离的大小，可否直接用它来作为拟合优度检验 的统计量？ 统计量必须是相对量。
TSS、ESS、RSS之间的关系 TSS=ESS+RSS
3、一个有趣的现象：
Y i YY i Y ˆY ˆi Y
Y i Y2=Y i Y ˆ2Y ˆi Y2
Sum squared resid 23237.06
Log likelihood
-112.1927
F-statistic
2859.544
Prob(F-statistic)
0.000000
Std. Error t-Statistic 0.007222 53.47471 14.88402 13.51241
在消费模型中，Eviews软件估计结果
Dependent Variable: CONSP
Method: Least Squares
Sample (adjusted): 1979 2000
Included observations: 22 after adjustments
Variable
Coefficient Std. Error t-Statistic Prob.
Sample: 1978 2000
Included observations: 23
Variable
Coefficient
GDPP
0.386180
C
201.1189
R-squared
0.992710
Adjusted R-squared 0.992363
S.E. of regression
33.26450
9.671791
Log likelihood
-101.7531 Hannan-Quinn criter. 9.558060
F-statistic
2056.887 Durbin-Watson stat
1.278902
Prob(F-statistic)
0.000000
调整后的可决系数R2
R2 1RSS nk1 TSS n1
2 Y i Y
Y i Y ˆ i2
Y ˆ i Y 2
关键是在于TSS=ESS+RSS推导过程中用到 的一组矩条件：
X jiY i Y ˆ 0 j 0 ,1 ,...,k
矩条件在大样本下成立，只有一个样本时肯 定不成立，在样本足够大时近似成立。
4、拟合优度检验统计量:可决系数r2和调整后的 可决系数R2
问题：
• 为什么以R2作为检验统计量避免了片面增加 解释变量的问题？
• R2多大才算通过拟合优度检验？
• 注意“伪回归”(spurious regression problem) 问题。
二、AIC、SC准则 (Akaike information criterion, AIC Schwarz criterion, SC)
说明
由计量经济模型的数理统计理论要求的
以多元线性模型为例
包括拟合优度检验、总体显著性检验、变量显 著性检验、偏回归系数约束检验、模型对时间 的稳定性检验、参数估计量的区间估计、预测 值的区间估计、受约束回归。
一、拟合优度检验 (Testing of Simulation Level)
1、概念 检验模型对样本观测值的拟合程度 通过构造一个可以表征拟合程度的统计量来
AIC ln ei2 2(k 1)
n
n
SC ln ei2 k ln n nn
AIC、SC准则要求：在模型中增加解释变量的条件 是能够减少AIC值或SC值。
在消费模型中, 用AIC、SC准则判断是否新增解释变量
Dependent Variable: CONSP