回归模型的检验
回归模型的检验
回归模型的检验下表是 被解释变量Y ，解释变量X1,X2,X3,X4的时间序列观测值： 序号 Y X1 X2 X3 X41 6 40.1 5.5 108 632 6 40.3 4.7 94 723 6.5 47.5 5.2 108 864 7.1 49.2 6.8 100 1005 7.2 52.3 7.3 99 1076 7.6 58 8.7 99 1117 8 61.3 10.2 101 1148 9 62.5 14.1 97 1169 9 64.7 17.1 93 11910 9.3 66.8 21.3 102 1211、显著性检验利用表中的数据，用EViews 进行最小二乘估计，得(2.004902) (1.245671) (2.396978) (-0.693309) (0.420498)22R =0.979655,R =0.963379,DW=2.213879,F=60.18950Y =3.914451+0.060263 X 1+0.089090 X 2 -0.012598 X 3+0.007406 X 4其中括号内的数字是t 值。
给定显著水平α=0.05,0.02510t （）=2.23,所以只有X2的回归系数估计值显著。
F> 0.05F 4,5（）=5.19,回归方程显著。
2、多重共线性分析(1)首先利用相关系数分析模型中变量之间的相关关系：键入：COR Y X1 X2 X3 X4输出的相关系数矩阵如下：Y X1 X2 X3 X4Y 1.000000 0.972169 0.937597 -0.388740 0.912166 X1 0.972169 1.000000 0.879363 -0.338876 0.956248 X2 0.937597 0.879363 1.000000 -0.304705 0.760764 X3 -0.388740 -0.338876 -0.304705 1.000000 -0.413541 X4 0.912166 0.956248 0.760764 -0.413541 1.000000 根据相关系数，可以做如下分析：1) X3对Y 的影响不大，可作为次要因素而不引入模型，X1与Y 的相关性最强，先建立一元回归模型ˆY=0.122124X1+0.942307（11.73672）（1.644630）22R=0.945112,R=0.938251,DW=1.683709,F=137.75072)加入X2,对Y关于X1,X2作最小二乘回归，得ˆY==0.081826 X1 +0.079919 X2+2.322897（5.219553）（2.923182）（3.710092）22R=0.975284,R=0.968222,DW=2.264141,F=138.1058可以看出，在加入X2后，拟合优度22R,R均有所增加，并且没有影响X1系数的显著性，所以在模型中保留X2。
回归模型的统计检验
分布。 F 统计量服从自由度为 ( k , n − k − 1) 的 F 分布。选定 分布表（见本书附录） 一个显著性水平 α ，查 F 分布表（见本书附录） ， 可以得到一个临界值 Fα ( k , n − k − 1) 。
F检验与R2的关系
根据二者关系，有需注意的几个问题： ⑴F检验实际上也是判定系数的显著性检验。 ⑵如果模型对样本有较高的拟合优度，F检 验一般都能通过。 ⑶实际应用中不必过分苛求R2值的大小， 重要的是考察模型的经济意义是否合理。
∑ x ∑ x − (∑ x x ) ∑ x σˆ ∑ x ∑ x − (∑ x x )
2 1 2 2 1 2 2 1 2 2 1 2 2 1 2
2 x2 σ 2 ∑ ˆ
2
2
然后根据样本观测值和估计值，构造计算统计量： 然后根据样本观测值和估计值，构造计算统计量：
ˆ βi − βi t= ˆ S βi
ˆ ˆ ∑(y − y) = ∑ (y − y) + ∑ (y − y )
2 2 i i i i 2
y
yi
ei
yi − y
ˆ ( yi − y )
SRF
y
xi
x
TSS = Σ ( y i − y ) 2 ˆ ESS = Σ ( y i − y ) 2 ˆ RSS = Σ ( y i − y i ) 2
拟合优度检验统计量：可决系数( 2、拟合优度检验统计量：可决系数(判
定系数) 定系数)R2和校正可决系数 R2
（1）可决系数 ）
R 2 进行拟合优度检验，可决系 用可决系数 进行拟合优度检验，
数的计算公式为： 数的计算公式为：
( yi − y )2 ∑ˆ 2 R = ( yi − y )2 ∑
第三章--回归模型的检验
对于中国居民人均消费支出的例子：
一元模型：F=285.92
二元模型：F=2057.3 给定显著性水平 =0.05，查分布表，得到临界 值：
一元例：F(1,21)=4.32 二元例： F(2,19)=3.52 显然有 F F(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。
99.4
96.9
2758.9
1637.2
157.0
117.7
1999 4615.9 1932.1
98.7
95.7
2723.0
1566.8
169.5
123.3
2000 4998.0 1958.3
100.8
97.6
2744.8
1529.2
182.1
128.1
2001 5309.0 2014.0
100.7
2、关于拟合优度检验与方程显著性检
验关系的讨论
由
R2 1 RSS
TSS
与
F
ESS / k
RSS / n k
1
可推出： R2
kF
n k 1 kF
或
F
R2 / k
1 R2 / n k 1
三、变量的显著性检验（t检验）
方程的总体线性关系显著每个解释变量对被 解释变量的影响都是显著的
因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。
问题：
由增加解释变量个数引起的R2的增大与拟合 好坏无关，R2需调整。
调整的可决系数（adjusted coefficient of determination）
6、回归模型的假设检验(附)
第6章 回归模型的假设检验1，区间估计—基本概念假设对消费函数回u Y C ++=21ββ归分析之后，得出边际消费倾向2β的估计值为0.509。
这是对未知的总体MPC 2β的一个单一的点估计。
这个点估计可不可靠？虽然在重复抽样中估计值的均值可能会等于真值))ˆ((22ββ=E ，但由于抽样波动，单一估计值很可能不同于真值。
在统计学中，一个点估计量的可靠性有它的标准误差来衡量。
因此，我们不能完全依赖一个点估计值，而是围绕点估计量构造一个区间。
比方说，在点估计量的两旁各划出宽为2或3个标准误差的一个区间，使得它有95%的概率包含着真实的参数值。
这就是取件估计的粗略概念。
假定我们想知道宽竟，比方说，2ˆβ离2β有多“近”。
为了这个目的，试求两个正数δ和a ,10<<a ，使得随机区间)ˆ,ˆ(22δβδβ+-包含2β的概率为a -1。
a -=+≤≤-1)ˆˆPr(222δββδβ （1） 如果存在这个区间，就称之为置信区间，)1(a -称置信系数或置信度，a 称为显著水平。
置信区间的端点称临界值。
上限和下限。
0.05，0.01。
比方说05.0=a ，（1）式就可读为：试中的区间包含真实的2β的概率为95%。
2，回归系数的置信区间一元回归时，在i u 的正态性假定下，OLS 估计量21ˆ,ˆββ本身就是正态分布的，其均值和方差已随之列出。
以2ˆβ为例 2ˆ22ˆβββS Z -=--（2） 2ˆβ的方差∑-=22)(X X σ这是一个标准化正态变量。
因此，如果知道真实的总体方差2σ已知，就可以利用正态分布对2β作概率性表达。
当2σ已知时，以μ为均值，2σ为方差的正态变量有一个重要性质，就是σμ±之间的面积约占68%，95%，99%。
但是2σ很少能知道，在现实中用无偏估计量2σ来确定。
用σˆ代替σ，（2）可以改写为 )ˆ(ˆ222βββS t -= （3）这样定义的t 变量遵循自由度为n-2的t 分布。
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββ 22110 （1）的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
logistic回归模型的假设检验方法
logistic回归模型的假设检验方法"Logistic回归模型的假设检验方法"Logistic回归模型是一种常用的数据挖掘和预测模型，特别适用于二分类问题。
在使用Logistic回归模型进行预测之前，需要对模型的假设进行检验。
本文将一步一步回答关于Logistic回归模型假设检验方法的问题。
问题1：Logistic回归模型的假设是什么？Logistic回归模型的假设通常包括以下几点：1. 线性关系：自变量与因变量之间的关系是线性的。
2. 独立性：观察样本之间是相互独立的，每个观察样本之间的结果不相互影响。
3. 多重共线性：自变量之间应当具有较低的多重共线性，即它们之间不存在高度相关性。
4. 独立的误差项：因变量与自变量之间的关系由一个独立的误差项表示。
5. 高斯分布：误差项应当服从正态分布。
问题2：如何检验Logistic回归模型的线性关系假设？为了检验Logistic回归模型的线性关系假设，可以采用如下方法：1. 偏离线性：观察因变量与自变量之间的散点图，检查是否存在非线性关系。
2. 考察残差：绘制自变量与残差的散点图，检查是否存在任何模式或趋势。
问题3：如何检验Logistic回归模型的独立性假设？为了检验Logistic回归模型的独立性假设，可以采用如下方法：1. 边际分布：首先，观察因变量和自变量的边际分布，确保样本中的分布相对均匀，没有局部聚集。
2. 自相关检验：使用相关性检验方法，如Pearson相关系数，检查是否存在自相关性。
问题4：如何检验Logistic回归模型的多重共线性假设？为了检验Logistic回归模型的多重共线性假设，可以采用如下方法：1. 方差膨胀因子（VIF）：计算自变量的VIF，VIF值高于10可能存在多重共线性的问题。
2. 条件数：计算自变量矩阵的条件数，条件数大于30可能存在多重共线性的问题。
条件数是多重共线性的指标，表示自变量之间相互关联的程度。
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββΛΛ22110 （1）的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21ΛΛ=。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
验关系的讨论
由
R2 1 RSS
TSS
与
F
ESS / k
RSS / n k
1
可推出： R2
kF
n k 1 kF
或
F
R2 / k
1 R2 / n k 1
三、变量的显著性检验（t检验）
方程的总体线性关系显著每个解释变量对被 解释变量的影响都是显著的
因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。
二、方程的显著性检验(F检验)
方程的显著性检验，旨在对模型中被解释变 量与解释变量之间的线性关系在总体上是否显著 成立作出推断。
1、方程显著性的F检验
即检验模型
Yi=0+1X1i+2X2i+ +kXki+i
i=1,2, ,n
中的参数j是否显著不为0。 可提出如下原假设与备择假设：
H0： 0=1=2= =k=0
注意：一元线性回归中，t检验与F检验一致
一方面，t检验与F检验都是对相同的原假设 H0：1=0 进行检验;
另一方面，两个统计量之间有如下关系：
F t2
在中国居民人均收入-消费支出二元模型例中， 由应用软件计算出参数的t值：
t0 3.306 t1 3.630 t2 2.651
给定显著性水平=0.05，查得相应临界值： t0.025(19) =2.093。
TSS (Yi Yˆi )2
(Yˆi
Y
2
)
RSS
ESS
可决系数
R 2 ESS 1 RSS
TSS
TSS
该统计量越接近于1，模型的拟合优度越高。
问题：
由增加解释变量个数引起的R2的增大与拟合 好坏无关，R2需调整。
调整的可决系数（adjusted coefficient of determination）
在样本容量一定的情况下，增加解释变量必定 使得自由度减少，所以调整的思路是:将残差平方 和与总离差平方和分别除以各自的自由度，以剔 除变量个数对拟合优度的影响:
R 2 1 RSS /(n k 1) TSS /(n 1)
其中：n-k-1为残差平方和的自由度，n-1为总体平 方和的自由度。
R2 1 n 1 1 R2 n k 1
*2、赤池信息准则和施瓦茨准则
为了比较所含解释变量个数不同的多元回归模型 的拟合优度，常用的标准还有:
赤池信息准则（Akaike information criterion, AIC）
AIC ln ee 2(k 1)
n
n
施瓦茨准则（Schwarz criterion，SC）
AC ln ee k ln n nn
§3.1 多元线性回归模型的统计检验 一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
一、拟合优度检验
1、可决系数与调整的可决系数
总离差平方和的分解
则 TSS (Yi Y )2
((Yi Yˆi ) (Yˆi Y )) 2
(Yi Yˆi )2 2(Yi Yˆi )(Yˆi Y ) (Yˆi Y )2
H1： j不全为0
根据数理统计学中的知识，在原假设H0成立 的条件下，统计量
F ESS / k RSS /(n k 1)
服从自由度为(k , n-k-1)的F布给定显著性水平，可得到临界值F(k,n-k-1)， 由样本求出统计量F的数值，通过
F F(k,n-k-1) 或 FF(k,n-k-1) 来拒绝或接受原假设H0，以判定原方程总体上的 线性关系是否显著成立。
对于中国居民人均消费支出的例子：
一元模型：F=285.92
二元模型：F=2057.3 给定显著性水平 =0.05，查分布表，得到临界 值：
一元例：F(1,21)=4.32 二元例： F(2,19)=3.52 显然有 F F(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。
2、关于拟合优度检验与方程显著性检
可见，计算的所有t值都大于该临界值，所以 拒绝原假设。
四、参数的置信区间
参数的置信区间用来考察：在一次抽样中所估 计的参数值离参数的真实值有多“近”。
在变量的显著性检验中已经知道：
t ˆi i
sˆi
ˆi i : t(n k 1)
cii
ee n k 1
容易推出：在(1-)的置信水平下i的置信区间是
ˆ2 0.4515
sˆ2 0.170
计算得参数的置信区间：
0 ：(44.284, 197.116) 1 ： (0.0937, 0.3489 ) 2 ：(0.0951, 0.8080)
如何才能缩小置信区间？
•增大样本容量n，因为在同样的样本容量下，n越 大，t分布表中的临界值越小，同时，增大样本容 量，还可使样本参数估计量的标准差减小；
这一检验是由对变量的 t 检验完成的。
1、t分布
t ˆi i
sˆi
ˆi i : t(n k 1)
cii
n
ee k 1
2、t检验
设计原假设与备择假设：
H0：i=0 H1：i0
（i=1,2…k）
给定显著性水平，可得到临界值t/2(n-k-1)， 由样本求出统计量t的数值，通过
|t| t/2(n-k-1) 或 |t|t/2(n-k-1) 来拒绝或接受原假设H0，从而判定对应的解释变 量是否应包括在模型中。
•提高模型的拟合优度，因为样本参数估计量的标 准差与残差平方和呈正比，模型优度越高，残差 平方和应越小。
•提高样本观测值的分散度,一般情况下，样本观 测值越分散，(X’X)-1的分母的|X’X|的值越大，致 使区间缩小。
§3.2 回归模型的其他函数形式
(i t 2
si
,
i
t
2
si )
其中，t/2为显著性水平为 、自由度为n-k-1的临界值。
在中国居民人均收入-消费支出二元模型例中,
给定=0.05，查表得临界值：t0.025(19)=2.093
从回归计算中已得到：
ˆ0 120 .70
sˆ0 36.51
ˆ1 0.2213
sˆ1 0.061
这两准则均要求仅当所增加的解释变量能够减少
AIC值或AC值时才在原模型中增加该解释变量。
Eviews的估计结果显示： 中国居民消费一元例中：
AIC=7.09 AC=7.19 中国居民消费二元例中：
AIC=6.68 AC=6.83 从这点看，可以说前期人均居民消费CONSP(-1)应 包括在模型中。