拟合优度检验和假设检验

TSS
TSS
该统计量越接近于1，模型的拟合优度越高。
问题：在应用过程中发现，如果在模型中增加一个 解释变量， R2往往增大（Why?)
这就给人一个错觉：要使得模型拟合得好，只要增 加解释变量即可。—— 但是，现实情况往往是，由增 加解释变量个数引起的R2的增大与拟合好坏无关，R2 需调整。
调整的判定系数（adjusted coefficient of determination）
因此,可通过该比值的大小对总体线性关系进行推 断。
根据数理统计学中的知识，在原假设H0成立 的条件下，统计量
F ESS / k RSS /(n k 1)
服从自由度为(k , n-k-1)的F分布
给定显著性水平，可得到临界值F(k,n-k-1)， 由样本求出统计量F的数值，通过
F F(k,n-k-1) 或 FF(k,n-k-1) 来拒绝或接受原假设H0，以判定原方程总体上的 线性关系是否显著成立。
R 2 1 (n 1)(1 R2 ) 1 4 (1 0.9464) 0.8928
(n k 1)
(5 3)
习题. 设 n = 20, k = 3, R2 = 0.70 ， 求R 2。 当n = 10，n = 5 时， R又2 是多少。
例2. 设 n = 20, k = 3, R2 = 0.70 ， 求R 2。
Yi Y
2
Yi Yˆi
2
Yˆi Y
2
Yi Y 2
Yi Yˆi 2
Yˆi Y 2
为方便计算，我们也可以用矩阵形式表示R2
我们有：残差 e Y Yˆ Y Xˆ
残差平方和：
e 2 ee (Y ˆX )(Y Xˆ)
Y Y ˆX Y Y Xˆ ˆX Xˆ Y Y ˆX Y Y Xˆ ˆX X ( X X )1 X Y Y Y ˆX Y Y Xˆ ˆX Y Y Y Y Xˆ
由于 (Yi Yˆ)(Yˆi Y ) ei (Yˆi Y )
ˆ0 ei ˆ1 ei X 1i ˆk ei X ki - Y ei
=0
所以有：
TSS (Yi Yˆi )2
(Yˆi
2
Y)
RSS
ESS
注意：一个有趣的现象
Yi Y Yi Yˆi Yˆi Y
解：
R 2 1 (n 1)(1 R2 ) 1 19 (1 0.70) 0.644
(n k 1)
(20 4)
下面改变n的值，看一看 R 2 的值如何变化。我们有
若n = 10，则 R 2= 0.55 若n = 5， 则 R 2 = - 0.20
由本例可看出，R 2有可能为负值。 这与R2不同 （ 0 R2 1 ）。
第三章 多元线性回归模型
------- 拟合优度检验与假设检验
一、拟合优度检验
1、可决系数与调整的可决系数 总离差平方和的分解
则
TSS (Yi Y )2
((Yi Yˆi ) (Yˆi Y )) 2
(Yi Yˆi )2 2(Yi Yˆi )(Yˆi Y ) (Yˆi Y )2
二、方程的显著性检验(F检验)
方程的显著性检验，旨在对模型中被解释变量 与解释变量之间的线性关系在总体上是否显著成 立作出推断。
1、方程显著性的F检验
即检验模型
Yi=0+1X1i+2X2i+ +kXki+i
i=1,2, ,n
中的参数j是否显著不为0。 可提出如下原假设与备择假设：
H0： 0=1=2= =k=0
我们有：
（1） R 2 R 2
（2）仅当K=0时，等号成立。即 R2 R 2
（3）当K增大时，二者的差异也随之增大
（4） R 2 可能出现负值。
例1 以前面的数据为例，Yt = 1 + 2X2 t + 3X3 t + u t
设观测数据为：Y： 3 1 8 3 5 X2：3 1 5 2 4 X3：5 4 6 4 6
对于中国居民人均消费支出的例子：
一元模型：F=985.6616（P54）
二元模型：F=560.5650 （P72） 给定显著性水平 =0.05，查分布表，得到临界 值：
一元例：F(1,30)=4.17 二元例： F(2,28)=3.34 显然有 F F(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。
在样本容量一定的情况下，增加解释变量必定使得自 由度减少，所以调整的思路是：将残差平方和与总离差平 方和分别除以各自的自由度，以剔除变量个数对拟合优度 的影响:
R 2 1 RSS /(n k 1) TSS /(n 1)
其中：n-k-1为残差平方和的自由度，n-1为总 体平方和的自由度。
R是2 经过自由度调整的决定系数，称为修正决定系数。
而
Y Y 2 Y 2 nY 2 Y Y nY 2
将上述结果代入R2的公式，得到：
R2 1 e2 (Y Y )2
Y
Y
nY Y
2 (Y Y Y Y nY 2
Xˆ )
Y Xˆ nY 2
Y Y nY 2
这就是决定系数R2 的矩阵形式。
判定系数
R 2 ESS 1 RSS
试求 R2和R 2 。
解：我们有
3 1
Y
8
3
5
1 3 5 1 1 4
X 1
5
6
1 2 4
1
4
6
ˆ
( X X )1
X Y
5 15
15 55Biblioteka Baidu
25
1
20
81 76
25 81 129 109
267 /10 45 /10
8
45 /10 1
3/2
8 20 4 3 / 2 76 2.5 10 / 4 109 1.5
故回归方程为：
Yˆ 4 2.5X 2 1.5X3
R2
Y Xˆ nY 2
Y Y nY 2
3
Y Xˆ 20
76
109
4 2.5
106.5
Y Y
3
1
8
3
1
5
8
108
1.5
nY
2
5
3 1 8 3
5 2
80
3
5
5
R2 106.5 80 26.5 0.9464 108 80 28
H1： j不全为0
F检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS
由于回归平方和 ESS yˆi2 是解释变量 X的联合体对被解
释变量 Y 的线性作用的结果，考虑比值
ESS / RSS
yˆ
2 i
ei2
如果这个比值较大，则X的联合体对Y的解释程度 高，可认为总体存在线性关系，反之总体上可能不存 在线性关系。