简单线性回归模型的统计检验

第三节 拟合优度的度量
可编辑ppt
1
1、拟合优度检验
拟合优度检验：对样本回归直线与样本 观测值之间拟合程度的检验。
度量拟合优度的指标：判定系数（可决 系数）R2
问题：采用普通最小二乘估计方法，已 经保证了模型最好地拟合了样本观测值， 为什么还要检验拟合程度？
可编辑ppt
2
2、总离差平方和的分解
已知由一组样本观测值（Xi,Yi），i=1,2…,n得到如下 样本回归直线
n
X
2 i
x
2 i
s eˆ ( ˆ 2 )
ˆ
x
2 i
可编辑ppt
12
（2）在小样本情况下，若用无偏估计 ^ 2 代替 2 去 估计标准误差，则进行标准变化的统计量不再服从正
态分布，而是服从自由度为n-2的t分布
一 般 情 况 下 ， 对 ˆ 1 与 ˆ 2 变 换 后 服 从 自 由 度 为 n - 2 的 t 分 布 ：
可编辑ppt
15
t分布
P (t)
P(t 2tsˆe 1 ˆ( ˆ 1)1t 2)195%
拒绝域
2
t (n 2)
接受域 0
2
拒绝域
t (n 2)
t
假如0.05,t 2.1009 P ( 2 .1 0 0 9 t* 2 .1 0 0 9 ) 9 5 %
2
可编辑ppt
16
举例：一元线性模型中，i (i=1，2）的置信区间: 在变量的显著性检验中已经知道：
x
2 i
^
^
1 Y2 X
^^
因为 1 , 2 是关于Y 的线性函数，而Y是关于随机扰动项 ui的线 ^^
性函数，所以 1 , 2 也是ui的线性函数，且服从正态分布
^
1 ~N(1,2 n
Xxi2i2)
^
2 ~ N(2,
2
) xi2
可编辑ppt
10
1 、 经 过 标 准 变 化 的 服 Z 1,Z 2 从 标 准 正 态 分 布
Yˆi ˆ0ˆ1Xi
y i Y i Y ( Y i Y ˆ i) ( Y ˆ i Y ) e i y ˆ i
可编辑ppt
3
如果Yi=Ŷi 即实际观测值落在样本回归“线”上，则拟合最好。
可以认为，“离差”全部来自回归线，而与“残差”无关。
可编辑ppt
4
对于所有样本点，则需考虑这些点与样本均值离 差的平方和,可以证明：
可编辑ppt
7
在 实 际 计 算 可 决 系 数 时 ， 在 ˆ 1 已 经 估 计 出 后 ：
R2
ˆ12
xi2 yi2
在例2.2收入-消费支出例中，
R 21 e yii2 2158 7 7 6 0 6 2 5 1 0 2.50.9869
注：可决系数是一个非负的统计量。它也是 随着抽样的不同而不同。为此，对可决系数的统 计可靠性也应进行检验，这将在第3章中进行。
ˆ1 与 ˆ 2 均 服 从 正 态 分 布 ， 且 ：
ˆ 1 ~ N ( 1 , 2 n
X
2 i
)
x
2 i
ˆ 2 ~ N ( 2 ,
2
)
x
2 i
将其作标准化变换，有
Z 1 ( ˆ 1 1 ) / s e ( ˆ 1 )
ˆ 1 1 ~ N ( 0 ,1 )
2
X
2 i
n
x
2 i
记 T Sy S i2(Y i Y )2 总体平方和（Total Sum
of Squares）
E SS y ˆi2(Y ˆi Y )2 回归平方和（Explained
Sum of Squares）
R SS e i2(Y i Y ˆi)2 残差平方和（Residual
Sum of Squares ）
值。这种方法就是参数检验的置信区间估计。
可编辑ppt
14
P (ˆ ˆ ) 1
如果存在这样一个区间，称之为置信区间 （confidence interval）； 1-称为置信系数（置信度） （confidence coefficient）， 称为显著性水平（level of significance ） ； 置 信 区 间 的 端 点 称 为 置 信 限 （confidence limit）或临界值（critical values）。
假设检验可以通过一次抽样的结果检验总体参 数可能的假设值的范围（如是否为零），但它并没 有指出在一次抽样中样本参数值到底离总体参数的 真值有多“近”。
要判断样本参数的估计值在多大程度上可以
“近似”地替代总体参数的真值，往往需要通过构
造一个以样本参数的估计值为中心的“区间”，来
考察它以多大的可能性（概率）包含着真实的参数
Z2
( ˆ 2
2 ) / 2
~
N ( 0 ,1)
x
2 i
可编辑ppt
11
（ 1） 当 总 体 回 归 函 数 中 随 机 扰 动 项 的 方 差 2 未 知 时 ， 用 其 无
偏
估
计
ˆ 2
e
2 i
直
接
代
替
2来
计
算
参
数
估
计
量
的
标
准
误
差
：
n2
s eˆ ( ˆ 1 ) ˆ
可编辑ppt
6
3、可决系数R2统计量
R 2 E S S 1 R S S 1 e i 2
T S S
T S S
y i 2
称 R2 为（样本）可决系数/判定系数（coefficient of determination)。
可决系数的取值范围：[0，1]
R2越接近1，说明实际观测点离样本线越近，拟 合优度越高，模型的解释程度越高。
可编辑ppt
8
第四节 回归系数的区间估计和假设检验
• 一、OLS估计的分布性质 • 二、回归系数的区间估计 • 三、回归系数的假设检验
可编辑ppt
9
一、OLS估计的分布性质
^^
1 , 2 是关于样本观测值Yi的线性函数
^ 2
xiyi xi2
xiYi xi2
kiYi k i
xi
可编辑ppt
5
TSS=ESS+RSS
Y的观测值围绕其均值的总离差(total variation) 可分解为两部分：一部分来自回归线(ESS)，另一部 分则来自随机势力(RSS)。
在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在
TSS中占的比重越大，因此 拟合优度：回归平方和ESS/Y的总离差TSS
ˆ1 1 s eˆ ( ˆ1 )
~
t(n
2)
ˆ 2 2 s eˆ ( ˆ 2 )
~
t(n
2)
在大样本的情况下，可近似看作服从正态分布：
ˆ 1 1 s eˆ ( ˆ 1 )
~
N
( 0 ,1 )
ˆ 2 2 s eˆ ( ˆ 2 )
~
N
( 0 ,1 )
可编辑ppt
13
二、回归系数的区间估计