回归方程及回归系数的显著性检验
显著性检验
显著性检验对所有自变量与因变量之间的直线回归关系的拟合程度，可以用统计量R2来度量，其公式如下：TSS(Total Sum of Squares)称为总平方和，其值为，体现了观测值y1,y2,…,y n总波动大小，认为是在执行回归分析之前响应变量中的固有变异性。
ESS(Explained Sum of Squares)称为回归平方和，是由于y与自变量x1,x2,…,x n的变化而引起的，其值为，体现了n个估计值的波动大小。
RSS(Residual Sum of Squares)称为残差平方和，其值为。
R2称为样本决定系数，对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。
回归模型的显著性检验包括：①对整个回归方程的显著性检验；②对回归系数的显著性检验。
对整个回归方程的显著性检验的假设为“总体的决定系统ρ2为零”，这个零假设等价于“所有的总体回归系数都为零”，即：检验统计量为R2，最终检验统计量为F比值，计算公式为：F比值的意义实际上是“由回归解释的方差”与“不能解释的方差”之比。
检验回归方程是否显著的步骤如下。
第1步，做出假设。
备择假设H1:b1,b2,…,b k不同时为0。
第2步，在H0成立的条件下，计算统计量F。
第3步，查表得临界值。
对于假设H0，根据样本观测值计算统计量F，给定显著性水平α，查第一个自由度为k，第二个自由度为n-k-1的F分布表得临界值F(k,n-k-1)。
当F≥Fα(k,n-k-1)时，拒绝假设H0，则认为回归方程α显著成立；当F＜Fα(k,n-k-1)时，接受假设H0，则认为回归方程无显著意义。
对某个回归参数βi的显著性检验的零假设为：H0：βi=0，检验的最终统计量为：具体步骤如下。
(1)提出原假设H0:βi=0；备择假设H1:βi≠0。
(2)构造统计量，当βi=0成立时，统计量。
这里是的标准差，k为解释变量个数。
(3)给定显著性水平α，查自由度为n-k-1的t分布表，得临界值。
回归方程及回归系数的显著性检验演示教学
回归方程及回归系数验检性著显的．3 回归方程及回归系数的显著性检验§１、回归方程的显著性检验回归平方和与剩余平方和(1)是否确实存在线性关系呢？这, 回归效果如何呢？因变量与自变量建立回归方程以后我们要进一步研究因变量, 取值的变化规律。
的每是需要进行统计检验才能加以肯定或否定, 为此常用该次观侧值每次观测值的变差大小, 次取值是有波动的, 这种波动常称为变差,次观测值的总变差可由而全部, 的差(称为离差)来表示与次观测值的平均值总的离差平方和,: 其中它反映了自变量称为回归平方和 , 是回归值与均值之差的平方和,。
)为自变量的个数的波动的变化所引起的, 其自由度(,), 是实测值与回归值之差的平方和或称残差平方和称为剩余平方和(的自由度为其自由度。
总的离差平方和。
它是由试验误差及其它因素引起的,,, 是确定的即, 如果观测值给定则总的离差平方和是确定的, 因此大则反之小,或者, 与, 大所以且回归平方和都可用来衡量回归效果, 越大则线性回归效果越显著小则如果越小回归效果越显著, ; 则线性回大, 说剩余平方和0, ＝如果则回归超平面过所有观测点归效果不好。
复相关系数(2)人们也常引用无量纲指标, 为检验总的回归效果, (3.1)或．, (3.2)称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此因此的相关程度。
显然, 就是这种贡献在总回归平方和中所占的比例表示全部自变量与因变量因此它可以作为检验总的回归效果的一个指标。
但, 回归效果就越好, 。
复相关系数越接近１常有较大的并不很大时, 相对于,与回归方程中自变量的个数及观测组数有关, 当应注意一般认为应取, 的适当比例的５到10至少为倍为宜。
值与, 因此实际计算中应注意检验(3)就是要检验假设, 是否存在线性关系要检验与, (3.3)应用统计量否则认为线性关系显著。
检验假设无线性关系, 与成立时当假设, 则, (3.4)它服从自由度为即及的分布, , 这是两个方差之比, (3.5)应有则当给定检验水平成立, α下, 可检验回归的总体效果。
回归方程的显著性检验线性关系的检验
3. 图像
1 =1
=-1 <-1
0< < 1
-1< <0
非线性模型及其线性化方法
双曲线函数
1. 基本形式： 2. 线性化方法
令：y' = 1/y，x'= 1/x, 则有y' = + x'
3. 图像
<0
>0
非线性模型及其线性化方法
对数函数
1. 基本形式： 2. 线性化方法
一、多元线性回归模型
（概念要点）
1. 一个因变量与两个及两个以上自变量之间的回归。
2. 描述因变量 y 如何依赖于自变量 x1，x2，… xp 和 误差项 的方程称为多元线性回归模型。
3. 涉及 p 个自变量的多元线性回归模型可表示为
y 0 1x1i 2 x2i p x pi i
yˆ0 ，就是个别值的点估计。
2. 比如，如果我们只是想知道1990年人均国民收
入为1250.7元时的人均消费金额是多少，则属 于个别值的点估计。根据估计的回归方程得
yˆ0 54.22286 0.526381250.7 712.57(元)
利用回归方程进行估计和预测
（区间估计）
1. 点估计不能给出估计的精度，点估计值与实际 值之间是有误差的，因此需要进行区间估计。
2、 E(y0) 在1-置信水平下的置信区间为
yˆ0 t 2 (n 2)S y
1 x0 x2
n
n
xi
x
2
式 中 ： Sy 为 估 计标准误差
i 1
利用回归方程进行估计和预测
（置信区间估计:算例） 【例】根据前例，求出人均国民收入1250.7元 时，人均消费金额95%的置信区间。 解：根据前面的计算结果
线性回归的显著性检验及回归预测.
双曲线
1. 基本形式：
1. 线性化方法 令：y' = 1/y，x'= 1/x, 则有y' = a+ bx' 2. 图像
b<0
b>0
幂函数曲线
1. 基本形式：
2. 线性化方法
两端取对数得：lg y = lga + b lg x 令：y' = lgy，x'= lg x，则y' = lga + b x‘ 3. 图像
非线性回归－－练习
一种商品的需求量与其价格有一定的关系。现对 一定时期内的商品价格 x 与需求量 y进行观察，取得 的样本数据如表所示。试判断商品价格与需求量之 间回归函数的类型，并求需求量对价格的回归方程， 以及相应的判定系数。
2 2 2
2 2
R 1 ( y yc ) / ( y y )
相关指数计算表
序号 1 y 106.42 yc 107.53 (y-yc)2 1.2321 (y-yˉ)2 13.0012
2
3 4 5 6 7 8
108.20
109.58 109.50 110.00 109.93 110.49 110.59
0.0023
0.0018 0.0013 0.0011 0.0009 0.0008 0.0006 0.0006 0.0006 0.0005 0.0005
14
合计
20
－
111.18
-
0.0500
2.1009
0.0090
0.1271
0.0025
0.5397
0.0004
0.0193
非线性判定系数与相关系数
0.0091
第三节 线性回归的显著性检验及回归预测
xy
i
n
]
2 b x i x i yi a x i 0 SS , SS E , SS R依赖： a y bx
5
注意：三个平方和SS , SS E , SS R的自由度分别记为 f , f E , f R , 则它们之间也有等式成立： f fE fR 且：f n-1, f E n 2, 则f R f f E 1.
2
x
i 1
n
i
x
2
式中：se为回归估计标准差
置信区间估计(例题分析)
【例】求出工业总产值的点估计为100亿元时， 工业总产值95%置信水平下的置信区间. yc 100 解：根据前面的计算结果,已知n=16， • se=2.457，t(16-2)=2.1448 • 置信区间为 1 (73 57.25)2
一元线性回归的方差分析表
离差来源 平方和 自由度 F值 SS R 回 归 SS y y 2 1 F R ci SS E 2 剩余 n-2
SS E yi yci
( n 2)
总计
SS yi y
2
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : 0; 2. 计算检验统计量F
i
(x
x ) nS xi
2 2
( xi )
2
③根据已知条件实际计算统计量t的值； ④ 比较②与③中的计算结果,得到结论.
3
回归系数的假设
b Se 1
对例题的回归系数进行显著性检验(＝0.05)
H0 : 0;
i
H1 : 0
多元线性回归模型的检验
第三节多元线性回归模型的检验本节基本内容:●多元回归的拟合优度检验●回归方程的显著性检验（F检验）●各回归系数的显著性检验（t检验）一、多元回归的拟合优度检验多重可决系数R 2：22222ˆ(-)ESS TSS-RSS 1-TSS(-)TSS i i i iY Y e R Y Y y====∑∑∑∑在实际应用中，随着模型中解释变量的增多，R 2往往增大。
这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。
但是，由增加解释变量引起的R 2的增大与拟合好坏无关，所以R 2需调整。
修正的可决系数()222222(-)-1-11111(-1)--i i iie n k en n RR yn n kyn k=-=-=--∑∑∑∑修正的可决系数为特点：⏹⏹k 越大，越小。
综合了精度和变量数两个因素，兼顾了精确性和简洁性。
⏹R 2必定非负，但可能为负值。
2R 2R 2R 22R R≤信息准则为了比较解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaike information criterion, AIC ）施瓦茨准则（Schwarz criterion ，SC ）上述信息准则均要求仅当所增加的解释变量能够减少AIC 值、SC 值或HQC 值时才在原模型中增加该解释变量。
()()n ln n k n L SC 12++-=汉南-奎因准则（Hannan-Quinn criterion ，HQC ）()()()n ln ln nk n L HQC 122++-=()n k n L AIC 122++-=()⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛++-=∑n e ln ln n L i2212π其中对数似然函数二、回归方程显著性检验（F检验）基本思想在多元回归中有多个解释变量，需要说明所有解释变量联合起来对被解释变量影响的总显著性，或整个方程总的联合显著性。
对方程总显著性检验需要在方差分析的基础上进行F检验。
回归分析
回归系数，因此失去两个自由度。 回归系数，因此失去两个自由度。
♦
dfR＝dfT－dfE＝1
⑷．计算方差
♦ ♦
回归方差 残差方差
SS R MS R = df R
SS E MS E = df E
⑷．计算F ⑷．计算F值
MS R F= MS E
⑹．列回归方程的方差分析表
表21－1 回归方程方差分析表
变异 来源 回归 残差 总变异 平方和 自由度 方差 F 值 概率
♦
β=０ H0：β=０ H1：β≠０
♦
统计量计算
ΣX 2 − (ΣX ) / n bYX t= = bYX ⋅ SEb MS E
2
50520 − 710 2 / 10 = 1.22 × = 3.542 13.047
二．一元线性回归方程的评价── 二．一元线性回归方程的评价── 测定系数
♦
一元线性回归方程中， 一元线性回归方程中，总平方和等于回归平
2 2
SS R = SST
（21．5）
r2
X的变异
Y的变异
图21-1 21-
测定系数示意图
图21-2 21-
测定系数示意图
♦
例3：10名学生初一对初二年级数学成 10名学生初一对初二年级数学成
绩回归方程方差分析计算中得到： 绩回归方程方差分析计算中得到：
♦ SST=268.1
♦
2
SSR=163.724
数学成绩估计初二数学成绩的回归方程； 数学成绩估计初二数学成绩的回归方程；将另一 学生的初一数学成绩代入方程， 学生的初一数学成绩代入方程，估计其初二成绩
Y = 1.22 X − 14.32 = 1.22 × 76 − 14.32 = 78.4
回归方程及回归系数的显著性检验教程文件
回归方程及回归系数的显著性检验§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标, (3.1)或, (3.2)称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设, (3.3)当假设成立时, 则与无线性关系, 否则认为线性关系显著。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§ 3回归方程及回归系数的显著性检验
1、回归方程的显著性检验
（1）回归平方和与剩余平方和
建立回归方程以后，回归效果如何呢？因变量.•与自变量是否确实存在线性关系呢？这
是需要进行统计检验才能加以肯定或否定，为此，我们要进一步研究因变量取值的变化规律。
的每次
取值1是有波动的，这种波动常称为变差，每次观测值jt的变差大小，常用该次观侧值 U
与t次观测值的平均值的差丨、/（称为离差）来表示，而全部：次观测值的总变差可由总的
离差平方和
呦迄以*）亠另（n+剳*诃吃+卩
，
其中：
~ 称为回归平方和，是回归值与均值.之差的平方和，它反映了自变量
九心［如的变化所引起的丿的波动，其自由度h~加（川为自变量的个数）。
称为剩余平方和（或称残差平方和），是实测值T与回归值.■，之差的平方和，它是由试验误差及其它因素引起的，其自由度］T 一。
总的离差平方和一二的自由度为：亠。
如果观测值给定，则总的离差平方和-二是确定的，即是确定的，因此i.i大则匚小，反之，L 小则〔大，所以U与I都可用来衡量回归效果，且回归平方和U越大则线性回归效果越显著，或者说剩余平方和_越小回归效果越显著，如果_= 0，则回归超平面过所有观测点；如果一大，则线性回归效果不好。
（2）复相关系数
为检验总的回归效果，人们也常引用无量纲指标
-' ，（3.1）
或
R=匸倉
V 切,(3.2)
称为复相关系数。
因为回归平方和u实际上是反映回归方程中全部自变量的“方差贡献”，因此 F「就
是这种贡献在总回归平方和中所占的比例，因此〕.表示全部自变量与因变量.■的相关程度。
显然［上「二*。
复相关系数越接近1 ,回归效果就越好，因此它可以作为检验总的回归效果的一个指标。
但应注意，亠与回归方程中自变量的个数“!及观测组数F有关，当［相对于T并不很大时，常有较大的值，因此实际计算中应注意I与.的适当比例，一般认为应取I至少为■!的5到10倍为宜。
⑶/'检验
要检验 m 1仪是否存在线性关系，就是要检验假设
:…'，(3.3)
当假设二i成立时，贝匚与…… 无线性关系，否则认为线性关系显著。
检验假设^0应用统计量
r Uim
F = --------
-11- ，(3.4)
这是两个方差之比，它服从自由度为十及- 'I的F分布，即
F ------------- w -1
的”1)，(3.5)
用此统计量F可检验回归的总体效果。
如果假设上一成立，则当给定检验水平 a下，统计量F应有卜當w 匕二J 一 1 一匚(3.6)
对于给定的置信度a，由F分布表可查得'L1'的值，如果根据统计量算得的 F值为
厂'- ■'_■■_11，则拒绝假设’|.，即不能认为全部为0,即〒个自变量的总体回归效果是显著的
否则认为回归效果不显著。
利用「检验对回归方程进行显著性检验的方法称为方差分析。
上面对回归效果的讨论可归结于一个方
差分析表中，如表3.1 o
剩
余
U1
总
x-1
计
&-1
根据与F的定义，可以导岀二与F的以下关系：
f -1 .J：./ V：:,
mF
利用这两个关系式可以解决 i值多大时回归效果才算是显著的问题。
因为对给定的检验水平a,由"
分布表可查岀/的临界值匚；,然后由匚；即可求岀上的临界值」.二:
+ ,（3.7）
当| - 时，则认为回归效果显著。
例3.1利用方差分析对例2.1的回归方程进行显著性检验。
方差分析结果见表3.2。
来源平方和自由度方差方差比
回归U= 3739.7m = 2y/m = 1869^5
f = 610.34404
剩余Q = 33,7n-m-l=ll Q/(n-m-l) =
3.0636
总计呦=3773.4n-l=13
取检验水平a = 0.05,查F分布表得 I " '',而■卜-H - ：＞：：.、• - ■',所以例2.1的
回归方程回归效果是显著的。
2、回归系数的显著性检验
前面讨论了回归方程中全部自变量的总体回归效果，但总体回归效果显著并不说明每个自变量对因变量都是重要的，即可能有某个自变量 '对并不起作用或者能被其它的显的作用
所代替，因此对这种自变量我们希望从回归方程中剔除，这样可以建立更简单的回归方程。
显然某个自变量如果对「作用不显著，则它的系数 '就应取值为0,因此检验每个自变量 '是否显著，就要检验假设：
其中为矩阵 "' 「:.'
的对角线上第:个元素。
其中匚为矩阵的主对角线上第:个元素。
对于给定的检验水平 a ,从F分布表中"I '? 1 , -「■■■"，, (3.8)
在八一 I假设下，可应用「检验:
-/'■<- - _■,-…，(3.9)
对给定的检验水平 a ,从「分布表中可查出与 a对应的临界值I ,如果有二丨".,贝U拒绝假设彳1,
即认为1■:与0有显著差异，这说明\对」有重要作用不应剔除；如果有丨则接受假设-'-I ,即认为
J-L成立，这说明\对「不起作用，应予剔除。
⑵?检验：
检验假设', 亦可用服从自由度分别为 i与龙-用-1的F分布的统计量
,(3.10)
可查得临界■'；- I', 如果有则拒绝假设M 一，认为％对；有重要作用。
如果
恥伽处1) ,则接受假设血，即认为自变量期对丿不起重要作用，可以剔除。
一般一次F检验只剔除一个自变量，且这个自变量是所有不显著自变量中"值最小者，然后再建立回归方程，并继续进行
检验，直到建立的回归方程及各个自变量均显著为止。
最后指岀，上述对各自变量进行显著性检验采用的两种统计量与.实际上是等价的，因为由(3.9)
式及(3.10)式知，有
'：匚(3.11)
例3.2对例2.1的回归方程各系数进行显著性检验。
经计算：
p25L7 3499^1
=499,9 2550,9丿
于是
=4012
创
144)
Oi522a/OW2223
~33.7/11 ~
0.475a/0.004577
~33.7/fl
= 40.01 r OJ002223 -0.0030^
-0.00305 0.00457?；
其中•_]= 0.002223, - .!.■! = 0.004577。
由(3.7)式知
f_ 0.522/Jj.002223
1_^3 7^4-2^
0.^5/70,004577
^37/(14-2-1)
查：分布表得，f ：!--1一打二- _1.»\,因为：•匚-1- --'J,
'-一 -'.ir'1-：",所以两个自变量〔及〔都是显著的。
又由帚乜，说明体长〔比胸围〔
对体重「的影响更大。
如果应用？检验，查F分布表有屉即)期,
又由
因为'1 " ■■ !'"I, ■'- 1.- 「I ,因此〔及〔都是显著的，均为重要变量，应保留在回归方程中。
(3) 偏回归平方和
检验某一自变量是否显著，还可应用偏回归平方和进行检验。
'■个自变量的回归平方和为
如果自I个自变量中去掉则剩下的T-1个自变量的回归平方和设为I ,并设
则r就表示变量 '在回归平方和U中的贡献，-［称为 '的偏回归平方和或贡献。
可以证明
j. , (3.12)
偏回归平方和「越大，说明［在回归方程中越重要，对.•的作用和影响越大，或者说、对回归方程的贡
献越大。
因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小（贡献大小）的一个指标。
例如在例2.1中，〔和〔的偏回归平方和分别为
^1=
=121.63743辺 1 0.002223 ，
’化般:詡加
C R 0.004577 ，
一 I, 说明在回归方程中〔的作用比:大。
又如在例2.2中f1「--及的偏回归平方和分别为：
C]] 0,0185 ，
眉*严心血溯
巾2 0.0063 ，
切0.1374 ，
% 0.3732
1的值最小，即‘1在回归方程中所起的作用最小，• I最大，说明1在回归方程中所起的作用最大。