一元线性回归效果的显著性检验
一元线性回归模型的统计检验
注意英文缩写的含义
TSS： Total Sum of Squares / 总离差平方和
RSS： Regression Sum of Squares / 回归平方和 Residual Sum of Squares / 残差平方和
ESS: Error Sum of Squares / 误差平方和（残差平方和） Explained Sum of Squares / 解释平方和（回归平方和）
（2）变量的显著性检验
对于最小二乘估计量ˆ1，已经知道它服从正态分布
ˆ1 ~ N(1,
2
xБайду номын сангаас2 )
由于真实的 2未知，在用它的无偏估计量ˆ 2
ei2 (n 2)替代时，可构造如下统计量
t ˆ1 1 ˆ1 1 ~ t(n 2)
ˆ 2 xi2
假设检验采用的是具有概率性质的反证法。先 假定原假设正确，然后根据样本信息，观察由此 假设而导致的结果是否合理，从而判断是否接受 原假设。判断结果合理与否，依据是小概率事件 原理。
假设检验的步骤： （1）提出原假设和备择假设； （2）根据已知条件选择检验统计量； （3）根据显著性水平确定拒绝域或临界值； （4）计算出统计量的样本值并作出判断。
其中X 和Y 分别是变量X与Y的样本均值。 r的取值范围是：[-1,1]
（4）样本可决系数与样本相关系数的关系 联系：
在数值上， 一元线性回归模型的样本可决系 数等于被解释变量与解释变量之间样本相关系数 的平方:
r2
yˆi2 yi2
ˆ12
xi2 yi2
( (
xi yi )2 xi2 )2
所以有
yi2 yˆi2 ei2
第三节 线性回归的显著性检验及回归预测
xy
i
n
]
2 b x i x i yi a x i 0 SS , SS E , SS R依赖： a y bx
5
注意：三个平方和SS , SS E , SS R的自由度分别记为 f , f E , f R , 则它们之间也有等式成立： f fE fR 且：f n-1, f E n 2, 则f R f f E 1.
2
x
i 1
n
i
x
2
式中：se为回归估计标准差
置信区间估计(例题分析)
【例】求出工业总产值的点估计为100亿元时， 工业总产值95%置信水平下的置信区间. yc 100 解：根据前面的计算结果,已知n=16， • se=2.457，t(16-2)=2.1448 • 置信区间为 1 (73 57.25)2
一元线性回归的方差分析表
离差来源 平方和 自由度 F值 SS R 回 归 SS y y 2 1 F R ci SS E 2 剩余 n-2
SS E yi yci
( n 2)
总计
SS yi y
2
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : 0; 2. 计算检验统计量F
i
(x
x ) nS xi
2 2
( xi )
2
③根据已知条件实际计算统计量t的值； ④ 比较②与③中的计算结果,得到结论.
3
回归系数的假设
b Se 1
对例题的回归系数进行显著性检验(＝0.05)
H0 : 0;
i
H1 : 0
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中,我们事先并不能断定随机变量y 与变量p x x x ,,,21 之间确有线性关系,在进行回归参数的估计之前,我们用多元线性回归方程去拟合随机变量y 与变量p x x x ,,,21 之间的关系,只是根据一些定性分析所作的一种假设;因此,和一元线性回归方程的显着性检验类似,在求出线性回归方程后,还需对回归方程进行显着性检验;设随机变量Y 与多个普通变量p x x x ,,,21 的线性回归模型为其中ε服从正态分布),0(2σN对多元线性回归方程的显着性检验就是看自变量若接受p x x x ,,,21 从整体上对随机变量y 是否有明显的影响;为此提出原假设如果0H 被接受,则表明随机变量y 与p x x x ,,,21 的线性回归模型就没有意义;通过总离差平方和分解方法,可以构造对0H 进行检验的统计量;正态随机变量n y y y ,,,21 的偏差平方和可以分解为：∑=-=n i i T y y S 12)(为总的偏差平方和,∑=-=n i i R y y S 12)ˆ(为回归平方和,∑=-=n i i i E yy S 12)ˆ(为残差平方和;因此,平方和分解式可以简写为： 回归平方和与残差平方和分别反映了0≠b 所引起的差异和随机误差的影响;构造F 检验统计量则利用分解定理得到：在正态假设下,当原假设0,,0,0:210===p b b b H 成立时,F 服从自由度为)1,(--p n p 的F 分布;对于给定的显着水平α,当F 大于临界值)1,(--p n p 时,拒绝0H ,说明回归方程显着,y x 与有显着的线性关系;实际应用中,我们还可以用复相关系数来检验回归方程的显着性;复相关系数R 定义为：平方和分解式可以知道,复相关系数的取值范围为10≤≤R ;R 越接近1表明E S 越小,回归方程拟合越好;2.回归系数的显着性若方程通过显着性检验,仅说明p b b b b ,,,210不全为零,并不意味着每个自变量对y 的影响都显着,所以就需要我们对每个自变量进行显着性检验;若某个系数0=j b ,则j x 对y 影响不显着,因此我们总想从回归方程中剔除这些次要的,无关的变量;检验i x 是否显着,等于假设已知])(,[~ˆ12-'X X B N B σ,p j i c X X ij ,,2,1,0,)(1 =='-）（记,可知],[~ˆ2σijj j c b N b ,,,2,1,0p j =据此可构造t 统计量 其中回归标准差为当原假设0:0=j j b H 成立时,则j t 统计量服从自由度为1--p n 的t 分布,给定显着性水平α,当2αt t j ≥时拒绝原假设0:0=j j b H ,认为j x 对y 影响显着,当2αt t j <时,接受原假设0:0=j j b H ,认为j x 对y 影响不显着;。
回归分析
回归系数，因此失去两个自由度。 回归系数，因此失去两个自由度。
♦
dfR＝dfT－dfE＝1
⑷．计算方差
♦ ♦
回归方差 残差方差
SS R MS R = df R
SS E MS E = df E
⑷．计算F ⑷．计算F值
MS R F= MS E
⑹．列回归方程的方差分析表
表21－1 回归方程方差分析表
变异 来源 回归 残差 总变异 平方和 自由度 方差 F 值 概率
♦
β=０ H0：β=０ H1：β≠０
♦
统计量计算
ΣX 2 − (ΣX ) / n bYX t= = bYX ⋅ SEb MS E
2
50520 − 710 2 / 10 = 1.22 × = 3.542 13.047
二．一元线性回归方程的评价── 二．一元线性回归方程的评价── 测定系数
♦
一元线性回归方程中， 一元线性回归方程中，总平方和等于回归平
2 2
SS R = SST
（21．5）
r2
X的变异
Y的变异
图21-1 21-
测定系数示意图
图21-2 21-
测定系数示意图
♦
例3：10名学生初一对初二年级数学成 10名学生初一对初二年级数学成
绩回归方程方差分析计算中得到： 绩回归方程方差分析计算中得到：
♦ SST=268.1
♦
2
SSR=163.724
数学成绩估计初二数学成绩的回归方程； 数学成绩估计初二数学成绩的回归方程；将另一 学生的初一数学成绩代入方程， 学生的初一数学成绩代入方程，估计其初二成绩
Y = 1.22 X − 14.32 = 1.22 × 76 − 14.32 = 78.4
一元线性回归方程的显著性检验
回归方程的显著性检验回归方程的显著性检验的目的是对回归方程拟合优度的检验。
F检验法是英国统计学家Fisher提出的，主要通过比较两组数据的方差S2，以确定他们的精密度是否有显著性差异。
回归方程显著性检验具体方法为：由于y的偏差是由两个因素造成的，一是x变化所引起反应在S回中，二是各种偶然因素干扰所致S残中。
将回归方程离差平方和S回同剩余离差平方和S残加以比较，应用F检验来分析两者之间的差别是否显著。
如果是显著的，两个变量之间存在线性关系；如果不显著，两个变量不存在线性相关关系。
n个观测值之间存在着差异，我们用观测值yi与其平均值的偏差平方和来表示这种差异程度，称其为总离差平方和，记为由于所以式中称为回归平方和，记为S回。
称为残差平方和，记为。
不难证明，最后一项。
因此S总＝S回＋S残上式表明，y的偏差是由两个因素造成的，一是x变化所引起，二是各种偶然因素干扰所致。
事实上，S回和S残可用下面更简单的关系式来计算。
具体检验可在方差分析表上进行。
这里要注意S回的自由度为1，S残的自由度为n－2，S总的自由度为n－1。
如果x与y有线性关系，则其中，F（1，n-2）表示第一自由度为1，第二自由度为n-2的分布。
在F表中显著性水平用表示，一般取0.10，0.05，0.01，1-表示检验的可靠程度。
在进行检验时，F值应大于F表中的临界值Fα。
若F<0.05(1,n-2)，则称x与y 没有明显的线性关系，若F0.05(1,n-2)<F<F0.01(1,n-2)，则称x与y有显著的线性关系；若F>F0.01(1,n-2)，则称x与y有十分显著的线性关系。
当x与y有显著的线性关系时，在表2-1-2的显著性栏中标以〝*〞；当x与y有十分显著的线性关系时，标以〝**〞。
一元线性回归四种检验等效性证明
DOI 10.16221/ki.issn1671-1084.2019.04.020
一元线性回归四种检验等效性证明
陈立强
（河池学院，广西 河池 546300）
摘要：一元线性回归方程用 OLSE①法给定后，要用其解释或预测，必须先对其线性显著与否加以检
验。一般的检验方法有四种：F - 检验，t - 检验，（简单） 相关系数检验，拟合优度检验。对于一元线性
2 中 R 与 E 相互独立。引理见文献[3]。
收稿日期：2018-12-13 基金项目：广西壮族自治区教育厅教改项目 （2017JGB366）；河池学院硕士专业学位建设基金课题 （2017YTA001） 作者简介：陈立强，河池学院教师，研究方向为数理统计。
92
则: 成立时，做统计量
，
R 和 E 定义同上，由引理 1，3 知道：
（1）
用法
得出经验回归方程：
经验回归方程得出后，要进行解释和预测，必
须先对其线性显著与否加以检验。用统计学术语，
就是检验：
。针 对 这 个
问题的检验，本文给出四种检验，并证明其等效。
引理 2（平方和分解式）：令
=
，
（总离差平方和）；
同引理 1 中的记号，则
有：
。
证明：上面
=
2 四种检验的构造
2.1 F - 检验的构造
， ， 同前，
检验反映的是回归系数是否显著线性。
2.2 拟合优度检验
直观上看，回归效果越好，可以认为
中 R 占的比例越大，所以可以构造 ~ 来检验
回归的效果。当
，称回归效果好。
定义 1：把 称为样本决定系数。利用样本决
定系数的检验称之为拟合优度检验。
一元线性回归模型的参数检验
模型拟合的质量检验
1
残差分析
通过分析模型的残差，可以评估模型对数据的拟合程度。较小的残差表示模型拟合较好。
2
参数的显著性检验
通过t检验或F检验，判断模型参数是否显著。显著的参数表示自变量对因变量的影响是真实 存在的解释程度。取值范围为0到1，越接近1表示模型拟合的越 好。
残差分析
残差分析是评估一元线性回归模型拟合质量的重要方法。通过分析残差的分 布、模式和异常值，可以判断模型是否可靠。
参数的显著性检验
在一元线性回归模型中，参数的显著性检验是判断自变量对因变量的影响是否显著的方法。常用的方法有t检 验和F检验。
t检验的基本原理
t检验是一种用于检验样本均值与总体均值之间差异的统计方法。在一元线性 回归模型中，用于检验参数估计值与真实值之间的差异。
一元线性回归模型的参数 检验
在统计学中，一元线性回归模型是一种用于描述两个变量之间线性关系的模 型。本节将介绍一元线性回归模型的参数检验方法。
什么是一元线性回归模型？
一元线性回归模型用于分析一个自变量与一个因变量之间的线性关系。它通 过拟合一个直线来描述这种关系，并根据模型参数进行推断和解释。
数据预处理
在进行一元线性回归之前，需要对数据进行预处理，包括数据清洗、缺失值 处理和异常值检测。通过这些步骤，可以确保模型建立在可靠的数据基础上。
拟合一元线性回归模型
通过最小化残差平方和来拟合一元线性回归模型。这可以通过最小二乘法来 实现，求解模型参数使得预测值与观测值的差异最小。
模型参数的估计
一元线性回归模型的参数估计使用普通最小二乘法。通过计算样本数据的协 方差和方差，可以得到模型参数的估计值。
第十三章 一元线性回归
变量之间存在关系的两种类型： 确定性关系（函数关系） 不确定性关系（相关关系）
函数关系
1.
2.
3.
是一一对应的确定关系：一 个（或多个）确定的自变量 的值对应一个确定的因变量 的值。 y 设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，并完 全依赖于 x ，当变量 x 取某 个数值时， y 依确定的关系 取相应的值，则称 y 是 x 的 函数，记为 y = f (x)，其中 x 称为自变量，y 称为因变量 x 各观测点落在一条线上
l xy = ( x x)( y y ) = xy N x y
则：a = y b x
b = l xy / l xx
步骤：1、由变量x求 x来自l xx （自方差） 2、由变量y求 y，l yy 3、由x、y求l xy （协方差） 4、求a、b ˆ 5、写出方程：y = a + bx
【例】有15个学生，数学和物理成绩列于表内， 现想求一个物理成绩对数学成绩的一元回归方 程。
23 8 40 19 60 69 21 66 15 46 26 32 30 58 28 22 23 33 41 57 7 57 37 68 27 41 20 30
数学（x） 31 物理（y） 32
解：
1.
2.
3.
相关分析中，变量 x 变量 y 处于平等的地位；回 归分析中，变量 y 称为因变量，处在被解释的地 位，x 称为自变量，用于预测因变量的变化 相关分析中所涉及的变量 x 和 y 都是随机变量； 回归分析中，因变量 y 是随机变量，自变量 x 可 以是随机变量，也可以是非随机的确定变量 相关分析主要是描述两个变量之间线性关系的密 切程度；回归分析不仅可以揭示变量 x 对变量 y 的影响大小，还可以由回归方程进行预测和控制
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一元线性回归效果的显著性检验
(相关系数检验法)
为了检验两个变量x、y 之间是否具有显著的线性关系，我们介绍了一元线性回归效果的显著性检验(F检验法),这里我们介绍另一种检验方法-相关系数检验法.
为了检验假设:H0：b=0 ,H1：b≠0 .
根据样本观测数据(x i, y i)(i=1,2,…,n),由一元线性回归中未知参数的最小二乘估计中的结论知回归直线方程为:
其中, ,
,
,
.
令,
此统计量称为相关系数.
而回归平方和:
,
误差平方和:
=L yy(1-r2).
[其中是回归值与其平均值的离差平方和，而,可以把看成是由于x的变化而引起的y值变化，因此称之为回归平方和；
反映的是观测值与回归值之间的离差平方和，它表示除x对y的线性影响之外的一切因素引起的y值的变化，称之为误差平方和或残差平方和.]
不难看出,•由于Q≥0，L yy≥0，故1-r2≥0，即0≤|r|≤1．
|r|越接近1，Q越小，回归方程对样本数据的拟合程度越好；反之，|r|越接近0，Q 越大，回归方程对样本数据的拟合程度越差．
下面利用散点图具体说明,当r取各种不同数值时,散点分布的情形,见下图．
具体说明如下:
(1)当r=0时，L xy=0，因此，回归直线平行于x轴，说明y的取值与x无关．注意，此时x与y可能存在其他非线性关系．
(2)当|r|=1时，Q=0，从而y=这时所有的点都在回归直线上，此时x与y存在确定的线性函数关系，称x与y完全线性相关．
(3)当0＜|r|＜1时，x与y存在一定的线性关系．若r与L xy同号，则r＞0，＞0，称x与y正相关：若r与L xy异号，则r＜0，＜0，称x与y负相关．
当0＜|r|＜1时，x与y线性相关．但只有当r的绝对值大到一定程度时，才能认为x与y线性关系密切．此时，我们认为相关系数是显著的，所求的回归直线方程才有意义，否则无意义．|r|究竟大到什么程度时，才算x与y线性关系为密切呢？
对于给定的显著性水平α，查相关系数临界值表(附录6),可得临界值rα(n-2)，使得
.
因此其拒绝域是W={|r| > rα(n-2)}．
由样本观测值计算统计量r的观测值r0，若|r0|≥rα(n-2)，则应拒绝H0，即x与y 之间线性关系显著；否则认为x与y之间的线性关系不显著或根本不存在线性关系，回归方程没有实用价值．这种检验方法称为相关系数检验法．
例3.10.5试用相关系数检验法检验例3.10.1中回归直线方程的效果.(α=0.05)解.根据题意,要检验的假设为
H0:b=0 ,H1:b≠0 .
例3.10.1.某种合成纤维的强度与其拉伸倍数之间有一定关系，下表是实测24个纤维样品的强度y与相应的拉伸倍数x的数据记录．试求出它们之间的关系．
编号拉伸倍数x强度y编号拉伸倍数x强度y
1 2 3 4 5 6 7 8 91.9
2.0
2.1
2.5
2.7
2.7
3.5
3.5
4.0
1.4
1.3
1.8
2.5
2.8
2.5
3.0
2.7
4.0
13
14
15
16
17
18
19
20
21
5.0
5.2
6.0
6.3
6.5
7.1
8.0
8.0
8.9
5.5
5.0
5.5
6.4
6.0
5.3
6.5
7.0
8.5
回归直线方程的计算步骤(I)
19
20
21
22
23
24 8.0
8.0
8.9
9.0
9.5
10.0
6.5
7.0
8.5
8.0
8.1
8.1
64.00
64.00
79.21
81.00
90.25
100.0
42.25
49.00
72.25
64.00
65.61
65.61
52.00
56.00
75.65
72.00
76.95
81.00
Σ127.5 113.1 829.61 650.93 731.6 回归直线方程的计算步骤(II)
, , n=24 ,
, ,
, , ,
,
,
,
,
.
所以所求回归直线方程为:
.
又n=24 , α=0.05 ,
L xx=152.2663,
L xy=130.7563,
L yy=117.9463.
查相关系数临界值表得
0.3809＜rα(n-2)=r0.05(22)＜0.4227.
而,
显然|r0|=0.9757＞r0.05(22).
所以拒绝H0,接受H1,即x与y之间的线性关系是显著的.
附录6 相关系数显著性检验表。