一元线性回归方程的显著性检验
一元线性回归模型检验
对于所有样本点，则需考虑这些点与样本均值离 差的平方和，可以证明：
记：
总体平方和（Total Sum )2
回归平方和（Explained Sum of Squares）
三、一元线性回归模型的统计检验
1、拟合优度检验 2、变量的显著性检验 3、方差分析
回归分析是要通过样本所估计的参数来代替总体的真实 参数，或者说是用样本回归线代替总体回归线。
尽管从统计性质上已知，如果有足够多的重复抽样，参 数的估计值的期望(均值)就等于其总体的参数真值，但 在一次抽样中，估计值不一定就等于该真值。
R 2 ˆ12
xi2 (0.777)2 7425000 0.9766
yi2
4590020
注：可决系数是一个非负的统计量。它也是随着抽样 的不同而不同。为此，对可决系数的统计可靠性也应进行 检验，这将在第3章中进行。
2、变量的显著性检验
回归分析是要判断解释变量X 是否是被解释变量Y 的一个显著性的影响因素。
而Y 的第i个观测值与样本均值的离差 yt (Yt Y ) 可分解为两部分之和
yi Yi Y (Yi Yˆi ) (Yˆi Y ) ei yˆi
yˆt (Yˆt Y ) 是样本回归拟合值与观测值的平均值 之差，可认为是由回归直线解释的部分，称为可解释偏 差或回归偏差；
et (Yt Yˆi )是实际观测值与回归拟合值之差，是回 归直线不能解释的部分，称为残差或随机偏差；
那么，在一次抽样中，参数的估计值与真值的差异有多 大，是否显著，这就需要进一步进行统计检验。
主要包括拟合优度检验、变量的显著性检验及方差分析。
一元线性回归模型的统计检验
注意英文缩写的含义
TSS： Total Sum of Squares / 总离差平方和
RSS： Regression Sum of Squares / 回归平方和 Residual Sum of Squares / 残差平方和
ESS: Error Sum of Squares / 误差平方和（残差平方和） Explained Sum of Squares / 解释平方和（回归平方和）
（2）变量的显著性检验
对于最小二乘估计量ˆ1，已经知道它服从正态分布
ˆ1 ~ N(1,
2
xБайду номын сангаас2 )
由于真实的 2未知，在用它的无偏估计量ˆ 2
ei2 (n 2)替代时，可构造如下统计量
t ˆ1 1 ˆ1 1 ~ t(n 2)
ˆ 2 xi2
假设检验采用的是具有概率性质的反证法。先 假定原假设正确，然后根据样本信息，观察由此 假设而导致的结果是否合理，从而判断是否接受 原假设。判断结果合理与否，依据是小概率事件 原理。
假设检验的步骤： （1）提出原假设和备择假设； （2）根据已知条件选择检验统计量； （3）根据显著性水平确定拒绝域或临界值； （4）计算出统计量的样本值并作出判断。
其中X 和Y 分别是变量X与Y的样本均值。 r的取值范围是：[-1,1]
（4）样本可决系数与样本相关系数的关系 联系：
在数值上， 一元线性回归模型的样本可决系 数等于被解释变量与解释变量之间样本相关系数 的平方:
r2
yˆi2 yi2
ˆ12
xi2 yi2
( (
xi yi )2 xi2 )2
所以有
yi2 yˆi2 ei2
第三节 线性回归的显著性检验及回归预测
xy
i
n
]
2 b x i x i yi a x i 0 SS , SS E , SS R依赖： a y bx
5
注意：三个平方和SS , SS E , SS R的自由度分别记为 f , f E , f R , 则它们之间也有等式成立： f fE fR 且：f n-1, f E n 2, 则f R f f E 1.
2
x
i 1
n
i
x
2
式中：se为回归估计标准差
置信区间估计(例题分析)
【例】求出工业总产值的点估计为100亿元时， 工业总产值95%置信水平下的置信区间. yc 100 解：根据前面的计算结果,已知n=16， • se=2.457，t(16-2)=2.1448 • 置信区间为 1 (73 57.25)2
一元线性回归的方差分析表
离差来源 平方和 自由度 F值 SS R 回 归 SS y y 2 1 F R ci SS E 2 剩余 n-2
SS E yi yci
( n 2)
总计
SS yi y
2
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : 0; 2. 计算检验统计量F
i
(x
x ) nS xi
2 2
( xi )
2
③根据已知条件实际计算统计量t的值； ④ 比较②与③中的计算结果,得到结论.
3
回归系数的假设
b Se 1
对例题的回归系数进行显著性检验(＝0.05)
H0 : 0;
i
H1 : 0
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中,我们事先并不能断定随机变量y 与变量p x x x ,,,21 之间确有线性关系,在进行回归参数的估计之前,我们用多元线性回归方程去拟合随机变量y 与变量p x x x ,,,21 之间的关系,只是根据一些定性分析所作的一种假设;因此,和一元线性回归方程的显着性检验类似,在求出线性回归方程后,还需对回归方程进行显着性检验;设随机变量Y 与多个普通变量p x x x ,,,21 的线性回归模型为其中ε服从正态分布),0(2σN对多元线性回归方程的显着性检验就是看自变量若接受p x x x ,,,21 从整体上对随机变量y 是否有明显的影响;为此提出原假设如果0H 被接受,则表明随机变量y 与p x x x ,,,21 的线性回归模型就没有意义;通过总离差平方和分解方法,可以构造对0H 进行检验的统计量;正态随机变量n y y y ,,,21 的偏差平方和可以分解为：∑=-=n i i T y y S 12)(为总的偏差平方和,∑=-=n i i R y y S 12)ˆ(为回归平方和,∑=-=n i i i E yy S 12)ˆ(为残差平方和;因此,平方和分解式可以简写为： 回归平方和与残差平方和分别反映了0≠b 所引起的差异和随机误差的影响;构造F 检验统计量则利用分解定理得到：在正态假设下,当原假设0,,0,0:210===p b b b H 成立时,F 服从自由度为)1,(--p n p 的F 分布;对于给定的显着水平α,当F 大于临界值)1,(--p n p 时,拒绝0H ,说明回归方程显着,y x 与有显着的线性关系;实际应用中,我们还可以用复相关系数来检验回归方程的显着性;复相关系数R 定义为：平方和分解式可以知道,复相关系数的取值范围为10≤≤R ;R 越接近1表明E S 越小,回归方程拟合越好;2.回归系数的显着性若方程通过显着性检验,仅说明p b b b b ,,,210不全为零,并不意味着每个自变量对y 的影响都显着,所以就需要我们对每个自变量进行显着性检验;若某个系数0=j b ,则j x 对y 影响不显着,因此我们总想从回归方程中剔除这些次要的,无关的变量;检验i x 是否显着,等于假设已知])(,[~ˆ12-'X X B N B σ,p j i c X X ij ,,2,1,0,)(1 =='-）（记,可知],[~ˆ2σijj j c b N b ,,,2,1,0p j =据此可构造t 统计量 其中回归标准差为当原假设0:0=j j b H 成立时,则j t 统计量服从自由度为1--p n 的t 分布,给定显着性水平α,当2αt t j ≥时拒绝原假设0:0=j j b H ,认为j x 对y 影响显着,当2αt t j <时,接受原假设0:0=j j b H ,认为j x 对y 影响不显着;。
回归分析
回归系数，因此失去两个自由度。 回归系数，因此失去两个自由度。
♦
dfR＝dfT－dfE＝1
⑷．计算方差
♦ ♦
回归方差 残差方差
SS R MS R = df R
SS E MS E = df E
⑷．计算F ⑷．计算F值
MS R F= MS E
⑹．列回归方程的方差分析表
表21－1 回归方程方差分析表
变异 来源 回归 残差 总变异 平方和 自由度 方差 F 值 概率
♦
β=０ H0：β=０ H1：β≠０
♦
统计量计算
ΣX 2 − (ΣX ) / n bYX t= = bYX ⋅ SEb MS E
2
50520 − 710 2 / 10 = 1.22 × = 3.542 13.047
二．一元线性回归方程的评价── 二．一元线性回归方程的评价── 测定系数
♦
一元线性回归方程中， 一元线性回归方程中，总平方和等于回归平
2 2
SS R = SST
（21．5）
r2
X的变异
Y的变异
图21-1 21-
测定系数示意图
图21-2 21-
测定系数示意图
♦
例3：10名学生初一对初二年级数学成 10名学生初一对初二年级数学成
绩回归方程方差分析计算中得到： 绩回归方程方差分析计算中得到：
♦ SST=268.1
♦
2
SSR=163.724
数学成绩估计初二数学成绩的回归方程； 数学成绩估计初二数学成绩的回归方程；将另一 学生的初一数学成绩代入方程， 学生的初一数学成绩代入方程，估计其初二成绩
Y = 1.22 X − 14.32 = 1.22 × 76 − 14.32 = 78.4
回归方程和回归系数的显著性检验
§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢因变量与自变量是否确实存在线性关系呢这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标,或,称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设,当假设成立时, 则与无线性关系, 否则认为线性关系显著。
检验假设应用统计量,这是两个方差之比, 它服从自由度为及的分布, 即,用此统计量可检验回归的总体效果。
2.3 一元线性回归模型的统计检 ...
2、度量拟合优度的指标—可决系数R2统计量
根据上述的关系，可以用 R 2 = ESS = 1 RSS TSS TSS (2.3.3)
称 R2 为（样本）可决系数/判定系数（coefficient of determination)。 可决系数的特点： • 取值范围：[0，1] • 随抽样波动，样本可决系数是随抽样而变动的随
2 2 2 i
X )(Yi Y )
估计标准误差的评价标准：s越大，回归直线精度越 低；s越小，则回归直线精度越高，代表性越好。当 s=0时，表示所有的样本点都落在回归直线上，解释 变量与被解释变量之间表现为函数关系。
ˆi = 1.7568 + 0.7574 X i 的估计标准误差 例3 计算回归直线 Y
合程度？
因为在一个特定的条件下做的最好的并不一定就 是高质量的，普通最小二乘法所保证的最好拟合是同 一个问题内部的比较，拟合优度检验结果所表示的优 劣是不同问题之间的比较。如前页图是由散点表示的 样本观测值的最小二乘估计结果，对于每个问题它们 都满足残差的平方和最小，但是二者对样本观测值的 拟合程度显然是不同的。 拟合优度的度量建立在对总离差分解的基础
反映由模型中解释变量所解释的那部分离差的大小；
RSS = ei 2 = (Yi ˆYi ) 2
残差平方和（Residual Sum of Squares ）
反映样本观测值与估计值偏离的大小，也是模型中解 释变量未解释的那部分离差的大小；
则（2.3.2）式可以表示成为： TSS=ESS+RSS Y的观测值围绕其均值的总离差(total variation) 可分解为两部分：一部分来自回归线(ESS)，另一部 分则来自随机势力(RSS)。 在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS 中占的比重越大，因此 拟合优度：回归平方和ESS/Y的总离差TSS
一元线性回归模型的参数检验
模型拟合的质量检验
1
残差分析
通过分析模型的残差，可以评估模型对数据的拟合程度。较小的残差表示模型拟合较好。
2
参数的显著性检验
通过t检验或F检验，判断模型参数是否显著。显著的参数表示自变量对因变量的影响是真实 存在的解释程度。取值范围为0到1，越接近1表示模型拟合的越 好。
残差分析
残差分析是评估一元线性回归模型拟合质量的重要方法。通过分析残差的分 布、模式和异常值，可以判断模型是否可靠。
参数的显著性检验
在一元线性回归模型中，参数的显著性检验是判断自变量对因变量的影响是否显著的方法。常用的方法有t检 验和F检验。
t检验的基本原理
t检验是一种用于检验样本均值与总体均值之间差异的统计方法。在一元线性 回归模型中，用于检验参数估计值与真实值之间的差异。
一元线性回归模型的参数 检验
在统计学中，一元线性回归模型是一种用于描述两个变量之间线性关系的模 型。本节将介绍一元线性回归模型的参数检验方法。
什么是一元线性回归模型？
一元线性回归模型用于分析一个自变量与一个因变量之间的线性关系。它通 过拟合一个直线来描述这种关系，并根据模型参数进行推断和解释。
数据预处理
在进行一元线性回归之前，需要对数据进行预处理，包括数据清洗、缺失值 处理和异常值检测。通过这些步骤，可以确保模型建立在可靠的数据基础上。
拟合一元线性回归模型
通过最小化残差平方和来拟合一元线性回归模型。这可以通过最小二乘法来 实现，求解模型参数使得预测值与观测值的差异最小。
模型参数的估计
一元线性回归模型的参数估计使用普通最小二乘法。通过计算样本数据的协 方差和方差，可以得到模型参数的估计值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
回归方程的显著性检验
回归方程的显著性检验的目的是对回归方程拟合优度的检验。
F检验法是英国统计学家Fisher提出的，主要通过比较两组数据的方差S2，以确定他们的精密度是否有显著性差异。
回归方程显著性检验具体方法为：
由于y的偏差是由两个因素造成的，一是x变化所引起反应在S回中，二是各种偶然因素干扰所致S残中。
将回归方程离差平方和S回同剩余离差平方和S残加以比较，应用F检验来分析两者之间的差别是否显著。
如果是显著的，两个变量之间存在线性关系；如果不显著，两个变量不存在线性相关关系。
n个观测值之间存在着差异，我们用观测值yi与其平均值
的偏差平方和来表
示这种差异程度，称其为总离差平方和，记为
由于
所以
式中
称为回归平方和，记为S回。
称为残差平方和，
记为。
不难证明，最后一项。
因此
S总＝S回＋S残
上式表明，y的偏差是由两个因素造成的，一是x变化所引起，二是各种偶然因素干扰所致。
事实上，S回和S残可用下面更简单的关系式来计算。
具体检验可在方差分析表上进行。
这里要注意S回的自由度为1，S残的自由度为n－2，S总的自由度为n－1。
如果x与y有线性关系，则
其中，F（1，n-2）表示第一自由度为1，第二自由度为n-2的分布。
在F表中显著性水平用表示，一般取0.10，0.05，0.01，1-表示检验的可靠程度。
在进行检验时，F值应大于F表中的临界值Fα。
若F<0.05(1,n-2)，则称x与y 没有明显的线性关系，若F0.05(1,n-2)<F<F0.01(1,n-2)，则称x与y有显著的线性关系；若F>F0.01(1,n-2)，则称x与y有十分显著的线性关系。
当x与y有显著的线性关系时，在表2-1-2的显著性栏中标以〝*〞；当x与y有十分显著的线性关系时，标以〝**〞。