第三节 线性回归的显著性检验及回归预测
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中，我们事先并不能断定随机变量y与变量人,乂2，…，x p之间确有线性关系，在进行回归参数的估计之前，我们用多元线性回归方程去拟合随机变量y与变量X「X2，…，X p之间的关系，只是根据一些定性分析所作的一种假设。
因此，和一元线性回归方程的显着性检验类似，在求出线性回归方程后，还需对回归方程进行显着性检验。
设随机变量丫与多个普通变量x1, x2^ ,x p的线性回归模型为其中；服从正态分布N（0,；「2）对多元线性回归方程的显着性检验就是看自变量若接受X i,X2，…,X p从整体上对随机变量y是否有明显的影响。
为此提出原假设如果H。
被接受，则表明随机变量y与x「X2，…，X p的线性回归模型就没有意义。
通过总离差平方和分解方法，可以构造对H o进行检验的统计量。
正态随机变量y i,y2/ , y n的偏差平方和可以分解为：n n nS r f （y—y）2为总的偏差平方和，S R=為（懈-y）2为回归平方和，S E f （% - ？）2为残i 1i# im差平方和。
因此，平方和分解式可以简写为：回归平方和与残差平方和分别反映了b = 0所引起的差异和随机误差的影响。
构造F检验统计量则利用分解定理得到：在正态假设下，当原假设H o ：b i =0, b2 =0，…，b p =0成立时，F服从自由度为（p,n -p-1）的F分布。
对于给定的显着水平［，当F大于临界值（p, n-p-1）时，拒绝H。
，说明回归方程显着，x与y有显着的线性关系。
实际应用中，我们还可以用复相关系数来检验回归方程的显着性。
复相关系数R定义为：平方和分解式可以知道，复相关系数的取值范围为0空R乞1。
R越接近1表明S E越小，回归方程拟合越好。
2.回归系数的显着性若方程通过显着性检验，仅说明b o，b i，b2,…b p不全为零，并不意味着每个自变量对y的影响都显着，所以就需要我们对每个自变量进行显着性检验。
回归模型的统计检验
分布。 F 统计量服从自由度为 ( k , n − k − 1) 的 F 分布。选定 分布表（见本书附录） 一个显著性水平 α ，查 F 分布表（见本书附录） ， 可以得到一个临界值 Fα ( k , n − k − 1) 。
F检验与R2的关系
根据二者关系，有需注意的几个问题： ⑴F检验实际上也是判定系数的显著性检验。 ⑵如果模型对样本有较高的拟合优度，F检 验一般都能通过。 ⑶实际应用中不必过分苛求R2值的大小， 重要的是考察模型的经济意义是否合理。
∑ x ∑ x − (∑ x x ) ∑ x σˆ ∑ x ∑ x − (∑ x x )
2 1 2 2 1 2 2 1 2 2 1 2 2 1 2
2 x2 σ 2 ∑ ˆ
2
2
然后根据样本观测值和估计值，构造计算统计量： 然后根据样本观测值和估计值，构造计算统计量：
ˆ βi − βi t= ˆ S βi
ˆ ˆ ∑(y − y) = ∑ (y − y) + ∑ (y − y )
2 2 i i i i 2
y
yi
ei
yi − y
ˆ ( yi − y )
SRF
y
xi
x
TSS = Σ ( y i − y ) 2 ˆ ESS = Σ ( y i − y ) 2 ˆ RSS = Σ ( y i − y i ) 2
拟合优度检验统计量：可决系数( 2、拟合优度检验统计量：可决系数(判
定系数) 定系数)R2和校正可决系数 R2
（1）可决系数 ）
R 2 进行拟合优度检验，可决系 用可决系数 进行拟合优度检验，
数的计算公式为： 数的计算公式为：
( yi − y )2 ∑ˆ 2 R = ( yi − y )2 ∑
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中,我们事先并不能断定随机变量y 与变量p x x x ,,,21 之间确有线性关系,在进行回归参数的估计之前,我们用多元线性回归方程去拟合随机变量y 与变量p x x x ,,,21 之间的关系,只是根据一些定性分析所作的一种假设;因此,和一元线性回归方程的显着性检验类似,在求出线性回归方程后,还需对回归方程进行显着性检验;设随机变量Y 与多个普通变量p x x x ,,,21 的线性回归模型为其中ε服从正态分布),0(2σN对多元线性回归方程的显着性检验就是看自变量若接受p x x x ,,,21 从整体上对随机变量y 是否有明显的影响;为此提出原假设如果0H 被接受,则表明随机变量y 与p x x x ,,,21 的线性回归模型就没有意义;通过总离差平方和分解方法,可以构造对0H 进行检验的统计量;正态随机变量n y y y ,,,21 的偏差平方和可以分解为：∑=-=n i i T y y S 12)(为总的偏差平方和,∑=-=n i i R y y S 12)ˆ(为回归平方和,∑=-=n i i i E yy S 12)ˆ(为残差平方和;因此,平方和分解式可以简写为： 回归平方和与残差平方和分别反映了0≠b 所引起的差异和随机误差的影响;构造F 检验统计量则利用分解定理得到：在正态假设下,当原假设0,,0,0:210===p b b b H 成立时,F 服从自由度为)1,(--p n p 的F 分布;对于给定的显着水平α,当F 大于临界值)1,(--p n p 时,拒绝0H ,说明回归方程显着,y x 与有显着的线性关系;实际应用中,我们还可以用复相关系数来检验回归方程的显着性;复相关系数R 定义为：平方和分解式可以知道,复相关系数的取值范围为10≤≤R ;R 越接近1表明E S 越小,回归方程拟合越好;2.回归系数的显着性若方程通过显着性检验,仅说明p b b b b ,,,210不全为零,并不意味着每个自变量对y 的影响都显着,所以就需要我们对每个自变量进行显着性检验;若某个系数0=j b ,则j x 对y 影响不显着,因此我们总想从回归方程中剔除这些次要的,无关的变量;检验i x 是否显着,等于假设已知])(,[~ˆ12-'X X B N B σ,p j i c X X ij ,,2,1,0,)(1 =='-）（记,可知],[~ˆ2σijj j c b N b ,,,2,1,0p j =据此可构造t 统计量 其中回归标准差为当原假设0:0=j j b H 成立时,则j t 统计量服从自由度为1--p n 的t 分布,给定显着性水平α,当2αt t j ≥时拒绝原假设0:0=j j b H ,认为j x 对y 影响显着,当2αt t j <时,接受原假设0:0=j j b H ,认为j x 对y 影响不显着;。
多元线性回归——模型、估计、检验与预测
多元线性回归——模型、估计、检验与预测⼀、模型假设传统多元线性回归模型最重要的假设的原理为：1. ⾃变量和因变量之间存在多元线性关系，因变量y能够被x1,x2….x{k}完全地线性解释；2.不能被解释的部分则为纯粹的⽆法观测到的误差其它假设主要为：1.模型线性，设定正确；2.⽆多重共线性；3.⽆内⽣性；4.随机误差项具有条件零均值、同⽅差、以及⽆⾃相关；5.随机误差项正态分布具体见另⼀篇⽂章：回归模型的基本假设⼆、估计⽅法⽬标：估计出多元回归模型的参数注：下⽂皆为矩阵表述，X为⾃变量矩阵(n*k维)，y为因变量向量（n*1维）OLS（普通最⼩⼆乘估计）思想：多元回归模型的参数应当能够使得，因变量y的样本向量在由⾃变量X的样本所构成的线性空间G（x）的投影（即y’= xb）为向量y 在线性空间G(x)上的正交投影。
直⽩⼀点说，就是要使得(y-y’)’(y-y’)最⼩化，从⽽能够使y的预测值与y的真实值之间的差距最⼩。
使⽤凸优化⽅法，可以求得参数的估计值为：b = (x’x)^(-1)x’y最⼤似然估计既然已经在假设中假设了随机误差项的分布为正态分布，那么⾃变量y的分布也可以由线性模型推算出来（其分布的具体函数包括参数b在内）。
进⼀步的既然已经抽取到了y的样本，那么使得y的样本出现概率（联合概率密度）最⼤的参数即为所求最终结果与OLS估计的结果是⼀致的矩估计思想：通过寻找总体矩条件(模型设定时已经有的假设，即⽆内⽣性)，在总体矩条件中有参数的存在，然后⽤样本矩形条件来进⾏推导未知参数的解。
在多元回归中有外⽣性假设：对应的样本矩为：最终估计结果与OLS⽅法也是⼀样的。
三、模型检验1.拟合优度检验（1）因变量y是随机变量，⽽估计出来的y’却不是随机变量；（2）拟合优度表⽰的是模型的估计值y’能够在多⼤程度上解释因变量样本y的变动。
（3）y’的变动解释y的变动能⼒越强，则说明模型拟合的越好y-y’就越接近与假设的随机误差（4）⽽因变量的变动是由其⽅差来描述的。
数学地质第三章 回归分析
yi
n
（3-9）
n 1 1 y yi x xi n i 1 n i 1 则式（3-9）可化为
n
n n 2 na x b xi xi y i i 1 i 1 a bx y
（3-10）
二、参数a,b的最小二乘估计
由式（3-10）中第一个方程得
y x
一、一元线性回归的数学模型
将式（3-2）及式（3-3）两边取对数，则分别为 Lny=lnα+βx （3-4） 及 lny=lnα+βlnx （3-5） 如果在式（3-4）中令Y=lny，则Y与x即成线性 关系；如果在式（3-5）中令Y=lny，X=lnx，则Y与X 就成线性关系。此外，还有一些函数，只要经过简单 变换，也可变为线性关系。这些统称为可化为线性关 系的情况，只要线性情况得到解决，可化为线性的情 况也就不难解决。
一元线性回归分析，主要是处理两个变量
x、y之间的关系。两个变量之间的关系有线性 和非线性两种情况，这里主要讨论线性关系及 可化为线性关系的非线性情况。
一、一元线性回归的数学模型
线性关系数学模型，如 y=a+bx (a,b为常数) （3-1） 非线性的情况，如指数函数 x y e （α，β为常数） （3-2） 幂函数形式 （3-3）
n Q 2 ( yi a bxi ) 0 a i 1 n Q 2 ( yi a bxi ) xi 0 b i 1
（ 3-8）
二、参数a,b的最小二乘估计
即
令
i 1 i 1 n n n a xi b xi2 xi y i i 1 i 1 i 1 na b xi
二、参数a,b的最小二乘估计
一元线性回归模型的统计检验
3. 怎样进行拟合优度检验 （1）总离差平方和的分解 已知有一组样本观测值( Xi ,Yi )(i 1, 2, , n)，得到 如下样本回归直线：
Yˆi ˆ0 ˆ1Xi
Y的第i个观测值与样本均值的离差yi Yi Y 可分 解为两部分之和：
yi Yi Y Yi Yˆi Yˆi Y ei yˆi (1)
规则：p值越小，越能拒绝原假设H0.
三、回归系数的置信区间
对参数作出的点估计虽然是无偏估计，但一 次抽样它并不一定等于真实值，所以需要找到包 含真实参数的一个范围，并确定这个范围包含参 数真实值的可靠程度。
在变量的显著性检验中已经知道：
t ˆi i ~ t(n 2) i=0,1
Sˆi
给出置信度1，查自由度为(n 2)的t分布表，
假设检验的步骤： （1）提出原假设和备择假设； （2）根据已知条件选择检验统计量； （3）根据显著性水平确定拒绝域或临界值； （4）计算出统计量的样本值并作出判断。
（2）变量的显著性检验
对于最小二乘估计量ˆ1，已经知道它服从正态分布
ˆ1 ~ N(1,
2
xi2 )
由于真实的 2未知，在用它的无偏估计量ˆ 2
在上述收入——消费支出的例子中，如果给定
=0.01，查表得：
t 2 (n 2) t0.005 (8) 3.355
由于
Sˆ1 0.042
Sˆ0 98.41
于是，计算得到1、0的置信区间分别为：
(0.6345,0.9195)
(-433.32,226.98)
则
TSS RSS ESS
Y的观测值围绕其均值的总离差可分解为两部 分：一部分来自回归线(RSS)，另一部分则来自随 机势力(ESS)。因此，我们可以用回归平方和RSS 占Y的总离差平方和TSS的比例来度量样本回归线 与样本观测值的拟合优度。
第三节线性回归的显著性检验及回归预测
? ? ? SSE ? SS ? bnSxy ? SS ? b[ xi yi ? xi yi n ]
SSR ? SS ? SS E ? bnSxy
? ? ? SS, SSE , SSR依赖：????b
xi 2 ? xi yi ? a a ? y ? bx
xi ? 0
5
注意：
三个平方和
SS
,
SS
E
,
度1和分母自由度14找出临界值F ? =4.60
4. 作出决策：若F >F ? , 拒绝H0，认为能源
消耗量与工业总产值两变量间的线性相关 关系是显著的.
离差来源
平方和
自由度 F值
回归 剩余
SSR ? 1676.3876
SS E ? 84.5499
1 14
F ? 277.5808
总计 SS ? 2105.75 15
① 提出原假设与备择假设：
H0 : ? ? 0; H1 : ? ? 0
② 构造检验统计量 t ? b ~ t(n ? 2)
S (b)
? 其中，S(b) ? Se 1 ( xi ? x)2为b的样本方差，
? ? ? ( xi
?
x)2
?
nS
2 x
?
xi2 ? (
xi )2 n
给定显著性水平α,这是t分布的双侧检验 ,查
yi ? yci 2
SS ? ? ?yi ? y?2
1 n-2
F ? SSR SS E
(n ? 2)
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : ? ? 0;
2. 计算检验统计量 F
H1 : ? ? 0
多元线性回归模型的各种检验方法
多元线性回归模型的各种检验方法多元线性回归模型是常用于数据分析和预测的方法，它可以用于研究多个自变量与因变量之间的关系。
然而，仅仅使用多元线性回归模型进行参数估计是不够的，我们还需要对模型进行各种检验以确保模型的可靠性和有效性。
下面将介绍一些常用的多元线性回归模型的检验方法。
首先是模型的整体显著性检验。
在多元线性回归模型中，我们希望知道所构建的模型是否能够显著解释因变量的变异。
常见的整体显著性检验方法有F检验和显著性检查表。
F检验是通过比较回归模型的回归平方和和残差平方和的比值来对模型的整体显著性进行检验。
若F值大于一定的临界值，则可以拒绝原假设，即模型具有整体显著性。
通常，临界值是根据置信水平和自由度来确定的。
显著性检查表是一种常用的汇总表格，它可以提供关于回归模型的显著性水平、标准误差、置信区间和显著性因素的信息。
通过查找显著性检查表，我们可以评估模型的显著性。
其次是模型的参数估计检验。
在多元线性回归模型中，我们希望知道每个自变量对因变量的影响是否显著。
通常使用t检验来对模型的参数估计进行检验。
t检验是通过对模型的回归系数进行检验来评估自变量的影响是否显著。
与F检验类似，t检验也是基于假设检验原理，通过比较t值和临界值来决定是否拒绝原假设。
通常，临界值可以通过t分布表或计算机软件来获取。
另外，我们还可以使用相关系数来评估模型的拟合程度。
相关系数可以用来衡量自变量与因变量之间的线性关系强度，常见的相关系数包括Pearson相关系数和Spearman相关系数。
Pearson相关系数适用于自变量和因变量都是连续变量的情况，它衡量的是两个变量之间的线性关系强度。
取值范围为-1到1，绝对值越接近1表示关系越强。
Spearman相关系数适用于自变量和因变量至少有一个是有序变量或者都是有序变量的情况，它衡量的是两个变量之间的单调关系强度。
取值范围也是-1到1，绝对值越接近1表示关系越强。
最后，我们还可以使用残差分析来评估模型的拟合程度和误差分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
xy
i
n
]
2 b x i x i yi a x i 0 SS , SS E , SS R依赖： a y bx
5
注意：三个平方和SS , SS E , SS R的自由度分别记为 f , f E , f R , 则它们之间也有等式成立： f fE fR 且：f n-1, f E n 2, 则f R f f E 1.
2
x
i 1
n
i
x
2
式中：se为回归估计标准差
置信区间估计(例题分析)
【例】求出工业总产值的点估计为100亿元时， 工业总产值95%置信水平下的置信区间. yc 100 解：根据前面的计算结果,已知n=16， • se=2.457，t(16-2)=2.1448 • 置信区间为 1 (73 57.25)2
一元线性回归的方差分析表
离差来源 平方和 自由度 F值 SS R 回 归 SS y y 2 1 F R ci SS E 2 剩余 n-2
SS E yi yci
( n 2)
总计
SS yi y
2
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : 0; 2. 计算检验统计量F
i
(x
x ) nS xi
2 2
( xi )
2
③根据已知条件实际计算统计量t的值； ④ 比较②与③中的计算结果,得到结论.
3
回归系数的假设
b Se 1
对例题的回归系数进行显著性检验(＝0.05)
H0 : 0;
i
H1 : 0
3. 确定显著性水平=0.05，并根据分子自由 度1和分母自由度14找出临界值F =4.60 4. 作出决策：若F >F , 拒绝H0，认为能源 消耗量与工业总产值两变量间的线性相关 关系是显著的.
离差来源 回 归 剩余 总计 平方和 自由度 1 14 15
10
F值
SSR 1676.3876
yc t 2 ( n 2) Se
注意！
1 1 n
x0 x
2
x
i 1
n
i
x
2
置信区间、预测区间、回归方程
y
b0
yc a bx
x
x0
x
影响区间宽度的因素
1. 置信水平 (1 - ) – 区间宽度随置信水平的增大而增大 2. 数据的离散程度Se – 区间宽度随离程度的增大而增大 • 3. 样本容量 – 区间宽度随样本容量的增大而减小 • 4. 用于预测的 x0与x的差异程度 – 区间宽度随 x0 与 x 的差异程度的增大 而增大
yc a bx
b0
23
作业：P223 1、4、6、7
24
能源消耗量为73十万吨时，其工业总产值的
预测区间在45.9345亿元与57.2677亿元之间.
2
预测区间估计(大样本)
1. y0在1-置信水平下的预测区间为
yc Z 2 Se
y0 yc 特别：P{ 1} 68.27% Se y0 yc P{ 2} 95.45% Se y0 yc P{ 3} 99.73% Se
置信区间估计
1. 利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平 均值的估计区间 ，这一估计区间称为 置信区间(confidence interval) 2. E(y0) 在1-置信水平下的置信区间为
yc t 2 ( n 2) se 1 n
x0 x
E( y0 ) 6.5142 0.7961 78 55.5816(亿元)
y 的个别值的点估计
• 利用估计的回归方程 , 对于自变量 x 的
一个给定值 x0, 求出因变量 y 的一个个别 值的估计值 yc ,就是个别值的点估计.
– 例如，如果我们只是想知道能源消耗量为 80万吨的工业总产值是多少，则属于个别 值的点估计 。根据估计的回归方程得
第三节 线性回归的显著性 检验及回归预测
在回归分析中,要检验因变量Y与自变量 X之间到底有无真正的线性关系,可以通过 回归系数的显著性检验(t检验)或回归方程 的显著性检验(F检验)来判断.
1
一、回归系数的显著性检验
回归系数显著性检验的目的是通过检验回 归系数β的值与0是否有显著性差异，来判断Y 与X之间是否有显著的线性关系.若β=0,则总体 回归方程中不含X项(即Y不随X变动而变动),因 此,变量Y与X之间并不存在线性关系;若β≠0,说 明变量Y与X之间存在显著的线性关系.
y 的平均值的点估计
个给定值 x0, 求出因变量 y 的平均值的一个 估计值E(y0) ,就是平均值的点估计
利用估计的回归方程,对于自变量x 的一
– 在能源消耗量与工业总产值的例子中， 假如我们要估计能源消耗量为 78 十万吨 的平均工业总产值，那么将 78 十万吨代 入估计的回归方程，就得到了工业总产 值的点估计：
100 2.1448 2.457
97.9167 E( y0 ) 102.0833
16
2645
当工业总产值的点估计为100亿元时，工业总产值 的平均值在97.9167亿元到102.0833亿元之间 .
预测区间估计
1. 利用估计的回归方程，对于自变量 x 的一 个给定值 x0 ，求出因变量 y 的一个个别 值的估计区间，这一区间称为预测区间 (prediction interval) 2. y0在1-置信水平下的预测区间为
H1 : 0
SS yi 2 ( yi )2 n 26175 (625)2 16 1760.9375
nS xy xi yi ( xi yi ) n 37887 (916 625) 16 2105.75 SS R bnS xy 0.7961 2105.75 1676.3876 SS E SS SS R 84.5499 SS R 1676.3876 F 277.5808 SS E ( n 2) 84.5499 14
SSE 84.5499
F 277.5808
SS 2105.75
三、利用回归方程进行估计和预测
点估计 1. 对于自变量 x 的一个给定值 x0, 根据回归 方程得到因变量 y 的一个估计值 yc
2. 点估计值有
y 的平均值的点估计 y 的个别值的点估计
3. 在点估计条件下，平均值的点估计和个别 值的的点估计是一样的，但在区间估计中 则不同
给定显著性水平α,查表计算出临界值 F (1, n , 2) 得出拒绝域 (F (1, n 2), ).
③根据已知条件实际计算统计量F的值； ④ 比较②与③中的计算结果,得到结论.
7
方差分析——把总离差平方和及其自由度进行分 解,利用F统计量检验两变量间线性相关显著性的 方法称为方差分析.方差分析的结果归纳如下：
二.回归方程的显著性检验(方差分析(F检验))
检验两变量是否线性相关的另一种方法是方差分 析,它是建立在对总离差平方和如下分解的基础上：
y
i
y yi yci yci y ,即：
2 2 2 2
SS yi y nS y 2 yi 2 ( yi )2 n SS E SS bnS xy SS b[ xi yi SS R SS SS E bnS xy
① 提出原假设与备择假设：
H0 : 0; H1 : 0
② 构造检验统计量
i .构造 2分布统计量： SS R ~ (1),
2
2
SS E
2
~ 2 ( n 2),
ii .构造统F分布计量： SS R 1 2 SS R F ~ F (1, n 2) SS E SS E ( n 2) 2 ( n 2)
① 提出原假设与备择假设：
H0 : 0;
H1 : 0
b ~ t ( n 2) ② 构造检验统计量 t S (b)
其中，S (b) Se 1
(x
2 x
i
x)
2
为b的样本方差，
n 给定显著性水平α,这是t分布的双侧检验,查 表计算出临界值 t 2 (n 2),得出拒绝域;
0.7961 16.6548 0.0478
2. 计算检验的统计量
t 0.7961 2.457 1 2645
(x
x)
2
3.t 2 ( n 2) t0.025 (14) 2.1448 16.6548, 所以拒绝原假 设,表示Y 与X 之间存在显著的线性关系,即能源消耗量 与工业总产值之间存在显著的线性相关关系.
yc 6.5142 0.7961 80 57.1738(亿元)
区间估计
区间估计
1. 点估计不能给出估计的精度，点估计值与 实际值之间是有误差的，因此需要进行区 间估计 2. 对于自变量 x 的一个给定值 x0，根据回归 方程得到因变量 y 的一个估计区间 3. 区间估计有两种类型 – 置信区间估计(confidence interval estimate) – 预测区间估计(prediction interval estimate)
预测区间估计(例题分析)
【例】求出能源消耗量为73十万吨时,工业总产值
95% 置信水平下的置信区间 解：根据前面的计算结果,已知 n=16， se=2.457， t(14)=2.1448 yc 6.5142 0.7961 73 51.6011(亿元) • 置信区间为
1 (73 57.25) 51.6011 2.1448 1.457 1 16 2645 45.9345 y0 57.2677