回归方程及回归系数的显著性检验精品资料
显著性检验
显著性检验对所有自变量与因变量之间的直线回归关系的拟合程度，可以用统计量R2来度量，其公式如下：TSS(Total Sum of Squares)称为总平方和，其值为，体现了观测值y1,y2,…,y n总波动大小，认为是在执行回归分析之前响应变量中的固有变异性。
ESS(Explained Sum of Squares)称为回归平方和，是由于y与自变量x1,x2,…,x n的变化而引起的，其值为，体现了n个估计值的波动大小。
RSS(Residual Sum of Squares)称为残差平方和，其值为。
R2称为样本决定系数，对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。
回归模型的显著性检验包括：①对整个回归方程的显著性检验；②对回归系数的显著性检验。
对整个回归方程的显著性检验的假设为“总体的决定系统ρ2为零”，这个零假设等价于“所有的总体回归系数都为零”，即：检验统计量为R2，最终检验统计量为F比值，计算公式为：F比值的意义实际上是“由回归解释的方差”与“不能解释的方差”之比。
检验回归方程是否显著的步骤如下。
第1步，做出假设。
备择假设H1:b1,b2,…,b k不同时为0。
第2步，在H0成立的条件下，计算统计量F。
第3步，查表得临界值。
对于假设H0，根据样本观测值计算统计量F，给定显著性水平α，查第一个自由度为k，第二个自由度为n-k-1的F分布表得临界值F(k,n-k-1)。
当F≥Fα(k,n-k-1)时，拒绝假设H0，则认为回归方程α显著成立；当F＜Fα(k,n-k-1)时，接受假设H0，则认为回归方程无显著意义。
对某个回归参数βi的显著性检验的零假设为：H0：βi=0，检验的最终统计量为：具体步骤如下。
(1)提出原假设H0:βi=0；备择假设H1:βi≠0。
(2)构造统计量，当βi=0成立时，统计量。
这里是的标准差，k为解释变量个数。
(3)给定显著性水平α，查自由度为n-k-1的t分布表，得临界值。
线性回归的显著性检验及回归预测.
双曲线
1. 基本形式：
1. 线性化方法 令：y' = 1/y，x'= 1/x, 则有y' = a+ bx' 2. 图像
b<0
b>0
幂函数曲线
1. 基本形式：
2. 线性化方法
两端取对数得：lg y = lga + b lg x 令：y' = lgy，x'= lg x，则y' = lga + b x‘ 3. 图像
非线性回归－－练习
一种商品的需求量与其价格有一定的关系。现对 一定时期内的商品价格 x 与需求量 y进行观察，取得 的样本数据如表所示。试判断商品价格与需求量之 间回归函数的类型，并求需求量对价格的回归方程， 以及相应的判定系数。
2 2 2
2 2
R 1 ( y yc ) / ( y y )
相关指数计算表
序号 1 y 106.42 yc 107.53 (y-yc)2 1.2321 (y-yˉ)2 13.0012
2
3 4 5 6 7 8
108.20
109.58 109.50 110.00 109.93 110.49 110.59
0.0023
0.0018 0.0013 0.0011 0.0009 0.0008 0.0006 0.0006 0.0006 0.0005 0.0005
14
合计
20
－
111.18
-
0.0500
2.1009
0.0090
0.1271
0.0025
0.5397
0.0004
0.0193
非线性判定系数与相关系数
0.0091
第三节 线性回归的显著性检验及回归预测
xy
i
n
]
2 b x i x i yi a x i 0 SS , SS E , SS R依赖： a y bx
5
注意：三个平方和SS , SS E , SS R的自由度分别记为 f , f E , f R , 则它们之间也有等式成立： f fE fR 且：f n-1, f E n 2, 则f R f f E 1.
2
x
i 1
n
i
x
2
式中：se为回归估计标准差
置信区间估计(例题分析)
【例】求出工业总产值的点估计为100亿元时， 工业总产值95%置信水平下的置信区间. yc 100 解：根据前面的计算结果,已知n=16， • se=2.457，t(16-2)=2.1448 • 置信区间为 1 (73 57.25)2
一元线性回归的方差分析表
离差来源 平方和 自由度 F值 SS R 回 归 SS y y 2 1 F R ci SS E 2 剩余 n-2
SS E yi yci
( n 2)
总计
SS yi y
2
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : 0; 2. 计算检验统计量F
i
(x
x ) nS xi
2 2
( xi )
2
③根据已知条件实际计算统计量t的值； ④ 比较②与③中的计算结果,得到结论.
3
回归系数的假设
b Se 1
对例题的回归系数进行显著性检验(＝0.05)
H0 : 0;
i
H1 : 0
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中,我们事先并不能断定随机变量y 与变量p x x x ,,,21 之间确有线性关系,在进行回归参数的估计之前,我们用多元线性回归方程去拟合随机变量y 与变量p x x x ,,,21 之间的关系,只是根据一些定性分析所作的一种假设;因此,和一元线性回归方程的显着性检验类似,在求出线性回归方程后,还需对回归方程进行显着性检验;设随机变量Y 与多个普通变量p x x x ,,,21 的线性回归模型为其中ε服从正态分布),0(2σN对多元线性回归方程的显着性检验就是看自变量若接受p x x x ,,,21 从整体上对随机变量y 是否有明显的影响;为此提出原假设如果0H 被接受,则表明随机变量y 与p x x x ,,,21 的线性回归模型就没有意义;通过总离差平方和分解方法,可以构造对0H 进行检验的统计量;正态随机变量n y y y ,,,21 的偏差平方和可以分解为：∑=-=n i i T y y S 12)(为总的偏差平方和,∑=-=n i i R y y S 12)ˆ(为回归平方和,∑=-=n i i i E yy S 12)ˆ(为残差平方和;因此,平方和分解式可以简写为： 回归平方和与残差平方和分别反映了0≠b 所引起的差异和随机误差的影响;构造F 检验统计量则利用分解定理得到：在正态假设下,当原假设0,,0,0:210===p b b b H 成立时,F 服从自由度为)1,(--p n p 的F 分布;对于给定的显着水平α,当F 大于临界值)1,(--p n p 时,拒绝0H ,说明回归方程显着,y x 与有显着的线性关系;实际应用中,我们还可以用复相关系数来检验回归方程的显着性;复相关系数R 定义为：平方和分解式可以知道,复相关系数的取值范围为10≤≤R ;R 越接近1表明E S 越小,回归方程拟合越好;2.回归系数的显着性若方程通过显着性检验,仅说明p b b b b ,,,210不全为零,并不意味着每个自变量对y 的影响都显着,所以就需要我们对每个自变量进行显着性检验;若某个系数0=j b ,则j x 对y 影响不显着,因此我们总想从回归方程中剔除这些次要的,无关的变量;检验i x 是否显着,等于假设已知])(,[~ˆ12-'X X B N B σ,p j i c X X ij ,,2,1,0,)(1 =='-）（记,可知],[~ˆ2σijj j c b N b ,,,2,1,0p j =据此可构造t 统计量 其中回归标准差为当原假设0:0=j j b H 成立时,则j t 统计量服从自由度为1--p n 的t 分布,给定显着性水平α,当2αt t j ≥时拒绝原假设0:0=j j b H ,认为j x 对y 影响显着,当2αt t j <时,接受原假设0:0=j j b H ,认为j x 对y 影响不显着;。
回归分析法精选全文
可编辑修改精选全文完整版回归分析法用相关系来表示变量x和y线性相关密切程度，那么r数值为多大时才能说明它们之间线性关系是密切的？这需要数理统计中的显著性检验给予证明。
三、显著性检验是来用以说明变量之间线性相关的密切程度如何，或是用以说明所求得的回归模型有无实用价值。
为说明相关系数的概念，先观察图2-3。
回归分析的检验包括：相关系数的显著性检验、回归方程的显著性检验、回归系数的显著性检等，它们是从不同角度对回归方程的预测效能进行验证的。
关于显著性检验这涉及有关数理统计的内容,为此我们作一下简要回顾。
数理统计的主要内容包括:·参数估计;·假设检验;·方差分析等。
（1）相关系数检验。
相关系数的检验，需要借助于相关系数检验表来进行，这种表是统计学家按照有关的数学理论制定出的。
在相关系数检验表中，有两个参数需要说明。
1）f —称为自由度。
其含义为：如果有n个变量 x1,x2,...x n相互独立，且无任何线性约束条件，则变量的自由度个数为 f=n ，一般情况下有:f=n —约束条件式数对于一元线性回归，参数a，b要通过观测数据求出，有两个约束式，则失去两个自由度，因此 f=n-2 ，n为散点（观测点或统计数据点）个数。
2） a —称为显著性水平。
取值为0.01或0.05。
而1-a 称为置信度或置信概率，即表示对某种结论的可信程度。
当 a 取值为0.05时，则1-a 为0.95，这表示在100次试验中，约有5次犯错误（小概率事件发生）。
判断两个随机变量x,y间有无线性相关关系的方法是：首先根据要求确定某一显著性水平 a ，由散点数n计算出 f ，然后根据 a , f 利用相关系数检验表查出相关系数的临界值 r a，最后将计算出的相关系数r的绝对值与临界值 r a相比较。
r a表示在一定的置信概率下，所要求的相关系数起码值。
若，表示这两个随机变量之间存在线性相关关系；若，表示这两个随机变量之间线性相关程度不够密切。
回归方程和回归系数的显著性检验
§3回归方程及回归系数的显著性检验1、回归方程的显著性检验（1）回归平方和与剩余平方和建立回归方程以后.回归效果如何呢因变虽7与自变彊乃界2,…川廉是否确实存在线性关系呢这是需嬰进行统讣检验才能加以肯定或否定，为此，我们耍进一步研究因变虽丿取值的变化规律。
丿的每次取值片& = l,2,・・・j）是有波动的，这种波动常称为变差，每次观测值山的变差大小，常用该次观侧值》鮎戶次观测值的平均值” J1的差P （称为离差）來农示，而全部X次观测值的总变差可由总的离差平方和JS X? M一刃一九）2十亍庆一刀2詔十UJI JI J1f其中：j 称为回归平方和，是回归值/丘与均值p之差的平方和，它反映了自变虽"'◎，•••用欷的变化所引起的丿的波动，其自由度九5（朋为自变虽的个数）。
M£ =为=3「弘尸a3 称为剩氽平方和（或称残差平方和），是实测值丿免与回归值》丘之差的平方和，它是由试验误差及其它因素引起的，其自由度fQ = n~m~1。
总的离差平方和'妙的自由度为«-1 s 如果观测值给定，则总的离差平方和巧^是确定的，即Q+u是确定的，因此17大则£小，反之，u 小则0大,所以u与丘都可用來衡址回归效果，且回归平方和17越大则线性回归效果越显著，或者说剩余平方和£越小回归效果越显普，如果2=0,则回归超平血过所有观测点；如果。
大，则线性回归效果不好。
（2）复相关系数为检验总的回归效果，人们也常引用无虽纲抬标化「土»R称为复相关系数。
因为回归平方和卩实际上是反映回归方程中全部自变:&的“方差贡献”，因此丘2就是这种罚献在总回归平方和中所占的比例，因此尺表示全部自变虽与因变址丿的相关程度。
显然血尺。
复相关系数越接近1,回归效果就越好，因此它可以作为检验总的回归效果的一个指标。
但应注意，艮|丿回归方程中自变虽的个数朋及观测组数以有关，、”“相对于朋并不很大时，常有较大的尺值，因此实际il•算中应注意朋与”的适为比例,一般认为应取乳至少为朋的5到10倍为宜。
回归方程及回归系数的显著性检验教程文件
回归方程及回归系数的显著性检验§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标, (3.1)或, (3.2)称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设, (3.3)当假设成立时, 则与无线性关系, 否则认为线性关系显著。
多元回归方程的显著性检验
回归方程的显著性检验： （1）在模型上做假设：建立回归方程的目的是寻找Y 的均值随a 的变化规律，即找出回归方程a Y 0=＋x a 11＋x a 22＋x a 33＋x a 44＋x a 55。
如果错误!未找到引用源。
=0,那么不管错误!未找到引用源。
如何变化，Y 不随a 的变化做任何改变，那么这时所求的回归方程是没有意义的。
，此时的回归方程是不显著的。
如果错误!未找到引用源。
，x x 51...≠0那么a 变化时，Y 随x 的作回归变化，那么这时求得的回归方程是有意义的，此时是显著地。
综上，对回归方程是否有意义作判断就要作如下的显著性检验：H：x x 51...全为0 H1：x x 51...不全为0拒绝错误!未找到引用源。
表示回归方程是显著的。
对最终求得的回归方程：x x x x Y 5421092.18833.19111.0363.026.574++-+-= 进行F 检验。
（2）找出统计量：数据总的波动用总偏差平方和用2131))((∑=-=i iyave ST y表示，引起各Yave 不同的原因主要有两个因素：其一是错误!未找到引用源。
可能不真，Y 随a 的变化而变化，从而在每一个a 的观测值处的回归值不同，其波动用回归平方和2131i yave ypre SR ∑=-=））（（表示，其二是其他一切因素，包括随机误差、a 对y 的非线性影响等，这样在得到回归值以后，y 的观测值与回归值之间还有差距，这可用残差平方和2131i iypre SE y ∑=-=））（（表示。
（3）F 值的计算由定理：设y 1321....y y ，错误!未找到引用源。
相互独立，且),...(~255110σx a x a a yi i iN +++，I = 1， (13)则在上述记号下，有 ①）（1n ~SE 22-χσ②若H 0成立，则有）（p ~SE22χσ，（p 为回归参数的个数） ③SR 与SE ，yave 独立。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
回归方程及回归系数的显著性检验
§3 回归方程及回归系数的显著性检验
１、回归方程的显著性检验
(1) 回归平方和与剩余平方和
建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值
与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和
,
其中:
称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数
为检验总的回归效果, 人们也常引用无量纲指标
, (3.1)
或
, (3.2)
称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就
是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验
要检验与是否存在线性关系, 就是要检验假设
, (3.3)
当假设成立时, 则与无线性关系, 否则认为线性关系显著。
检验假设应用统计量
, (3.4)
这是两个方差之比, 它服从自由度为及的分布, 即
, (3.5)
用此统计量可检验回归的总体效果。
如果假设成立, 则当给定检验水平α下, 统计量应有≤, (3.6)
对于给定的置信度α, 由分布表可查得的值, 如果根据统计量算得的值为
, 则拒绝假设, 即不能认为全部为O, 即个自变量的总体回归效果是显著的, 否则认为回归效果不显著。
利用检验对回归方程进行显著性检验的方法称为方差分析。
上面对回归效果的讨论可归结于一个
方差分析表中, 如表3.1。
表3.1 方差分析表
来
平方和自由度方差方差比
源
回
归
剩
余
总
计
根据与的定义, 可以导出与的以下关系:
,。
利用这两个关系式可以解决值多大时回归效果才算是显著的问题。
因为对给定的检验水平α, 由分布表可查出的临界值, 然后由即可求出的临界值:
, (3.7)
当时, 则认为回归效果显著。
例3.1利用方差分析对例2.1的回归方程进行显著性检验。
方差分析结果见表3.2。
表3.2
来源平方和自由度方差方差比
回归
剩余
总计
取检验水平α＝0.05, 查分布表得, 而, 所以例2.1的回归方程回归效果是显著的。
２、回归系数的显著性检验
前面讨论了回归方程中全部自变量的总体回归效果, 但总体回归效果显著并不说明每个自变量对因变量都是重要的, 即可能有某个自变量对并不起作用或者能被其它的的作用
所代替, 因此对这种自变量我们希望从回归方程中剔除, 这样可以建立更简单的回归方程。
显然某个自变量如果对作用不显著, 则它的系数就应取值为0, 因此检验每个自变量是否显著, 就要检验假设:
, , (3.8)
(1) 检验:
在假设下, 可应用检验:
, , (3.9)
其中为矩阵的对角线上第个元素。
对给定的检验水平α, 从分布表中可查出与α对应的临界值, 如果有, 则拒绝假设, 即认为与0有显著差异, 这说明对有重要作用不应剔除; 如果有则接受假设, 即认为成立, 这说明对不起作用, 应予剔除。
(2) 检验:
检验假设, 亦可用服从自由度分别为1与的分布的统计量
, (3.10)
其中为矩阵的主对角线上第个元素。
对于给定的检验水平α, 从分布表中
可查得临界, 如果有, 则拒绝假设, 认为对有重要作用。
如果, 则接受假设, 即认为自变量对不起重要作用, 可以剔除。
一般一次检验
只剔除一个自变量, 且这个自变量是所有不显著自变量中值最小者, 然后再建立回归方程, 并继续进
行检验, 直到建立的回归方程及各个自变量均显著为止。
最后指出, 上述对各自变量进行显著性检验采用的两种统计量与实际上是等价的, 因为由(3.9)
式及(3.10)式知, 有
(3.11)
例3.2对例2.1的回归方程各系数进行显著性检验。
经计算:
,
于是
,
其中＝0.002223, ＝0.004577。
由(3.7)式知
,
,
查分布表得, , 因为,
, 所以两个自变量及都是显著的。
又由, 说明体长比胸围对体重的影响更大。
如果应用检验, 查分布表有, 又由
,
,
因为, , 因此及都是显著的, 均为重要变量, 应保留在回归方程中。
(3) 偏回归平方和
检验某一自变量是否显著, 还可应用偏回归平方和进行检验。
个自变量的回归平方和为
,
如果自个自变量中去掉, 则剩下的个自变量的回归平方和设为, 并设
,
则就表示变量在回归平方和中的贡献, 称为的偏回归平方和或贡献。
可以证明
, (3.12)
偏回归平方和越大, 说明在回归方程中越重要, 对的作用和影响越大, 或者说对回归方程的贡献越大。
因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。
例如在例2.1中, 和的偏回归平方和分别为
,
,
, 说明在回归方程中的作用比大。
又如在例2.2中及的偏回归平方和分别为:
,
,
,
,
的值最小, 即在回归方程中所起的作用最小, 最大, 说明在回归方程中所起的作用最大。