多元回归方程的显著性检验
经典多元线性回归模型的基本假定
经典多元线性回归模型的基本假定
1、判定系数检验。
多元线性回归模型判定系数的定义与一元线性回归分析类似。
判定系数R的计算公式为：R = R接近于1表明Y 与X1，X2，…，Xk之间的线性关系程度密切；R接近于0表明Y与X1，X2，…，Xk之间的线性关系程度不密切。
2、回归系数显著性检验。
在多元回归分析中，回归系数显著性检验是检验模型中每个自变量与因变量之间的线性关系是否显著。
显著性检验是通过计算各回归系数的t检验值进行的。
回归系数的t检验值的计算公式为：＝（j = 1，2，…，k），式中是回归系数的标准差。
3、回归方程的显著性检验。
回归方程的显著性检验是检验所有自变量作为一个整体与因变量之间是否有显著的线性相关关系。
显著性检验是通过F检验进行的。
F检验值的计算公式是：F（k，n－k －1）＝多元回归方程的显著性检验与一元回归方程类似，在此也不再赘述。
显著性检验
显著性检验对所有自变量与因变量之间的直线回归关系的拟合程度，可以用统计量R2来度量，其公式如下：TSS(Total Sum of Squares)称为总平方和，其值为，体现了观测值y1,y2,…,y n总波动大小，认为是在执行回归分析之前响应变量中的固有变异性。
ESS(Explained Sum of Squares)称为回归平方和，是由于y与自变量x1,x2,…,x n的变化而引起的，其值为，体现了n个估计值的波动大小。
RSS(Residual Sum of Squares)称为残差平方和，其值为。
R2称为样本决定系数，对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。
回归模型的显著性检验包括：①对整个回归方程的显著性检验；②对回归系数的显著性检验。
对整个回归方程的显著性检验的假设为“总体的决定系统ρ2为零”，这个零假设等价于“所有的总体回归系数都为零”，即：检验统计量为R2，最终检验统计量为F比值，计算公式为：F比值的意义实际上是“由回归解释的方差”与“不能解释的方差”之比。
检验回归方程是否显著的步骤如下。
第1步，做出假设。
备择假设H1:b1,b2,…,b k不同时为0。
第2步，在H0成立的条件下，计算统计量F。
第3步，查表得临界值。
对于假设H0，根据样本观测值计算统计量F，给定显著性水平α，查第一个自由度为k，第二个自由度为n-k-1的F分布表得临界值F(k,n-k-1)。
当F≥Fα(k,n-k-1)时，拒绝假设H0，则认为回归方程α显著成立；当F＜Fα(k,n-k-1)时，接受假设H0，则认为回归方程无显著意义。
对某个回归参数βi的显著性检验的零假设为：H0：βi=0，检验的最终统计量为：具体步骤如下。
(1)提出原假设H0:βi=0；备择假设H1:βi≠0。
(2)构造统计量，当βi=0成立时，统计量。
这里是的标准差，k为解释变量个数。
(3)给定显著性水平α，查自由度为n-k-1的t分布表，得临界值。
回归方程的显著性检验线性关系的检验
3. 图像
1 =1
=-1 <-1
0< < 1
-1< <0
非线性模型及其线性化方法
双曲线函数
1. 基本形式： 2. 线性化方法
令：y' = 1/y，x'= 1/x, 则有y' = + x'
3. 图像
<0
>0
非线性模型及其线性化方法
对数函数
1. 基本形式： 2. 线性化方法
一、多元线性回归模型
（概念要点）
1. 一个因变量与两个及两个以上自变量之间的回归。
2. 描述因变量 y 如何依赖于自变量 x1，x2，… xp 和 误差项 的方程称为多元线性回归模型。
3. 涉及 p 个自变量的多元线性回归模型可表示为
y 0 1x1i 2 x2i p x pi i
yˆ0 ，就是个别值的点估计。
2. 比如，如果我们只是想知道1990年人均国民收
入为1250.7元时的人均消费金额是多少，则属 于个别值的点估计。根据估计的回归方程得
yˆ0 54.22286 0.526381250.7 712.57(元)
利用回归方程进行估计和预测
（区间估计）
1. 点估计不能给出估计的精度，点估计值与实际 值之间是有误差的，因此需要进行区间估计。
2、 E(y0) 在1-置信水平下的置信区间为
yˆ0 t 2 (n 2)S y
1 x0 x2
n
n
xi
x
2
式 中 ： Sy 为 估 计标准误差
i 1
利用回归方程进行估计和预测
（置信区间估计:算例） 【例】根据前例，求出人均国民收入1250.7元 时，人均消费金额95%的置信区间。 解：根据前面的计算结果
多元线性回归及显著性检验Matlab程序
多元线性回归及显著性检验Matlab程序（完美版）一、说明：1、本程序是研究生教材《数理统计》（杨虎、刘琼、钟波编著）例4.4.1 （P133）的Matlab编程解答程序。
教材上的例题只做了回归方程显著性分析和一次回归系数显著性分析（剔除xl后没有再检验x2和x3）o2、本程序在以上的基础之上，还分别检验了x2和x3,并且计算精度更高。
3、本程序可根据用户的需要，在输入不同的显著性水平"之下得到相应的解答。
4、本程序移植性强，对于其他数据，只需要改变excel中的数据即可。
5、本程序输出的可读性强，整洁美观。
二、数据入下（将数据存入excel表格，文件名为jc_pl33_example .xlso注意数据是按xl, x2, xk, y:三. 完整程序如下：% ------------------------------------------------------ b y ggihhinun -----------------------------------------------------%《数理统计》杨虎、刘琼、钟波编著例4.4.1多元线性回归及显著性检验完整解答%输入需要的显著水平a (默认a =0.02),计算出不同结果(见运彳%该程序也适合其他维数的数据分析(只需改变excel 格中的数据即可)% ------------------------------------------------------ b y ggihhimm -----------------------------------------------------clear;clc;data=xlsread(,jc_pl33_example.xls,,l sheetl,);xi=data(:,l：end-l);[n/k]=size(data);k=k-l;i n d ex_of_xi_a r ray=on es(l,k);X=[ones(n/1) xi);Y=data(:,end);fprintff第1次计算结果：\r')beta-.mao=((X,*X)\X,*Y),；fmt_strO=”；for i0=l:k+lfmt_strO=[fmt_strO 0 num2str(i0-l)1 = %0.4f\r'];endfprintf(fmt_strO,beta_mao)fprintfCV)%%检验回归方程的显著性x_ba 二mean(xi);y_ba=mea n(Y);St_square=sum(Y.A2)-n*y_ba A2; lxy=sum((xi-ones(n/l)*x_ba).*((Y-y_ba)*ones(l,k)));Sr_square=sum(beta_mao(2:e nd)・*lxy);Se_square=St_square-Sr_square;c_flag=Sr-square/Se_square;F_alpha=input(,»»»iH输入您要求的显著性水平(Ov « <1) u = *)；while zv(isscalar(F_alpha) && F_alpha<l && F_alpha>0)F_alpha=inputf您的输入有误，请重新输入一个大于0,小于1的数，« =')；end F_fenweidian=finv(l-F_alpha,k z n-k-l);c=k/(n-k-l)*F_fenweidian;if c_flag>cfprintfdV ---------------------- 回归方程显著性检验(HO： P 1= P 2=...= 3 k=0)'...' ------------------- \r经过计算：拒绝HO,原假设不成立。
多元线性回归及显著性检验Matlab程序
多元线性回归及显著性检验Matlab程序（完美版）一、说明：1、本程序是研究生教材《数理统计》（杨虎、刘琼、钟波编著）例（P133）的Matlab编程解答程序。
教材上的例题只做了回归方程显著性分析和一次回归系数显著性分析（剔除x1后没有再检验x2和x3）。
2、本程序在以上的基础之上，还分别检验了x2和x3，并且计算精度更高。
3、本程序可根据用户的需要，在输入不同的显著性水平α之下得到相应的解答。
4、本程序移植性强，对于其他数据，只需要改变excel中的数据即可。
5、本程序输出的可读性强，整洁美观。
二、数据入下（将数据存入excel表格，文件名为。
注意数据是按x1，x2，…，xk，y这样来列来存储。
若不是3个变量，则相应增减数据列就行。
）：三、完整程序如下：%----------------------------by ggihhimm----------------------------%《数理统计》杨虎、刘琼、钟波编著例多元线性回归及显著性检验完整解答% 输入需要的显著水平α（默认α=），计算出不同结果（见运行结果）% 该程序也适合其他维数的数据分析（只需改变excel表格中的数据即可）%----------------------------by ggihhimm----------------------------clear;clc;data=xlsread('','sheet1');xi=data(:,1:end-1);[n,k]=size(data);k=k-1;index_of_xi_array=ones(1,k);X=[ones(n,1) xi];Y=data(:,end);fprintf('第1次计算结果：\r')beta_mao=((X'*X)\X'*Y)';fmt_str0='';for i0=1:k+1fmt_str0=[fmt_str0 'β' num2str(i0-1) ' = %\r'];endfprintf(fmt_str0,beta_mao)fprintf('\r')%%检验回归方程的显著性x_ba=mean(xi);y_ba=mean(Y);St_square=sum(Y.^2)-n*y_ba^2;lxy=sum((xi-ones(n,1)*x_ba).*((Y-y_ba)*ones(1,k)));Sr_square=sum(beta_mao(2:end).*lxy);Se_square=St_square-Sr_square;c_flag=Sr_square/Se_square;F_alpha=input('>>>>>>请输入您要求的显著性水平(0<α<1)α= ');while ~(isscalar(F_alpha) && F_alpha<1 && F_alpha>0)F_alpha=input('您的输入有误，请重新输入一个大于0，小于1的数，α= ');endF_fenweidian=finv(1-F_alpha,k,n-k-1);c=k/(n-k-1)*F_fenweidian;if c_flag>cfprintf(['\r--------------------回归方程显著性检验（H0：β1=β2=...=βk=0）' ...'--------------------\r经过计算：拒绝H0，原假设不成立。
多元回归方程的显著性检验
回归方程的显著性检验： （1）在模型上做假设：建立回归方程的目的是寻找Y 的均值随a 的变化规律，即找出回归方程a Y 0=＋x a 11＋x a 22＋x a 33＋x a 44＋x a 55。
如果错误!未找到引用源。
=0,那么不管错误!未找到引用源。
如何变化，Y 不随a 的变化做任何改变，那么这时所求的回归方程是没有意义的。
，此时的回归方程是不显著的。
如果错误!未找到引用源。
，x x 51...≠0那么a 变化时，Y 随x 的作回归变化，那么这时求得的回归方程是有意义的，此时是显著地。
综上，对回归方程是否有意义作判断就要作如下的显著性检验：H：x x 51...全为0 H1：x x 51...不全为0拒绝错误!未找到引用源。
表示回归方程是显著的。
对最终求得的回归方程：x x x x Y 5421092.18833.19111.0363.026.574++-+-= 进行F 检验。
（2）找出统计量：数据总的波动用总偏差平方和用2131))((∑=-=i iyave ST y表示，引起各Yave 不同的原因主要有两个因素：其一是错误!未找到引用源。
可能不真，Y 随a 的变化而变化，从而在每一个a 的观测值处的回归值不同，其波动用回归平方和2131i yave ypre SR ∑=-=））（（表示，其二是其他一切因素，包括随机误差、a 对y 的非线性影响等，这样在得到回归值以后，y 的观测值与回归值之间还有差距，这可用残差平方和2131i iypre SE y ∑=-=））（（表示。
（3）F 值的计算由定理：设y 1321....y y ，错误!未找到引用源。
相互独立，且),...(~255110σx a x a a yi i iN +++，I = 1， (13)则在上述记号下，有 ①）（1n ~SE 22-χσ②若H 0成立，则有）（p ~SE22χσ，（p 为回归参数的个数） ③SR 与SE ，yave 独立。
回归方程和回归系数的显著性检验
§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢因变量与自变量是否确实存在线性关系呢这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标,或,称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设,当假设成立时, 则与无线性关系, 否则认为线性关系显著。
检验假设应用统计量,这是两个方差之比, 它服从自由度为及的分布, 即,用此统计量可检验回归的总体效果。
多元统计分析简答题
1、简述多元统计分析中协差阵检验的步骤 第一，提出待检验的假设H0和H1； 第二，给出检验的统计量及其服从的分布；第三，给定检验水平，查统计量的分布表，确定相应的临界值，从而得到否定域； 第四，根据样本观测值计算出统计量的值，看是否落入否定域中，以便对待判假设做出决策（拒绝或接受）。
协差阵的检验检验0=ΣΣ0p H =ΣI ： /2/21exp 2np n e tr n λ⎧⎫⎛⎫=-⎨⎬ ⎪⎩⎭⎝⎭S S00p H =≠ΣΣI ： /2/2**1exp 2np n e tr n λ⎧⎫⎛⎫=-⎨⎬ ⎪⎩⎭⎝⎭S S检验12k ===ΣΣΣ012k H ===ΣΣΣ：统计量/2/2/2/211i i kkn n pn np k iii i nnλ===∏∏SS2. 针对一个总体均值向量的检验而言，在协差阵已知和未知的两种情形下，如何分别构造的统计量？3. 作多元线性回归分析时，自变量与因变量之间的影响关系一定是线性形式的吗？多元线性回归分析中的线性关系是指什么变量之间存在线性关系？ 答：作多元线性回归分析时，自变量与因变量之间的影响关系不一定是线性形式。
当自变量与因变量是非线性关系时可以通过某种变量代换，将其变为线性关系，然后再做回归分析。
多元线性回归分析的线性关系指的是随机变量间的关系，因变量y 与回归系数βi 间存在线性关系。
多元线性回归的条件是：（1）各自变量间不存在多重共线性； （2）各自变量与残差独立；（3）各残差间相互独立并服从正态分布； （4）Y 与每一自变量X 有线性关系。
4.回归分析的基本思想与步骤 基本思想：所谓回归分析，是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）。
回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。
此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
回归方程的显著性检验： （1）在模型上做假设：
建立回归方程的目的是寻找Y 的均值随a 的变化规律，即找出回归方程
a Y 0=＋x a 11＋x a 22＋x a 33＋x a 44＋x a 55。
如果错误!未找到引用源。
=0,那么不管错误!未找到引用源。
如何变化，Y 不随a 的变化做任何改变，那么这时所求的回归方程是没有意义的。
，此时的回归方程是不显著的。
如果错误!未找到引用源。
，x x 51...≠0那么a 变化时，Y 随x 的作回归变化，那么这时求得的回归方程是有意义的，此时是显著地。
综上，对回归方程是否有意义作判断就要作如下的显著性检验：
H
：
x x 5
1
...全为0 H
1
：x x 51...不全为0
拒绝错误!未找到引用源。
表示回归方程是显著的。
对最终求得的回归方程：
x x x x Y 5421092.18833.19111.0363.026.574++-+-= 进行F 检验。
（2）找出统计量：
数据总的波动用总偏差平方和用
2
13
1
))((∑=-=i i
yave ST y
表示，引起各Yave 不同的原因主要有两个因素：其一是错误!未找到引用源。
可能不真，Y 随a 的变化而变化，从而在每一个a 的观测值处的回归值不同，其波动用回归平方和
2
13
1
i yave ypre SR ∑=-=））（（
表示，其二是其他一切因素，包括随机误差、a 对y 的非线性影响等，这
样在得到回归值以后，y 的观测值与回归值之间还有差距，这可用残差平方和
2
13
1
i i
ypre SE y ∑=-=））（（
表示。
（3）F 值的计算
由定理：设y 13
2
1
....y y ，错误!未找到引用源。
相互独立，且
),...(~255110σx a x a a y
i i i
N +++，
I = 1， (13)
则在上述记号下，有 ①）
（1n ~SE 22-χσ
②若H 0成立，则有
）
（p ~SE
2
2
χσ，（p 为回归参数的个数） ③SR 与SE ，yave 独立。
可得到F 作为检验统计量：
)1,(~)
1/(/SR F ----=
p n p F p n SE p
（4）给定错误!未找到引用源。
确定拒绝域 无论回归显著与否，2
13
1
))((∑=-=i i
yave ST y 不变，
回归越显著时，)
1/(/SR F --=
p n SE p
就越大。
故应在F 值偏大时拒绝错误!未找到引用源。
，认为回归显著。
即：给定显著水平错误!未找到引用源。
后，取拒绝域为：
），（1-p -n p F F α≥
若取错误!未找到引用源。
=0.01，经查表可得到错误!未找到引用源。
，由编程所
得到的F 的值为4553>14.80，因此在显著性水平0.01下回归方程是显著的。
回归系数的显著性检验：
由回归方程的显著性检验知，在显著性水平0.01下回归方程是显著的，即说明回归系数，a a a a a 54210,,,,不全为0，但不能每个自变量对Y 都是重要的，如果某个系数为0或无限接近与0，相应的自变量对Y 不起作用或作用很小，可以忽略。
因而检验每个回归系数是否为0，相当于检验x i 是否对Y 起作用。
（1）构造原假设与备择假设
H
：
a i
=0(i = 1,2,4,5) H 1
: 0≠a i
（i=1,2,4,5）
（2）构造t 统计量
数据总的波动用总偏差平方和用
L xx
2
13
1
))((=-=∑=i i
yave ST y
表示，引起各Yave 不同的原因主要有两个因素：其一是错误!未找到引用源。
可能不真，Y 随a 的变化而变化，从而在每一个a 的观测值处的回归
值不同，其波动用回归平方和
2
13
1
i yave ypre SR ∑=-=））（（
表示，其二是其他一切因素，包括随机误差、a 对y 的非线性影响等，这
样在得到回归值以后，y 的观测值与回归值之间还有差距，这可用残差平方和
2
13
1
i i
ypre SE y ∑=-=））（（
表示。
）
（2-n SE
2=σ（n 为总的元素的个数）
由于
）
（L
a a
xx
2
i i
,
N ~^
σ,i = 1, 2, 4 ,5
）（2n ~SE
2
2
-χσ
且与
^
i
a
相互独立，因此在H 0为真时，有
)2(~/
)2/(t ^
--=
n t n SE a L
xx
(3)t 值得计算
通过matlab 软件求得，
a a a a a 5
4
2
1
,,,,对应的t 值分别为：
-0.5493，4.5714，-1.5776， 3.3697，0.0580
（4）给定错误!未找到引用源。
确定拒绝域
应在t 值偏大时拒绝错误!未找到引用源。
，认为回归显著。
即：给定显著水平错
误!未找到引用源。
后，取拒绝域为：
）
（2-n t t α≥
若取错误!未找到引用源。
=0.01，经查表可得到错误!未找到引用源。
，由编程所得到的t 的值为，
7181.2||t t 99.0j =≥ （j = 1,4）因此在显著性水平0.01下回归系数是显著的。
故根据系数回归性检验
a
a a 5
2
,,,对Y 的影响很小或影响趋近于0，可以忽略。
Matlab 程序如下：
X = [1,3793.55,4274.25,49.1,3.8;1,4032.15,4508.20,47.4,3.7;1,4266.70,4895.95,44.3,3.7;1,4613.00,5339.65,43.0,3.7;1,5089.20,5326.50,42,3.6;1,5547.20,5841.70,41.4,3.6;1,6179.00,6532.45,42.5,3.6;1,6873.55,7287.85,41.1,3.6;1,7673.25,8153.10,39.4,3.6;1,8963.10,9524.50,39.7,3.5;1,12514.20,13476.20,38.4,3.5;1,14393.55,15478.25,38.4,3.4;1,16240.65,17437.80,37.8,3.4] Y = [1388.3;1380.6;1395.9;1422.4;1560.1;1651.5;1870.8;2038.3;2164.5;2508.5;3304.1;3806.8;4182.4]
[b,bint,r,rint,stats]=regress(Y,X)
A = X'*X %求算信息阵A ，
C = inv(A) %求算信息阵的逆阵，
b = X\Y % 求算回归统计数向量，其中第一行为回归截距a,
RSS = Y'*Y - b'*X'*Y %求算离回归平方和， MSe = RSS/8 %求算离回归方差
Up=b.*b./diag(C) %求算偏回归平方和，其中第一行是a 与0差异的偏平方和，
F=Up/MSe %求算偏回归平方和，其中第一行是a 与0差异的偏平方和，
sb=sqrt(MSe*diag(C)) %求算回归统计数标准误 t=b./sb %求算回归统计数标准误 残差的检验
其中，画出参差的置信区间和系数的置信区间分别为
如
/p-290361089665.html
/wiki/%E5%A4%9A%E5%85%83%E7%BA%BF%E6%80%A7%E5 %9B%9E%E5%BD%92%E5%88%86%E6%9E%90%E9%A2%84%E6%B5%8B%E6%B3%95 /link?url=OaJb6MdljlxGguRZW_pq36PVr4ES3Z9-uQjwKP1oy_47cb f-ubjjKzlzLLEm4gg-xRmI3YcK7M-l6HgqhwwdvK
/view/d5ab74156edb6f1aff001fa5.html
/view/73eada72a417866fb84a8eca.html
/view/1380349.htm?fr=aladdin#1。