多元线性回归模型的检验
多元线性回归模型过程
多元线性回归模型过程
多元线性回归是一种常用的回归分析模型，它可以用来分析两个或多个自变量之间的线性关系。
下面介绍多元线性回归模型的过程：
一、建立模型
1、观察原始数据：首先要收集需要分析的原始数据，从数据中观察现象背后
的规律来获取有效信息；
2、定义自变量与因变量：根据原始数据形成假设，确定要分析的自变量和因
变量，从而确定要分析的模型；
3、归纳回归方程式：运用最小二乘法解决回归方程，归纳出多元线性回归模型；
二、检验模型
1、显著性检验：检验所选变量是否对因变量有显著影响；
2、线性有效性检验：检验多元线性回归模型的线性有效性，确定拟合数据的完整性；
3、自相关性检验：检验各个自变量间的线性关系是否存在自相关现象；
4、影响因素较差检验：检验因变量的预测值与实际值之间的相对关系；
三、参数估计
1、极大似然估计：根据已建立的多元线性回归模型，可以运用极大似然估计，得出模型中未知参数的点估计值；
2、大致估计：利用已经进行检验的多元线性回归模型，对模型参数进行大致
估计，求出平均偏差平方根，从而估计模型的精确度；
四、分析模型
1、确定因子影响：根据已建立多元线性回归模型，可以求出每个自变量的系数，从而确定影响因变量的主要因素；
2、决定系数：可以利用模型求出每个自变量的决定系数，从而求得因变量对自变量的百分比影响；
3、对因变量施加假设：多元线性回归模型可以根据模型参数影响程度和数据情况，在每个自变量上施加多种假设，以确定模型最合理的假设；
4、模型检验：根据已建立的多元线性回归模型，可以运用张量分析，根据模型的指标，检验模型的被解释力水平，判断模型的有效性。
多元线性回归模型的检验
第三节多元线性回归模型的检验本节基本内容:●多元回归的拟合优度检验●回归方程的显著性检验（F检验）●各回归系数的显著性检验（t检验）一、多元回归的拟合优度检验多重可决系数R 2：22222ˆ(-)ESS TSS-RSS 1-TSS(-)TSS i i i iY Y e R Y Y y====∑∑∑∑在实际应用中，随着模型中解释变量的增多，R 2往往增大。
这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。
但是，由增加解释变量引起的R 2的增大与拟合好坏无关，所以R 2需调整。
修正的可决系数()222222(-)-1-11111(-1)--i i iie n k en n RR yn n kyn k=-=-=--∑∑∑∑修正的可决系数为特点：⏹⏹k 越大，越小。
综合了精度和变量数两个因素，兼顾了精确性和简洁性。
⏹R 2必定非负，但可能为负值。
2R 2R 2R 22R R≤信息准则为了比较解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaike information criterion, AIC ）施瓦茨准则（Schwarz criterion ，SC ）上述信息准则均要求仅当所增加的解释变量能够减少AIC 值、SC 值或HQC 值时才在原模型中增加该解释变量。
()()n ln n k n L SC 12++-=汉南-奎因准则（Hannan-Quinn criterion ，HQC ）()()()n ln ln nk n L HQC 122++-=()n k n L AIC 122++-=()⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛++-=∑n e ln ln n L i2212π其中对数似然函数二、回归方程显著性检验（F检验）基本思想在多元回归中有多个解释变量，需要说明所有解释变量联合起来对被解释变量影响的总显著性，或整个方程总的联合显著性。
对方程总显著性检验需要在方差分析的基础上进行F检验。
多元线性回归模型拟合优度假设检验
− nY 2 = Y′ − nY 2 Y
将上述结果代入R2的公式，得到：
′ − nY 2 − (Y′ −Y′ β ) Y′ β − nY 2 Xˆ Σe2 YY Y Xˆ 2 = R =1− 2 = 2 Y′ − nY 2 Y Σ(Y −Y ) Y′ − nY Y
这就是决定系数R2 的矩阵形式。
判定系数
1、t统计量 、 统计量
由于
ˆ) Cov(β = σ 2 ( X′X) −1
以cii表示矩阵(X’X)-1 主对角线上的第i个元素， 于是参数估计量的方差为： ˆ Var ( β ) = σ 2 c
i ii
其中σ2为随机误差项的方差，在实际计算 时，用它的估计量代替:
ˆ σ2 =
∑e
2 i
n − k −1
注意：一元线性回归中， 检验与F 注意：一元线性回归中，t检验与F检验一致 一方面，t检验与F检验都是对相同的原假设 一方面 H0：β1=0 进行检验; 另一方面，两个统计量之间有如下关系： 另一方面
F= ˆ ∑y
2 i 2 i
∑ e ( n − 2)
ei2 ∑
=
ˆ β12 ∑ xi2
∑ e ( n − 2)
1、方程显著性的 检验 、方程显著性的F检验
即检验模型
Yi=β0+β1X1i+β2X2i+ … +βkXki+µi i=1,2, …,n
中的参数βj是否显著不为0。 可提出如下原假设与备择假设： H0： β0=β1=β2= … =βk=0 H1： βj不全为0
F检验的思想来自于总离差平方和的分解式： 检验的思想 TSS=ESS+RSS
t 1 = 7.378, t 2 = 2.201
多元线性回归模型R2检验F检验
可决系数与调整的可决系数
总离差平方和的分解
yˆiei (Yˆ Y )ei (ˆ0 ˆ1 X i Y )ei
由正则方程知
或残ei 余 0平，方和X iei 0
则 TSS (Yi Y )2
yˆiei 0
((Yi Yˆi ) (Yˆi Y ))2
调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度，
以剔除变量个数对拟合优度的影响:
n-k-1为残差平方和
R 2 1 RSS /(n k 1) TSS /(n 1)
的自由度，n-1为总 体平方和的自由度
变量的显著性检验
与
存在如下关系： R2 =1-(1-R2 ) n 1
n
n
施瓦茨准则（Schwarz Criterion，SC） AC ln ee k ln n nn
这两准则均要求仅当所增加的解释变量能够减小AIC值或SC值时才在
原模型中增加该解释变量。
Eviews的估计结果显示
中国居民消费一元例2.1中： AIC=12.87 SC=12.92 ； 中国居民消费二元例2.1中：AIC=12.60 SC=12.68； 从这点看，可以说前期收入inc(-1)应包括在模型中。 引入inc（-1）
(Yi Yˆi )2 2(Yi Yˆi )(Yˆi Y ) (Yˆi Y )2
TSS (Yi Yˆi )2
(Yˆi
Y
2
)
RSS
ESS
拟合优度检验
可决系数： R2 ESS 1 RSS TSS TSS
该统计量越接近于1，模型的拟合优度越高。 问题：在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββΛΛ22110 （1）的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21ΛΛ=。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
多元线性回归模型的各种检验方法
多元线性回归模型的各种检验方法多元线性回归模型是常用于数据分析和预测的方法，它可以用于研究多个自变量与因变量之间的关系。
然而，仅仅使用多元线性回归模型进行参数估计是不够的，我们还需要对模型进行各种检验以确保模型的可靠性和有效性。
下面将介绍一些常用的多元线性回归模型的检验方法。
首先是模型的整体显著性检验。
在多元线性回归模型中，我们希望知道所构建的模型是否能够显著解释因变量的变异。
常见的整体显著性检验方法有F检验和显著性检查表。
F检验是通过比较回归模型的回归平方和和残差平方和的比值来对模型的整体显著性进行检验。
若F值大于一定的临界值，则可以拒绝原假设，即模型具有整体显著性。
通常，临界值是根据置信水平和自由度来确定的。
显著性检查表是一种常用的汇总表格，它可以提供关于回归模型的显著性水平、标准误差、置信区间和显著性因素的信息。
通过查找显著性检查表，我们可以评估模型的显著性。
其次是模型的参数估计检验。
在多元线性回归模型中，我们希望知道每个自变量对因变量的影响是否显著。
通常使用t检验来对模型的参数估计进行检验。
t检验是通过对模型的回归系数进行检验来评估自变量的影响是否显著。
与F检验类似，t检验也是基于假设检验原理，通过比较t值和临界值来决定是否拒绝原假设。
通常，临界值可以通过t分布表或计算机软件来获取。
另外，我们还可以使用相关系数来评估模型的拟合程度。
相关系数可以用来衡量自变量与因变量之间的线性关系强度，常见的相关系数包括Pearson相关系数和Spearman相关系数。
Pearson相关系数适用于自变量和因变量都是连续变量的情况，它衡量的是两个变量之间的线性关系强度。
取值范围为-1到1，绝对值越接近1表示关系越强。
Spearman相关系数适用于自变量和因变量至少有一个是有序变量或者都是有序变量的情况，它衡量的是两个变量之间的单调关系强度。
取值范围也是-1到1，绝对值越接近1表示关系越强。
最后，我们还可以使用残差分析来评估模型的拟合程度和误差分布。
多元线性回归模型：估计及t检验
多元线性回归：估计方法及回归系数显著性检验线性回归模型的基本假设:i ki k i i i u x x x y +++++=ββββΛ22110 i = 1 , 2 , … , n在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：1．解释变量间不完全相关；2．随机误差项具有0均值和同方差。
即:0)(=i u E , 2)(σ=i u Var i = 1 , 2 , … , n 3．不同时点的随机误差项互不相关（序列不相关），即0),(=-s i i u u Cov s ≠ 0, i = 1 , 2 , … , n4．随机误差项与解释变量之间互不相关。
即0),(=i ji u x Cov j = 1 , 2 , … , k , i = 1 , 2 , … , n5．随机误差项服从0均值、同方差的正态分布。
即i u ~ ),0(2σN i = 1 , 2 , … , n当模型满足假设1 ~ 4时，将回归模型称为“标准回归模型”，当模型满足假设1 ~ 5时，将回归模型称为“标准正态回归模型”。
如果实际模型满足不了这些假设，普通最小二乘法就不再适用，而要发展其他方法来估计模型。
广义（加权）最小二乘估计（generalized least squares ）当假设2和3不满足时，即随机扰动项存在异方差22)(ii i u E σ=，i = 1 , 2 , … , n ，且随机扰动项序列相关j i u u Cov ij j i ≠=,),(σ， i = 1 , 2 , … , n ，j=1 , 2 , … , n ，此时OLS 估计仍然是无偏且一致的，但不是有效估计。
线性回归的矩阵表示：y = X β + u （1）则上述两个条件等价为：Var(u )== ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛nn T T n n σσσσσσσσσ..............212222111211 ≠ σ 2 I 对于正定矩阵存在矩阵M ，使得 1''-=⇒=M ΩM I M M Ω。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多元性回归模型与一元线性回归模型一样，在得到参数的最小二乘法的估计值之后，也需要进行必要的检验与评价，以决定模型是否可以应用。
1、拟合程度的测定。
与一元线性回归中可决系数r2相对应，多元线性回归中也有多重可决系数r2，它是在因变量的总变化中，由回归方程解释的变动(回归平方和)所占的比重，R2越大，回归方各对样本数据点拟合的程度越强，所有自变量与因变量的关系越密切。
计算公式为：
其中，
2.估计标准误差
估计标准误差，即因变量y的实际值与回归方程求出的估计值之间的标准误差，估计标准误差越小，回归方程拟合程度越程。
其中，k为多元线性回归方程中的自变量的个数。
3.回归方程的显著性检验
回归方程的显著性检验，即检验整个回归方程的显著性，或者说评价所有自变量与因变量的线性关系是否密切。
能常采用F检验，F统计量的计算公式为：
根据给定的显著水平a,自由度(k,n-k-1)查F分布表，得到相应的临界值Fa，若F > Fa，则回归方程具有显著意义，回归效果显著；F < Fa，则回归方程无显著意义，回归效果不显著。
4.回归系数的显著性检验
在一元线性回归中，回归系数显著性检验(t检验)与回归方程的显著性检验(F检验)是等价的，但在多元线性回归中，这个等价不成立。
t检验是分别检验回归模型中各个回归系数是否具有显著性，以便使模型中只保留那些对因变量有显著影响的因素。
检验时先计算统计量ti；然后根据给定的显著水平a,自由度n-k-1查t分布表，得临界值ta或ta / 2,t > t − a或ta / 2，则回归系数bi与0有显著关异，反之，则与0无显著差异。
统计量t 的计算公式为：
其中，Cij是多元线性回归方程中求解回归系数矩阵的逆矩阵(x'x) −1的主对角线上的第j个元素。
对二元线性回归而言，可用下列公式计算：
其中，
5.多重共线性判别
若某个回归系数的t检验通不过，可能是这个系数相对应的自变量对因变量的影平不显
著所致，此时，应从回归模型中剔除这个自变量，重新建立更为简单的回归模型或更换自变量。
也可能是自变量之间有共线性所致，此时应设法降低共线性的影响。
多重共线性是指在多元线性回归方程中，自变量之彰有较强的线性关系，这种关系若超过了因变量与自变量的线性关系，则回归模型的稳定性受到破坏，回归系数估计不准确。
需要指出的是，在多元回归模型中，多重共线性的难以避免的，只要多重共线性不太严重就行了。
判别多元线性回归方程是否存在严惩的多重共线性，可分别计算每两个自变量之间的可决系数r2，若r2 > R2或接近于R2，则应设法降低多重线性的影响。
亦可计算自变量间的相关系数矩阵的特征值的条件数k = λ1 / λp(λ1为最大特征值，λp为最小特征值),k<100，则不存在多重点共线性；若100≤k≤1000，则自变量间存在较强的多重共线性，若k>1000，则自变量间存在严重的多重共线性。
降低多重共线性的办法主要是转换自变量的取值，如变绝对数为相对数或平均数，或者更换其他的自变量。
检验
当回归模型是根据动态数据建立的，则误差项e也是一个时间序列，若误差序列诸项之间相互独立，则误差序列各项之间没有相关关系，若误差序列之间存在密切的相关关系，则建立的回归模型就不能表述自变量与因变量之间的真实变动关系。
检验就是误差序列的自相关检验。
检验的方法与一元线性回归相同。