高等数理统计

若 ti0 或 Fi0 落入拒绝域 ，或 pi的值小于给定的显著水平 ，拒绝原假设H0(i)，认为在给定的显著水平 下，i不为 0，即认为xi对 y的作用是显著的；否则不能拒绝 i为 0， 认为xi对y的作用不显著，这时常称i未通过检验。
5.3 多元线性回归分析
５.3.4 回归诊断
对回归模型进行回归诊断的方法有很多，最重要的方 法是残差分析和共线诊断
若F统计量的观察值记为F0，p 若 F0
= P { F F 0}
落入拒绝域，或p值小于给定的显著水平，拒绝 原假设 H0 ，认为在给定的显著水平 下， y 与自变量 x1,x2,…,xk 之间线性回归关系是显著的，或称回归方程 是显著的；否则不能拒绝H0，说明y与自变量x1,x2,…,xk 之间线性回归关系不显著，或称回归方程是不显著．
，
5.3 多元线性回归分析
5.3.2. 参数与2的估计和性质
令误差平方和
S [ yi ( 0 1 xi 1 ... k xik )]2
2 E i 1
n
(Y Xβ)T (Y Xβ)

2 ˆ 为 ˆ 选择为 min S E (β) 的最优解，因此 β β
5.3.３. 多元线性回归的显著性检验
1.线性回归模型的显著性检验
假设为： H0：1 = … = k = 0；H1：1，…，k不全为0；
类似一元回归分析，仍然有平方和分解
ˆ i y ) ( yi y ˆ i )2 S ( yi y ) ( y
2 T 2 2 i 1 i 1 i 1 2 2 SR SE 2 构造检验统计量 SR k F 2 S E ( n k 1)
5.3 多元线性回归分析
5.3.３. 多元线性回归的显著性检验
2. 回归系数的显著性检验
检验的假设为： H0i i = 0； H1i：i 0， 检验统计量：
ˆ2 ( n k 1) i Fi 2 c ii S E
H 0 i 成立时
i = 1 ， 2 ， …， k
~
F (1, n k 1)
称
ˆ' ˆ yi y ˆ i 2 为残差平方和。 S
2 E i 1
n
均方残差（MSE）：
1 2 s SE n k 1
2
5.3 多元线性回归分析
5.3.2. 参数与2的估计和性质
性质5.3.1 性质5.3.2 性质5.3.3
2 ˆ i , 则ES E 设S y i y 2 ( n k 1), 从而 2 E 2 i 1 2 S E ˆ2 是 2的无偏估计量。 ( n k 1) n
5.3 多元线性回归分析
5.3.３. 多元线性回归的显著性检验
2． 回归系数的显著性检验
根据一组观测数据 （xi1，xi2，…，xip，yi），i = 1，2，…，n， 计算统计量ti和Fi的观察值ti0和Fi0及相应的 pi = P{| ti | | ti0|}和pi = P{Fi Fi0}值。
Y X 上式可以简写成如下矩阵形式： 2 ~ N ( 0 , In ) n
1 x11 y1 1 x y 21 其中 Y 2 , X y 1 x n1 n
1 0 x1k ， x2k 1 , ε 2 . β , x nk n p
或
ti
ˆ ( n k 1) i cii S E
H 0 i 成立时
~
t ( n K 1)
其中,cii是k+1阶方阵(XTX)-1的第i+1个对角线元素．
5.3 多元线性回归分析
5.3.３. 多元线性回归的显著性检验
2． 回归系数的显著性检验
所以Ｈ０的拒绝域为
ˆ2 ( n k 1) i fi F1 (1, n k 1) 2 c ii S E
，
3)对回归系数进行显著性检验
判断每个自变量xi(i=1,2,…, k)对y的影响是否显著
5.3 多元线性回归分析
5.3.1．多元线性回归模型
多元线型回归分析的内容与步骤
4) 回归诊断: 主要是验证残差是否满足
i ~ N (0, 2 ), i 1,2,..., n, 且相互独立
5) 利用较优回归方程,根据自变量的取值对因变量的取值 进行预测。
yi 0 1 xi1 2 xi 2 ... p xi p i , i 1, 2,..., n 2 ~ N ( 0 , ), i 1, 2,..., n, 且相互独立 i
5.3 多元线性回归分析
5.3.1．多元线性回归模型
yi 0 1 xi1 2 xi 2 ... p xi p i , i 1, 2,..., n 2 ~ N ( 0 , ), i 1, 2,..., n, 且相互独立 i
性质5.3.5
2 2 （ 1）S E 与S R 相互独立 ;
2 SE
ˆ独立，且 （2） S 与
2 E
2
~ 2 ( n k 1);
2 ST
（3）若H 0 : 1 2 ... k 0，则
2
~ 2 ( n 1)
2
2 SR
~ 2 ( k ).
5.3 多元线性回归分析
n
n
n
由5.3.1
F
2 SE
2 SR k ~ F ( k , n k 1) ( n k 1)
5.3 多元线性回归分析
5.3.３. 多元线性回归的显著性检验
1.线性回归模型的显著性检验
对给定的显著水平，
H0的拒绝域为
F
2 SE
2 SR k F1 ( k , n k 1) ( n k 1)
(1) 残差分析 ●检验误差项的等方差的假设 ●检验误差项的独立性的假设
●检验误差项正态分布的假设
●检查 回归诊断
残差的正态性检验可以用第四章中讲过的方法，还可
以用下面介绍的残差图进行分析：
凡是以残差为纵坐标，而以观测值yi，预测值
ˆ i ，自 y
多元线型回归分析的内容与步骤
1)从样本数据出发对参数与2进行估计,建立变量y 与x1,x2,…,xk的回归方程（预测公式）；
ˆ ˆ x ... ˆ x ˆ y 0 1 1 k k
2)对回归方程进行显著性检验; 判断 y 与自变量 xi(i=1,2,…, k) 是否具有显著的线性 关系
第5章 回归分析(第2讲)
5.3 多元线性回归 5.4 应用案例
5.3 多元线性回归分析
5.3.1．多元线性回归模型
多元线性回归模型的一般形式为：
Y 0 1 x1 2 x2 ... k xk 2 ~ N ( 0 , )
其中0，1，…k是未知的参数，是不可观测的随机 变量，称为误差项。 如 果 有 n 次 独 立 的 观 测 数 据 （ xi1,xi2,…,xik;yi ） i=1,2,…,n，则线性回归模型可以表示成如下形式：
或写成
yi 0 1 xi 1 2 xi 2 ... p xi p i , i 1,2,..., n 2 ~ N ( 0 , ), i 1,2,..., n i cov( , ) 0, i j , i , j 1,2,..., n i j
5.3 多元线性回归分析
5.3.2. 参数与2的估计和性质
利用回归方程可由自变量 Ｘ 1 ， … ， Ｘ k 的观测值求出
因变量Y的估计值（预测值）。
ˆ X ( X ' X ) X 'Y HY Y
1
观测值与实测值的关系
ˆ HY Y
其中 H X ( X ' X )1 X ' 称为帽子矩阵。 ˆ (I H )Y 为残差向量，简称残差. ˆ Y Y 称 n
1
ˆ ( X ' X ) X 'Y 可以证明， ˆ 为 的无偏估计。 ˆ ˆ ˆ ˆ 当给出 的估计 ( 0 , 1 ,... k ) 后，代入回归模型并
略去误差项，得到的方程
ˆ ˆ x ... ˆ x ˆ y 0 1 1 k k
称为经验回归方程。
是2的无偏估计. 所以当n较大时, (i＝1,2,…,n)可近似认为是取 MSE 自总体Ｎ(0,1)的样本。 ˆi 因此理论上，点 MSE (i＝1,2,…,n )ˆ中有大约95％应在(–2，2)内等等 i 。如果不是这样，则有理由怀疑 MSE (i＝1,2,…,n)的正态性，从而 有理由怀疑所建回归方程不合适，或观测数据不符合模型的假定．
5.3 多元线性回归分析
5.3.1．多元线性回归模型
Y X 上式可以简写成如下矩阵形式： 2 ~ N ( 0 , In ) n
0 1 x1k x2k 2 1 ε , β , x nk n p
5.3 多元线性回归分析
5.3.1．多元线性回归模型
或写成
yi 0 1 xi 1 2 xi 2 ... p xi p i , i 1,2,..., n 2 ~ N ( 0 , ), i 1,2,..., n i cov( , ) 0, i j , i , j 1,2,..., n i j
ti
ˆ ( n k 1) i cii S E
t1 / 2 ( n k 1)
根据一组观测数据 （xi1，xi2，…，xip，yi），i = 1，2，…，n， 计算统计量ti和Fi的观察值ti0和Fi0及相应的 pi = P{| ti | | ti0|}和pi = P{Fi Fi0}值。