一元线性回归模型与多元线性回归模型对比知识分享

统计检验
一元线性回归模型
多元线性回归模型
总离差平方和的分解
拟合优度检验
总离差平方和的分
解
TSS=ESS+RSS
R2 ESS
，
TSS
R2 0,1 越 接 近 于
1，拟合优度越高。
TSS=ESS+RSS R2 ESS 1 RSS ，（即总平方和中回归平方和的比例）
TSS TSS
R2 0,1 对于同一个模型， R2 越接近于 1，拟合优
一元线性回归模型
残差平方和达到最
小，得到正规方程
组，求得参数的普 通最小二乘估计 值：
ˆ1
xi yi xi 2 (普通
ˆ0 Y ˆ1 X
最小二乘估计的离
差形式) 随机干扰项的方差
的估计量
ˆ 2 ei 2
n2 参数估计值估计结 果 与 OLS 方 法 一 致，但随机干扰项
的方差的估计量与
度越高。
R 2 1 RSS (n k 1) （调整的思路是残差平方和 RSS 和总平方和 TSS /(n 1)
） TSS 各自除以它们的自由度
为什么要对 R2 进行调整?解释变量个数越多，它们对 Y 所能解释的部
分越大（即回归平方和部分越大），残差平方和部分越小， R2 越高，由增加解释 变量引起的 R2 的增大与拟合好坏无关，因此在多元回归模型之间比较拟合优度， R2 就不是一个合适的指标，必须加以调整。
一元线性回归模型与 多元线性回归模型对
比
精品文档
一元线性回归模型
多元线性回归模型
总体回归函数
E(Y X ) 0 1X
E(Y X1, X 2 X k ) 0 1 X1 2 X 2 k X k
即 E(Y X) Xβ
总体回归模型 （总体回归函数 的随机表达形
式） 样本回归模型 （样本回归函数 的随机表达形
OLS
不同
ˆ 2 ei 2
n
多元线性回归模型
残差平方和达到最小，得到正规方程组，求得参数
的普通最小二乘估计值βˆ (X X)-1 X Y
βˆ (x x)- 1 x y ˆ0 Y ˆ1 X1 ˆk X k (普通最小二乘估计的离差形式)
随机干扰项的方差ˆ 2
ei 2 ee
n k 1 n k 1
式）
Y E(Y X ) 0 1X
Y ˆ0 ˆ1X e
Y E(Y X1, X 2 X k )
即Y Xβ μ
0 1X1 2 X 2 k X k
Y ˆ0 ˆ1X1 ˆ2 X 2 ˆk X k e 即Y X βˆ e
样本回归函数 Yˆ ˆ0 ˆ1X
给定一组容量为 n 的样本 ( X1,Y1 ), ( X 2 ,Y2 ),( X i ,Yi ),( X n ,Yn ) 则，上述式子可以写成：
总体回归函数 E(Yi X i ) 0 1 X i E(Yi X i1, X i 2 X i k ) 0 1 X i1 2 X i 2 k X i k
总体回归模型
样本回归模型 样本回归函数 样本回归函数的
离差形式 解释变量的个数 （包括常数项）
Yi E(Yi X i ) i 0 1 X i i
参数估计值估计结果与 OLS 方法一致，但随机干扰
项的方差的估计量ˆ 2 ei 2
n
参数估计量的性 质
线性性、无偏性、 有效性
线性性、无偏性、有效性
收集于网络，如有侵权请联系管理员删除
精品文档
参数估计量的概 率分布
ˆ1 ~ N(1 ,
2 )
xi 2
ˆ0 ~ N(0 , n
Xi2 xi 2
2
随机误差项μ零均 值 、 同 方 差、 不序 随机误差项μ零均值、同方差、不序列相关假设。 列相关假设。
随机误差项与解释 变量不相关。
随机误差项与解释变量不相关。
假设:6：
正态性假设。随机 项服从正态分布。
正态性假设。随机项服从正态分布。
参数估计
普通最小二乘估 计（OLS）
最大似然估计 (ML)
矩估计（MM）
目的：对模型中被解释变量与解释变量之间的线性 关系在总体上是否成立做出判断。
原假设
备择假设：
பைடு நூலகம்
统计量的构造：
方程总体显著性
检验
------
判断步骤：①计算 F 统计量的值
)
样本容量问题 ----
---
样本容量 n 必须不少于模型中解释变量的个数（包 括 常 数 项 ） ， 即 n k 1 才 能 得 到 参 数 估 计 值 ， n - k 8 时 t 分布才比较稳定，能够进行变量的显著
性检验，一般认为 n 30 活着至少 n 3k 1 时才能
满足模型估计要求。如果样本量过小，则只依靠样 本信息是无法完成估计的，需要用其他方法去估 计。
①样本变异性假设。
收集于网络，如有侵权请联系管理员删除
精品文档
假设 4： 假设 5：
假设。对解 释变量 X 抽 取的样本观 察值并不完 全相同。 ② 样本方差趋 于常数假 设。
各解释变量 X j 在所抽取的样本中具有变异性。 ② 样本方差趋于常数假设。 随着样本容量的无限增加，各解释变量的样本方 差区域一个非零的有限常数。
yˆ xβˆ
k+1 个： C， X 1 , X 2 , X k
基本假定
假设 1： 假设 2： 假设 3：
回归模型是正确设 定的。 确定性假设。解释 变量 X 是确定性变 量，不是随机变 量，在重复抽样中 取固定值。:
① 样本变异性
模型设定正确假设。
确定性假设。解释变量 X1, X 2 , X k 是非随机或固定 的，且各 X j 之间不存在严格线性相关（无完全多重 共线性）。
Yi ˆ0 ˆ1 Xi ei Yˆi ˆ0 ˆ1 Xi
yˆi ˆ1xi
2 个： C，X
Yi E(Yi X i1, X i2 X ik ) i 0 1 X i1 2 X i2 k X ik i
Yi ˆ0 ˆ1Xi1 ˆ2 Xi2 ˆk Xik ei Yˆi ˆ0 ˆ1 Xi1 ˆ2 X i 2 ˆk Xi k
Yˆ ˆ0 ˆ1X1 ˆ2 X 2 ˆk X k 即Yˆ X βˆ
( X 11, X 12 , X 1k ,Y1 ),
( X 21 , X 2 2 , X 2 k ,Y2 ),
给定一组容量为 n 的样本
，
( X i1 , X i 2 , X i k ,Yi )
( X n1 , X n 2 , X n k ,Yn ) 则上述式子可以写成：