第八章：多元线性回归模型
多元线性回归模型多元线性回归模型
1
e
1 2
2
(Yi
( ˆ0
ˆ1 X1i
ˆ2
X
2i
ˆk
X
ki
))2
(2
)
n 2
n
1
1 (YXβˆ )(YXβˆ )
e 2 2
(2
)
n 2
n
即为变量Y的或然函数
• 对数或然函数
为
L* Ln(L)
nLn( 2 ) 1 (Y Xβˆ ) (Y Xβˆ ) 2 2
对对数或然函数求极大值，也就是对
计量为：
ˆ 2
e
2 i
e e
n k 1 n k 1
*二、最大或然估计
• 对于多元线性回归模型
易知
Yi 0 1 X 1i 2 X 2i k X ki i
Yi ~ N (Xiβ , 2 )
• Y的随机抽取的n组样本观测值的联合概率 L(βˆ , 2 ) P(Y1,Y2 , ,Yn )
§3.2 多元线性回归模型的估计
一、普通最小二乘估计 *二、最大或然估计 *三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
说明
估计方法： 3大类方法：OLS、ML或者MM – 在经典模型中多应用OLS – 在非经典模型中多应用ML或者MM – 在本节中， ML与MM为选学内容
一、普通最小二乘估计
求期望 :
Y Xβμ
XY XXβ Xμ
X(Y Xβ) Xμ
E(X(Y Xβ) 0
E(X(Y Xβ) 0
称为原总体回归方程的一组矩条件，表明了原总 体回归方程所具有的内在特征。
1 X(Y Xβˆ ) 0 n
由此得到正规方程组
多元线性回归模型的估计与解释
多元线性回归模型的估计与解释多元线性回归是一种广泛应用于统计学和机器学习领域的预测模型。
与简单线性回归模型相比，多元线性回归模型允许我们将多个自变量引入到模型中，以更准确地解释因变量的变化。
一、多元线性回归模型的基本原理多元线性回归模型的基本原理是建立一个包含多个自变量的线性方程，通过对样本数据进行参数估计，求解出各个自变量的系数，从而得到一个可以预测因变量的模型。
其数学表达形式为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y为因变量，X1、X2、...、Xn为自变量，β0、β1、β2、...、βn为模型的系数，ε为误差项。
二、多元线性回归模型的估计方法1. 最小二乘法估计最小二乘法是最常用的多元线性回归模型估计方法。
它通过使残差平方和最小化来确定模型的系数。
残差即观测值与预测值之间的差异，最小二乘法通过找到使残差平方和最小的系数组合来拟合数据。
2. 矩阵求解方法多元线性回归模型也可以通过矩阵求解方法进行参数估计。
将自变量和因变量分别构成矩阵，利用矩阵运算，可以直接求解出模型的系数。
三、多元线性回归模型的解释多元线性回归模型可以通过系数估计来解释自变量与因变量之间的关系。
系数的符号表示了自变量对因变量的影响方向，而系数的大小则表示了自变量对因变量的影响程度。
此外，多元线性回归模型还可以通过假设检验来验证模型的显著性。
假设检验包括对模型整体的显著性检验和对各个自变量的显著性检验。
对于整体的显著性检验，一般采用F检验或R方检验。
F检验通过比较回归平方和和残差平方和的比值来判断模型是否显著。
对于各个自变量的显著性检验，一般采用t检验，通过检验系数的置信区间与预先设定的显著性水平进行比较，来判断自变量的系数是否显著不为零。
通过解释模型的系数和做假设检验，我们可以对多元线性回归模型进行全面的解释和评估。
四、多元线性回归模型的应用多元线性回归模型在实际应用中具有广泛的应用价值。
第二单元 统计学高级篇
逐步回归法实例（第一步）
模型 Y与X4 Y与X1 Y与X2 Y与X3
SS回
SS残
SS总
82.7144 139.8375 222.5519 69.4251 153.1267 222.5519 46.7873 175.7645 222.5519 57.9133 164.6386 222.5519
逐步回归法实例（第二步）
二、多重线性回归模型与方程
多重线性回归模型用于研究一个被解释变量（因变量）与 多个解释变量（自变量）的线性关系分析。多重线性回归模 型与一元线性回归模型基本类似，只不过解释变量由一个增 加到两个以上，被解释变量y与多个解释变量x1,x2·· ·xk之间 存在线性关系。 假定被解释变量y与多个解释变量x1,x2· xm之间具有线性 · · 关系，建立多重线性回归模型为：
S
1.5934 2.5748 3.6706 1.8234 2.9257
第三节 自变量的选择（筛选）
多重线性回归分析中，常常通过专业知识或实践经 验，去挑选那些对因变量影响较大的自变量与因变 量Y建立回归方程。 如从为数众多因素中，选择的自变量对反应变量无 影响或影响甚微，把它们引入方程后，不但计算量 大，信息成本高，而且会使回归系数的估计和预测 的精度降低。 选择对因变量影响较大的自变量引入方程，将对反 应变量无影响或影响甚微的自变量排除方程，这种 统计方法称为自变量选择（筛选），统计中常用方 法之一是逐步选择法。
SY,1,2,
与R2 …M
3.校正决定系数RC2(Radj2)=0.5282
R2与RC2关系：
R2表示总变差中已由多元回归方程“解释”的比 例，R2可解释模型的拟合优度，残差平方和越小， 决定系数越接近1，回归方程的拟合程度越好。 RC2当给模型增加自变量时，决定系数也随之逐步 增大，然而决定系数的增大代价是自由度的减少。 自由度小意味着估计和预测的可靠性低。为了克 服样本决定系数的这一缺点，我们设法把R2给予 适当的修正，这就是校正决定系数。 R2或RC2只能说明在给定的样本条件下回归方程与 样本观测值拟合优度，并不能做出对总体模型的 推测，因此不能单凭它们来选择模型。
多元线性回归模型原理
多元线性回归模型原理Y=β0+β1*X1+β2*X2+...+βn*Xn+ε其中，Y表示因变量，X1、X2、..、Xn表示自变量，β0、β1、β2、..、βn表示模型的参数，ε表示误差项。
通过对数据进行拟合，即最小化误差平方和，可以估计出模型的参数。
多元线性回归模型的原理是基于最小二乘法，即通过最小化残差平方和来估计参数的值。
残差是指模型预测值与真实值之间的差异，最小二乘法的目标是找到一组参数，使得所有数据点的残差平方和最小。
通过求解最小二乘估计，可以得到模型的参数估计值。
为了评估模型的拟合程度，可以使用各种统计指标，例如R方值、调整R方值、标准误差等。
R方值表示模型解释因变量方差的比例，取值范围在0到1之间，值越接近1表示模型对数据的拟合程度越好。
调整R方值考虑了模型中自变量的个数和样本量之间的关系，可以更准确地评估模型的拟合程度。
标准误差表示模型预测值与真实值之间的标准差，可以用于评估模型的预测精度。
在建立多元线性回归模型之前，需要进行一些前提条件的检查，例如线性关系、多重共线性、异方差性和自变量的独立性。
线性关系假设要求自变量与因变量之间存在线性关系，可以通过散点图、相关系数等方法来检验。
多重共线性指的是自变量之间存在高度相关性，会导致参数估计的不稳定性，可以使用方差膨胀因子等指标来检测。
异方差性指的是残差的方差不恒定，可以通过残差图、方差齐性检验等方法来检验。
自变量的独立性要求自变量之间不存在严重的相关性，可以使用相关系数矩阵等方法来检验。
当满足前提条件之后，可以使用最小二乘法来估计模型的参数。
最小二乘法可以通过不同的方法来求解，例如解析解和数值优化方法。
解析解通过最小化误差平方和的一阶导数为零来求解参数的闭式解。
数值优化方法通过迭代来求解参数的数值估计。
除了最小二乘法，还有其他方法可以用于估计多元线性回归模型的参数，例如岭回归和lasso回归等。
岭回归和lasso回归是一种正则化方法，可以对模型进行约束，可以有效地避免过拟合问题。
《多元线性回归》PPT课件
ˆ 0.7226 0.0003 15674 103 .172 1 ˆ β ˆ 0 . 0003 1 . 35 E 07 39648400 0 . 7770 2
x11 x x 1n x k1 x kn
假设6：回归模型是正确设定的
§3.2
多元线性回归模型的参数估计
一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题
参数估计的任务和方法
1、估计目标：回归系数βj、随机误差项方差б2 2、估计方法：OLS、ML或者MM * OLS：普通最小二乘估计 * ML：最大似然估计
E(X(Y Xβ )0
矩条件
*矩条件和矩估计量*
1、 E(X(Y Xβ ) 0 称为原总体回归方程的一组矩条件，表明了
原总体回归方程所具有的内在特征。
2、如果随机抽出原总体的一个样本，估计出的样本回归方程：
ˆ 能够近似代表总体回归方程的话，则应成立： ˆ X Y
1 ˆ)0 X (Y Xβ n
第三章
多元线性回归模型
§ 3.1 多元线性回归模型
§ 3.2 多元线性回归模型的参数估计 § 3.3 多元线性回归模型的统计检验 § 3.4 多元线性回归模型的预测 § 3.5 可线性化的多元非线性回归模型 § 3.6 受约束回归
§3.1
多元线性回归模型
一、模型形式 二、基本假定
一、模型形式
Yi 0 1 X 1i 2 X 2 i ... k X ki i 0 j X ji i
#参数估计的实例
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
第8章多元回归分析：推断问题
例 119个发展中国家1960-1985年的GDP增长率与相对 人均GDP
该模型只解释了GDPG变动的53%。但查F表可得，在5%的显著性 水平上是显著的，p值实际上是0.0425。因此，尽管R2只有0.053， 我们仍能拒绝这两个回归元对回归子没有影响的虚拟假设。
五、解释变量的“增量”或“边际”贡献
第八章
多元回归分析：推断问题
第八章
多元回归分析：推断问题
◆ 学习目的
理解多元线性回归模型的区间估计 和假设检验。
第八章
多元回归分析：推断问题
◆多元回归中的假设检验 ◆检验个别偏回归系数的假设 ◆检验样本回归的总显著性 ◆检验线性等式约束条件 ◆邹至庄检验
第一节
一、正态性假定
多元回归的假设检验
假定ui 遵循均值为零、方差σ2 为常数的正态分布。
例8.3 19551974年墨西哥 经济的CobbDouglas生产 函数
Dependent Variable: LNGDP Method: Least Squares Date: 02/21/12 Time: 16:22 Sample: 1955 1974 Included observations: 20 Variable C Coefficient -1.65242 Std. Error 0.606198 t-Statistic -2.72587 Prob. 0.0144
单位检验的
=1.671，拒绝虚拟假设。
假设检验和置信区间估计之间的关系
β2 的95%置信区间是： 具体到本例变为：
即是：
这样，如果选取了大小同为64的100个样本并构造像（8.4.2）这样的 100个置信区间，则我们预期其中的95个包含着真实总体参数β2 。由 于虚拟假设的零值不落在（8.4.2）区间内，故以95%的置信系数拒 绝虚拟假设β2 =0。 @qtdist(p,v):自由度为v的t统计量的p显著性水平（双尾）。 scalar h1=eq01.@coefs(2)+@qtdist(0.975,61)*@stderrs(2) scalar h2=eq01.@coefs(2)-@qtdist(0.975,61)*@stderrs(2)
(优选)多元回归模型
i ~ N (0, 2 )
上述假设的矩阵符号表示 式：
假设1，n(k+1)矩阵X是非随机的，且X的秩=k+1，
即X满秩。 假设2，
E (μ)
E
1
E(1
)
0
n E( n )
E (μμ )
E
1
1
n
E
12
1 n
n
n
1
2 n
var(1 )
cov(1, n ) 2 0
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
ˆ
0
Q
0
ˆ1
Q
0
ˆ
2
Q
0
ˆ k
Q
0
其中
n
n
Q ei2 (Yi Yˆi ) 2
i 1
i 1
n
2
(Yi (ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ))
i 1
于是得到关于待估参数估计值的正规方程组：
ˆ 2
e
2 i
e e
n k 1 n k 1
样本容量问题
⒈ 最小样本容量
所谓“最小样本容量”，即从最小二乘原理 和最大或然原理出发，欲得到参数估计量，不管 其质量如何，所要求的样本容量的下限。
模型中解释变量的数目为（k+1）
Yi 0 1 X 1i 2 X 2i k X ki i
也被称为总体回归函数的随机表达形式。它 的 非随机表达式为:
E(Yi | X1i , X 2i , X ki ) 0 1 X1i 2 X 2i k X ki
方程表示：各变量X值固定时Y的平均响应。
多元线性回归模型
多元线性回归模型1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型：y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t , (1.1)其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k j T Tu u u x x x x x x x x x y y yβββ (1.3)Y = X β + u , (1.4)为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。
假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2相同且为有限值，即E(u ) = 0 = ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡00 , V ar (u ) = E(u ˆu ˆ' ) = σ 2I = σ 2⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡10000001假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0假定 ⑶ 解释变量之间线性无关。
rk(X 'X ) = rk(X ) = k 其中rk (⋅)表示矩阵的秩。
假定⑷ 解释变量是非随机的，且当T → ∞ 时T – 1X 'X → Q其中Q 是一个有限值的非退化矩阵。
最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。
代数上是求极值问题。
min S = (Y - X βˆ)' (Y - X βˆ) = Y 'Y -βˆ'X 'Y - Y ' X βˆ +βˆ'X 'X βˆ= Y 'Y - 2βˆ'X 'Y + βˆ'X 'X βˆ (1.5)因为Y 'X βˆ是一个标量，所以有Y 'X βˆ = βˆ'X 'Y 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x 2 2 i
x 3 2 i
2
x 2 ix 3 i
ˆ3
x 3 iy i x 2 2 i x 2 iy i x 2 ix 3 i
x 2 2 i
x 3 2 i
2
x 2 ix 3 i
偏回归系数的含义
• 偏回归系数体现的是解释变量对因变量 的净影响或直接影响。
• 一元回归模型中的回归系数体现的是解 释变量对因变量的总影响，包括直接影 响和间接影响。
假设3，解释变量与随机项不相关
Co (X vji,i)0 j1,2 ,k
如果X是非随机机的（即为固定值），则该假设自动 满足。因为一个固定值与一个随机变量之间当然不相关。
假设4，随机项满足正态分布
i ~N(0,2)
推导：误差项代表了没有纳入回归模型的其他所有影响因素。 因为这些影响因素中，每种因素对Y的影响都很微弱。如果 所有这些影响因素都是随机的，并用μ代表所有这些影响因素 之和，那么根据中心极限定理，可以假设误差项服从正态分 布
x x 3 2 2 i2 i 2X 2 xX 2 ix 33 i2 x2 ix3 i
2
var
ˆ 2
x2 2i
x3 2 i x3 2 i
2 2
x2ix3i
var
ˆ 3
x2 2i
x2 2 i x3 2 i
2 2
x2ix3i
总体回归模型的随机误差项是一个随机变量，
Y i 0 1 X 1 i 2 X 2 i k X k ii
• j也被称为偏回归系数，表示在其他解释
变量保持不变的情况下，Xj每变化1个单 位时，Y的均值E(Y)的变化;
• 或者说j给出了Xj的单位变化对Y均值的
“直接”或“净”（不含其他变量）影 响。
埋伏笔：三变量模型参数的OLS估计量是 随机变量
初学者只需先掌握含两个解释变量的多元回归模型（以避免复 杂的矩阵代数运算），以下的分析都建立在以2个解释变量为 前提的多元回归模型基础上。
三变量模型回归系数的OLS估计量（教材P156）
ˆ1Yˆ2X2ˆ3X3
ˆ2
x 2 iy i x 3 2 i x 3 iy i x 2 ix 3 i
既然是随机变量，就可以求方差。
将随机误差项的方差记为2
2客观存在，但往往未知。只能对其进行估计。
随机误差项的方差2的估计
2 表示总体误差项 的
方差，这个未知方差的
OLS估计量是：
2
et 2
n3
其中
e t2y t22 y tx 2 t3 y tx 3 t
实例
美国1980-1995年（非农业未偿还）抵押贷款数额Y（亿美 元）、个人收入X2（亿美元）、新住宅抵押贷款费用X3 (%). 利用以下样本数据对多元线性回归模型进行估计。
EVIEWS演示过程：
四、参数估计量的性质
在满足基本假设的情况下，其结构参
数的普通最小二乘估计量“尖”仍具有：
线性性、无偏性、有效性。
同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。
§3.3 多元线性回归模型的统计检验
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
§3.2 多元线性回归模型的估计
一、普通最小二乘估计 *二、最大或然估计(Maximum Likelihood) *三、矩估计（Moment Method) 四、参数估计量的性质 * 五、样本容量问题 六、估计实例
说明
（注：参数有两类：结构参数和分布参数，分布参数是 指随机误差项的均值和方差）
估计方法： 3大类方法：OLS、ML或者MM – 在经典模型中多应用OLS – 在非经典模型中多应用ML或者MM – 我们只学习OLS
注 意 （特别重要）
《经济计量学精要》（古亚拉提 著）将多元回归分析中的解 释变量限定在2个（该类多元回归模型也称为三变量模型）。 但实际中的多元回归模型的解释变量往往多于2个（有3个或3 个以上），那么估计公式会更复杂。在这种情况下，必须使用 矩阵代数知识。当然，本书没有使用矩阵代数知识。不过现在 很少有人手工计算了，还是让计算机做这些复杂的工作吧。
该是右列
方程组的 解
ˆ 0
Q
0
ˆ 1
Q
0
ˆ 2
Q
0
ˆ k
Q
0
n
n
其
Q ei2 (Yi Yˆi)2
i1
i1
中n
2
(Y i(ˆ0ˆ1X 1iˆ2X 2i ˆkX k)i )
i 1
• 于是得到关于待估参数估计值的正规方程组：
SS((ˆˆS00(ˆ0ˆˆ11XX1ˆ1i1iX1ˆiˆ22i XXˆ222ii
加一个解释变量， R2往往增大（Why?)。这是 因为残差平方和往往随着解释变量个数的增加 而减少，至少不会增加。
ห้องสมุดไป่ตู้ 一、拟合优度检验
1、可决系数与调整的可决系数 总离差平方和的分解
T S ( Y i S Y ˆ i) 2 ( Y ˆ i Y ) 2 R E SS SS
Y
离差分解示意图
可决系数
R2 ESS1RSS TSS TSS
该统计量越接近于1，模型的拟合优度越高。 问题：在应用过程中发现，如果在模型中增
X2i ˆk
ˆk Xki
ˆ k
X
ki
X ki ) ) X1i ) X 2i
SYi SYi X1i SYi X2i
S(ˆ0 ˆ1X1i ˆ2 X2i ˆk Xki)Xki SYi Xki
解该（k+1）个方程组成的线性代数方程组，即
可得到(k+1) 个待估参数的估计值 $j , j 0,1,2,, k 。
一、普通最小二乘估计
• 对于随机抽取的n组观测值 ( Y i,X j) ii ,1 ,2 , ,n ,j 0 ,1 ,2 , k
如果样本函数的参数估计值已经得到，则有：
Y ˆ i ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i ˆ k X i Ki i=1,2…n
• 根据最 小二乘原 理，参数 估计值应
解释：因为给定一个具体的样本，就能求 出一个特定的估计值。再换过一个样本， 又可以求出不同的估计值。所以参数的估 计量取值随着样本的改变而改变。 既然是随机变量，就可以求方差。
三变量模型OLS估计量方差的代数公式（教材P157）
vaˆ1r 1 nX 2 2
x3 2 iX 3 2 x2 2 i