多元线性回归模型
第三章 多元线性回归模型
即
Y Xb U
X 称为数据矩阵或设计矩阵。
6
二、古典假定
假定1：零均值假定 E(ui ) 0 (i 1,2,...,n)
1 E ( 1 ) E ( ) 2 2 E (μ) E 0 n E ( n )
写成矩阵形式：
Y1 1 X 21 Y 1 X 22 2 Yn 1 X 2 n X 31 X k 1 b 1 u1 X 32 X k 2 b 2 u 2 X 3 n X kn b k un
或
ei 1 X 21 X e 1 X 22 2i i X ki ei 1 X 2 n X 31 X k 1 e1 X 32 X k 2 e2 X e 0 X 3 n X kn en
9
当总体观测值难于得到时，回归系数向 量 b 是未知的，这时可以由样本观测值进行 估计，可表示为
ˆ ˆ Xb Y
但实际观测值与计算值有偏差，记为：
ˆ e Y Y
于是
ˆ e Y Xb
称为多元样本回归函数。
10
ˆ b 1 ˆ b2 ˆ b ˆ b k
同理
ˆ x x b ˆ x 2 x3 i yi b 2 2i 3i 3 3i
x2 i yi x x3 i yi x2 i x3 i ˆ b2 2 2 2 x2 x ( x x ) i 3i 2i 3i
2 3i
x3 i yi x x2 i yi x2 i x3 i ˆ b3 2 2 2 x2 x ( x x ) i 3i 2i 3i
多元线性回归模型
Cov( X ji , i ) 0
j 1,2, k
假设4，随机项满足正态分布
i ~ N (0, 2 )
上述假设的矩阵符号表示 式：
假设1，n(k+1)维矩阵X是非随机的，且X的秩=k+1，
即X满秩。
回忆线性代数中关于满秩、线性无关!
假设2，
E (μ)
E
1
E (1 )
0
n E( n )
X ki ) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
解该（ k+1）个方程组成的线性代数方程组，即
可得到(k+1) 个待估参数的估计值
$ j
,
j
0,1,2, ,
k
。
□正规方程组的矩阵形式
en
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各X之间互不 相关（无多重共线性）。
假设2，随机误差项具有零均值、同方差及不序列相关 性。
E(i ) 0
i j i, j 1,2,, n
Var
(i
)
E
(
2 i
)
2
Cov(i , j ) E(i j ) 0
假设3，解释变量与随机项不相关
这里利用了假设: E(X’)=0
等于0，因为解释变 量与随机扰动项不相 关。
3、有效性（最小方差性）
ˆ 的方差-协方差矩阵为
Co（v ˆ） E{[ˆ E（ˆ）][ˆ E（ˆ）]}
E[(ˆ )(ˆ )]
E{（[ X X）-1X ]（[ X X）-1X ]}
多元线性回归的计算模型
多元线性回归的计算模型多元线性回归模型的数学表示可以表示为：Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y表示因变量，Xi表示第i个自变量，βi表示第i个自变量的回归系数（即自变量对因变量的影响），ε表示误差项。
1.每个自变量与因变量之间是线性关系。
2.自变量之间相互独立，即不存在多重共线性。
3.误差项ε服从正态分布。
4.误差项ε具有同方差性，即方差相等。
5.误差项ε之间相互独立。
为了估计多元线性回归模型的回归系数，常常使用最小二乘法。
最小二乘法的目标是使得由回归方程预测的值与实际值之间的残差平方和最小化。
具体步骤如下：1.收集数据。
需要收集因变量和多个自变量的数据，并确保数据之间的正确对应关系。
2.建立模型。
根据实际问题和理论知识，确定多元线性回归模型的形式。
3.估计回归系数。
利用最小二乘法估计回归系数，使得预测值与实际值之间的残差平方和最小化。
4.假设检验。
对模型的回归系数进行假设检验，判断自变量对因变量是否显著。
5. 模型评价。
使用统计指标如决定系数（R2）、调整决定系数（adjusted R2）、标准误差（standard error）等对模型进行评价。
6.模型应用与预测。
通过多元线性回归模型，可以对新的自变量值进行预测，并进行决策和提出建议。
多元线性回归模型的计算可以利用统计软件进行，例如R、Python中的statsmodels库、scikit-learn库等。
这些软件包提供了多元线性回归模型的函数和方法，可以方便地进行模型的估计和评价。
在计算过程中，需要注意检验模型的假设前提是否满足，如果不满足可能会影响到模型的可靠性和解释性。
总而言之，多元线性回归模型是一种常用的预测模型，可以分析多个自变量对因变量的影响。
通过最小二乘法估计回归系数，并进行假设检验和模型评价，可以得到一个可靠的模型，并进行预测和决策。
计量经济学-多元线性回归模型
Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y为因变 量，X1, X2,..., Xk为自变量，β0, β1,..., βk为回归 系数，ε为随机误差项。
多元线性回归模型的假设条件
包括线性关系假设、误差项独立同分布假设、无 多重共线性假设等。
研究目的与意义
研究目的
政策与其他因素的交互作用
多元线性回归模型可以引入交互项，分析政策与其他因素（如技 术进步、国际贸易等）的交互作用，更全面地评估政策效应。
实例分析：基于多元线性回归模型的实证分析
实例一
预测某国GDP增长率：收集该国历史数据，包括GDP、投资、消费、出口等变量，建立 多元线性回归模型进行预测，并根据预测结果提出政策建议。
最小二乘法原理
最小二乘法是一种数学优化技术，用 于找到最佳函数匹配数据。
残差是观测值与预测值之间的差，即 e=y−(β0+β1x1+⋯+βkxk)e = y (beta_0 + beta_1 x_1 + cdots + beta_k x_k)e=y−(β0+β1x1+⋯+βkxk)。
在多元线性回归中，最小二乘法的目 标是使残差平方和最小。
t检验
用于检验单个解释变量对被解释变量的影响 是否显著。
F检验
用于检验所有解释变量对被解释变量的联合 影响是否显著。
拟合优度检验
通过计算可决系数（R-squared）等指标， 评估模型对数据的拟合程度。
残差诊断
检查残差是否满足独立同分布等假设，以验 证模型的合理性。
04
多元线性回归模型的检验与 诊断
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
3多元线性回归模型参数估计
3多元线性回归模型参数估计多元线性回归是一种回归分析方法，用于建立多个自变量和一个因变量之间的关系模型。
多元线性回归模型可以表示为：Y=β0+β1X1+β2X2+…+βnXn+ε其中，Y表示因变量，X1,X2,…,Xn表示自变量，β0,β1,β2,…,βn表示模型参数，ε表示误差项。
多元线性回归模型的目标是估计出模型参数β0,β1,β2,…,βn，使得实际观测值与模型预测值之间的误差最小化。
参数估计的方法有很多，下面介绍两种常用的方法：最小二乘法和梯度下降法。
1. 最小二乘法（Ordinary Least Squares, OLS）：最小二乘法是最常用的多元线性回归参数估计方法。
它的基本思想是找到一组参数估计值，使得模型预测值与实际观测值之间的残差平方和最小化。
首先，我们定义残差为每个观测值的实际值与模型预测值之间的差异：εi = Yi - (β0 + β1X1i + β2X2i + … + βnXni)其中，εi表示第i个观测值的残差，Yi表示第i个观测值的实际值，X1i, X2i, …, Xni表示第i个观测值的自变量，β0, β1, β2, …,βn表示参数估计值。
然后，我们定义残差平方和为所有观测值的残差平方的总和：RSS = ∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2我们的目标是找到一组参数估计值β0,β1,β2,…,βn，使得残差平方和最小化。
最小二乘法通过数学推导和求导等方法，可以得到参数估计值的解析解。
2. 梯度下降法（Gradient Descent）：梯度下降法是一种迭代优化算法，可以用于估计多元线性回归模型的参数。
它的基本思想是通过迭代调整参数的值，使得目标函数逐渐收敛到最小值。
首先，我们定义目标函数为残差平方和：J(β) = 1/2m∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2其中，m表示样本数量。
多元线性回归模型
多元线性回归模型多元线性回归是一种用于分析多个自变量与一个因变量之间关系的统计方法。
在这种分析中，我们试图根据已知自变量的值来预测因变量的值。
该模型常用于市场研究、金融分析、生物统计和其他领域。
在本文中，我们将介绍多元线性回归的基础概念和实践应用。
一般来说，线性回归的目的是找到一个线性函数y=ax+b来描述一个因变量y与一个自变量x的关系。
但是，在现实生活中，我们通常需要考虑多个自变量对因变量的影响。
这时就需要采用多元线性回归模型来描述这种关系。
多元线性回归模型可以表示为：y=b0 + b1x1 + b2x2 + … + bnxn + ε其中，y是因变量，x1, x2, …, xn是自变量，b0, b1, b2, …, bn是回归系数，ε是误差项，反映了因变量和自变量之间未能被回归方程中的自变量解释的差异。
多元线性回归的重要性质是，每个自变量对因变量的影响是独立的。
也就是说，当我们同时考虑多个自变量时，每个自变量对因变量的解释将被考虑到。
多元线性回归模型的核心是确定回归系数。
回归系数表明了自变量单位变化时，因变量的变化量。
确定回归系数的一种方法是最小二乘法。
最小二乘法是一种通过最小化实际值与预测值之间的差值来确定回归系数的方法。
我们可以使用矩阵运算来计算回归系数。
设X为自变量矩阵，y为因变量向量，则回归系数向量b可以通过以下公式计算：b = (XTX)-1XTy其中，XT是X的转置，(XTX)-1是X的逆矩阵。
在计算回归系数之后，我们可以使用多元线性回归模型来预测因变量的值。
我们只需要将自变量的值代入回归方程中即可。
但是，我们需要记住，这种预测只是基于样本数据进行的，不能完全代表总体数据。
多元线性回归模型有很多实际应用。
一个常见的例子是用于市场营销中的顾客预测。
通过对顾客的年龄、性别、教育程度、收入等数据进行分析，可以预测他们的购买行为、购买频率和购买方式等，这些预测结果可以帮助企业做出更好的营销决策。
5、计量经济学【多元线性回归模型】
二、多元线性回归模型的参数估计
2、最小二乘估计量的性质 当 ˆ0, ˆ1, ˆ2, , ˆk 为表达式形式时，为随机变量， 这时最小二乘估计量 ˆ0, ˆ1, ˆ2, , ˆk 经过证明同样也 具有线性性、无偏性和最小方差性（有效性）。 也就是说，在模型满足那几条基本假定的前提 下，OLS估计量具有线性性、无偏性和最小方差性 （有效性）这样优良的性质， 即最小二乘估计量
用残差平方和 ei2 最小的准则： i
二、多元线性回归模型的参数估计
1、参数的普通最小二乘估计法（OLS） 即：
min ei2 min (Yi Yˆi )2 min Yi (ˆ0 ˆ1X1i ˆ2 X 2i ˆk X ki )2
同样的道理，根据微积分知识，要使上式最小，只 需求上式分别对 ˆj ( j 0,1, k) 的一阶偏导数，并令 一阶偏导数为 0，就可得到一个包含 k 1 个方程的正 规方程组，这个正规方程组中有 k 1个未知参数 ˆ0, ˆ1, ˆ2, , ˆk ；解这个正规方程组即可得到这 k 1 个参数 ˆ0, ˆ1, ˆ2, , ˆk 的表达式，即得到了参数的最小 二乘估计量；将样本数据代入到这些表达式中，即可 计算出参数的最小二乘估计值。
该样本回归模型与总体回归模型相对应，其中残差 ei Yi Yˆi 可看成是总体回归模型中随机误差项 i 的 估计值。
2、多元线性回归模型的几种形式： 上述几种形式的矩阵表达式： 将多元线性总体回归模型 (3.1) 式表示的 n 个随机方 程写成方程组的形式，有：
Y1 0 1 X11 2 X 21 .Y.2.........0.......1.X...1.2........2.X...2.2. Yn 0 1 X1n 2 X 2n
ˆ0, ˆ1, ˆ2, , ˆk 是总体参数真值的最佳线性无偏估计 量（ BLUE ）；即高斯—马尔可夫定理 (GaussMarkov theorem)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
b
=
b b
0 1
b
k
=（XX）-1 XY
这就是多元线性回归模型的OLS估计量 这就是多元线性回归模型的OLS估计量 的一般表达式， 的一般表达式，同样可以证明该估计量 具有：线性性、无偏性、最小方差性 具有：线性性、无偏性、
二、随机扰动项U的方差σ 二、随机扰动项U的方差σ2u的估计量
（二）样本决定系数 R2
对两变量模型，同样有 ：
∑ y = ∑ y + ∑e
2 2 i i
2
2
i
定义 ： Y . X 1 X 2 R
2
2
∑ y = 为拟合优度的度量 ∑ y
i 2 i
接近1，回归直线拟合样本点好； 接近0，回归直线拟合样本点差。
R
Y .X 1X 2
可以证明： 对一元模型： = R
2
2
∑y ∑y
2 i 2 i
2 i 2 i
=
b ∑x y ∑y
1 i 2 i
1i i 2 2
i
… …
∑y 对二元模型： = R ∑y
….
b ∑ x y +b ∑ x y = ∑y
1 2i i
i
对k元模型：
∑ y = b ∑ x y + b ∑ x y + ... + ∑ b x y R= ∑y ∑y
Q = b0 + b1 M + b2 Y + b3W + u
这就是一个多元（三元）线性回归模型
第一节 多元线性回归模型
一、 基本概念 假定被解释变量Y是解释变量X 假定被解释变量Y是解释变量X1， X2，…， XK和 随机误差项U 随机误差项U的线性函数，它们可以表示为：
Y = b + b X + b X + ....+ b X + U
b0 + b1 X 1i + b2 X 2i + .... + bK X Ki +ui ，
方程组： Y1=b 0+ b 1X11+ b 2X21+…+ b kXk1+u1 Y2= b 0+ b 1X12+ b 2X22+…+ b kXk2+u2 … … … …. …. …. …. …. .. Yn= b 0+ b1 β 1n+ b 2X2n+…+ bkXkn+un
样本回归值或样本拟合值、样本估计值。估计 样本回归值或样本拟合值、样本估计值。 的样本回归方程的矩阵形式为： 的样本回归方程的矩阵形式为：
i为Yi 的 Y
Y = Xb
二、模型的基本假定
1. E(Ui)=0，i=1，2，…，n， )=0，i=1， 即随机误差项是一个期望值为零的随机变量， 即随机误差项是一个期望值为零的随机变量，从而 E（Yi）=
b0 + b1 X 1i + b2 X 2 i + .... + bK X Ki
2.Var(ui)=σ2 ，i=1，2，…，n， )=σ i=1， 3.Cov(ui,uj)=E(ui，uj)=0， )=0， i≠j，i，j=1，2，…，n， ≠j， j=1， 4. Cov(Xij,uj)=0， )=0，
2 u
的无偏估计量
σ
2 u
=
∑e
2 i
个无偏估计量 （证明略） 证明略）
n 3
是 σ
2 u
的一
第三节 显著性检验
一、拟合优度检验 （一）总离差平方和分解
∑ (Y
即
i
Y ) = ∑
2
(
Yi Y
) + ∑ (Y Y )
2 i
2
TSS = ESS + RSS
总离差平方和分解为回归平方和与残差平 方和两部分。
0 1 1 2 2 K K
即为多元线性回归模型（1 即为多元线性回归模型（1）。
描述被解释变量Y的期望值与解释变量X 描述被解释变量Y的期望值与解释变量X1， X2，…， XK的线性关系方程为： E（Y）= b0 + b1 X 1 + b2 X 2 + .... + bK X K 称为多元总体线性回归方程，简称总体 回归方程（2 回归方程（2）。
分别为参数b 分别为参数b1，b2，….bk的估计量。跟一元 线性回归模型同样，应用最小二乘法求估 计量求得：
... b 0，b1，b 2，，bk
由最小二乘法可知：估计量应使全部观测 值Yi与回归值 Yi 的残差平方和最小。
因为： ei=Yi-Yi
所以使：
2 i
= i (b + b1 X 1i + b2 X 2i + ...+ bk X Y
设（X 设（X1i，X2i
，….Xki，Yi）i=1,2,…n是总体 i=1,2,…n是总体
（ X1， X2，…， XK，Y）的n次独立观测值，将 ）的n 其代入多元线性回归模型（1 其代入多元线性回归模型（1）。即为样本数 据结构形式的多元线性回归模型（3 据结构形式的多元线性回归模型（3）， Yi= i=1,2…n 它是由n个方程，k+1未知参数组成的一个线性 它是由n个方程，k+1未知参数组成的一个线性 方程组。
Y为n×1阶列向量；X为n×（k+1)阶矩阵，b 阶列向量；X k+1)阶矩阵，b 为（k+1) 为（k+1) ×1阶列向量；U为n×1阶列向量。 阶列向量；U
Yi = b + b 而称
0
1
X +b X
1i 2
2i
+ ... + b
k X ki
为多元样本线性回归方程（ ）。称 为多元样本线性回归方程（4）。称
2
n 1 ) n k 1
2；
修正的样本决定系数 。
R >R
2
2
二、 变量的显著性检验（t检验） 变量的显著性检验（ 检验 检验）
（1）构造 t 统计量 由数理统计知识可以证明：
t =
b
j
b
j
j
S (b
~ t（n-k-1）
)
（2）. t检验的步骤：
（i）提出提出原假设H0 ：b j=0 备择假设H1 b j≠ 0 ： （ii）计算 t 统计量 （iii）给定显著性水平α ，查自由 度为n-k-1的t分布表，得到临界值
三、 OLS 估计量的统计性质
可以证明两变量模型的最小二乘估计量同样 具有如下性质：
1. 线性性：B = ( X ' X ) 1 X 'Y是Y的线性函数 2. 无偏性：
= E（B） B
∧
3.最小方差性： 3.最小方差性：在所有线性无偏估计量 中，最小二乘估计量具有最小的方差。 。 （证明略）
四、u项方差 σ 项方差 定理： 定理：
i=1，2，…，k， j=1，2，…，n， i=1， j=1，
5.rank(X)=k+1<n 6.随机误差项服从正态分布： 6.随机误差项服从正态分布： 随机误差项服从正态分布 ui~N（0， σ2） ~N（
第二节 参数估计及统计性质
一、回归参数的最小二乘估计 对于多元线性回归模型 （1）， 设
... b 0，b1，b 2，，bk
0
)
ki
∑e = ∑[Yi(b0+b1X1i+b2 X 2i+...+bk X ki)]
达到最小的充分必要条件是： 达到最小的充分必要条件是：
2
j=0、1、2…k j=0、
1
∑ e
2 i j
= 0
即：
2
b
∑ (Y
i
(b + b
0
X
1
1i
+b
1i
X
2
2i
+ ... + b
kX
ki
2 2 i 2 i 1 1i i 2 2i i 2 k ki i
i
存在一个问题： 存在一个问题：
R2的大小与解释变量的个数相关，要想改进R2使
其接近1，只需增加解释变量的数目就可以了。
为了消除这种影响，定义修正的样本决定系数：
2
讨论：（1）n很大，k较小时，
R
= 1 (1 R
2
R ≈ R 要考虑 （2）在k与n相比较大时，
1）的F分布表，得到临界值
(k , n k 1) Fα
（四）判断：（i）若 F
≥Fα (k, n k 1)
则在1- α水平下拒绝原假设H0 ， b i 不同时为 0，即模型的线性关系显著成立，模型是显著的； （ii）若 F < 则在1- α水 (k, n k 1) 平下接受原假设H0 α，即模型的线性关系不是显 著成立的，模型是不显著的。
为什么需要研究 多元线性回归模型？ 多元线性回归模型？ 现实经济问题是复杂的，用一个解释变 量去说明往往是不够的。 例如：粮食产量Q 例如：粮食产量Q，不仅取决于种植面积 还取决于施肥量Y以及投入的农机动力W M，还取决于施肥量Y以及投入的农机动力W等 因素。如果用线性回归模型， 因素。如果用线性回归模型，表示为：
被解释变量的实际样本观测值与 回归值的残差为： e=Y- 回归值的残差为： e=Y- Y e=Y- =(Xb+U)e=Y-X b =(Xb+U)-X( ( X ' X ) X 'Y) = (Xb+U)-X[ ( X ' X ) X ' ( Xb + U ) ] (Xb+U)=Xb+U=Xb+U-X[b+ ( X ' X ) X 'U ] =U-X ( X ' X ) X 'U =U=[In-X( X ' X ) X ' ]U =MU