二元线性回归模型及参数估计
二元线性回归模型及参数估计
要估计二元线性回归模型 Yi = β0 + β1X1i + β2 X 2i + µi 中的 常用的方法仍然是普通最小二乘法 参数 β 0 、 β 1 、 β 2 ，常用的方法仍然是 普通最小二乘法 常用的方法仍然是 普通最小二乘法。
i=1 设根据给定一组样本数据（ Y i， X 1i， X 2i）， ，2 ，…， n ， 设根据给定一组样本数据 采用普通最小二乘法估计得到的样本回归模型为
ˆ 差（即 ∆X j = SXj） ，则被解释变量 Y 变化β ∗ 个标准差（即 j
ˆ ∆Y = β ∗ SY ） 。 j
ˆ∗ ˆ∗ β1 =1.02， β2 = 0.24，则表示：解释变量 X1 变化 1 个 例如
标准差，将引起被解释变量 Y 变化 1.02 个标准差；解释变 量 X2 变化 1 个标准差，将引起被解释变量 Y 变化 0.24 个标 准差。因此，可以说，Y 对于 X1 变化的敏感程度远大于 Y 对于 X2 变化的敏感程度。
1．偏回归系数的估计 ．
对于二元线性回归模型：
Yi = β 0 + β1X1i + β 2 X 2i + µi ， i=1， 2， … ， n
其中的参数 β 0 、 β 1 、 β 2 称为偏回归系数。
，
所谓偏回归系数， 所谓偏回归系数，是指多元线性回归模型中解释变量前 偏回归系数 的系数。其含义是：当其他解释变量保持不变时， 的系数。其含义是：当其他解释变量保持不变时，某一解释 变量变化一个单位而使被解释变量Y平均改变的数值， 变量变化一个单位而使被解释变量 平均改变的数值，即某一 平均改变的数值 解释变量对被解释变量Y的影响程度。 解释变量对被解释变量 的影响程度。 的影响程度
线性回归模型如何评估自变量对因变量的影响力度？
线性回归模型是统计学中用于分析预测变量（自变量）和响应变量（因变量）之间线性关系的一种方法。
它是预测分析和因果推断中应用最广泛的技术之一。
在这篇文章中，我们将探讨线性回归模型如何评估自变量对因变量的影响力度，并将讨论分为三个部分。
线性回归模型的基本原理与参数估计线性回归模型以简单直观的方式量化自变量和因变量之间的关系。
在最基本的单变量线性回归中，模型预设因变量Y与自变量X之间存在线性关系，其数学表达式通常写作 Y = β0 + β1X + ε，其中，β0是截距项，β1是斜率系数，ε代表误差项。
模型的核心目标是估计这些参数，以便准确描述这两个变量之间的线性关系。
使用最小二乘法是线性回归中最普遍的参数估计方法。
它通过最小化实际观测值和回归直线之间距离的平方和来寻找合适的β0和β1。
结果得到的参数估计值能够提供每个自变量单位变化时因变量变动的平均量。
回归系数β1是衡量自变量对因变量影响力度的直接指标。
如果β1的估计值为正，表明自变量增加会导致因变量增加；如果为负，则表示自变量的增加会导致因变量减少。
β1的绝对值大小反映了自变量对因变量的影响强度。
为了确保参数估计的准确性，回归分析要满足几个关键假设，如线性关系、独立性、同方差性和误差项的正态性。
这些假设保证了模型参数估计的无偏性和最小方差性，是评估自变量影响力度的基础。
统计检验与回归系数的显著性评估回归参数的具体影响力度还需要进行统计检验。
这一过程能帮助我们判断自变量的影响是否具有统计学上的显著性，以及模型对数据拟合的好坏。
统计检验大多依赖于构建一个假设检验框架，包括零假设（通常为自变量系数等于零，即没有影响）和备择假设（自变量系数不等于零，即有实际影响）。
t检验被广泛应用于单个回归系数的显著性检验。
通过计算t 统计量及相应的p值，我们能够决定是否拒绝零假设。
若p值低于事先选择的显著性水平（例如0.05），则认为自变量对因变量的影响是显著的。
对于模型的整体评估，F检验提供了一种方法，用以判断模型中自变量对预测因变量是否整体上有显著的解释能力。
多元线性回归模型参数的最小二乘估计
x
2 ki
yi
x1i
yi
X
Y
xki yi
ˆ0
ˆ1
ˆ
ˆ k
于是正规方程组的矩阵形式为
( X X )ˆ X Y
（3.2.5）
于是有 ˆ ( X X )1 X Y （3.2.6）
二、中心化模型的参数最小二乘估计 我们已经知道，总体线性回归模型可以表示为
yi 0 1 x1i 2 x2i k xki ui （3.2.7）
u1
U
u2
un
残差平方和
1
2
n
2 i
(Y
Xˆ )(Y
Xˆ )
YY 2ˆ X Y ˆ X Xˆ
其中用到 Y Xˆ 是标量的性质。
（3.2.15）
将残差平方和（3.2.15）对 ˆ 求导，并令其为零：
( ˆ
)
2 X
Y
2 X
Xˆ
0
整理得正规方程组
X Xˆ X Y
（3.2.16）
这里 =0，可以看作是对参数施加一个限制条件。
其中心化模型
yi 1 x1i 2 x2i k xki ui （3.2.11）
yi ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.12）
（i =1,2,…，n）
将它们写成矩阵形式：
Y X U
（3.2.13）
Y Xˆ
ˆ0 xki ˆ1 x1i xki ˆ2 x2i xki ˆk xk2i xki yi
由（3.2.3）第一个方程，可以得到：
y ˆ0 ˆ1 x1 ˆ2 x2 ˆk xk
（3.2.4）
将正规方程组写成矩阵形式：
n x1i xki
计量经济学-多元线性回归模型
Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y为因变 量，X1, X2,..., Xk为自变量，β0, β1,..., βk为回归 系数，ε为随机误差项。
多元线性回归模型的假设条件
包括线性关系假设、误差项独立同分布假设、无 多重共线性假设等。
研究目的与意义
研究目的
政策与其他因素的交互作用
多元线性回归模型可以引入交互项，分析政策与其他因素（如技 术进步、国际贸易等）的交互作用，更全面地评估政策效应。
实例分析：基于多元线性回归模型的实证分析
实例一
预测某国GDP增长率：收集该国历史数据，包括GDP、投资、消费、出口等变量，建立 多元线性回归模型进行预测，并根据预测结果提出政策建议。
最小二乘法原理
最小二乘法是一种数学优化技术，用 于找到最佳函数匹配数据。
残差是观测值与预测值之间的差，即 e=y−(β0+β1x1+⋯+βkxk)e = y (beta_0 + beta_1 x_1 + cdots + beta_k x_k)e=y−(β0+β1x1+⋯+βkxk)。
在多元线性回归中，最小二乘法的目 标是使残差平方和最小。
t检验
用于检验单个解释变量对被解释变量的影响 是否显著。
F检验
用于检验所有解释变量对被解释变量的联合 影响是否显著。
拟合优度检验
通过计算可决系数（R-squared）等指标， 评估模型对数据的拟合程度。
残差诊断
检查残差是否满足独立同分布等假设，以验 证模型的合理性。
04
多元线性回归模型的检验与 诊断
多元线性回归模型参数估计
多元线性回归模型参数估计Y=β0+β1X1+β2X2+...+βnXn+ε其中，Y是因变量，X1,X2,...,Xn是自变量，β0,β1,β2,...,βn 是待求的模型参数，ε是偏差项。
参数估计的目标是找到具有最小残差平方和（RSS）的模型参数。
残差是观测值与模型预测值之间的差异，残差平方和则是所有观测值的残差平方的和。
对于参数估计，常用的方法是最小二乘法。
最小二乘法的思想是最小化残差平方和以找到最佳的模型参数。
最小二乘法的步骤如下：1.假设自变量X和因变量Y之间存在线性关系。
2. 对每一个自变量Xj（j = 1, 2, ... , n），计算Xj的均值（记作xj_mean）和标准差（记作xj_std）。
3. 对每一个自变量Xj，将Xj进行标准化处理（Z-score标准化），即将Xj减去其均值后除以其标准差。
4. 根据标准化的自变量Xj，计算其相关系数（记作rj）与因变量Y 的相关系数（记作ry）。
相关系数表示两个变量之间的线性关系的强度和方向。
相关系数的取值范围为-1到1，接近-1表示负相关，接近1表示正相关，接近0表示无相关。
5. 对每个自变量Xj，计算其回归系数（记作bj）等于ry乘以xj_std除以rj。
6. 计算截距项（记作b0）等于Y的均值减去所有回归系数bj与自变量Xj的均值相乘的和。
7.得到完整的多元线性回归模型。
在进行参数估计时，需要注意以下几点：1.数据的准备：确保数据符合多元线性回归模型的假设，包括自变量与因变量的线性关系、多重共线性等。
2.异常值的处理：需要检测和处理可能存在的异常值，以避免对参数估计的干扰。
3.模型的评估：通过评估模型的适应度指标（如决定系数R^2、调整决定系数等）来判断模型的拟合优度，并对模型进行修正。
4.参数的解释：对于得到的参数估计结果，需要解释其含义和影响，以便进行预测和决策。
总之，多元线性回归模型的参数估计是通过最小二乘法等方法来找到最佳的模型参数，以拟合数据并进行预测。
多元线性回归模型的参数估计
在最小二乘法基础上，对不同的观测值赋予不同的权重，以调整其 对回归参数估计的影响。
广义最小二乘法（GLS）
考虑自变量之间的相关性，通过转换自变量和因变量来消除自变量 之间的多重共线性影响。
03
参数估计的方法
普通最小二乘法
最小二乘法是一种常用的参数估计方法，通过最小化误差 平方和来估计参数。在多元线性回归模型中，普通最小二 乘法通过求解线性方程组来得到参数的估计值。
模型选择
选择多元线性回归模型作 为预测模型，以商品价格 和用户评价作为自变量， 销量作为因变量。
参数估计
使用最小二乘法进行参数 估计，通过最小化误差平 方和来求解回归系数。
模型检验
对模型进行假设检验，确 保满足线性回归的前提假 设。
结果解释与模型评估
结果解释
根据回归系数的大小和符号，解释各自变量对因变量 的影响程度和方向。
05
参数估计的实例分析
数据来源与预处理
数据来源
数据来源于某大型电商平台的销售数据，包括商 品价格、销量、用户评价等。
数据清洗
对原始数据进行清洗，去除异常值、缺失值和重 复值，确保数据质量。
数据转换
对连续变量进行离散化处理，对分类变量进行独 热编码，以便进行回归分析。
模型建立与参数估计
01
02
03
THANKS
感谢观看
04
参数估计的步骤
确定模型形式
确定自变量和因变
量
首先需要确定回归模型中的自变 量和因变量，通常因变量是研究 的响应变量，自变量是对响应变 量有影响的预测变量。
确定模型的形式
根据自变量和因变量的关系，选 择合适的回归模型形式，如线性 回归、多项式回归等。
多元线性回归模型及其参数估计多元线性回归的显著性_OK
其中n-k-1为残差平方和的自由度，n-1为总离差平方 和的自由度。显然，如果增加的解释变量没有解释能 力，则对残差平方和的减少没有多大帮助，却增加待 估参数的个数，从而使 R有2 较大幅度的下降。
20
2.修正判定系数 的R 计算
R2 1 (1 R2 ) n 1 n k 1
系数，选择那些与预测对象相关程度高者作为自 变量。
30
三、逐个剔除法（后退法）
首先将与预测对象有关的全部因素引入方程， 建立模型，然后依据每个回归系数的t值大小，逐 个剔除那些不显著的变量，直到模型中包含的变 量都是影响预测对象的显著因素为止。
注意：
（1）当不显著的变量较多时，不能同时剔除，要 从最小的那个系数所对应的变量开始逐一删除。
1
X0(X
T
X
)1
X
T 0
其中， tα 是自由度为年n-k-1的t分布临界值。
29
2.4 解释变量的选择
一、因素分析 因素分析是一种定性分析。它是预测时选择自
变量的第一步。凭借对预测对象的熟悉、了解，分 析找到影响预测对象的所有因素，从中选择。
二、简单相关分析 分别计算预测对象与各影响因素的简单相关
xik xi1 ˆk
xi2k
i 1
xik yi
i 1
其矩阵形式为
X T XBˆ X TY
解得
Bˆ ( X T X )1 X T Y
8
所以多元线性回归方程的矩阵形式为
Yˆ XBˆ X ( X T X )1 X T Y
一元回归的参数估计是多元回归参数估计的特例。
9
n
Q ei2 min i 1 (Y XB)'(Y XB) (Y 'B' X ')(Y XB) Y 'Y Y ' XB B' X 'Y B' X ' XB
3多元线性回归模型参数估计
3多元线性回归模型参数估计多元线性回归是一种回归分析方法，用于建立多个自变量和一个因变量之间的关系模型。
多元线性回归模型可以表示为：Y=β0+β1X1+β2X2+…+βnXn+ε其中，Y表示因变量，X1,X2,…,Xn表示自变量，β0,β1,β2,…,βn表示模型参数，ε表示误差项。
多元线性回归模型的目标是估计出模型参数β0,β1,β2,…,βn，使得实际观测值与模型预测值之间的误差最小化。
参数估计的方法有很多，下面介绍两种常用的方法：最小二乘法和梯度下降法。
1. 最小二乘法（Ordinary Least Squares, OLS）：最小二乘法是最常用的多元线性回归参数估计方法。
它的基本思想是找到一组参数估计值，使得模型预测值与实际观测值之间的残差平方和最小化。
首先，我们定义残差为每个观测值的实际值与模型预测值之间的差异：εi = Yi - (β0 + β1X1i + β2X2i + … + βnXni)其中，εi表示第i个观测值的残差，Yi表示第i个观测值的实际值，X1i, X2i, …, Xni表示第i个观测值的自变量，β0, β1, β2, …,βn表示参数估计值。
然后，我们定义残差平方和为所有观测值的残差平方的总和：RSS = ∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2我们的目标是找到一组参数估计值β0,β1,β2,…,βn，使得残差平方和最小化。
最小二乘法通过数学推导和求导等方法，可以得到参数估计值的解析解。
2. 梯度下降法（Gradient Descent）：梯度下降法是一种迭代优化算法，可以用于估计多元线性回归模型的参数。
它的基本思想是通过迭代调整参数的值，使得目标函数逐渐收敛到最小值。
首先，我们定义目标函数为残差平方和：J(β) = 1/2m∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2其中，m表示样本数量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
，
所谓偏回归系数，是指多元线性回归模型中解释变量前 的系数。其含义是：当其他解释变量保持不变时，某一解释 变量变化一个单位而使被解释变量Y平均改变的数值，即某一
解释变量对被解释变量Y的影响程度。
要估计二元线性回归模型 Yi 0 1X1i 2 X 2i i 中的 参数 0 、 1 、 2 ，常用的方法仍然是普通最小二乘法。
2
rYX
1
rYX
2
2
rX X 1
2
2 ( 1 rYX
2 )( 1 r X X ) 1 2
如果 rYX X ＞ rYX X ，则表示被解释变量 Y 与解释变量 X1 1 2 2 1 之间的线性关系更密切，被解释变量 Y 对于解释变量 X1 的 变化更敏感； 如果 rYX X ＜ rYX X ，则表示被解释变量 Y 与解释变量 X2 1 2 2 1 之间的线性关系更密切，被解释变量 Y 对于解释变量 X2 的 变化更敏感。
x
ˆ ˆ 2 2
x
2 2i 2 yi
由于
ˆ Y j X j
ˆ ˆ SY j S Xj j
的含义是：若解释变量 Xj 变化 1 个标准 所以，Beta 系数 ˆ j
ˆ 差（即 X j SXj ） ，则被解释变量 Y 变化 个标准差（即 j
二元线性回归模型的估计
最简单的多元线性回归模型是二元线性回归模型， 即具有一个被解释变量和两个解释变量的线性回归模 型：
Yi 0 1X1i 2X2i i ，
i=1，2，…，n 。
一、二元线性回归模型的参数估计
1．偏回归系数的估计
对于二元线性回归模型：
Yi 0 1X1i 2 X2i i ，i=1，2，…，n
例如 1 1.78 ，2 0.45 ，则表示：在样本均值附近，X1 每 增加 1%，将使被解释变量 Y 增加 1.78%；而 X2 每增加 1%， 将使被解释变量 Y 增加 0.45%，所以，被解释变量 Y 对于解 释变量 X1 变化的敏感程度远大于对解释变量 X2 变化的敏感 程度。
ˆ Y SY ） 。 j
ˆ ˆ 1 1.02 ，2 0.24 ，则表示：解释变量 X1 变化 1 个 例如
标准差，将引起被解释变量 Y 变化 1.02 个标准差；解释变 量 X2 变化 1 个标准差，将引起被解释变量 Y 变化 0.24 个标 准差。因此，可以说，Y 对于 X1 变化的敏感程度远大于 Y 对于 X2 变化的敏感程度。
其中， e i2 的简捷计算公式为
2 2 ˆ ˆ e y y x y x i i 1 i 1 i 2 i 2i
ˆ 3．偏回归系数ˆ1 、 2 的方差和标准误差
ˆ ˆ 偏回归系数 1 、 2 的方差计算公式为：
ˆ ( x 2 ) 2 2i ˆ Var ( ) 1 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i ˆ ( x 2 ) 2 1i ˆ ) Var ( 2 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i
达到最小。
根据极值存在的必要条件，应该有
e2 i 2 (Y ˆ i 0 ˆ 0 2 ei ˆ 2 (Yi 0 ˆ 1 e2 i 2 (Y ˆ i 0 ˆ 2 ˆ ˆ 1 X1i 2 X 2i ) 0
1 1 其中， xi Xi X ， yi Yi Y ， X X i ，Y Yi 。 n n
如果 X1 与 X2 之间存在线性关系，那么，上述计算ˆ1 、ˆ 2
的公式的分子、分随机误差项
2 2 ei ˆ n3
2．弹性系数
弹性系数是某一变量的相对变化引起另一变量的相对 变化的度量，即变量的变化率之比。
用 j 表示弹性系数，则
dY j Y dX j dY X j ˆ X j j X j dX j Y Y
平均弹性是指在样本均值附近的弹性，即
ˆ j j X j Y
弹性系数与原解释变量的计量单位没有任何关系，因此 很适宜用来说明被解释变量对解释变量变化的敏感程度。
3．偏相关系数
在二元线性回归分析中，也可以用偏相关系数来分析 被解释变量Y对于哪一个解释变量（X1和X2）的变化 更敏感。 偏相关系数：是指在控制或消除其他变量影响的情况 下，衡量多个变量中的某两个变量之间线性相关程度 的指标。
当 X2 保持不变时，Y 与 X1 之间的偏相关系数为
rYX X 1
2
n 1
可见，Beta系数是用解释变量标准差（SXj）和被解释变 量标准差（SY）的比例对估计的偏回归系数进行调整后 得到的，其数值与变量的单位无关，因而可以直接比较， 用于说明多元回归模型中解释变量的相对重要性。
对于二元线性回归模型，可以按下列公式计算Beta系数：
ˆ ˆ 1 1 2 1i 2 yi
ei 0
e i X 1i 0 ei X 2 i 0
如果 X1 与 X2 之间不存在线性关系，那么，由上述正规方程
ˆ ˆ ˆ 组可以解出 0 、 1 、 2 ：
ˆ ˆ ˆ Y X X 1 1 2 2 0 ( y x )( x 2 ) ( y x )( x x ) ˆ i 1i 2i i 2i 1i 2i 1 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i ( y x )( x 2 ) ( y x )( x x ) ˆ i 2i 1i i 1i 1i 2i 2 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i
1．Beta系数 Beta系数是由偏回归系数转换来的。
ˆ 用 表示 Beta 系数，则 j
ˆ ˆ j j
x ji
S Xj SY
ˆ j
2
x ji yi
2
2
yi
其中
2
S Xj
n 1
( X ji X i )
2
n 1
SY
n 1
(Yi Y )
i=1 设根据给定一组样本数据（ Y i， X 1i， X 2i）， ，2 ，…， n ， 采用普通最小二乘法估计得到的样本回归模型为
ˆ ˆ ˆ ˆ ˆ Yi 0 1X1i 2 X 2i ei ，则参数估计量 0 、 ˆ1 、 2 应
该使 残差平方和
n 2 n n ˆ ˆ ˆ ˆi ) 2 (Yi 0 1 X1i 2i X 2i ) 2 ei (Yi Y i 1 i 1 i 1
ˆ ˆ 1 X1i 2 X 2i ) X1i 0
ˆ ˆ 1 X1i 2 X 2i ) X 2i 0
从而得到正规方程组
ˆ ˆ ˆ (Yi 0 1 X1i 2 X 2i ) 0 ˆ ˆ ˆ (Yi 0 1 X1i 2 X 2i )X1i 0 ˆ ˆ ˆ (Yi 0 1 X1i 2 X 2i )X 2i 0
ˆ ˆ 偏回归系数 1 、 2 的标准误差计算公式为：
ˆ ˆ Se( 1) Var ( 1) ˆ ˆ Se( 2 ) Var ( 2 )
二、Beta系数和弹性系数
在多元回归分析中，需要说明各个解释变量 的相对重要性，或者比较被解释变量对各个解释 变量的敏感性。
然而，偏回归系数与变量的原有计量单 位有直接联系，计量单位不同，彼此不能直 接比较。 为此，需要引进Beta系数和弹性系数。