多元线性回归模型
多元线性回归模型
Cov( X ji , i ) 0
j 1,2, k
假设4，随机项满足正态分布
i ~ N (0, 2 )
上述假设的矩阵符号表示 式：
假设1，n(k+1)维矩阵X是非随机的，且X的秩=k+1，
即X满秩。
回忆线性代数中关于满秩、线性无关!
假设2，
E (μ)
E
1
E (1 )
0
n E( n )
X ki ) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
解该（ k+1）个方程组成的线性代数方程组，即
可得到(k+1) 个待估参数的估计值
$ j
,
j
0,1,2, ,
k
。
□正规方程组的矩阵形式
en
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各X之间互不 相关（无多重共线性）。
假设2，随机误差项具有零均值、同方差及不序列相关 性。
E(i ) 0
i j i, j 1,2,, n
Var
(i
)
E
(
2 i
)
2
Cov(i , j ) E(i j ) 0
假设3，解释变量与随机项不相关
这里利用了假设: E(X’)=0
等于0，因为解释变 量与随机扰动项不相 关。
3、有效性（最小方差性）
ˆ 的方差-协方差矩阵为
Co（v ˆ） E{[ˆ E（ˆ）][ˆ E（ˆ）]}
E[(ˆ )(ˆ )]
E{（[ X X）-1X ]（[ X X）-1X ]}
多元线性回归的计算模型
多元线性回归的计算模型多元线性回归模型的数学表示可以表示为：Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y表示因变量，Xi表示第i个自变量，βi表示第i个自变量的回归系数（即自变量对因变量的影响），ε表示误差项。
1.每个自变量与因变量之间是线性关系。
2.自变量之间相互独立，即不存在多重共线性。
3.误差项ε服从正态分布。
4.误差项ε具有同方差性，即方差相等。
5.误差项ε之间相互独立。
为了估计多元线性回归模型的回归系数，常常使用最小二乘法。
最小二乘法的目标是使得由回归方程预测的值与实际值之间的残差平方和最小化。
具体步骤如下：1.收集数据。
需要收集因变量和多个自变量的数据，并确保数据之间的正确对应关系。
2.建立模型。
根据实际问题和理论知识，确定多元线性回归模型的形式。
3.估计回归系数。
利用最小二乘法估计回归系数，使得预测值与实际值之间的残差平方和最小化。
4.假设检验。
对模型的回归系数进行假设检验，判断自变量对因变量是否显著。
5. 模型评价。
使用统计指标如决定系数（R2）、调整决定系数（adjusted R2）、标准误差（standard error）等对模型进行评价。
6.模型应用与预测。
通过多元线性回归模型，可以对新的自变量值进行预测，并进行决策和提出建议。
多元线性回归模型的计算可以利用统计软件进行，例如R、Python中的statsmodels库、scikit-learn库等。
这些软件包提供了多元线性回归模型的函数和方法，可以方便地进行模型的估计和评价。
在计算过程中，需要注意检验模型的假设前提是否满足，如果不满足可能会影响到模型的可靠性和解释性。
总而言之，多元线性回归模型是一种常用的预测模型，可以分析多个自变量对因变量的影响。
通过最小二乘法估计回归系数，并进行假设检验和模型评价，可以得到一个可靠的模型，并进行预测和决策。
计量经济学-多元线性回归模型
Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y为因变 量，X1, X2,..., Xk为自变量，β0, β1,..., βk为回归 系数，ε为随机误差项。
多元线性回归模型的假设条件
包括线性关系假设、误差项独立同分布假设、无 多重共线性假设等。
研究目的与意义
研究目的
政策与其他因素的交互作用
多元线性回归模型可以引入交互项，分析政策与其他因素（如技 术进步、国际贸易等）的交互作用，更全面地评估政策效应。
实例分析：基于多元线性回归模型的实证分析
实例一
预测某国GDP增长率：收集该国历史数据，包括GDP、投资、消费、出口等变量，建立 多元线性回归模型进行预测，并根据预测结果提出政策建议。
最小二乘法原理
最小二乘法是一种数学优化技术，用 于找到最佳函数匹配数据。
残差是观测值与预测值之间的差，即 e=y−(β0+β1x1+⋯+βkxk)e = y (beta_0 + beta_1 x_1 + cdots + beta_k x_k)e=y−(β0+β1x1+⋯+βkxk)。
在多元线性回归中，最小二乘法的目 标是使残差平方和最小。
t检验
用于检验单个解释变量对被解释变量的影响 是否显著。
F检验
用于检验所有解释变量对被解释变量的联合 影响是否显著。
拟合优度检验
通过计算可决系数（R-squared）等指标， 评估模型对数据的拟合程度。
残差诊断
检查残差是否满足独立同分布等假设，以验 证模型的合理性。
04
多元线性回归模型的检验与 诊断
03多元线性回归模型
03多元线性回归模型多元线性回归模型是一种经济学和统计学中广泛使用的模型，用于描述多个自变量与因变量之间的关系。
它是在线性回归模型的基础上发展而来的。
在多元线性回归模型中，因变量是由多个自变量共同决定的。
Y = β0 + β1X1 + β2X2 + β3X3 + … + βkXk + ε其中，Y表示因变量，X1、X2、X3等表示自变量，β0、β1、β2、β3等表示回归系数，ε表示误差项。
回归系数β0、β1、β2、β3等表示自变量对因变量的影响程度。
回归系数的符号和大小反映着自变量与因变量的正相关或负相关程度以及影响的大小。
误差项ε是对影响因变量的所有其他变量的影响程度的度量，它是按照正态分布随机生成的。
在多元线性回归模型中，回归系数和误差项都是未知的，需要根据样本数据进行估计。
通常采用最小二乘法来估计回归系数和误差项。
最小二乘法是一种常用的方法，它通过最小化误差平方和来估计回归系数与误差项。
最小二乘法假设误差为正态分布，且各自变量与误差无关。
因此，通过最小二乘法求解出的回归系数可以用于预测新数据。
多元线性回归模型还需要检验回归系数的显著性。
通常采用F检验和t检验来进行检验。
F检验是用于检验整个多元线性回归模型的显著性，即检验模型中所有自变量是否与因变量有关系。
F检验的原假设是回归方程中所有回归系数都为0，备择假设是至少有一个回归系数不为0。
如果p-value小于显著性水平，就可以拒绝原假设，认为多元线性回归模型显著。
总之，多元线性回归模型利用多个自变量来解释因变量的变化，是一种实用性强的模型。
它的参数估计和显著性检验方法也相对比较成熟，可以用于多个领域的实际问题分析。
多元线性回归模型参数估计
多元线性回归模型参数估计多元线性回归是一种用于建立自变量与因变量之间关系的统计模型。
它可以被视为一种预测模型，通过对多个自变量进行线性加权组合，来预测因变量的值。
多元线性回归模型的参数估计是指利用已知的数据，通过最小化误差的平方和来估计回归模型中未知参数的过程。
本文将介绍多元线性回归模型参数估计的基本原理和方法。
Y=β0+β1X1+β2X2+...+βpXp+ε其中，Y是因变量，X1、X2、..、Xp是自变量，β0、β1、β2、..、βp是回归系数，ε是残差项。
参数估计的目标是找到使得误差的平方和最小的回归系数。
最常用的方法是最小二乘法（Ordinary Least Squares, OLS）。
最小二乘法通过最小化残差的平方和来确定回归系数的值。
残差是观测值与回归模型预测值之间的差异。
为了进行最小二乘法参数估计，需要计算回归模型的预测值。
预测值可以表示为：Y^=β0+β1X1+β2X2+...+βpXp其中，Y^是因变量的预测值。
参数估计的目标可以表示为：argmin(∑(Y - Y^)²)通过对目标函数进行求导，可以得到参数的估计值：β=(X^TX)^-1X^TY其中，X是自变量的矩阵，Y是因变量的向量，^T表示矩阵的转置，^-1表示矩阵的逆。
然而，在实际应用中，数据往往存在噪声和异常值，这可能导致参数估计的不准确性。
为了解决这个问题，可以采用正则化方法，如岭回归（Ridge Regression）和LASSO回归（Least Absolute Shrinkage and Selection Operator Regression）。
这些方法通过在目标函数中引入正则化项，可以降低估计结果对噪声和异常值的敏感性。
岭回归通过在目标函数中引入L2范数，可以限制回归系数的幅度。
LASSO回归通过引入L1范数，可以使得一些回归系数等于零，从而实现变量选择。
这些正则化方法可以平衡模型的拟合能力与泛化能力，提高参数估计的准确性。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
3多元线性回归模型参数估计
3多元线性回归模型参数估计多元线性回归是一种回归分析方法，用于建立多个自变量和一个因变量之间的关系模型。
多元线性回归模型可以表示为：Y=β0+β1X1+β2X2+…+βnXn+ε其中，Y表示因变量，X1,X2,…,Xn表示自变量，β0,β1,β2,…,βn表示模型参数，ε表示误差项。
多元线性回归模型的目标是估计出模型参数β0,β1,β2,…,βn，使得实际观测值与模型预测值之间的误差最小化。
参数估计的方法有很多，下面介绍两种常用的方法：最小二乘法和梯度下降法。
1. 最小二乘法（Ordinary Least Squares, OLS）：最小二乘法是最常用的多元线性回归参数估计方法。
它的基本思想是找到一组参数估计值，使得模型预测值与实际观测值之间的残差平方和最小化。
首先，我们定义残差为每个观测值的实际值与模型预测值之间的差异：εi = Yi - (β0 + β1X1i + β2X2i + … + βnXni)其中，εi表示第i个观测值的残差，Yi表示第i个观测值的实际值，X1i, X2i, …, Xni表示第i个观测值的自变量，β0, β1, β2, …,βn表示参数估计值。
然后，我们定义残差平方和为所有观测值的残差平方的总和：RSS = ∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2我们的目标是找到一组参数估计值β0,β1,β2,…,βn，使得残差平方和最小化。
最小二乘法通过数学推导和求导等方法，可以得到参数估计值的解析解。
2. 梯度下降法（Gradient Descent）：梯度下降法是一种迭代优化算法，可以用于估计多元线性回归模型的参数。
它的基本思想是通过迭代调整参数的值，使得目标函数逐渐收敛到最小值。
首先，我们定义目标函数为残差平方和：J(β) = 1/2m∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2其中，m表示样本数量。
多元线性回归模型
多元线性回归模型多元线性回归是一种用于分析多个自变量与一个因变量之间关系的统计方法。
在这种分析中，我们试图根据已知自变量的值来预测因变量的值。
该模型常用于市场研究、金融分析、生物统计和其他领域。
在本文中，我们将介绍多元线性回归的基础概念和实践应用。
一般来说，线性回归的目的是找到一个线性函数y=ax+b来描述一个因变量y与一个自变量x的关系。
但是，在现实生活中，我们通常需要考虑多个自变量对因变量的影响。
这时就需要采用多元线性回归模型来描述这种关系。
多元线性回归模型可以表示为：y=b0 + b1x1 + b2x2 + … + bnxn + ε其中，y是因变量，x1, x2, …, xn是自变量，b0, b1, b2, …, bn是回归系数，ε是误差项，反映了因变量和自变量之间未能被回归方程中的自变量解释的差异。
多元线性回归的重要性质是，每个自变量对因变量的影响是独立的。
也就是说，当我们同时考虑多个自变量时，每个自变量对因变量的解释将被考虑到。
多元线性回归模型的核心是确定回归系数。
回归系数表明了自变量单位变化时，因变量的变化量。
确定回归系数的一种方法是最小二乘法。
最小二乘法是一种通过最小化实际值与预测值之间的差值来确定回归系数的方法。
我们可以使用矩阵运算来计算回归系数。
设X为自变量矩阵，y为因变量向量，则回归系数向量b可以通过以下公式计算：b = (XTX)-1XTy其中，XT是X的转置，(XTX)-1是X的逆矩阵。
在计算回归系数之后，我们可以使用多元线性回归模型来预测因变量的值。
我们只需要将自变量的值代入回归方程中即可。
但是，我们需要记住，这种预测只是基于样本数据进行的，不能完全代表总体数据。
多元线性回归模型有很多实际应用。
一个常见的例子是用于市场营销中的顾客预测。
通过对顾客的年龄、性别、教育程度、收入等数据进行分析，可以预测他们的购买行为、购买频率和购买方式等，这些预测结果可以帮助企业做出更好的营销决策。
5、计量经济学【多元线性回归模型】
二、多元线性回归模型的参数估计
2、最小二乘估计量的性质 当 ˆ0, ˆ1, ˆ2, , ˆk 为表达式形式时，为随机变量， 这时最小二乘估计量 ˆ0, ˆ1, ˆ2, , ˆk 经过证明同样也 具有线性性、无偏性和最小方差性（有效性）。 也就是说，在模型满足那几条基本假定的前提 下，OLS估计量具有线性性、无偏性和最小方差性 （有效性）这样优良的性质， 即最小二乘估计量
用残差平方和 ei2 最小的准则： i
二、多元线性回归模型的参数估计
1、参数的普通最小二乘估计法（OLS） 即：
min ei2 min (Yi Yˆi )2 min Yi (ˆ0 ˆ1X1i ˆ2 X 2i ˆk X ki )2
同样的道理，根据微积分知识，要使上式最小，只 需求上式分别对 ˆj ( j 0,1, k) 的一阶偏导数，并令 一阶偏导数为 0，就可得到一个包含 k 1 个方程的正 规方程组，这个正规方程组中有 k 1个未知参数 ˆ0, ˆ1, ˆ2, , ˆk ；解这个正规方程组即可得到这 k 1 个参数 ˆ0, ˆ1, ˆ2, , ˆk 的表达式，即得到了参数的最小 二乘估计量；将样本数据代入到这些表达式中，即可 计算出参数的最小二乘估计值。
该样本回归模型与总体回归模型相对应，其中残差 ei Yi Yˆi 可看成是总体回归模型中随机误差项 i 的 估计值。
2、多元线性回归模型的几种形式： 上述几种形式的矩阵表达式： 将多元线性总体回归模型 (3.1) 式表示的 n 个随机方 程写成方程组的形式，有：
Y1 0 1 X11 2 X 21 .Y.2.........0.......1.X...1.2........2.X...2.2. Yn 0 1 X1n 2 X 2n
ˆ0, ˆ1, ˆ2, , ˆk 是总体参数真值的最佳线性无偏估计 量（ BLUE ）；即高斯—马尔可夫定理 (GaussMarkov theorem)。
多元线性回归公式了解多元线性回归的关键公式
多元线性回归公式了解多元线性回归的关键公式多元线性回归公式是一种常用的统计学方法，用于探究多个自变量与一个连续因变量之间的关系。
在进行多元线性回归分析时，我们需要理解和掌握以下几个关键公式。
一、多元线性回归模型多元线性回归模型可以表示为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y代表因变量（被预测变量），X1、X2、...、Xn代表自变量（预测变量），β0、β1、β2、...、βn代表模型的参数，ε代表误差项。
二、回归系数估计公式在多元线性回归分析中，我们需要通过样本数据来估计回归模型的参数。
常用的回归系数估计公式是最小二乘法（Ordinary Least Squares, OLS）。
对于模型中的每个参数βi，其估计值可以通过以下公式计算：βi = (Σ(xi - x i)(yi - ȳ)) / Σ(xi - x i)²其中，xi代表自变量的观测值，x i代表自变量的样本均值，yi代表因变量的观测值，ȳ代表因变量的样本均值。
三、相关系数公式在多元线性回归中，我们通常会计算各个自变量与因变量之间的相关性，可以通过采用皮尔逊相关系数（Pearson Correlation Coefficient）来衡量。
相关系数的公式如下：r(Xi, Y) = Σ((xi - x i)(yi - ȳ)) / sqrt(Σ(xi - x i)² * Σ(yi - ȳ)²)其中，r(Xi, Y)代表第i个自变量与因变量之间的相关系数。
四、R平方（R-squared）公式R平方是判断多元线性回归模型拟合程度的重要指标，表示因变量的方差能够被自变量解释的比例。
R平方的计算公式如下：R² = SSR / SST其中，SSR为回归平方和（Sum of Squares Regression），表示自变量对因变量的解释能力。
SST为总平方和（Sum of Squares Total），表示因变量的总变化。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ )2 剩余平方和最小： m in ei (Yi - Yi
2
m in e i
2
2 [Yi - ( ˆ1 ˆ 2 X 2 i ˆ3 X 3 i ... ˆ k X ki )]
求偏导,令其为0:
( ei )
2
ˆ j
0
17
即
-2 Yi - ( ˆ1 ˆ 2 X 2 i ˆ 3 X 3 i ... ˆ ki X ki ) 0
22
三、OLS估计的分布性质
基本思想 ˆ ● β i 是随机变量，必须确定其分布性质才可能 进行区间估计和假设检验 ● u i 是服从正态分布的随机变量, 决定了 Y i 也 是服从正态分布的随机变量
ˆ ˆ ● β i 是 Y i 的线性函数，决定了 β i 也是服从正态 分布的随机变量
23
ˆ ˆ 的期望 E (β ) β β
Y 2 1 2 X 22 3 X 32 ... k X k 2 u 2
Y n 1 2 X 2 n 3 X 3 n ... k X kn u n
11
用矩阵表示
Y1 1 Y 1 2 Yn 1 X 21 X 22 X 2n X k 1 β1 u1 Y Xk2 β u 2 2 X kn βk un
本节基本内容:
●多元回归的拟合优度检验 ●回归方程的显著性检验（F检验） ●各回归系数的显著性检验（t检验）
28
X
ki i
e 0
注意到 Yi - ( ˆ1 ˆ 2 X 2 i ˆ 3 X 3 i ... ˆ ki X ki ) e i
18
用矩阵表示
ei 1 X X 2i ei 21 = ... X ki ei X k1 1 X 22 Xk2 1 e1 0 X 2 n e2 0 = X e = X kn en 0
二元回归中
ˆ ˆ ˆ 1 Y - β2 X 2 - β3 X 3
ˆ 2 ( y i x 2 i )( x 3 i ) - ( y i x 3 i )( x 2 i x 3 i )
2
( x 2 i )( x 3 i ) - ( x 2 i x 3 i )
2 2
2
2 ˆ 故 有 ： β j ~ N ( β j , σ c jj )
j 1, 2, ..., k
24
四、随机扰动项方差 的估计
2
多元回归中σ 2 的无偏估计为：
ˆ σ
2
ei
2
或表示为
ˆ σ
2
e e
n-k
n-k
将
ˆ βk
作标准化变换：
zk ˆ βk - βk ˆ SE ( βk ) ˆ βk - βk σ c jj ~ N (0,1)
e
i
0
2i i
-2 X 2 i Yi - ( ˆ1 ˆ 2 X 2 i ˆ 3 X 3 i ... ˆ ki X ki ) 0
X
e 0
-2 X ki Yi - ( ˆ1 ˆ 2 X 2 i ˆ3 X 3 i ... ˆ ki X ki ) 0
2
ˆ 3
( y i x 3 i )( x 2 i ) - ( y i x 2 i )( x 2 i x 3 i ) ( x 2 i )( x 3 i ) - ( x 2 i x 3 i )
2 2 2
注意： x 和 y 为 X ,Y 的离差
20
二、OLS估计式的性质
第三章 多元线性回归模型
本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
4
第一节 多元线性回归模型及古典假定
本节基本内容:
一、多元线性回归模型的意义 二、多元线性回归模型的矩阵表示 三、多元线性回归中的基本假定
5
一、多元线性回归模型的意义
~ t (n - k )
ˆ SE ( βk )
26
五、回归系数的区间估计
由于
t =
*
ˆ βj - βj ˆ SE ( β j )
^
=
ˆ βj - βj ˆ σ c jj
~ t (n - k )
给定 ，查t分布表的自由度为 n k的临界值
P[- t α 2 ( n - k ) t
*
^
(由无偏性)
ˆ β 的方差和标准误差： ˆ 可以证明β 的方差-协方差矩阵为
ˆ ) σ 2 ( X X ) -1 V ar - C ov( β
2 ˆ V ar ( β j ) σ c jj
ˆ S E ( β j ) σ c jj
这里是 c jj 矩阵( X X ) -1 中第 j 行第 j 列的元素
Y
n 1
X
nk
β
k 1
u
n 1
12
总体回归函数
E (Y ) = X β
或 Y = Xβ + u
样本回归函数
ˆ ˆ Y = Xβ
或 Y = Xβ + e ˆ
ˆ 其中：Y ,Y , u , e 都是有 n 个元素的列向量
ˆ β, β
是有 k 个元素的列向量
X 是第一列为1的 n k 阶解释变量
对各个回归系数而言是“线性”的，对变量则可 是线性的，也可是非线性的 例如：生产函数
Y AL K
u
取自然对数
ln Y ln A ln L ln K ln u
8
多元总体回归函数
Y 的总体条件均值表示为多个解释变量的函数
E (Yi X 2 i , X 3 i , ..., X ki ) 1 2 X 2 i 3 X 3 i ... k X ki
R a n k ( 假定
ui ~ N (0, σ )
15
2
第二节 多元线性回归模型的估计
本节基本内容:
● 普通最小二乘法（OLS） ● OLS估计式的性质 ● OLS估计的分布性质 ● 随机扰动项方差 2的估计 ● 回归系数的区间估计
16
一、普通最小二乘法（OLS）
OLS估计式
ˆ 1.线性特征: β = (X X ) -1 X Y
ˆ β
是 Y 的线性函数，因 ( X X ) -1 X 是非随机
或取固定值的矩阵
ˆ 2.无偏特性: E ( β k ) β k
21
3. 最小方差特性
ˆ 在 β k 所有的线性无偏估计中，OLS估计 β k 具有
最小方差 结论：在古典假定下，多元线性回归的 OLS估计 式是最佳线性无偏估计式（BLUE）
0
2
i= j
(i j )
假定4：随机扰动项与解释变量不相关
Cov( X ji , ui ) 0 j 2,3,, k
14
假定5:无多重共线性假定
(多元中)
假定各解释变量之间不存在线性关系，或各个
解释变量观测值之间线性无关。或解释变量观
测值矩阵X 列满秩( k 列)。
R ank ( X ) k
或
Yi ˆ1 ˆ 2 X 2 i ˆ 3 X 3 i ... ˆ k X ki ei
其中
i 1, 2 , , n
回归剩余（残差）：
ˆ e i Yi - Yi
10
二、多元线性回归模型的矩阵表示
k 个解释变量的多元线性回归模型的 n 个观测
样本，可表示为
Y1 1 2 X 21 3 X 31 ... k X k 1 u 1
总体回归函数也可表示为:
Yi 1 2 X 2 i 3 X 3 i ... k X ki u i
9
多元样本回归函数
Y 的样本条件均值表示为多个解释变量的函数
ˆ Yi ˆ1 ˆ 2 X 2 i ˆ 3 X 3 i ... ˆ k X ki
数据矩阵 (截距项可视为解释变量 取值为1)
13
三、多元线性回归中的基本假定
假定1：零均值假定 E(ui ) 0 ( i 1, 2,, n) 或
E (u) = 0
假定2和假定3：同方差和无自相关假定
Cov(ui , u j ) E[(ui - Eui )(u j - Eu j )] E(uiu j )
ˆ βj - βj ˆ SE ( β j )
^
t 2 ( n - k )
t α 2 ( n - k )] 1 - α
( j 1, ..., k )
^ 2
ˆ ˆ ˆ ˆ P[ β j - t α S E ( β j ) β j β j t α S E ( β j )] 1 - α
e X ˆ Y = Xβ + e 因为样本回归函数为 ˆ X Y = X X β + X e 两边乘 X 有： 因为 X e = 0 ，则正规方程为：
ˆ X X β = X Y
19
OLS估计式
ˆ ( X X ) k k 是 满 秩 矩 阵 , 其 逆 存 在 由正规方程 X X β = X Y -1 ˆ β = (X X) X Y 多元回归中
计量经济学
第三章 多元线性回归模型
1
引子:
中国汽车的保有量会达到1.4亿辆吗 ?