古扎拉蒂计量经济学第四版讲义Ch3 Simple Linear Regression

假定 1：线性回归模型。 即回归模型在参数上是线性的，这是 CLRM 的起点，全书将保持这种线性性假定。
4
假定 2：在重复抽样中，x 值是固定的，非随机的。 这个假定的根本意思就是，我们的回归分析是条件回归分析，以给定的解释变量 x 值为条件。
假定 3：干扰项具有零均值。即 E (εi | xi ) = 0 。
必须是一个有限的正值。
假定 9：回归模型正确设定。
假定 10：不存在多重共线性（multicollinearity）。 也就是说，在解释变量之间不存在完全的线性关系。这实际上是多元回归中的假定。这里先 提一下。
3、古典线性回归模型（CLRM）的估计 估计的方法一般是 OLS 和 MLE；总体上说，由于直观和简单，OLS 方法相对于 MLE 方法在回 归分析中用得更广泛。
intrinsically
a
nonlinear
model。
而 CES 生产函数
( ) yi = A δ Ki−β + 1− δ L−i β −1/ β
其中 A=scale parameter, δ =distribution parameter ( 0 < δ < 1), and β =substitution parameter ( β ≥ −1 ). 无论误差项 εi 以什么样的形式进入模型，都不可能把参数转换成线性关系。
从现在开始，我们所说的线性回归的线性性就是指这第二种含义（linear in the parameters,
the β s），并不要求 linear in the X s。给出一个表格进行总结：
3）PRF 的随机设定
我们可以用下式来表达个体 Yi 与它的条件期望值之间的偏差（deviation）：
εi = Yi − E (Y | Xi )
而 有 些 模 型 即 使 转 换 也 不 能 够 linearized in the parameters ， 这 样 的 模 型 称 为 intrinsically nonlinear regression model，简称为非线性回归模型（NLRM）。如：
( ) Yi = β1 +
0.75 − β1
Yi
=
1
+
1 e β1 + β2
Xi
+εi
→ logistic ( probability) distribution
function
上述 linear regression model 和 intrinsically linear regression model 统称为线性回 归模型（LRM）。
们用 E (Y ) 来表示随机变量 Y 的总体均值（总体期望值），而用 Y 表示从该总体中抽取的样
本的平均值。
举一个关于总体的例子：Y 轴为月消费支出，x 轴为月收入，取 10 个 x 的固定值，每个 x 值对应若干个 y 值（每组 5～7 个 y 值不等）。
对应于这 10 个 X 值，有 10 个 Y 的均值，称为 Y 的条件均值, E (Y | X ) ；要注意与 Y 的无 条件均值 E (Y ) 相区别。把这 10 个条件均值连接起来，就得到总体回归线（PRL）。这里，
ln Yi = β1 + β2 Xi + εi → inverse semilogarithmic
ln Yi
=
β1
−
β2

1 Xi

+
ε
i

→
logarithmic
reciprocal
甚至 ln Yi = ln β1 + β2 ln Xi + εi → logarithmic or double logarithmic let α = ln β1
机变量 εi 。
4）人类行为的内在随机性（Intrinsic randomness in human behavior）； 5）不好的代理变量； 6）节减的原则（Principle of parsimony） 根据 Occam 的 razor 理论，我们应该让回归模型尽可能的简洁；当然，不应该为了简洁而把 相关的和重要的变量排除在外。 7）错误的方程形式设定。
假定 6： εi 和 Xi 之间的协方差等于 0。即 cov (εi , xi ) = E (εi , xi ) = 0 。
假定 7：观察值的个数 n 必须大于要估计的参数的个数。
假定 8：X 值的变化必须足够大。
∑( )
或者说，X
的方差
var
(
X
)

=
Xi − X n −1
2

为什么要使用随机干扰项 εi 呢？很多理由：
1）理论不清楚；
3
2）数据不可得； 3）核心变量与边缘变量之分（Core variables versus peripheral variables）； 很大的可能许多边缘变量的联合影响如此之小，以至于它最多是非系统的或者随机的，基于 实际和成本的考虑，不值得在模型中显性地引入它们。我们希望把它们的联合影响处理成随
（heteroscedasticity），即
var
(εi
|
xi
)
=
σ
2 i
。
假定 5：干扰项之间不存在自相关（No autocorrelation between the disturbances）。 给定任意两个 X 值，对应的两个干扰项之间的相关（correlation）等于 0。即，
( ) cov εi ,ε j | xi , xj = 0 (i ≠ j) 。
该假定说的就是，没有显性包括在模型中而是包含在 εi 中的因素不会系统地影响 y 的均值， 正的 εi 和负的 εi 会相互抵消，所以，它们对 Y 的平均影响等于 0。
假定 4：干扰项具有同方差（Homoscedasticity）。即 var (εi | xi ) = σ 2 。
同方差的意思就是，围绕回归线的变化在不同的 x 值上是相同的，不会随着 x 的变化而增加 或减少。相反，如果 Y 总体的条件方差随 X 而变化，这种情形就称作异方差
ε e + −β2 ( Xi −2) i
再用 CD 生产函数的三种不同形式来区别：
β yi =
x x e β2 β3 εi
1 i2 i3
or
ln yi = ln β1 + β2 ln xi2 + β3 ln xi3 + εi
可称为 intrinsically linear regression model。
综上所述，随机干扰项 εi 在回归分析中起着极端重要的作用，我们在后面会看到。
4）样本回归方程（Sample Regression Function, SRF）
前面都是以总体为对象进行讨论的。现在我们开始讨论样本问题，因为，在实际中，我们所 有的仅仅是基于固定的 x 值的 y 的样本。所以，我们的任务是利用样本的信息来估计 PRF。 由样本数据绘制的回归线我们称为样本回归方程（SRF）或样本回归线（SRL）。由于抽样的 不稳定性，这些样本回归线至多是对真实 PRF 的近似。事实上，对于 N 个不同的样本，我们 能得到 N 个不同的 SRFs，而且这些 SRFs 不可能是相同的。
如果对上式的两端同取期望值，得到
E (Yi | Xi ) = E E (Y | Xi ) + E (εi | Xi ) = E (Y | Xi ) + E (εi | Xi ) 这里用到了一个常数的期望值还是这个常数的性质；另外， E (Yi | Xi ) 与 E (Y | Xi ) 是一 回事，所以上述变换意味着： E (εi | X i ) = 0 。
or
Yi = E (Y | Xi ) + εi
这里，偏差 εi 是一个不可观察的随机变量，可以取正值或负值。 我们把 εi 称为随机干扰项（stochastic disturbance）或随机误差项（stochastic error
term），它是随机的非系统的部分；而 E (Y | Xi ) 则是系统的，或确定性的部分。
Yi = b1 + b2 X i + ei
(2.6.2)
这里 ei 表示样本残差项（sample residual term）。 ei 类似于 εi ，可以被看作 εi 的估计值。
2、古典线性回归模型（CLRM）的假定
古典（或高斯、标准）线性回归模型（CLRM）作为大部分计量理论的基石，有 10 大假定。
注意，有些模型 look nonlinear in the parameter 但是 transform 后系数为线性的，像这 种必须通过取倒数、自然对数、变量相除等变换才能得到线性回归模型的原模型称为 intrinsically linear regression model。如：
Yi = eβ1+β2Xi +εi → ex ponential
与代表总体回归线的 PRF 相似，我们这里给出代表样本回归线的样本回归方程（SRF)）：
Y i = b1 + b2 X i
(2.6.1)
这里， Y i 是 E (Y | Xi ) 的估计量， b1, b2 是 β1, β2 的估计量。
和 PRF 一样，我们也可以设定 SRF (2.6.1)的随机形式：
第三章 两变量线性回归
1、基本概念
两变量线性回归（bivariate, or two-variable regression）又称为一元线性回归或简单 回归（Simple regression analysis）。 1）一些概念－以例子引出 回归分析主要是从已知的或者确定的解释变量的值来估计或预测被解释变量的总体均值。我
(3.1.2)
OLS 估计量的推导过程： 利用 centered model 来进行