多元回归分析——估计

(3.2)的例子类似于工资方程。其零条件均值的 假定为E(u︱expend,avginc)=0，它意味着，影 响学生考试成绩的因素——学校或学生的个 人特征——总体上与学生的平均开支和平均 家庭收入无关。 在 (3.4)中的二次消费函数，对零条件均值假 定的解释则略有不同。直接照写， (3.5)就变 成了E(u︱inc,inc2)=0。因为一旦知道了inc，那 就会知道inc2，所以在预期表达式中包括inc2 项是多此一举：E(u︱inc,inc2)=0等价于E(u︱ inc)=0。虽然在表述这个假定时让inc2和inc一 起出现在预期项中并没有错，但E(u︱inc)=0更 简明扼要。
普通最小二乘法的操作和解释
即将解决的问题：将普通最小二乘法用于一个 特定的数据集时，在计算和代数上会有些什么 特征及讨论如何解释所估计的方程。 如何得到OLS估计值？ 先考虑对含有两个自变量模型的估计。被估 计的OLS方程在形式上与简单回归情况下的 方程相似：
ˆ ˆ ˆ ˆ y 0 1 x1 2 x2
多元回归分析——估计
模型 与简单回归的相似点 多元回归的意义 多元回归的最小二乘法 多元回归的代数性质 多元回归的统计性质 遗漏变量 拟合度 多重共线性
引子
使用简单的回归分析，可以把因变量y解释成一 个自变量x的函数。然而在实际的经验研究中使 用简单回归分析的主要缺陷是，它很难得到x在 其他条件不变情况下对y的影响：因为关键假定 SLR.3（所有其他影响y的因素都与x不相关）通 常都不现实。 很自然，如果我们在模型中多增加一些有助于 解释y的因素，那么，y的变动就能更多地得到 解释。因此，多元回归分析可用于建立更好的 因变量预测模型。
cons 1 2 2 inc inc
换句话说，收入对消费的边际效应取决于β2、 β1和收入水平。这个例子表明，在任何一个特 定应用中，对自变量的定义都是至关重要的
在含有两个自变量的模型中，u与x1和x2如何 相关的关键假定是，E(u︱x1, x2)=0 ……(3.5) 意味着，对总体中x1和x2的任何值，非观测因 素的平均都等于零。 如何解释前面例子中条件均值为零的假定：

定义y= log(salary)，x1= log(sales)，x2= ceoten和x3= ceoten2，得一多元回归模型(k=3)。试解释参数。
参数β1是(其他条件不变情况下)薪水对销售量的 弹性。如果β3=0，那么在其他条件不变情况下， 100β2就表示ceoten增加一年导致salary提高的百 分数。当β3≠0时，ceoten对salary的影响则复杂一 些。
多元回归的术语类似于简单回归的术语。恰如 简单回归中一样，变量u表示误差项(error term) 或干扰项(disturbance)。它包括除x1，x2， x3，…，xk之外仍影响y的一些因素。无论在我 们的模型中包含了多少个解释变量，总有一些 因素我们无法包括进来，而所有这些因素就包 括在u中。 多元线性回归模型中的“线性”一词，意味着 方程(3.6)是其诸参数βj的一个线性函数。多元 线性回归的许多运用中都涉及到主要变量之间 的非线性关系。

在(3.1) 中，这个假定是E(u︱educ,exper)=0。 意味着，影响wage的其他因素都与educ和exper 无关。因此，如果我们认为天生能力是u的一部 分，那我们就需要假定，对工人总体中受教育和 工作经历的各种组合，其平均能力水平都相同。 这可能正确也可能不正确，但我们将看到，这正 是为了判断普通最小二乘法是否导致无偏估计量 而需要知道的问题。
机械地看，用普通最小二乘法去估计方 程(3.1)和(3.4) ，应该没有什么差别。每个 方程都可以写成像(3.3)那样的方程。但重 要的差别在于，人们对参数的解释。
(3.1)中，β1是educ在其他条件不变情况下对 wage的影响。而方程(3.4)中的参数β1则没有这 样的解释。换句话说，度量inc在保持inc2不变 的情况下对cons的影响是毫无意义的，如果inc 变化，则inc2也一定会变化！相反，相对收入变 化的消费变化——即边际消费倾向——可近似为：
与仅联系wage和educ的简单回归分析相比，方程 (3.1)有效地把exper从误差项中取出并把它明确地 放到方程之中。所以系数β2度量了exper在其他条 件不变情况下对工资的影响，这点也有意义。 就像在简单回归中一样，我们将不得不对(3.1)中 的u如何与自变量educ和exper相关做出假定。但 像我们在第3.2节中将看到的那样，有一点我们 充满信心：因为(3.1)中明确地包含了工作经历， 所以我们就能在保持工作经历不变的情况下，度 量教育对工资的影响。如果将工作经历放到误差 项的简单回归分析中，我们就不得不假定工作经 历与受教育水平无关，显然这是一个脆弱的假定。
前面两个例子已经说明，除主要关心的变量外， 如何把其他的可观测因素也包括在回归模型中。 一般地，我们可以把含有两个自变量的模型写 作 y=β0+β1 x1+β2 x2+u ……(3.3) 其中，β0是截距，β1度量了在其他条件不变 情况下y相对x1的变化，而β2 则度量了在其 他条件不变情况下y相对x2的变化
多元回归模型的关键假定
关键假定用条件预期的形式可以表示为 E(u︱x1,x2, … , xk)=0……(3.8) (3.8)要求不可观测的误差项中所有的因素都与 解释变量无关。它还意味着，已经正确地表述 了被解释变量和解释变量之间的函数关系。 任何一个导致u与某个自变量相关的问题，都 会导致(3.8)式不成立。假定条件(3.8)式还表明 OLS是无偏的，而如果方程中省略了一个关键 变量，所得到的结论便会产生偏误。
多元回归与简单回归的相似点
0 仍然是截距 1 到 k 都成为斜率参数
u 仍然是误差项（或称扰动项） 仍然需要做一个条件期望为0的假设，现在假 设：E(u|x1,x2, …,xk) = 0 仍然最小化残差的平方和，所以现在有k+1 个 一阶条件
课堂问题
设想CEO的薪水(salary)与企业的销售量和CEO在 这个企业的任期相关：log(salary)=β0+β1 log(sales)+β2 ceoten+β3 ceoten2 +u ……(3.7)
多元回归分析(multiple regression analysis)允许我 们明确地控制许多其他也同时影响因变量的因素， 所以它更适合于其他条件不变情况下的分析。在 使用非实验数据的情况下，这对检验经济理论和 评价经济政策都很重要。多元回归模型能够容纳 许多可能相关的解释变量，在简单回归分析可能 误导的情况下，可以寄希望于多元回归模型来推 断因果关系。 多元回归分析的另外一个优点是，它可以用以添 加相当一般化的函数关系。在简单的回归模型中， 方程中只能出现单一个解释变量的一个函数。如 我们将看到的那样，多元回归模型的灵活性则大 得多。
ˆ ˆ ˆ ( yi 0 1 xi 1 k xik ) 0
i 1 n
n
ˆ ˆ ˆ xi 1 ( yi 0 1 xi 1 k xik ) 0
i 1 n
ˆ ˆ ˆ xi 2 ( yi 0 1 xi 1 k xik ) 0
一般的多元线性回归模型(multiple linear regression model，也称为多元回归模型)在总 体中可以写成 y=β0+β1 x1+β2 x2+β3 x3+…+βk xk +u ……(3.6)

其中β0为截距(intercept)，β1是与x1相联系的 参数，β2是与x2相联系的参数，等等。由于有k个 自变量和一个截距项，所以方程(3.6)包含了k+1 个(未知的)总体参数。为了表达上的简便，把这 种不同于截距的参数称为斜率参数(slope parameter)，尽管它们并不一定表示斜率。[如方 程(3.4)，其中β1和β2本身都不是斜率，但它们 一起决定了消费与收入之关系的斜率。]
问题 用定罪概率(prbconv)和宣判监禁的平均时间长 度(avgsen)来解释城市谋杀率(murdrate)的一个 简单模型： murdrate=β0+β1prbconv +β2 avgsen+u u中包含了一些什么因素？你认为关键假定(3.5) 有可能成立吗？ 因素包括了年龄和性别分布、警力规模(或更 一般地，投入到与犯罪做斗争的资源)、人口 和一般历史因素。这些因素当然有可能与 prbconv和avgsen相关，这时就意味着(3.5)不成 立。比如，某些在预防犯罪和执法方面投入较 多气力的城市，其警力规模可能与prbconv和 avgsen都相关。
多元回归分析对推广变量之间的函数关系也有 帮助。例如：假设家庭消费(cons)是家庭收入 (inc)的一个二次函数： cons=β0+β1inc+β2inc2+u ……(3.4) 其中u包括了影响消费的其他因素，在这个模 型中，消费只取决于收入这一个观测变量； 所以看上去，一个简单的回归分析就可以对 付。但简单回归不能处理这个模型，因为它 包括了收入的两个函数inc和inc2（因此就有 三个参数β0、β1和β2）。尽管如此，通过 令x1=inc和x2=inc2，消费函数还是可以很容 易地写成一个含两个自变量的回归模型。
使用多元回归的动因
先用两个例子来说明，如何用多元回归分析来 解决简单回归所不能解决的问题。 wage =β 0+β 1educ+β 2exper+u ……(3.1) 其中exper是在劳动市场上以年计的工作经 历。 则工资wage由受教育水平和工作经历这两个解 释变量或自变量及那些观测不到的其他因素来 决定。我们首要感兴趣的，是在保持所有其他 影响工资的因素不变情况下，educ对wage的影 响；即我们只对参数β 1感兴趣。
多元回归分析模型
y = 0 + 1x1 + 2x2 + . . . kxk + u