第4 章多元回归分析

第4 章多元回归分析：推断 1 , ，本章继续对多元回归分析的讨论。现在转向对总体回归模型中的参数进行假设检验的问题。在总体误差服从正态分布这个新增假定下，我们从寻求OLS 估计量的分布开始着手。4 . 2 节和4 . 3 节涵盖了对单个参数的假设检验，而4 . 4 节讨论的是如何检验一个涉及不止一个参数的假设。我们在4 . 5 节对多重限制进行了检验，并特别关注是否应该从一个模型中省略掉一组自变量的问题。 马，10 [ S 估计量的抽样分布 到目前为止，我们已经建立了系列假定，在这些假定之下，OLS 是无偏的，而且还推导和讨论r 由遗漏变髦所导致的偏误。在3 . 4 节中，我们在高斯一马尔科夫假定下得到了OLS 估计量的方差。在3 . 5 节，我们证明了在所有线性无偏估计量中，这个方差足最小的。 了解OLS 估计量的期望值和方差，有助于描述OLS 估计量的精密度。但为厂进行统计推断，我们需要知道尾的不止这两个，还需要知道月的全部抽样分布。即使在高斯一马尔科夫假定下，尾的分布仍完全有可能其有任何形式。食姿一万蕊石办万）一断卜107 当浅们把样本中自变丝的值视为既定时．显然01 一S 估计量的抽样分布就取决十其背后的误差分布为f 使得抽杆分布易扮掌握，我们现在假定．总体中不可观测的误差是正态分布的少戎们称之为正态性假定（n 。。汕以注ssu " lption ）二 假定MLR . 6 （正态性〕 总体误差，‘独立士解释变址．，」，．介， 廖为迩延夸全起生一少巡迎，口生 一－一一一一－一一― 一一1 、，. , ．而几服从均值为零和＊, : } } 叮l ，玛瑕定MLR . 6 是一个比我们前面任何一个假定都更强的假定．实际L , 由丁在似定MLR . 6 下人独立于马，所以L ( “卜二。，”一，二。）一F ( " ）二。和ve 「（u ‘朴，„ ，厂。）二v 试，〕 二二2 、因此，如果作出假定MLR . 6 ，那我们就必然假定了MLR . 3 和M 上R , 5 二为了强周现在所做的假定比似前多，我们将使用似定Ml _ H , l 一MLH . 6 全套似定 就横截面｛l 弓归中的应用而言，假定M 乙尺．1 一Ml _ R . 6 这六个瑕定被称为经典线性模型（cLM ）假定「。l ：、污i 。，: 1 11 工1 。，r 。〕 〔 、］el ( cl 』 M ）。加、1 】 月lpt ．。）11 、」一于是我们将这六个假定下的模型称为经典线性模型〔 。l 。、．。成I ：。a : n ：川山。最好认为CLM 假定包括了所有的高斯马尔科夫假定，丙加上误轶正态分布的似定＿ 在cLM 假定下，( ) l 。5 么片计童禹」，户．，„ ，风比在高斯一弓尔科夫赦定下具有更强的效率性质二可以证明，015 估计墩方差最小的无偏估计（。ir 、irn ．」。、升111 。主、。。，，。bi 。、。‘l 。、ti 。：. ror ) ，即在所有的无偏估计中，OLS 具有最小的方差、不再需要把我们的比较限制在以夕为线性的估汁童内。Cl 一M 假定下OLS 的这个性质将在附录E 中进一步讨沦。 总结eLM 总体假定的一种简捷方法是 , , lx 一N 。。胡八，十召＊. , ！十君：, 2 ＋„ “脚，、，。2 ) 式中，x 为（、勺，二2 ，„ ，二、）的简写。就是说，以x 为条件的，，服从一个对土，, J : ，一，、r ．为线性均值并且方差为常数的正态分布：图4 , 1 给出了只有一个自变量的情形〕 推出误差服从正态分布的理由通常这样推理：由于。是影响着少而又观测不到的许多因素之和，所以我们可借助于中心极限定理（参见附录C ）断定。具有近似正态分布。虽然这种论证有其优点，但也并非毫尤瑕疵。灯先．。中的众多因素可能各有极为不同的总体分布（比如在上资方程中，误差中的个人能力和教学质量）口但中心极限定理（创＿T ）在这些情形下仍成立．这种正态近似可能不那么好，这依赖于“中有多少闪素以及它们的分布有多么地不同。 CLT 论证中更严重的阿题是，它假定所有不可观测因素都以各自的和可加的方式影响着夕。对于这一点没有任何保证。如果“是不可观测因素的一个复杂函数，那么fL 丁论证并不真正适用 在任何一个应用中，是否可以假定。的正态性，实际上都是• 个经验性间题。例如，没有一个定理会认为取决丁＊I 二，。介：和，柳。，的二以岁105 卜基屏荞获译从“' ；。盗分筛事护钻：J 。代蔽， 月犷｝二少 正态分布 于书 F 〔 Jl , ）二声。＋刀．x 一护一一，? ? 图4 . 1 单独一个解释变．的同方差正态分布 服从正态分布。如果有的话，那就是简单的推理表明相反的方面是成立的：由于工资绝不可能低于零，所以严格地讲，‘它不可能具有正态分布J 而且，因为存在最低工资法，总体中有一定比例的人恰好得到最低砚，资，所以也与上态性似定相违背、尽管如此，作为一个实践问题，我们还是可以问条件1 二资分布是否“接近”正态分布。以往的经验证据表明，正态性假定对工资而言不是• 个很好的假定。 通常利用一种变换（特别是取对数）就能得到一个更接近于正态的分布。比如，话如协g ( p 汀，）之类的变量，常具有一个比／, r ' , ，的分布更接近11 : ；正态的分布．同样，这又是一个经验问题，我们在第5 章将进步讨论。有一些M 七R . 6 明显不对的例子。要是夕仅取少数几个值，‘已就不叮能接近正态分布；例3 . 5 中的因变量是个很好的例子。一个年轻人在1986 年被逮捕的次数这个变量二rl - 86 ，取值仅限于一个很小的整数范围，而且对多数人来说都是零。因此，。rr 肠远非正态分布。在这些情况下，该怎么做呢？如我frJ 在第5 章将看到的那样。相对于很大的样本容量来说，误差的非正态性算不上一个严重的问题，而且这一点很重要。目前来看，我们姑且认可正态性的假定。 误差项的正态性寻致O 公估计量的正态抽样分布乙 定理4 . 1 （正态抽样分布） 在CLM 假定MLR . 1 一MLR . 6 下，给定白变量的样本值，有几一”。：m 。‘［凡，V 升，（风）」 ( 4 . 1 ) i 式中，Vor （耳）在第3 章［方程（3 . 51 ) ：中给出口因此 „ 〔 汽一、）、d （殡）一N ' , rm 改，（。，l ) 带万蔺““荞‘芡猫万梦蔽“万薛卜即， 给定附录B 中正态分布随机变量的性质，证明定理（4 . ] ）并不困难、每个风都可以写成氏＝八十艺叫产J 。式‘l , ，二。一井。召、R , ；厂。为二，对所有其他自变髦进行回归的第？个残差；而绍凡是这个回归的残差’！汽方和［参见方程（3 ．倪）j 。因为二I ，只取决于自变量，所以它们可作为非随机变量来处理。因此，月只是样本误差｛u 「二，二1 , 2 ．一，刀｝的一个线性组合。在假定Ml : R6 〔 和随机抽样假定M 乙R2 ）下，以差是独立同分布的正态〔 。，。2 ）随机变量。有关独立正态随机变量的一个重要特征是，这种随机变量的线性组合仍是正态分布（参见附录B ）。这就基本上完成了证明。在3 . 3 节，我们证明了E ‘昆）二几，而在3 一4 节，我们又推导了var （恳）；这里不需要重新推导这些结论己 问题4 . 1 董犷 假设独立于解释套量，而与以朽同的概率1 巧取值一2 ，一1 . 0 , i 和2 。这释 会违背高斯一马尔科夫假定吗？会违背CLM 假定吗？ 如果通过将一个正态随机变量除以它的标准差而使之标准化，就得到一个标准正态随机变量，由此便直接得到定理的第二部分。 定理（4 ．约的结论可以加强。除式仔．1 ）外，夕。，户」，„ ，凡的任何线性组合也都是正态分布的，而且尾的任何一个子集也都有一个联合正态分布。这些结论就构成了本章剩余部分检验结论的基础。我们在第5 章将证明，即使没有误差的正态性，在大样本情况下OLS 估计量的正态性也会近似成立二 4 . 2 检验对单个总体参数的假设：亡检验 本节包括丫J 一个十分重要的专题，即对．急体回归函数中有关某单个参数的程设进行检验。总体模型可写作 y 二几十夕1 二．＋几二：＋„ ＋几了。十。（4 . 2 ) 而且假设它满足CLM 假定。我们知道，OLS 得到风的无偏估计量。在本节中．我们研究如何检验那些有关某个特定几的假设。为了充分了解假设俭验• 就必须记得，月是总休的未知特征，而且拢们将永远不会确定地知道它们。尽管如此，找们还是可以对几的值作出假设，然后通过统计推断来检验我们的假设。 为了构造假设检验，我们需要如下结论。 2 27 厅昆恕黔黑甲丁i 式中，，瓶叠耀量’厂丢。＊、协．之〕 、，2 二，+ 个斜率参数和截趾夕。） ( 4 . 3 》 一＋肛。卜“中未知参数的} I , ”卜经厉科乎禅扒一 计1 经序李导论：现代观沛 此定理在某些重要方而与定理礴，1 不同。定理4 . 1 表明．在〔 ’LM 假定卜，（风一戊）今d 〔 尾卜N 〔 ）m 飞a ｛〔 0 . 1 ）。式〔 4 . 3 ）中的厂分布源于如下事实，即川（凡）中的常数，己经被随机变量：所取代二证明由此导致一个自山度为冷一l 的，分布，并没有加深多少我们的见识。本质上讲，对它的证啊表明，式（4 • 3 ）可写成标准止态随机变量〔 风一此）胡（汽）与云勺犷的平方根之比。可以证明二者是独立的，而丑（羚一凌一1 ) J ’肠，一义宾。一，。于是根据t 随机变量的定义，便得到这个结论（参见第B . 5 节）。 定理4 • 2 的重要性在于，它使我们能检验有关马的假设J 在多数应用中，找们主要的兴趣在于检验虚拟假设〔 ：lull 帅卯thesi 、） 碱〕 ：风二（) ( 44 ) 式中，，为对应着壳个白变量中的任何一个。重要的是．要理解式（4 _ 4 ) 的含义，并能在一个特定的应用中用简单的语言来描述这个假设。由丁玛在控制厂所有其他自变量后，度量了孔对夕〔 的期望值）的偏效应，所以式( 4 . 4 ）意味着，一旦对』 二L ．二2 ，一，、几一，，几一，，一，、＊都作出了解释，则娜对夕的期望值就没有任何偏效应。我们不能把虚拟假设表述成“几对－T ' 有偏效应’" ．因为它对龙不为零的任何一个值都成立。经典检验适合于检验像式（4 . 4 ）那样的简单假设。 作为• 个例子。考虑工资方程 109 （二a 即）＝风斗月1 心。‘＋召：。钾r 十声3 ‘。，。。＋、 虚拟假设践；夕：二O 意味着只要对教育程度和现职任期进行了解释，工作年数（二加门对小时工资就没有影响。这是一个有经济意义的假设。如果它是正确的，那就意味着一个人在现任职之前的工作经历并不会影响工资。如果几》 （) ，则以前的工作经历会提高生产力，并因此提高下资。你叫能记得，在统计学教程中，学过对不态总体的均值进行假设检验的人门知识。（附录C 复习了这部分内容。）在多元回归背景下捡验式（4 . 4 ) 的过程与此十分类似：虽然困难的邻分在于得到系数枯计值、标准误和临界值，但多数工作都可以由士