第七讲多元线性回归.

（4）同方差性：对于任意给定的xi，误差项有相同的方差：
Var ( i / xi ) 2

（5）误差的独立性：误差项与自变量不相关；误差项之间不相关， 即对于两个观察值i和j，其误差项的协方差为0。 （6）正态性：误差项被看作是许多不被观察因素的联合效果，因 此可以认为误差项是在x条件下的正态分布。


1 =4230÷15－0.1802×15160÷15=100.08元
样本回归方程为 ：
Y i 100.08 0.1802 X i

上式中：0.1802表示收入每增加1元，食品支出会增加 0.1802元；100.08表示即使在收入为0的情况下，食品支 出也需要100元。
五、回归系数的解释
k xik
K xiK i
yi xi i [1xi1 xi 2
0 1 xik ] 2 i K
•例如: 职业声望=+1Education +2 Parents Education +

对n个观察值而言， TSS= ( y y)2 为总平方和 RSS= ESS=
ˆ y) ( y
2

为回归平方和
2

ˆ ) 为残差平方和 ( y y

总平方和可以分解为两部分： 第一部分残差平方和ESS，它是由观察值没有落在回归面而引起 的，是除了x1，x2…Xk 对 y 影响之外的一切因素对 y 总平方和的作 用，我们希望残差平方和越小越好。 第二部分是回归平方和RSS，它是由 x的变化而引起的，反映了 由于 x与 y的线性关系而产生的 y的变化，是回归方程所能解释的部 分，我们希望回归平方和越大越好。 用一个指标来表示回归平方和占总平方和的比例，即决定系数。
y10 y





=310-280=30 元

如果应用收入信息并借助回归方程估计食品支出，第10 个人的收入为1060元，由回归方程式，有：
ˆ10 =100.08+0.1802×1060=291.3 y

于是用
ˆ10 y
估计第10人y的误差为：
ˆ10 =310-291. Nhomakorabea=18.7 e10 y10 y

i

所谓最小二乘法就是根据这一思路，通过使残差平方和为最小来估计 回归系数的一种方法。
Q i2 (Yi Y i ) 2 (Yi 1 2 X i ) 2
根据微积分中求极小值的原理，可知Q 存在极小值，
欲使Q 达到最小，Q对１和２的偏导数等于零
2 (Yi 1 2 X i ) 0 2 X i (Yi 1 2 X i ) 0
bj B j sj


t

其中s为b的标准误，服从t分布。将计算的P值与事先确定的显著水平α比 较，便可决策取舍H0。当P<α时拒绝H0，认为回归系数在α水平上统计显著； 否则接受H0。 （2）回归系数不显著的原因 a、样本量太小，或者变量个数较多，使n-k变小，从而使Sj增大，t值变 小。 b、 xj与方程中的其他变量线性相关。当自变量之间的相关系数增大时， 也使Sj变大。 C、 y与xj虽然关联，但却是非线性关系。 d、 y与xj确实不存在显著的线性关系，至少在样本xj的变化范围内如此。 因此，增加样本量、扩大Xj的变化范围以及在方程中减少与xj高度相关的 变量，就有可能改善xj与y的线性关系的显著程度。
ˆ10 解释y均值的部分为 y

ˆ10 y =291.3-280=11.3 y


增加了解释变量后，减少了对y的预测误差。上面三式可写为：
ˆ) ( y ˆ y) ( y y) ( y y
ˆ )2 ( y ˆ y )2 可以证明： ( y y )2 ( y y
程中的变量存在显著的线性关系，称方程是显著的。

检验统计量是F检验，F检验的计算需借助回归方差分析表。
回归方差分析表
来源 自由度DF 平方和SUM OF SQUARES 均方和
MEAN SQUARE
F值
显著性水平
SIGNIF F
回归
REGRESSION
k
RSS
RSS/k
( RSS / k ) [ ESS / n k 1)]
三、线性回归模型的基本假定


（1）线性性：yi与xi通过参数i建立线性关系。 （2）独立性：变量xi之间是相互独立的。 （3）误差项的条件均值为0，即 E(i / xi ) 0 该假定可以进一步 引申为：
E( yi / xi ) E( xi i / xi ) xi E(i / xi ) xi


第二种解释与当代计量经济学和统计学的观点一致，即如果两个 模型同样能够反映被观察的事实，我们应该选择较简单的模型。该原 则强调模型要能够总结出数据的本质特征。第二种解释不同于第一种
解释的核心是该解释更加关注模型是否揭示事实或反映理论。
线性回归分析的基本步骤：

（1）从理论出发确定回归方程中的自变量与因变量。 （2）从样本数据出发确定自变量和因变量之间的数学关 系式，即建立回归方程。 （3）对回归方程进行各种统计检验。 （4）利用回归方程进行解释或预测现象。 在进行回归分析时，这四个基本步骤的第一步是由研


如何解释回归模型呢？有二种不同的概念体系。
（1）Observed =True Mechanism + Disturbance (2) Observed = Summary + Residual 第一种解释与传统计量经济学的观点一致，研究者的目标就是去 找一个能够更好拟合数据的模型，据以揭示数据的关系。
回归系数具有“偏”或“边际”的意义
E ( y / x) x k xk xk

这里的“偏”或“边际”是指在其他变量保持不变 的情形下，y对x线性关系的斜率。由于模型是线性的， 偏回归系数是一常数。
六、线性回归方程的统计检验
1、决定系数R 方——拟合优度检验 用于检验一个解释性或者预测性的方程效果如何，所得 到的回归方程在多大程度上解释了因变量的变化，或者说方 程对观察值的拟合程度如何。 如何理解拟合优度检验呢？ 如果没有回归方程，对y的估计只能采用其平均值进行 估计。 例如，15个人的月食品支出的均值=（1/15） ΣYi=280，用它估计第10个人的食品支出，误差为：


如果先将所有自变量Xj和因变量Yj进行标准化，取得标准化变量：
zj zy

xj xj sj y y sy
2
n X i2 ( X i ) 2
n X iYi X iYi
1 Y 2 X
例1、以食品支出与收入关系为例，说明一元线性回归系数估计值 的具体计算过程。
2
编号 1 2
X 1020 960
Y 270 260
XY 275400 249600
X2
1040400 921600



2、总体回归方程的显著性检验

检验回归方程就是检验样本y与x1，x2，…，xk的线性关系
是否显著，即判断能否肯定总体回归系数中至少有一个不等于0。

原假设H0：B1=B2=……=Bk=0 备择假设为H1：至少有一个Bj≠0（j=1，2，…，k）
通过样本统计量的检验，如果H0被接受，则认为Y与X1，…， Xk的线性关系不显著；反之，则拒绝H0，接受H1，即认为Y与方
688900
1512900 1123600 1664100 1904400 656100 846400 409600 16365400
67600
96100 96100 115600 144400 72900 78400 40000 1231100

解得：
2
15 4463200 15160 4230 15 16365400 15160 2
Y2
72900 67600
3
4 5 6 7
970
1020 910 1580 540
250
280 270 360 190
242500
285600 245700 568800 102600
940900
1040400 828100 2496400 291600
62500 X 2
78400 72900 129600 36100
四、线性回归模型的估计

最小二乘法 回归分析的主要任务就是要建立能够近似反映真实总体特征的样本回 归函数。 在根据样本资料确定回归方程时，总是希望Y 的估计值尽可能地接近 实际观察值，即残差项的总量越小越好。


由于残差项有正有负，简单的代数加减会相互抵消，因此，为了数学 上便于处理，通常采用残差平方和 作为衡量总偏差的尺度。 2
第七讲 多元线性回归分析


一、线性回归分析的基本概念与步骤
研究者面对庞大的原始数据，需要以多种方式提炼信息。数据信 息的提取方法包括频数表、均值与方差分析等。回归方法也是浓缩数 据的一种统计技术。
回归分析是将观察值分成两部分建立模型：


Observed = Structural + Stochastic
F的概率α
余差 RESIDUAL
n-k-1
ESS
ESS/（n-k-1）
总
n-1
TSS
3、回归方程的系数检验


（1） t检验
当回归方程检验显著时，便可认为回归方程中至少有一个回归系数是显 著的，但是并不一定所有的回归系数都是显著的，我们希望在方程中保留最重 要的变量，删除不显著的变量，为此必须对每个变量的回归系数进行t检验。 假设：H0：Bj=0；H1：Bj≠0 当统计性不显著，便接受H0，认为总体中变量Xj与Y的线性关系不显著， 进而从回归方程中删除Xj。反之，便拒绝H0，即认为总体回归系数Bj与0有显 著差别。 在回归分析的假设条件下，检验公式为：