7.线性回归分析

2
F越大越好. 当计算出的统计值 f > f(k-1, n-k), 就表示回归 效果是好的, 在 水平下, 已解释方差(Y的变化中已经解 释的部分)明显大于未解释方差(Y的变化中尚未解释的部 分).
9. 校正的判定系数（Adjusted R2）
统计量R2中不含有自由度。所谓校正的判定系数，就是 指“考虑了自由度的判定系数R2adj”。其定义如下：
如何分析固定资产投资与生产总值关系以及固定资产投资对生产总 值的影响？
年代 • • • • • • • • • • 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 • • • • • • • • • •
固定资产投资 额（亿元） 32917 37214 34202 55118 70477 88774 109998 137324 172291 224846 • • • • • • • • • •
所谓标准化就是指对变量Y, X2, · · · ,Xk进行如下处理:
xj
式中,
Sj
Xj Xj Sj
Y Y , y SY
1 1 2 2 ( X X ) , S ( Y Y ) ij j i Y n 1 i n 1 i
于是, 原始方程:
Y 0 1 X1 ..... k X k u
11. 回归系数的置信区间
给定一置信水平 , 用统计量
ˆ j j t ˆ ˆ
j
ˆ ˆ 得到区间 ( ˆ ˆ t / 2 (n k ) , ˆ ˆ t / 2 (n k )) 为 水平上 的置信区间.
例: =0.05, 则
ˆ p{t0.025 (n k ) t0.025 (n k )} 0.95 ˆ ˆ
e x
2
判定系数R2的定义为:
R
ˆ y y
2 2
cos
2
式中, xi
ˆ Y , 其经济解释为 ˆi Y X i X , yi Yi Y , y i
已解释变差占总变差的百分比.
7. 回归效果的F检验
检验回归效果的F统计量的定义式为:
ˆ （ y / k 1 ） 已解释方差 F 服从F(k-1, n-k)分布. 2 未解释方差 e /(n k )
第 7章
线性回归分析
变量之间的关系有两种： 确定型的函数关系
不确定型的函数关系
这里主要研究不确定型的函数关系，如收入 与受教育程度之间的关系，等等问题。 但它们 之间存在明显的相互关系（称为相关关系），又 是不确定的。
回归分析是研究随机变量之间相关关系的统计方 法。其研究一个被解释变量（因变量）与一个或 多个解释变量（自变量）之间的统计关系。
T 1 T ˆ (X X) X Y
6. 判定系数R2
R2 称为判定系数, 它反映了回归效果的好坏. 其定义可以从 线性回归的几何解释中引出. y 多元回归的几何解释的图 形与一元回归的几何解释 图形完全相同, 只是横坐 标 x 不再表示一个变量, 而是表示 k-1 个变量.

ˆ x ˆ y 1
(4) u ~ N(0, 2u In )
(5) E(XTu) =0 , 或者, X 为确定矩阵
1 1 X M 1
X 11 X 21 M X n1
X 1k ..... X 2 k M L L X nk .....
(6) 秩 ( X ) = k, ( k<n)
就转化为标准方程:
y 1 x1 ..... k xk
注: 在SPSS中, 所谓标准回归系数, 就是指这一方程的 回归系数.
举例 生产总值与固定资产投资额关系分析
固定资产投资是建造和购置固定资产的经济活动， 即固定资产再生产活动。固定资产再生产过程包括固定 资产更新（局部和全部更新）、改建、扩建、新建等活 动。固定资产投资是社会固定资产再生产的主要手段。 固定资产投资额是以货币表现的建造和购置固定资产活 动的工作量，它是反映固定资产投资规模、速度、比例 关系和使用方向的综合性指标。因此，分析研究固定资 产投资额与生产总值之间的关系具有很中演的意义。
2. 普通最小二乘法估计式
在模型中, 代入样本观测值之后, 可得
Y1 1 X 12 X 1k u1 M 0 M 1 M .... k M M Y 1 X X u n n2 nk n
R
2 adj
n 1 1 1 (1 R ) 2 nk y /(n 1)
2
e /(n k )
这样，R2adj剔除了自由度的影响。
10. 回归系数的 T 检验
假设Ho: j=0; 备择假设H1: j 0 (即 Ho 不成立).
用统计量:
ˆ j j t ˆ ˆ
国内生产总值 （亿元） 99215 109655 120333 135823 159878 183217 211924 257306 300670 335353
确定变量：国内生产总值Y,固定资产投资X
从固定资产投资额（亿元）与国内生产总值（亿元）的散点图我们也可以看出， 两者之间具有较为明显的线性关系。这种线性关系可以用下面的数学表达式来描 述： Y=a+bX 利用excel(或SPSS)计算，结果如下： Y= 66474.75532 + 1.284382367X 其统计检验值如下： 相关系数 r = 0.992269829 决定系数R2 = 0.984599413 F值 = 447.5281263 t值= 21.15486058 F0.10（1,9）=3.36 t0.025（9）=1.8331
用矩阵方式表达为
Y = X + u
其中, Y =(Y1, Y2, …, Yn)T u = (u1, u2, …, un)T = ( 0, 1, …, k)T
ˆ ( ˆ , ˆ ,..., ˆ )T 若估计出, 0 1 k
普通最小二乘法估计系数公式.
ˆ ˆ X 则有 Y
2. 高斯基本假设
对于线性回归模型
Yi 1 2 X i ui i =1,2, …,n, n为样本容量.
高斯基本假设如下: (1) ui 为随机变量 ( 本假设成立, 因为我们研究就是不 确定关系). (2) E(ui) =0, 随机干扰项的期望值等于零(本假设成立, 如果其均值不是零, 可以把它并入到 1 中). (3) Var(ui) =2u , 随机干扰项的方差等于常数(本假设 有可能不成立, 以后讨论不成立时如何处理). (4) E(uiuj)=0 (ij) 随机干扰项协方差等于零(本假设
E(Y X ) 1 2 X
反映出从“平均”角度看，是确定性关系。
例：地区的多孩率与人均国民收入的散点图如下：
多 孩 率 Y
人均收入X
这两个变量之间的不确定关系，大致可以用下式表示：
Y 1 2 LnX u
设 Z =Ln X ，可将上式线性关系为：
Y 1 2 Z u
线性回归的任务：就是用恰当的方法，估计出参 数 1， 2 ，并且使估计出来的参数具有良好的统 计特征，所以，回归问题从某种视角看，视同参 数估计问题。
如果把X，Y的样本观测值代到线性回归方程中，就得 到
Yi 1 2 X i ui i =1,2, …,n, n为样本容量.
从重复抽样的角度看， Xi，Yi也可以视为随机变量。
j
j
服从t (n-k), 可以完成上述假 设检验.
注意:
T 1 ˆ ˆ ˆ u c jj , c jj ( X X ) jj
当 t t (n k ) 时, H1成立, 即 j 显著异于0.
2
( n 5 时, 若取 =0.05, 则当t 2 时, 有H1 成立, 即j显 著异于0 ) 针对回归系数的 t 统计量的显著性检验, 决定了相应的变 量能否作为解释变量进入回归方程.
一. 一元线性回归
1.一元线性回归是研究一个自变量与一个因变量的统计 关系。
例：人均收入 X 与人均食品消费支出 Y 的散点图的关
系如图。
人 均 食 品 支 出 Y
人均收入X
这两个变量之间的不确定关系，可以用下式表示：
Y 1 2 X u
式中，人均食品消费支出Y 是被解释变量， 人均收入 X 是解释变量，1， 2是待估计参数；u 是随机干扰项， 且与 X 无关， 它反映了 Y 被 X 解释的不确定性。 如果随机干扰项 u 的均值为 0， 对上式求条件均值， 有
有可能不成立, 以后讨论不成立时如何处理). (5) ui 服从 N(0, 2u )分布; (6) E(Xiuj)=0, 对Xi 的性质有两种解释: a. Xi 视为随机变量, 但与uj无关, 所以(6)成立. b. Xi 视为确定型变量, 所以(6)也成立.
3. 普通最小二乘法 (OLS)
设线性回归模型
• 4. t检验
针对H0：a=0，给定显著性水平0.05，查t分布 表得自由度为n-k = 9的t检验临界值为t0.025（9） =1.8331。a的t统计量为21.15486058，大于 t0.025（9）=1.8331，拒绝H0，也就是说，固定 资产投资额是国内生产总值的显著变量。
www.themegallery.co m
即
ˆ ˆ ˆ ˆ t0.025 (n k ) ˆ ˆ t0.025 (n k )) 0.95 p(
14. 标准回归系数
在上述回归方程中, 自变量的单位对回归系数的数量 级有很大影响, 例如: 元、百元、千元、万元等。为了从 回归系数的大小中， 简单比较相应的自变量对因变量的 作用大小， 就应当剔除自变量单位的影响。一般的处理 方法是把所有的变量“标准化”。