第6章-相关与回归分析

ˆ Var ( 2 )

2
(X
t
X)
2
ˆ Var ( 1 )
2
(
1 n

X
2

(X
t
X)
2
)
（五）一元线性回归模型的检验
线性回归模型的检验分二大类： 统计检验
从统计学的角度检验 所估计的样本回归函数的有效性
计量经济检验
从基本假设是否成立这一角度检验 最小二乘估计法的适用性及其改进
t
et是Y的实际观测值与其样本函数相对应点的离差，称为 残差。
如果 ˆ 是 的良好的估计，就可用样本函数代 替总体函数而研究Y与X间的关系及变化规律。
i
i
因此，回归分析的主要任务就是要采用适当的方 法，充分利用样本信息，使估计的样本函数尽可能 地接近于真实总体回归函数。
（三）随机扰动项的标准假定
n X tYt n X t
2
X Y ( X )
t 2 t
t

( X X )( Y Y ) (X X )
t t 2 t

xy x
t 2 t
t
ˆ 1

X
Y n X
2 t
t 2 t

X ( X )
t t
X tYt
2
ˆ Y 2X
在上述收入-消费支出例中，
为了简单，对总体回归模型来说，记Y的条件期望为： E(Yt|Xt)=1+2Xt
即，对所研究对象的总体来说，对给定的X，Y平均说来与 X呈线性对应关系，即Y的期望值是X的线性函数，该式称 为总体回归函数(Population Regression Function, PRF)。 因此，Y的实际观测值与其期望值之差，就是随机误差项 t=Yt-E(Yt|Xt)
（五）按相关性质划分 真实相关：两变量确实存在内在联系 虚假相关：两变量的相关只是表面上的，实质上并没 有内在联系。
二、相关分析与回归分析
相关分析：研究现象（变量）间相互依存关系的密切程 度的方法论； （线性）相关系数：当两变量间线性相关程度的测度指标 总体相关系数： Cov ( X , Y )

正相关： X与Y同时变大或变小 负相关：X变大，Y变小（或反过来）
（三）按相关形式划分
线性相关：Y与X的关系大致呈现为线性关系 非线性相关：Y与X的关系不呈现线性关系
（四）按变量多少划分
单相关：两个变量间的关系 复相关：一个变量对两个或两个以上变量的相关关系 偏相关：在一变量对多变量的相关关系中，假定其他 变量不变，两变量的相关关系
这时可认为Yt 的样本点距其样本均值的离差全部来自回归线， 而与“残差”无关。
对全部样本点来说，可以证明：

总离差 平方和 SST
(Y t Y )
2


ˆ 2 (Y t Y t )

2 ˆ (Y t Y )

et
2

2 ˆ (Y t Y )
回归平方和 SSR 残差平方和 SSE
拟合优度检验
显著性检验
本课程只学习统计检验： 1、拟合优度检验 拟合优度检验主要用来检验样本回归函数与实际观测点 的“接近”程度。
拟合优度检验是通过对Yt的样本点距其样本均 值的离差平方和的分解来进行的。
从图中可以看出：
ˆ y t et y t
即实际观测值落在样本回归“线”上，则拟合最好。
例4.3： 函数关系： 圆面积=F(, 圆半径)=圆半径圆半径 统计依赖(相关)关系： 农作物产量=F(气温，降雨量、阳光、施肥量）
二、相关关系的种类 （一）按相关程度划分
完全相关：Y的变化完全由X的变化确定
不相关：Y与X不相互影响，各自独立变化 不完全相关： Y与X相互有一定程度的影响
（二）按相关方向划分
第六章 相关与回归分析
第一节 相关与回归分析的基本概念
第二节
一元线性回归分析
第三节 多元线性回归分析
第四节 非线性回归分析
第一节 相关与回归分析的基本概念
一、函数关系与相关关系
经济变量之间的关系，大体可分为两类：
确定性关系或函数关系：研究的是确定现象非随机变 量间的关系。
统计依赖或相关关系：研究的是非确定现象随机变量 间的关系。
（二）样本回归函数与样本回归模型
总体回归函数事实上是未知的，因此需要利用样本信息 对其进行估计。 利用样本资料，通过样本回归模型
ˆ ˆ Yt 1 2 X t et
可估计出样本回归函数(Sample Regression Function, SRF)
ˆ ˆ ˆ Yt 1 2 X
S
2

(X i X )
2
S ˆ
1
S
2
(
1 n

X
(X
i
X)
2
)
收入-消费支出例中，在参数为0的原假下，则
t ˆ 17 . 91
2
t ˆ 0 . 07
1
在显著性水平=5%，自由度=10-2=8下， t 统计量的临界值=2.306（双尾） 判断：可支配收入前的参数2是显著不为零的，说明 可支配收入可以作为消费支出的一个重要的解释变量。
②有相关关系并不意味着一定有因果关系； ③回归分析/相关分析研究一个变量对另一个（些）变 量的统计依赖关系，但它们并不意味着一定有因果关系。
④回归分析对变量的处理方法存在不对称性，即区分 应变量（被解释变量）和自变量（解释变量）：前者是 随机变量，后者不是； 相关分析则对称地对待任何（两个）变量，两个变量 都被看作是随机的。
Var ( X )Var ( Y )
样本相关系数：
r
(X
i
X )( Y i Y )
2
(X i X )

(Y i Y )
2
回归分析：通过数学模型，研究一现象（变量） 对其他现象（变量）依赖关系的具体形态的方法论
如：消费支出=f (可支配收入）
▲注意：
①不线性相关并不意味着不相关；
(n 2)
在上述收入-消费例中，
S
2
100 . 58 /( 10 2 ) 12 . 57
3、最小二乘估计量的性质
可以证明，用上述最小二乘法估计的样本回归 函数的系数（称为最小二乘估计量），具有如下 良好的性质： （1）线性性 （2）无偏性
ˆ E ( i ) i
（3）有效性（最小方差性）：在所有的样本 系数估计量中，最小二乘估计量方差最小。
ˆ 2 5620 . 4 7831 . 6 0 . 7177
ˆ 1 47 . 3 0 . 7177 66 . 2 0 . 2089
2、总体方差的估计
为了检验样本回归函数的精度，还需估计总体随 机误差项t的方差 2。可以证明：它的一个无偏估 计量为
S
2


et
2
（四）一元线性回归模型的估计
回归模型的估计要求找到一种方法，使估计的样本回 归函数能够尽可能地接近总体回归函数，从而作为总体 回归函数的代表来描述变量间的具体相关关系。 方法有多种，最小二乘法（最小平方法）是其中最 简单、适用性最广的一种估计方法。 最小二乘法的基本思想： 让所寻找的样本回归函数（线）上的点尽可能地接 近实际观测点，即样本回归线上的点与实际观测点的离 差平方和最小。 可以证明，在总体随机扰动项的上述假设下，最小 二乘法找到的样本回归函数是最优的（样本函数的系数 满足线性性、无偏性、最小方差性）。
在上述收入-消费支出例中，拟合优度为： r2=1-100.58/413.1=0.9757 2、显著性检验
显著性检验包括
对整个回归方程的检验
对各回归系数的检验
（1）样本回归系数的显著性检验
对各回归系数的显著性检验主要是要通过样本考 察总体回归系数的“可能取值”。 回归分析中，主要是针对总体参数是否为某一值 （一般设为零）来进行显著性检验的（为什么？）
随机误差项t无法直接观测，为了进行回归分 析，需对其作出如下假定：
假定1：零均值：E(t)=0
假定2：同方差：Var(t)=E(t2)=2 假定3：无序列相关：对任何ts， Cov(t,s)=E(ts)=0 假定4：自变量是给定变量，与随机误差项线 性无关； 假定5：随机误差项服t从正态分布。
⑤只有对有因果关系的变量，才更多地做回归分析
正相关 线性相关 统 计 依 赖 (相 关 )关 系 不相 关 负相关 正相关 非线性相关 不相关 负相关 相 关系 数 ：
1
XY
1
有因果关系 无因果关系
回归分析 相关分析
回归分析是研究一个变量关于另一个（些）变 量的具体依赖关系的计算方法和理论。 其用意：在于通过后者的已知或设定值，去估计 和（或）预测前者的（总体）均值。
F SSR /( k 1) SSE /( n k ) ~ F ( k 1, n k )
其中，k表示模型中回归系数的个数，或称为解释变量 的个数（包括常数项），n为样本容量。
在一元回归分析中，只有一个解释变量，因 此F检验与 t 检验本质相同。 在上述收入-消费支出例中： F=320.81
前 一 个 变 量 被 称 为 被 解 释 变 量 （ Explained Variable）或应变量（Dependent Variable）后一个变 量被称为解释变量（Explanatory Variable）或自变 量（Independent Variable）。
例4.3 一个10户居民的可支配收入 (百元)与消费支出(百 元)的统计资料按升序排列入下表（相关表）： 消费支出 15 20 30 40 42 53 60 65 70 78 可支配收入 18 25 45 60 62 75 88 92 99 98