第九章相关与简单线性回归分析

第九章相关与简单线性回归分析

第一节相关与回归的基本概念

一、变量间的相互关系

现象之间存在的依存关系包括两种：确定性的函数关系和不确定性的统计关系，即相关关系。

二、相关关系的类型

1、从相关关系涉及的变量数量来看：简单相关关系；多重相关或复相关。

2、从变量相关关系变化的方向看：正相关；负相关。

3、从变量相关的程度看：完全相关；不相关；不完全相关。二、相关分析与回归分析概述

相关分析就是用一个指标 (相关系数) 来表明现象间相互依存关系的性质和密切程度；回归分析是在相关关系的基础上进一步说明变量间相关关系的具体形式，可以从一个变量的变化去推测另一个变量的变化。

相关分析与回归分析的区别：目的不同：相关分析是用一定的数量指标度量变量间相互联系的方向和程度；回归分析是要寻求变量间联系的具体数学形式，要根据自变量的固定值去估计和预测因变量的值。

对变量的处理不同：相关分析不区分自变量和因变量，变量均视为随机变量；回归区分自变量和因变量，只有因变量是随机变量。

注意：相关和回归分析都是就现象的宏观规律/ 平均水平而言的。

第二节简单线性回归

一、基本概念

如果要研究两个数值型／定距变量之间的关系，以收入x 与存款额y 为例，对n 个人进行独立观测得到散点图，如果可以拟合一条穿过这一散点图的直线来描述收入如何影响存款，即简单线形回归。

二、回归方程

在散点图中，对于每一个确定的x值，y的值不是唯一的，而是符合一定概率分布的随机变量。如何判断两个变量之间存在相关关系？要看对应不同的x，y 的概率分布是否相同/y 的总体均值是否相等。

在x=xi 的条件下，yi 的均值记作E(yi) ，如果它是x 的函数，E(yi) =f(xi) ，即回归方程，就表示y 和x 之间存在相关关系，回归方程就是研究自变量不同取值时，因变量y的平均值的变化。当y的平均值和x呈现线性关系时，称作线性回归方程，只有一个自变量就是一元线性回归方程。

—元线性回归方程表达式：E(yJ= a + B X i，其中a称为常数，B称为回

归系数

对于每一个真实的y ,其表达式为y i = a +B x+ £ i, yi是随机变量，「是随机误差，由于「的值不固定，从而使x和y呈现出不确定的关系。

三、回归方程的建立与最小二乘法

回归方程中描述的是总体关系，总体不知道的情况下，只能通过样本来估计总体，即通过样本的散点图来估计总体回归直线的系数a和B。如何根据样本散点图拟合出一条最佳的估计直线？使用最小二乘法。

设从总体中抽取一个样本，观测值为(x i,y i),(x 2,y 2),…(X n,y n)，穿过这n

个观测点可以得到无数直线y=a+bx，最佳直线就是与各个点都比较接近的这条直线，即各点到该直线的铅直距离即偏差之和最小，但偏差有正有负会抵消，需

要对所有偏差求平方和，使得刀(yi- ?)2最小，即最小二乘法原理。根据最小二乘法准则拟合的回归方程记作?= a+bx。

n

迟(xi _x)(yi _y)

根据最小二乘法原理可推导出b=』^ ，a=y-bx

'二(xi -x)2

i总

为了便于计算，也可将上述公式分解为：b=2 峯x i T

n送X j2—（送x）2

由此通过最小二乘法所确定的a、b带入待估计的直线方程式得到？=a+bx就是总体线性回归方程E(y i)= a + B X i的最佳估计方程。

斜率b的意义：x发生一个单位的变化时，y相应发生的变化量。

第三节回归方程的假定和检验

一、回归方程的基本假定

对于总体线性回归方程E(y i)= a + B X i，需要作出一些基本假定：

A、对于x的每一个取值xi，yi是随机变量/y的子总体，所有yi的方差相等。

B、所有yi的均值都在一条直线上，其数学表达式为E(y i)= a +B X i，由于a和B对于所有子总体yi都是一样的，所以a和B是总体参数。

C、随机变量yi是统计独立的。

这三个假定可以写为：

随机变量yi在统计上是相互独立的，它们的均值=E(y i)= a + B x i，方差=c D出于假设检验需要，还要求y的每一个子总体yi都满足正态分布。综合回归分析中估计和检验的两方面需要，对总体数据结构有如下假定：

y i= a +B X l+ £1 , y= a +B X2+ £2, y n= a +B X n+ £n,

其中，£ 1, £ 2….£ n是随机变量，相互独立，且都服从相同正态分布N(0,° 2)

二、回归方程的检验

在拟合回归直线前，需要对总体变量之间是否存在线形关系进行检验，否则

拟合回归直线是没有意义的。

1、作出假设

H O: B =0 ；H 1：B 工0

类似于方差分析，B =0意味着各总体均值相等，说明x和y之间没有关系, B工0意味各总体均值不等，说明x和y之间有线性关系。所以可理解为检验各总体均值是否相等，类似方差分析的检验。

2、计算检验统计量

(1)计算偏差平方和

n

总偏差平方和TSS=7(yi-y)2，反映了观测值yi围绕均值y总的离散程

iT

度。

n

剩余平方和RSS=v (yi-?)2,反映了观测值yi偏离回归直线？的离散程度，

i生

是通过回归直线进行估计之后，仍然未能消除/未被解释的误差，也称残差平方和，说明了除x 对y的线性影响外，还存在其他未被考虑的因素。

由于(yi- y)可以分解为(yi- ?)+( ?- y),所以TSS可分解为RSSRSSR回归

n

平方和RSSR= (?i- y)2，表示通过回归直线被解释掉的误差。

i =1

(2)计算检验统计量

计算均方：TSS的自由度为n-1 ,RSS的自由度为1(?i始终是同一个值),RSSR 的自由度为n-2。

RSSR

所以F= ~F(1 , n-2)

RSS/(n - 2)

在显著性水平a的情况下，如果F>F a ,贝加绝原假设，即总体存在线性相关；反之，如果F V F a ,则不能拒绝原假设，就没有必要拟合回归直线了。

F的意义：RSSRfc于RSS说明了引入回归直线后能够解释掉的误差大，反

映了回归直线是有较强意义的