回归分析与最小二乘法

第一讲回归分析与最小二乘法

主讲教师黄宗媛副教授

第7章一元回归分析与方差分析

1. 引言

在统计学中，通过参数估计可以推断总体的相关分布特征，通过假设检验可以对总体的某一推断（在概率意义下）验证真伪。

之前已介绍了利用假设检验的方法推断总体的参数。在实际应用中，人们还经常关心这样一类问题：

变量 Y 是否受其他因素（变量）X 的影响？

如果有影响，X 是如何影响 Y 的？

※确定性关系：可以精确的用函数关系表达。

例如：长方形的面积 S 与长方形的长 a 和宽 b 之间具有确定的关系 S = a×b. ※非确定性关系（相关关系）：变量间相互联系但不是确定性关系。

例如：人的体重与身高之间的关系；

农作物产量与降水量之间的关系。如何描述？

※从数量角度研究非确定的相关关系

判断变量之间有无关系

对其关系大小作数量上的估计 推断和预测

……数理统计方法

回归分析

※ 1889年，由英国学者Galton 首次提出 研究祖先与后代身高之间的关系 Francis Galton （1822-1911） ※ 其后，英国统计学家 Pearson 进 一步描绘变量间的线性依存关系

Karl Pearson （1857 – 1936）

为什么叫“回归”？ˆ33.730.516

=+

Y X

※ 根据变量个数划分：一元回归 与 多元回归 ※ 回归分析的一般性模型：

※ 根据变量间的关系划分：线性回归 与 非线性回归 .)(,0)(,)(2

σεεε==+=D E X f Y

※ 一元回归问题

设

是 n 个独立观测值，利用这些样本信 息估计函数

的具体形式。 ),(),......,,(),,(2211n n y x y x y x )(x f ※ 散点图

为了更好的预测

的形式，将这些观测值描在直角坐标系中（称 为散点图），通过其可以大致了解 X 和 Y 之间的关系类型。

)(x f

线性相关非线性相关（曲线相关）

4. 一元线性回归模型 ※ 一元线性回归模型 ⎩⎨⎧>==++=.0)(,0)(,210（未知）σεεεββD E X Y ：随机误差：回归系数εβ1※ 一元线性回归方程 X Y 10~ββ+=？？

==10ββ

※ 回归直线的确定

显然，直线与 n 个观测点越接近就越能反映 Y 与 X 之间的内在联系。 i x y x

x y 10ˆββ+=i y ˆi i y y ˆ-i y . ),(i i y x ),(i i y x y x x y 10ˆββ+=. . . . . . . . . . . . . . . . . . . . . . . . . )

(y 10i x ββ+-=偏差

※ 回归直线的确定

∑=+-=n i i i x y Q 121010)]

([),(ββββ偏差平方和：最小化？ i x x

x y 10ˆββ+=i y ˆi i y y ˆ-i

y 最小二乘估计法

（O L S ）

※ 回归直线的确定

采用微积分中求多元函数极值的方法，令

⎪⎪⎩⎪⎪⎨⎧=---=∂∂=---=∂∂∑∑==n i i i i n i i i x x y Q x y Q 110111000)(20)(2βββββ

β⎪⎩

⎪⎨⎧=+=+∑∑==n i i i n i i y x x x n y n x n n 1121010ββββ正规方程组

※ 回归直线的确定

若记 ⎪⎩⎪⎨⎧-==.ˆˆ,ˆ101x y L L xx xy βββ,

))((,)(1112

21

2∑∑∑∑====-=--=-=-=n

i i i n i i i xy n i i n i i xx y x n y x y y x x L x n x x x

L 回归直线必过点

),(

y x .ˆˆˆ1

0x y ββ+=一元线性回归方程：

※例题

现调查得某种产品的月产量 Y 与设备投资额 X 之间的一组数据如下：X/万元17.1 16.3 18.4 19.0 15.8 16.0 17.5 17.8 18 16.4

Y/吨65 63 70 75 60 55 64 69 65 58 试求 Y 与 X 的一元线性回归方程。

※ 例题 现调查得某种产品的月产量 Y 与设备投资额 X 之间的一 试求 Y 与 X 的一元线性回归方程。

X/万元 17.1 16.3 18.4 19.0 15.8 16.0 17.5 17.8 18 16.4 Y/吨 65 63 70 75 60 55 64 69 65 58

50

556065

707580

15161718

1920

月产量 设备投资额

※ 例题

由散点图知，Y 与 X 是线型相关的，故采用一元线性回归模型。 由表中数据计算可得：

进而得到参数的最小二乘估计： 于是，Y 关于 X 的一元线性回归方程为： 68

.5262.104.6423.17====xy xx L L y x ，，，96.4ˆ06.21-ˆ1

0==ββ，06.21-96.4ˆx y

=

※ 例题

68

.5262.104.6423.17====xy xx L L y x ，，，96

.4ˆ06.21-ˆ10==ββ，y = 4.96x - 21.06

50

55606570

7580151617181920

月产量

设备投资额