3回归分析

1965
1966 1967 1968 1969 1970
1.8
0.6 2.4 2.5 1.2 -0.8
24
33 26 20 32 35
环流指标
25
第二节 多元线性回归
对某一个预报量y，研究多个因子与它的定
量统计关系----多元回归
多元线性回归的原理与一元线性回归完全
相同
一、多元回归模型
五、回归系数的显著性检验
气象中使用最多的是回归方程的距平形式，所以 对回归方程的显著性检验可以只对因子的回归系 数进行检验。
在原假设H0：β=0的条件下，统计量
t
n
b
b
2
c Q (n 2)
2
(x x )
i 1 i
遵从自由度为n-2的t分布.
c [ ( xi x ) 2 ]1
40 35 30
2.2
1954
1955 1956 1957 1958 1959 1960 1961 1962
26
27 24 28 24 15 16 24 30
2.4
-0.5 2.5 -1.1 0 6.2 2.7 3.2 -1.1
20 15 10 5 0
7 6 5 4 y = -0.2343x + 7.5095 2 R = 0.5313
r2→0，说明回归方程拟合的越差； 5. 判决系数等于相关系数的平方.
回归分析与相关分析的区别：
1. 相关分析中，变量x、y处于平等的地位；回归分析中， 变量y称为因变量，处在被解释的地位，x称为自变量， 用于预测因变量的变化。 相关分析中所涉及的变量x和y都是随机变量；回归分 析中，因变量y是随机变量，自变量x可以是随机变量， 也可以是非随机的确定变量。 相关分析主要是描述两个变量之间线性关系的密切程 度；回归分析不仅可以揭示变量x对变量y的影响大小， 还可以由回归方程进行预测和控制。
气温T
1963
1964 1965 1966 1967 1968 1969 1970
22
30 24 33 26 20 32 35
2.5
1.2 1.8 0.6 2.4 2.5 1.2 -0.8
3 2 1 0 -1 -2 14 16 18 20 22 24 26 环流指标 28 30 32 34 36
环流指标
F分布表
统计量F也可以写为：
U /1 r F 2 2 Q /(n 2) se /( n 2) (1 r ) /( n 2) s yˆ /1
2 2
s yˆ / s r
2 2 y
2 xy
t
r 1 r
2
n2
注意: 对于一元线性回归来说，因为F的相关系数 表达式开方就是相关系数t检验的表达式,故 回归方程的检验与相关系数的检验一致。
1 n 1 n 1 n ˆ ˆ ( yi y ) 2 ( yi y ) 2 ( yi y ) 2 （4） n i 1 n i 1 n i 1
即：
s y s y se ˆ
2 2
2
• 方差分析表明，预报量y的变化可以看成由 前期因子x的变化所引起的，同时加上随机 因素e变化的影响，这种前期因子x的变化影 响可以用回归方差的大小来衡量。如果回 归方差大，表明用线性关系解释y与x的关系 比较符合实际情况，回归模型比较好。
回归方程 判决系数
上式表明预报因子x对预报量y的方差的线性关系程 度，这一比值又称为解释方差。 判决系数是衡量两个变量线性关系密切程度的量， 也等于两变量相关系数的平方。
判决系数的物理含义：
1. 回归平方和占总离差平方和的比例；
2. 反映回归直线的拟合程度；
3. 取值范围在[-1,1]
4. r2→1，说明回归方程拟合的越好；
(1)
(1)式也可以写成矩阵形式：
Y X e (2)
e1 e e 2 en
其中：
y1 y y 2 yn
0 1 p
x p1 1 x11 xp2 1 x12 X x pn 1 x1n
1. 描述因变量y如何依赖于自变量x1, x2, …, xp和 误差项 的方程，称为多元回归模型.
2. 涉及 p 个自变量的多元线性回归模型可表示为
y 0 1 x1 2 x2 p x p
0 ，1，2 ，，p是参数. y 是x1,，x2 ， ，xp 的线性函数加上误差项 . 是被称为误差项的随机变量,包含在y里面但不 能被p个自变量的线性关系所解释的变异性.
全部观测值与回归直线的离差平方和记为 :
ˆ Q(b0 , b) ( yi yi )
i 1
n
2
（2）
（2）式刻画了全部观测值与回归直线偏离程度。
显然，Q值越小越好, Q是待定系数a和b的函数。 根据极值原理，要求 :
Q 0 b0
Q 0 b
整理得到求回归系数b0、b的方程组：
第三章
回归分析
1. 一元线性回归分析 2. 多元线性回归分析 3. 逐步回归方法
回归分析是用来寻找若干变量之间统计联系 （关系）的一种方法。 它是一种统计模型，分为线性回归和非线性 回归。线性回归在气象中最为常用。 利用回归分析得到的统计关系对某一变量作 出未来时刻的估计，称为预报值（量）。前 期已发生的多个与之有关的气象要素称为预 报因子。
nb0 b xi yi i 1 i 1 n n n 2 b xi b xi xi yi 0 i 1 i 1 i 1
n n
（3）
（3）式称为求回归系数的标准方程组。
回归系数也可直接表示为：
b0 y bx n xi yi nxy S xy 1 b i n 2 Sx 2 2 xi nx i 1
2.
3.
四、回归方程的显著性检验
显著性检验的主要思想是检验预报因子与预报量是否有 线性关系。 可以证明在原假设总体回归系数为0的条件下，统计量
U 1 F Q ( n 2)
遵从分子自由度为1，分母自由度为（n－2）的F分布。 查F的分布表，在a=0.05下，若 F Fa
则认为回归方程是显著的。反之，则不显著。
i i
或
ˆ ydi bxdi
----距平形式回归方程
b S xy Sx
2

S xy
Sx S y Sx

Sy
rxy
Sy Sx
ˆ yzi rxy xzi
----标准化形式回归方程
二、回归问题的方差分析
1、意义 评价回归方程的优劣。
2、预报量的方差可以表示成回归估计值的方差 （回归方差）和误差（残差）方差之和。
20 15 10 5 0
7 6 5 4 y = -0.2343x + 7.5095 2 R = 0.5313
1961
1962 1963 1964
3.2
-1.1 2.5 1.2
24
30 22
气温T
30
3 2 1 0 -1 -2 14 16 18 20 22 24 26 28 环流指标 30 32 34 36
Q ˆ 可用无偏估计量 估计 n2
1 n ˆ ˆ 2 ( yi yi ) 2 n 2 i 1
ˆ ˆ 预报值的95%置信区间可近似估计为yi 1.96
一元线性回归分析预测步骤
年份 1951
气温T 0.9
环流指标 32
7 6 5 4 气温T 环流指标
40 35 30
• 我们得到的是一组实测p个变量的样本，利用这 组样本（n次抽样）对上述回归模型进行估计， 得到的估计方程为多元线性回归方程，记为:
i 1 n
1 n Q 2 2 ˆ ˆ ( yi yi ) n 2 n 2 i 1
或者根据F分布与t分布的关系，统计量
F U Q 1 b2 Q c
(n 2)
(n 2)
遵从分子自由度为1，分母自由度为n-2的F分布.
ˆ U yi y b0 bxi b0 bx
2 i 1 n i 1
n
n
2
b 2 xi x
i 1
2
b2 c
对回归方程的检验与对回归系数的检验一致.
六、预报值的置信区间
因为 yi可以看成遵从 N ( 0 xi ; 2 ) 的正态分布，
所以其95%的置信区间为 E ( y i ) 1.96
ˆ E ( yi )可用b0 bxi yi 估计
第一节 一元线性回归
一元回归分析处理的是两个变量之间 的关系，即一个预报量和一个预报因子之 间的关系。
一、回归模型
基本原理：对抽取容量为n的预报量y与预报因子x
的一组样本，如认为y与x是一元线性统计关系，则线 性回归方程为： y b0 bxi
i 1, 2,, n
那么预报量的估计量y 与x有如下关系： ˆ
假定预报量y与p个预报因子关系是线性，为研究它 们之间的联系作n次抽样，则可得到如下结构表达 式: yt 0 1 x1t 2 x2t p x pt et
t 1, 2, , n
展开
y1 0 1 x11 2 x21 p x p1 e1 y2 0 1 x12 2 x22 p x p 2 e2 y x x x e 0 1 1n 2 2n p pn n n
1952
1953 1954 1955 1956 1957 1958 1959 1960