第十章 回归预测法

•
未知参数， 称为随机误差，是一个随机变量， 应当满足两个前提条件，即：
E ( ) 0 var(对10.1式两边求期望，则有： ( yi ) xi E
• 称为一元线性回归方程，表明x和y之间 的关系是在平均以以下表述的，即当x的 值给定后利用回归模型计算得到的y值得 一个平均值。
yi y为总离差， ˆ yi yi为残差, ˆ y-y为回归离差
28
1、回归方程的拟合优度检验
• 与上式对应，存在：
yi y
i 1
n
2
ˆ ˆ yi yi yi y
2 i 1 i 1
n
n
2
• 其中：
y y 为总离差平方和,SST
• 第一、计算样本相关系数r。 • 第二、对样本来自的两总体是否存在显著的线性 关系进行检验。（基本步骤）
4
不同类型 r 的取值范围和含义相同
• r取值在-1~1之间；
• r>0表示变量间存在正的线性相关关系；r<0表 示变量间存在负的线性相关关系。
• r=1表示完全正相关，r=-1表示完全负相关，r =0表示不存在线性相关关系。
20
2、多元线性回归模型
•
0 , 1 ,, p
都是模型中的未知参数，分别称为 回归系数和偏回归系数，称为随机误差，也是 一个随机变量。如果对上式两边求期望，则有：
• E( y) 0 1x1 p xp • 上式称为多元线性回归方程。由于参数估计的 工作是基于样本数据，由此得到的参数只是参 数真值的估计值，记为 ，于是有：
12
10.4
线性回归分析
• 二、回归分析的一般步骤
• 1、确定回归方程中的解释变量和被解释变 量 • 2、确定回归模型 • 3、建立回归方程 • 4、对回归方程进行各种检验 • 5、利用回归方程进行预测。
13
10.4
线性回归分析
• 三、线性回归模型
• 1、一元线性回归模型
14
1、一元线性模型
设 x i , yi (i=1,2,„,n)为一组 样本观察值， 如果变量X与Y之间存在下列关系：
ˆ ˆ ˆ yi xi
• 称为一元线性经验回归方程 。
17
1、一元线性模型
几点解释：（1）变量的性质、参 数、线性的含义。（2）计量经济模型与 一般数学模型的区别。（3）随机项产生 的原因：忽略了次要的经济变量，观察和 计量不准确，人的经济行为的不确定性， 模型本身存在的问题等。
18
7
10.2
相关分析
• 相关系数
• Pearson简单相关系数 p197 • 用来度量定距型变量（等级量表）间的线性相 关关系。如测量收入和储蓄，身高和体重，工龄和收入
等变量间的线性相关关系时可用Pearson简单相关系数， 它的数字定义为：
r
x x y y
i 1 i i
10
10.3 偏相关分析
• 偏相关分析是在控制其他变量的线性影响的 条件下分析两变量间的线性相关，工具是偏 相关系数。 步骤：
• •
• • • •
•
计算偏相关系数 对样本来自的两总体是否存在显著的净相关进行 推断。
零假设 选择检验统计量 计算检验统计量的观测值和对应的概率p值。 决策
11
10.4
( y y) 2 中n-1个数据可以自由变
33
对于多元线性回归方程
• 计算调整的R2的原因：
• 在多元线性回归分析中，有两个方面的原因可以导 致R2值的增加： 第一，R2的数学特性决定当多元回归方程中的解释变 量个数增多时，SSE必然会随之减少进而导致R2值 的增加； 第二，回归方程中引入了对被解释变量有重要“贡献” 的解释变量而使R2值增加。 在多元线性回归分析中，调整的R2比R2更能够准确地 反映回归方程对样本数据的拟合程度。
• 统计关系可以分为线性相关和非线性相关关 系。线性相关可以分为正线性相关和负线性相关。
• 相关分析和回归分析是以不同的方式测度事物 间统计关系非常有效的工具。
3
10.2
相关分析
• 相关分析通过图形和数值两种方式，能 够有效揭示事物间统计关系的强弱关系。
• 1、散点图 将数据以点的形式画在直角平面上。通过散 点图能够直观地发现变量间的统计关系以及 他们的强弱程度和数据对的走向。 • 2、相关系数
SSE R 1
2
n p 1 SST n 1
• 其中，n-p-1，n-1分别是SSE和SST的自由度，由 此可知调整的R2是1-平均的SSE/平均的SST，本质 上也是拟合优度检验基本思路的体现。 • 调整R2的取值范围和数值大小的意义于R2完全相 同。 32
自由度的解释
一元线性回归中，总离差平方和的自由度为n－1， 这是因为Y共有n个已知数据 而在 动，当n-1个数据确定以后，第n个数据就不能 再变动了，必须受 ( y y) 0 的约束。
6
决策说明
• 如果检验统计量的概率p值小于显著性水平， 则认为如果此时拒绝零假设犯错误的可能性小 于显著性水平，其概率低于预先控制的水平， 不太可能犯错误，可以拒绝零假设； • 反之，如果检验统计量的概率p值大于显著性 水平，则认为如果此时拒绝零假设犯错误的可 能性大于显著性水平，其概率比预先控制的水 平高，很有可能犯错误，不应该拒绝零假设。
2 i 1 n i
n
ˆ y y 为残差平方和,SSE
2 i 1 i i
ˆ yi y 回归平方和，SSA
2 i 1
n
用记号表示，又可表述为SST= SSE +SSA
29
1、回归方程的拟合优度检验
• 在总离差平方和SST一定时，回归离差平 方和SSA大，残差平方和SSE就小，说明 总离差平方和SST的大部分可由解释变量 X给出解释，因而回归模型的拟合程度好， 反之则有相反的结论。
34
五、回归方程的统计检验
1. 2. 3. 4. 回归方程的拟合优度检验 回归方程的显著性检验（F检验） 回归系数的显著性检验（t检验） 残差分析
35
2、回归方程的显著性检验（F检验）
• 检验被解释变量与所有解释变量之间的线性关 系是否显著，用线性模型来描述它们之间的关 系是否恰当。 • 基本思想
• 在回归模型的分析中，被解释变量y的变 化可以把它看成是两类因素造成的 ： • 1）在模型中已有明确体现的解释变量的 影响作用 ； • 2）模型中笼统当作随机误差的影响效 用 。对它们进行比较分析，可以判定模 型的拟合程度。
27
1、回归方程的拟合优度检验
• 被解释变量y的变动，用它的离差 yi y 来反映，根据上面的分析， yi y 可分解 成： y y y y y y ˆi ˆi i i
• 衡量两个变量之间紧密程度的指标。针对序数变量 • 例如，产品质量的排序与公司市场份额的排序，只 r 能计算等级相关系数。 6 d2
rs 1

i 1 2
i
n(n 1)
• di：各对数据的等级差异 • n：样本的数据个数
• 检验
• 大样本的情况下，检验统计量为Z统计量： r n 1 Z
n
xi x yi y
2 i 1 i 1
n
n
2
8
10.2
相关分析
• Pearson简单相关系数不是度量非线性关 系的有效工具。 • Pearson简单相关系数的检验统计量为t 统计量。 n2 tr 1 r2
9
10.2
相关分析
• Spearman等级相关系数
线性回归分析
• 一、回归分析概述
• 分析事物之间的统计关系 ，侧重考察变量 之间的数量变化规律，并通过回归方程的形 式描述和反映这种关系。 • “回归”一词最早由英国生物学家兼统计学 家高尔登及其学生皮尔森提出。
• 回归分析的核心目的是找出回归线，涉及包 括如何得到回归线、如何描述回归线、回归 线可否用于预测等问题。
i 1
yx
24

五、回归方程的统计检验
1. 2. 3. 4. 回归方程的拟合优度检验 回归方程的显著性检验（F检验） 回归系数的显著性检验（t检验） 残差分析
25
1、回归方程的拟合优度检验
• 检验样本数据点聚集在回归线周围的密 集程度，从而评价回归方程对样本数据 的代表程度。
26
1、回归方程的拟合优度检验
ˆ ˆ ˆ 0 , 1 , , p
• 上式称为多元线性经验回归方程。 ˆ ˆ ˆ ˆ y x x
0 1 1 p p
21
4、模型参数的估计
关于模型参数估计，常用的方法是OL S估计（普通最小二乘法）。
ˆ ˆ , 分别是 和的估计, 则理论模型可以写成 ˆ ˆ y x
23
4、模型参数的估计
i yi xi , 对该式两边求平方和得 i ( yi xi ) 2 , 并求其极小值.
i 1 i 1 n



2
n


由此可得 :



(x
i 1 n
n
i
x)( yi y )
( xi x ) 2
30
对于一元线性经验回归方程
• 用下列指标即拟合优度系数（判定系数） 进行说明：
SSR SSE R 1 SST SST
2
0 R2 1
• 含义：在总离差平方和中，由解释变量X 做出解释的部分所占的比例。 • 例如： p208
31
对于多元线性回归方程
• 采用 R 2统计量。统计量为调整的判定系 数或调整的决定系数，数学定义为：