第二章回归分析基本方法
气象统计分析与预报方法：08-第二章-回归分析4
▪ 感谢阅读
End Of Curve Estimation
➢非线性回归 2
多项式回归
yi 0 1xi 2 xi2 ... p xip ei
可化为线性的曲线回归 初等函数变换
一般的非线性回归
yi f ( xi , ) ei
用Gauss-Newton 法确定系数向量
感谢阅读
▪ 感谢阅读
▪ 感谢阅读
2.20 162.00 5.09
.79
10.00 12.00 2.48 2.30
8.10 19.00 2.94 2.09
Let Y2=ln(Y), X2=ln(X) Then Y2=ln(b)+b1* ln(X)
14.80 7.90 2.07 2.69
5.5
2.80 178.00 5.18 1.03
参数设置 因变量 自变量
Models (Selection)
中文含义
线性 二次曲线 复合函数 生长曲线 对数函数 三次曲线 S--曲线 指数函数 倒数函数 幂函数 逻辑斯谛函数
其它例子： 1）Y=b0+b1t+b2t2 令：X1=t; X2=t2 则化为线性二元回归方程： Y= b0+b1X1+b2X2 2）Y=a X-b exp(-cX) 取对数：ln(Y)=ln(a)-b*ln(X)-c*X
3.00 135.00
200
11.40
8.90
4.80 6.80 10.20
61.60 39.80 10.00
Example 2:power
100
Observed
Cu b i c
0
P ow er
2
4
6
8
一元线性回归分析
C=α+βy + µ
其中， µ是随机误差项。 是随机误差项。 其中， 是随机误差项 根据该方程， 的值， 根据该方程，每给定一个收入 y 的值，消 并不是唯一确定的， 费C并不是唯一确定的，而是有许多值， 并不是唯一确定的 而是有许多值， 他们的概率分布与µ的概率分布相同 的概率分布相同。 他们的概率分布与 的概率分布相同。 线性回归模型的特征： 线性回归模型的特征： 有随机误差项！ 有随机误差项！
21
说
明
一、严格地说，只有通过了线性关系的检验，才 严格地说，只有通过了线性关系的检验， 能进行回归参数显著性的检验。 能进行回归参数显著性的检验。 有些教科书在介绍回归参数的检验时没有考虑线 性关系的检验，这是不正确的。 性关系的检验，这是不正确的。因为当变量之间 的关系没有通过线性检验时， 的关系没有通过线性检验时，进行回归参数显著 性的检验是没有意义的。 性的检验是没有意义的。 在一元线性回归分析中， 二、在一元线性回归分析中，即只有一个解释变 量时，这两种检验是统一的。 量时，这两种检验是统一的。但在多元回归分析 这两种检验的意义是不同的。 中，这两种检验的意义是不同的。 为了说明该问题， 为了说明该问题，我们在本章中依然把两种检验 分开论述。 分开论述。
13
为了达到上述目的， 为了达到上述目的，我们直观上会采 用以下准则： 用以下准则： 选择这样的SRF，使得： 选择这样的 ，使得：
残差和∑ ε i = ∑ ( yi − yi )尽可能小！ ˆ
但这个直观上的准则是否是一个很好 的准则呢？我们通过以下图示说明： 的准则呢？我们通过以下图示说明：
14
12
ˆx i + ε i yi = α + β ˆ ˆ 即：y i = y i + ε i ˆ ∴ ε i = yi − yi
第二章2.2一元线性回归分析
ˆ β1 ~ N ( β1 ,
∑x
σ2
2 i
)
ˆ β 0 ~ N (β 0 ,
∑ n∑ x
X i2
2 i
σ 2)
22
随机误差项u的方差σ 随机误差项 的方差σ2的估计 的方差
σ2又称为总体方差 总体方差。 总体方差
23
由于随机项ui不可观测，只能利用残差ei (ui的 估计)的样本方差，来估计ui的总体方差σ2 。 样本方差？ 样本方差？ 可以证明，σ2的最小二乘估计量 最小二乘估计量为: 可以证明 最小二乘估计量
= β1 + P lim(∑ xi µ i / n) P lim(∑ xi2 / n)
xi µ i
2 i
∑x
)
样本协方差？ 样本协方差？
Cov ( X , µ ) 0 = β1 + = β1 + = β1 Q Q
21
四、参数估计量的抽样分布及随机项方 差的估计
ˆ ˆ 、 1、参数估计量 β 0 和 β 1 的概率分布
Yi = β0 + β1 X i + ui
i=1
Y为被解释变量，X为解释变量，β0与β1为待估 待估 参数， 随机项。 参数 u为随机项。 随机项
2
回归分析的主要目的是要通过样本回归函数 回归分析的主要目的 （模型）SRF尽可能准确地估计总体回归函数 （模型）PRF。 估计方法有多种，其中最广泛使用的是普通最 普通最 估计方法 小二乘法（ordinary least squares, OLS）。 小二乘法 为保证参数估计量具有良好的性质，通常对模 型提出若干基本假设。 实际这些假设与所采用的估计方法紧密相关。
2
1 X2 = + n ∑ x2 i
第二章简单线性回归模型
4000
2037 2210 2325 2419 2522 2665 2799 2887 2913 3038 3167 3310 3510
2754
4500
2277 2388 2526 2681 2887 3050 3189 3353 3534 3710 3834
3039
5000 5500
2469 2924 2889 3338 3090 3650 3156 3802 3300 4087 3321 4298 3654 4312 3842 4413 4074 4165
Yi 与 E(Yi Xi )不应有偏差。若偏
差u i 存在，说明还有其他影响因素。
Xi
X
u i实际代表了排除在模型以外的所有因素对 Y 的影
响。 u i
◆性质 是其期望为 0 有一定分布的随机变量
重要性：随机扰动项的性质决定着计量经济分析结19
果的性质和计量经济方法的选择
引入随机扰动项 u i 的原因
特点：
●总体相关系数只反映总体两个变量 X 和 Y 的线性相关程度 ●对于特定的总体来说，X 和 Y 的数值是既定的，总体相关系
数 是客观存在的特定数值。
●总体的两个变量 X 和 Y的全部数值通常不可能直接观测，所
以总体相关系数一般是未知的。
7
X和Y的样本线性相关系数：
如果只知道 X 和 Y 的样本观测值，则X和Y的样本线性
计量经济学
第二章 一元线性回归模型
1
未来我国旅游需求将快速增长，根据中国政府所制定的 远景目标，到2020年，中国入境旅游人数将达到2.1亿人 次；国际旅游外汇收入580亿美元，国内旅游收入2500亿 美元。到2020年，中国旅游业总收入将超过3000亿美元， 相当于国内生产总值的8%至11%。
第二章：双变量线性回归分析
第⼆章：双变量线性回归分析第三部分初计量经济（13周）经典单⽅程计量经济模型：⼀元线形回归模型经典单⽅程计量经济模型：多元线形回归模型经典单⽅程计量经济模型：放宽基本假定模型第⼀章⼀元线性回归（双变量）（1）回归分析的基本概念（2）前提建设（3）参数估计：OLS的参数估计ML的参数估计（4）统计检验（5）预测（6）时间案例与操作（7）思考与作业§1 经典正态线性回归模型（CNLRM）1、⼀个例⼦注 x 表⽰收⼊，y 表⽰⽀出。
5010015020050100150200250300XYY vs. X5010015020050100150200250300XY 1Y1 vs. X条件分布：以X 取定值为条件的Y 的条件分布条件概率：给定X 的Y 的概率，记为P(Y|X)。
例如，P(Y=55|X=80)=1/5；P （Y=150|X=260）=1/7。
条件期望（conditional Expectation ）：给定X 的Y 的期望值，记为E(Y|X)。
例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋70×1/5＋75×1/5＝65总体回归曲线（Popular Regression Curve ）（总体回归曲线的⼏何意义）：当解释变量给定值时因变量的条件期望值的轨迹。
总结总体：总体函数：总体⽅程：样本：样本函数：样本⽅程：2、总体回归函数（PRF）E(Y|X i)=f(X i)当PRF的函数形式为线性函数，则有，E(Y|X i)=β1+β2X i其中β1和β2为未知⽽固定的参数，称为回归系数。
β1和β2也分别称为截距和斜率系数。
上述⽅程也称为线性总体回归函数。
3、PRF的随机设定将个别的Y I围绕其期望值的离差(Deviation)表述如下：u i=Y i-E(Y|X i)或Y i=E(Y|X i)+u i其中u i是⼀个不可观测的可正可负的随机变量，称为随机扰动项或随机误差项。
第2章多元回归分析
y = b0 + b1x1 + b2x2 + . . . bkxk + u
1
Multiple Regression Analysis
y = b0 + b1x1 + b2x2 + . . . bkxk + u
1. Estimation
2
Parallels with Simple Regression
fIrno mthethgeefniersrtalocrdaeser cwointhd iktioinnd, ewpeencdanengtevt akriab1 les,
lwineeasreeeqkueasttiiomnastienskbˆ0,1bˆu1,n k n,obˆwk
tynˆheryebiˆf0orbeˆb,0ˆ1mx1ibnˆ1ixmi1 izebˆtkhxekbˆskuxmik of
The STATA command
Use [path]wage1.dta (insheet using [path]wage1.raw/wage1.txt) Reg wage educ exper tenure Reg lwage educ exper tenure
7
A “Partialling Out” Interpretation
8
“Partialling Out” continued
Previous equation implies that regressing y on x1 and x2 gives same effect of x1 as regressing y on residuals from a regression of x1 on x2
第二章 一元线性回归
n ei 0 i 1 n xe 0 i i i 1
经整理后,得正规方程组
n n ˆ ˆ n ( x ) 0 i 1 yi i 1 i 1 n n n ( x ) ˆ ( x 2 ) ˆ xy i 0 i 1 i i i 1 i 1 i 1
y ˆ i 0 1xi ˆi 之间残差的平方和最小。 使观测值 y i 和拟合值 y
ei y i y ˆi
n
称为yi的残差
ˆ , ˆ ) ˆ ˆ x )2 Q( ( y i 0 1i 0 1
i 1
min ( yi 0 1 xi ) 2
i
xi x
2 ( x x ) i i 1 n
yi
2 .3 最小二乘估计的性质
二、无偏性
ˆ ) E ( 1
i 1 n
n
xi x
2 ( x x ) j j 1 n
其中用到
E ( yi )
( x x) 0 (xi x) xi (xi x)2
二、用统计软件计算
1．例2.1 用Excel软件计算
什么是P 值?(P-value)
• P 值即显著性概率值 ，Significence Probability Value
•
是当原假设为真时所得到的样本观察结果或更极端情况 出现的概率。
P值与t值： P t t值 P值
•
它是用此样本拒绝原假设所犯弃真错误的真实概率，被 称为观察到的(或实测的)显著性水平。P值也可以理解为 在零假设正确的情况下，利用观测数据得到与零假设相 一致的结果的概率。
2 .1 一元线性回归模型
第二章 一元线性回归模型 知识点
第二章一元线性回归模型一、知识点列表二、关键词1、回归分析基本概念关键词：回归分析在计量经济学中，回归分析方法是研究某一变量关于另一（些）变量间数量依赖关系的一种方法，即通过后者观测值或预设值来估计或预测前者的（总体）均值。
回归的主要作用是用来描述自变量与因变量之间的数量关系，还能够基于自变量的取值变化对因变量的取值变化进行预测，也能够用来揭示自变量与因变量之间的因果关系关键词：解释变量、被解释变量影响被解释变量的因素或因子记为解释变量，结果变量被称为被解释变量。
2、回归模型的设定关键词：随机误差项（随机干扰项）不包含在模型中的解释变量和其他一些随机因素对被解释变量的总影响称为随机误差项。
产生随机误差项的原因主要有：（1）变量选择上的误差；（2）模型设定上的误差；（3）样本数据误差；（4）其他原因造成的误差。
关键词：残差项（residual ）通过样本数据对回归模型中参数估计后，得到样本回归模型。
通过样本回归模型计算得到的样本估计值与样本实际值之差，称为残差项。
也可以认为残差项是随机误差项的估计值。
3、一元线性回归模型中对随机干扰项的假设 关键词：线性回归模型经典假设线性回归模型经典假设有5个，分别为：（1）回归模型的正确设立；（2）解释变量是确定性变量，并能够从样本中重复抽样取得；（3）解释变量的抽取随着样本容量的无限增加，其样本方差趋于非零有限常数；（4）给定被解释变量，随机误差项具有零均值，同方差和无序列相关性。
（5）随机误差项服从零均值、同方差的正态分布。
前四个假设也称为高斯马尔科夫假设。
4、最小二乘估计量的统计性质关键词：普通最小二乘法（Ordinary Least Squares ，OLS ）普通最小二乘法是通过构造合适的样本回归函数，从而使得样本回归线上的点与真实的样本观测值点的“总体误差”最小，即：被解释变量的估计值与实际观测值之差的平方和最小。
ββ==---∑∑∑nn n222i i 01ii=111ˆˆmin =min ()=min ()i i i i u y y y x关键词：无偏性由于未知参数的估计量是一个随机变量，对于不同的样本有不同的估计量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
三、随机扰动项
记
? i ? Yi ? E(Y | Xi )
称? i为观察值Yi围绕它的期望值 E(Y|Xi)的离差
（deviation ），是一个不可观测的随机变量，又称 为随机干扰项 （stochastic disturbance ）或随机误 差项（stochastic error ）。
(*)
第二章 回归分析的基本方法
回归分析概述 线性回归模型及假定 线性回归模型的参数估计
§2.1 回归分析概述
一、变量间的关系及回归分析的基本概念 二、一元总体回归函数 三、随机扰动项 四、一元样本回归函数、变量间的关系及回归分析的基本概念
1、变量间的关系 经济变量之间的关系，大体可分为两类：
正相关 线性相关 不相关 相关系数：
统计依赖关系
负相关 ? 1 ? ? XY ? 1
正相关 非线性相关 不相关
负相关
有因果关系 回归分析 无因果关系 相关分析
▲注意：
①不线性相关并不意味着不相关； ②有相关关系并不意味着一定有因果关系； ③回归分析 /相关分析 研究一个变量对另一个 （些）变量的统计依赖关系，但它们并不意味着一定 有因果关系。 ④相关分析 对称地对待任何（两个）变量，两个 变量都被看作是随机的。 回归分析对变量的处理方法 存在不对称性，即区分应变量（被解释变量）和自变 量（解释变量）：前者是随机变量，后者不是。
回归分析构成计量经济学的方法论基础，其主要内容包括： （1）根据样本观察值对经济计量模型参数进行估计，求得回 归方程；
（2）对回归方程、参数估计值进行显著性检验； （3）利用回归方程进行分析、评价及预测。
二、一元总体回归函数
回归分析关心的是根据解释变量的已知或 给定值，考察被解释变量的总体均值，即当解 释变量取某个确定值时，与之统计相关的被解 释变量所有可能出现的对应值的平均值。
（1）确定性关系 或函数关系 ：研究的是 确定现象非随机变量间的关系。
（2）统计依赖 或相关关系： 研究的是非确 定现象随机变量间的关系。
例如： 函数关系：
圆面积 ? f ?? ,半径 ?? ? ?半径 2
统计依赖关系 /统计相关关系：
农作物产量? f ?气温, 降雨量, 阳光, 施肥量?
对变量间统计依赖关系的考察主要是通过相关分析(correlation analysis)或回归分析(regression analysis)来完成的：
? 概念：
在给定解释变量 Xi条件下被解释变量 Yi的期望 轨迹称为一元总体回归线 （population regression line），或更一般地称为 一元总体回归曲线 （population regression curve ）。
相应的函数：
E(Y | Xi ) ? f (Xi )
称为（双变量） 一元总体回归函数 （population regression function , PRF）。
由于方程中引入了随机项，成为计量经济模型，因此 也称为一元样本回归模型（sample regression model）。
▼回归分析的主要目的 ：根据样本回归函数 SRF，估计 总体回归函数PRF。
即，根据
Yi ? Y?i ? ei ? ??0 ? ??1 Xi ? ei
估计
Yi ? E(Y | Xi ) ? ? i ? ? 0 ? ? 1 Xi ? ? i
样本散点图近似于一条直线，画一条直线以尽好地拟合该 散点图，由于样本取自总体，可以该线近似地代表总体回归线。 该线称为一元样本回归线（sample regression lines）。
记样本回归线的函数形式为：
Y?i ? f ( Xi ) ? ??0 ? ??1 Xi
称为一元样本回归函数（sample regression function， SRF）。
? 含义：
回归函数（ PRF）说明被解释变量 Y的平均状 态（总体条件期望）随解释变量 X变化的规律。
? 函数形式：
可以是线性或非线性的。
E(Y | Xi ) ? ? 0 ? ? 1 Xi
为一线性函数。 其中，?0，?1是未知参数，称为
回归系数 （regression coefficients ）。 。
2、回归分析的基本概念
回归分析(regression analysis)是研究一个变量关于另一个 （些）变量的具体依赖关系的计算方法和理论。
其用意：在于通过后者的已知或设定值，去估计和（或）预 测前者的（总体）均值。
这里：前一个变量被称为被解释变量（Explained Variable ） 或应变量（Dependent Variable ），后一个（些）变量被称为解 释变量（Explanatory Variable ）或自变量（Independent Variable ）。
产生并设计随机误差项的主要原因： 1）理论的含糊性； 2）数据的欠缺； 3）节省原则。
四、一元样本回归函数（SRF）
总体的信息往往无法掌握，现实的情况只能是在 一次观测中得到总体的一个样本。
问题：能从一次抽样中获得总体的近似的信息吗？ 如果可以，如何从抽样中获得总体的近似信息？
该样本的散点图（scatter diagram) ：
（*）式称为一元总体回归函数 （方程） PRF的随 机设定形式。表明被解释变量除了受解释变量的系统 性影响外，还受其他因素的随机性影响 。
由于方程中引入了随机项，成为计量经济学模型， 因此也称为 一元总体回归模型 。
随机误差项主要包括下列因素的影响： 1）在解释变量中被忽略的因素的影响； 2）变量观测值的观测误差的影响； 3）模型关系的设定误差的影响； 4）其它随机因素的影响。
注意： 这里将样本回归线 看成总体回归线 的近似替代
则
样本回归函数的随机形式 /样本回归模型 ：
同样地，样本回归函数也有如下的随机形式：
Yi ? Y?i ? ??i ? ??0 ? ??1 Xi ? ei
式中，ei 称为（样本）残差（或剩余）项（residual），代表
了其他影响Yi 的随机因素的集合，可看成是? i 的估计量??i 。
注意：这里PRF可能永 远无法知道。
§2.2 线性回归模型