22一元线性回归模型的基本假设
合集下载
一元线性回归模型
2
1 n ˆ xi )2 = 1 ( Lyy − bLxy ). ˆ ˆ 即 σ = ∑ ( yi − a − b ˆ n i =1 n
2
n σ 2. 而σ 的无偏估计是 ˆ n−2
2
∴σ ˆ
*2
n 1 2 ˆ σ = ( Lyy − bLxy ). = ˆ n−2 n−2
ex1. 设有一组观察值如下，求回归方程 设有一组观察值如下，求回归方程.
ˆ ˆ ˆ 对于x0可得 y0 = a + bx0 , 称其为 Y0的点预测.
( 2) Y0的区间估计 : 选取 T =
σ* ˆ
ˆ Y0 − y0 ~ t ( n − 2) 2 1 ( x0 − x ) 1+ + n Lxx
对于任意给定的 0 < α < 1, 有 P { T < tα ( n − 2)} = 1 − α .
研究变量间的相关关系，确定回归函数， 研究变量间的相关关系，确定回归函数，由此预测和控 制变量的变化范围等就是回归分析。 制变量的变化范围等就是回归分析。 研究两个变量间的相关关系，称为一元回归分析； 研究两个变量间的相关关系，称为一元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 若回归函数为线性函数，则称为线性回归分析。 若回归函数为线性函数，则称为线性回归分析。
所以y与 之间显著地存在线性关系 之间显著地存在线性关系. 所以 与x之间显著地存在线性关系
四、一元线性回归模型的应用—预测与控制 一元线性回归模型的应用 预测与控制 1. 预测问题
(根据 = a + bx + ε , 研究 = x0时如何估计 0 ) Y x Y
(1) Y0的点估计 :
1 n ˆ xi )2 = 1 ( Lyy − bLxy ). ˆ ˆ 即 σ = ∑ ( yi − a − b ˆ n i =1 n
2
n σ 2. 而σ 的无偏估计是 ˆ n−2
2
∴σ ˆ
*2
n 1 2 ˆ σ = ( Lyy − bLxy ). = ˆ n−2 n−2
ex1. 设有一组观察值如下，求回归方程 设有一组观察值如下，求回归方程.
ˆ ˆ ˆ 对于x0可得 y0 = a + bx0 , 称其为 Y0的点预测.
( 2) Y0的区间估计 : 选取 T =
σ* ˆ
ˆ Y0 − y0 ~ t ( n − 2) 2 1 ( x0 − x ) 1+ + n Lxx
对于任意给定的 0 < α < 1, 有 P { T < tα ( n − 2)} = 1 − α .
研究变量间的相关关系，确定回归函数， 研究变量间的相关关系，确定回归函数，由此预测和控 制变量的变化范围等就是回归分析。 制变量的变化范围等就是回归分析。 研究两个变量间的相关关系，称为一元回归分析； 研究两个变量间的相关关系，称为一元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 若回归函数为线性函数，则称为线性回归分析。 若回归函数为线性函数，则称为线性回归分析。
所以y与 之间显著地存在线性关系 之间显著地存在线性关系. 所以 与x之间显著地存在线性关系
四、一元线性回归模型的应用—预测与控制 一元线性回归模型的应用 预测与控制 1. 预测问题
(根据 = a + bx + ε , 研究 = x0时如何估计 0 ) Y x Y
(1) Y0的点估计 :
计量经济学第二章(第一部分)
i= 1
同
上
该准则消除了正负误差抵消，其缺点是：
不能保证找到的直线具有无偏性。如：
+2 －1
－1
+3
0 0
3 Yi -Yˆ i = 4
3
2
Yi -Yˆ i =6
i=1
i=1
3
3
2
Yi -Yˆ i = 3
Yi -Yˆ i =9
i=1
i=1
33 计量经济学
（3）使得
13 计量经济学
Y i01X iui,i1,2n,..., 同
上
其中 0，1 称为回归参数；u为随机误差 项； X称为解释变量；Y称为被解释变量。 “一元”是指：只有一个解释变量；
14 计量经济学
Y i01X iui,i1,2n,..., 同
上
“线性”包含：
被解释变量与间 解为 释线 变性 量关系
量Y的影响；
16 计量经济学
同 上
（2）变量观测值的观测误差的影响； （3）模型数学形式的设定误差影响； （4）其它随机因素的影响。
17 计量经济学
同 上
2、随机误差项u的特性
（1）对被解释变量Y的影响方向，有正有负；
（2）由于代表次要因素，因此，对Y的总平
均影响可视为零；
（3）对被解释变量Y的影响是非趋势的，是
假定2、3统称为高斯－马尔可夫假定。
23 计量经济学
假定4 cov(Xi,ui)=Exiui＝0 ,
假
定
i=1,2,…,n且X为确定性变量，而非 4
随机变量。
如果解释变量X是确定性变量而非随机变 量该假定自动成立，即EXi＝Xi ，EXiui＝ XiEui= 0 。该假定表明X与u不相关。因 为在模型中u包含了除X对Y的影响外其它 因素对Y的影响，因此应与X对Y的影响分 开。
§2.1线性回归模型概述解析
01-2-28
重庆商学院经济系
总体分布
200
150
Y
100 50 50
100
150 X
200
250
300
01-2-28
重庆商学院经济系
8
总体回归曲线 （Popular Regression Curve）
条件分布：以X取定值为条件的Y的条件分布 条件概率：给定X的Y的概率，记为P(Y|X)。 例如，P(Y=55|X=80)=1/5；P（Y=150|X=260）=1/7。 条件期望（conditional Expectation）：给定X的Y的 期望值，记为E(Y|X)。 例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋ 70×1/5＋75×1/5＝65 （总体回归曲线的几何意义）：当解释变量给定值时 因变量的条件期望值的轨迹。
重庆商学院经济系 2
01-2-28
§2.1 线性回归模型概述
一、 线性回归模型的特征 二、 线性回归的普遍性 三、 线性回归模型的基本假设
01-2-28
重庆商学院经济系
3
单方程回归模型概述
单方程回归模型分为；线性和非线性 线性模型（按变量划分）；变量以1次的形式出现 线性模型（按参数划分）；参数以1次的形式出现 线性回归模型是线性模型的一种，参数以1次形式出现， 通常可以通过一些变换，将非1次的变量化为1次。 线性回归模型的数学基础；回归分析，企图通过回归 模型的形式揭示变量之间的因果关系 线性回归模型是是一类最为普遍的计量经济模型
展开泰勒级数，得到一个线性近似公式
01-2-28
重庆商学院经济系
22
三、线性回归模型的基本假定
计量经济学第2章 一元线性回归模型
15
~ ~ • 因为 2是β2的线性无偏估计，因此根据线性性， 2 ~ 可以写成下列形式： 2 CiYi
• 其中αi是线性组合的系数，为确定性的数值。则有
E ( 2 ) E[ Ci ( 1 2 X i ui )]
E[ 1 Ci 2 Ci X i Ci ui ]
6
ˆ ˆ X )2 ] ˆ , ˆ ) [ (Yi Q( 1 2 i 1 2 ˆ ˆ X 2 Yi 1 2 i ˆ ˆ 1 1 2 ˆ ˆ ˆ ˆ [ ( Y X ) ] 1 2 i Q( 1 , 2 ) i ˆ ˆ X X 2 Yi 1 2 i i ˆ ˆ 2 2
16
~
i
i
• 因此 ~ 2 CiYi 1 Ci 2 Ci X i Ci ui 2 Ci ui
• 再计算方差Var( ) 2 ，得 ~ ~ ~ 2 ~ Var ( 2 ) E[ 2 E ( 2 )] E ( 2 2 ) 2
C E (ui )
2 i 2 i
i
~
i
i
i
i
E ( 2 Ci ui 2 ) 2 E ( Ci ui ) 2
i
2 u
C
i
2 i
i
~ ˆ)的大小，可以对上述表达式做一 • 为了比较Var( ) 和 Var( 2 2
些处理： ~ 2 2 2 2 Var ( 2 ) u C ( C b b ) i u i i i
8
• 2.几个常用的结果
• （1） • （2） • （3） • （4）
计量经济学复习资料2
2、如果假设 4 满足，则假设 2 也满足。
以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模
型，也称为经典线性回归模型
二、参数的普通最小二乘估计（OLS）
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值.
普通最小二乘法给出的判断标准是：二者之差的平方和最小。
R 2 1 RSS /(n k 1) TSS /(n 1) 其中：n-k-1 为残差平方和的自由度，n-1 为总体平方和
的自由度。
R 2 1 (1 R 2 ) n 1 n k 1
三、方程的显著性检验(F 检验) H0： ß0= ß1= ß2= … =ßk=0 H1： ßj 不全为 0
TSS yi2 (Yi Y )2 总体平方和
ESS yˆi2 (Yˆi Y )2 回归平方和
RSS ei2 (Yi Yˆi )2 残差平方和
1、TSS=ESS+RSS 2、可决系数 R2 统计量
记
R 2 ESS 1 RSS
TSS
TSS
称 R2 为（样本）可决系数/判定系数 可决系数的取值范围：[0，1] R2 越接近 1，说明实际观测点离样本线越近，拟合优度越高。 T 检验 检验步骤： （1）对总体参数提出假设
n
n
Q (Yi Yˆi )2 (Yi (ˆ0 ˆ1 X i ))2
1
1
xi2
(X i X )2
X
2 i
1 n
Xi 2
xi yi
(X i X )(Yi Y )
X
iYi
1 n
X i Yi
上述参数估计量可以写成：
ˆ1
应用回归分析第四版课后习题答案-全-何晓群-刘文卿
实用回归分析第四版 第一章 回归分析概述1.3 回归模型中随机误差项ε的意义是什么？答：ε为随机误差项，正是由于随机误差项的引入，才将变量间的关系描述为一个随机方程，使得我们可以借助随机数学方法研究y 与x1,x2…..xp 的关系，由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。
1.4 线性回归模型的基本假设是什么？答：线性回归模型的基本假设有：1.解释变量x1.x2….xp 是非随机的，观测值xi1.xi2…..xip 是常数。
2.等方差及不相关的假定条件为{E(εi)=0 i=1,2…. Cov(εi,εj)=｛σ^23.正态分布的假定条件为相互独立。
4.样本容量的个数要多于解释变量的个数，即n>p.第二章 一元线性回归分析思考与练习参考答案2.1 一元线性回归有哪些基本假定?答： 假设1、解释变量X 是确定性变量，Y 是随机变量；假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=σ2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, σ2 ) i=1,2, …,n 2.3 证明（2.27式），∑e i =0 ，∑e i X i =0 。
证明：其中：∑∑+-=-=nii i n i X Y Y Y Q 121021))ˆˆ(()ˆ(ββ01ˆˆˆˆi i i i iY X e Y Y ββ=+=-0100ˆˆQQββ∂∂==∂∂即： ∑e i =0 ，∑e i X i =02.5 证明0ˆβ是β0的无偏估计。
一元线性回归模型.ppt
1. ei =0 2. ei Xi=0 3.样本回归方程过（X , Y ）点
4.截距为0的一元线性回归模型参数估 计式
一元线性回归模型参数估计举例（ P23页）
四、估计量的统计学性质
1. 线性性：bˆ0 , bˆ1 都是Yi的线性函数。
bˆ1
xi
y i
x2 i
xi (Y i Y
x2 i
)
xiY i
ˆ 的密度函数
Var(ˆ)
0
E(ˆ )
为什么具有BLUE性质的估计量是优良的估计量？
五、 bˆ0 ，bˆ1 的分布
bˆ0
、bˆ1
都 服从正态分布
bˆ0 ˜N（b0 、
X
2 i
n
x2 i
u2
）
1
x bˆ1 ˜N（b1 、
2 i
u2
）
（证明略）
六、随机项u的方差2的估计
1（.定证理明：从略ˆu2） n e2i2 是 u2的一个无偏估计值
假定六：解释变量X 是一组确定性变量， 随机扰动项 ui与解释变量Xi无关, 即
Cov（ ui，Xj ）=0 。 假定七：解释变量之间不是完全线性相 关的。称无完全多重共线性。
对假定的学习思路：先结合随机项的特性,理 解假定含义,认为这些假定是成立的，学习参 数的估计、模型检验等。然后，在后面的章 节讨论这些假定是否成立？不成立会出现什 么问题？怎样检验？如何解决？
把握这个思路很重要哦!
四、回归分析 1.什么是回归分析？ 是回归模型的建立、估计、检验理论和 方法的统称 2.回归分析的主要内容
建立模型、估计模型、检验模型 、应用
二、四种重要的关系式
• 1. 总体关系式：Yi=b0+ u b1Xi+ i
4.截距为0的一元线性回归模型参数估 计式
一元线性回归模型参数估计举例（ P23页）
四、估计量的统计学性质
1. 线性性：bˆ0 , bˆ1 都是Yi的线性函数。
bˆ1
xi
y i
x2 i
xi (Y i Y
x2 i
)
xiY i
ˆ 的密度函数
Var(ˆ)
0
E(ˆ )
为什么具有BLUE性质的估计量是优良的估计量？
五、 bˆ0 ，bˆ1 的分布
bˆ0
、bˆ1
都 服从正态分布
bˆ0 ˜N（b0 、
X
2 i
n
x2 i
u2
）
1
x bˆ1 ˜N（b1 、
2 i
u2
）
（证明略）
六、随机项u的方差2的估计
1（.定证理明：从略ˆu2） n e2i2 是 u2的一个无偏估计值
假定六：解释变量X 是一组确定性变量， 随机扰动项 ui与解释变量Xi无关, 即
Cov（ ui，Xj ）=0 。 假定七：解释变量之间不是完全线性相 关的。称无完全多重共线性。
对假定的学习思路：先结合随机项的特性,理 解假定含义,认为这些假定是成立的，学习参 数的估计、模型检验等。然后，在后面的章 节讨论这些假定是否成立？不成立会出现什 么问题？怎样检验？如何解决？
把握这个思路很重要哦!
四、回归分析 1.什么是回归分析？ 是回归模型的建立、估计、检验理论和 方法的统称 2.回归分析的主要内容
建立模型、估计模型、检验模型 、应用
二、四种重要的关系式
• 1. 总体关系式：Yi=b0+ u b1Xi+ i
计量经济学第二章 一元线性回归模型(1)(肖)
10
2．在经济学中，经济学家要研究个人
消费支出与个人可支配收入的依赖关系。
这种分析有助于估计边际消费倾向，就是
可支配收入每增加一元引起消费支出的平
均变化。
11
3．在企业中，我们很想知道人们对企
业产品的需求与广告费开支的关系。这种
研究有助于估计出相对于广告费支出的需
求弹性，即广告费支出每变化百分之一的
（2.3）
想想：结合表2.1的资料 ，怎样理解式（2.3）
变量Y 的原因， 给定变量X 的值也不能具
体确定变量Y的值， 而只能确定变量Y 的
统计特征，通常称变量X 与Y 之间的这种
关系为统计关系。
16
例如，企业总产出Y 与企业的资本投入
K 、劳动力投入L 之间的关系就是统计关 系。虽然资本K 和劳动力L 是影响产出Y 的两大核心要素，但是给定K 、L 的值并 不能确定产出Y 的值。因为，总产出Y 除 了受资本投入K、劳动力投入L 的影响外
在进入正式的回归理论之前，先斟酌一下变量y与变 量x可以互换的不同名称、术语。 Y 因变量 X 自变量
被解释变量 响应变量
被预测变量
解释变量 控制变量
预测变量
回归子
归回元
22
第二节
一、引例
一元线性回归模型
假定我们要研究一个局部区域的居 民消费问题，该区域共有80户家庭组成 ，将这80户家庭视为一个统计总体。
32
函数f (Xi)采取什么函数形式，是一个
需要解决的重要问题。在实际经济系统
中，我们不会得到总体的全部数据，因
而就无法据已知数据确定总体回归函数 的函数形式。同时，对总体回归函数的 形式只能据经济理论与经验去推断。
第二讲 一元线性回归模型
ˆ X i2 Yi X i Yi X i 0 2 2 nX i (X i ) ˆ nYi X i Yi X i 1 nX i2 (X i ) 2
ˆ xi yi 1 xi2 Y X ˆ ˆ 1 0
第二章 经典单方程计量经济学模型： 一元线性回归模型 The Classical Single Equation Econometric Model: Simple Regression Model
本章内容
• §2.1一元线性回归模型的设定与古典假
设
• §2.2一元线性回归模型的参数估计 • §2.3一元线性回归模型的检验 • §2.4一元线性回归模型的预测
计值偏离的大小，也是模型中解释 变量未解释的那部分离差的大小。
TSS=ESS+RSS Y的观测值围绕其均值的总离差(total variation) 可分解为两部分：一部分来自回归线(ESS)，另一 部分则来自随机势力(RSS)。
在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在 TSS中占的比重应越大，因此 拟合优度：回归平方和ESS/Y的总离差TSS
– 一致性，即样本容量趋于无穷大时，它是否依概率 收敛于总体的真值；
– 渐近有效性，即样本容量趋于无穷大时，是否它在 所有的一致估计量中具有最小的渐近方差。
2、高斯—马尔可夫定理(Gauss-Markov theorem) • 在给定经典线性回归的假定下，最小二 乘估计量是具有最小方差的线性无偏估 计量。
3、可决系数R2统计量
ESS RSS R 1 TSS TSS
2
• 是一个非负的统计量。取值范围：[0，1] • 越接近1，说明实际观测点离回归线越近， 拟合优度越高。
一元线性回归
第三节
一元线性回归
一、回归分析的基本思想 二、一元线性回归的数学模型 三、可化为一元线性回归的问题 四、小结
一、回归分析的基本思想
确定性关系 变量之间的关系 相 关 关 系
S πr 2
身高和体重
确定性关系 相关关系
相关关系的特征是:变量之间的关系很难用一 种精确的方法表示出来.
确定性关系和相关关系的联系
n
xi x
2 ( x x ) j j 1 n
var( y ) i
2
2
2 ( x x ) j j 1 n
1 xi x ˆ 0 y 1 x ( x ) yi n lxx
1 xi x ˆ Var ( 0 ) x lxx n
由于存在测量误差等原因,确定性关系在实际 问题中往往通过相关关系表示出来;另一方面,当对 事物内部规律了解得更加深刻时,相关关系也有可 能转化为确定性关系. 回归分析——处理变量之间的相关关系的一 种数学方法,它是最常用的数理统计方法.
回 归 分 析
线性回归分析
非线性回归分析
一元线性回归分析
多元线性回归分析 β1 = Nhomakorabea(x
i=1 n
n
i
x )( yi y ) ,
2 ( x x ) i i=1
β0 = y β1 x,
1 n 1 n 其中 x xi , y yi . n i 1 n i 1
记
l xx = ( xi x )2 ,
i=1
n
l yy = ( yi y )2 ,
2 x x x 2 2 i ˆ ˆ ˆ cov(y , 1 ) x cov(1 , 1 ) x nlxx l xx l xx
一元线性回归
一、回归分析的基本思想 二、一元线性回归的数学模型 三、可化为一元线性回归的问题 四、小结
一、回归分析的基本思想
确定性关系 变量之间的关系 相 关 关 系
S πr 2
身高和体重
确定性关系 相关关系
相关关系的特征是:变量之间的关系很难用一 种精确的方法表示出来.
确定性关系和相关关系的联系
n
xi x
2 ( x x ) j j 1 n
var( y ) i
2
2
2 ( x x ) j j 1 n
1 xi x ˆ 0 y 1 x ( x ) yi n lxx
1 xi x ˆ Var ( 0 ) x lxx n
由于存在测量误差等原因,确定性关系在实际 问题中往往通过相关关系表示出来;另一方面,当对 事物内部规律了解得更加深刻时,相关关系也有可 能转化为确定性关系. 回归分析——处理变量之间的相关关系的一 种数学方法,它是最常用的数理统计方法.
回 归 分 析
线性回归分析
非线性回归分析
一元线性回归分析
多元线性回归分析 β1 = Nhomakorabea(x
i=1 n
n
i
x )( yi y ) ,
2 ( x x ) i i=1
β0 = y β1 x,
1 n 1 n 其中 x xi , y yi . n i 1 n i 1
记
l xx = ( xi x )2 ,
i=1
n
l yy = ( yi y )2 ,
2 x x x 2 2 i ˆ ˆ ˆ cov(y , 1 ) x cov(1 , 1 ) x nlxx l xx l xx