一元线性回归方程 PPT课件
合集下载
2、一元线性回归 PPT课件
假设零均值同方差 E( )=0
无序列相关性
i
假设零均值同方差 无序列相关性
Var( i)= 2
E(Yi )= 0 1 X i
Var(Yi /X i )= 2
假设零均值同方差 Cov( i , j)=0 Cov(Yi , Y j)=0
无序列相关性
二、普通最小二乘法
给定一元线性回归模型
回归函数（方程）
E（Y
X
）＝
i
0 1X i
估计
回归模型
估计
Yi 0 1 X i i
样本（实际） Yˆi ˆ0 ˆ1Xi Yi ˆ0 ˆ1Xi ei
2.2 一元线性回归模型的参数估计
一元线性回归模型是最简单的线性回归模型，在模型中只有 一个自变量，其参数估计方法普通最小二乘法也是最普 遍使用的。
n
X
2 i
(
X i )( Yi ) Xi )2
将ˆ1代入正规方程组，令 X
ˆ0 Y ˆ1 X
Xi n
，Y
Yi
n
，得ˆ0表达式
令
xi
差
Xi X
，则
，
ˆ0
yi Yi Y ，即分别代表样本值与其平均值的离 、ˆ1表达式可简写为
ˆ1
质，即最小二乘估计量还具有一致性：当样本容量趋于无 穷时，估计量收敛于总体参数真值。
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
2、无偏性，即估计量ˆ0 、 ˆ1 的均值（期望）等于总体回归
一元线性回归方程教学课件
第2页，共28页。
Y:人均食品支出
北京市城市居民家庭生活抽样调查图表
10 8 6 4 2 0 0 2 4 6 8 10 12 14 16 18
x:人均生活费收入
第3页，共28页。
§1.1 模型的建立及其假定条件
一、一元线性回归模型
例如：研究某市可支配收入X对人均消费支出Y 的影响。建立如下理论 回归模型：
总离差平方和 ＝ 回归平方和 ＋ 残差平方和
SST
=
SSR
+
SSE
H0： 1 0 H1： 1 0
F SSR /1 ~ F (1, n 2) SSE /(n 2)
拒绝域 F >Fα (1,n-2)
第21页，共28页。
三、 用样本可决系数检验回归方程的拟合优度
R2 = SSR
SST
R2=0时 表明解释变量X与被解释变量Y之间不存在线性关系； R2=1时 表明样本回归线与样本值重合，这种情况极少发生； 一般情况下，R2越接近1表示拟合程度越好，X对Y的解释能力越强。
Yi = 0 + 1 Xi + εi
其中： Yi——被解释变量；
ε I ——随机误差项；
Xi——解释变量； 0，1—回归系数
随机变量ε i包含：
回归模型中省略的变量; 确定数学模型的误差； 测量误差
第4页，共28页。
假设调查了某社区所有居民，他们的人均可支配 收入和消费支出数据如下：
X 80 100 Y
（ei为εi的估计值）
第9页，共28页。
注意：分清4个式子的关系 （1）理论（真实的）回归模型：
Yi 0 1Xi i
（2）理论（真实的）回归直线：
E( Y | X i ) 0 1X i
Y:人均食品支出
北京市城市居民家庭生活抽样调查图表
10 8 6 4 2 0 0 2 4 6 8 10 12 14 16 18
x:人均生活费收入
第3页，共28页。
§1.1 模型的建立及其假定条件
一、一元线性回归模型
例如：研究某市可支配收入X对人均消费支出Y 的影响。建立如下理论 回归模型：
总离差平方和 ＝ 回归平方和 ＋ 残差平方和
SST
=
SSR
+
SSE
H0： 1 0 H1： 1 0
F SSR /1 ~ F (1, n 2) SSE /(n 2)
拒绝域 F >Fα (1,n-2)
第21页，共28页。
三、 用样本可决系数检验回归方程的拟合优度
R2 = SSR
SST
R2=0时 表明解释变量X与被解释变量Y之间不存在线性关系； R2=1时 表明样本回归线与样本值重合，这种情况极少发生； 一般情况下，R2越接近1表示拟合程度越好，X对Y的解释能力越强。
Yi = 0 + 1 Xi + εi
其中： Yi——被解释变量；
ε I ——随机误差项；
Xi——解释变量； 0，1—回归系数
随机变量ε i包含：
回归模型中省略的变量; 确定数学模型的误差； 测量误差
第4页，共28页。
假设调查了某社区所有居民，他们的人均可支配 收入和消费支出数据如下：
X 80 100 Y
（ei为εi的估计值）
第9页，共28页。
注意：分清4个式子的关系 （1）理论（真实的）回归模型：
Yi 0 1Xi i
（2）理论（真实的）回归直线：
E( Y | X i ) 0 1X i
一元线性回归PPT演示课件
196.2
15.8
16.0
102.2
12.0
10.0
本年固定资产投资额 (亿元) 51.9 90.9 73.7 14.5 63.2 2.2 20.2 43.8 55.9 64.3 42.7 76.7 22.8 117.1 146.7 29.9 42.1 25.3 13.4 64.3 163.9 44.5 67.9 39.7 97.1
6. r 愈大，表示相关关系愈密切.
例 11.7
根据例11.6的样本数据，计算不良贷款、贷款余额、应收 贷款、贷款项目、固定资产投资额之间的相关系数.
解：用Excel计算的相关系数矩阵如下.
三、相关系数的显著性检验
(一) r 的抽样分布
当样本数据来自正态总体，且 0 时，则
t r n 2 ~ t(n 2) 1 r2
时，yˆ ˆ0 .
二、参数的最小二乘估计
假定样本数据 (xi , yi ) , i 1,2,, n ，满足一元线性回归模 型, 根据(11.6)式则样本回归方程为
yˆi ˆ0 ˆ1xi , i 1,2,, n
(11.7)
最小二乘法是使因变量的观察值 yi 与估计值 yˆi 之间的离差平
i1 i1
n
n
n
n
n xi2 ( xi )2 n yi2 ( yi )2
i 1
i 1
i 1
i 1
( 11.1 ) ( 10.2 )
相关系数的取值范围及意义
1. r 的取值范围为[－1，1].
2. r 1 ，称完全相关，既存在线性函数关系.
r ＝1，称完全正相关. r ＝－1，称完全负相关. 3. r ＝0，称零相关，既不存在线性相关关系. 4. r ＜0，称负相关. 5. r ＞0，称正相关.
一元线性回归模型.ppt
1. ei =0 2. ei Xi=0 3.样本回归方程过（X , Y ）点
4.截距为0的一元线性回归模型参数估 计式
一元线性回归模型参数估计举例（ P23页）
四、估计量的统计学性质
1. 线性性：bˆ0 , bˆ1 都是Yi的线性函数。
bˆ1
xi
y i
x2 i
xi (Y i Y
x2 i
)
xiY i
ˆ 的密度函数
Var(ˆ)
0
E(ˆ )
为什么具有BLUE性质的估计量是优良的估计量？
五、 bˆ0 ，bˆ1 的分布
bˆ0
、bˆ1
都 服从正态分布
bˆ0 ˜N（b0 、
X
2 i
n
x2 i
u2
）
1
x bˆ1 ˜N（b1 、
2 i
u2
）
（证明略）
六、随机项u的方差2的估计
1（.定证理明：从略ˆu2） n e2i2 是 u2的一个无偏估计值
假定六：解释变量X 是一组确定性变量， 随机扰动项 ui与解释变量Xi无关, 即
Cov（ ui，Xj ）=0 。 假定七：解释变量之间不是完全线性相 关的。称无完全多重共线性。
对假定的学习思路：先结合随机项的特性,理 解假定含义,认为这些假定是成立的，学习参 数的估计、模型检验等。然后，在后面的章 节讨论这些假定是否成立？不成立会出现什 么问题？怎样检验？如何解决？
把握这个思路很重要哦!
四、回归分析 1.什么是回归分析？ 是回归模型的建立、估计、检验理论和 方法的统称 2.回归分析的主要内容
建立模型、估计模型、检验模型 、应用
二、四种重要的关系式
• 1. 总体关系式：Yi=b0+ u b1Xi+ i
4.截距为0的一元线性回归模型参数估 计式
一元线性回归模型参数估计举例（ P23页）
四、估计量的统计学性质
1. 线性性：bˆ0 , bˆ1 都是Yi的线性函数。
bˆ1
xi
y i
x2 i
xi (Y i Y
x2 i
)
xiY i
ˆ 的密度函数
Var(ˆ)
0
E(ˆ )
为什么具有BLUE性质的估计量是优良的估计量？
五、 bˆ0 ，bˆ1 的分布
bˆ0
、bˆ1
都 服从正态分布
bˆ0 ˜N（b0 、
X
2 i
n
x2 i
u2
）
1
x bˆ1 ˜N（b1 、
2 i
u2
）
（证明略）
六、随机项u的方差2的估计
1（.定证理明：从略ˆu2） n e2i2 是 u2的一个无偏估计值
假定六：解释变量X 是一组确定性变量， 随机扰动项 ui与解释变量Xi无关, 即
Cov（ ui，Xj ）=0 。 假定七：解释变量之间不是完全线性相 关的。称无完全多重共线性。
对假定的学习思路：先结合随机项的特性,理 解假定含义,认为这些假定是成立的，学习参 数的估计、模型检验等。然后，在后面的章 节讨论这些假定是否成立？不成立会出现什 么问题？怎样检验？如何解决？
把握这个思路很重要哦!
四、回归分析 1.什么是回归分析？ 是回归模型的建立、估计、检验理论和 方法的统称 2.回归分析的主要内容
建立模型、估计模型、检验模型 、应用
二、四种重要的关系式
• 1. 总体关系式：Yi=b0+ u b1Xi+ i
第二节-一元线性回归分析PPT课件
-0.8208
-2.2882
-0.9263
0.9676
1.0619
2.9156
-1.6404
6.3038
-1.8122
0.6708
-1.3033
-0.1802
-0.5911
-2.2869
1.0443
0.8245
0.4687
-1.5557
0.8935
2.3470
-1.5233
-1.1970
-2.1237
三相关关系的描述与测度散点图scatterdiagram用直角坐标的横轴表示变量x的值纵轴表示变量y的值每组数据在直角坐标系中用一个点表示n组数据在直角坐标系中形成的n个数据点称为散布点或散点由坐标及其散点形成的二维数据图
8-1
第八章 相关与回归分析
学习目的：
1. 理解现象之间存在的相关关系； 2. 能利用相关系数对相关关系进行测定分析； 3. 明确相关分析与回归分析的主要内容以及它们 各自的特点；
不可观测的随机变量，表示 x和 y的关系中不确定因素的影响，我们 称之为随机误差；响应变量 y为随机变量。
模型的三个假定
1. 随机误差 e的期望值为0，即 E(e)0 2. 对于所有的x值，e的方差都相同 ； 3. 随机误差 e是一个服从正态分布的随机变量，且各次观测的随机误
差 e1,e2,,en相互独立。
• 回归模型(regression model) 描述响应变量与回归变量和误差项之间的因果关系的数学表达式
称为回归模型。
-
8
8-9第二节 一元线性回归分析
一、一元线性回归模型
理论回归模型
yAB xe
式中A和B是未知常数，称作回归系数（coefficient）；回归变量 x
《一元线性回归》ppt课件
E (Y|X i)01X i
E (Y|Xi)01Xi2 E (Y|Xi)01 2Xi
三、总体回归模型与随机干扰项 〔 population regression model，PRM & stochastic disturbance/error〕
• 描画总体中解释变量X和被解释变量Y的个体值Yi之间的变 化规律：Yi＝f〔Xi〕＋μi
称为线性总体回归函数。其中，0，1是未知参数，称为回归系 数〔regression coefficients〕。
A1：“线性〞的含义
• 对变量为线性——解释变量以一次方的方式出现 • ○ 从几何上看，此时总体回归线是一条直线
• 对参数为线性——回归系数以一次方的方式出现 • ○ 从几何上看，此时总体回归线并不一定是直线
四、样本回归函数 〔sample regression function，SRF〕
•描画样本中解释变量X和被解释变量Y的之间的平均变化规 律：Y^i＝f〔Xi〕
1、样本回归函数〔SRF〕
• 总体的信息往往无法掌握，因此PRF实践上未知 • 现实的情况只能是在一次观测中得到总体的一个样本，经过样本的信息来 估计总体回归函数。
1969 1991 2046 2068 2101
968 1045 1243 1474 1672 1881 1078 1254 1496 1683 1925
2189 2233
1122 1298 1496 1716 1969 1155 1331 1562 1749 2013
2244 2299
1188 1364 1573 1771 2035 1210 1408 1606 1804 2101
问题：能否从样本估计总体回归函数？
例2.2：从例2.1的总体中获得如下一个样本：
E (Y|Xi)01Xi2 E (Y|Xi)01 2Xi
三、总体回归模型与随机干扰项 〔 population regression model，PRM & stochastic disturbance/error〕
• 描画总体中解释变量X和被解释变量Y的个体值Yi之间的变 化规律：Yi＝f〔Xi〕＋μi
称为线性总体回归函数。其中，0，1是未知参数，称为回归系 数〔regression coefficients〕。
A1：“线性〞的含义
• 对变量为线性——解释变量以一次方的方式出现 • ○ 从几何上看，此时总体回归线是一条直线
• 对参数为线性——回归系数以一次方的方式出现 • ○ 从几何上看，此时总体回归线并不一定是直线
四、样本回归函数 〔sample regression function，SRF〕
•描画样本中解释变量X和被解释变量Y的之间的平均变化规 律：Y^i＝f〔Xi〕
1、样本回归函数〔SRF〕
• 总体的信息往往无法掌握，因此PRF实践上未知 • 现实的情况只能是在一次观测中得到总体的一个样本，经过样本的信息来 估计总体回归函数。
1969 1991 2046 2068 2101
968 1045 1243 1474 1672 1881 1078 1254 1496 1683 1925
2189 2233
1122 1298 1496 1716 1969 1155 1331 1562 1749 2013
2244 2299
1188 1364 1573 1771 2035 1210 1408 1606 1804 2101
问题：能否从样本估计总体回归函数？
例2.2：从例2.1的总体中获得如下一个样本：
一元线性回归模型PPT课件
b1、b2
Yi B1 B2 Xi ui
ei
第18页/共67页
3.3 参数的最小二乘估计
• 参数估计：普通最小二乘法（OLS）
• 普通最小二乘法就是要选择参数 ，使得残差平方和（residual sum of squares, RSS） 最小。
•即
b1、b2
ei2
Q ei2
Yi Yˆi 2
Xi 也称 自变量（independent variable）
称为 参数（parameter）
B , B 1 称2为 随机扰动项（random error term）
ui
第13页/共67页
3.2 随机扰动项的来源
• 上式如何解释？
• 可以认为，在给定家庭收入水平 上，第i个学生的数学分数可以表达为两部分之和：
第14页/共67页
3.2 随机扰动项的来源
•
第15页/共67页
3.2 随机扰动项的来源
• 性质1：扰动项代表了未纳入模型变量的影响。例如个人健康状况、居住区域等等。 • 性质2：反映了人类行为的内在随机性。即使模型中包括了决定数学分数的所有变量，其内在随机性也
不可避免，这是做任何努力都无法解释的。 • 性质3：还代表了度量误差，例如收入的数据可能不等于真实值。 • 性质4：“奥卡姆剃刀原则”——即描述应该尽可能简单，只要不遗漏重要的信息，此时可以把影响Y
第8页/共67页
3.1 回归的涵义
• 样本回归函数（sample regression function, SRF） • 可用样本回归函数（SRF）表示样本回归线：
其中， 总体条件均值
的估计量；
Yˆi b1 b2 Xi
Yˆ E Y X • 并非所有样本数据都准确地i落在样本回归线上，因此建立随机i 样本回归函数：
一元线性回归分析PPT课件
第18页/共40页
拟合程度评价
拟合程度是指样本观测值聚集在样本回归线周围的紧
密程度. ( Y t Y ) ( Y ˆ t Y ) ( Y t Y ˆ t)
n
n
n
(Y t Y )2 (Y ˆt Y )2 (Y t Y ˆ)2
t 1
t 1
t 1
n
(Yt Y)2 :总离差平方和，记为SST;
t1
n
第8页/共40页
例
食品序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
求和
脂肪Xt 4 6 6 8 19 11 12 12 26 21 11 16 14 9 9 5
热量Yt 110 120 120 164 430 192 175 236 429 318 249 281 160 147 210 120
第1页/共40页
回归分析的分类
一个自变量
一元回归
回归分析
两个及以上自变量
多元回归
线性 回归
非线性 回归
线性 回归
非线性 回归
第2页/共40页
一元线性回归模型
(一)总体回归函数
Yt＝0＋1Xt＋ut
ut是随机误差项，又称随机干扰项，它是一个特殊的 随机变量，反映未列入方程式的其他各种因素对Y的 影响。
(ˆ1t(n2)Sˆ1)
2
第15页/共40页
回归分析的Excel实现
“工具”->“数据分析”->“回归”
第16页/共40页
ˆ 0
S ˆ 0
ˆ 1
S ˆ 1
(ˆ0t(n2)Sˆ0)
2
(ˆ1t(n2)Sˆ1)
2
第17页/共40页
拟合程度评价
拟合程度是指样本观测值聚集在样本回归线周围的紧
密程度. ( Y t Y ) ( Y ˆ t Y ) ( Y t Y ˆ t)
n
n
n
(Y t Y )2 (Y ˆt Y )2 (Y t Y ˆ)2
t 1
t 1
t 1
n
(Yt Y)2 :总离差平方和，记为SST;
t1
n
第8页/共40页
例
食品序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
求和
脂肪Xt 4 6 6 8 19 11 12 12 26 21 11 16 14 9 9 5
热量Yt 110 120 120 164 430 192 175 236 429 318 249 281 160 147 210 120
第1页/共40页
回归分析的分类
一个自变量
一元回归
回归分析
两个及以上自变量
多元回归
线性 回归
非线性 回归
线性 回归
非线性 回归
第2页/共40页
一元线性回归模型
(一)总体回归函数
Yt＝0＋1Xt＋ut
ut是随机误差项，又称随机干扰项，它是一个特殊的 随机变量，反映未列入方程式的其他各种因素对Y的 影响。
(ˆ1t(n2)Sˆ1)
2
第15页/共40页
回归分析的Excel实现
“工具”->“数据分析”->“回归”
第16页/共40页
ˆ 0
S ˆ 0
ˆ 1
S ˆ 1
(ˆ0t(n2)Sˆ0)
2
(ˆ1t(n2)Sˆ1)
2
第17页/共40页
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Q
ˆ 0
n
= 2 (Yi ˆ0 ˆ1X i )(1)
i 1
=0
即
Q
ˆ1
0 i 1
ei 0 ei X i 0
根据以上两个偏导方程得以下正规方程 （Normal equation） ：
Yi nˆ0 ˆ1 Xi
Yi Xi ˆ0
ˆ 令 ki
(Xi X) (Xi X )2
xi xi2
代入上式，得：
1
kiYi
同理可证：0也具有线性特性 。
2、无偏性
ki
(Xi - X) (Xi - X )2
xi xi2
证明： E(ˆ1) = E( kiYi ) = E [ki (0 1Xi i ] = 0E[ ki 1 ki Xi kii ] = 1E [ki (Xi X )] E (kiui )
SSE
H0： 1 0 H1： 1 0
F SSR /1 ~ F (1, n 2) SSE /(n 2)
拒绝域 F >Fα (1,n-2)
三、 用样本可决系数检验回归方程的拟合优度
R2
=
SSR SST
R2=0时 表明解释变量X与被解释变量Y之间不存在线性关系； R2=1时 表明样本回归线与样本值重合，这种情况极少发生； 一般情况下，R2越接近1表示拟合程度越好，X对Y的解释能力越强。
四. 相关系数检验法
1. 提出原假设 2. 选择统计量
1 0
R lxy lxxl yy
3. 对给定的显著性水平α, 查临界值 rα (n-2),
得否定域为 |R | > rα (n-2);
§1.4 回归系数估计值的置信区间
由于：
P { ˆ1 1
sˆ1
t/2 (n-2) } = 1-
得：
55 65
60 70
65 74
70 80
75 85
－ 88
－－
户数
56
总支出 325 462
120
79 84 90 94 98 － － 5
445
140
80 93 95 103 108 113 115 7
707
160
102 107 110 116 118 125
－ 6
678
180
110 115 120 130 135 140
和）
n
Q =
ei 2 =
i 1
n
(Yi Yˆi )2
i 1
=
n
( Yi ˆ 0 ˆ1X i )2
i 1
则通过Q最小确定这条直线，即确定 ˆ0, ˆ1 ，以 ˆ0, ˆ1 为变量，
把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求
导数得到。 求Q对 两个待估参数 的偏导数：
正规方程组
总体（随机误差项）真实方差2的无偏估计量：
ˆ 2 ˆi2 ei2
n2 n2
§1.3 回归方程的显著性检验
一、回归参数的显著性检验（t 检验）
首先，提出原假设和备择假设：
H0： 1 0
H1： 1 0
其次，确定并计算统计量：
t
ˆ1 1
S ˆ1
＝
ˆ
ˆ1
Lxx
如果 如果
t t /2 (n 2) t t /2(n 2)
不能拒绝H0： 1 0 ，认为X对Y没有显著影响。
拒绝H0 ：1 0 ，认为X对Y有显著影响。
同理,可对 ˆ0 进行显著性检验。
二、回归方程的显著性检验（F检验）
(Y i Y )2 (Yˆi Y )2 (Y i Yˆi )2
总离差平方和 ＝ 回归平方和 ＋ 残差平方和
SST
=
SSR
+
1、点预测
假设X0为解释变量的一个已知点，则带入样本回归方程 Yˆt ˆ0 ˆ1Xi
即可得到Y0的估计值:
Yˆ0 ˆ0 ˆ1X0
2、区间预测
估计值 Yˆ0 是一个点预测值，它可以是（1）总体真值Y0的预测值； 也可以是（2）总体回归线E(Y 0 ）的预测值。现在根据 Yˆ0 来对（1）
（2）进行区间预测。
经验回归直线： Yˆi ˆ0 ˆ1Xi 其中： Yˆi 为Yi的估计值（拟合值）； ˆ0, ˆ1 为 0 , 1 的估计值；
如果观测值到这条直线的纵向距离（真实值与估计值的偏差）用ei
表示（称为残差），则经验回归模型为：
Yi ˆ0 ˆ1Xi ei
（ei为εi的估计值）
注意：分清4个式子的关系 （1）理论（真实的）回归模型：
i 1
二、OLS回归直线的性质
（1）估计的回归直线 Yˆi ˆ0 ˆ1Xi 过点 ( X ,Y ) .
（2）
ei 0 ei X i 0
（3） Yi 的拟合值的平均数等于其样本观测值的平均数 Yˆ Y .
Yˆ
1 n
n
Yˆi
i 1
=
1 n
n i 1
(ˆ0
ˆ1 X i
)
= ˆ0 ˆ1X = Y
X2 Lxx
t /2(n
2), ˆ0
ˆ
1 n
X2 Lxx
t /2(n
2)
§1. 5 一元线性回归方程的预测和控制
点预测Yi 区间预测
（1）单个值Yi的区间预测 （2）均值E(Yi)的区间预测
控制
如果经过检验，样本回归方程的拟合优度好，且回归系数的估计值显 著不为0，则可以用回归方程进行预测和控制。
N (0, 2 (1 ( X0 X )2 ))
n
(Xi X )2
所以，E(Y0) 的预测区间是:
Y0 t /2 (n 2)ˆ
1
n
(X0 X )2 (Xi X )2
3、控制问题
是预测的反问题
P(T1 Y T2 ) 1
如何控制X？
Y
55
80 100 120140 160
X
二、随机误差项εi的假定条件
为了估计总体回归模型中的参数，需对随机误差项作出如下假定：
假定1：零期望假定：E(εi) = 0。 假定2：同方差性假定：Var(εi) = 2。 假定3：无序列相关假定：Cov(εi, εj) = 0, (i j )。 假定4： εi 服从正态分布，即εi N (0, 2 )。
三、OLSE回归直线的性质
统计性质
线性 无偏性 有效性
2 的估计
1、线性 这里指 ˆ0, ˆ1 都是Yi的线性函数。
证明： ˆ1 =
( Xi X )(Yi Y ) (Xi X )2
(Xi X )Yi Y (Xi X )
=
(Xi X )2
=
( Xi X )Yi (Xi X )2
= 1 kiE(ui ) = 1
类似可证
E(ˆ0) 0
3、有效性
0 ，1 的OLS估计量的方差比其他线性无偏估计量的方差都小。
Var(ˆ1) 2
ki2
2
Lxx
Var(ˆ0 )
(1 n
X2 Lxx
)
2
三、2 的估计
Var(Yi ) Var(0 1Xi i ) Var(i ) 2
前三个条件称为G-M条件
§1.2 一元线性回归模型的参数估计
普通最小二乘法（Ordinary Least Squares） OLS回归直线的性质 OLSE的性质
一、普通最小二乘法
对于所研究的问题，通常真实的回归直线 E(Yi|Xi) = 0 + 1Xi 是观
测不到的。可以通过收集样本来对真实的回归直线做出估计。
Yi 0 1Xi i
（2）理论（真实的）回归直线：
E( Y | X i ) 0 1X i
（3）经验（估计的）回归模型：
Yi ˆ0 ˆ1Xi ei
（4）经验（估计的）回归直线：
Yˆi ˆ0 ˆ1Xi
对于参数的估计采用最小二乘估计法、最小二乘法的原则是以
“残差平方和最小” 确定直线位置（即估计参数）。（Q为残差平方
－ 6
750
200
120 136 140 144 145
－ － 5
685
220
135 137 140 152 157 160 162
7 104
3
240
137 145 155 165 175 189
－ 6
966
260
150 152 175 178 180 185 191
5 121
1
描出散点图发现：随着收入的增加，消费“平均地说”也在增加，且Y 的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线。
回归分析
确定性关系或函数关系y =f (x)
变 量 间 的 关 系
非 确 定 性 关 系
人的身高和体重
x
家庭的收入和消费
商品的广告费和销售额
粮食的施肥量和产量
Y
相关关系
称这种非确定性关系为统计关系或相关(相依)关系.
第一章 一元线性回归模型
以下设 x 为自变量(普通变量) Y 为因变量(随机变 量) .现给定 x 的 n 个值 x1,…, xn, 观察 Y 得到相应的 n 个 值 y1,…,yn, (xi ,yi) i=1,2,…, n 称为样本点.
Xi ˆ1
X
2 i
ˆ1
(Xi X )(Yi Y ) (Xi X )2
ˆ0 Y ˆ1X
其中, X 和Y 分别为X、Y的均值
若记
则
n
Lxx ( Xi X )2 i 1 n
ˆ0 Y ˆ1X
Lyy (Yi Y )2
i 1
n
Lxy ( Xi X ) (Yi Y )
ˆ1
Lxy Lxx