计量经济学讲义-3--第一章 线性回归基础
第3章 多元线性回归模型 《计量经济学》PPT课件
于是：
βˆ
ˆ1 ˆ 2
0.7226 0.0003
0.0003 1.35E 07
15674 39648400
01.0737.71072
⃟ 正规方程组 的另一种写法
对于正规方程组 XY XXβˆ
XXβˆ Xe XXβˆ
于是 Xe 0 (*)
或
ei 0
(**)
X jiei 0
i
(*) 或（ ** ）是多元线性回归模型正规方程 组的另一种写法。
第三章 经典单方程计量经济学模型： 多元线性回归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测 • 回归模型的其他形式
§ 3. 1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型 : 表现在线性回归模型 中的解释变量有多个。
的秩 =k+1 ，即 X 满秩。
假设 2. 随机误差项零均值，同方差。
0
0
0
E
(μ
μ
)
E
1
n
1
n
E
12
n 1
1 n
2 n
var(1 ) cov(1, n ) 2 0
2I
cov(
n
,
1
)
var(n )
0
2
i E(i )
βˆ (xx)1 xY
ˆ0 Y ˆ1 X 1 ˆk X k
⃟ 随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏 估计量为：
ˆ 2
ei2 n k 1
ee n k 1
计量经济学第三章-回归模型的扩展
第二节 自相关性
一Байду номын сангаас自相关性的概念及其产生原因：
1.定义：随机误差项的各期值之间存在相关性 COV(t, s)0, ts
例：投资函数、生产函数
2.产生原因： 1)模型遗漏了自相关的解释变量； 2)模型函数形式的设定误差； 3)经济惯性； 4)随机因素影响； （注：自相关性更易产生于时序数据）
原理：辅助回归检验 命令：View\ResidualTest \SerialCorrelation LM
Test
四、自相关性的修正方法
1.利用广义差分变换消除自相关性：
步骤： 实质：GLS估计
2.的估计方法：
1）近似估计； 2）迭代估计；
3.Eviews软件的实现：
1）检验自相关性的阶数； 2）在LS命令中增加AR项；
二、异方差的影响
1.OLS估计不再是最佳估计量； 2.T检验可靠性降低； 3.增大预测误差； 三、异方差的检验 ★1.图形分析： (1)观察Y、X相关图：SCAT Y X (2)残差分析:观察回归方程的残差图
在方程窗口直接点击Residual按钮； 或：点击View\Actual,Fitted,Residual\Table
1. 调整季节波动
y a bx 1D1 2D2 3D3
2. 检验模型结构的稳定性（P141）
y a bx D XD
3. 混合回归
例8．教材P132
第五节 滞后变量模型
一、滞后效应与滞后变量的作用 1、产生滞后效应的原因：
1)心理因素：消费习惯、消费心理（如价格、利率） 2)技术原因：农民收入、农产品价格、天气条件 3)制度原因：
计量经济学第3章 多元线性回归模型(1)
BB ( X X ) 1 0
这意味着 BB ( X X ) 1为半正定矩阵。这样的协方差 矩阵之差 ˆ ) BB 2 ( X X ) 1 2 [ BB ( X X ) 1 ] 2 0 Var (b) Var ( 也是半正定矩阵。因此多元线性回归参数的最小二 乘估计是最小方差的线性无偏估计。
i
21
•
但是需注意：多元线性回归模型解释变量的 数目有多有少，而上述可决系数R2又可以证明是 解释变量数目的增函数。这意味着不管增加的解 释变量是否对改善模型、拟合程度有意义，解释 变量个数越多，可决系数一定会越大。因此，以 这种可决系数衡量多元回归模型的拟合优度是有 问题的，而且会导致片面追求解释变量数量的错 误倾向。正是由于存在这种缺陷，可决系数R2在 多元线性回归分析拟合优度评价方面的作用受到 很大的限制。
10
Q ˆ X Y ˆ X X ˆ ) 2 X Y 2 X X ˆ 0 (Y Y 2 ˆ ˆ
• 其中矩阵求导：
f ( B) A f ( B) BA B f ( B ) f ( B) BAB 2 AB B
11
Q ˆ ˆ X ˆ X ˆ X ) (1) 0 2 ( Y i 0 1 1 i 2 2 i k ki ˆ 0 Q ˆ ˆ X ˆ X ˆ X ) ( X ) 0 2 (Yi 0 1 1i 2 2i k ki 1i ˆ 1 Q ˆ ˆ X ˆ X ˆ X ) ( X ) 0 2 (Yi 0 1 1i 2 2i k ki ki ˆ k
• 整理该向量方程，得到下列形式的正规方程组
ˆ X Y X X
• 当X X 可逆，也就是X是满秩矩阵（满足假设5）时，在 上述向量方程两端左乘的 X X 逆矩阵，得到
计量经济学(第四版)课件：一元线性回归分析基础
一元线性回归分析基础
第三节 最小二乘估计量的性质
β*1= - β1 =(1/n)∑Yt- ∑btYt =∑[(1/n)- bt]Yt 令 at= [(1/n)- bt] 由于和bt均为非随机变量，所以at也是非随机变量。 因此 β*1 =∑atYt 即β*1是Yt的线性组合。
一元线性回归分析基础
第三节 最小二乘估计量的性质
二、无偏性 指β*1和β*2 的期望值分别等于总体参数β1和β2。 即E(β*1)=β1 E(β*2 )=β2 E(β*2 )=E(β2+∑btut) =β2+∑btE(ut) =β2 E(β*1)=E(β1+∑atut) =β1
总体
有限总体
无限总体
任何样本都是有限的
一元线性回归分析基础
第三节 最小二乘估计量的性质
一、线性特性
是指参数估计值β*1和β*2分别为观察值Yt或扰动项ut的线性组合。
证： β*2 =∑Xtyt/ ∑Xt2 =∑Xt(Yt- )/∑X2t =∑（Xt/∑Xt2）Yt 令 bt= （Xt/∑Xt2） 得 β*2 = ∑ bt Yt 即β*2 是Yt的线性组合
一元线性回归分析基础
第三节 最小二乘估计量的性质
2.证明最小方差性 假设β**2是其他方法得到的关于β2的线性无偏估计 β**2=∑ctYt 其中，ct=bt+dt，dt为不全为零的常数 则容易证明 var(β**2)≥ var(β*2) 同理可证明β1的最小二乘估计量β*1具有最小方差。 高斯—马尔可夫定理(Gauss-Markov theorem)： 满足性质1、2、3的最小二乘估计量是最优线性无偏估计量（best linear unbiased estimator：BLUE）
计量经济学-3多元线性回归模型
2020/12/8
计量经济学-3多元线性回归模型
•第一节 概念和基本假定
•一、基本概念： • 设某经济变量Y 与P个解释变量：X1，X2，…，XP存在线性依
存关系。 • 1.总体回归模型：
•其中0为常数项， 1 ~ P 为解释变量X1 ~ XP 的系数，u为随机扰动项。 • 总体回归函数PRF给出的是给定解释变量X1 ~ XP 的值时，Y的期 望值：E ( Y | X1，X2，…，XP )。 • 假定有n组观测值，则可写成矩阵形式：
计量经济学-3多元线性回归模型
•2.样本回归模型的SRF
计量经济学-3多元线性回归模型
•二、基本假定： • 1、u零均值。所有的ui均值为0，E（ui）=0。 • 2、u同方差。Var（ui）=δ2，i=1，2，…，n
计量经济学-3多元线性回归模型
•
计量经济学-3多元线性回归模型
•
•第二节 参数的最小二乘估 计
•五、预测
•（一）点预测 •点预测的两种解释：
计量经济学-3多元线性回归模型
•（二）区间预测
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
•例5，在例1中，若X01=10，X02=10，求总体均值E（Y0|X0） 和总体个别值Y0的区间预测。
•
Yi=β0+β1Xi1+β2Xi2+ui
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
•三、最小二乘估计的性质
计量经济学-3多元线性回归模型
3、计量经济学【一元线性回归模型——参数估计】
ˆ Y i
(8) 651.8181 753.6363 855.4545 957.2727 1059.091 1160.909 1262.727 1364.546 1466.364 1568.182 11100
ˆ ei Yi Y i
(9)=(2)-(8) 48.18190 -103.6363 44.54550 -7.272700 40.90910 -10.90910 -62.72730 35.45450 83.63630 -68.18190
假设 5：随机误差项服从 0 均值，同方差的正态 分布，即
2 i ~ N (0, ), ,,,,,,,,, ,, i 1,2, n
以上这些假设称为线性回归模型的经典假
设，满足这些假设的线性回归模型，也称为 经典线性回归模型（classical linear regression model）。在回归分析的参数估计和统计检验 理论中，许多结论都是以这些假定作为基础 的。如果违背其中的某一项假定，模型的参 数估计就会存在问题，也就是说最小二乘法 （OLS）就不再适用，需对模型进行修正或 采用其他的方法来估计模型了。
二、参数的普通最小二乘估计（OLS） 三、最小二乘估计量的性质 四、参数估计量的概率分布及随机误差项
方差的估计
给出一元线性回归模型的一般形式：
Yi 0 1 X i i ,,,, , i 1, 2, ,n
其中 Yi ：被解释变量，X i ：解释变量，0 和 1 ：待估参 数； i ：随机误差项；
ei2
（10） 2321.495 10740.48 1984.302 52.89217 1673.554 119.0085 3934.714 1257.022 6995.031 4648.771 33727.27
计量经济学第三章-一元线性回归模型PPT课件
Y i Y ˆi ˆiˆ0ˆ1 X i e i
式中， ei 称为（样本）残差（或剩余）项（residual），是
实际观测值和拟合值的偏差。可看成是 的估i 计量 ˆi 。
由于方程中引入了随机项，成为计量经济模型， 因此也称为样本回归模型（sample regression model）。
.
7
含义：
回归函数（PRF）说明被解释变量Y的平均状 态（总体条件期望）随解释变量X变化的规律。
• 函数形式：
可以是线性或非线性的。 为什么线性形式这么重要？Taylor展开。
将粮食产量看成是播种面积的线性函数时:
E (Y|X i)01X i
为一线性函数。其中，0，1是未知参数，称为
回归系数（regression coefficients）。
.
16
每次抽样都能获得一组样本，就可以拟合一条 样本回归线，因此，样本回归线是随抽样波动 而变化的，可以有许多条，这就决定了SRF不 唯一。
.
6
概念：
在给定解释变量Xi条件下被解释变量Yi的 期望轨迹称为总体回归线（population regression line），或更一般地称为总体回归曲 线（population regression curve）。
相应的函数：
E(Y|Xi)f(Xi)
称为（双变量）总体回归函数（population regression function, PRF）。
.
8
注意：线性回归的含义 指的是对参数是线性的
E (cons|inc)01 inc
诸如此类，都是线性回归的范畴。 除此之外，很多模型不能塑造成线性回归模型，就 需要走入非线性回归模型的领域
实验3计量经济学实验一元线性回归模型
ˆ1 ~N(1,,
2
) (Xi X)2
三、知识点回顾
n 4、最小二乘估计量的性质及分布
随机干扰项 i 的方差 2 的估计 ˆ 0 和 ˆ 1 的方差表达式中都包含随机干扰项 i 的方差 2
，由于随机干扰项 i 实际上是无法观察测量的，因此其
量 Y 的平均值。
三、知识点回顾
1、四种重要的关系式
（2）总体回归函数（方程）： E(YXi)01Xi
其中总体回归参数真值 0 , 1 是未知的；总体回归方程也是 未知的。
（3）样本回归函数（方程）： Yˆi ˆ0 ˆ1Xi
在实际应用中，从总体中抽取一个样本，进行参数估计，从 而获得估计的回归方程，系数 ˆ 0 , ˆ1 为估计的回归系数；用 这个估计的回归方程近似替代总体回归方程，其中估计的回 归系数 ˆ 0 , ˆ1 是总体参数真值 0 , 1 的估计值；基于估计方程 计算的 Y ˆ i 就为 E (Y X i ) 的估计值； 由于我们从来就无法知道真实的回归方程，因此计量经济学 分析注重的是这个估计的回归方程和估计的回归系数；
据；普通最小二乘法给出的判断拟合程度的标准是：残差平
方和最小，即：m in Q ne i2n(Y i Y ˆi)2n Y i (ˆ0ˆ1 X i) 2
i 1
i 1
i 1
最小二乘法就是：在使上述残差平方和Q 达到最小时，确定
模型中的参数 ˆ 0 和 ˆ 1 的值，或者说在给定观测值之下，选
择出 ˆ 0 , ˆ1 的值，使残差平方和Q 达到最小。
接近，这也说明OLS估计值是非常有价值的。
三、知识点回顾
n 4、最小二乘估计量的性质及分布
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4 最小二乘原理计量经济学最关心的理论模型是类似于y x αβ=+ 表示变量之间的关系。
1. 散点图为了弄清楚变量之间的关系，我们从画出他们的散点图开始比较好。
从画的图中我们可以大体上判断以下变量之间是呈直线关系，还是二次曲线关系。
这对准确建立模型很有帮助。
模型y x αβ=+代表只要我们知道x ，我们就可以完全知道y 。
但是现实中不是这样。
这时除了系统因素x 之外，还有其他别的因素影响y 。
此时我们用确率模型,1,2,,t t t Y X u t n αβ=++=L来表示。
其中，y 是被说明变量，或从属变量；x 是说明变量，或独立变量；u 是误差项，也可以叫做搅乱项。
2. 函数的设定与参数的意义不同的模型定义，它所定义的参数的意义不同。
为简单起见，在本节中，我们先省去误差项。
我们讨论一下参数的意义。
在y x αβ=+中，dydxβ=，β意味着x 发生一单位的变化时，y 相应地变化几个单位，也就是我们所熟悉的限界消费性向。
但是对于y x βα=来说，我们先两边取自然对数，log log log y x αβ=+，这时，log log d y d x β=，其中，log ,log dy dx d y d x y x ==，结果log log d y x dyd x y dxβ==。
β代表x 变化1%时，y 变化β%单位。
也就是弹力性。
3. 最小二乘法3-1． 基本符号样本平均 1111,n nt t t t X X Y Y n n ====∑∑偏离样本平均的平方和 ()22222111n nnxt tt t t t S x XX X nX =====-=-∑∑∑；()22222111n n nytt t t t t S y Y Y Y nY =====-=-∑∑∑()()111n nnxy t ttt t t t t t S x y XX Y Y X Y nXY =====--=-∑∑∑其中，,t t t t x X X y Y Y =-=-，小写代表偏离样本平均的程度，即偏差。
偏差有以下重要性质：()110n nt tt t x XX ===-=∑∑；()110n nttt t y Y Y ===-=∑∑证明：()121ntn t XX X X X X X X =-=-+-++-∑L1nt t X nX ==-∑111nn t t t t X n X n ==⎛⎫=- ⎪⎝⎭∑∑=0我们可以同样证明10ntt y==∑。
下面我们再看看()222211nnxtt t t S XX X nX ===-=-∑∑。
()()2222112nn xtt t t t S XX X X X X ===-=-+∑∑22112nn tt t t X X X nX ===-+∑∑ ()2212ntt X X nX nX ==-+∑221nt t X nX ==-∑我们用同样的方法可以求出2,y xy S S 。
3-2． 最小二乘原理我们定义Y X αβ=+的推定线为ˆˆˆYX αβ=+，其中ˆY 和ˆˆ,αβ分别代表Y 和,αβ的推定值，∧读为ha.to 。
当t X X =时，ˆˆˆt t Y X αβ=+。
观察值t Y 与推定值ˆt Y 之间的差，我们称之为残差(residual)。
在图中，用垂直于横轴的线段t e 来表示。
即，ˆˆˆt t t t te Y Y Y X αβ=-=--，t e 代表观察时点t 时，观察值与推定值的不一致的程度。
为了评价所有的观察时点1,2,,t n =L ，的不一致程度，我们用()2211ˆˆn ntttt t e Y X αβ===--∑∑作为衡量的尺度。
()2211ˆˆn nt t tt t e Y X αβ===--∑∑我们把21ntt e=∑称为残差平方和(residual sum ofsquares,RSS)。
但是我们不能用1ntt e=∑，31ntt e=∑和51ntt e=∑作为衡量不一致程度的工具。
因为与观察值无关，只要给出足够大的ˆˆ,αβ，1nt t e =∑，31nt t e =∑和51ntt e =∑可以任意地变小。
也就是说它们没有最小值。
但是，21ntt e=∑ 确不一样。
21ntt e=∑的值与ˆˆ,αβ有关。
所以我们只要找到使得21ntt e =∑最小的ˆˆ,αβ最为,αβ的推定值。
这就是最小二乘法。
3-3． 最小二乘推定量的导出对于模型,1,2,,t t t Y X u t n αβ=++=L 来说，,αβ的最小二乘推定量为ˆˆ,αβ，它们是使得残差平方和()2211ˆˆnnt t tt t e Y X αβ===--∑∑最小的,αβ的推定值。
()()垐?垐t t t t Y X Y Y X X Y X αββαβ--=---+--()垐ˆtt y x Y X βαβ=-+-- 两边平方 2ˆˆ()t tY X αβ-- ()()()2222垐垐垐垐?222t t t t t t y x Y X x y y Y x Y X βαββαββαβ=++---+----- ()21ˆˆnttt Y X αβ=--∑ ()()()222211111垐垐垐垐?222nnnnnt t t tt tt t t t t y x n Y X x y Y y Y X xβαββαββαβ======++---+-----∑∑∑∑∑前面我们曾经提到10ntt e==∑，进一步我们可以得到110,0nnt t t t x y ====∑∑，()21ˆˆnt tt Y X αβ=--∑()2222111垐?ˆ2nnntt t tt t t y x n Y X x yβαββ====++---∑∑∑我们用偏差平方和的写法把上面的残差平方和再重新改写一下，()21ˆˆnt tt Y X αβ=--∑()2222垐?ˆ2yx xyS S n Y X S βαββ=++--- ()2222垐?ˆ2y x xyS S n Y X S βαββ=++--- ()22222垐ˆxy xy x y x x S S n Y X S S S S αββ⎛⎫⎛⎫=--+-+- ⎪ ⎪ ⎪⎝⎭⎝⎭上式的右侧第三项中不含有ˆˆ,αβ，所以第三项不会随着ˆˆ,αβ的变化而变化。
第一项和第二项由都是平方的形式，因此只要第一项和第二项同时为0的是时候，残差平方和就为最小，也就是残差平方和为0。
()2ˆˆ0Y X αβ--= 2ˆ0xy x x S S S β⎛⎫-= ⎪⎝⎭这种求最小二乘推定量方法的优点是，不需要使用偏微分方法，也不需要讨论为使残差平方和最小而必须满足的二次条件。
4. 最小二乘回归线我们把ˆˆˆt tY X αβ=+称为最小二乘回归线或样本回归线。
我们把ˆˆY X αβ=-代入样本回归线中，我们发现 ()垐?ˆt t tY Y X X Y X X βββ=-+=+-，由此我们可以判断样本回归线经过样本平均点(),X Y 。
5. 练习题1). 使用下面的数据，用最小二乘法估计模型Y X u αβ=++。
X 6 11 17 8 13 Y13524。
第一种方法： x 6 11 17 8 13 55 sum(x) y1 352415 sum(y)xy 633 85 16 52 192 sum(xy)xx 36 121 289 64 169 679 sum(xx)()2251925515135ˆ0.36556795555370n XY X Y n X X β-⨯-⨯====⨯-⨯-∑∑∑∑∑;ˆˆY X nβα-=∑∑=-1.01另外一种求法：先求出均值,X Y ；求出small x,y;再求出2,,,x y xy x∑∑∑∑；2垐ˆ;xyY X xβαβ==-∑∑；。