ch3 双变量线性回归模型(数学)-1

极大似然法的基本原理：用产生该样本概率最大的原则确 定样本回归函数。
在满足基本假设条件下，对一元线性回归模型： Yi 0 1 X i ui
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。
假如模型的参数估计量已经求得，为 那么Yi服从如下的正态分布：
3、总体回归函数（PRF） 回归分析关心的是根据解释变量的已知或给
定值，考察被解释变量的总体均值，即当解 释变量取某个确定值时，与之统计相关的被 解释变量所有可能出现的对应值的平均值。
E (Y | X i ) f ( X i )
例1 一个假想的社区有100户家庭组成，要研究 该社区每月家庭消费支出Y与每月家庭可支配收 入X的关系。 即如果知道了家庭的月收入，能否 预测该社区家庭的平均月消费支出水平。 为达到此目的，将该100户家庭划分为组内 收入差不多的10组，以分析每一收入组的家庭消 费支出。
注意 ①不线性相关并不意味着不相关。 ②有相关关系并不意味着一定有因果关系。 ③相关分析对称地对待任何（两个）变量，两 个变量都被看作是随机的。回归分析对变量 的处理方法存在不对称性，即区分应变量 （被解释变量）和自变量（解释变量）：前 者是随机变量，后者不是。
回归分析构成计量经济学的方法论基础，其主要内 容包括： （1）根据样本观察值对经济计量模型参数进行估 计，求得回归方程； （2）对回归方程、参数估计值进行显著性检验； （3）利用回归方程进行分析、评价及预测。
第三章 经典单方程计量经济学模型： 双变量线性回归模型
一、回归分析概述 二、双变量线性回归模型的参数估计 三、最小二乘估计量的性质 四、拟合优度的测度 五、双变量回归中的区间估计和假设检验 六、双变量线性回归模型的应用——预测 小结：本章知识结构图
一、回归分析概述
1、变量间的关系 2、相关分析与回归分析
（3）代表众多影响不重要因；
（6）变量的内在随机性。
5、样本回归函数（SRF）
问题：能从一次抽样中获得总体的近似的信息 吗？如果可以，如何从抽样中获得总体的近似 信息？ 例2 在例1的总体中有如下一个样本，能否从 该样本估计总体回归函数PRF？
顺便指出 ，记 则有
ˆ ˆ yi Yi Y
ˆ ˆ ˆ ˆ ˆ yi ( 0 1 X i ) ( 0 1 X e ) ˆ (X X ) 1 e
1 i n

i
可得
ˆ ˆ yi 1 xi
（**）
（**）式也称为样本回归函数的离差形式。 注意：
ˆ ˆ ˆ Q (Yi Yi ) (Yi ( 0 1 X i )) 2
2 1 1 n n
最小。
最小二乘法的基本原理：用使估计的剩余平方和最小的原 则确定样本回归函数。
方程组（*）称为正规方程组（normal equations）。
记
1 2 x (X i X ) X n X i 1 xi yi ( X i X )(Yi Y ) X iYi n X i Yi
表 3.1.3 家庭消费支出与可支配收入的一个随机样本 Y X 800 1100 1400 594 638 1122 1700 2000 2300 1155 1408 1595 2600 1969 2900 2078 3200 2585 3500 2530
回答：能
• 该样本的散点图（scatter diagram)：
表1
某社区家庭每月收入与消费支出统计表 1400 869 913 924 979 1012 1045 1078 1122 1155 1188 1210 每月家庭可支配收入 X（元） 1700 2000 2300 2600 1023 1100 1144 1155 1210 1243 1254 1298 1331 1364 1408 1430 1485 1254 1309 1364 1397 1408 1474 1496 1496 1562 1573 1606 1650 1716 2900 1969 1991 2046 2068 2101 2189 2233 2244 2299 2310 3200 2090 2134 2178 2266 2354 2486 2552 2585 2640 3500 2299 2321 2530 2629 2860 2871
含义：总体回归函数（PRF）说明被解释变量 Y的平均状态（总体条件期望）随解释变量X变 化的规律。
• 函数形式：可以是线性或非线性的。
• 例1中，可将居民消费支出看成是其可支配收入 的线性函数，即:
E (Y | X i ) 0 1 X i
为一线性函数。其中，0，1是未知参数，称为 回归系数（regression coefficients）。

满足假设1－4的线 性回归模型称为古 典（或经典）线性 回归模型
2、参数的普通最小二乘估计（OLS）
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要求样本 回归函数尽可能好地拟合这组值.
普通最小二乘法（Ordinary least squares, OLS）给出 的判断标准是：二者之差的平方和
Yi E (Y | X i ) ui 0 1 X i ui
二、双变量线性回归模型的参 数估计 1、双变量线性回归模型的基本假设
2、参数的普通最小二乘估计（OLS） 3、参数估计的极大似然法(ML)
双变量线性回归模型只有一个解释变量，其一般形 式为：
Y 0 1 X u
在计量经济学中，往往以小写字母表示对均 值的离差。
例3 在上述家庭可支配收入-消费支出例中，对于所 抽出的一组样本，求参数的估计值。
表3 Y X 800 1100 1400 594 638 1122 家庭消费支出与可支配收入的一个随机样本 1700 2000 2300 1155 1408 1595 2600 1969 2900 2078 3200 2585 3500 2530
显然，此形式是总体回归函数的随机设定形式，称 其为总体回归模型，由于随机扰动项的引入，使其 成为了计量经济模型。
由模型
Yi E (Y | X i ) ui 0 1 X i ui
可看出：给定收入水平Xi ,个别家庭的支出Yi除了受X的系统 性或确定性影响外，还受其它随机性或非确定性影响，ui即 为这些影响因素的综合代表。 在总体回归函数中引入随机扰动项，主要有下面几个方 面的原因： （1）代表未知的影响因素； （2）代表残缺数据；
2,800 2,400
2,000
1,600
Y
1,200
800
400 0 1,000 2,000 X 3,000 4,000
画一条直线尽可能地拟合该散点图，由于样本取 自总体，可以用该直线近似地代表总体回归线。该 直线称为样本回归线。 ˆ ˆ ˆ 记样本回归线的函数形式为： Yi f ( X i ) 0 1 X i 称为样本回归函数（sample regression function，SRF）
2 i 2 2 i
ˆ xi y i 1 x i2 上述参数估计量可以写成： Y X ˆ ˆ 1 0 称为OLS估计量的离差形式（deviation form）。
由于参数的估计结果是通过最小二乘法得到 的，故称为普通最小二乘估计量（ordinary least squares estimators）。
• 注意：这里将样本回归线看成总体回归线的近似 替代
则
ˆ Yi 为E (Y | X i )的估计量； ˆ 为 的估计量 i 0,1). (
i i
• 样本回归函数的随机形式/样本回归模型： 同样地，样本回归函数也有如下的随机形式：
ˆ ˆ ˆ ˆ Yi Yi ui 0 1 X i ei
4、随机扰动项
总体回归函数说明在给定的收入水平Xi下，该 社区家庭平均的消费支出水平。 但对某一个别的家庭，其消费支出可能与该平 均水平有偏差。
记ui=Yi-E(Y|Xi),称为Yi围绕它的期望值E(Y|Xi ) 的离差，它是一个不可观测的随机变量，称其 为随机扰动项或随机误差项。
Y 由此可得例1的如下结果： i 0 1 X i ui
2. 相关分析与回归分析
对变量间统计依赖关系的考察主要是通过相关 分析或回归分析来完成的.
正相关 线性关系不相关 相关系数： 1 XY 1 负相关 有因果关系 回归分析 统计依赖关系 正相关 无因果关系 相关分析 非线性关系不相关 负相关
21450 21285 2145 2635
15510 2585
在给定解释变量Xi条件下被解释变量Y 的期望轨迹称为总体回归线，或更一般 地称为总体回归曲线。
• 相应的函数：
E (Y | X i ) f ( X i )
称为（双变量）总体回归函数（population regression function, PRF）。
由EViews软件计算得下面结果：
因此，由该样本估计的回归方程为：
ˆ Yi 103 .1717 0.777010 X i
3、参数估计的极大似然法(ML)
极大似然法(Maximum Likelihood,简称ML)， 也称最大似然法，是不同于最小二乘法的另一种 参数估计方法，是从最大似然原理出发发展起来 的其他估计方法的基础。 基本原理： 对于极大似然法，当从模型总体随机抽取n组 样本观测值后，最合理的参数估计量应该使得从 模型中抽取该n组样本观测值的概率最大。即
3、总体回归函数（PRF）
4、随机扰动项 5、样本回归函数（SRF）
1. 变量间的关系
（1）确定性关系或函数关系：研究的是确定现
象非随机变量间的关系。