回归分析1

• 一个例子 凯恩斯绝对收入假设消费理论：消费（C）是由收 入（Y）唯一决定的，是收入的线性函数： C = + Y (2.2.1) 但实际上上述等式不能准确实现。
• 原因 ⑴消费除受收入影响外，还受其他因素的影响； ⑵线性关系只是一个近似描述； ⑶收入变量观测值的近似性：收入数据本身并不绝 对准确地反映收入水平。
★★矩阵形式
Y 1 1 Y 2 1 1 Y n
令 Y 1 Y Y 2 Y n 1 1 X 1
X X

11 12
X X

21 22
u1 u2 U un
n X 1i X X X ki
X X
1i 2 1i
X X X
2i
1i
X 1i X ki
X 2i X ki
• 因此，一个更符合实际的数学描述为： C = + Y+ (2.2.2) 其中： 是一个随机误差项，是其他影响因素的 “综合体”。 • 线性回归模型的特征：
⑴ 通过引入随机误差项，将变量之间的关系用一 个线性随机方程来描述，并用随机数学的方法来 估计方程中的参数；
⑵ 在线性回归模型中，被解释变量的特征由解释 变量与随机误差项共同决定。
线性回归模型在上述意义上的基本假设
对单方程线性回归模型的一般形式为：
Yi 0 1 X 1i 2 X 2i k X ki i
„
（1）解释变量X1，X2，…，Xk 是确定性变 量，不是随机变量；解释变量之间互不相关。 （2）随机误差项具有０均值和同方差。即 E(i)=0 i=1,2, …,n Var (i)=2 i=1,2, …,n
X
1n
X
2n
X k1 0 u1 X k 2 1 u 2 2 X kn u n k
0 1 B 2 k u1 U u2 un
（3）随机误差项在不同样本点之间是独立的 ，不存在序列相关。即 Cov(i, j)=0 i≠j i,j= 1,2, …,n （4）随机误差项与解释变量之间不相关。即 Cov(Xji, i)=0 j=1,2, …,k i=1,2, …,n
（5）随机误差项服从０均值、同方差的正态 分布。即 i~N(0, 2 ) i=1,2, …,n
2.将非线性模型转化为线性模型的数学 处理方法
⑴变量置换 例如，描述税收与税率关系的拉弗曲线：抛物线 s = a + b r + c r2 c<0 s：税收； r：税率
设X1 = r，X2 = r2， 则原方程变换为
s = a + b X1 + c X2 c<0 • 变量置换仅用于变量非线性的情况。
线性回归模型
• • • • • •
§1 §2 §3 §4 §5 §6
回归分析概述 线性回归模型的参数估计 线性回归模型的统计检验 回归预测 极大似然估计 有约束回归
§1
回归分析概述
一、线性回归模型的特征
二、线性回归模型的普遍性
三、线性回归模型的基本假设
一、线性回归模型的特征
1、线性回归模型的特征
1 2
Z 0 1 X 1 2 X 2 3 X 3
结论：
• 实际中的许多问题，都可以最终化为线性问题， 所以，线性回归模型有其普遍意义。
• 即使对于无法采取任何变换方法使之变成线性 的非线性模型，目前使用得较多的参数估计方 法——非线性最小二乘法，其原理仍然是以线性 估计方法为基础。
⑵ 函数变换 例如，Cobb-Dauglas生产函数：幂函数 Q = AKL Q：产出量，K：投入的资本；L：投入的劳动 方程两边取对数： ln Q = ln A + ln K + ln L
(3)级数展开
例如，不变替代弹性CES生产函数：
Q A(1 K

2 L )
1

• 线性模型理论方法在计量经济学模型理论方法的 基础。
Back ：
三、线性回归模型的基本假设
• 对于线性回归模型，模型估计的任务是用回归 分析的方法估计模型的参数。最常用的估计方 法是普通最小二乘法。为保证参数估计量具有 良好的性质，通常对模型提出若干基本假设。 如果实际模型满足这些基本假设，普通最小二 乘法就是一种适用的估计方法；如果实际模型 不满足这些基本假设，普通最小二乘法就不再 适用，而要发展其它方法来估计模型。


2
ˆ0 ˆ1 X 1i ˆ k X ki Yi
i 1


2
minQ
Q 0 ˆ 0 Q ˆ 0 1 Q ˆ 0 2 Q 0 ˆ k
得到下列方程组 0 ˆ ˆ ˆ X X 1i ki Y i 1 k 0 ˆ ˆ X 1i ˆ X ki X 1i 0 Y i X 1i 1 k 0 ˆ ˆ ˆ 0 X X 1i ki X 2 i Y i X 2i 1 k 0 ˆ ˆ ˆ 0 Y i xki X X 1i ki X ki 1 k 0


求参数估计值的实质是求一个k+1元方程组
正规方程
变成矩阵形式
ˆ ˆ X ˆ X ˆ X Y n i 0 1 1i 2 2i k ki ˆ X ˆ X2 ˆ X X ˆ X X X Y 1i i 0 1i 1 1i 2 2 i 1i k ki 1i ˆ 2 ˆ ˆ ˆ X X X X X X k ki X kiYi 0 ki 1 1i ki 2 2i ki
4. 单方程线性回归模型的一般形式
单方程线性回归模型的一般形式为：
Yi 0 1 X 1i 2 X 2i „ k X ki i
i=1,2,„n (2.1.3)
X X , X , 1 2 其中，Y 称被解释变量， „ k 称解释变量，k 为解
释变量的数目，μ 为随机误差项，i 为观测值下标，n 为样本 容量， Байду номын сангаас0 , 1 , 2 , „k 为待估参数。
ˆ ˆ X ˆ X ˆ X e Yi 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2i k X ki
ˆ ei Yi Y i
Q ei Y i Y ˆi
2 i 1 i 1 n n n
2、模型的理论方程中为什么必须包含随机 误差项？
从数学角度看，引入随机误差项，将变量 之间的关系用一个线性随机方程来描述， 才能 用随机数学的方法来估计方程中的参数。 从经济学角度看， 客观经济现象是十分复 杂的，是很难用有限个变量、某一种确定的形 式来描述的，这就是设置随机误差项的原因。
3、随机误差项主要包括哪些因素的影响？ •（1）在解释变量中被忽略的因素的影响； •（2）变量观测值的观测误差的影响； •（3）模型关系的设定误差的影响； •（4）其它随机因素的影响。
X X

11 12
X X

21 22

X X
X
1n
X
2n
k2 X kn
k1
Y XB U
§2
线性回归模型的参数估计
• 1. 普通最小二乘法(OLS) • 最小二乘 法(OLS)的原理是通过求残差 （误差项的估计值）平方和最小确定回 归参数估计值。这是求极值问题。用Q 表示残差平方和，求其最小值条件下的 回归参数的估计值。
重要提示
• 几乎没有哪个实际问题能够同时满足所有基本假设； • 通过模型理论方法的发展，可以克服违背基本假设 带来的问题； • 违背基本假设问题的处理构成了单方程线性模型的 理论方法的主要内容： 异方差问题（违背同方差假设） 序列相关问题（违背序列不相关假设） 共线性问题（违背解释变量不相关假设） 随机解释变量（违背解释变量确定性假设）
n X 1i X ki
X X
1i 2
1i
X X X
2i 2i
1i
X 1i X ki
X 2i X ki

ˆ 0 X Yi ki ˆ 1 X Y X X ki 1i ˆ 1i i 2 2 X ki X kiYi ˆ k
1
方程两边取对数后，得到：
LnQ LnA Ln(1 K


2 L )

Ln(1 K 2 L ) 对 在ρ =0处展开台劳级数，取关于ρ 的线性项，即 得到一个线性近似式。
K 2 ln Y ln A 1m ln K 2 m ln L m12 (ln( )) L 变量置换得到
二、线性回归模型的普遍性
线性回归模型是计量经济学模型的主要形 式，许多实际经济活动中经济变量间的复杂 关系都可以通过一些简单的数学处理，使之 化为数学上的线性关系。
1.线性的含义
对变量而言 对参数而言
Yi 0 1 X 1i 2 X 2i
2 Yi 0 1 X1i 2 X 2 i
当给定一个容量为 n的样本, 样本观测值为 (Yi , X 1i , X 2i ,, X ki ) i 1,2,, n 得： Yi 0 1 X 1i 2 X 2i k X ki ui