3.1 多元线性回归模型

合集下载

多元线性回归

多元线性回归

多元线性回归1、多元线性回归模型假定被解释变量与多个解释变量之间具有线性关系,是解释变量的多元线性函数,称为多元线性回归模型。

即(1.1)其中为被解释变量,为个解释变量,为个未知参数,为随机误差项。

被解释变量的期望值与解释变量的线性方程为:(1.2)称为多元总体线性回归方程,简称总体回归方程。

对于组观测值,其方程组形式为:(1.3)即其矩阵形式为=+即(1.4)其中为被解释变量的观测值向量;为解释变量的观测值矩阵;为总体回归参数向量;为随机误差项向量。

总体回归方程表示为:(1.5)多元线性回归模型包含多个解释变量,多个解释变量同时对被解释变量发生作用,若要考察其中一个解释变量对的影响就必须假设其它解释变量保持不变来进行分析。

因此多元线性回归模型中的回归系数为偏回归系数,即反映了当模型中的其它变量不变时,其中一个解释变量对因变量的均值的影响。

由于参数都是未知的,可以利用样本观测值对它们进行估计。

若计算得到的参数估计值为,用参数估计值替代总体回归函数的未知参数,则得多元线性样本回归方程:(1.6)其中为参数估计值,为的样本回归值或样本拟合值、样本估计值。

其矩阵表达形式为:(1.7)其中为被解释变量样本观测值向量的阶拟合值列向量;为解释变量的阶样本观测矩阵;为未知参数向量的阶估计值列向量。

样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差。

(1.8)2、多元线性回归模型的假定与一元线性回归模型相同,多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时,有如下假定:假定1零均值假定:,即(2.1)假定2 同方差假定(的方差为同一常数):(2.2)假定3 无自相关性:(2.3)假定4 随机误差项与解释变量不相关(这个假定自动成立):(2.4)假定5 随机误差项服从均值为零,方差为的正态分布:(2.5)假定6 解释变量之间不存在多重共线性:即各解释变量的样本观测值之间线性无关,解释变量的样本观测值矩阵的秩为参数个数k+1,从而保证参数的估计值唯一。

《计量经济学》第3章数据

《计量经济学》第3章数据

《计量经济学》各章数据第3章 多元线性回归模型例3.1.1 经过研究,发现家庭书刊消费水平受家庭收入及户主受教育年数的影响。

现对某地区的家庭进行抽样调查,得到样本数据如表3.1.1所示,其中y 表示家庭书刊消费水平(元/年),x 表示家庭收入(元/月),T 表示户主受教育年数。

下面我们估计家庭书刊消费水平同家庭收入、户主受教育年数之间的线性关系。

回归模型设定如下: t t t t u T b x b b y +++=210(t =1,2, …)表3.1.1 某地区家庭书刊消费水平及影响因素的调查数据表例3.4.1根据表3.4.1给出的中国1980-2003年间总产出(用国内生产总值GDP度量,单位:亿元),劳动投入L(用从业人员度量,单位为万人),以及资本投入K(用全社会固定投资度量,单位:亿元),试建立我国的柯布——道格拉斯生产函数。

表3.4.1 1980-2003年中国GDP、劳动投入与资本投入数据例3.4.2 某硫酸厂生产的硫酸透明度一直达不到优质要求,经分析透明度低与硫酸中金属杂质的含量太高有关。

影响透明度的主要金属杂质是铁、钙、铅、镁等。

通过正交试验的方法发现铁是影响硫酸透明度的最主要原因。

测量了47组样本值,数据见表3.4.3。

试建立硫酸透明度(y)与铁杂质含量(x)的回归模型。

表3.4.3 硫酸透明度(y)与铁杂质含量(x)数据例3.4.3假设某企业在15年中每年的产量Y(件)和总成本X(元)的统计资料表3.4.7所示,试估计该企业的总成本函数模型。

表3.4.7 某企业15年中每年总产量与总成本统计资料3.6.1 案例1——中国经济增长影响因素分析根据表3.6.1给出的1980-2003年间总产出(用国内生产总值GDP度量,单位:亿元),最终消费CS(单位:亿元),投资总额I(用固定资产投资总额度量,单位:亿元),出口总额(单位:亿元)统计数据,试对中国经济增长影响因素进行回归分析。

多元线性回归模型多元线性回归模型

多元线性回归模型多元线性回归模型

1
e
1 2
2
(Yi
( ˆ0
ˆ1 X1i
ˆ2
X
2i
ˆk
X
ki
))2
(2
)
n 2
n
1
1 (YXβˆ )(YXβˆ )
e 2 2
(2
)
n 2
n
即为变量Y的或然函数
• 对数或然函数

L* Ln(L)
nLn( 2 ) 1 (Y Xβˆ ) (Y Xβˆ ) 2 2
对对数或然函数求极大值,也就是对
计量为:
ˆ 2
e
2 i
e e
n k 1 n k 1
*二、最大或然估计
• 对于多元线性回归模型
易知
Yi 0 1 X 1i 2 X 2i k X ki i
Yi ~ N (Xiβ , 2 )
• Y的随机抽取的n组样本观测值的联合概率 L(βˆ , 2 ) P(Y1,Y2 , ,Yn )
§3.2 多元线性回归模型的估计
一、普通最小二乘估计 *二、最大或然估计 *三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
说明
估计方法: 3大类方法:OLS、ML或者MM – 在经典模型中多应用OLS – 在非经典模型中多应用ML或者MM – 在本节中, ML与MM为选学内容
一、普通最小二乘估计
求期望 :
Y Xβμ
XY XXβ Xμ
X(Y Xβ) Xμ
E(X(Y Xβ) 0
E(X(Y Xβ) 0
称为原总体回归方程的一组矩条件,表明了原总 体回归方程所具有的内在特征。
1 X(Y Xβˆ ) 0 n
由此得到正规方程组

(完整版)第三章(多元线性回归模型)3-1答案

(完整版)第三章(多元线性回归模型)3-1答案

3.1 多元线性回归模型及古典假定一、判断题1. 在实际应用中,一元回归几乎没什么用,因为因变量的行为不可能仅有一个解释变量来解释。

(T )2. 一元线性回归模型与多元线性回归模型的基本假定是相同的。

(F )二 、单项选择题1.在二元线性回归模型i i i i u X X Y +++=22110βββ中,1β表示( A )。

A .当X2不变时,X1每变动一个单位Y 的平均变动。

B .当X1不变时,X2每变动一个单位Y 的平均变动。

C .当X1和X2都保持不变时,Y 的平均变动。

D .当X1和X2都变动一个单位时,Y 的平均变动。

2.如果两个经济变量X 与Y 间的关系近似地表现为当X 发生一个绝对量变动(ΔX ) 时, Y 有一个固定地相对量(ΔY/Y )变动,则适宜配合的回归模型是( B )。

A .i i 21i u X Y ++=ββB .i i 21i u X Y ++=ββlnC .i i21i u X 1Y ++=ββ D .i i 21i u X Y ++=ln ln ββ3.在多元线性回归模型中对样本容量的基本要求是(k 为解释变量个数):( C )。

A. n ≥k+1 B .n<k+1C. n ≥30 或n ≥3(k+1)D. n ≥304、模型i i 21i u X Y ++=ln ln ββ中 ,2β的实际含义是( B )。

A. X 关于Y 的弹性B. Y 关于X 的弹性C. X 关于Y 的边际倾向D. Y 关于X 的边际倾向三、多项选择题1.下列哪些非线性模型可以通过变量替换转化为线性模型( ABC )A. i 2i 10i u X Y ++=ββB. i i10i u X 1Y ++=ββC. i i 10i u X Y ++=ln ln ββD. i i 210i u X Y ++=ββE. i i 10i u X Y ++=ββ四、简答题1.多元线性回归模型与一元线性回归模型有哪些区别?答:多元线性回归模型与一元线性回归模型的区别表现在如下几个方面:一是解释变量的个数不同;二是模型的经典假设不同,多元线性回归模型比一元线性回归模型多了个“解释变量之间不存在线性相关关系”的假定;三是多元线性回归模型的参数估计式的表达更为复杂。

3.1 多元线性回归模型及古典假定

3.1 多元线性回归模型及古典假定
第三章 多元线性回归模型
第一节 多元线性回归模型及古典假设
一、多元线性回归模型及其矩阵表示 二、多元线性回归模型的古典假设
一、多元线性回归模型及其矩阵表示
1、在计量经济学中,将含有两个以上解释变量的回归模 型称为多元回归模型。相应地,在此基础上进行的回归分析 就叫多元回归分析。如果总体回归函数描述了一个应变量与 多个解释变量之间的线性关系,由此而设定的回归模型就称 为多元线性回归模型。例如:在生产理论中,C—D生产函 数描述了产量与投入要素之间的关系,其形式为: Y=AKαLβ (Y为产量,K、L分别为资本和劳动投入,α,β 为参数). 利用对数变换,可将其转化为:㏑Y=㏑A+α㏑K+β㏑L 在进行回归分析时,可设定如下形式的回归模型: (㏑Y)i= α0+α(㏑K)i+β(㏑L)i+μi (3.1.1) 回归模型3.1.1就是一个二元线性回归模型。
这就是多元线性回归模型的一般形式。(Yi,X2i,X3i,…,XKi )为 第 i 次观测样本,βj(j=1,2, …,k) 为模型参数,μi为随机误差项。
在多元线性回归模型中,所有解释变量会同时对应变量Y的 变动发挥作用,所以,我们考察其中某个解释变量对应变量Y的 影响,必须是其它解释变量保持不变来进行。模型中的回归系 数βj(j=2, …,k) 就表示在其它解释变量不变的条件下,第 j 个解 释变量的单位变动对应变量Y的影响。由式3.1.3,可得Y的条件 期望函数:E(Y|X2i,X3i,…,XKi )= β1i+β2X2i+β3X3i+…+βKXKi
1 X 2n
X 31 X 32 X 3n
X K1
XK2

第三章(1) 多元线性回归模型课件

第三章(1) 多元线性回归模型课件

分离差的大小
解释的那部分离差的大小。也
称剩余平方和。
第三章 多元线性回归模型
§ 3-3 多元线性回归模型的统计检验 一、 拟合优度检验 检验模型对样本观测值的拟合程度。用在总离差分解 基础上确定的可决系数R2 (调整的可决系数 ) 度量。 1、总离差平方和的分解
总离差平方和TSS 回归平方和ESS
3、随机误差项在不同 样本点之间是独立的,
Cov( i,
不存在序列相关
因为 i与 j相互独立,有:
j)=0 i≠j
无自相关假定表明:产生 误差(干扰)的因素是完 全随机的,此次干扰与彼 次干扰互不相关,互相独 立。由此应变量Yi的序列 值之间也互不相关。
第三章 多元线性回归模型
§ 3-1 多元线性回归模型及其基本假定
3、有效性(最小方差性):
指在所有线性、无偏估计量中, OLS参数估计量的 方差最小。
4、 服从正态分布,即:
其中,
, G2是随机误差项的方差,
Cjj是矩阵(X’X)-1 中第j行第j列位置上的元素。
第三章 多元线性回归模型
§ 3-2 多元线性回归模型的参数估计
一、 参数的最小二乘估计
二、 OLS估计量的统计性质及其分布
三、随机误差项方差Q2的估 计
参数估计的另一项任务是: 求随机误差项 i 的分布参数
称作回归标准差 (standard error of regression), 常作为对所估计回归线的拟
合优度的简单度量。
i~N(0, Q2)
随机误差项 i 的 方差的估计量为:
可以
证明:
说明 是QS 的无偏估计量。
t-Statistic 6.411848 22.00035 4.187969

多元线性回归模型分析

多元线性回归模型分析
例:总体:E(Y-μ)=0
ˆ 样本矩(用样本矩估计总体矩): 满足相应的矩条
件:
1
T
T
(Yt ˆ ) 0
t 1
▪ 同理,方差的估计量是样本的二阶中心矩。
▪ 现在,考虑一元线性回归模型中的假设条件:
E(t ) 0 E(xtt ) 0
▪ 其所对应的样本矩条件分别为:
1
T
T
ˆ t
1 T
T
(yt - b0 - b1xt ) 0
常数项的作用在于中心化误差。
§3.2 参数的OLS估计
•参数的OLS估计
附录:极大似然估计和矩估计
投影和投影矩阵 分块回归和偏回归 偏相关系数
一、参数的OLS估计
▪ 普通最小二乘估计原理:使样本残差平方和最小
我们的模型是:
Y= x11 + x22 +…+ xk k +
关键问题是选择的估计量b,使得残差平方和最小。
过度识别
▪ 则必须想办法调和出现在过度识别系统中相互冲突 的估计。那如何解决呢?
广义矩估计的思想是使得样本矩与总体矩的加权距 离(即马氏距离)最小。主要是考虑到不同的矩所 起的作用可能不同。
设样本矩 X (X(1),...,X(R))/ ,总体矩 M (M(1),...,M(R))/ ,其中 R k 则马氏距离为:
t 1
t 1
1
T
T
x t ˆ t
1 T
T
xt (yt b0 b1xt ) 0
t 1
t 1
▪ 可见,与OLS估计量的正规方程组是相同的。 ▪ 多元线性回归模型矩估计的矩条件通常是这样构造的:
对于多元线性回归模型 Y=Xβ+ε

§3.1 多元线性回归模型

§3.1 多元线性回归模型
其中
Y = Xβ+ μ β
1 X 11 1 X 12 X= M M 1 X 1n X 21 L X k1 X 22 L X k 2 M M X 2 n L X kn n×( k +1)
β0 β 1 β= β 2 M β k ( k +1)×1
1 2 μ= M n n×1
i ~ N (0, σ 2 )
上述假设的矩阵符号表示 上述假设的矩阵符号表示 式: 假设1 +1)矩阵 是非随机的, +1, 假设1,n×(k+1)矩阵 是非随机的,且X的秩ρ=k+1, × +1)矩阵X是非随机的 的秩 +1 满秩。 即X满秩。 满秩 假设2 假设2,
1 E ( 1 ) E (μ = E M = M = 0 ) E ( ) n n
样本回归函数: 样本回归函数:用来估计总体回归函数
Yi = β 0 + β 1 X 1i + β 2 X 2i + L + β ki X ki
其随机表示式: 随机表示式:
Yi = β0 + β1 X1i + β2 X2i +L+ βki Xki + ei
样本回归函数的矩阵表达: 样本回归函数的矩阵表达:
第三章 经典单方程计量经济学模 型:多元回归
多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
Yi =β0 +β1X1i +β2X2i ++βk Xki +i
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第三章经典单方程计量经济学模
型:多元回归
•多元线性回归模型
•多元线性回归模型的参数估计
•多元线性回归模型的统计检验
•多元线性回归模型的预测
•回归模型的其他形式
•回归模型的参数约束
§3.1 多元线性回归模型
一、多元线性回归模型
二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型:表现在线性回归模型中的解释变量有多个。

一般表现形式:
i ki k i i i X X X Y m b b b b ++×××+++=22110i =1,2…,n
其中:k 为解释变量的数目,b j 称为回归参数(regression coefficient )。

习惯上:把常数项看成为一虚变量的系数,该虚变量的样本观测值始终取1。

这样:
模型中解释变量的数目为(k +1)
i
ki k i i i X X X Y m b b b b ++×××+++=22110也被称为总体回归函数的随机表达形式。

它的非随机表达式为:
ki k i i ki i i i X X X X X X Y E b b b b +×××+++=2211021),,|(L 方程表示:各变量X值固定时Y的平均响应。

b j 也被称为偏回归系数,表示在其他解释变量保持不变的情况下,X j 每变化1个单位时,Y 的均值E(Y)的变化;
或者说b j 给出了X j 的单位变化对Y 均值的“直接”或“净”(不含其他变量)影响。

总体回归模型n 个随机方程的矩阵表达式为
µ
X βY +=其中
)1(2122212
12111
111+´úúúúûùêêêêëé=k n kn n n
k k X X X X X X X X X L M M M
M L L X 1)1(21
0´+úú
ú
ú
ú
ú
ûù
êêêêêêëé=k k b b b b M β1
21´úúúúûùêêêêëé=n n m m m M µ
样本回归函数:用来估计总体回归函数
ki
ki i i i X X X Y b b b b ˆˆˆˆˆ22110++++=L 其随机表示式:
i
ki ki i i i e X X X Y +++++=b b b b ˆˆˆˆ22110L e i 称为残差或剩余项(residuals),可看成是总体回归函数中随机扰动项m i 的近似替代。

样本回归函数的矩阵表达:
βX Y ˆˆ=或
e βX Y +=ˆ其中:÷÷÷÷÷ø
öçççççèæ=k b b b ˆˆˆˆ10M β÷÷÷÷÷øöçççççèæ=n e e e M 21e
二、多元线性回归模型的基本假定
假设1,解释变量是非随机的或固定的,且各X 之间互不相关(无多重共线性)。

假设2,随机误差项具有零均值、同方差及不序列相关性
)(=i E m 22
)()(s m m ==i i E Var 0
)(),(==j i j i E Cov m m m m n
j i j i ,,2,1,L =¹假设3,解释变量与随机项不相关
0),(=i ji X Cov m 假设4,随机项满足正态分布
),0(~2
s m N i k
j ,2,1L =
上述假设的矩阵符号表示式:
假设1,n ´(k +1)矩阵X 是非随机的,且X 的秩r =k +1,即X 满秩。

假设2,
0)()()(11=÷÷÷øöçççèæ=÷÷÷øöçççèæ=n n E E E E m m m m M M µ()÷÷÷øöçççèæ÷÷÷øöçççèæ=¢n n E E m m m m L M 11)(µµ÷÷÷øöçççèæ=21121n n n E m m m m m m L M O M L I 22211100)var(),cov(),cov()var(s s s m m m m m m =÷÷÷øöçççèæ=÷÷÷øöçççèæ=L
M O M L L M O M L n n n 假设3,E(X’m )=0,即
)()()(11=÷÷
÷
÷÷øö
çççççèæ=÷÷÷
÷÷øöçççççèæååååååi Ki i i i i Ki i i i E X E X E X X E m m m m m m M M。

相关文档
最新文档