第2章古典线性回归模型共59页PPT资料
合集下载
线性回归分析PPT
分析宏观经济因素对微观 经济主体的影响，为企业 决策提供依据。
评估政策变化对经济的影 响，为政策制定提供参考。
市场分析
STEP 02
STEP 03
评估市场趋势和竞争态势， 为企业战略规划提供支持。
STEP 01
分析消费者行为和偏好， 优化产品设计和营销策略。
预测市场需求和销售量， 制定合理的生产和销售计 划。
参数解释
(beta_0) 是截距项，表示当所有自变量值为0时，因变量的值；(beta_1, beta_2, ..., beta_p) 是斜率项，表示自 变量变化一个单位时，因变量变化的单位数量。
线性回归分析的假设
线性关系
自变量和因变量之间存在线性关系， 即它们之间的关系可以用一条直线近 似表示。
01
02
无多重共线性
自变量之间不存在多重共线性，即它 们之间没有高度的相关性，每个自变 量对因变量的影响是独特的。
03
无异方差性
误差项的方差不随自变量的值变化。
无随机性
误差项是随机的，不包含系统的、可 预测的模式。
05
04
无自相关
误差项之间不存在自相关性，即一个 误差项与另一个误差项不相关。
Part
02
线性回归模型的建立
确定自变量与因变量
01
根据研究目的和数据特征，选择 与因变量相关的自变量，并确定 自变量和因变量的关系。
02
考虑自变量之间的多重共线性问 题，避免选择高度相关的自变量 。
散点图与趋势线
通过绘制散点图，观察自变量与因变 量之间的关系，了解数据的分布和趋 势。
根据散点图的分布情况，选择合适的 线性回归模型，如简单线性回归或多 元线性回归。
《线性回归分析》PPT课件
2019/5/8
金融与统计学院
2
古典线性回归分析三个基本特征
分析框架
“古典框架”，认为经济变量之间存在 确定的函数关系，计量经济分析就是发 现或推断这种关系。
需要确定的参数
线性模型中的线性参数，即线性函数的 系数。
2019/5/8
金融与统计学院
3
分析方法
主要是对因果关系的回归分析
相关分析用相关系数度量变量之间线 性联系的程度，回归分析用固定的解 释变量估计和预测被解释变量的平均 值。
相关分析中的变量对称，回归分析中 的变量不对称
相关分析中的变量随机，回归分析中 的解释变量固定（非随机）
2019/5/8
两个无聊但有钱的美国人W.N.Thurman和 M.E.Fisher （1988）针对1930~1983年美国 年鸡蛋产量和年鸡产量数据，分别用滞后1~4 期的检验式对“先有鸡还是先有蛋”做格兰杰 因果关系检验，结论是先有蛋。
2019/5/8
金融与统计学院
4
先讨论一元线性回归分析的原因
两个变量之间的线性因果关系在现实经济中普遍存 在；
2019/5/8
金融与统计学院
12
使用相关系数须注意
变量X、Y随机、对称
rXY rYX
相关系数反映变量之间的线性相关程度 样本相关系数是总体相关系数的估计值 相关系数不能确定变量之间的因果关系
2019/5/8
金融与统计学院
13
回归分析
回归：由英国著名生物学家兼统计学家 高尔顿（Francis Galton，1822— 1911 ）在研究人类遗传问题时提出。
对于这个一般结论的解释是：大自然具有一种约束力， 使人类身高的分布相对稳定而不产生两极分化，这就是 所谓的回归效应。
《线性回归》PPT课件_OK
6
7
8
读取数据
• 在R环境下将数据读入系统并显示，使用如下语句：
9
数据的概括性度量
• R语句：
10
变量间相关性分析
• R语句：
11
• R语句： plot(a1$ROEt,a1$ROE)
12
模型的建立
模型、假设和参数估计
13
模型形式及假设
• 线性回归模型
y • i模 型假0 设 1 x i1 2 x i2 p x i pi
异方差性、非正态性、异常值
24
同方差性检验
25
同方差性检验
26
同方差性检验
27
同方差性检验
28
正态性检验
• 若t ~N(,2), 并且
• 则有 Pt q
Ptq
29
正态性检验
• 进一步可以得到
• 以及
q
z,
q z. • 所以在正态性假设下，残差 与 应该成线性关系。
t z
30
正态性检验
Ttnp1,1/2
21
22
显著性检验的结论
• 从F检验的结果看，模型的线性关系是显著的。 • 从T检验的结果看，ROEt和LEV两个变量通过了检验，GROWTH变量在
显著性水平降至0.1时也可以通过检验，因此这三个变量与因变量的线性 关系较为显著。
• 注意，这不说明应该删除其它变量！
23
模型的诊断
反映公司利润状况
• GROWTH: 主营业务增长率（sales growth rate）
反映公司已实现的当年增长率
• INV: 存货/资产总计（inventory to asset ratio）
反映公司的存货状况
7
8
读取数据
• 在R环境下将数据读入系统并显示，使用如下语句：
9
数据的概括性度量
• R语句：
10
变量间相关性分析
• R语句：
11
• R语句： plot(a1$ROEt,a1$ROE)
12
模型的建立
模型、假设和参数估计
13
模型形式及假设
• 线性回归模型
y • i模 型假0 设 1 x i1 2 x i2 p x i pi
异方差性、非正态性、异常值
24
同方差性检验
25
同方差性检验
26
同方差性检验
27
同方差性检验
28
正态性检验
• 若t ~N(,2), 并且
• 则有 Pt q
Ptq
29
正态性检验
• 进一步可以得到
• 以及
q
z,
q z. • 所以在正态性假设下，残差 与 应该成线性关系。
t z
30
正态性检验
Ttnp1,1/2
21
22
显著性检验的结论
• 从F检验的结果看，模型的线性关系是显著的。 • 从T检验的结果看，ROEt和LEV两个变量通过了检验，GROWTH变量在
显著性水平降至0.1时也可以通过检验，因此这三个变量与因变量的线性 关系较为显著。
• 注意，这不说明应该删除其它变量！
23
模型的诊断
反映公司利润状况
• GROWTH: 主营业务增长率（sales growth rate）
反映公司已实现的当年增长率
• INV: 存货/资产总计（inventory to asset ratio）
反映公司的存货状况
线性回归分析ppt课件
21
多元回归分析中的其他问题 u变量筛选问题 Ø向前筛选策略
解释变量不断进入回归方程的过程，首先选择与被解释变量具有最高 线性相关系数的变量进入方程，并进行各种检验；其次在剩余的变量中挑 选与解释变量偏相关系数最高并通过检验的变量进入回归方程。 Ø向后筛选策略
变量不断剔除出回归方程的过程，首先所有变量全部引入回归方程并 检验，然后在回归系数显著性检验不显著的一个或多个变量中，剔除t检验 值最小的变量。 Ø逐步筛选策略
合准则。
最小二乘法将偏差距离定义为离差平方和，即
n
Q( 0, 1, p) ( yi E( yi ))2
i 1
最小二乘估计就是寻找参数β0
、β1、…
βp的估计
值β̂0 、β ̂1、… β ̂p，使式（1）达到极小。通过
求极值原理（偏导为零）和解方程组，可求得估计值，
SPSS将自动完成。
每个解释变量进 入方程后引起的 判定系数的变化 量和F值的变化 量（偏F统计量）
输出个解释变量 和被解释变量的 均值、标准差、 相关系数矩阵及 单侧检验概率值
输出判定系数、 调整的判定系数、 回归方程的标准 误、回归方程显 著性检验的方差 分析表
输出方程中各解 释变量与被解释 变量之间的简单 相关、偏相关系 数和部分相关
30
n回归分析的其他操作
Ø选项
DW值
输出标准化残差 绝对值大于等于 3（默认）的样 本数据的相关信 息
多重共线性分 析： 输出各解释变 量的容忍度、 方差膨胀因子、
特征值、条件 指标、方差 比例等
31
n回归分析的其他操作
Ø选项
•标准化预测值 •标准化残差 •剔除残差 •调整的预测值 •学生化残差 •剔除学生化残差
线性回归PPT优秀课件
1．正方形面积S与边长x之间的关系： 确定关系 正方形边长x 面积S x 2 2．一块农田的水稻产量与施肥量之间的关系： 气候情况 施肥量 不确定关系 水稻产量
浇水
除虫
与函数关系不同，相关关系是一种非确定
性关系．对具有相关关系的两个变量进行统
计分析的方法叫做回归分析． 在现实生活中存在着大量的相关关系．人 的身高与年龄、产品的成本与生产数量、商品
的销售额与广告费、家庭的支出与收入等都是
相关关系．
问题1：正方形的面积y与正方形的边长x之间
的函数关系是 y = x2 确定性关系 问题2：某水田水稻产量y与施肥量x之间是 否有一个确定性的关系？ (不确定关系) 例如：在7块并排、形状大小相同的试验田上进行 施肥量对水稻产量影响的试验，得到如下所示的一 组数据：
为了书写方便，我们先引进一个符号 “ ”．这个符号表示若干个数相加.
n
例如，可将x1+x2+……+xn记作 x i
i1
，即
表示从x1加到xn的和．这样，n个数的平均
1 n 数的公式可以写作 x x i .上面的③ n i 1 n 2 式可以写作Q= ( yi bxi a) .
因此所求的回归直线方程是 yˆ =4.75x＋257. 根据这个回归直线方程，可以求出相应于x 的估计值．例如当x=28（kg）时，y的估计
值是
yˆ
= 4.75×28＋257=390（kg）．
例1．一个工厂在某年里每月产品的总成本y
（万元）与该月产量x（万件）之间有如下一组
数据：
（l）画出散点图； （2）求月总成本y与月产量x之间的回归直线方
i 1
这个式子展开后，是一个关于a，b的二 次多项式．利用配方法，可以导出使Q取得 最小值的a，b的求值公式（详细推导过程 请见本小节后的阅读材料．P43页）.
第二章-简单线性回归模型-PPT精选文档
经济变量之间的因果关系有两种
：确定性的因果关系与随机的因果关 系。前者可以表示为数学中的函数关 系，后者不能像函数关系那样比较精 确地描述其变化规律，但是可以通过 分析大量的统计数据，找寻出它们之 间的一定的数量变化规律，这种通过 大量统计数据归纳出的数量变化规律 称之为统计相关关系，进而称为回归 关系。研究回归关系的方法称为回归 分析方法，表示回归关系的数学式子 称为回归方程。
由于变量Y的非确定性是由于它受
一些随机因素的影响，因此可以 认为，当给定变量 X 的一个确定 值之时，所对应的变量 Y 是一个 随机变量，记作Y|X 。假定条件随 机变量 Y|X 的数学期望值是存在 的，即 E( Y|X ) 存在，由于同一随 机变量的数学期望值是惟一的， 故 E(Y|X ) 能够由 X 的值惟一地确 定，于是 E(Y|X )是变量X 的函数
二、总体回归模型
假设 X 为一个经济变量，Y 为另一个经 济变量，且变量 X 与 Y 之间存在着非确定 性的因果关系，即当 X 变化时会引起 Y 的 变化，但这种变化是随机的。例如，某种 饮料的销售量与气温的关系，销售量受气 温的影响而变化，但其变化又不能由气温 惟一确定；再比如，家庭的周消费额与周 收入之间的关系等等。
第二章 简单线性回归模型
本章主要讨论:
●回归分析与回归函数 ●简单线性回归模型参数的估计 ●拟合优度的度量 ●回归系数的区间估计和假设检验 ●回归模型预测
第一节 回归分析与回归函数
一、相关分析与回归分析 （一）经济变量之间的相互关系
相关关系 1、总体相关 变量之间具有本质上的联系 2、样本相关 变量的样本观察值之间相关
2400
X
非线性相关：
Y
80
70
Ch2古典回归模型
2.1 古典线性回归模型 古典线性回归模型有如下一些基本假定: A2.1.1 解释变量(X)与扰动误差项不相关. 但是,如果X是非随机的,(即其值为固定数 值), 则该假定自动满足. A2.1.2 扰动项的期望或均值为零. 即
E (ui ) 0
A2.1.3 同方差(homoscedastic)假定，即 每个ui的方差为一常数σ2。
估计值的标准差通常用作对估计回归线的拟 合优度（goodness of fit)的简单度量。
2.3 普通最小二乘估计量的性质 高斯－－－马尔柯夫定理：若满足古典 线性回归模型的基本假定，则在所有无 偏估计量中，OLS估计量具有最小方差 性；则OLS估计量是最优线性无偏 （Best Linear Unbiased Estimator, BLUE）估计量。
2 i
)
b2 ~ N ( B2 ,
x
2 2 i
)
2.5 假设检验 T检验 零假设(―Zero‖ null hypothesis),也称之为 稻草人假设（straw man hypothesis). H0:B2=0 H1 B2≠0 利用分布
b2 B2 ~ tn2 2 ˆ / xi
设圆面积为S1，正 方形面积为S2，利 用蒙特卡罗试验确 定S1/S2。
则，πr2/4r2=S1/S2
π＝4＊S1／S2
考虑平面上的一个边长为1的正方形及其 内部的一个形状不规则的“图形”，如 何求出这个“图形”的面积呢？ Monte Carlo方法是这样一种“随机化” 的方法：向该正方形“随机地”投掷N个 点落于“图形”内，则该“图形”的面 积近似为M/N。
第二章 古典回归模型
第二章回归分析ppt课件
U和Q的相对大小反映了因子x对y的影响程度, 在n固定的情况下，如果回归
方差所占y方差的比重越大，剩余方差所占的比重越小，就表明回归的效果
越好， 即：x的变化对y的变化起主要作用， 利用回归方程所估计出的ŷ也会
越接近观测值y。
ŷ的方差占y的方差的比重（U/(U+Q)）可作为衡量回归模型效果的标准：
ŷ
y -y
ŷ -y
y
x
syy
1 n
n t 1
( yt
y)2
1 n
n t 1
( yt
y)2
1 n
n t 1
( yt
yt )2
“回归平方和”与“剩余平方和”
对上式两边分别乘以n，研究各变量的离差平方和的关系。为避免过多数学符
号，等号左边仍采用方差的记号syy。
n
n
syy ( yt y)2 ( yt yt )2 U Q
回忆前文所讲， y的第i个观测值yi服从怎样的分布？
yi ~ N (β0 +βxi , σ2)
e=yi- (β0 +βxi ) 服从N(0, σ2)
于是， yi (0 xi ) 服从标准正态分布N (0,1)
0.4
在95%的置信概率下：
因为定理： 若有z ~ N (, 2 )， 则有 z ~ N (0,1)
通过方差分析可知，可用“回归平方和”U与“剩余平方和”Q的比值来衡 量回归效果的好坏。可以证明，假设总体的回归系数为0的条件下，统计 量：
U
F=
1 Q
注意Q的自由度为n-2, 即：残差e的方差的无 偏估计为：Q/(n-2)
n2 服从分子自由度为1，分母自由度为n - 2的F分布
上式可以用相关系数的平方来表示：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
等价于使(y-Xβ)′(y-Xβ)达到最小,这又完全与 OLSE一样
三、 参数估计量的性质
性质1 βˆ 是随机向量y的一个线性变换。
β ˆ (XX)-1Xy 性质2 βˆ 是β的无偏估计。
E(βˆ ) E ((X X)-1 Xy) (X X)-1XE(y) (X X)-1XE( Xβε) (X X)-1X Xββ
性质 3 D（βˆ )=σ2(X′X)-1
D(β ˆ)coβ vˆ,β (ˆ)
i 1
ˆ p xip ) xi 2
0
Q
p
p
ˆ p
n
2 ( yi
i 1
ˆ0 ˆ1 xi1 ˆ2 xi2
ˆ p xip ) xip
0
用矩阵形式表示的正规方程组
X(yXβ ˆ)0 移项得 XXβ ˆ Xy
当XX1 存在时，即得回归参数的最小二乘估计为：
β ˆ (XX)-1Xy
Q
0
0
ˆ0
n
2 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
i 1
ˆ p xip ) 0
Q
1
n
1 ˆ1 2 i1 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
ˆ p xip ) xi1 0
Q
2
2
ˆ2
n
2 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
2(I H )In(I H ) 2(I H )
于是有
D ( e i ) 2 (1 h ii ) , i 1 , 2 ,L , n
残差平方和
e
2 i
e e
E
e
2 i
E
e
2 i
D
ei
2 ( 1 h ii ) 2 ( n p 1 )
则 误 差 项 方 差 2的 无 偏 估 计 为
2. 方差的估计
用估计的回归方程计算因变量的回归值 yˆ X ˆ
将 ˆ ( X X )1 X y 代 入 可 得 yˆ X ( X X )1 X y 记 H X ( X X )1 X ， 称 为 帽 子 矩 阵 ,H 是 对 称 幂 等 阵 ， 即
H H H 2 X ( X X )1 X X ( X X )1 X H 矩阵H的迹为
2
yn 0 1xn1 2xn2 pxnpn
一、古典线性回归模型
古典回归模型的一般形式
矩阵形式： Y X
其中
y1
Y
y2 yn
0
1
M
p
1
X
1
1
x11 L x1p
x21
L
x2
p
L
xn1
L
xnp
1
2
n
2. 古典回归模型的基本假定
（1）解释变量x1,x2,…,xp是确定性变量,不是随机变量； 而且各X之间互不相关（无多重共线性）
（1） 矩阵X是非随机的；且X的秩rk(X)=p+1＜n； 表明设计矩阵X中的自变量列之间不相关, X是一满秩矩阵。此时XTX也是满秩的。
（2） 随机误差项具有0均值，等方差和序列不相关,即
E(εi)0, 1i2, , , n
co(εvi,εj) 0 σ2 ,
ij ,
ji
(i ,j12, , ,n)
在正态假定下:
y～N(Xβ, 2In)
E(y)=Xβ
var(y)= 2In
3. 多元线性回归方程的解释
例1
y表示空调机的销售量,
x1表示空调机的价格, x2表示消费者可用于支配的收入。
y=β0+β1x1+β2x2+ε
E(y)=β0+β1x1+β2x2
在x2保持不变时,有
E( y) x1
1
在x1保持不变时,有
y ˆ528 .9 9 1.85 4x2 5
二、满足古典假定下的参数估计
1. 普通最小二乘估计
最小二乘估计要寻找 ˆ0， ˆ1， ˆ2， ， ˆp,使得
n
Q(ˆ0,ˆ1,ˆ2,,ˆp) (yiˆ0ˆ1xi1ˆ2xi2ˆpxip)2 i1 n 0,m 1,2,,in p i1(yi 01xi1 2xi2 pxip)2
E( y) x2
2
总结：
对一般情况含有p个自变量的多元线性回归， 每个回归系数 i 表示在回归方程中其他自变量保持 不变的情况下，自变量 x i 每增加一个单位时因变量
y 的平均增加程度。
例2
考虑国内生产总值GDP和三次产业增加值的关系， GDP=x1 + x2+ x3
现在做GDP对第二产业增加值x2的一元线性回归， 得回归方程
tr( H ) tr X ( X X )1 X tr ( X X )1 X X
tr( I p1) p 1
残差
e y yˆ y H y ( I H ) y
残差方差
D (e) cov(e,e)
c o v ( I H ) y ，( I H ) y
(I H ) cov( y, y )(I H )
ˆ 2
e
2 i
n p1
3. 回归参数的最大似然估计
思想：使当前发生的样本出现的可能性最大的参数
y～N(Xβ,σ2In)
似然函数为
L (2) n2 2 n2ex 2 1 p 2(y ( - X) ( β y - X) β )
lL n n 2 ln 2) (n 2 ln2 ) (2 1 2(y - X) ( β y - X) β
（3） 用矩阵形式表示，即向量ε为多维正态分布 ε～N(0, 2In)
（4） 解释变量与随机扰动项不相关，
co v (xji,i) 0 ,i 1 ,2 ,L,n
（4） 用矩阵形式表示，即
E(X T) 0
E
i x1i M
i
E (i ) x1i E ( i
M
)
0
x pi i x pi E ( i )
一、古典线性回归模型
1.多元线性回归模型的一般形式
y=β0+β1x1+β2x2+…+βpxp+ε
E( ) 0 var( ) 2
对n组观测数据 (xi1, xi2,…,xip; yi), i=1,2,…,n,
线性回归模型表示为:
y1 0 1x112x12 px1p 1
y2
0
1x212x22
px2p
这个假定称为Gauss-Markov条件
（2） 0期望，无异方差，无自相关假定
E(ε)0n1
V()E(εεT)E21 21
12 2
2
L L
1 2nn02
0
2
L L
0
0I2
M MO M M MO M
n1 n2 L2 n 00 L 2（3） 随机扰动项服从正态分布
1i
~N(0,2),i1,2, ,n ,2 ,,n 相互独立
三、 参数估计量的性质
性质1 βˆ 是随机向量y的一个线性变换。
β ˆ (XX)-1Xy 性质2 βˆ 是β的无偏估计。
E(βˆ ) E ((X X)-1 Xy) (X X)-1XE(y) (X X)-1XE( Xβε) (X X)-1X Xββ
性质 3 D（βˆ )=σ2(X′X)-1
D(β ˆ)coβ vˆ,β (ˆ)
i 1
ˆ p xip ) xi 2
0
Q
p
p
ˆ p
n
2 ( yi
i 1
ˆ0 ˆ1 xi1 ˆ2 xi2
ˆ p xip ) xip
0
用矩阵形式表示的正规方程组
X(yXβ ˆ)0 移项得 XXβ ˆ Xy
当XX1 存在时，即得回归参数的最小二乘估计为：
β ˆ (XX)-1Xy
Q
0
0
ˆ0
n
2 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
i 1
ˆ p xip ) 0
Q
1
n
1 ˆ1 2 i1 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
ˆ p xip ) xi1 0
Q
2
2
ˆ2
n
2 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
2(I H )In(I H ) 2(I H )
于是有
D ( e i ) 2 (1 h ii ) , i 1 , 2 ,L , n
残差平方和
e
2 i
e e
E
e
2 i
E
e
2 i
D
ei
2 ( 1 h ii ) 2 ( n p 1 )
则 误 差 项 方 差 2的 无 偏 估 计 为
2. 方差的估计
用估计的回归方程计算因变量的回归值 yˆ X ˆ
将 ˆ ( X X )1 X y 代 入 可 得 yˆ X ( X X )1 X y 记 H X ( X X )1 X ， 称 为 帽 子 矩 阵 ,H 是 对 称 幂 等 阵 ， 即
H H H 2 X ( X X )1 X X ( X X )1 X H 矩阵H的迹为
2
yn 0 1xn1 2xn2 pxnpn
一、古典线性回归模型
古典回归模型的一般形式
矩阵形式： Y X
其中
y1
Y
y2 yn
0
1
M
p
1
X
1
1
x11 L x1p
x21
L
x2
p
L
xn1
L
xnp
1
2
n
2. 古典回归模型的基本假定
（1）解释变量x1,x2,…,xp是确定性变量,不是随机变量； 而且各X之间互不相关（无多重共线性）
（1） 矩阵X是非随机的；且X的秩rk(X)=p+1＜n； 表明设计矩阵X中的自变量列之间不相关, X是一满秩矩阵。此时XTX也是满秩的。
（2） 随机误差项具有0均值，等方差和序列不相关,即
E(εi)0, 1i2, , , n
co(εvi,εj) 0 σ2 ,
ij ,
ji
(i ,j12, , ,n)
在正态假定下:
y～N(Xβ, 2In)
E(y)=Xβ
var(y)= 2In
3. 多元线性回归方程的解释
例1
y表示空调机的销售量,
x1表示空调机的价格, x2表示消费者可用于支配的收入。
y=β0+β1x1+β2x2+ε
E(y)=β0+β1x1+β2x2
在x2保持不变时,有
E( y) x1
1
在x1保持不变时,有
y ˆ528 .9 9 1.85 4x2 5
二、满足古典假定下的参数估计
1. 普通最小二乘估计
最小二乘估计要寻找 ˆ0， ˆ1， ˆ2， ， ˆp,使得
n
Q(ˆ0,ˆ1,ˆ2,,ˆp) (yiˆ0ˆ1xi1ˆ2xi2ˆpxip)2 i1 n 0,m 1,2,,in p i1(yi 01xi1 2xi2 pxip)2
E( y) x2
2
总结：
对一般情况含有p个自变量的多元线性回归， 每个回归系数 i 表示在回归方程中其他自变量保持 不变的情况下，自变量 x i 每增加一个单位时因变量
y 的平均增加程度。
例2
考虑国内生产总值GDP和三次产业增加值的关系， GDP=x1 + x2+ x3
现在做GDP对第二产业增加值x2的一元线性回归， 得回归方程
tr( H ) tr X ( X X )1 X tr ( X X )1 X X
tr( I p1) p 1
残差
e y yˆ y H y ( I H ) y
残差方差
D (e) cov(e,e)
c o v ( I H ) y ，( I H ) y
(I H ) cov( y, y )(I H )
ˆ 2
e
2 i
n p1
3. 回归参数的最大似然估计
思想：使当前发生的样本出现的可能性最大的参数
y～N(Xβ,σ2In)
似然函数为
L (2) n2 2 n2ex 2 1 p 2(y ( - X) ( β y - X) β )
lL n n 2 ln 2) (n 2 ln2 ) (2 1 2(y - X) ( β y - X) β
（3） 用矩阵形式表示，即向量ε为多维正态分布 ε～N(0, 2In)
（4） 解释变量与随机扰动项不相关，
co v (xji,i) 0 ,i 1 ,2 ,L,n
（4） 用矩阵形式表示，即
E(X T) 0
E
i x1i M
i
E (i ) x1i E ( i
M
)
0
x pi i x pi E ( i )
一、古典线性回归模型
1.多元线性回归模型的一般形式
y=β0+β1x1+β2x2+…+βpxp+ε
E( ) 0 var( ) 2
对n组观测数据 (xi1, xi2,…,xip; yi), i=1,2,…,n,
线性回归模型表示为:
y1 0 1x112x12 px1p 1
y2
0
1x212x22
px2p
这个假定称为Gauss-Markov条件
（2） 0期望，无异方差，无自相关假定
E(ε)0n1
V()E(εεT)E21 21
12 2
2
L L
1 2nn02
0
2
L L
0
0I2
M MO M M MO M
n1 n2 L2 n 00 L 2（3） 随机扰动项服从正态分布
1i
~N(0,2),i1,2, ,n ,2 ,,n 相互独立