第4章 多元回归：估计与假设检验
计量经济学课程第4章(多元回归分析)
§4.1 多元线性回归模型的两个例子
一、例题1：CD生产函数
Qt AKt 1 Lt 2 et
这是一个非线性函数，但取对数可以转变为一个 对参数线性的模型
ln Qt 0 1 ln Kt 2 ln Lt t
t ~ iid(0, 2 )
注意：“线性”的含义是指方程对参数而言是线 性的
R 2 1 RSS /(N K 1) TSS /(N 1)
调整思想： 对 R2 进行自由度调整。
Page 20
基本统计量TSS、RSS、ESS的自由度：
1.
TSS的自由度为N-1。基于样本容量N，TSS
N i1
(Yi
Y
)2
因为线性约束 Y 1 N
Y N
i1 i
而损失一个自由度。
分布的多个独立统计量平方加总，所得到的新统计量就服从
2 分布。
《计量经济学》，高教出版社2011年6月，王少平、杨继生、欧阳志刚等编著
Page 23
双侧检验
概 率 密 度
概率1－
0
2 1 / 2
2 /2
图4.3.1
2
（N-K-1）的双侧临界值
双侧检验：统计值如果落入两尾中的任何一个则拒绝原假设
《计量经济学》，高教出版社2011年6月，王少平、杨继生、欧阳志刚等编著
Page 24
单侧检验
概 率 密 度
概率 概率
0
2 1
2
图4.3.2 （2 N-K-1）的单侧临界值
H0：
2
2，
0
HA :
2
2 0
多元统计分析 第4章(回归分析)_1
34
表4.4
remiss 1 1 0 0 cell .8 0.9 0.8 1 smear .83 0.36 0.88 0.87 infil .66 0.32 0.7 0.87 li 1.9 1.4 0.8 0.7 blast 1.1 0.74 0.176 1.053 temp .996 0.992 0.982 0.986
或
E( y | x) 0 1 x 2 var( y | x )
当x也有测量误差时，称为度量误差模型.
例如 体重和身高的关系 树高和树的直径的关系 物理成绩与数学成绩的关系 高考成绩与平时成绩的关系 粮食产量与施肥量的关系
10
用观测表示的模型
x, y有n组观测值 xi , yi ,
第四章
回归分析
§4.1 模型介绍 §4.2 一个因变量的线性回归模型 的参数估计与假设检验 §4.3 基本回归诊断 §4.4 处理多元线性回归中自变量共线 性的几种方法 §4.5 多因变量的多元线性回归 §4.6 广义线性模型介绍
1
回归分析内容的参考书
回归分析，谢宇著，社会科学文献 出版社，2010年.
11
模型为
~ y X 2 ~ N n (0, I n )
或
假设检验
区间估计
~ y X , n 相互独立 1， 2， 2 均值为0, 方差为
参数的最 小二乘估 计
12
二、一个因变量多个自变量的回归模型
案例2(用电量的例子) 房主对空调在自家 电量消耗方面的影响是很关注的，因此他 记录了21天中每天空调使用的小时数. 他还监测了这些天的电表并计算出使用的 千瓦(度)数.同时还记录了烘干器每天使 用的次数.试建立用电量KWH与空调使用的 小时数AC和烘干器每天使用的次数DRYER 的经验公式. 数据如下表：
多元统计分析第四章 多元回归分析
第4章多元回归分析简单说，回归分析是根据统计资料建立经验公式的统计方法。
例如统计若干焊接点数据，从而建立由焊接点直径预报焊点剪切强度的预报公式；又如统计若干棵松树的胸径与材积（可利用木材体积），建立由胸径预报材积公式，也用到回归分析方法。
当然回归分析不只是建立预报公式，还要对预报误差的大小，预报公式的合理性等问题讨论，有着非常丰富的内容。
回归分析可用于预测和控制，在自然科学，社会科学和应用技术中都有重要应用,它是统计学最重要的工具。
回归分析方法和理论从Gauss提出最小二乘法开始，至今已近200年，目前仍在蓬勃发展，例如在回归诊断、维度缩减、半参数回归、非参数回归、LOGISTIC 回归等方向不断有新的突破。
本章介绍参数回归分析模型及其参数估计、检验、模型选择等理论和有关计算方法。
参数回归分析主要分三类：线性回归、可以转化为线性回归的回归和非线性回归。
本章依次介绍这三类模型。
有关回归分析的一般理论可参见陈希儒（1984），方开泰（1988），Seber（1976），何晓群（1997），何晓群、刘文卿（2001）、Richard（2003）。
Robert(1999)和王吉利（2004）提供了许多有趣的应用例子。
4.1多元线性回归模型首先让我们看一个例子：x表示目标例4.1 对15个地区调查某种护肤霜销量得表4-1，其中y表示销量（打），1x表示人均可支配收入（美元）。
试建立由目标人口和人均可支配收入预人口数（千人），2测销量的公式。
表4-1 护肤霜销量数据这个问题中，每个地区销量受该地区目标人口数和人均可支配收入数影响，3个变量y 、1x 、2x 间存在密切关系。
但是它们的关系不是确定性关系而是相关关系。
常见的变量间关系分为两大类：确定性关系和相关关系。
确定性关系也称为函数关系。
具有确定性关系时，自变量完全确定因变量的值。
例如存款的年利率c 固定，那么存款数z 与总利息y 的关系就是确定性关系；z 知道后，y 就由y=cz 确定。
第四章 多元线性回归(多元)
给定显著性水平α（通常α＝0.05，0.01），
可以从F分布的统计表中查出临界值Fα(fR，fRe)
当F F ( fR , f Re)时,
x
我们就认为回归关系在α水平上是显著的；换句话说，
模型在一定程度上反映了y与 之间的相关关系。 x
方差分析表
离 自由度 差 平 方 和 回 SSR fR=p 归 变 差 来 源 残 SSRe 差 均方 F值 临界值 显 著 性
由此可以推出,就每一误差而言,它们的方差都相等 E ( i2 ) 2 （常数），(i＝1，2，…，n)； 即 协方差都等于0，即E(εi ，εj)＝0，(i≠j)
ⅲ）矩阵X是常数矩阵（不是随机矩阵）
ⅳ）矩阵X的秩＝p＋1＜n；
研究多元回归的任务之一，就是如何根据样本资 料来估计偏回归系数βi (i＝0，1，2，…，p) 如记βi的估计值为bi，则满足关系式：
通过回归的拟合不佳检验，当显著时，仅仅提示 我们需要增加变量，但没有给出如何去增变量的方法； 当不显著时，也仅仅提示我们进入模型中的变量已经 足够多了，但不等于说，已进入模型中的变量都是需 要的，很有可能有多余的变量。 讨论从给定的一个模型中，引进新的自变量，或 者从模型中剔除了多余的自变量的方法，叫做模型的 选择。
y1 b0 b1 x11 b2 x12 bp x1 p 1 y b b x b x b x 2 0 1 21 2 22 p 2p 2 yn b0 b1 xn1 b2 xn 2 bp xnp n
由此假设即可推出，就每一误差而言，其数学期望为0
ⅱ）随机误差向量 的协方差矩阵等于误差σ2乘以单位
矩阵In。即
1 1 0 0 2 0 1 0 E 2 In 1 2 n 2 n 0 0 1
多元统计分析第四章多元回归分析
多元统计分析第四章多元回归分析第4章多元回归分析简单说，回归分析是根据统计资料建⽴经验公式的统计⽅法。
例如统计若⼲焊接点数据，从⽽建⽴由焊接点直径预报焊点剪切强度的预报公式；⼜如统计若⼲棵松树的胸径与材积（可利⽤⽊材体积），建⽴由胸径预报材积公式，也⽤到回归分析⽅法。
当然回归分析不只是建⽴预报公式，还要对预报误差的⼤⼩，预报公式的合理性等问题讨论，有着⾮常丰富的内容。
回归分析可⽤于预测和控制，在⾃然科学，社会科学和应⽤技术中都有重要应⽤,它是统计学最重要的⼯具。
回归分析⽅法和理论从Gauss提出最⼩⼆乘法开始，⾄今已近200年，⽬前仍在蓬勃发展，例如在回归诊断、维度缩减、半参数回归、⾮参数回归、LOGISTIC 回归等⽅向不断有新的突破。
本章介绍参数回归分析模型及其参数估计、检验、模型选择等理论和有关计算⽅法。
参数回归分析主要分三类：线性回归、可以转化为线性回归的回归和⾮线性回归。
本章依次介绍这三类模型。
有关回归分析的⼀般理论可参见陈希儒（1984），⽅开泰（1988），Seber（1976），何晓群（1997），何晓群、刘⽂卿（2001）、Richard（2003）。
Robert(1999)和王吉利（2004）提供了许多有趣的应⽤例⼦。
4.1多元线性回归模型⾸先让我们看⼀个例⼦：x表⽰⽬标例4.1 对15个地区调查某种护肤霜销量得表4-1，其中y表⽰销量（打），1x表⽰⼈均可⽀配收⼊（美元）。
试建⽴由⽬标⼈⼝和⼈均可⽀配收⼊预⼈⼝数（千⼈），2测销量的公式。
表4-1 护肤霜销量数据这个问题中，每个地区销量受该地区⽬标⼈⼝数和⼈均可⽀配收⼊数影响，3个变量y 、1x 、2x 间存在密切关系。
但是它们的关系不是确定性关系⽽是相关关系。
常见的变量间关系分为两⼤类：确定性关系和相关关系。
确定性关系也称为函数关系。
具有确定性关系时，⾃变量完全确定因变量的值。
例如存款的年利率c 固定，那么存款数z 与总利息y 的关系就是确定性关系；z 知道后，y 就由y=cz 确定。
多元线性回归模型的公式和参数估计方法以及如何进行统计推断和假设检验
多元线性回归模型的公式和参数估计方法以及如何进行统计推断和假设检验多元线性回归模型是一种常用的统计分析方法，它在研究多个自变量与一个因变量之间的关系时具有重要的应用价值。
本文将介绍多元线性回归模型的公式和参数估计方法，并讨论如何进行统计推断和假设检验。
一、多元线性回归模型的公式多元线性回归模型的一般形式如下：Y = β0 + β1X1 + β2X2 + ... + βkXk + ε其中，Y表示因变量，X1至Xk表示自变量，β0至βk表示模型的参数，ε表示误差项。
在多元线性回归模型中，我们希望通过样本数据对模型的参数进行估计，从而得到一个拟合度较好的回归方程。
常用的参数估计方法有最小二乘法。
二、参数估计方法：最小二乘法最小二乘法是一种常用的参数估计方法，通过最小化观测值与模型预测值之间的残差平方和来估计模型的参数。
参数估计的公式如下：β = (X^T*X)^(-1)*X^T*Y其中，β表示参数矩阵，X表示自变量的矩阵，Y表示因变量的矩阵。
三、统计推断和假设检验在进行多元线性回归分析时，我们经常需要对模型进行统计推断和假设检验，以验证模型的有效性和可靠性。
统计推断是通过对模型参数的估计，来对总体参数进行推断。
常用的统计推断方法包括置信区间和假设检验。
1. 置信区间：置信区间可以用来估计总体参数的范围，它是一个包含总体参数真值的区间。
2. 假设检验：假设检验用于检验总体参数的假设是否成立。
常见的假设检验方法有t检验和F检验。
在多元线性回归模型中，通常我们希望检验各个自变量对因变量的影响是否显著，以及模型整体的拟合程度是否良好。
对于各个自变量的影响，我们可以通过假设检验来判断相应参数的显著性。
通常使用的是t检验，检验自变量对应参数是否显著不等于零。
对于整体模型的拟合程度，可以使用F检验来判断模型的显著性。
F检验可以判断模型中的自变量是否存在显著的线性组合对因变量的影响。
在进行假设检验时，我们需要设定显著性水平，通常是α=0.05。
第四章多元回归分析
•令 y1
• Y= y2
yn
b0 b1 • B= …
ห้องสมุดไป่ตู้
1 x11 x21 … xp1 x= 1 x12 x22 … xp2
1 x1n x2n … xpn
ξ1 ξ2 e= …
bp
ξn
• 则 Y=XB+e
• 一、多元线性回归模型的基本假定 • 解释变量x1,x2,…,xp是确定性变量，不是随机变量，
而且解释变量之间互不相关
因此在作拟合优度检验的判定时，一般采用调整的R2，以消除自变量的个数以及样本量的大小对R2的影响。 （2）stepwise:逐步选择法
Y-民航客运量（万人），x1-国民收入（亿元），x2-消费额（亿元），x3-铁路客运量（万人），x4-民航航线里程（万公里），x5-来
华旅游入境人数 Yn=b0+b1x1n+b2x2n+…+bpxpn+ ξn
(8.32)6(7.23)2(5.55)5 设误差向量ε~ N(0,σ2E)，残差向量
(数据见spssex/例子8)
如果解释变量对被解释变量的影响不显著,应从模型中删除,如果解释变量对被解释变量的影响显著,应保留在模型中.
y
x1
x2
x3
举例（二）
4.00 9.00 1.40 2.90 6.00 9.00 1.10 2.80
x3有关。试根据历史资 料建立回归方程。
18.00 22.00 2.30 4.60 20.00 21.00 2.10 4.00 24.00 28.00 2.30 4.30
22.00 33.00 2.40 4.70
26.00 50.00 2.60 6.00
Coe fficie nats
第四章多元线性回归模型(20201121231208)
第四章多元线性回归模型 在一元线性回归模型中，解释变量只有一个。但在实际问题中，影响因变量 的变量可能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商 品市场价格的影响，而且受其它商品价格以及人们可支配收入水平的制约； 影响 劳动力劳动供给意愿（用劳动参与率度量）的因素不仅包括经济形势（用失业率 度量），而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币 需求的因素不仅包括人们的收入水平， 而且包括利率水平等。当解释变量的个数 由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模 型。本章在理论分析中以二元线性回归模型为例进行。 一、预备知识 （一）相关概念 对于一个三变量总体，若由基础理论，变量 x1, x2和变量y之间存在因果关 系，或xi,x2的变异可用来解释y的变异。为检验变量xi,x2和变量y之间因果关 系是否存在、度量变量 洛公2对变量y影响的强弱与显著性、以及利用解释变量 x「X2去预测因变量y，引入多元回归分析这一工具。 将给定xii, X2条件下y的均值 E（yi 区凶）J?。「Xi「2X2： （4.1）
定义为总体回归函数（Population Regression Function,PRF ）。定义 % -E（yi |XiiXi）为误差项（error term ）,记为叫，即叫二 yi - E（% |冷，X2J， 这样yi =E（% |心凶）*，或 yi = - 0 ■ - 1 X1i ■ - 2 X2i 川= （4.2 ）
（4.2）式称为总体回归模型或者随机总体回归函数。其中，X1,X2称为解释 变量（explanatory variable ） 或自变量（independent variable ）； y 称为被 解释变量（explained variable ）或因变量（dependent variable ）;误差项」解 释了因变量的变动中不能完全被自变量所解释的部分。 在总体回归模型（4.2 ）中参数r「1「2是未知的，7是不可观察的，统计 计量分析的目标之一就是估计模型的未知参数。给定一组随机样本 （yi , X1i , x2i ）, i = 1,2,…，n，对（4.1 ）式进行估计，若 E（yi | x1i , x2i）, ■ 0, ■ 1, '2