第9章 Multiple Regression Analysis 多元回归分析之模型设定和数据问题ppt课件
合集下载
第九章 回归分析
系数：
参数a、b的最小二乘估计
A good
line is one that minimizes the sum of squared differences between the points and the line.
根据推导，
a y bx
( x x )( y y ) b (x x)
Multiple Regression
R2adj - “adjusted R-square”
R2是一个受自变量个数与样本规模之比（k:n）影响的系数，一般是1：10 以上为好。当这个比值小于1：5时，R2倾向于高估实际的拟合的程度。 Takes into account the number of regressors in the model
X的变异
r2
Y的变异
Simple Regression
R2 - “Goodness of fit”
For simple regression, R2 is the square of the correlation coefficient
Reflects variance accounted for in data by the best-fit line
第九章 多元回归分析
浙江师范大学教育学院心理系
徐长江 xucj@
纲要
回归分析的基本原理
一元回归分析 多元回归分析
多元回归分析的方法 多元回归分析的实现
回归分析的目的
设法找出变量间的依存(数量)关系, 用函数 关系式表达出来
Example: Height vs Weight
Takes values between 0 (0%) and 1 (100%) Frequently expressed as percentage, rather than decimal
多元回归分析
12
三、线型回归模型的若干设定 • 线性关系之设定（linearity） • 共线性之设定（collinearity）: 自变量间不可具有高度的线 性关系
• 残差值服从正态分布
13
• 残差值的条件期望值为零 （zero conditional mean of ）:的多元 回归方程式中，多元回归系数 b1完全是由 x1与 y 的值所决定， x2 而且不受 的影响
b1
ˆ ˆ x x y y ˆ x x
1 1 2 1 1
7
• 标准回归系数（Beta Coefficient）:
*
yx
sx byx s y
8
–平均而言，当 x 每增加一个 标准差时，y就增加（或减 少） * yx 个标准差” –比较那一个自变数对依变 数有较大的影响力
9
•
2）: 回归模型的解释力（R
多 元判定系数（Coefficient of Multiple Determination），其 计算方式与二元回归模型的 R2 相同
10
• “调整后的R2”（adjusted R2）
k N 1 2 R R N 1 N k 1 – N 样本数 – K 自变数的数目
2
11
二、多元回归分析 的假设检定 • 与前述相同 –双尾检定 –单尾检定（将 Sig. 除以二 即为p/2）
表示 y 的条件期望值是所有 的线性组合
x
14
•残差值变异相等之设定 （homoscedasticity 或 heteroscedasticity）
15
多元回归分析
1
多元回归分析 （multivariate regression analysis）
三、线型回归模型的若干设定 • 线性关系之设定（linearity） • 共线性之设定（collinearity）: 自变量间不可具有高度的线 性关系
• 残差值服从正态分布
13
• 残差值的条件期望值为零 （zero conditional mean of ）:的多元 回归方程式中，多元回归系数 b1完全是由 x1与 y 的值所决定， x2 而且不受 的影响
b1
ˆ ˆ x x y y ˆ x x
1 1 2 1 1
7
• 标准回归系数（Beta Coefficient）:
*
yx
sx byx s y
8
–平均而言，当 x 每增加一个 标准差时，y就增加（或减 少） * yx 个标准差” –比较那一个自变数对依变 数有较大的影响力
9
•
2）: 回归模型的解释力（R
多 元判定系数（Coefficient of Multiple Determination），其 计算方式与二元回归模型的 R2 相同
10
• “调整后的R2”（adjusted R2）
k N 1 2 R R N 1 N k 1 – N 样本数 – K 自变数的数目
2
11
二、多元回归分析 的假设检定 • 与前述相同 –双尾检定 –单尾检定（将 Sig. 除以二 即为p/2）
表示 y 的条件期望值是所有 的线性组合
x
14
•残差值变异相等之设定 （homoscedasticity 或 heteroscedasticity）
15
多元回归分析
1
多元回归分析 （multivariate regression analysis）
第9章多元线性回归-PPT精品文档
9.1 9.2 9.3 9.4 9.5 多元线性回归模型 拟合优度和显著性检验 多重共线性及其处理 利用回归方程进行预测 虚拟自变量的回归
统计学
STATISTICS (第三版)
学习目标
多元线性回归模型、回归方程与估计的回 归方程 回归方程的拟合优度与显著性检验 多重共线性问题及其处理 利用回归方程进行预测 虚拟自变量的回归 用Excel和SPSS进行回归分析
统 计 学
(第三版)
2019
作者 贾俊平
统计学
STATISTICS (第三版)
统计名言
上好的模型选择可遵循一个称为奥 克姆剃刀(Occam’s Razor)的基本原 理：最好的科学模型往往最简单， 且能解释所观察到的事实。
——William Navidi
9-2 2019年8月
第 9 章 多元线性回归
b1，b假定其他变量不变，当 xi 每变 动一个单位时，y 的平均变动值
9 - 10
2019年8月
统计学
STATISTICS (第三版)
估计的多元线性回归的方程
(estimated multiple linear regression equation)
9 - 11 2019年8月
9.1 多元线性回归模型 9.1.2 参数的最小二乘估计
统计学
STATISTICS (第三版)
参数的最小二乘估计
1. 使因变量的观察值与估计值之间的离差平方和 ˆ ,b ˆ ,b ˆ ,, b ˆ 。即 达到最小来求得 b 0 1 2 k
2 2 ˆ ,b ˆ ,b ˆ ,, b ˆ ) (y y ˆ Q( b ) e i i i 最小 0 1 2 k i 1 i 1 n n
统计学
STATISTICS (第三版)
学习目标
多元线性回归模型、回归方程与估计的回 归方程 回归方程的拟合优度与显著性检验 多重共线性问题及其处理 利用回归方程进行预测 虚拟自变量的回归 用Excel和SPSS进行回归分析
统 计 学
(第三版)
2019
作者 贾俊平
统计学
STATISTICS (第三版)
统计名言
上好的模型选择可遵循一个称为奥 克姆剃刀(Occam’s Razor)的基本原 理：最好的科学模型往往最简单， 且能解释所观察到的事实。
——William Navidi
9-2 2019年8月
第 9 章 多元线性回归
b1，b假定其他变量不变，当 xi 每变 动一个单位时，y 的平均变动值
9 - 10
2019年8月
统计学
STATISTICS (第三版)
估计的多元线性回归的方程
(estimated multiple linear regression equation)
9 - 11 2019年8月
9.1 多元线性回归模型 9.1.2 参数的最小二乘估计
统计学
STATISTICS (第三版)
参数的最小二乘估计
1. 使因变量的观察值与估计值之间的离差平方和 ˆ ,b ˆ ,b ˆ ,, b ˆ 。即 达到最小来求得 b 0 1 2 k
2 2 ˆ ,b ˆ ,b ˆ ,, b ˆ ) (y y ˆ Q( b ) e i i i 最小 0 1 2 k i 1 i 1 n n
多元回归分析
• ……如此重复进行，直至留下的所有自变量的偏回归都显著，
即得最优多元线性回归方程。
如何确定自变量的相对重要性
• 偏回归系数bi本身并不能反映自变量的相对重要性，其原因 有二： • ①bi是带有具体单位的，单位不同则无从比较； • ②即使单位相同，若Xi的变异度不同，也不能比较。 • 路径系数(path coefficient，记作pi)：即对bi进行标准化，
的估计值不够稳定，而回归系数的计算值也会有很大误差。
LOGO
• 共线性的诊断
–容忍度（ tolerance ）
– Ti＝ 1-Ri2，容忍度的值介于0至1间。
–Ri2是自变量与其它自变量间的多元相关系数的平方，
即模型中其它自变量对这个变项的有效解释能力。 –自变量的Ri2值太大，即容忍度太小，表示此变量与其 它自变量间有共线性问题。
2
(3· 1)
y j b0 b1 x1 j b2 x2 j bm xmj e j
(3· 2)
• 一个m元线性回归方程可假定为：
ˆ b0 b1 x1 b2 x 2 bm x m y
(3· 3)
b0是x1、x2、…、xm 都为0时y 的点估计值；b1是by1· 23…m 的简
r11 2，…，M )组成的相关矩阵： r21 R (rij ) M M r M1 r12 r22 rM 2 r1M r2 M rMM
• 求得其逆矩阵：
c11 c 21 c M1 c12 c 22 c M2 M c1 M c2 c MM
LOGO
• 常态性： – 假说如下所示：
多元线性回归分析
方程组中： lij l ji ( X i X i )(X j X j ) X i X j [(X i )(X j )]/ n
liy ( X i X i )(Y Y ) X iY [(X i )(Y )]/ n
常数项 b0 Y b1 X1 b2 X 2 ... bm X m
X3
X4
-0.27059
0.6382
-0.33948
0.39774
bj b j
l jj lYY
bj
l jj /(n 1) lYY /(n 1)
bj
Sj SY
偏回归系数
偏回归系 数标准误
标准偏回归系数
（三）计算相应指标，对模型的拟合效果进行评价
评价回归方程回归效果的优劣是回归分析的重要内容之一。
SS回归 / m SS剩余 /( n m 1 )
检验统计量为 F ： F
SS回归 为回归项的平方和，反映由于方程中 m 个自变量与因变量 Y
的线性关系而使因变量 Y 变异减小的部分；
SS回归 b1l1Y b2l2Y bmlmY bi liy
SS剩余 表示剩余平方和，说明除自变量外，其它随机因素
各变量均值分别为：
X 1 5.8126， X 2 2.8407， X 3 6.1467， X 4 9.1185， Y 11.9259，
则常数项： b0 11.9259 0.1424 5.8126 0.3515 2.8407 0.2706 6.1467 0.6382 9.1185 = 5.9433
概念： 多元线性回归分析也称复线性回归分析（ multiple linear regression analysis）,它研究一组自变量如何直接影响一个 因变量。
最新多元线性回归与多项式回归
多元线性回归与多项式回归第九章 多元线性回归与多项式回归直线回归研究的是一个依变量与一个自变量之间的回归问题，但是，在畜禽、水产科学领域的许多实际问题中，影响依变量的自变量往往不止一个，而是多个，比如绵羊的产毛量这一变量同时受到绵羊体重、胸围、体长等多个变量的影响，因此需要进行一个依变量与多个自变量间的回归分析，即多元回归分析（multiple regression analysis ），而其中最为简单、常用并且具有基础性质的是多元线性回归分析（multiple linear regression analysis ），许多非线性回归（non-linear regression ）和多项式回归（polynomial regression ）都可以化为多元线性回归来解决，因而多元线性回归分析有着广泛的应用。
研究多元线性回归分析的思想、方法和原理与直线回归分析基本相同，但是其中要涉及到一些新的概念以及进行更细致的分析，特别是在计算上要比直线回归分析复杂得多，当自变量较多时，需要应用电子计算机进行计算。
aaa第一节 多元线性回归分析多元线性回归分析的基本任务包括：根据依变量与多个自变量的实际观测值建立依变量对多个自变量的多元线性回归方程；检验、分析各个自变量对依自变量的综合线性影响的显著性；检验、分析各个自变量对依变量的单纯线性影响的显著性，选择仅对依变量有显著线性影响的自变量，建立最优多元线性回归方程；评定各个自变量对依变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。
一、 多元线性回归方程的建立（一）多元线性回归的数学模型 设依变量y 与自变量1x 、2x 、…、m x 共有n 组实际观测数据：假定依变量y 与自变量x 1、x 2、…、x m 间存在线性关系，其数学模型为：j mj m j j j x x x y εββββ+++++=...22110 （9-1）（j =1,2,…,n ）式中，x 1、x 2、…、x m 为可以观测的一般变量（或为可以观测的随机变量）；y 为可以观测的随机变量，随x 1、x 2、…、x m 而变，受试验误差影响；j ε为相互独立且都服从),0(2σN 的随机变量。
多元线性回归模型分析
例：总体：E（Y-μ）=0
ˆ 样本矩（用样本矩估计总体矩）： 满足相应的矩条
件：
1
T
T
(Yt ˆ ) 0
t 1
▪ 同理，方差的估计量是样本的二阶中心矩。
▪ 现在，考虑一元线性回归模型中的假设条件：
E(t ) 0 E(xtt ) 0
▪ 其所对应的样本矩条件分别为：
1
T
T
ˆ t
1 T
T
(yt - b0 - b1xt ) 0
常数项的作用在于中心化误差。
§3.2 参数的OLS估计
•参数的OLS估计
附录：极大似然估计和矩估计
投影和投影矩阵 分块回归和偏回归 偏相关系数
一、参数的OLS估计
▪ 普通最小二乘估计原理：使样本残差平方和最小
我们的模型是：
Y= x11 + x22 +…+ xk k +
关键问题是选择的估计量b，使得残差平方和最小。
过度识别
▪ 则必须想办法调和出现在过度识别系统中相互冲突 的估计。那如何解决呢？
广义矩估计的思想是使得样本矩与总体矩的加权距 离（即马氏距离）最小。主要是考虑到不同的矩所 起的作用可能不同。
设样本矩 X (X(1),...,X(R))/ ，总体矩 M (M(1),...,M(R))/ ，其中 R k 则马氏距离为：
t 1
t 1
1
T
T
x t ˆ t
1 T
T
xt (yt b0 b1xt ) 0
t 1
t 1
▪ 可见，与OLS估计量的正规方程组是相同的。 ▪ 多元线性回归模型矩估计的矩条件通常是这样构造的：
对于多元线性回归模型 Y=Xβ+ε
ˆ 样本矩（用样本矩估计总体矩）： 满足相应的矩条
件：
1
T
T
(Yt ˆ ) 0
t 1
▪ 同理，方差的估计量是样本的二阶中心矩。
▪ 现在，考虑一元线性回归模型中的假设条件：
E(t ) 0 E(xtt ) 0
▪ 其所对应的样本矩条件分别为：
1
T
T
ˆ t
1 T
T
(yt - b0 - b1xt ) 0
常数项的作用在于中心化误差。
§3.2 参数的OLS估计
•参数的OLS估计
附录：极大似然估计和矩估计
投影和投影矩阵 分块回归和偏回归 偏相关系数
一、参数的OLS估计
▪ 普通最小二乘估计原理：使样本残差平方和最小
我们的模型是：
Y= x11 + x22 +…+ xk k +
关键问题是选择的估计量b，使得残差平方和最小。
过度识别
▪ 则必须想办法调和出现在过度识别系统中相互冲突 的估计。那如何解决呢？
广义矩估计的思想是使得样本矩与总体矩的加权距 离（即马氏距离）最小。主要是考虑到不同的矩所 起的作用可能不同。
设样本矩 X (X(1),...,X(R))/ ，总体矩 M (M(1),...,M(R))/ ，其中 R k 则马氏距离为：
t 1
t 1
1
T
T
x t ˆ t
1 T
T
xt (yt b0 b1xt ) 0
t 1
t 1
▪ 可见，与OLS估计量的正规方程组是相同的。 ▪ 多元线性回归模型矩估计的矩条件通常是这样构造的：
对于多元线性回归模型 Y=Xβ+ε
多元回归分析
Multi Regression
22
Adjusted R2
在迴歸分析中，如果自變項的個數很多，有時 候就要用調整後的判定係數代替原先的判定係 數，因為增加新的自變項後，均會使R2變大。
「Adjusted R2」為調整後的判定係數：
SSE 2 2 n k 1 1 n 1 (1 R 2 ) Adjusted R R a 1 SST n k 1 n 1
平均平方和MS SSR MSR k SSE MSE n k 1
F F MSR MSE
ˆ Note: 殘差 ei yi yi ,i 1, 2,, n
K為預測變數個數(不含β0)
Multi Regression 18
模式檢定(1)
迴歸分析之假說檢定包括總檢定與邊際檢定兩種。 總檢定： – 目的在探討迴歸模式中的所有斜率係數是否全部 為0。 – 當斜率係數不全為0時，Y與(X1,X2,…,XK)才具有 某種程度的函數關係 。 – 總檢定之虛無假說與對立假說可列示如下： H0: j=0，對所有j H1: j0，對某些j (j=1,2,…,K) – 檢定統計量: F=MSR/MSE
2 iid
或
Y1 1 X11 X1k 0 1 Y2 1 X21 X2k 1 2 Yn 1 Xn1 Xnk k n
Yn1 Xn(k1)β(k1)1 ε n1
Multi Regression
17
迴歸分析 ―變異數分析表
變異來源 迴歸 隨機 總和 平方和SS
ˆ ˆ SSR y 2 (Y Y ) 2
SSE e 2 (Y Y ) 2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Functional Form misspecification 函数形式误设-讨论模型误设的结果-P289
Using Proxy variables for unobserved explanatory variables 对观测不到的变量使用代理变量-讨论用代理变量来减轻 有偏性
Properties of the OLS Under Measurement Error 有测量误差的OLS性质-推导和解释
以前被定罪比例
联合F显著；
avgsen avg sentence length, mos. 平均判刑期限，单位：月
3.二次项加入，模型的解读变得困 难，可能有更深刻的实际意义
tottime time in prison since 18, mos.
18岁以来的服刑时间，单位：月
Ptime86 mos. in prison during 1986
1986年的服刑时间，单位：月
7
Example: Modeling Crime 例子：对犯罪建模
Explanatory variables 解释变量
Qemp86 # quarters employed, 1986 1986年被雇佣季度数 inc86 legal income, 1986, $100s 1986年合法收入，单位：百美元 black =1 if black 如果是黑人，black=1 hispan =1 if Hispanic 如果是西班牙裔，hispan=1
x影响y的更合理的方式是百分比的形式（用log形式），还是绝对量的 形式？
Does it make (quadratic) or
more with
xs2en(isneteforarctthioendse)roivrattoivbeeoffixxe1 dto?
vary
with
x1
x1的用系）数，更还合是理固的定形不式变是？随x1变化（二次形式），随x2变化（交互作
一种方法：向模型加入任何重要变量的二次项，进行一个联 合显著性检验。-加入二次项，对二次项系数联合显著性F检验通
过时，显示的症状往往是误设，如误将对数模型为水平模型。另外 经济数据中，二次项可以解决大部分非线性问题-P290
6
Example: Modeling Crime 例子：对犯罪建模-P292
误设一个模型的函数形式可能产生严重的后果。我们得到的 局部效应的估计量可能有偏或不一致。
One way out: to add quadratic terms of any significant variables to a model and to perform a joint test of significance.
当一个多元回归模型不能正确地说明被解释 变量和观察到的解释变量之间的关系时， 此模型存在函数形式误设问题。
5
Functional Form Misspecification 函数形式误设
Misspecifying the functional form of a model can have serious consequences. We may obtain biased or inconsistent estimators of the partial effects.
Multiple Regression Analysis P289 多元回归分析之模型设定和数据问题
y = b0 + b1x1 + b2x2 + . . . bkxk + u
Specification and Data Probl本章大纲
P290:2个误设案例，一个是忽略了二次项，一个是忽略了交叉项。
也可能是没有用LOG形式；
回顾第三章 P85 假设3不成立的几种情况，
函数形式误设的后果P290EXP.9.1-阅读
4
Functional Form Misspecification 函数形式误设
A multiple regression model suffers from functional form misspecification when it does not properly account for the relationship between the dependent and the observed explanatory variables.
Missing Data, Nonrandom Samples, and outliers 数据缺失、非随机样本和离群点-讨论额外的数据问题
2
Functional Form 函数形式
How do we know if we’ve gotten the right functional form for our model?
3
Functional Form (continued) 函数形式（续）
First, use economic theory to guide you
首先，用经济理论的指导
Think about the interpretation
考虑它的解释
Does it make more sense for x to affect y in percentage (use logs) or absolute terms?
我们如何知道模型是否得到正确的函数形式 呢？
P289: 1. 异方差的出现可以看成是模型的错误设定，但不影响有偏性和一致性，还
可以通过WLS来减轻； 2. 本章讨论u与xi的相关性，如果相关，称xi为外生变量，为什么？ 3. 当被忽略的自变量为其他变量的函数时，将产生函数形式误设这一问题。 4. 何谓函数形式误设？
Dependent variable: 被解释变量： 解读：
Narr86, # times arrested, 1986 （1986年被捕次数）
1.为什么加入二次项，因为水平项 T检验很显著；
Explanatory Variables： 解释变量：2.加入变量的二次项后，原先的水
pcnv proportion of prior convictions 平变量系数变化很大；同时二次项
Using Proxy variables for unobserved explanatory variables 对观测不到的变量使用代理变量-讨论用代理变量来减轻 有偏性
Properties of the OLS Under Measurement Error 有测量误差的OLS性质-推导和解释
以前被定罪比例
联合F显著；
avgsen avg sentence length, mos. 平均判刑期限，单位：月
3.二次项加入，模型的解读变得困 难，可能有更深刻的实际意义
tottime time in prison since 18, mos.
18岁以来的服刑时间，单位：月
Ptime86 mos. in prison during 1986
1986年的服刑时间，单位：月
7
Example: Modeling Crime 例子：对犯罪建模
Explanatory variables 解释变量
Qemp86 # quarters employed, 1986 1986年被雇佣季度数 inc86 legal income, 1986, $100s 1986年合法收入，单位：百美元 black =1 if black 如果是黑人，black=1 hispan =1 if Hispanic 如果是西班牙裔，hispan=1
x影响y的更合理的方式是百分比的形式（用log形式），还是绝对量的 形式？
Does it make (quadratic) or
more with
xs2en(isneteforarctthioendse)roivrattoivbeeoffixxe1 dto?
vary
with
x1
x1的用系）数，更还合是理固的定形不式变是？随x1变化（二次形式），随x2变化（交互作
一种方法：向模型加入任何重要变量的二次项，进行一个联 合显著性检验。-加入二次项，对二次项系数联合显著性F检验通
过时，显示的症状往往是误设，如误将对数模型为水平模型。另外 经济数据中，二次项可以解决大部分非线性问题-P290
6
Example: Modeling Crime 例子：对犯罪建模-P292
误设一个模型的函数形式可能产生严重的后果。我们得到的 局部效应的估计量可能有偏或不一致。
One way out: to add quadratic terms of any significant variables to a model and to perform a joint test of significance.
当一个多元回归模型不能正确地说明被解释 变量和观察到的解释变量之间的关系时， 此模型存在函数形式误设问题。
5
Functional Form Misspecification 函数形式误设
Misspecifying the functional form of a model can have serious consequences. We may obtain biased or inconsistent estimators of the partial effects.
Multiple Regression Analysis P289 多元回归分析之模型设定和数据问题
y = b0 + b1x1 + b2x2 + . . . bkxk + u
Specification and Data Probl本章大纲
P290:2个误设案例，一个是忽略了二次项，一个是忽略了交叉项。
也可能是没有用LOG形式；
回顾第三章 P85 假设3不成立的几种情况，
函数形式误设的后果P290EXP.9.1-阅读
4
Functional Form Misspecification 函数形式误设
A multiple regression model suffers from functional form misspecification when it does not properly account for the relationship between the dependent and the observed explanatory variables.
Missing Data, Nonrandom Samples, and outliers 数据缺失、非随机样本和离群点-讨论额外的数据问题
2
Functional Form 函数形式
How do we know if we’ve gotten the right functional form for our model?
3
Functional Form (continued) 函数形式（续）
First, use economic theory to guide you
首先，用经济理论的指导
Think about the interpretation
考虑它的解释
Does it make more sense for x to affect y in percentage (use logs) or absolute terms?
我们如何知道模型是否得到正确的函数形式 呢？
P289: 1. 异方差的出现可以看成是模型的错误设定，但不影响有偏性和一致性，还
可以通过WLS来减轻； 2. 本章讨论u与xi的相关性，如果相关，称xi为外生变量，为什么？ 3. 当被忽略的自变量为其他变量的函数时，将产生函数形式误设这一问题。 4. 何谓函数形式误设？
Dependent variable: 被解释变量： 解读：
Narr86, # times arrested, 1986 （1986年被捕次数）
1.为什么加入二次项，因为水平项 T检验很显著；
Explanatory Variables： 解释变量：2.加入变量的二次项后，原先的水
pcnv proportion of prior convictions 平变量系数变化很大；同时二次项