讲义3 多元线性回归模型_假设检验
统计学中的线性回归模型与假设检验
统计学中的线性回归模型与假设检验统计学作为一门研究数据收集、分析和解释的学科，扮演着重要的角色。
其中，线性回归模型和假设检验是统计学中常用的方法。
本文将介绍线性回归模型的基本概念和应用，以及假设检验的原理和实际意义。
一、线性回归模型线性回归模型是一种用于描述两个或多个变量之间关系的统计模型。
它假设自变量和因变量之间存在线性关系，并通过最小化因变量与预测值之间的差异来估计回归系数。
在线性回归模型中，自变量通常表示为X，因变量表示为Y。
模型的基本形式可以表示为Y = β0 + β1X + ε，其中β0和β1是回归系数，ε是误差项。
回归系数表示自变量对因变量的影响程度，误差项表示模型无法解释的随机变动。
线性回归模型的应用非常广泛。
例如，在经济学中，可以使用线性回归模型来研究收入与消费之间的关系；在医学研究中，可以使用线性回归模型来分析药物剂量与治疗效果之间的关系。
通过对数据进行拟合和分析，线性回归模型可以帮助我们理解变量之间的关系，并进行预测和决策。
二、假设检验假设检验是一种统计推断方法，用于判断样本数据与某个假设之间是否存在显著差异。
在假设检验中，我们首先提出一个原假设（H0）和一个备择假设（H1），然后根据样本数据进行统计推断，判断是否拒绝原假设。
在假设检验中，我们通常使用一个统计量来衡量样本数据与原假设之间的差异。
常见的统计量包括t值、F值和卡方值等。
通过计算统计量的概率值（p值），我们可以判断样本数据是否支持原假设。
假设检验在科学研究和实际应用中具有重要意义。
例如，在药物研发中，可以使用假设检验来判断新药物是否比现有药物更有效；在市场营销中，可以使用假设检验来评估不同广告策略的效果。
通过假设检验，我们可以基于数据进行科学决策，提高研究和实践的可靠性。
三、线性回归模型与假设检验的关系线性回归模型和假设检验是统计学中紧密相关的方法。
在线性回归分析中，我们可以使用假设检验来评估回归系数的显著性。
在线性回归模型中，我们通常对回归系数进行假设检验，以确定自变量对因变量的影响是否显著。
第三章 多元线性回归模型
即
Y Xb U
X 称为数据矩阵或设计矩阵。
6
二、古典假定
假定1：零均值假定 E(ui ) 0 (i 1,2,...,n)
1 E ( 1 ) E ( ) 2 2 E (μ) E 0 n E ( n )
写成矩阵形式：
Y1 1 X 21 Y 1 X 22 2 Yn 1 X 2 n X 31 X k 1 b 1 u1 X 32 X k 2 b 2 u 2 X 3 n X kn b k un
或
ei 1 X 21 X e 1 X 22 2i i X ki ei 1 X 2 n X 31 X k 1 e1 X 32 X k 2 e2 X e 0 X 3 n X kn en
9
当总体观测值难于得到时，回归系数向 量 b 是未知的，这时可以由样本观测值进行 估计，可表示为
ˆ ˆ Xb Y
但实际观测值与计算值有偏差，记为：
ˆ e Y Y
于是
ˆ e Y Xb
称为多元样本回归函数。
10
ˆ b 1 ˆ b2 ˆ b ˆ b k
同理
ˆ x x b ˆ x 2 x3 i yi b 2 2i 3i 3 3i
x2 i yi x x3 i yi x2 i x3 i ˆ b2 2 2 2 x2 x ( x x ) i 3i 2i 3i
2 3i
x3 i yi x x2 i yi x2 i x3 i ˆ b3 2 2 2 x2 x ( x x ) i 3i 2i 3i
第3章 多元线性回归模型 《计量经济学》PPT课件
于是：
βˆ
ˆ1 ˆ 2
0.7226 0.0003
0.0003 1.35E 07
15674 39648400
01.0737.71072
⃟ 正规方程组 的另一种写法
对于正规方程组 XY XXβˆ
XXβˆ Xe XXβˆ
于是 Xe 0 (*)
或
ei 0
(**)
X jiei 0
i
(*) 或（ ** ）是多元线性回归模型正规方程 组的另一种写法。
第三章 经典单方程计量经济学模型： 多元线性回归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测 • 回归模型的其他形式
§ 3. 1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型 : 表现在线性回归模型 中的解释变量有多个。
的秩 =k+1 ，即 X 满秩。
假设 2. 随机误差项零均值，同方差。
0
0
0
E
(μ
μ
)
E
1
n
1
n
E
12
n 1
1 n
2 n
var(1 ) cov(1, n ) 2 0
2I
cov(
n
,
1
)
var(n )
0
2
i E(i )
βˆ (xx)1 xY
ˆ0 Y ˆ1 X 1 ˆk X k
⃟ 随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏 估计量为：
ˆ 2
ei2 n k 1
ee n k 1
计量经济学-多元回归PPT课件
. 28
F与t的关系（一元回归模型）
Y i B 1 B 2X 2 u
检验统计:t 量 b2 b2
b2 x2
sb2 ˆ / x2
e2
n2
t2
b22 x 2 e2
yˆ 2 / 1 e2
F
n2
n .2
29
. 5
4.3 多元回归参数的估计
Y i B 1 B 2 X 2 i B 3 X 3 i u i
最小二乘准则： 真实值与拟合值的离差平方和最小。
e n
n
2
i
Yi
2
Yˆi
i1
i1
n
2
Yi b1b2 X2i b3 X3i
i1
. 6
回归系数的OLS估计量
b1Yb2X2b3X3 b2x2i yx i2 2 i xx 3 23 2 ii (x 3 x i2 yiix3 i)x 22ix3i
-------------------------------------------------------------------------------------
y Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------------------------------------------------------------------------------
educ: 受教育的年数 exper: 工作经历 tenure: 现任职务的任期 当一个人在同一企业多待一年，对工资的影响？
. 19
多元回归的拟合优度R2
多元相关系数（复相关系数）： R 2 ✓ 度量因变量Y与所有解释变量的线性相关程度。 简单相关系数r： ✓ 度量因变量Y与解释变量Xi的线性相关程度。 ✓ 一元回归模型的r2=相关系数r的平方
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
多元线性回归——模型、估计、检验与预测
多元线性回归——模型、估计、检验与预测⼀、模型假设传统多元线性回归模型最重要的假设的原理为：1. ⾃变量和因变量之间存在多元线性关系，因变量y能够被x1,x2….x{k}完全地线性解释；2.不能被解释的部分则为纯粹的⽆法观测到的误差其它假设主要为：1.模型线性，设定正确；2.⽆多重共线性；3.⽆内⽣性；4.随机误差项具有条件零均值、同⽅差、以及⽆⾃相关；5.随机误差项正态分布具体见另⼀篇⽂章：回归模型的基本假设⼆、估计⽅法⽬标：估计出多元回归模型的参数注：下⽂皆为矩阵表述，X为⾃变量矩阵(n*k维)，y为因变量向量（n*1维）OLS（普通最⼩⼆乘估计）思想：多元回归模型的参数应当能够使得，因变量y的样本向量在由⾃变量X的样本所构成的线性空间G（x）的投影（即y’= xb）为向量y 在线性空间G(x)上的正交投影。
直⽩⼀点说，就是要使得(y-y’)’(y-y’)最⼩化，从⽽能够使y的预测值与y的真实值之间的差距最⼩。
使⽤凸优化⽅法，可以求得参数的估计值为：b = (x’x)^(-1)x’y最⼤似然估计既然已经在假设中假设了随机误差项的分布为正态分布，那么⾃变量y的分布也可以由线性模型推算出来（其分布的具体函数包括参数b在内）。
进⼀步的既然已经抽取到了y的样本，那么使得y的样本出现概率（联合概率密度）最⼤的参数即为所求最终结果与OLS估计的结果是⼀致的矩估计思想：通过寻找总体矩条件(模型设定时已经有的假设，即⽆内⽣性)，在总体矩条件中有参数的存在，然后⽤样本矩形条件来进⾏推导未知参数的解。
在多元回归中有外⽣性假设：对应的样本矩为：最终估计结果与OLS⽅法也是⼀样的。
三、模型检验1.拟合优度检验（1）因变量y是随机变量，⽽估计出来的y’却不是随机变量；（2）拟合优度表⽰的是模型的估计值y’能够在多⼤程度上解释因变量样本y的变动。
（3）y’的变动解释y的变动能⼒越强，则说明模型拟合的越好y-y’就越接近与假设的随机误差（4）⽽因变量的变动是由其⽅差来描述的。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββΛΛ22110 （1）的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21ΛΛ=。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
讲义3 多元线性回归模型：推断主要内容：1、推断的数学知识复习2、Size，power的含义3、OLS估计量的样本分布4、单约束检验－t检验5、多约束检验—F检验对应教材内容：chapter2.5自由度的概念“自由度”是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数。
例：假设n 个独立变量Xi ~N(0,1)，那么)(~)...(222221n X X X n χ+++；随机向量的分布与数字特征 ● 协方差矩阵设Y 是一个由多个随机变量组成的向量，即'21),...,,(n Y Y Y Y =，那么 Y 的期望为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==n n Y E Y E Y E μμμ...)(...)()(11， Y 的协方差矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡------=--=∑])[(...)])([(.........)])([(...])[(]))([(21111211'n n n n n n Y E Y Y E Y Y E Y E Y Y E μμμμμμμμ对于n 个随机变量的线性组合Y 'α，有μαααα''11)()...(==++Y E Y Y E n nααα∑='')(Y Var● 多变量的正态分布X ~N (μ,∑)，其中X 为n 维列向量，常被称为正态向量；μ为期望向量，∑为协方差矩阵。
X 的密度函数为'1/21/211()exp[()()](2)||2n f X x x μμπ-=--∑-∑.● 正态向量的线性函数 若),(~∑μN X ，那么),(~'A A b A N b AX ∑++μ● 标准正态向量的二次型若~(0,)n X N I ，A 是幂矩阵，那么))((~2'A rank AX X χ。
特别地，)1(~)(2120'--=∑=n X X X M X ni i χ。
● 幂矩阵二次型的独立性设~(0,)n X N I ，A 和B 都是幂矩阵，那么如果0=AB 就有AX X '和BX X '就独立。
● 满秩二次型的分布 设),(~∑μN X ，那么),0(~)(2/1I N X μ-∑-，)(~)()(21'n X X χμμ-∑--。
● 线性函数与二次型的独立性设~(0,)n X N I ，LX 是X 的线性函数，AX X '是X 的二次型，那么如有LA=0必有LX 和AX X '独立。
临界值的概念设X 的分布函数为F ，αx 满足(){},01F x P X x αααα=≤=<<，则称αx 为F 的α临界值或分位数（点）。
例1：对称分布~(0,1)U N 的临界值例2：非对称分布22~(1)n χχ-的临界值区间估计对于参数θ，如果有两个统计量),,,(ˆˆ2111n X X X θθ=,),,,(ˆˆ2122n X X X θθ=，满足对给定的)1,0(∈α，有αθθθ-=≤≤1}ˆˆ{21P则称区间[1ˆθ，2ˆθ]是θ的一个区间估计或置信区间，1ˆθ、2ˆθ分别称作置信下限、置信上限，α-1称为置信水平。
置信水平为1-α，在实际上可以这样理解:如取%951=-α，就是说若对某一参数θ取100个容量为n 的样本，用相同方法做100个置信区间。
[)(1ˆk θ，)(2ˆk θ]，k =1,2,…,100,那么其中有95个区间包含了真参数θ．因此,当实际上只做一次区间估计时，我们有理由认为它包含了真参数。
这样判断当然也可能犯错误，但犯错误的概率只有5%。
寻找置信区间的通常方法是从已知抽样分布的统计量，如上文提到的U ，X 和T 入手，由于分布和概率已知，只要确定临界值就可以了。
假设检验原理的复习第一步，建立假设0H 称为原假设，1H 称为备择假设。
注意：在假设检验中，原假设0H 与备选假设1H 的地位是不对等的。
一般来说α是较小的，因而检验推断是“偏向”原假设，而“歧视”备选假设的。
既然0H 是受保护的，则对于0H 的肯定相对来说是较缺乏说服力的，充其量不过是原假设与试验结果没有明显矛盾；反之，对于0H 的否定则是有力的，且α越小，小概率事件越难于发生，一旦发生了，这种否定就越有力，也就越能说明问题。
在应用中，如果要用假设检验说明某个结论成立，那么最好设0H 为该结论不成立。
例3.1（单侧检验）：00:μμ=H ，01:μμ>H第二步，构造统计量，求出统计量的样本分布以及由样本观察值算出其具体值。
统计量1n SX t 0--=μ在0H 成立的条件下，)(~1n t t-； 对应的具体值记为t ˆ。
第三步，根据备择假设构造出对0H 不利的小概率事件——在给定显著性水平α下，确定临界值，构造出拒绝域。
在一个问题中，通常指定一个正数α（01α<<），认为概率不超过α的事件是在一次试验中几乎不会发生的事件，α称为显著性水平。
α=0.05，算出临界值1(1)t n α--。
1{(1)}V t t n α-=>-，这里V 是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。
第四步，得出结论方法1：根据计算出来的t 值，看样本是否落在V 内，若落在V 内，则拒绝0H ，否则,不能拒绝0H 。
如果>t ˆ)1(1--n t α，则称能以α的显著性水平拒绝零假设；否则，不能拒绝零假设；方法2：比较p 值和α。
p 值定义为不能拒绝零假设的最大的显著性水平；}ˆ{t t P >，也就是在t-分布中大于统计量t ˆ的概率。
比较p 值和预先设定的显著性水平。
如果p 值<α，则称能以α的显著性水平拒绝零假设；否则，不能拒绝零假设。
例3.2：（双侧检验）0:μμ=H ，01:μμ≠H与例3.2不同的地方在于第三步和第四步。
第三步，令α=0.05，算出临界值1/2(1)t n α--。
1/2{||(1)}V t t n α-=>-，这里V 是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。
第四步，如果tˆ落在拒绝域，则能拒绝零假设；否则，不能拒绝零假设； 思考：若用方法2，那么p 值是多少？由于统计量是随机变量，假设检验可能犯两种类型的错误。
● 当0H 成立，而检验的结果表明0H 不成立，即拒绝了0H ，这时称该检验犯了第一类错误(typeI error)或“弃真”的错误；第一类错误的概率就是在0H 成立的条件下V 的概率)|(0H V P ； 检验的显著性（size of test ）=α● 当0H 不成立，1H 成立，而检验的结果表明0H成立，即接受了0H ，这时称该检验犯了第二类错误(type II error)，或称“取伪”的错误。
犯第二类错误的概率是}|{1H V P -X =β。
定义一个检验的势（power of test ）＝1－β。
给定多元线性回归方程：011...i i ik k i y x x βββε=++++，),...,2,1(n i =OLS 估计量的样本分布在有限样本下进行假设检验，除了假定1到假定4，一般还需要加上假设5： 假定5 扰动项服从正态分布那么，得到，2'1|~(,())b X N X X βσ-其中，|~(,())j j jj b X N X X βσ-单个线性约束的假设检验：t 检验原理：t 统计量=分布t N ~/)1,0(2χ;『证明：因为2'1()/(())|~(0,1)j j jj b X X X N βσ--'22|~(1)e eX n k χσ--所以()/()|~(1)j j j b se b X t n k β---』单个参数的线性假设检验/()~(1)j j t b se b t n k =--上述的t 检验又称系数的显著性检验，是回归分析最常见的检验之一。
t 检验的步骤：1）根据样本数据计算t 统计量；2）确定显著性水平α，一般可选择取1%，5%，10%。
3）确定备择假设，由此确定是单侧检验还是双侧检验。
4） 根据自由度为1n k --的t 分布计算临界值，单侧检验计算αt ，双侧检验计算2/αt 。
或者计算p 值：双侧检验的|)||Pr(|t T p d >=；单侧检验的p 值2/d s p p =。
5）最后比较临界值与t 统计量，或者比较p 值和显著性水平α。
例子：房产价格与空气污染首先估计方程，得到系数OLS 估计值及其标准差：然后进行系数显著性检验。
0:10=βH ；0:11≠βH0~(1)()i i i b t t n k se b β-=--例子（续）：1:11<βH 1:11>βH单个线性约束的假设检验2323(1)~(1)var()b b t t n k b b +-=--+3434()~(1)var()b b t t n k b b -=---多个线性约束的假设检验：F 检验F 检验F 统计量服从(,1)F J n k --。
『证明：Step1，由假定5推出])(,0[~|)('1'2R X X R N X b R --σβ；在原假设H0下，])(,0[~|'1'2R X X R N X r Rb --σ；令)(])([)(1'1'2'r Rb R X X R r Rb w --=--σ，那么有)(~|2J X w χ。
Step2，因为)()('2'2'σεσεσεεσM M ee ==，),0(~|n I N X σε 推出'22|~(1)e eX n k χσ--。
Step3，由0),(=e b Cov 推出X w |和X ee |2'σ独立。
所以''1'1'()[()]()/~(,1)/(1)Rb r R X X R Rb r JF J n k e e n k --------。
』F 统计量的两种更简便的计算方法：22''**'2()/()//(1)(1)/(1)U R U R R Je e e e J F e e n k R n k --==-----其中R SSR 、2R R 是约束回归的残差平方和以及决定系数；U SSR 、2U R 是无约束回归的残差平方和以及决定系数。
讨论几种常见的约束：012():...0k v H βββ====22//~(,1)/(1)(1)/(1)ESS k R k F F k n k RSS n k R n k ==-------上述检验称为联合显著性检验，也是回归分析的常见检验。