2.0 一元线性回归分析
合集下载
一元线性回归分析
C=α+βy + µ
其中， µ是随机误差项。 是随机误差项。 其中， 是随机误差项 根据该方程， 的值， 根据该方程，每给定一个收入 y 的值，消 并不是唯一确定的， 费C并不是唯一确定的，而是有许多值， 并不是唯一确定的 而是有许多值， 他们的概率分布与µ的概率分布相同 的概率分布相同。 他们的概率分布与 的概率分布相同。 线性回归模型的特征： 线性回归模型的特征： 有随机误差项！ 有随机误差项！
21
说
明
一、严格地说，只有通过了线性关系的检验，才 严格地说，只有通过了线性关系的检验， 能进行回归参数显著性的检验。 能进行回归参数显著性的检验。 有些教科书在介绍回归参数的检验时没有考虑线 性关系的检验，这是不正确的。 性关系的检验，这是不正确的。因为当变量之间 的关系没有通过线性检验时， 的关系没有通过线性检验时，进行回归参数显著 性的检验是没有意义的。 性的检验是没有意义的。 在一元线性回归分析中， 二、在一元线性回归分析中，即只有一个解释变 量时，这两种检验是统一的。 量时，这两种检验是统一的。但在多元回归分析 这两种检验的意义是不同的。 中，这两种检验的意义是不同的。 为了说明该问题， 为了说明该问题，我们在本章中依然把两种检验 分开论述。 分开论述。
13
为了达到上述目的， 为了达到上述目的，我们直观上会采 用以下准则： 用以下准则： 选择这样的SRF，使得： 选择这样的 ，使得：
残差和∑ ε i = ∑ ( yi − yi )尽可能小！ ˆ
但这个直观上的准则是否是一个很好 的准则呢？我们通过以下图示说明： 的准则呢？我们通过以下图示说明：
14
12
ˆx i + ε i yi = α + β ˆ ˆ 即：y i = y i + ε i ˆ ∴ ε i = yi − yi
一元线性回归分析
一元线性回归模型是回归分析中最简单的模型之一。它假设因变量与自变量 之间存在线性关系，并通过最小化残差的平方和来确定模型的参数。
模型评估指标
模型评估指标用于衡量回归模型的拟合优度和预测精度。常用的指标包括均 方误差、决定系数和标准化残差等，可以帮助我们评估模型的有效性和适用 性。
参数估计方法
参数估计是确定回归模型中各个参数的取值的过程。常用的参数估计方法包括最小二乘法、最大似然估 计法和贝叶斯估计法等，可以帮助我们找到最优的参数估计结果。
一元线性回归分析
回归分析是一种用于建立变量之间关系的统计方法。本演示将介绍一元线性 回归模型的构建、参数估计、模型假设检验以及模型预测和应用。
回归分析的概述
回归分析是一种通过建立变量之间的关系来描述和预测现象的统计方法。它 可以帮助我们理解变量之间的因果关系，并从中推断出未知的检验
模型假设检验用于验证回归模型的假设是否成立。常见的假设检验包括检验回归系数的显著性、整体模 型的显著性以及模型的线性关系等，可以帮助我们判断模型是否可靠。
回归诊断和残差分析
回归诊断和残差分析通过检查模型的残差来评估模型的拟合优度和假设的满 足程度。常用的诊断方法包括残差图、QQ图和离群值分析等，可以帮助我们 发现模型的不足和改进方向。
模型预测和应用
回归模型可以用于预测未知观测值，并帮助我们做出决策和制定策略。它在经济学、社会科学、医学等 领域具有广泛的应用，可以为决策者提供有力的数据支持。
模型评估指标
模型评估指标用于衡量回归模型的拟合优度和预测精度。常用的指标包括均 方误差、决定系数和标准化残差等，可以帮助我们评估模型的有效性和适用 性。
参数估计方法
参数估计是确定回归模型中各个参数的取值的过程。常用的参数估计方法包括最小二乘法、最大似然估 计法和贝叶斯估计法等，可以帮助我们找到最优的参数估计结果。
一元线性回归分析
回归分析是一种用于建立变量之间关系的统计方法。本演示将介绍一元线性 回归模型的构建、参数估计、模型假设检验以及模型预测和应用。
回归分析的概述
回归分析是一种通过建立变量之间的关系来描述和预测现象的统计方法。它 可以帮助我们理解变量之间的因果关系，并从中推断出未知的检验
模型假设检验用于验证回归模型的假设是否成立。常见的假设检验包括检验回归系数的显著性、整体模 型的显著性以及模型的线性关系等，可以帮助我们判断模型是否可靠。
回归诊断和残差分析
回归诊断和残差分析通过检查模型的残差来评估模型的拟合优度和假设的满 足程度。常用的诊断方法包括残差图、QQ图和离群值分析等，可以帮助我们 发现模型的不足和改进方向。
模型预测和应用
回归模型可以用于预测未知观测值，并帮助我们做出决策和制定策略。它在经济学、社会科学、医学等 领域具有广泛的应用，可以为决策者提供有力的数据支持。
线性回归分析
2
效果是好的, 在 水平下, 已解释方差(Y的变化中已经解 释的部分)明显大于未解释方差(Y的变化中尚未解释的部 分).
8. F与 R2的关系
F 统计量与R2的统计量的关系, 可以从下式的推演中看到:
F
ˆ y / y e / y
2
2
2 2
n k n k R2 k 1 k 1 1 R2
Y 1 2 X u
ˆ ˆ 其中 1 , 2 为1， 2 的估计值, 则 Y 的计算值Ŷ, 可以
用下式表达:
ˆ ˆ ˆ Y 1 2 X
ˆ ˆ 所要求出待估参数 1 , 2, 要使 Y 与其计算值Ŷ之间 的“误差平方和”最小. 即： 使得
ˆ ˆ ˆ Q (Y Y ) e i2 (Yi 1 2 X i ) 2
2. 普通最小二乘法估计式
在模型中, 代入样本观测值之后, 可得
Y1 1 X 12 X 1k u1 1 2 k Y 1 X X u n n2 nk n
有可能不成立, 以后讨论不成立时如何处理). (5) ui 服从 N(0, 2u )分布; (6) E(Xiuj)=0, 对Xi 的性质有两种解释: a. Xi 视为随机变量, 但与uj无关, 所以(6)成立. b. Xi 视为确定型变量, 所以(6)也成立.
3. 普通最小二乘法 (OLS)
设线性回归模型
2. 高斯基本假设
对于线性回归模型
Yi 1 2 X i ui i =1,2, …,n, n为样本容量.
高斯基本假设如下: (1) ui 为随机变量 ( 本假设成立, 因为我们研究就是不 确定关系). (2) E(ui) =0, 随机干扰项的期望值等于零(本假设成立, 如果其均值不是零, 可以把它并入到 1 中). (3) Var(ui) =2u , 随机干扰项的方差等于常数(本假设 有可能不成立, 以后讨论不成立时如何处理). (4) E(uiuj)=0 (ij) 随机干扰项协方差等于零(本假设
一元线性回归分析基础
样本2
X（收入） Y（支出）
80 100 120 140 160 180 200 70 80 94 103 116 130 144
220 240 260 152 165 178
样本回归函数SRF：
Yˆi ˆ1ˆ2Xi ui
其中 ,Y ˆ为E(Y |Xi的 ) 估计 , 量
ˆ1为1的估计 ,2为 量21的估计
Y X
2 X t Yt X t 0
X tYt nXY
X
2 t
nX
2
第一章 一元线性回归分析基础
第二节 参数的最小二乘估计
2019/11/30
定义:
S XX
2
Xt X
是指参数估计值β*1和β*2分别为观察值Yt或扰 动项ut的线性组合。
证： β*2 =∑Xtyt/ ∑Xt2 =∑Xt(Yt- Y)/∑X2t
=∑（Xt/∑Xt2）Yt 令 bt= （Xt/∑Xt2）
得 β*2 = ∑ bt Yt 即β*2 是Yt的线性组合
第一章 一元线性回归分析基础
第三节 最小二乘估计量的性质
要使 ˆ1尽可能 1,接 2尽近 可能 2
第一章 一元线性回归分析基础
Xi X
主要内容
2019/11/30
第一节 第二节 第三节 第四节 第五节
模型的假定 参数的最小二乘估计 最小二乘估计量的性质 系数的显著性检验 预测和预测区间
第一章 一元线性回归分析基础
第一节 模型的假定
2019/11/30
第一章 一元线性回归分析基础
(t≠s; t=1, 2, …, n; s=1, 2, …, n)
一元线性回归分析
(n
2)
S2 ˆ0
2 ˆ0
:
2(n 2)
S 2 ˆ1
S2
n
（Xt X )2
t 1
(n
2)
S2 ˆ1
2 ˆ1
:
2(n 2)
所以根据t分布的定义，有
ˆ0 0 ~ t(n 2), ˆ1 1 ~ t(n 2)
Sˆ0
Sˆ1
进而得出了0的置信水平为1-区间估计为
et Yt Yˆt称为残差，与总体的误差项ut对应，n为样 本的容量。
样本回归函数与总体回归函数区别
1、总体回归线是未知的，只有一条。样本回归线是根据样本数 据拟合的，每抽取一组样本，便可以拟合一条样本回归线。
2、总体回归函数中的β0和β1是未知的参数，表现为常数。而样
本回归函数中的 ˆ0和是ˆ1 随机变量，其具体数值随所抽取
S 44.0632
Sef S
1 1 n
( X f X )2
n
45.543
( Xt X )2
t 1
所求置信区间为：(188.6565 97.6806)
回归分析的SPSS实现
“Analyze->Regression->Linear”
0
n
2 t1 Xt (Yt ˆ0 ˆ1 Xt ) 0
nˆ0
n
ˆ1
t 1
Xt
n
Yt
t 1
n
n
n
ˆ0
t 1
Xt
ˆ1
t 1
X
2 t
一元线性回归分析
一元线性回归分析摘要：一元线性回归分析是一种常用的预测和建模技术，广泛应用于各个领域，如经济学、统计学、金融学等。
本文将详细介绍一元线性回归分析的基本概念、模型建立、参数估计和模型检验等方面内容，并通过一个具体的案例来说明如何应用一元线性回归分析进行数据分析和预测。
1. 引言1.1 背景一元线性回归分析是通过建立一个线性模型，来描述自变量和因变量之间的关系。
通过分析模型的拟合程度和参数估计值，我们可以了解自变量对因变量的影响，并进行预测和决策。
1.2 目的本文的目的是介绍一元线性回归分析的基本原理、建模过程和应用方法，帮助读者了解和应用这一常用的数据分析技术。
2. 一元线性回归模型2.1 模型表达式一元线性回归模型的基本形式为：Y = β0 + β1X + ε其中，Y是因变量，X是自变量，β0和β1是回归系数，ε是误差项。
2.2 模型假设一元线性回归模型的基本假设包括：- 线性关系假设：自变量X与因变量Y之间存在线性关系。
- 独立性假设：每个观测值之间相互独立。
- 正态性假设：误差项ε服从正态分布。
- 同方差性假设：每个自变量取值下的误差项具有相同的方差。
3. 一元线性回归分析步骤3.1 数据收集和整理在进行一元线性回归分析之前，需要收集相关的自变量和因变量数据，并对数据进行整理和清洗，以保证数据的准确性和可用性。
3.2 模型建立通过将数据代入一元线性回归模型的表达式，可以得到回归方程的具体形式。
根据实际需求和数据特点，选择适当的变量和函数形式，建立最优的回归模型。
3.3 参数估计利用最小二乘法或最大似然法等统计方法，估计回归模型中的参数。
通过最小化观测值与回归模型预测值之间的差异，找到最优的参数估计值。
3.4 模型检验通过对回归模型的拟合程度进行检验，评估模型的准确性和可靠性。
常用的检验方法包括：残差分析、显著性检验、回归系数的显著性检验等。
4. 一元线性回归分析实例为了更好地理解一元线性回归分析的应用，我们以房价和房屋面积之间的关系为例进行分析。
一元线性回归分析
S xx xi2 nx 2 218500 10 1452 8250 S xy xi yi nx y 101570 10 145 67.3
i 1
3985 ˆ S xy 3985 0.483 b S xx 8250 ˆ ˆ a y xb 67.3 145 0.483 2.735
这里45.394>2.306，即|t|值在H0的拒绝域内，故 拒绝H0 ，说明回归效果是显著的。 b的置信度为0.95(=0.05)的置信区间为 0.934 0.934 (b, b ) 0.483 2.306 , 0.483 2.306 8250 8250
i 1 n 2 n
2
ˆ ˆ yi y yi yi
i 1 i 1
2
S回 Qe
18
线性回归的方差分析
回归平方和
残差平方和
ˆ S回 yi y
i 1 n
n
2
ˆ Qe yi yi
i 1
2
Syy自由度为n-1， Qe自由度为n-2， S回自由度为1
平方和 1924.6 7.5 1932.1
自由度
均方
F比
回归 残差 总和
1 8 9
1924.6 0.94
2047.4
30
对=0.01，查出F0.01(1,8)=11.26 因为2047.3 >>11.26，所以回归效果是 非常显著的。
六、利用回归方程进行预报（预测） 回归问题中Y是随机变量，x是普通 变量。回归方程 y a bx 是Y对x的依赖 ˆ ˆ ˆ 关系的一个估计。对给定的x值，用回归 方程确定Y的值，叫预报。
一元线性回归分析
(2) Cov( ut us ) 0, ( t , s 1,2,3,
, n; t s )
Y
由上知： E (Yt ) 0 1 X t
Yt
E(Yt )＝ 0＋1 X t
。 ut
。 。 。
。 X
参数0和1的点估计
X1 Y1 X 2 …… Y2 …… Xt Yt
…… ……
或控制另一个特定变量的取值，并给出这种预测或控制的 精确程度；
回归分析的分类
回归分析
一个自变量
两个及以上自变量
一元回归
多元回归
线性 回归
非线性 回归
线性 回归
非线性 回归
一元线性回归模型
(一)总体回归函数 Yt＝ 0＋ 1 X t＋ut ut 是随机误差项，又称随机干扰项，它是一个特殊的 随机变量，反映未列入方程式的其他各种因素对Y的 影响。
n n ˆ ˆ n 1 X t Yt 0 t 1 t 1 n n n 2 ˆ ˆ X X 0 t 1 t X tYt t 1 t 1 t 1
ˆ 1
n X tYt X t Yt
t 1 t 1 t 1
Xn Yn
最小二乘法： 通过使得残差平方和 （各样本点与拟合直 线的纵向距离的平方 和）为最小来估计回 归系数的一种方法。
ˆ ˆX ˆ Y t 0 1 t
残差平方和： ˆ ˆ X )2 ˆ )2 (Y Q et2 (Yt Y t 0 1 t t
(二)样本回归函数 ˆ ˆ X (t 1,2,3, , n) ˆ Y t 0 1 t ˆ 称为残差，与总体的误差项u 对应，n为样 e Y Y
t t t t
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
935 1012 1210 1408 1650 1848 2101 2354 2860 968 1045 1243 1474 1672 1881 2189 2486 2871
1078 1254 1496 1683 1925 2233 2552 1122 1298 1496 1716 1969 2244 2585 1155 1331 1562 1749 2013 2299 2640 1188 1364 1573 1771 2035 2310 1210 1408 1606 1804 2101
共计
表 2.1.1 某社区家庭每月收入与消费支出统计表 每月家庭可支配收入X（元）
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 561 638 869 1023 1254 1408 1650 1969 2090 2299 594 748 913 1100 1309 1452 1738 1991 2134 2321 627 814 924 1144 1364 1551 1749 2046 2178 2530 638 847 979 1155 1397 1595 1804 2068 2266 2629
• 相应的函数称为（双变量）总体回归函数 （population regression function, PRF）。
E(Y | Xi ) f (X i )
• 含义：回归函数（PRF）说明被解释变量Y的 平均状态（总体条件期望）随解释变量X变化 的规律。
• 函数形式：可以是线性或非线性的。 • 例2.1.1中，将居民消费支出看成是其可支配收
回答：能
• 该样本的散点图（scatter diagram)：
• 画一条直线以尽好地拟合该散点图，由于样本取自总体， 可以该直线近似地代表总体回归线。该直线称为样本回归 线（sample regression lines）。 • 样本回归线的函数形式为：
Yˆi f ( X i ) ˆ0 ˆ1 X i
• 下面的假设主要是针对采用普通最小二乘法 （Ordinary Least Squares, OLS）估计而提出 的。所以，在有些教科书中称为“The Assumption Underlying the Method of Least Squares”。
• 在不同的教科书上关于基本假设的陈述略有不同， 下面进行了重新归纳。
• 在例2.1.1的总体中有如下一个样本，能否从该 样本估计总体回归函数？
表 2.1.3 家庭消费支出与可支配收入的一个随机样本 X 800 1100 1400 1700 2000 2300 2600 2900 3200 3500 Y 594 638 1122 1155 1408 1595 1969 2078 2585 2530
§2.2 一元线性回归模型的基本假设 (Assumptions of Simple Linear Regression Model)
一、关于模型设定的假设 二、关于解释变量的假设 三、关于随机项的假设
说明
• 为保证参数估计量具有良好的性质，通常对模型 提出若干基本假设。
• 实际上这些假设与所采用的估计方法紧密相关。
称为样本回归函数（sample regression function，SRF）。
• 注意：这里将样本回归线看成总体回归线的近似 替代
则
2、样本回归模型
• 样本回归函数的随机形式：
Yi Yˆi ˆi ˆ0 ˆ1X i ei
式中，ei 称为（样本）残差（或剩余）项（residual），代表
–存在相关关系并不一定存在因果关系。
– 相关分析对称地对待任何（两个）变量，两个变量 都被看作是随机的。
– 回归分析对变量的处理方法存在不对称性，即区分 应变量（被解释变量）和自变量（解释变量），前 者是随机变量，后者不一定是。
2、回归分析的基本概念
• 回归分析(regression analysis)是研究一个 变量关于另一个（些）变量的具体依赖关系的 计算方法和理论。
• 回归分析构成计量经济学的方法论基础，其主 要内容包括：
– 根据样本观察值对经济计量模型参数进行估计，求得 回归方程；
– 对回归方程、参数估计值进行显著性检验；
– 利用回归方程进行分析、评价及预测。
二、总体回归函数 Population Regression Function, PRF
1、条件均值（conditional mean）
了其他影响Yi 的随机因素的集合，可看成是i 的估计量ˆi 。
• 由于方程中引入了随机项，成为计量经济模型， 因此也称为样本回归模型（sample regression model）。
• 回归分析的主要目的：根据样本回归函数SRF， 估计总体回归函数PRF。
Yi Yˆi ei ˆ0 ˆ1X i ei Yi E(Y | X i ) i 0 1X i i
1、关于模型关系的假设
• 模型设定正确假设。The regression model is correctly specified.
– 模型选择了正确的变量； – 模型选择了正确的函数形式。
• 线性回归假设。The regression model is linear in the parameters。
– 相关系数(correlation coefficient) – 正相关(positive correlation) – 负相关(negative correlation) – 不相关(non-correlation)
• 回归分析仅对存在因果关系而言。
• 注意：
–不存在线性相关并不意味着不相关。
1430 1650 1870 2112 1485 1716 1947 2200
2002 2420 4950 11495 16445 19305 23870 25025 21450 21285 15510
• 由于不确定因素的影响，对同一收入水平X， 不同家庭的消费支出不完全相同；
• 但由于调查的完备性，给定收入水平X的消费 支出Y的分布是确定的，即以X的给定值为条 件的Y的条件分布（Conditional distribution） 是已知的，例如：P(Y=561|X=800）=1/4。
• 关于变量的术语
– Explained Variable ~ Explanatory Variable – Dependent Variable ~ Independent Variable – Endogenous Variable ~ Exogenous Variable – Response Variable ~ Control Variable – Predicted Variable ~ Predictor Variable – Regressand ~ Regressor
• 例2.1.1中，给定收入水平Xi ,个别家庭的支出 可表示为两部分之和：
– 该收入水平下所有家庭的平均消费支出E(Y|Xi)，称 为系统性（systematic）或确定性 （deterministic)部分；
– 其他随机或非确定性（nonsystematic)部分i。
• 称为总体回归函数（PRF）的随机设定形式。表 明被解释变量除了受解释变量的系统性影响外， 还受其他因素的随机性影响。由于方程中引入了 随机项，成为计量经济学模型，因此也称为总体 回归模型(PRM)。
–“衍生的随机误差”包含上述所有内容，并不一定 服从极限法则，不一定满足基本假设。
–在§7.3中将进一步讨论。
四、样本回归函数 Sample Regression Function, SRF
1、样本回归函数
• 问题：能否从一次抽样中获得总体的近似信息？ 如果可以，如何从抽样中获得总体的近似信息？
• 其目的在于通过后者的已知或设定值，去估计 和（或）预测前者的（总体）均值。
• 两类变量；
–被解释变量（Explained Variable）或应变量 （Dependent Variable）。
–解释变量（Explanatory Variable）或自变量 （Independent Variable）。
§2.1 回归分析概述 (Regression Analysis)
一、回归分析基本概念 二、总体回归函数 三、随机干扰项 四、样本回归函数
一、回归分析的基本概念
1、变量间的关系
• 确定性关系或函数关系：研究的是确定性现象 非随机变量间的关系。
圆面积 f ,半径 半径 2
第二章 经典单方程计量经济学模型：
一元线性回归模型 The Classical Single Equation Econometric Model: Simple Linear
Regression Model
本章内容
• 回归分析概述 • 一元线性回归模型的基本假设 • 一元线性回归模型的参数估计 • 一元线性回归模型的检验 • 一元线性回归模型的预测
• 但对某一个别的家庭，其消费支出可能与该平 均水平有偏差。
• 称为观察值围绕它的期望值的离差 （deviation），是一个不可观测的随机变量， 又称为随机扰动项（stochastic disturbance） 或随机误差项（stochastic error）。
i Yi E(Y | X i )
• 随机误差项主要包括下列因素：
–在解释变量中被忽略的因素的影响；
• 影响不显著的因素 • 未知的影响因素 • 无法获得数据的因素
–变量观测值的观测误差的影响；
–模型关系的设定误差的影响；
–其它随机因素的影响。
• 关于随机项的说明：
–将随机项区分为“源生的随机扰动”和“衍生的随 机误差”。
–“源生的随机扰动”仅包含无数对被解释变量影响 不显著的因素的影响，服从极限法则（大数定律和 中心极限定理），满足基本假设。
1078 1254 1496 1683 1925 2233 2552 1122 1298 1496 1716 1969 2244 2585 1155 1331 1562 1749 2013 2299 2640 1188 1364 1573 1771 2035 2310 1210 1408 1606 1804 2101
共计
表 2.1.1 某社区家庭每月收入与消费支出统计表 每月家庭可支配收入X（元）
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 561 638 869 1023 1254 1408 1650 1969 2090 2299 594 748 913 1100 1309 1452 1738 1991 2134 2321 627 814 924 1144 1364 1551 1749 2046 2178 2530 638 847 979 1155 1397 1595 1804 2068 2266 2629
• 相应的函数称为（双变量）总体回归函数 （population regression function, PRF）。
E(Y | Xi ) f (X i )
• 含义：回归函数（PRF）说明被解释变量Y的 平均状态（总体条件期望）随解释变量X变化 的规律。
• 函数形式：可以是线性或非线性的。 • 例2.1.1中，将居民消费支出看成是其可支配收
回答：能
• 该样本的散点图（scatter diagram)：
• 画一条直线以尽好地拟合该散点图，由于样本取自总体， 可以该直线近似地代表总体回归线。该直线称为样本回归 线（sample regression lines）。 • 样本回归线的函数形式为：
Yˆi f ( X i ) ˆ0 ˆ1 X i
• 下面的假设主要是针对采用普通最小二乘法 （Ordinary Least Squares, OLS）估计而提出 的。所以，在有些教科书中称为“The Assumption Underlying the Method of Least Squares”。
• 在不同的教科书上关于基本假设的陈述略有不同， 下面进行了重新归纳。
• 在例2.1.1的总体中有如下一个样本，能否从该 样本估计总体回归函数？
表 2.1.3 家庭消费支出与可支配收入的一个随机样本 X 800 1100 1400 1700 2000 2300 2600 2900 3200 3500 Y 594 638 1122 1155 1408 1595 1969 2078 2585 2530
§2.2 一元线性回归模型的基本假设 (Assumptions of Simple Linear Regression Model)
一、关于模型设定的假设 二、关于解释变量的假设 三、关于随机项的假设
说明
• 为保证参数估计量具有良好的性质，通常对模型 提出若干基本假设。
• 实际上这些假设与所采用的估计方法紧密相关。
称为样本回归函数（sample regression function，SRF）。
• 注意：这里将样本回归线看成总体回归线的近似 替代
则
2、样本回归模型
• 样本回归函数的随机形式：
Yi Yˆi ˆi ˆ0 ˆ1X i ei
式中，ei 称为（样本）残差（或剩余）项（residual），代表
–存在相关关系并不一定存在因果关系。
– 相关分析对称地对待任何（两个）变量，两个变量 都被看作是随机的。
– 回归分析对变量的处理方法存在不对称性，即区分 应变量（被解释变量）和自变量（解释变量），前 者是随机变量，后者不一定是。
2、回归分析的基本概念
• 回归分析(regression analysis)是研究一个 变量关于另一个（些）变量的具体依赖关系的 计算方法和理论。
• 回归分析构成计量经济学的方法论基础，其主 要内容包括：
– 根据样本观察值对经济计量模型参数进行估计，求得 回归方程；
– 对回归方程、参数估计值进行显著性检验；
– 利用回归方程进行分析、评价及预测。
二、总体回归函数 Population Regression Function, PRF
1、条件均值（conditional mean）
了其他影响Yi 的随机因素的集合，可看成是i 的估计量ˆi 。
• 由于方程中引入了随机项，成为计量经济模型， 因此也称为样本回归模型（sample regression model）。
• 回归分析的主要目的：根据样本回归函数SRF， 估计总体回归函数PRF。
Yi Yˆi ei ˆ0 ˆ1X i ei Yi E(Y | X i ) i 0 1X i i
1、关于模型关系的假设
• 模型设定正确假设。The regression model is correctly specified.
– 模型选择了正确的变量； – 模型选择了正确的函数形式。
• 线性回归假设。The regression model is linear in the parameters。
– 相关系数(correlation coefficient) – 正相关(positive correlation) – 负相关(negative correlation) – 不相关(non-correlation)
• 回归分析仅对存在因果关系而言。
• 注意：
–不存在线性相关并不意味着不相关。
1430 1650 1870 2112 1485 1716 1947 2200
2002 2420 4950 11495 16445 19305 23870 25025 21450 21285 15510
• 由于不确定因素的影响，对同一收入水平X， 不同家庭的消费支出不完全相同；
• 但由于调查的完备性，给定收入水平X的消费 支出Y的分布是确定的，即以X的给定值为条 件的Y的条件分布（Conditional distribution） 是已知的，例如：P(Y=561|X=800）=1/4。
• 关于变量的术语
– Explained Variable ~ Explanatory Variable – Dependent Variable ~ Independent Variable – Endogenous Variable ~ Exogenous Variable – Response Variable ~ Control Variable – Predicted Variable ~ Predictor Variable – Regressand ~ Regressor
• 例2.1.1中，给定收入水平Xi ,个别家庭的支出 可表示为两部分之和：
– 该收入水平下所有家庭的平均消费支出E(Y|Xi)，称 为系统性（systematic）或确定性 （deterministic)部分；
– 其他随机或非确定性（nonsystematic)部分i。
• 称为总体回归函数（PRF）的随机设定形式。表 明被解释变量除了受解释变量的系统性影响外， 还受其他因素的随机性影响。由于方程中引入了 随机项，成为计量经济学模型，因此也称为总体 回归模型(PRM)。
–“衍生的随机误差”包含上述所有内容，并不一定 服从极限法则，不一定满足基本假设。
–在§7.3中将进一步讨论。
四、样本回归函数 Sample Regression Function, SRF
1、样本回归函数
• 问题：能否从一次抽样中获得总体的近似信息？ 如果可以，如何从抽样中获得总体的近似信息？
• 其目的在于通过后者的已知或设定值，去估计 和（或）预测前者的（总体）均值。
• 两类变量；
–被解释变量（Explained Variable）或应变量 （Dependent Variable）。
–解释变量（Explanatory Variable）或自变量 （Independent Variable）。
§2.1 回归分析概述 (Regression Analysis)
一、回归分析基本概念 二、总体回归函数 三、随机干扰项 四、样本回归函数
一、回归分析的基本概念
1、变量间的关系
• 确定性关系或函数关系：研究的是确定性现象 非随机变量间的关系。
圆面积 f ,半径 半径 2
第二章 经典单方程计量经济学模型：
一元线性回归模型 The Classical Single Equation Econometric Model: Simple Linear
Regression Model
本章内容
• 回归分析概述 • 一元线性回归模型的基本假设 • 一元线性回归模型的参数估计 • 一元线性回归模型的检验 • 一元线性回归模型的预测
• 但对某一个别的家庭，其消费支出可能与该平 均水平有偏差。
• 称为观察值围绕它的期望值的离差 （deviation），是一个不可观测的随机变量， 又称为随机扰动项（stochastic disturbance） 或随机误差项（stochastic error）。
i Yi E(Y | X i )
• 随机误差项主要包括下列因素：
–在解释变量中被忽略的因素的影响；
• 影响不显著的因素 • 未知的影响因素 • 无法获得数据的因素
–变量观测值的观测误差的影响；
–模型关系的设定误差的影响；
–其它随机因素的影响。
• 关于随机项的说明：
–将随机项区分为“源生的随机扰动”和“衍生的随 机误差”。
–“源生的随机扰动”仅包含无数对被解释变量影响 不显著的因素的影响，服从极限法则（大数定律和 中心极限定理），满足基本假设。