第二章 回归分析概要1(一元概念)
合集下载
2、一元线性回归 PPT课件
假设零均值同方差 E( )=0
无序列相关性
i
假设零均值同方差 无序列相关性
Var( i)= 2
E(Yi )= 0 1 X i
Var(Yi /X i )= 2
假设零均值同方差 Cov( i , j)=0 Cov(Yi , Y j)=0
无序列相关性
二、普通最小二乘法
给定一元线性回归模型
回归函数（方程）
E（Y
X
）＝
i
0 1X i
估计
回归模型
估计
Yi 0 1 X i i
样本（实际） Yˆi ˆ0 ˆ1Xi Yi ˆ0 ˆ1Xi ei
2.2 一元线性回归模型的参数估计
一元线性回归模型是最简单的线性回归模型，在模型中只有 一个自变量，其参数估计方法普通最小二乘法也是最普 遍使用的。
n
X
2 i
(
X i )( Yi ) Xi )2
将ˆ1代入正规方程组，令 X
ˆ0 Y ˆ1 X
Xi n
，Y
Yi
n
，得ˆ0表达式
令
xi
差
Xi X
，则
，
ˆ0
yi Yi Y ，即分别代表样本值与其平均值的离 、ˆ1表达式可简写为
ˆ1
质，即最小二乘估计量还具有一致性：当样本容量趋于无 穷时，估计量收敛于总体参数真值。
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
2、无偏性，即估计量ˆ0 、 ˆ1 的均值（期望）等于总体回归
第二章 一元线性回归分析基础-PPT文档资料
, X , , X ) 也可以用显函数形式表示为 Y 1 2 n
其中最简单的形式为一元线性函数关系。
例如 当某种商品单价P固定不变，其销售收入y与销售 的商品数量x之间的关系为一元线性关系，即y = Px 如果用x，y构成的直角坐标图来表示，上式所表示的 函数关系为一条经过坐标原点的直线，所有可能的点 都在这条直线上。
Y X Y Y Y 0 1 , X X X
其中Y为消费额，X为收入。
该线性方程描述了消费与收入之间的确定关系，即给定 一个收入值，可以根据方程得到一个唯一确定的消费值。 但实际上消费与收入间的关系不是准确实现的。
原因： 1. 消费除了受到收入的影响外，还受到其他一些因素 的影响。 例如，消费者所处群体的平均水平、家庭人口、消 费习惯、银行存款利率、商品价格变化趋势、对未 来收入的期望等。 2. 线性关系的近似性，即所假定的线性关系并不严格。 3. 收入数值的近似性，即所给定的收入数据本身并不 绝对的反映收入水平。 所以，更符合实际情况的消费与收入之间的关系如下
Y X u 是一个随机方程，参数和可以
用回归分析法求得，所以它是一个线性回归方程，因 而也是一个计量经济学方程。
因为绝大多数经济变量都受到多种其他经济变量 的影响，所以变量之间有完全确定的函数关系的情况 在经济问题中很少见。 引入随机误差项，将变量之间的关系用一个线性 随机方程来描述，用随机数学的方法来估计方程中的 参数，这就是线性回归模型的特征，也就是线性计量 经济学模型的特征。
X u , i 1 , 2 , , n 当k=2时， Y i 1 2 i i 为一元线性回归模型。 参数2确定了解释变量X影响被解释变量Y的基本关系， 不确定的部分由变量u表示，u称为随机误差项。 以家庭收入X与消费支出Y之间的关系为例 每个家庭的消费支出Y主要取决于该家庭的收入X， 但是也受其他因素的影响。 • 高收入的家庭，消费支出的离散性比较大(方差较大) • 低收入的家庭，消费支出的离散性比较小(方差较小) 通常，消费支出Y的分布函数是多种多样的，不一 定是正态分布，也不一定是相同的分布。分布函数的 方差、均值都不相同，分布函数的形式也不同。如图
其中最简单的形式为一元线性函数关系。
例如 当某种商品单价P固定不变，其销售收入y与销售 的商品数量x之间的关系为一元线性关系，即y = Px 如果用x，y构成的直角坐标图来表示，上式所表示的 函数关系为一条经过坐标原点的直线，所有可能的点 都在这条直线上。
Y X Y Y Y 0 1 , X X X
其中Y为消费额，X为收入。
该线性方程描述了消费与收入之间的确定关系，即给定 一个收入值，可以根据方程得到一个唯一确定的消费值。 但实际上消费与收入间的关系不是准确实现的。
原因： 1. 消费除了受到收入的影响外，还受到其他一些因素 的影响。 例如，消费者所处群体的平均水平、家庭人口、消 费习惯、银行存款利率、商品价格变化趋势、对未 来收入的期望等。 2. 线性关系的近似性，即所假定的线性关系并不严格。 3. 收入数值的近似性，即所给定的收入数据本身并不 绝对的反映收入水平。 所以，更符合实际情况的消费与收入之间的关系如下
Y X u 是一个随机方程，参数和可以
用回归分析法求得，所以它是一个线性回归方程，因 而也是一个计量经济学方程。
因为绝大多数经济变量都受到多种其他经济变量 的影响，所以变量之间有完全确定的函数关系的情况 在经济问题中很少见。 引入随机误差项，将变量之间的关系用一个线性 随机方程来描述，用随机数学的方法来估计方程中的 参数，这就是线性回归模型的特征，也就是线性计量 经济学模型的特征。
X u , i 1 , 2 , , n 当k=2时， Y i 1 2 i i 为一元线性回归模型。 参数2确定了解释变量X影响被解释变量Y的基本关系， 不确定的部分由变量u表示，u称为随机误差项。 以家庭收入X与消费支出Y之间的关系为例 每个家庭的消费支出Y主要取决于该家庭的收入X， 但是也受其他因素的影响。 • 高收入的家庭，消费支出的离散性比较大(方差较大) • 低收入的家庭，消费支出的离散性比较小(方差较小) 通常，消费支出Y的分布函数是多种多样的，不一 定是正态分布，也不一定是相同的分布。分布函数的 方差、均值都不相同，分布函数的形式也不同。如图
第二章2.2一元线性回归分析
ˆ β1 ~ N ( β1 ,
∑x
σ2
2 i
)
ˆ β 0 ~ N (β 0 ,
∑ n∑ x
X i2
2 i
σ 2)
22
随机误差项u的方差σ 随机误差项 的方差σ2的估计 的方差
σ2又称为总体方差 总体方差。 总体方差
23
由于随机项ui不可观测，只能利用残差ei (ui的 估计)的样本方差，来估计ui的总体方差σ2 。 样本方差？ 样本方差？ 可以证明，σ2的最小二乘估计量 最小二乘估计量为: 可以证明 最小二乘估计量
= β1 + P lim(∑ xi µ i / n) P lim(∑ xi2 / n)
xi µ i
2 i
∑x
)
样本协方差？ 样本协方差？
Cov ( X , µ ) 0 = β1 + = β1 + = β1 Q Q
21
四、参数估计量的抽样分布及随机项方 差的估计
ˆ ˆ 、 1、参数估计量 β 0 和 β 1 的概率分布
Yi = β0 + β1 X i + ui
i=1
Y为被解释变量，X为解释变量，β0与β1为待估 待估 参数， 随机项。 参数 u为随机项。 随机项
2
回归分析的主要目的是要通过样本回归函数 回归分析的主要目的 （模型）SRF尽可能准确地估计总体回归函数 （模型）PRF。 估计方法有多种，其中最广泛使用的是普通最 普通最 估计方法 小二乘法（ordinary least squares, OLS）。 小二乘法 为保证参数估计量具有良好的性质，通常对模 型提出若干基本假设。 实际这些假设与所采用的估计方法紧密相关。
2
1 X2 = + n ∑ x2 i
第二章二计量经济学-一元线性回归分析.ppt课件
2
1 n
2 n
X
ki X 2
xi
x
2 i
2
2
1 n
X2
x
2 i
2
x
2 i
nX
2
2
X
2 i
2
n
x
2 i
n
x
2 i
(2.2.11)
精选
34
（2）证明最小方差性
假设ˆ1* 是其他方法得到的关于1 的线性无偏估计量： ˆ1* ciYi
其中，ci ki di ，di 为不全为零的常数。 E(ˆ1* ) E( ciYi ) ci E(Yi ) ci (0 1 X i ) 0 ci 1 ci X i
由ˆ1* 的无偏性，即E(ˆ1* ) 1 可知： 0 ci 1 ci X i 1
从而有： ci 0 ，ci Xi 1
精选
35
的 ˆ
* 1
方
差
var(
ˆ
* 1
)
var(
ciYi )
c
2 i
var(
Yi)
c
2 i
var(
i)
c
2 i
2
= ( k i d i ) 2 2
变量置换得到
Z 0 1 X 1 2 X 2 3 X 3
精选
9
结论：
• 实际经济活动中的许多问题，都可以最终化为线 性问题，所以，线性回归模型有其普遍意义。
• 即使对于无法采取任何变换方法使之变成线性 的非线性模型，目前使用得较多的参数估计方 法——非线性最小二乘法，其原理仍然是以线 性估计方法为基础。
(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘
第二章、回归分析的基本概念和方法
y = f ( x, θ ) + ε
（2.1）
其中 f 为满足一定条件的函数， θ 为参数， ε 为随机变量。y 称为因变量 （dependent variable） （independent variable） 或解释变量，f 称为回归函数 （regression 或被解释变量，x 称为自变量 function） ， θ 称为回归模型参数（parameters） 。 ε 称为误差项（error term）或者随机扰动项 （random disturbance） 。 由于只有一个解释变量， （2.1） 称为一元回归模型 （univariate regression model） 。回归模型通过在模型中增加误差项 ε 来反映变量 y 和 x 之间的随机关系：在给定 x 值时， y 是随机变量，由两部分组成，第一部分为确定性部分 f ( x, θ ) ，由给定的 x 完全确 定，第二部分为随机部分 ε 。例如， x 为家庭可支配收入， y 为消费，当可支配收入一定时， 家庭消费是随机变量，完全由收入 x 确定的部分为 f ( x, θ ) ，而由其他因素引起的消费变化 则由误差项 ε 来反映。当研究一个经济变量对另一个经济变量的影响时， 一元回归分析是最 为常用的方法。 在简单的回归模型中，回归函数为解释变量的线性函数，回归模型称为一元线性回归模 型（univariate linear regression model） ，表达式为
yi = ( β 0 + c) + β1 xi + ε i′, i = 1,2,L , n
，其中的常数项为 ( β 0 + c) ，误差项为 ε i′ ，常数项将无法确定（此时称常数项是无法识别 的） 。 假设 2—同方差假设：自变量给定条件下，所有样本的误差项具有相同的方差，即
2、计量经济学【一元线性回归模型——回归分析概述】
2000
每 月 1500 家 庭 消 1000 费 支 500 出
Y (元) 0
0
SRF 500 1000 1500 2000 2500 3000
每月家庭可支配收入X(元)
样本散点图中点的分布近似于线性，可以画一条直线来尽
量好的拟合这个散点图，这条线称为样本回归线（sample
regression lines）
单位：元
2400 2600 1450 1750
每月家庭收入与消费支出散点图（样本二）
2000 每 月 家 1500 庭 消 1000 费 支 出 500
Y (元) 0
0
SRF
500 1000 1500 2000 2500 3000 每月家庭可支配收入X(元)
每月家庭收入与消费支出散点图(样本一/样本二)
支出 750 850 980 1080 1180 1350 1450 1570 1750 1800
Y (元)
880
1130 1250 1400
1600 1890 1850
1150
1620
1910
共计 3250 4620 4450 7070 6780 7500 6850 10430 9660 12110
例如： Y f (X , )
其中 Y：农作物产量； X：施肥量； ：包括阳光、气温、
降雨量等其他许多因素。 X 与 Y 之间具有统计相关关系。
一、变量间的关系及回归分析的基本概念
统计依赖（相关）关系
线性相关
正相关
不相关
负相关
相关系数 1 Cov(X ,Y ) 1
Var( X )Var(Y )
计量经济学
——单方程计量经济学模型 理论与方法
回归分析法概念及原理一（一元线性回归）
回归分析法概念及原理一（一元线性回归）2009-12-14 14:27最近，在学一门统计学，有点意思。
问题一点一点出现，又一点一点被慢慢解决，慢慢消化~~做为初学者，搞不清的地方还真多。
今天刚好又看了有关相关分析和回归分析的学习资料，感觉不错，闲来与大家分享分享。
一、一元回归分析法，是在考虑预测对象发展变化本质基础上，分析因变量随一个自变量变化而变化的关联形态，借助回归分析建立它们因果关系的回归方程式，描述它们之间的平均变化数量关系，据此进行预测或控制。
1、基本原理假设预测目标因变量为Y，影响它变化的一个自变量为X，因变量随自变量的增（减）方向的变化。
一元线性回归分析就是要依据一定数量的观察样本（Xi,Yi）i=1，2…，n，找出回归直线方程Y=a+bX (1)对应于每一个Xi，根据回归直线方程可以计算出一个因变量估计值Yi。
回归方程估计值Yi 与实际观察值Yj之间的误差记作e-i=Yi-Yi。
显然，n个误差的总和越小，说明回归拟合的直线越能反映两变量间的平均变化线性关系。
据此，回归分析要使拟合所得直线的平均平方离差达到最小，简称最小二乘法将求出的a和b代入式（1）就得到回归直线Y-i =a+bXI 。
那么，只要给定Xi-值，就可以用作因变量Y i的预测值。
2、变量间的关系确定性关系或函数关系：研究的是确定性现象非随机变量间的关系。
统计依赖关系或相关关系：研究的是非确定性现象随机变量间的关系。
几点注意：–不线性相关并不意味着不相关；–有相关关系并不意味着一定有因果关系；–相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的；回归分析对变量的处理方法存在不对称性，即区分因变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。
总体回归函数：•给定解释变量X的某个确定值X i，与之统计相关的被解释变量Y的总体均值（期望值）可以表示为：上式说明了被解释变量Y平均地说随解释变量X变化的规律，一般称为总体回归函数或总体回归方程（population regression function，PRF）；对应的曲线称为总体回归曲线（population regression curve），它可以是线性的或非线性的。
2.1回归分析概述
E (Y | X i ) = f ( X i )
称为（双变量）总体回归函数（ 称为（双变量）总体回归函数（population regression function, PRF）。 ）。
• 含义： 含义：
回归函数（ 回归函数（PRF）说明被解释变量 的平均状 ）说明被解释变量Y的平均状 总体条件期望）随解释变量X变化的规律 变化的规律。 态（总体条件期望）随解释变量 变化的规律。
另一观点
1. 作为一个回归结果，不论在统计上多么显著， 作为一个回归结果，不论在统计上多么显著， 也不能证明他们之间存在因果关系。 也不能证明他们之间存在因果关系。 2. 因为回归分析只能检验变量之间的定量关系的 强度（显著的定量关系是否存在）和方向， 强度（显著的定量关系是否存在）和方向，而 不是确认变量之间的因果关系。 不是确认变量之间的因果关系。 3. 对因果关系作出判断必须包括对经济理论或常 识的一种合理的推断。 识的一种合理的推断。 ——A.H斯图德蒙德《应用计量经济学》 斯图德蒙德《应用计量经济学》 斯图德蒙德
描出散点图发现：随着收入的增加， 描出散点图发现：随着收入的增加，消费 平均地说”也在增加， “平均地说”也在增加，且Y的条件均值均落在 的条件均值均落在 总体回归线。 一根正斜率的直线上。这条直线称为总体回归线 一根正斜率的直线上。这条直线称为总体回归线。
3500 每 月 消 费 支 出 Y （元） 3000 2500 2000 1500 1000 500 0 500 1000 1500 2000 2500 3000 3500 4000 每月可支配收入X（ 每月可支配收入 （元）
二、总体回归函数
由于变量间关系的随机性，回归分析关心的是根 由于变量间关系的随机性，回归分析关心的是根 据解释变量的已知或给定值， 据解释变量的已知或给定值，考察被解释变量的总体 均值，即当解释变量取某个确定值时， 均值，即当解释变量取某个确定值时，与之统计相关 的被解释变量所有可能出现的对应值的平均值。 的被解释变量所有可能出现的对应值的平均值。 例2.1：一个假想的社区有 户家庭组成， ：一个假想的社区有100户家庭组成，要研 户家庭组成 究该社区每月家庭消费支出 与每月家庭可支配收 家庭消费支出Y与每月 究该社区每月家庭消费支出 与每月家庭可支配收 的关系。 入X的关系。 的关系 即如果知道了家庭的月收入， 即如果知道了家庭的月收入，能否预测该社区 家庭的平均月消费支出水平。 家庭的平均月消费支出水平。 为达到此目的，将该 为达到此目的，将该100户家庭划分为组内收入差 户家庭划分为组内收入差 不多的10组 以分析每一收入组的家庭消费支出。 不多的 组，以分析每一收入组的家庭消费支出。
计量经济学第二章 一元线性回归模型(1)(肖)
10
2．在经济学中，经济学家要研究个人
消费支出与个人可支配收入的依赖关系。
这种分析有助于估计边际消费倾向，就是
可支配收入每增加一元引起消费支出的平
均变化。
11
3．在企业中，我们很想知道人们对企
业产品的需求与广告费开支的关系。这种
研究有助于估计出相对于广告费支出的需
求弹性，即广告费支出每变化百分之一的
（2.3）
想想：结合表2.1的资料 ，怎样理解式（2.3）
变量Y 的原因， 给定变量X 的值也不能具
体确定变量Y的值， 而只能确定变量Y 的
统计特征，通常称变量X 与Y 之间的这种
关系为统计关系。
16
例如，企业总产出Y 与企业的资本投入
K 、劳动力投入L 之间的关系就是统计关 系。虽然资本K 和劳动力L 是影响产出Y 的两大核心要素，但是给定K 、L 的值并 不能确定产出Y 的值。因为，总产出Y 除 了受资本投入K、劳动力投入L 的影响外
在进入正式的回归理论之前，先斟酌一下变量y与变 量x可以互换的不同名称、术语。 Y 因变量 X 自变量
被解释变量 响应变量
被预测变量
解释变量 控制变量
预测变量
回归子
归回元
22
第二节
一、引例
一元线性回归模型
假定我们要研究一个局部区域的居 民消费问题，该区域共有80户家庭组成 ，将这80户家庭视为一个统计总体。
32
函数f (Xi)采取什么函数形式，是一个
需要解决的重要问题。在实际经济系统
中，我们不会得到总体的全部数据，因
而就无法据已知数据确定总体回归函数 的函数形式。同时，对总体回归函数的 形式只能据经济理论与经验去推断。
第二章 一元线性回归模型(本科生计量经济学)
即：正规方程组揭示的是残差的性质。
26
普通最小二乘估计有关 的其他性质（课后习题）
Y Y
^
e Y e y
i ^ i
^
i
0 0
27
i
2、由普通最小二乘估计系数的性质可证
得普通最小二乘估计与参数的关系如下：
1 1 k i u i
^
0 0 wi ui
（ 1） （ 2）
（ 1）
0 Y 1 X
^
^
Y
1 n
Y , X X
i 1 i 1 n i 1
n
n
i
18
参数的普通最小二乘估计量
ˆ ˆ X )0 (Yi 0 1 i ˆ ˆ X )X 0 ( Y i 0 1 i i
^
33
三、一元线性回归模型参数的最大似 然法(Maximum Likehood,ML)估计
• 基本原理：似然原理
• 一元线性回归模型ML使用的条件：已知随机扰动 项的分布。
34
Y1 , Y2 ,...,Yn
1 f (Yi ) e 2
1 2
1 2
2
Yi ~ N (0 1 X i , 2 )
w 1
i
22
普通最小二乘估计的例
年份
1991 1992 1993 1994
ED(X)
708 793 958 1278
FI(Y)
3149 3483 4349 5218
ed(x)
-551 -466 -301 19
fi(y)
-2351 -2017 -1151 -282
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n
γ XY =
∑(X
i =1 n i =1
i
− X )(Yi − Y ) (Yi − Y ) 2 ∑
i =1 n
( X i − X )2 • ∑
•
回归分析是关于研究一个叫做因变量（被解释变量）的 变量与一个或多个自变量（解释变量）的依赖关系，其 用意在于通过后者（在重复抽样中）的已知或是设定值， 去估计和预测前者的（总体）均值。
• 2. 相关分析和回归分析 • 变量间的统计相关关系可以通过相关分析 与回归分析来研究。 • 相关分析主要研究随机变量间的相关形式 与相关程度。 • 从变量间相关的形式来看，有线性相关和 非线性相关之分。 • 前者往往表现为变量的散点图接近于一条 直线。 • 变量间线性相关程度的大小可以通过相关 系数来测量。
• 1. 变量间的相互关系 • 经济变量间的关系可以分为两大类：一类 是确定的函数关系，另一类是不确定的统 计相关关系。 • 确定性现象间的关系常常表现为函数关系。 • 圆面积S与圆半径r间的关系，只要给定半 径值r，与之对应的圆面积S也就随之确定：
S = πr
2
• 非确定性现象间的关系常常表现为统计相关关系。
• 两变量X与Y之间的总体相关系数 总体相关系数为： 总体相关系数
ρ XY =
Cov( X , Y ) Var ( X ) Var (Y )
Var Cov • 其中， ( X , Y ) 是变量X和Y的协方差， ( X )Var (Y ) 分别是X和Y的方差。 • 如果给出X和Y的一组样本（ X i , Yi），i=1， 2，……n，则样本相关系数 样本相关系数为： 样本相关系数
ui
•
随机干扰项的意义：
1. 未在模型中列出的影响Yt变化的非重要解 释变量。 2. 人的随机行为。 3. 建立的数学模型形式不完善。 4. 归并误差。 5. 测量误差。
• •
•
2. 样本回归函数 尽管总体回归函数揭示了所考察总体被解 释变量与解释变量间的平均变化规律，但 总体的信息往往无法全部获得。因此，总 体回归函数实际上是未知的。现实的情况 往往是，通过抽样，得到总体样本，再通 过样本的信息来估计总体回归函数。 从总体样本中取其中的一部分（抽样）， 这些样本的散点图近似于一条直线，画一 条直线尽可能地拟合该散点图，由于样本 取自总体，可以用该直线近似地代表总体 回归线，该直线成为样本回归线。
•
ห้องสมุดไป่ตู้
回归分析构成计量经济学的方法论基础， 其主要内容包括：
1. 根据样本观察值对计量经济学模型参数进 行估计，求得回归方程。 2. 对回归方程、参数估计值进行显著性检验。 3. 利用回归方程分析、评价及预测。
•
• •
第二节 一元线性回归模型
1. 总体回归函数 以不同家庭收入Xi，和不同消费支出Yi为例，两 以不同家庭收入 和不同消费支出 为例， 者之间的关系可以表示为： 者之间的关系可以表示为：
• 例如，农作物产量Y与施肥量X间的关系，其特点是：农 作物产量Y随着施肥量X的变化呈现出某种规律性的变化， 在适当的范围内，随着X的增加，Y也增加。 • 但与前述函数关系不同的是，给定施肥量X，与之对应的 农作物产量Y并不能确定。 • 因为，除了施肥量，还有诸如阳光、气温、降雨等其他许 多因素都在影响着农作物的产量。这时，我们无法确定农 作物产量与施肥量之间确定的函数关系，但却能通过统计 计量等方法研究它们之间的统计相关关系。农作物产量Y 作为非确定性变量，也被称为随机变量。
• 回归分析的主要目的，就是根据样本回归 函数，估计总体回归函数。 • 这里要着重区分总体回归模型、总体回归 函数（方程）、样本回归模型、样本回归 函数（方程）四个式子：
• 总体回归方程与样本回归方程、随机干扰 项和残差之间的关系如下图所示:
• 本节重点内容回顾： • 1. 相关分析与回归分析的联系与区别。 • 2. 相关系数的取值范围。 • 3. 区分总体回归模型、总体回归函数（方程）、 样本回归模型、样本回归函数（方程）。 • 4. 总体回归方程与样本回归方程、随机干扰项和 残差之间的关系。
第二章 回归分析概要
第一节 概念
第一节 回归分析的概念
• 回归分析是处理变量与变量之间关系的一种数学 方法。 • 回归一词最早由加尔顿（Galton）引入。 • 加尔顿普遍回归定律。 • 回归的现代解释：回归分析是关于研究一个叫做 因变量（被解释变量）的变量与一个或多个自变 量（解释变量）的依赖关系，其用意在于通过后 者（在重复抽样中）的已知或是设定值，去估计 和预测前者的（总体）均值。
• 相关分析与回归分析既有联系又有区别： 1. 首先，两者都是研究非确定性变量间的统计依赖关系， 并能度量线性依赖程度的大小； 2. 其次，两者间又有明显的区别： • 相关分析仅仅从统计数据上测度变量间的相关程度，而 无须考察两者间是否存在因果关系，因此，变量的地位 在相关分析中是对称的，而且都是随机变量； • 回归分析则更注重具有统计相关关系的变量间的因果关 系分析，变量的地位是不对称的，有解释变量与被解释 变量之分，而且解释变量也往往被假设为非随机变量。 • 相关分析只关注变量间的联系程度，不关注具体的依赖 关系；而回归分析则更关注变量间的具体依赖关系。
y i = β 0 + β 1 xi + u i
• 由于方程中引入了随机干扰项，成为计量 经济学模型，因此也被称为总体回归模型 总体回归模型。 总体回归模型 • 该模型可以拆分为两个部分： • （1）E ( y i ) = β 0 + β 1 x i • （也称作线性总体回归函数） • （2）随机部分，
y i = β 0 + β 1 xi + u i
• X的变化是 变化的原因，X和Y之间存在着因果 的变化是Y变化的原因 的变化是 变化的原因， 和 之间存在着因果 关系，称之为回归模型 但是， 的变化不影响 回归模型。 关系，称之为回归模型。但是，Y的变化不影响 X（也就是说，消费的变化不会带来收入的变 （也就是说， 化）。
• 样本回归函数 ：
ˆ ˆ ˆ yi = β 0 + β1 xi
• 如果在该函数中引入随机干扰项ei，称ei为 样本残差项，代表了其他影响Y的随机因素 的集合，可以看做是的ui估计量。由于在上 式中引入了随机项，则成为计量经济学模 型：
ˆ ˆ yi = β 0 + β1 xi + ei
• （也称之为样本回归模型）。
γ XY =
∑(X
i =1 n i =1
i
− X )(Yi − Y ) (Yi − Y ) 2 ∑
i =1 n
( X i − X )2 • ∑
•
回归分析是关于研究一个叫做因变量（被解释变量）的 变量与一个或多个自变量（解释变量）的依赖关系，其 用意在于通过后者（在重复抽样中）的已知或是设定值， 去估计和预测前者的（总体）均值。
• 2. 相关分析和回归分析 • 变量间的统计相关关系可以通过相关分析 与回归分析来研究。 • 相关分析主要研究随机变量间的相关形式 与相关程度。 • 从变量间相关的形式来看，有线性相关和 非线性相关之分。 • 前者往往表现为变量的散点图接近于一条 直线。 • 变量间线性相关程度的大小可以通过相关 系数来测量。
• 1. 变量间的相互关系 • 经济变量间的关系可以分为两大类：一类 是确定的函数关系，另一类是不确定的统 计相关关系。 • 确定性现象间的关系常常表现为函数关系。 • 圆面积S与圆半径r间的关系，只要给定半 径值r，与之对应的圆面积S也就随之确定：
S = πr
2
• 非确定性现象间的关系常常表现为统计相关关系。
• 两变量X与Y之间的总体相关系数 总体相关系数为： 总体相关系数
ρ XY =
Cov( X , Y ) Var ( X ) Var (Y )
Var Cov • 其中， ( X , Y ) 是变量X和Y的协方差， ( X )Var (Y ) 分别是X和Y的方差。 • 如果给出X和Y的一组样本（ X i , Yi），i=1， 2，……n，则样本相关系数 样本相关系数为： 样本相关系数
ui
•
随机干扰项的意义：
1. 未在模型中列出的影响Yt变化的非重要解 释变量。 2. 人的随机行为。 3. 建立的数学模型形式不完善。 4. 归并误差。 5. 测量误差。
• •
•
2. 样本回归函数 尽管总体回归函数揭示了所考察总体被解 释变量与解释变量间的平均变化规律，但 总体的信息往往无法全部获得。因此，总 体回归函数实际上是未知的。现实的情况 往往是，通过抽样，得到总体样本，再通 过样本的信息来估计总体回归函数。 从总体样本中取其中的一部分（抽样）， 这些样本的散点图近似于一条直线，画一 条直线尽可能地拟合该散点图，由于样本 取自总体，可以用该直线近似地代表总体 回归线，该直线成为样本回归线。
•
ห้องสมุดไป่ตู้
回归分析构成计量经济学的方法论基础， 其主要内容包括：
1. 根据样本观察值对计量经济学模型参数进 行估计，求得回归方程。 2. 对回归方程、参数估计值进行显著性检验。 3. 利用回归方程分析、评价及预测。
•
• •
第二节 一元线性回归模型
1. 总体回归函数 以不同家庭收入Xi，和不同消费支出Yi为例，两 以不同家庭收入 和不同消费支出 为例， 者之间的关系可以表示为： 者之间的关系可以表示为：
• 例如，农作物产量Y与施肥量X间的关系，其特点是：农 作物产量Y随着施肥量X的变化呈现出某种规律性的变化， 在适当的范围内，随着X的增加，Y也增加。 • 但与前述函数关系不同的是，给定施肥量X，与之对应的 农作物产量Y并不能确定。 • 因为，除了施肥量，还有诸如阳光、气温、降雨等其他许 多因素都在影响着农作物的产量。这时，我们无法确定农 作物产量与施肥量之间确定的函数关系，但却能通过统计 计量等方法研究它们之间的统计相关关系。农作物产量Y 作为非确定性变量，也被称为随机变量。
• 回归分析的主要目的，就是根据样本回归 函数，估计总体回归函数。 • 这里要着重区分总体回归模型、总体回归 函数（方程）、样本回归模型、样本回归 函数（方程）四个式子：
• 总体回归方程与样本回归方程、随机干扰 项和残差之间的关系如下图所示:
• 本节重点内容回顾： • 1. 相关分析与回归分析的联系与区别。 • 2. 相关系数的取值范围。 • 3. 区分总体回归模型、总体回归函数（方程）、 样本回归模型、样本回归函数（方程）。 • 4. 总体回归方程与样本回归方程、随机干扰项和 残差之间的关系。
第二章 回归分析概要
第一节 概念
第一节 回归分析的概念
• 回归分析是处理变量与变量之间关系的一种数学 方法。 • 回归一词最早由加尔顿（Galton）引入。 • 加尔顿普遍回归定律。 • 回归的现代解释：回归分析是关于研究一个叫做 因变量（被解释变量）的变量与一个或多个自变 量（解释变量）的依赖关系，其用意在于通过后 者（在重复抽样中）的已知或是设定值，去估计 和预测前者的（总体）均值。
• 相关分析与回归分析既有联系又有区别： 1. 首先，两者都是研究非确定性变量间的统计依赖关系， 并能度量线性依赖程度的大小； 2. 其次，两者间又有明显的区别： • 相关分析仅仅从统计数据上测度变量间的相关程度，而 无须考察两者间是否存在因果关系，因此，变量的地位 在相关分析中是对称的，而且都是随机变量； • 回归分析则更注重具有统计相关关系的变量间的因果关 系分析，变量的地位是不对称的，有解释变量与被解释 变量之分，而且解释变量也往往被假设为非随机变量。 • 相关分析只关注变量间的联系程度，不关注具体的依赖 关系；而回归分析则更关注变量间的具体依赖关系。
y i = β 0 + β 1 xi + u i
• 由于方程中引入了随机干扰项，成为计量 经济学模型，因此也被称为总体回归模型 总体回归模型。 总体回归模型 • 该模型可以拆分为两个部分： • （1）E ( y i ) = β 0 + β 1 x i • （也称作线性总体回归函数） • （2）随机部分，
y i = β 0 + β 1 xi + u i
• X的变化是 变化的原因，X和Y之间存在着因果 的变化是Y变化的原因 的变化是 变化的原因， 和 之间存在着因果 关系，称之为回归模型 但是， 的变化不影响 回归模型。 关系，称之为回归模型。但是，Y的变化不影响 X（也就是说，消费的变化不会带来收入的变 （也就是说， 化）。
• 样本回归函数 ：
ˆ ˆ ˆ yi = β 0 + β1 xi
• 如果在该函数中引入随机干扰项ei，称ei为 样本残差项，代表了其他影响Y的随机因素 的集合，可以看做是的ui估计量。由于在上 式中引入了随机项，则成为计量经济学模 型：
ˆ ˆ yi = β 0 + β1 xi + ei
• （也称之为样本回归模型）。