jsy2 一元线性回归模型

二、参数的普通最小二乘估计（OLS）
最小二乘法的思路
• 1．为了精确地描述Y与X之间的关系，必须使用这两 个变量的每一对观察值，才不至于以偏概全。 • 2．Y与X之间是否是直线关系（协方差或相关系数）？ 若是，将用一条直线描述它们之间的关系。 • 3．在Y与X的散点图上画出直线的方法很多。 • 4. 我们的任务？——找出一条能够最好地描述Y与X （代表所有点）之间的直线。 • 5．什么是最好？—找出判断“最好”的原则。 • 最好指的是找一条直线使得这些散点到该直线的纵向 距离的和（平方和）最小。
农作物产量 f 气温, 降雨量, 阳光, 施肥量
• 对变量间统计依赖关系的考察主要是通过相关 分析(correlation analysis)或回归分析 (rearession analysis)来完成的
正相关 线性相关 统计依赖关系 不相关 相关系数： 有因果关系 无因果关系 回归分析 相关分析 负相关 1 XY 1 正相关 非线性相关 不相关 负相关
儿子们的身高向着平均身高“回归”以保持种族的稳定
250
200
174
150 系列1 100
50
0 0 50 100 150
174 200
250
第1代到第2代的身高变化(横轴为第1代)
从图上可看出，个子高的父亲确有生出个子高的儿子的 倾向，同样地，个子低的父亲确有生出个子低的儿子的 倾向。高尔顿对上图中的散点运用最小二乘法得到的具 体规律如下：
假设4. 服从零均值、同方差、零协方 差的正态分布 i~N(0, 2 ) i=1,2, …,n
注意：
1. 2. 如果假设1、2满足，则假设3也满足; 如果假设4满足，则假设2也满足。
以上假设也称为线性回归模型的经典假 设或高斯（Gauss）假设，满足该假设的线性 回归模型，也称为经典线性回归模型 （Classical Linear Rearession Model, CLRM）。
例：父亲们的身高与儿子们的身高之间 关系的研究
• 传统认为身高受遗传影响，高爸爸生高儿子，矮爸爸 生矮儿子(我国民间也有“爹矮矮一个，妈矮矮一窝” 的说法)。如果高者越高，矮者越矮，那么经过漫长的 岁月后，高的应该伸进了天，低的应该贴到了地。然 而实际上各人种的平均身高都是相当稳定的。难道传 统看法有误，其实人和豌豆是一样的？ • 1889年F.Gallton和他的朋友K.Pearson收集了上千个家 庭的身高、臂长和腿长的记录； • 企图寻找出儿子们身高与父亲们身高之间关系的具体 表现形式； • 下图是根据1078个家庭的调查所作的散点图（简图）
可暂时不讲 • 回归分析关心的是根据解释变量的已知或
给定值，考量所有可能的对应值的平均值。
回归分析是关于研究一个叫做因变量的变量对另一个或多个叫 做解释变量的变量的依赖关系，其用意在于通过后者(在重复抽 样中)的已知或设定值，去估计和(或)预测前者的(总体)均值。 回归分析：用以估计随机变量数学期望（它是自变量的函数） 的分析程序，称之为回归分析。 相关分析：用以测定随机变量与其影响因素之间关系的密切程 度的分析程序，称为相关分析。
200
150
100
50
0 0 2 4 6 8 10
15个家族各代的身高变化(横轴为世代数)
二、变量间的关系及回归分析的基本概念
1. 变量间的关系
（1）确定性关系或函数关系：研究的是确定现 象非随机变量间的关系。
圆面积 f , 半径 半径2
（2）统计依赖或相关关系：研究的是非确定现 象随机变量间的关系。
2 i 2 2 i
ˆ xi y i 1 x i2 上述参数估计量可以写成： ˆ ˆ 0 Y 1 X 称为OLS估计量的离差形式（deviation form）。
由于参数的估计结果是通过最小二乘法得到 的，故称为普通最小二乘估计量（ordinary least squares estimators）。
父代与子代的关系：回归
1875年，Galton 利用豌豆实验来确定尺寸的遗传规律。 他挑选了7组不同尺寸的豌豆，并说服他在英国的不同地区 的朋友每一组种植10粒种子，最后把原始的豌豆种子（父代） 与新长的豌豆种子（子代）进行尺寸比较。当结果被绘制出 来之后，他发现并非每一个子代与父代一样，有趣的是尺寸 小的豌豆会得到更大的子代，而尺寸大的豌豆会得到较小的 子代。高尔顿把这一现象叫做“返祖”现象（趋向于祖先的 某种平均类型），后来又称之为“向平均回归” （rearession toward the mean） 。一个总体中在某一时期具 有某一极端特征（低于或高于总体均值）的个体在未来的一 段时期将减弱它的极端性（或者是单个个体或者是整个子 代），这一趋势现在被称作“回归”效应。
最小二乘法的数学原理
• 纵向距离是Y的实际值Y与拟合值Ŷ之差，差异 大拟合不好，差异小拟合好，所以又称为拟合 误差或残差。 • 将所有纵向距离平方后相加，即得误差平方和， “最好”直线就是使误差平方和最小的直线。 • 于是可以运用求极值的原理，将求最好拟合直 线问题转换为求误差平方和最小。
参数的普通最小二乘估计（OLS）
第二章 经典单方程计量经济学模型： 一元线性回归模型
• • • • • 回归分析概述 一元线性回归模型的参数估计 一元线性回归模型检验 一元线性回归模型预测 实例
§2.1
回归分析概述
一、高尔顿与回归分析方法 二、变量间的关系及回归分析的基本概念
一、高尔顿与回归分析方法
高尔顿生于英格兰伯明翰一个显赫的银行家家庭， 达尔文(1809-1882)是其表哥。高尔顿对人类学、优生 学、地理学、气象学、统计学、心理学和遗传学等方 面均有研究，还是位发明家和热带探险家。 高尔顿一生中发表了超过340篇的报告和书籍。 他在1883年率先使用“优生学”（euaenics）一词。 在他于1869年的著作《遗传的天才》（Hereditary 高尔顿(1822-1911) Genius）中，高尔顿主张人类的才能是能够透过遗传 延续的。 高尔顿对统计学的最大贡献是相关性概念的提出和回归分析方法 的建立，被誉为现代回归和相关分析技术的创始人。 1877年他发表 了关于种子的研究结果，指出回归到平均值现象的存在，这个概念与 现代统计学中的“回归”并不相同，但是却是“回归”一词的起源。 在此后的研究中，高尔顿第一次使用了相关系数（correlation coefficient）的概念。他使用字母“r”来表示相关系数，这个传统一 直延续至今。
250 200 150 100 50 0 0 50 100 150 200 250
第2代 第3代 第4代 第5代 第6代 第7代 第8代 第9代
祖宗八代的身高变化(横轴为第1代)
250 系列1 系列2 系列3 系列4 系列5 系列6 系列7 系列8 系列9 系列10 系列11 系列12 系列13 系列14 系列15
随机干扰项主要包括下列因素： –在解释变量中被忽略的因素的影响；
–变量观测值的观测误差的影响；
–模型关系的设定误差的影响；
–其他随机因素的影响。
• 产生并设计随机误差项的主要原因：
–理论的含糊性；
–数据的欠缺； –节省原则。
• 回归分析的主要目的是要通过样本回归函数 （样本回归方程）尽可能准确地估计回归模型。 • 估计方法有多种，其中最广泛使用的是普通最 小二乘法（ordinary least squares, OLS）。 • 为保证参数估计量具有良好的性质，通常对模 型提出若干基本假设。 • 实际这些假设与所采用的估计方法紧密相关。
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要 求样本回归函数尽可能好地拟合这组值.
普通最小二乘法（Ordinary least squares, OLS） 给出的判断标准是：二者之差的平方和
ˆ ˆ X )) 2 ˆ ) 2 (Y ( Q (Yi Y i i 0 1 i
三种距离
y
纵向距离 ei
A
i i
ˆ y a b x yy
i i i
i
x , y 横向距离
距离
纵 向 距 离
B
x , y ˆ
i i
A为实际点，B为拟 合直线上与之对应 的点
x
距离是度量实际值与拟合值 是否相符的有效手段
• 点到直线的距离——点到直线的垂直线的长度。 • 横向距离——点沿（平行）X轴方向到直线的 距离。 • 纵向距离——点沿（平行）Y轴方向到直线的 距离。也就是实际观察点的Y坐标减去根据直 线方程计算出来的Y的拟合值Ŷ。 • 这个差数就是前面曾提到的 ei ——残差。
一、线性回归模型的基本假设
假设 1. 解释变量 X 是确定性变量，不是随机变 量；
假设2. 随机误差项具有零均值、同方差和不序 列相关性：
E(i)=0 Var (i)=2 Cov(i, j)=0 i=1,2, …,n i=1,2, …,n i≠j i,j= 1,2, …,n
假设3. 随机误差项与解释变量X之间不 相关： Cov(Xi, i)=0 i=1,2, …,n
注意
①不线性相关并不意味着不相关。
②有相关关系并不意味着一定有因果关系(如肺癌患病率 与吸烟的关系就是相关关系而非因果关系)。
③相关分析和回归分析都是研究随机变量的统计依赖关 系的，都能测度线性依赖程度大小。
④相关分析主要研究随机变量间的相关形式及相关程度， 而无需考虑二者间是否有因果关系，因此变量的地位 是对称的。回归分析则关注于有统计相关性的变量间 的因果关系分析，对变量的处理方法存在不对称性， 即区分应变量（被解释变量）和自变量（解释变量）： 前者是随机变量，后者不是。
2. 回归分析的基本概念
• 回归分析(rearession analysis)是研究一个 变量关于另一个（些）变量的具体依赖关系 的计算方法和理论。 • 其目的在于通过后者的已知或设定值，去估 计和（或）预测前者的（总体）均值。