一元线性回归分析
一、最小二乘估计量的抽样分布
0 ~ N( 0 , D( 0 )) 1 ~ N( 1 , D( 1 ))
D( 1 )
^
^
^
^
^
（x
u2
i 2 x）
2 x i2 x 2 1 2 D（ 0 ） u u 2 2 n （ x x ） n （ x x ） i i ^
二、最小二乘估计量的统计性质
1.线性 2.无偏性 3.最佳性
最佳性
var （ 1 ）
^
^ 2 （ x x ） i 2 u
2 2 x 1 x i 2 2 var （ 0 ） u u 2 2 n （x i x） （x i x） n
i i
i i i
2
2
i
i
i
2
i
2
yi
i
ki yi
( xi x ) 记 =k i 2 ( xi x)
1 ki yi
^
1 ki yi ki (0 1xi ui )
0 ki 1 ki xi
( xi x) ki ( x x ) 2 i ( xi x) xi ki xi ( x x)2 i
不存在序 列相关、 解释变量 是固定非 随机的 与其他线性无偏估计 量相比，且仅仅利用 样本信息
第一章 一元线性回归分析
★§1.1 ★§1.2 ★§1.3 ★§1.4
§1.5 §1.6 §1.7 §1.8
一元线性回归模型 模型参数的最小平方估计（板书） 参数估计量的统计性质 随机干扰项u的方差估计 一元线性回归参数的t检验与置信区间 拟合优度和相关系数 一元线性回归方程应用于预测 一元线性回归模型的建模步骤与实例
x cov （ 0 ， 1） 2 （x i x）
^ ^ 2 u
几点说明：
2 1. u 较大时，估计量的方差增大。
2.自变量的观测值越集中，估计量的方差越大。 3.增加观测值，可以提高估计的精度。
^ ^
4. 协方差度量的是作为随机变量 和 是如何相互联系的。正的协方差 0 1 ^ ^ ^ 表明，当 高估了 0 时， 也可能高估了 。同理，当 1 低估了 0时，
§1.4 §1.5 §1.6 §1.7 §1.8 一元线性回归模型 模型参数的最小平方估计（板书） 参数估计量的统计性质 随机干扰项u的方差估计 一元线性回归参数的t检验与置信区间 拟合优度和相关系数 一元线性回归方程应用于预测 一元线性回归模型的建模步骤与实例
一、最小二乘估计量作为随机变量 二、最小二乘估计量的统计性质 1.线性 2.无偏性 3.最佳性（最小方差性）
一、相关关系与回归分析 各种经济变量之间的关系可以分为两种： 函数关系 客观存在的完全确定的依存关系 相关关系 客观存在的一种非确定性的依存关系
二、一元线性回归模型及基本假定 变量y与变量x之间的相关关系可以用数学模 型表述为： y x u
0 1
对于第i个观测，有：
y i 0 1 x i u i
2 i 1 i 1 ^ n ^ n ^
^
^
y 1xi ui
dQ d 1
^
0
^
2 (yi 1 xi ) xi 0
1
^
(y
i
xi ) xi 0
1
^
xy x
i 2 i
i
^ ( xi x)( yi y ) xi y i 2 2 1 ( x x ) i xi ^ ^ y x 1 0
^ i i 2
^
1
2
i
1
i
i
i
^ 2 u
2
^
i
1
i
i
n2
( y n y ) 1 ( xi x)( yi y )
2 i
^
n2
y
2 i
1 xi y i n2
^
第一章 一元线性回归分析
★§1.1 ★§1.2 ★§1.3 ★§1.4 ★§1.5
一元线性回归模型 模型参数的最小平方估计（板书） 参数估计量的统计性质 随机干扰项u的方差估计（板书） 一元线性回归参数的t检验与置信区间 §1.6 拟合优度和相关系数 §1.7 一元线性回归方程应用于预测 §1.8 一元线性回归模型的建模步骤与实例
^ ^
( yi 0 1 xi ) 0 ^ ^ ( yi 0 1 xi ) xi 0
^ ^ ^ ^ yi n 0 1 xi ^ ^ 2 xi yi 0 xi 1 xi
1
u
^ 2
2 i
n-2
二、区间估计的理论基础
1.
1 ~ N ( 1 ,
^ ^
(x i x) 2
~ N (0,1)
2 u
)
Z
1 1
D( 1 )
^
2.如果 Z1 , Z2 ,Zm 表示m个独立的标准正态分 布的随机变量，那么有：
2 2 V Z12 Z2 Z m ~ (2m)
i
i
2
i
1 1 ki ui
^
0 y 1 x
^
^
^
y n
i
1 x ki yi ( xki ) yi n
1 0 ( xki )( 0 1 xi ui ) n 1 0 1 x ui x0 ki x1 ki xi x kiui n 1 0 1 x ui x1 x kiui n 1 0 ( xki )ui n
2 i i 2
^
( x x) x ( x x) 1 ( x x)
i
( x x) 0 ( x x) ( x x)( x x x ) ( x x)
i 2 i
( xi x ) =k i kiui 记 2 ( xi x)
1也可能低估了 1。协方差为零则表明两者没有线性相关关系。负的协
方差则表明当 高估了 0时， 可能低估了 1。
0 1 ^ ^
^
0
1
0
5.观测数据离x=0越远，越难以解释 0 。
Gauss-Markov theorem
在满足古典假定的条件下，最小二乘估 随机误差 计量在所有的线性无偏估计量中方差是 项零均值、 最小的，它们是最好的线性无偏估计量 同方差、 （BLUE）。
LS
min ( yi y i )
i 1
^ ^ n
n
^
2
Q( 0 , 1 ) ( yi y i ) ( yi 0 1 xi )2
2 ^ ^ i 1 i 1
^ห้องสมุดไป่ตู้
n
Q ^ 0 0 Q 0 ^ 1
2 ( yi 0 1 xi ) 0 ^ ^ 2 ( yi 0 1 xi ) xi 0
i
第一章 一元线性回归分析
★§1.1 ★§1.2
§1.3 §1.4 §1.5 §1.6 §1.7 §1.8
一元线性回归模型 模型参数的最小平方估计 参数估计量的统计性质 随机干扰项u的方差估计 一元线性回归参数的t检验与置信区间 拟合优度和相关系数 一元线性回归方程应用于预测 一元线性回归模型的建模步骤与实例
y i 0 1 xi
u
^ 2 2 i
ui yi E( yi )
^
^
^
i yi yi yi ( 0 1 xi )
^
^
^
n2
u
^
^ 2
2 i
n2
( yi yi )
n2
^ ^
^
2
2 ( y y ) ( y y ) i i 2
^
( x x)( y y ) x y ^ ^ 0 y 1 x ( x x) x
i i i i 2 i 2 i
当常数项0 =0时： i
y i 1 xi
Q( 1 ) ( yi y i ) ( yi 1 xi )2
一、最小二乘估计量作为随机变量
^ ( xi x)( yi y ) 1 2 ( x x ) i ^ ^ 0 y 1 x
1
^
( x x) y ( x x) ( x x) ( x x)
i i
( x x)( y y ) ( x x) y y ( x x) ( x x) ( x x)
2 2 2
V u
2 t 2
(n 2) u
^ 2
u2
注意，V不是自由度为n的卡方分布，因为残差依赖于 最小二乘估计量，不是独立的。但是可以证明有n-2 ^ 2 个残差是独立的，有下式成立： (n 2) u
V
2 u
~ (2n2)
3.t分布
2 V ~ 如果Z~N（0，1）分布， ( m)
假定１：u (i 1,2,n)均为服从正态分布的实有随机 变量。 假定2： E(u i ) 0 2 D ( u ) 常数 i u 假定3： 假定4： Cov(ui , u j ) 0 (i j, i, j 1,2,n) 假定5： Cov(ui , x j ) 0 (i, j 1,2n) 在x是非随机变量时，该假定自动满足。
一元线性回归分析
C=α+βy + µ
其中， µ是随机误差项。 是随机误差项。 其中， 是随机误差项 根据该方程， 的值， 根据该方程，每给定一个收入 y 的值，消 并不是唯一确定的， 费C并不是唯一确定的，而是有许多值， 并不是唯一确定的 而是有许多值， 他们的概率分布与µ的概率分布相同 的概率分布相同。 他们的概率分布与 的概率分布相同。 线性回归模型的特征： 线性回归模型的特征： 有随机误差项！ 有随机误差项！
21
说
明
一、严格地说，只有通过了线性关系的检验，才 严格地说，只有通过了线性关系的检验， 能进行回归参数显著性的检验。 能进行回归参数显著性的检验。 有些教科书在介绍回归参数的检验时没有考虑线 性关系的检验，这是不正确的。 性关系的检验，这是不正确的。因为当变量之间 的关系没有通过线性检验时， 的关系没有通过线性检验时，进行回归参数显著 性的检验是没有意义的。 性的检验是没有意义的。 在一元线性回归分析中， 二、在一元线性回归分析中，即只有一个解释变 量时，这两种检验是统一的。 量时，这两种检验是统一的。但在多元回归分析 这两种检验的意义是不同的。 中，这两种检验的意义是不同的。 为了说明该问题， 为了说明该问题，我们在本章中依然把两种检验 分开论述。 分开论述。
13
为了达到上述目的， 为了达到上述目的，我们直观上会采 用以下准则： 用以下准则： 选择这样的SRF，使得： 选择这样的 ，使得：
残差和∑ ε i = ∑ ( yi − yi )尽可能小！ ˆ
但这个直观上的准则是否是一个很好 的准则呢？我们通过以下图示说明： 的准则呢？我们通过以下图示说明：
14
12
ˆx i + ε i yi = α + β ˆ ˆ 即：y i = y i + ε i ˆ ∴ ε i = yi − yi
第3章 一元线性回归分析
3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态 分布误差项
• 放松了假设4后，与之相关的结论10和12 不再成立，t-检验、F-检验不再成立。 • 大样本情况下，t-统计量近似服从标准正态 分布，因此可以用标准正态分布临界值进 行判断。 • 去掉假设4不影响OLS估计的一致性、无偏 性和渐近正态性。
1
s ˆ
1
t-检验的涵义：估计参数的绝对值足够大或者 标准误很小（标准误小则随机性小，估计越精 确） 样本量较大时 （n>35），t分布接近正态分布， 5%置信水平下临界值接近2，因此常用统计量 是否大于2作为判断系数显著与否的标准。
3.5 拟合优度 R 和模型检验（F检验）
检验 X 和 Y 之间是否 具有线性关系：看 Y 的变化能被 X 的变化解释多少。 总平方和（total sum squared）：
一元线性回归分析
3.6 用EViews7.2进行一元线性回归 3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态分布误差 项 3.7.2 假设条件的放松（二）—异方差 3.7.3 假设条件的放松（三）—非随机抽样和序 列相关 3.7.4 假设条件的放松（四）—内生性 3.7.5 总结
重要概念
第3章
一元线性回归分析
一元线性回归分析
3.1 一元线性回归模型 3.2 一元线性回归模型参数估计
3.2.1 回归系数估计 3.2.2 误差的估计—残差 ˆ 和 ˆ 的分布 3.2.3 0 1
3.3 更多假设下OLS估计量性质 3.4 回归系数检验（t-检验） 2 R 3.5 拟合优度 和模型检验（F检验）
2
3.5 拟合优度 R 和模型检验（F检验）
不带常数项的模型其相应的TSS和ESS为：
一元线性回归分析
回归分析（一元）一、实验目的掌握回归分析的步骤及操作。
二、相关理论知识1.回归分析的步骤： 首先，进行相关分析。
具体应先从定性角度分析变量之间有无相关关系；若存在相关关系，在借助散点图，相关系数等方式，进一步确定相关关系的类型及相关程度，为建立回归模型提供依据。
接下来，以相关分析为基础，进行回归分析。
2.流程框架3.一元线性回归模型的基本形式为：i i i X Y μββ++=10 n i ,,2,1 =4.参数估计方法：最小二乘法最小二乘法通过使残差项的平方和最小来估计参数0β和1β。
即∑2i e 最小。
求出0β、1β的估计值为：21)())((i i i i i i X X Y Y X X -∑--∑=∧β,i i X Y 10∧∧-=ββ三、实验内容及要求1、实验内容：（1）散点图、相关系数； （2）参数估计及结果解读； 2、实验要求：掌握相关分析及回归分析的操作及结果解读四、操作指导（一）相关分析 1.散点图绘制利用我国1978年——2001年国内生产总值和最终消费支出的数据。
经济学的理论可以证明，国内生产总值和最终消费支出之间存在关联。
在此基础上，绘制散点图。
第一步，同时选中x ，y 两个序列，点击右键，选择open 级联菜单as group 。
（注意：在选中两个序列时，先选择哪个，打开组后哪个就在前面，作图时默认它就是横轴的变量）第二步，在group窗口，点击view下拉菜单，选择graph——scatter，点确定。
见图1图1表明两者具有很强的线性相关关系。
2.简单相关系数的计算在group窗口选择view下拉菜单中的covariance analysis，将correlation选中，同时将covariance复选框中的√去掉。
然后确定，即可得x和y的简单相关系数矩阵，见图2：图2结果显示x和y之间的简单相关系数为0.999373，两者之间存在高度正线性相关关系。
可建立一元线性回归模型。
一元回归分析
一元回归分析1. 简介回归分析是统计学中重要的分析方法之一，用于研究变量之间的关系。
在回归分析中，一元回归是指只涉及一个自变量和一个因变量的分析。
一元回归分析的目的是建立一个数学模型，描述自变量对因变量的影响关系，并通过拟合数据来确定模型的参数。
通过一元回归分析，我们可以研究自变量和因变量之间的线性关系，预测因变量的值，并进行因变量的控制。
2. 原理2.1 线性回归模型一元线性回归模型假设自变量和因变量之间存在线性关系，可以用以下方程来表示：Y = β0 + β1 * X + ε其中，Y 表示因变量，X 表示自变量，β0 和β1 分别表示模型的截距和斜率，ε 表示误差项。
2.2 最小二乘法拟合回归模型的常用方法是最小二乘法。
最小二乘法的目标是通过最小化残差平方和来确定模型的参数。
残差是指观测值与模型预测值之间的差异。
最小二乘法通过计算观测值与回归线之间的垂直距离来确定参数值，使得这些距离的平方和最小化。
3. 回归分析步骤一元回归分析通常包括以下步骤：3.1 数据收集收集与研究问题相关的数据。
数据包括自变量和因变量的观测值。
3.2 模型设定根据问题和数据，选择适当的回归模型。
对于一元回归分析，选择一元线性回归模型。
3.3 模型估计利用最小二乘法估计模型的参数值。
最小二乘法将通过最小化残差平方和来确定参数值。
3.4 模型诊断对拟合的模型进行诊断，检查模型是否满足回归假设。
常见的诊断方法包括检查残差的正态分布性、检查残差与自变量的关系等。
3.5 结果解释解释模型的结果，包括参数估计值、模型拟合程度、因变量的预测等。
3.6 模型应用利用拟合的模型进行预测、推断或决策。
4. 注意事项在进行一元回归分析时，需要注意以下几点：•数据的收集应当尽可能准确和全面，以确保分析的可靠性；•模型的设定应当符合问题的实际情况，并选择合适的函数形式；•模型诊断是确定模型是否可靠的重要步骤，需要进行多种检验；•需要注意回归分析的局限性，不能因为有了一元回归模型就能解释所有的问题。
一元线性回归分析
模型评估指标
模型评估指标用于衡量回归模型的拟合优度和预测精度。常用的指标包括均 方误差、决定系数和标准化残差等，可以帮助我们评估模型的有效性和适用 性。
参数估计方法
参数估计是确定回归模型中各个参数的取值的过程。常用的参数估计方法包括最小二乘法、最大似然估 计法和贝叶斯估计法等，可以帮助我们找到最优的参数估计结果。
一元线性回归分析
回归分析是一种用于建立变量之间关系的统计方法。本演示将介绍一元线性 回归模型的构建、参数估计、模型假设检验以及模型预测和应用。
回归分析的概述
回归分析是一种通过建立变量之间的关系来描述和预测现象的统计方法。它 可以帮助我们理解变量之间的因果关系，并从中推断出未知的检验
模型假设检验用于验证回归模型的假设是否成立。常见的假设检验包括检验回归系数的显著性、整体模 型的显著性以及模型的线性关系等，可以帮助我们判断模型是否可靠。
回归诊断和残差分析
回归诊断和残差分析通过检查模型的残差来评估模型的拟合优度和假设的满 足程度。常用的诊断方法包括残差图、QQ图和离群值分析等，可以帮助我们 发现模型的不足和改进方向。
模型预测和应用
回归模型可以用于预测未知观测值，并帮助我们做出决策和制定策略。它在经济学、社会科学、医学等 领域具有广泛的应用，可以为决策者提供有力的数据支持。
一元线性回归分析的作用方法步骤
一元线性回归分析的作用方法步骤一元线性回归分析是一种用于探究两个变量之间线性关系的统计方法。
它的作用是根据给定的自变量和因变量数据，建立一个线性回归模型，以预测未来的因变量值或者对自变量进行解释。
以下是一元线性回归分析的方法步骤：1. 收集数据：收集自变量（x）和因变量（y）的数据。
确保数据具有代表性，容量足够大，并且是可靠的。
2. 绘制散点图：根据所收集的数据，绘制自变量（x）和因变量（y）的散点图，以查看它们之间的大致关系。
3. 计算相关系数：计算自变量（x）和因变量（y）的相关系数，以评估它们之间的线性相关性。
通常使用皮尔逊相关系数来进行衡量。
4. 建立模型：使用最小二乘法来建立一元线性回归模型。
该模型的方程可表示为y = β₀+ β₁x，其中β₀是截距，β₁是斜率。
最小二乘法通过最小化残差平方和来确定最佳拟合的直线。
5. 评估模型：评估回归模型的拟合程度。
可以使用多种统计指标，如可决系数（R²）和均方根误差（RMSE），来评估模型的精度和稳定性。
6. 预测和推断：使用建立的回归模型进行预测和推断。
可以利用模型来预测因变量的值，或者对自变量进行解释和推断。
7. 检验假设：对回归系数进行假设检验，以判断自变量对因变量是否具有统计上显著的影响。
常见的方法是计算回归系数的t值和p值，并根据显著性水平来确定是否拒绝或接受假设。
8. 验证和诊断：验证回归模型的有效性和适用性。
可以使用残差分析、正态概率图和残差图等方法来检查模型的假设前提和模型的良好性。
以上是一元线性回归分析的一般方法步骤。
实际分析中，可能会根据具体问题进行调整和扩展。
第9章 一元线性回归分析
9.1.2相关关系的类型
从涉及的变量数量看
简单相关 多重相关（复相关）
从变量相关关系的表现形式看
线性相关——散点图接近一条直线(左图) 非线性相关——散点图接近一条曲线(右图)
25 20 15 10 5 0 0 2 4 6 8 10 12
11.2
11
10.8 10.6 10.4 10.2 10
若在定距变量分布不满足正态性的条件，可将定距变 量降级为定序变量
如要研究考试中学生交卷的名次是否与成绩有关，
交卷名次与考试名次之间的关系
交卷名 次
1 2 3 4
5
6
7
8
9
10
11
12
考试成 绩
94 74 74 60 68 86 92 60 78 74
78
64
参阅《统计学在经济和管理中的应用》
2 i i 2 i i
__
^
__
^
2
总离差平方和
回归平方和
残差平方和
判定系数定义：
r
2
(Y Y ) (Y Y )
i i
^
2 2
判定系数的特点
判定系数是非负的统计量； 判定系数取值范围： 0 r 2 在一元线性回归中，判定系数在数值上是
独立性意味着对于一个特定的 x 值，它所对应的ε与其他 x 值所对应的ε不相关 对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关
回归方程
描述因变量y的期望值如何依赖于自变量x的方程称为回归方程。
E( y) b0 b1 x
估计的回归方程
(estimated regression equation)
一元线性回归分析
(n
2)
S2 ˆ0
2 ˆ0
:
2(n 2)
S 2 ˆ1
S2
n
（Xt X )2
t 1
(n
2)
S2 ˆ1
2 ˆ1
:
2(n 2)
所以根据t分布的定义，有
ˆ0 0 ~ t(n 2), ˆ1 1 ~ t(n 2)
Sˆ0
Sˆ1
进而得出了0的置信水平为1-区间估计为
et Yt Yˆt称为残差，与总体的误差项ut对应，n为样 本的容量。
样本回归函数与总体回归函数区别
1、总体回归线是未知的，只有一条。样本回归线是根据样本数 据拟合的，每抽取一组样本，便可以拟合一条样本回归线。
2、总体回归函数中的β0和β1是未知的参数，表现为常数。而样
本回归函数中的 ˆ0和是ˆ1 随机变量，其具体数值随所抽取
S 44.0632
Sef S
1 1 n
( X f X )2
n
45.543
( Xt X )2
t 1
所求置信区间为：(188.6565 97.6806)
回归分析的SPSS实现
“Analyze->Regression->Linear”
0
n
2 t1 Xt (Yt ˆ0 ˆ1 Xt ) 0
nˆ0
n
ˆ1
t 1
Xt
n
Yt
t 1
n
n
n
ˆ0
t 1
Xt
ˆ1
t 1
X
2 t
第15讲 一元线性回归分析
n
i 1
2
2 2 ˆ ˆ 2b yi y xi x b xi x i 1 i 1
i 1
n
i 1
n
ˆS /S ˆ b ˆ2 S S bS ˆ . b S yy 2bS xy xx xy xx yy xy
例2 求例1中误差方差的无偏估计。
采用最小二乘法估计参数a和b，并不需要事先知道Y与x之间 一定具有相关关系，即使是平面图上一堆完全杂乱无章的散 点，也可以用公式求出回归方程。因此μ(x)是否为x的线性函 数，一要根据专业知识和实践来判断，二要根据实际观察得 到的数据用假设检验方法来判断。
即要检验假设 H0 : b 0, H1 : b 0, 若原假设被拒绝，说明回归效果是显著的，否则， 若接受原假设，说明Y与x不是线性关系，回归方程 无意义。回归效果不显著的原因可能有以下几种：
将每对观察值( xi , yi )在直角坐标系中描出它相应的点 （称为散点图），可以粗略看出 ( x)的形式。
基本思想
(x, Y)
回归分析 回归方程
采集样本信息 ( xi, yi )
散点图
回归方程参数估计、显著性检验
对现实进行预测与控制
一元回归分析:只有一个自变量的回归分析 多元回归分析:多于一个自变量的回归分析
x1 x2 x3
xi
xn
整理得 na ( xi )b yi ,
( xi )a ( xi )b xi yi .——正规方程组
2 i 1 i 1 i 1
n
i 1
n
i 1
n
na ( xi )b yi ,
i 1 i 1
n
n
一元线性回归分析
总体回归函数
·y i4
y01x
样本回归
·y i 3
yˆ0ˆ1x 函数
yi0
· y i0 0 1 x i E y x x i
·y ·y
i i
2 1
0
2019/11/13
xi 朱晋
x
16
• 回归函数（PRF）说明被解释变量Y的平均状态
（总体条件期望）随解释变量X变化的规律。
2100 1900 1700 1500
Y 1300 1100 900 700 500 0
2019/11/13
500
1000
1500
2000
ቤተ መጻሕፍቲ ባይዱ
2500
3000
X
朱晋
14
在给定解释变量Xi 条件下被解释变量Yi Y的期望轨迹称为 总体回归线（population regression line），或更一般地称为总
yi 01xiui
• 利用样本观察值找出参数 0 和 1的估计值，
得到样本回归模型：
yˆi ˆ0ˆ1xi
• 检验估计值的性质，并利用样本回归模
型分析被解释变量的总体平均规律。
2019/11/13
朱晋
8
• 由于变量间关系的随机性，回归分析关心的是根据 解释变量的已知或给定值，考察被解释变量的总体
2019/11/13
朱晋
20
• 3、总体线性回归模型(2.1.3)的基本假设有：
• 1、随机误差项的均值为零 Eui0
• 2、随机误差项各分量的方差相等（等方差）
D u i V u ia u 2 r ,i 1 ,2 , ,n
• 3、随机误差项在不同样本点之间是独立的，