第四章一元线性回归
论述一元线性回归的基本步骤
论述一元线性回归的基本步骤
一元线性回归是一种统计学方法，用来描述两个变量之间的线性关系，并建立相应的回归模型。
基本的步骤包括：
（1）确定数据源和变量：从数据源中收集相关的数据，并确定要进行研究的变量：x代表自变量，y代表因变量。
（2）进行各种统计分析：绘制散点图或残差图，用于可视化数据并判断是否存在线性关系；同时，计算出x与y之间的相关系数，试图发现x与y 之间的关联，以确定是否存在线性回归关系。
（3）拟合线性模型：使用常见的最小二乘法方法根据已有数据估计线性模型，即拟合误差平方和最小化的拟合直线，从而得到线性回归模型。
（4）检验线性模型：检验线性模型的有效性是至关重要的一步，可以检验残差图的正态分布假设、小概率假设和模型假设，可以构建R2、F值、AIC和BIC等指标，以进一步确定模型的有效性。
（5）预测新数据：如果经过上述模型检验发现线性模型是有效的，则可以用该模型预测新数据的结果。
总的来说，一元线性回归的基本步骤主要是确定数据源和变量，进行各种统计分析，拟合线性模型，检验模型的有效性，最后利用模型预测新的数据。
一元线性回归
12．9 一元线性回归以前我们所研究的函数关系是完全确定的，但在实际问题中，常常会遇到两个变量之间具有密切关系却又不能用一个确定的数学式子表达，这种非确定性的关系称为相关关系。
通过大量的试验和观察，用统计的方法找到试验结果的统计规律，这种方法称为回归分析。
一元回归分析是研究两个变量之间的相关关系的方法。
如果两个变量之间的关系是线性的，这就是一元线性回归问题。
一元线性回归问题主要分以下三个方面：（1）通过对大量试验数据的分析、处理，得到两个变量之间的经验公式即一元线性回归方程。
（2）对经验公式的可信程度进行检验，判断经验公式是否可信。
（3）利用已建立的经验公式，进行预测和控制。
12．9．1 一元线性回归方程 1．散点图与回归直线在一元线性回归分析里，主要是考察随机变量y 与普通变量x 之间的关系。
通过试验，可得到x 、y 的若干对实测数据，将这些数据在坐标系中描绘出来，所得到的图叫做散点图。
例1 在硝酸钠（NaNO 3）的溶解度试验中，测得在不同温度x （℃）下，溶解于100解 将每对观察值（x i ，y i ）在直角坐标系中描出，得散点图如图12.11所示。
从图12.11可看出，这些点虽不在一条直线上，但都在一条直线附近。
于是，很自然会想到用一条直线来近似地表示x 与y 之间的关系，这条直线的方程就叫做y 对x 的一元线性回归方程。
设这条直线的方程为yˆ=a+bx 其中a 、b 叫做回归系数（y ˆ表示直线上y 的值与实际值y i 不同）。
图12.11下面是怎样确定a 和b ，使直线总的看来最靠近这几个点。
2．最小二乘法与回归方程在一次试验中，取得n 对数据（x i ，y i ），其中y i 是随机变量y 对应于x i 的观察值。
我们所要求的直线应该是使所有︱y i －yˆ︱之和最小的一条直线，其中i y ˆ=a+bx i 。
由于绝对值在处理上比较麻烦，所以用平方和来代替，即要求a 、b 的值使Q=21)ˆ(i ni iyy-∑=最小。
第四章计量经济学答案
第四章一元线性回归第一部分学习目的和要求本章主要介绍一元线性回归模型、回归系数的确定和回归方程的有效性检验方法。
回归方程的有效性检验方法包括方差分析法、t检验方法和相关性系数检验方法。
本章还介绍了如何应用线性模型来建立预测和控制。
需要掌握和理解以下问题：1 一元线性回归模型2 最小二乘方法3 一元线性回归的假设条件4 方差分析方法5 t检验方法6 相关系数检验方法7 参数的区间估计8 应用线性回归方程控制与预测9 线性回归方程的经济解释第二部分练习题一、术语解释1 解释变量2 被解释变量3 线性回归模型4 最小二乘法5 方差分析6 参数估计7 控制8 预测二、填空ξ，目的在于使模型更1 在经济计量模型中引入反映（）因素影响的随机扰动项t符合（）活动。
2 在经济计量模型中引入随机扰动项的理由可以归纳为如下几条：（1）因为人的行为的（）、社会环境与自然环境的（）决定了经济变量本身的（）；（２）建立模型时其他被省略的经济因素的影响都归入了（）中；（３）在模型估计时，（）与归并误差也归入随机扰动项中；（4）由于我们认识的不足，错误的设定了（）与（）之间的数学形式，例如将非线性的函数形式设定为线性的函数形式，由此产生的误差也包含在随机扰动项中了。
3 （）是因变量离差平方和，它度量因变量的总变动。
就因变量总变动的变异来源看，它由两部分因素所组成。
一个是自变量，另一个是除自变量以外的其他因素。
（）是拟合值的离散程度的度量。
它是由自变量的变化引起的因变量的变化，或称自变量对因变量变化的贡献。
（）是度量实际值与拟合值之间的差异，它是由自变量以外的其他因素所致，它又叫残差或剩余。
4 回归方程中的回归系数是自变量对因变量的（）。
某自变量回归系数β的意义，指的是该自变量变化一个单位引起因变量平均变化（ ）个单位。
5 模型线性的含义，就变量而言，指的是回归模型中变量的（ ）；就参数而言，指的是回归模型中的参数的（ ）；通常线性回归模型的线性含义是就（ ）而言的。
一元线性回归
由此可推测：当火灾发生地离最近的消 防 站 为 10km 时 ， 火 灾 损 失 大 致 在
ˆ y 10.279 49.19 59.369（千元） 当火 ；
灾发生地离最近的消防站为 2km 时，火灾损 失大致在 20.117（千元）
三、0，1的性质
1, 线性
1
(x x ) y
为 y 关于 x 的一元线性经验回归方程 （简称为回归直
ˆ 线方程） 0 为截距， 1 为经验回归直线的斜率。 ， ˆ
引进矩阵的形式：
y1 1 x1 1 0 y2 1 x2 2 设 y ， X ， ， 1 y 1 x n n n
变量之间具有密切关联 而又不能由一个或某一些变 量唯一确定另外一个变量的 关系称为变量之间的相关关 系.
y
y f ( x)
y
Y f (X )
0
(a) 函数关系
x
0
(b) 统计关系
x
种类
正相关 负相关
一元相关 多元相关
线性相关 曲线相关
y
y
y
y
正相关
x
负相关
x
曲线相关
x
不相关
x
例 2 城镇居民的收入与消费支出之间有很大的关 联，居民的收入提高了，消费也随之潇洒，但居民的 收入不能完全确定消费，人们的消费支出受到不同年 龄段的消费习惯的影响，也受到不同消费理念的影响。 因此居民的收入 x 与消费支出 y 就呈现出某种不确定 性。 我们将上海市城镇居民可支配收入与支出的数据 （1985 年~2002 年）用散点图表示，可以发现居民的 收入 x 与消费支出 y 基本上呈现线性关系，但并不完 全在一条直线上。 附数据与图形。
计量经济学 第四章
100%
统计检验
利用统计量对模型参数进行假设 检验，判断参数是否显著。
80%
计量经济学检验
包括模型的异方差性、自相关性 、多重共线性等问题的检验。
模型的修正方法
增加解释变量
如果模型存在遗漏变量，可以通过增加解释变量来 修正模型。
删除解释变量
如果模型中某些解释变量不显著或存在多重共线性 ，可以考虑删除这些变量。
模型表达式
Y = β0 + β1X + ε
最小二乘法
通过最小化残差平方和来估计参数β0和β1
参数解释
β0为截距项，β1为斜率项，ε为随机误差项
模型的检验
包括拟合优度检验、显著性检验等
多元线性回归模型
01
02
03
04
模型表达式
参数解释
最小二乘法
Y = β0 + β1X1 + β2X2 + ... + βkXk + ε
最小二乘法估计量的性质
线性性
最小二乘法估计量是随机样本的线性组合。
无偏性
最小二乘法估计量的期望值等于总体参数的 真实值。
有效性
在所有无偏估计量中，最小二乘法估计量的 方差最小。
一致性
随着样本量的增加，最小二乘法估计量收敛 于总体参数的真实值。
最小二乘法的计算步骤
构造设计矩阵X和响应向量Y。 计算设计矩阵X的转置矩阵X'。 计算X'X和X'Y。
求解线性方程组X'Xβ=X'Y，得到回归系 数的最小二乘估计β^=(X'X)^(-1)X'Y。
根据β^计算因变量的拟合值Y^=Xβ^。
计算残差e=Y-Y^，以及残差平方和 RSS=e'e。
第四章 回归分析
（二）线性回归的显著性检验
y ~ N a + bx, σ 2 ，则 1、几个相关的抽样分布：设 、几个相关的抽样分布： σ2 ˆ (1) b ~ Nb, l xx
1 x2 2 ˆ (2) a ~ Na, + σ , n l xx ˆ = − x σ 2 , cov b, y = 0 ˆ ˆ 并且cov a, b lxx
1−
(2) H1 : b > b0, 取 侧 绝 t > t1−α (n− 2) 右 拒 域 (3) H1 : b < b0 , 取 侧 绝 t < tα (n− 2) 左 拒 域
2
2、b 的区间估计 、
ˆ b −b0 H 立 ， 计 时， lxx ~ t(n− 2) . 由 0成 时 统 量t = s 当 性 线 回归 果 著 ， 的1−α 置 区 为 效 显 时 b 信 间 ˆ −d , b + d , 其 d = t (n− 2) ⋅ s b n ˆ n 中 n α 1− lxx 2
2 lxxl yy − lxy
(n−2) lxx
= 0.489
ˆ b t= lxx = 74.3 s 对于n = 12, α = 0.05, t
1−
α
2
(n−2) = 2.2281
H 因为74.3 > 2.2281, 故 以水 α = 0.05拒绝 0 平
(F 检 法 验 ) r =
2
l
2 xy
lxxl yy
56.9 58.4 61.6 64.6 68,1 71.3 74.1 77.4 80.2 82.6 86.4
试建立y 的回归函数， 试建立 对x 的回归函数，并对回归的显著性进行 检验。 检验。
一元线性回归模型(第四次课)
四、参数估计量的概率分布及随机干扰 项方差的估计
五、参数估计量的概率分布及随机干扰 项方差的估计
ˆ 1、参数估计量 0 和 ˆ1 的概率分布
ˆ 1 ~ N ( 1 ,
x
2
2 i
)
ˆ 0 ~ N ( 0 ,
n x
X i2
2 i
2)
2、随机误差项的方差2的估计
R2越接近1，说明实际观测点离样本线越近，拟 合优度越高。
经变换发现，R与X,Y的相关系数r值相同。可通 过R与r进行X与Y的线性相关性检验，查书后附表1。
二、变量的显著性检验
回归分析是要判断解释变量X是否是被解释变量Y的一 个显著性的影响因素。 即判断X是否对Y具有显著的线性性影响。这就需要进 行变量的显著性检验。
Zi2
i 1 i 0
n
n
(Yi ) 2
2
~ 2 n
F分布：
分 设U是服从自由度为n1的χ2分布的随机变量，即U~ χ2(n1)， 布
U n1 F ~ F n1 , n2 V n2
V是服从自由度为n2的χ2分布的随机变量，即V~ χ2(n2)，且U 和V相互独立，则：
该两组数据是1978~2000年的时间序列数据 （time series data）； 前述收入-消费支出例中的数据是截面数据 （cross-sectional data）。
1、建立模型
拟建立如下一元回归模型
CONSP C GDPP
采用Eviews软件进行回归分析的结果见下表
表 2.5.2 中国居民人均消费支出对人均 GDP 的回归（1978~2000） LS // Dependent Variable is CONSP Sample: 1978 2000 Included observations: 23 Variable C GDPP1 Coefficient 201.1071 0.386187 Std. Error 14.88514 0.007222 t-Statistic 13.51060 53.47182 Prob. 0.0000 0.0000 905.3331 380.6428 7.092079 7.190818 2859.235 0.000000
计量经济学 第4章
20
一元线性模型中，i (i=1，2）的置信区间:
在变量的显著性检验中已经知道：
t ˆ i i s ˆ
i
~ t ( n 2)
意味着，如果给定置信度（1-），从分布表中查得自 由度为(n-2)的临界值，那么t值处在(-t/2, t/2)的概率是 (1- )。表示为：
P( t t t ) 1
23
4.3
参数的置信区间检验法
• 这2种方法可以得到相同的结论。 • 在显著性检验中，我们在下面的情况下不拒绝零假设 H0 ： = * ，即统计量落在非拒绝域内，
tcrit
• 整理，得
* ) tcrit SE (
ˆ ˆ ˆ t crit SE( ) * t crit SE( )
12
4.2.1 假设检验
假设检验，就是事先对总体参数或总体分布形 式作出一个假设，然后利用样本信息来判断原假 设是否合理，即判断样本信息与原假设是否有显 著差异，从而决定是否接受或否定原假设。 假设检验采用的逻辑推理方法是反证法！
先假定原假设正确，然后根据样本信息，观察由
此假设而导致的结果是否合理，从而判断是否接 受原假设。
总体平方和（Total Sum of Squares）
回归平方和（Explained Sum of Squares）
残差平方和（Residual Sum of Squares ）
7
要证明
ˆ 只要证明 yi ei 0
ˆ ˆ ˆ 由于 Yi 0 1 X i
ˆ ˆ 0 Y 1 X
在上述收入-消费支出例中，首先计算2的估计值
ˆ
2
e
2 i
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
3
§4.1 一元线性回归模型
• 例4.1 假定需要研究化肥施用量与粮食产量的关 系，以便准确地定出化肥施用量的单位变化如何 影响粮食产量的平均单位变化，进而确定合理的 化肥施用量。表4.1列出了20组粮食产量与化肥施 用量的数据。图4.1给出20个样本点的分布状况。
表4.1
化肥施用量x(万吨) 粮食产量y(万吨) 化肥施用量x(万吨) 4541.05 48526.69 2989.06 3637.87 45110.87 3021.9 2287.49 40753.79 3953.97
粮食产量与化肥施用量
3056.89 43824.58 3212.13 4883.7 50890.11 3804.76 3779.3 46370.88 1598.28 4021.09 46577.91 1998.56
目录 上页 下页 返回 结束
19
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
目录 上页 下页 返回 结束
16
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
17
一、普通最小二乘估计
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
18
2018/10/10
中国人民大学六西格玛质量管理研究中心
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
7
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
8
§4.1 一元线性回归模型
二、一元线性回归模型的数学形式
2018/10/10
中国人民大学六西格玛质量管理研究中心
粮食产量y(万吨)
化肥施用量x(万吨) 粮食产量y(万吨) 2018/10/10
42947.44
3710.56 46598.04
41673.21
3269.03 44020.92
47244.34
1017.12 34866.91
43061.53
1864.23 37184.14
47336.78
2797.24 41864.77
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
2
§4.1 一元线性回归模型
• 上述几个例子都是研究两个变量之间的关系,而且 它们的一个共同点是:两个变量之间有着密切的关 联,但它们之间密切的程度并不能由一个变量唯一 确定另一个变量,即它们间的关联是一种非确定性 的关系。那么它们之间到底有什么样的关系呢?
37127.89
1034.09 33717.78
39515.07
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
4
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
5
§4.1
一元线性回归模型
表4.2 年份 1986 1987 1988 1989 1990 人均国民收入（ 元） 963 1112 1366 1519 1644
• 在实际问题的研究中,经常需要研究某一现象与影 响它的某一最主要因素的影响。 • 如影响粮食产量的因素非常多,但在众多因素中, 施肥量是一个重要的因素,我们往往需要研究施肥 量这一因素与粮食产量之间的关系; • 在消费问题的研究中,影响消费的因素很多,但我 们可以只研究国民收入与消费额之间的关系,因为 国民收入是影响消费的最主要因素; • 保险公司在研究火灾损失的规律时,把火灾发生地 与最近的消防站的距离作为一个最主要因素,研究 火灾损失与火灾发生地距最近消防站的距离之间 的关系。
第4章 一元线性回归
§4.1 一元线性回归模型
§4.3 最小二乘估计的性质
§4.4 回归方程的显著性检验
§4.5 残差分析 §4.6 预测和控制 §4.7 建模总结和应注意的问题
2018/10/10 1
目录 上页 下页 返回 结束
中国人民大学六西格玛质量管理研究中心
§4.1 一元线性回归模型
• 一、一元线性回归模型的实际背景
1893
2311 2998 4044 5046
932
1116 1393 1833 2355
2001
2002 2003 2004 2005
8622
9398 10542 12336 14040
目录 上页
3869
4106 4411 4925
下页中国人民大学六西格源自质量管理研究中心6结束
5439
返回
§4.1 一元线性回归模型
目录 上页 下页 返回 结束
9
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
10
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
11
§4.1 一元线性回归模型
2018/10/10
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
15
§4.1 一元线性回归模型
为了在今后的讨论中充分利用矩阵这个处理线性关系的有力 工具,我们这里将一元线性回归的一般形(4.4)式用矩阵表示。
2018/10/10
中国人民大学六西格玛质量管理研究中心
人均国民收入表 人均消费金额（ 元） 497 565 714 788 833 年份 1996 1997 1998 1999 2000 人均国民收入（ 元） 5846 6420 6796 7159 7858 人均消费金额 （元） 2789 3002 3159 3346 3632
1991
1992 1993 1994 2018/10/10 1995
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
12
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
13
§4.1 一元线性回归模型
2018/10/10
中国人民大学六西格玛质量管理研究中心
目录 上页 下页 返回 结束
14