第二章22 简单线性模型参数估计
计量经济学的2.2 一元线性回归模型的参数估计
基于样本数据，所得到的总体回归函数的一个估 计函数称为样本回归函数。
问题：当我们设定总体回归模型的函数形式后， 如何通过样本数据得到总体回归函数的一个估计 （即样本回归函数）？--参数估计问题
E (Y | X i ) 0 1 X i
ˆ ˆ ˆ Yi f ( X i ) 0 1 X i
Xi确定
作此假设的理由：当我们把PRF表述为 时，我们假定了X和u(后者代表所有被省略的变量的影 响)对Y有各自的（并且可加的)影响。但若X和u是相关 25 的，就不可能评估它们各自对Y的影响。
线性回归模型的基本假设（4）
假设4、服从零均值、同方差、零协方差的正态分布 i~N(0, 2 ) i=1,2, …,n 意为：ui服从正态分布且相互独立。因为对两个正态 分布的变量来说，零协方差或零相关意为这两个变量 独立。 作该假设的理由：i代表回归模型中末明显引进的许多解释
Yi 0 1 X i i
i=1,2,…,n
Y为被解释变量，X为解释变量，0与1为待估 参数， 为随机干扰项
3
回归分析的主要目的是要通过样本回归函 数（模型）SRF尽可能准确地估计总体回归函 数（模型）PRF。
ˆ ˆ ˆ Yi 0 1 X i
ˆ ˆ ˆ Yi 0 1 X i ui
同方差假设表明：对应于不同X值的全部Y值具有同 样的重要性。
22
线性回归模型的基本假设（2-3）
假设2、随机误差项具有零均值、同方差和不自相关 性(不序列相关)： (2.3) 不自相关： Cov(i, j|Xi, Xj)=0 i≠j i,j= 1,2, …,n 或记为 Cov(i, j)=0 i≠j i,j= 1,2, …,n 意为：相关系数为0， i, j非线性相关。 几何意义如下
2.2一元线性回归模型的参数估计
640000 352836
1210000 407044
1960000 1258884
2890000 1334025
4000000 1982464
5290000 2544025
6760000 3876961
8410000 4318084
10240000 6682225
12250000 6400900
ei
可得
yˆi ˆ1xi
（2.2.7）
其中，用到了正规方程组的第一个方程 ei (Yi (ˆ0 ˆ1 X i )) 0 。（2.2.7）式也称
为样本回归函数的离差形式。 在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”（estimator）
和“估计值”(estimate)的区别。由（2.2.5）式或（2.2.6）式给出的参数估计结果是由一个具
体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量 0 和 1 的一
个具体数值；但从另一个角度，仅仅把（2.2.5）或（2.2.6）看成 0 和 1 的一个表达式，那
么，则是 Yi 的函数，而 Yi 是随机变量，所以 0 和 1 也是随机变量，在这个角度上，称之为
“估计量”。在本章后续内容中，有时把 0 和 1 作为随机变量，有时又把 0 和 1 作为确定
P(Yi )
1
e
1 2
2
(Yi
ˆ0
ˆ1
X
i
)
2
2
i=1,2,…,n
因为 Yi 是相互独立的，所以 Y 的所有样本观测值的联合概率，也即或然函数为：
L(ˆ0 , ˆ1, 2 ) P(Y1,Y2 , ,Yn )
1
1 2
§2.2 一元线性回归模型的参数估计
β 0 = Y β1 X
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数， 于所抽出的一组样本数，参数估计的计算可通过下面的 进行。 表2.2.1进行。 进行
表 2.2.1 数 计 计 参 估 的 算表
Xi
Yi
xi
1
的样本方差： 2 = σ 2 x 2 / n ( x x )2 ∑ i ∑ i β0 Sβ
0
β1 =
∑x y ∑x
i 2 i
i
5769300 = = 0.777 7425000
β 0 = Y β 0 X = 1567 0.777 × 2150 = 103.172
因此，由该样本估计的回归方程为：
Yi = 103.172 + 0.777 X i
三、最小二乘估计量的性质
（1）线性性，即它是否是另一随机变量的线性 ）线性性， 函数； 函数； （2）无偏性，即它的均值或期望值是否等于总 ）无偏性， 体的真实值； 体的真实值； （3）有效性，即它是否在所有线性无偏估计量 ）有效性， 中具有最小方差。 中具有最小方差。
中，最小二乘估计量 β 0 、 β1 具有最小方差。
（2）证明最小方差性
β 1* 是其他估计方法得到的关于β1 的线性无偏估计量： 假设
β 1* = ∑ ci Yi
其中，ci=ki+di，di为不全为零的常数 则容易证明
var(β 1* ) ≥ var(β 1 )
同理，可证明β0 的最小二乘估计量 β 0 具有最的小方差
-973 1314090 1822500 947508 640000 352836 -929 975870 1102500 863784 1210000 407044 -445 334050 562500 198381 1960000 1258884 -412 185580 202500 170074 2890000 1334025 -159 23910 22500 25408 4000000 1982464 28 4140 22500 762 5290000 2544025 402 180720 202500 161283 6760000 3876961 511 382950 562500 260712 8410000 4318084 1018 1068480 1102500 1035510 10240000 6682225 963 1299510 1822500 926599 12250000 6400900 5769300 7425000 4590020 53650000 29157448
线性回归模型的参数估计
计算过程
牛顿-拉夫森方法首先计算误差函数的Hessian矩阵，然 后使用这个矩阵来构造一个线性方程组，求解该方程组可 以得到参数的更新值。
缺点
对初值敏感，且计算Hessian矩阵的开销较大。
2023
PART 03
线性回归模型的假设和限 制
REPORTING
线性关系假设
01
线性关系假设是线性回归模型的 核心，即因变量和自变量之间存 在一种线性关系，可以用一条直 线来描述。
2023
线性回归模型的参数 估计
https://
REPORTING
2023
目录
• 引言 • 参数估计的方法 • 线性回归模型的假设和限制 • 参数估计的步骤 • 参数估计的挑战与解决方案 • 参数估计的应用场景
2023
PART 01
引言
REPORTING
线性回归模型的定义
2023
THANKS
感谢观看
https://
REPORTING
最小二乘法
原理
最小二乘法是一种数学优化技术 ，通过最小化预测值与实际值之
间的平方误差来估计参数。
计算过程
最小二乘法通过构建一个误差 的平方和，然后找到使这个和 最小的参数值。
优点
计算简单，易于理解和实现。
缺点
对异常值敏感，且无法处理非 线性问题。
梯度下降法
原理
梯度下降法是一种迭代优化算法，通 过不断沿着误差函数的负梯度方向更 新参数，以最小化误差函数。
市场细分
通过分析消费者行为数据，利用线性回归模型对 市场进行细分，帮助企业更好地了解目标客户群 体。
价格预测
在商品定价方面，利用线性回归模型预测商品价 格变动趋势，为企业制定合理的定价策略提供依 据。
简单线性回归模型的公式和参数估计方法以及如何利用模型进行
简单线性回归模型的公式和参数估计方法以及如何利用模型进行数据预测一、简单线性回归模型的公式及含义在统计学中，线性回归模型是一种用来分析两个变量之间关系的方法。
简单线性回归模型特指只有一个自变量和一个因变量的情况。
下面我们将介绍简单线性回归模型的公式以及各个参数的含义。
假设我们有一个自变量X和一个因变量Y，简单线性回归模型可以表示为：Y = α + βX + ε其中，Y表示因变量，X表示自变量，α表示截距项（即当X等于0时，Y的值），β表示斜率（即X每增加1单位时，Y的增加量），ε表示误差项，它表示模型无法解释的随机项。
通过对观测数据进行拟合，我们可以估计出α和β的值，从而建立起自变量和因变量之间的关系。
二、参数的估计方法为了求得模型中的参数α和β，我们需要采用适当的估计方法。
最常用的方法是最小二乘法。
最小二乘法的核心思想是将观测数据与模型的预测值之间的误差最小化。
具体来说，对于给定的一组观测数据（Xi，Yi），我们可以计算出模型的预测值Yi_hat：Yi_hat = α + βXi然后，我们计算每个观测值的预测误差ei：ei = Yi - Yi_hat最小二乘法就是要找到一组参数α和β，使得所有观测值的预测误差平方和最小：min Σei^2 = min Σ(Yi - α - βXi)^2通过对误差平方和进行求导，并令偏导数为0，可以得到参数α和β的估计值。
三、利用模型进行数据预测一旦我们估计出了简单线性回归模型中的参数α和β，就可以利用这个模型对未来的数据进行预测。
假设我们有一个新的自变量的取值X_new，那么根据模型，我们可以用以下公式计算对应的因变量的预测值Y_new_hat：Y_new_hat = α + βX_new这样，我们就可以利用模型来进行数据的预测了。
四、总结简单线性回归模型是一种分析两个变量关系的有效方法。
在模型中，参数α表示截距项，β表示斜率，通过最小二乘法估计这些参数的值。
第2章线性模型(bai 修正)
1
1
11
12
yˆ x x 1
2
21
22
yˆ x x
n
1
n1
n2
x1k
x2
k
xnk
u 0
1
u 1
2
u
2
n
k
Nˆ Y Yˆ
ˆ
0
x ˆ 1k
x2k 1
ˆ
xnk
2
ˆ
k
uˆ1
Nˆ
uˆ2
uˆn
二、模型的特征分析
根据 : cov(ui , u j ) E{[ui E(ui )][u j E(u j )]} E[uiu j ], 所以
E(11)
Cov(U
)
E
(
2 1
)
E(12 ) E(22 )
E(1n ) E(2n )
E(n1) E(n2 ) E(nn )
11
Cov(U
)
E
2 1
个方程为：Y 0 1X1 2 X2 k Xk U
y1 0 1x11 2 x21 k xk1 u1 y2 0 1x12 2 x22 k xk 2 u2
yn 0 1x1n 2 x2n k xkn un
将方程组写成矩阵形式为 Y = XB + U 式中：
行
n
y1
满足基本假定，LS估计量具有优良 性，否则LS方法不能使用，应发展 新的方法。
个 样
Y
y2
本 点
yn
K＋1个解释变量
1
X
1
x11 x12
x21 x22
xk1 xk2
1 x1n x2n xkn
简单线性回归模型
简单线性回归模型线性回归是统计学中一个常见的分析方法，用于建立自变量与因变量之间的关系模型。
简单线性回归模型假设自变量与因变量之间存在线性关系，可以通过最小二乘法对该关系进行拟合。
本文将介绍简单线性回归模型及其应用。
一、模型基本形式简单线性回归模型的基本形式为：y = β0 + β1x + ε其中，y为因变量，x为自变量，β0和β1为常数项、斜率，ε为误差项。
二、模型假设在使用简单线性回归模型之前，我们需要满足以下假设：1. 线性关系假设：自变量x与因变量y之间存在线性关系。
2. 独立性假设：误差项ε与自变量x之间相互独立。
3. 同方差性假设：误差项ε具有恒定的方差。
4. 正态性假设：误差项ε符合正态分布。
三、模型参数估计为了估计模型中的参数β0和β1，我们使用最小二乘法进行求解。
最小二乘法的目标是最小化实际观测值与模型预测值之间的平方差。
四、模型拟合度评估在使用简单线性回归模型进行拟合后，我们需要评估模型的拟合度。
常用的评估指标包括：1. R方值：衡量自变量对因变量变异的解释程度，取值范围在0到1之间。
R方值越接近1，说明模型对数据的拟合程度越好。
2. 残差分析：通过观察残差分布图、残差的均值和方差等指标，来判断模型是否满足假设条件。
五、模型应用简单线性回归模型广泛应用于各个领域中，例如经济学、金融学、社会科学等。
通过建立自变量与因变量之间的线性关系，可以预测和解释因变量的变化。
六、模型局限性简单线性回归模型也存在一些局限性，例如：1. 假设限制：模型对数据的假设比较严格，需要满足线性关系、独立性、同方差性和正态性等假设条件。
2. 数据限制：模型对数据的需求比较高，需要保证数据质量和样本的代表性。
3. 线性拟合局限：模型只能拟合线性关系，无法处理非线性关系的数据。
简单线性回归模型是一种简单且常用的统计方法，可以用于探索变量之间的关系，并进行预测和解释。
然而，在使用模型时需要注意其假设条件，并进行适当的拟合度评估。
简单线性回归模型的估计与解释
简单线性回归模型的估计与解释简介简单线性回归模型是统计学中常用的一种回归模型，用于分析两个变量之间的关系。
本文将介绍简单线性回归模型的估计与解释方法。
一、模型的建立简单线性回归模型可以表示为：Y = β0 + β1X + ε，其中Y是因变量，X是自变量，β0是截距，β1是斜率，ε是误差项。
二、模型参数的估计为了估计模型参数，常用的方法是最小二乘法。
最小二乘法的目标是使残差平方和最小化。
通过最小二乘法，我们可以得到β0和β1的估计值。
三、模型的解释1. 截距（β0）的解释截距表示当自变量X等于0时，因变量Y的平均值。
截距的估计值可以用来解释在X为0时的预测值。
2. 斜率（β1）的解释斜率表示因变量Y对自变量X的变化率。
当自变量X增加1个单位时，因变量Y的平均变化量为斜率的估计值。
斜率的正负决定了变量之间的正向或负向关系。
3. 模型的拟合优度拟合优度是用来评估模型对数据的拟合程度。
常用的指标是R方（R-Squared），它表示因变量的变异中能够被自变量解释的比例，取值范围为0到1。
R方越接近1，说明模型对数据的拟合越好。
四、模型的显著性检验为了检验自变量和因变量之间的关系是否显著，我们可以进行假设检验。
通常使用t检验对截距和斜率进行检验。
若p值小于显著性水平（通常为0.05），则认为存在显著关系。
五、模型的诊断与改进在应用简单线性回归模型时，需要进行模型诊断和改进。
常见的诊断方法包括残差分析、离群值检测和多重共线性检验等。
根据诊断结果，可以尝试改进模型，如加入非线性项或引入其他解释变量。
六、模型的应用简单线性回归模型广泛应用于各个领域，如经济学、金融学、社会学等。
通过建立和解释简单线性回归模型，可以分析变量之间的相关性，预测未来趋势，为决策提供科学依据。
结论通过对简单线性回归模型的估计与解释，我们可以得到模型参数的估计值，解释截距和斜率的含义，评估拟合优度以及进行显著性检验。
同时，还需进行模型诊断和改进，以提高模型的准确性和可解释性。
试讲 简单线性回归模型
● 从变量相关关系的表现形式看
线性相关——散布图接近一条直线 非线性相关——散布图接近一条曲线
● 从变量相关关系变化的方向看
正相关——变量同方向变化，同增同减 负相关——变量反方向变化，一增一减 不相关
7
3.相关程度的度量—相关系数
总体线性相关系数： Cov( X , Y ) Var( X )Var(Y )
33
Y 的分布性质
由于
Yi 1 2 X i ui
u i 的分布性质决定了 Yi 的分布性质。 对 u i 的一些假定可以等价地表示为对Yi 的假定：
Yi
ui
X
（2）个别值表现形式
对于一定的 X i ， Y 的各个别值 Yi 分布
Xi
在 E(Y X i ) 的周围，若令各个 Yi 与条件 均值 E(Y X i ) 的偏差为 u i , 显然 u i 是随机变量,则有 或
Yi 1 2 X i ui
ui Yi E(Yi X i ) Yi 1 2 X i
●只有具备一定的假定条件，所作出的估计才
具有较好的统计性质。
29
2、基本假定的内容
（1）对模型和变量的假定
如
Yi 1 2 X i ui
假定解释变量 X是非随机的，或者虽然是随机的，但与扰动
项
u是不相关的
假定解释变量 X 在重复抽样中为固定值
假定变量和模型无设定误差
30
（2）对随机扰动项 u 的假定
每 月 家 庭 消 费 支 出
1489 1538
1600 1702
1712 1778
1841 1886
2078 2179
2298 2316
第2章2一元线性回归模型的参数估计
ˆ ˆ ˆ Q = ∑ (Y i − Y i ) 2 = ∑ (Y i − ( β 0 + β 1 X i )) 2
1 n
n
（ 2.2.3 ）
1
最小。
n ˆ ˆ ˆi ) 2 = ∑ (Yi − ( β 0 + β 1 X i )) 2 是 β$0 、 β$1 的 二 次 函 由 于 Q = ∑ ( Yi − Y 1 1
3、有效性：在所有线性无偏估计量中，最 、有效性：在所有线性无偏估计量中， 小二乘参数估计量具有最小方差。 小二乘参数估计量具有最小方差。
ˆ （1）先求 β 、 βˆ 的方差
解得：
ˆ ΣX i2 ΣYi − ΣX i ΣYi X i β 0 = nΣX i2 − (ΣX i ) 2 ˆ β1 = nΣYi X i − ΣYi ΣX i nΣX i2 − (ΣX i ) 2
(2.2.6）
方程组（2.2.5）称为正则方程组（normal equations） 正则方程组（ 。 正则方程组 ）
令k
i
xi = ∑ xi2
，因∑ x = ∑( X
i
i
− X ) = 0 ，故有
ˆ β1 = ∑
ˆ ˆ β 0 = Y − β1 X =
xi Y = ∑ kiYi 2 i ∑ xi
1 1 Yi − ∑ kiYi X = ∑ ( − Xki )Yi = ∑ wiYi ∑ n n
无偏性： 2、无偏性： 参数估计量的期望等于总体 回归参数真值
• 1、普通最小二乘法（Ordinary Least 普通最小二乘法（ Square,OLS） Square,OLS） • 给定一组样本观测值Xi, Yi（i=1,2, n），要 给定一组样本观测值X i=1,2,…n），要 求样本回归函数尽可能好地拟合这组值， 求样本回归函数尽可能好地拟合这组值，即样 本回归线上的点与真实观测点的“误差” 本回归线上的点与真实观测点的“误差”尽可 能地小。 能地小。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
-445 334050 562500 198381
-412 185580 202500 170074
-159 23910 22500 25408
28 4140 22500
762
402 180720 202500 161283
511 382950 562500 260712
1018 1068480 1102500 1035510
上式表示变量 yt 和 xt 之间的真实关系。其中 yt 称被解释变量（因
变量），xt 称解释变量（自变量），ut 称随机误差项， ?0 称常数项， ? 1 称回归系数（边际效果）。上面模型可以分为两部分。
（1）回归函数部分，E(yt) = ?0 + ?1 xt,（2）随机部分，ut 。
30 y
25
假定 1： E(Y X i ) ? ?1 ? ? 2 X （随机扰动项条件期望为零）
假定 2： Var (Yi X i ) ? ? 2 （同方差假定）
假定 3： Cov(Yi ,Y j ) ? 0
（不自相关假定）
假定 4： Yi ~ N (? 1 ? ? 2 X i ,? 2 ) （正态性假定）
二、模型估计：普通最小二乘法（OLS）
??1 ? Y ? ??2 X
例2.2.1：在上述家庭可支配收入-消费支出例中，对
于所抽出的一组样本数，参数估计的计算可通过下面的
表2.2.1进行。
表 2.2.1 参数估计的计算表
Xi
Yi
xi
yi
xi yi
xi2
yi2
X
2 i
Yi 2
1 2 3 4 5 6 7 8 9 10 求和 平均
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 21500 2150
不变的情况下 ，多接受一年教育，可以增加多少 工资。 ? 其他因素包括：劳动力市场经验、内在的能力、 目前所从事工作的工龄、职业道德 , 以及其他许多 因素，包含在 u中。
回归模型的随机误差项中一般包括如下 几项内容： （1）非重要解释变量的省略， （2）人的随机行为， （3）数学模型形式欠妥， （4）归并误差（两式的归并） （5）测量误差等。
第二章
经典单方程计量经济学模型： 一元线性回归模型
? 回归分析概述 ? 一元线性回归模型的参数估计 ? 一元线性回归模型检验 ? 一元线性回归模型预测 ? 实例
第二节 简单线性回归模型的参数估计
第二节 一元线性回归模型
1．一元线性回归模型的基本概念
有一元线性回归模型（统计模型）如下，
yt = ?0 + ? 1 xt + ut
2、关于随机扰动项μ的假定（称经典假定）
（1）零均值假定。即 E(? i X i ) ? 0
[ （2 ）同方差假定。 即Var
(? i
/
Xi)
?
E
ui
?
E (ui
/
X i )]2
?
Eu
2 i
?
?
2
（3）无自相关假定。 即
[ )][ Cov(? i , ? j ) ? E ? i ? E(? i ? j ? E(? j )] ? E(? i ? j ) ? 0
? 直线的纵向距离的和（平方和）最小 min ei2
? min
n
[ Yi
?
??1 ?
??2 X i ]2
对
^^
?1, ? 2
求导，得到
i?1
^
^
? ? 2 (Yi ? ? 1? ? 2 X i ) ? 0
^
^
? ? 2 (Y ? ? 1? ? 2 X i ) X i ? 0
? ? ?
?
^
^
Yi ? n ? 1? ? 2
594 638 1122 1155 1408 1595 1969 2078 2585 2530 15674 1567
-1350 -1050
-750 -450 -150
150 450 750 1050 1350
-973 1314090 1822584
Xi
? ? ? ?
??
^
X iYi ? ? 1
^
Xi ? ? 2
Xi 2
^n
?? ?? ? ? 2 ? n
X iYi ?
X
2 i
?
(
X i Yi X i )2
^
? ?? ?? ? ?1 ?
X
2 i
Yi ?
Xi
X iYi
n
X
2 i
?
(
X i )2
正规方程组
? ? ??2 ?
( X i ? X )(Yi ? Y ) (Xi ? X )2
20
E(yt) = ? 0 + ? 1 xt
ut
15
10
5 10
x
20
30
40
50
60
70
图 2.1 真实的回归直线
Examples
? 一个简单的工资方程：
工资= ?0 + ?1 ?教育年限+ u
? 上述简单工资函数描述了工资和受教育年限，以 及其他不可观测因素 u之间的关系.
??1 衡量的是， 在其他因素(包含在误差项 u里面）
? 0 ? ? 1X
X X
序列自相关
Y
Y
? 0 ? ? 1X
? 0 ? ? 1X
X 负相关
ui ? ? 0.3ui?1
正相关
X
ui ? 0.6ui?1
不相关
自相关 (正)
自相关 (负)
3、关于被解释变量 y的假定
由于 PRF 为 Yi ? ? 1 ? ? 2 X i ? ? i ，其分布性质决定于随机扰 动项，所以对随机扰动项的假定也可用于对 Y 的假定。即
为了使样本回归函数尽可能 “接近” 地去估计总体回归
函数。就要使样本回归函数估计的 的误差最小，即残差最小。
^
^
^
Yi ? ? 1 ? ? 2 X i 与实际的 Yi
理论上，使 ei ? Yi ? ??1 ? ??2 X i 的平方和最小
n
n
? ? [ 有 min ei2 ? min Yi ? ??1 ? ??2 X i ]2
u 与xi 相互独立。否则，分不清是谁对yi的贡献。 （4）随机扰动项与解释变量不相关假定。 即
Cov ( ? i , X i ) ? E [? i ? E ( ? i ) ][ X i ? E ( X i )] ? 0
（5）正态性假定。即 ? i ~ N (0,? 2 )
异方差
Y
Y
? 0 ? ? 1X
i?1
i?1
最小二乘法的原则是以“残差平方和最小”确定直线 位置。用最小二乘法除了计算比较方便外，得到的估计量 还具有优良特性。
^
^
^
y
Yi ? ? 1? ?2 Xi
.
^
Y1 Y2
.
e1 ? Y1 ? Y 1
. . .^ . . e2 ? Y2 ? Y 2 .
X
最小二乘法的原理:找一条直线使得所有这些点到该