第四章参数的最小二乘法估计
《计量经济学》第四章知识
《计量经济学》第四章知识第四章古典线性回归模型在引论中，我们推出了满足凯恩斯条件的消费函数与收入有关的一个最普通模型：C=α+βX+ε，其中α＞0，0＜β＜1ε是一个随机扰动。
这是一个标准的古典线性回归模型。
假如我们得到如下例1的数据例1 可支配个人收入和个人消费支出年份可支配收入个人消费1970 751.6 672.11971 779.2 696.81972 810.3 737.11973 864.7 767.91974 857.5 762.81975 847.9 779.41976 906.8 823.11977 942.9 864.31978 988.8 903.21979 1015.7 927.6 来源：数据来自总统经济报告，美国政府印刷局，华盛顿特区，1984。
（收入和支出全为1972年的十亿美元）一、线性回归模型及其假定一般地，被估计模型具有如下形式：y i=α+βx i+εi，i=1,…,n,其中y是因变量或称为被解释变量，x是自变量或称为解释变量，i标志n个样本观测值中的一个。
这个形式一般被称作y对x的总体线性回归模型。
在此背景下，y称为被回归量，x称为回归量。
构成古典线性回归模型的一组基本假设为：1. 函数形式：y i=α+βx i+εi，i=1,…,n,2. 干扰项的零均值：对所有i，有：E[εi]=0。
σ是一个常数。
3. 同方差性：对所有i，有：Var[εi]=σ2，且24. 无自相关：对所有i ≠j ，则Cov[εi ,εj ]=0。
5. 回归量和干扰项的非相关：对所有i 和j 有Cov[x i ,εj ]=0。
6. 正态性：对所有i ，εi 满足正态分布N （0，2σ）。
模型假定的几点说明：1、函数形式及其线性模型的转换具有一般形式i i i x g y f εβα++=)()(对任何形式的g(x)都符合我们关于线性模型的定义。
[例] 一个常用的函数形式是对数线性模型：βAx y =。
第四章平差数学模型与最小二乘法
几何模型中选定元素多于必要元素的元素 2、多余元素——几何模型中选定元素多于必要元素的元素 多余元素 几何模型中选定元素 当几何模型中选定的元素多余必要元素数t 当几何模型中选定的元素多余必要元素数t时，独立量间会产生一个几 作为必要元素， 作为必要元素，则能唯一地确定 ~ ~ ~ ~ ~ ~ ~ ∆ABC形状与大小 。若选定了 L 1、 L 2 、 L 3 和 S 2 ，则有 L1 + L2 + L3 = 180° 形状与大小
函数模型又分为线性模型和非线性模型两类，非线性模型要线性化。 函数模型又分为线性模型和非线性模型两类，非线性模型要线性化。
一、条件平差法的函数模型
条件平差法： 观测值的真值构成的条件方程为函数模型的平差方法。 条件平差法：以观测值的真值构成的条件方程为函数模型的平差方法。 构成的条件方程为函数模型的平差方法 例如，在图 所示水准网中 所示水准网中， 为已知其高程的水准点 为已知其高程的水准点， 、 、 均为 例如，在图4-2所示水准网中，A为已知其高程的水准点，B、C、D均为 未知点。 未知点。网中观测向量的真值为 ~ ~ ~ ~ ~ ~ ~ T L = h1 h2 h3 h4 h5 h6
r ,n n,1 r ,1 r ,1
~ 为常数向量， A0为常数向量，将 L = L + ∆
代入上式， 代入上式，并令
W = AL + A0
(4-2-5) (4-2-6)
则有
A∆ +W = 0
多余观测数r。 （4-2-4）或（4-2-6）式为条件平差的函数模型。条件方程数 多余观测数 。 ） ）式为条件平差的函数模型。条件方程数=多余观测数
若用观测值组成上述两个条件方程，; L2 + L3 − 180° = ω ≠ 0
第四章-最小二乘参数辨识方法及原理
脉冲传递函数描述：
Y ( z ) b0 b1 z 1 bn z n B( z 1 ) G( z) = 1 n 1 U ( z ) 1 a1 z an z A( z )
2.随机模型
v(k )
u(k )
G (k )
x(k )
y(k )
观测值可表示为：
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理
2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识
回
顾
辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input
Process 目 的
Output
工程实践
88 1010
95.7 1032
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
R a bt
N N N N ˆ Ri 2 R a 702ti.762i ti ti i 1 i 1 a i 1 i 1 ˆ 2 N N ˆ N. t i2 t i b 3 4344 i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b i 1 ˆ R 943 .1682 N N 2 N ti ti i 1 i 1
上述N个方程可写成下列向量－矩阵形式
y (n) y (1) u (n 1) y (n 1) y (n 2) y (n 1) y (2) u ( n 2) y (n N ) y (n N 1) y ( N ) u (n N )
第4章 需求回归分析
25 35 -75 65 -35 -65 15 -15 75 -25
625 1225 5625 4225 1225 4225 225 225 5625 625
Y
=175；X =125；∑ (Xi∑(Yi- Y )2=8650；
)( Yi- Y )=10350, X )2=23850；∑(Xi- X
试给出销售量的估计方程。
log Qd log B log b p P log bi I log b0 P0 log bt T
23
幂函数方程的特点：
可以求出相应自变量的边际变化使需求量变化的绝对 数量。但是，这一绝对数量的变化不是既定的常数，而 是受其他自变量数值大小影响。例如： Qd b 1 b0 bt b p aP p I bi P T 0 P 每个系数是相关变量的弹性。例如：
Y
Xi-
X
(Xi-
X
)2
(Xi-
X) ( Yi- Y)
-375 1575 2625 975 1575 975 375 375 2625 -375
(Yi- Y)2 225 2025 1225 225 2025 225 625 625 1225 225
-15 45 -35 15 -45 -15 25 -25 35 15
线性方程 自变量边际变 化引发的因 变量变化的 绝对值 相对比率 不变 变 幂函数 变 不变
25
第三节 需求回归分析 步骤
4. 估计结果及解释
可决系数的 值表示模型的 总解释能力
26
ˆ ±tn-k-1Sb b
如果自变量和因变量之间没有关系，参数b将为零。 因此，应检查在95%的置信区间内是否包括零值。若 不是，则 b ˆ 所度量的X和Y之间的关系在统计上显著 ˆ 不显著 significant；如果包括零，则 b 12 nonsignificant 。
第四章参数的最小二乘法估计
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 第四章参数的最小二乘法估计第四章参数的最小二乘法估计第四章最小二乘法与组合测量 1 概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。
对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。
例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。
另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。
最小二乘法的发展已经经历了 200 多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。
本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。
2 最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。
对某量 x 测量一组数据 x1, x2, , xn，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏1 / 22差依次为：1, 2, n 记最可信赖值为，相应的残差 vi xi 。
测值落入(xi, xi dx) 的概率。
vi21Pi exp( 2) dx 2 i i2 根据概率乘法定理，测量x1, x2, , xn 同时出现的概率为 P Pi vi211n exp[ () ](dx) n2ii i() 显然，最可信赖值应使出现的概率 P 为最大，即使上式中页指数中的因子达最小，即ivi22 i Min 2 o1 权因子：wi 2 即权因子 wi2，则i i 2[wvv] wvii Min 再用微分法，得最可信赖值wxi 1 nii 即加权算术平均值w i 1i 这里为了与概率符号区别，以i 表示权因子。
计量经济学 第四章
100%
统计检验
利用统计量对模型参数进行假设 检验，判断参数是否显著。
80%
计量经济学检验
包括模型的异方差性、自相关性 、多重共线性等问题的检验。
模型的修正方法
增加解释变量
如果模型存在遗漏变量，可以通过增加解释变量来 修正模型。
删除解释变量
如果模型中某些解释变量不显著或存在多重共线性 ，可以考虑删除这些变量。
模型表达式
Y = β0 + β1X + ε
最小二乘法
通过最小化残差平方和来估计参数β0和β1
参数解释
β0为截距项，β1为斜率项，ε为随机误差项
模型的检验
包括拟合优度检验、显著性检验等
多元线性回归模型
01
02
03
04
模型表达式
参数解释
最小二乘法
Y = β0 + β1X1 + β2X2 + ... + βkXk + ε
最小二乘法估计量的性质
线性性
最小二乘法估计量是随机样本的线性组合。
无偏性
最小二乘法估计量的期望值等于总体参数的 真实值。
有效性
在所有无偏估计量中，最小二乘法估计量的 方差最小。
一致性
随着样本量的增加，最小二乘法估计量收敛 于总体参数的真实值。
最小二乘法的计算步骤
构造设计矩阵X和响应向量Y。 计算设计矩阵X的转置矩阵X'。 计算X'X和X'Y。
求解线性方程组X'Xβ=X'Y，得到回归系 数的最小二乘估计β^=(X'X)^(-1)X'Y。
根据β^计算因变量的拟合值Y^=Xβ^。
计算残差e=Y-Y^，以及残差平方和 RSS=e'e。
最小二乘估计原理
最小二乘估计原理最小二乘估计是一种常用的参数估计方法，它的原理是通过最小化残差平方和来确定模型的参数，从而找到最优的参数估计值。
在统计学和经济学等领域，最小二乘估计被广泛应用于回归分析和时间序列分析等计量经济学问题中。
最小二乘估计的基本原理是基于最小化误差平方和来确定参数的方法。
在回归分析中，我们通常有一组自变量和一个因变量，目标是通过自变量来准确预测因变量。
我们假设因变量与自变量之间存在一种线性关系，并用参数来刻画这种关系。
在最小二乘估计中，我们根据给定的一组样本数据拟合一个线性模型，形式为：Y = β0 + β1X1 + β2X2 + ... + βkXk + ε其中，Y代表因变量，X1, X2, ..., Xk代表自变量，β0, β1, β2, ..., βk 代表参数，ε表示误差项，即因变量Y的观测值与拟合值之间的差异。
我们的目标是找到最优的参数估计值，即使得误差平方和最小化的参数组合。
为了实现这一目标，我们需要制定一个误差平方和的损失函数。
而在最小二乘估计中，我们选择平方误差和作为损失函数，即损失函数为：L(β0, β1, β2, ..., βk) = Σ(Yi - (β0 + β1X1i + β2X2i + ... + βkXki))^2其中，i代表样本数据的索引，Yi代表第i个样本数据的因变量值，X1i, X2i, ..., Xki代表第i个样本数据的自变量值。
我们的目标是通过最小化损失函数来找到最优的参数估计值。
为了实现这一目标，我们需要对损失函数进行求导，并令其等于零，求得使损失函数最小化的参数。
对损失函数L(β0, β1, β2, ..., βk)进行偏导数求解，得到以下方程组：∂L/∂β0 = -2Σ(Yi - (β0 + β1X1i + β2X2i + ... + βkXki)) = 0∂L/∂β1 = -2ΣX1i(Yi - (β0 + β1X1i + β2X2i + ... + βkXki)) = 0...∂L/∂βk = -2ΣXki(Yi - (β0 + β1X1i + β2X2i + ... + βkXki)) = 0通过解以上方程组，我们可以得到最优的参数估计值，从而得到最小二乘估计。
最小二乘估计方法
最小二乘估计方法最小二乘估计方法数学中的最小二乘估计方法广泛应用于数据分析、统计学和经济学等领域，为研究问题提供了一个可靠的数学手段。
最小二乘估计方法的基本思想是基于数据的统计分布特性，使用最小化误差平方和的方法对数据进行拟合估计。
一、基本概念最小二乘法是一种数据拟合方法，它通过拟合方程与观测值之间的残差平方和，来评估拟合程度。
在进行最小二乘法时，首先需要建立合适的函数模型，然后将实际观测值代入模型，获得拟合值。
最后，将残差平方和最小化，确定拟合值。
二、实际应用最小二乘法在实际应用中非常广泛，例如我们可以通过最小二乘法来解决以下问题：1. 数据拟合问题：通过最小化残差平方和来拟合一组数据，可以得到最优解，同时可以帮助我们探索数据之间的关系。
2. 函数拟合问题：对于一些复杂的函数，我们可以使用最小二乘法来确定其参数，从而得到最优的函数拟合。
3. 数据处理问题：在处理实际数据时，我们可以使用最小二乘法来去除数据中的误差，从而得到更准确的结果。
三、特点优势最小二乘法有着广泛的应用和优势，其中一些重要的特点包括：1. 精度高：通过最小二乘法，我们可以在一定程度上排除测量误差，从而得到更精确的估计结果。
2. 建模灵活：最小二乘法的建模过程相对较灵活，可以适应不同的数据分布和模型建立。
3. 稳定性好：对于数据分布存在小波动情况的数据，最小二乘估计方法也有较好的稳定性。
四、总结在科学研究和实际应用中，最小二乘法是一种强大的工具，可以用来拟合数据、解决函数拟合问题以及处理数据中的误差。
它具有精度高、建模灵活和稳定性好等优点，成为了数据科学领域的重要方法之一。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
精心整理
第四章最小二乘法与组合测量
§1概述
最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。
对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。
例如，取重复测量数据
其后在
x
x,
,
2
1
n
2
1
显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即
权因子：
2
2
o
i
i
w
即权因子
i
w∝
2
1
i
，则
再用微分法，得最可信赖值x
11
n
i i
i n
i
i w x
x w
即加权算术平均值
这里为了与概率符号区别，以i 表示权因子。
特别是等权测量条件下，有：
以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法
1x +3x =0.5
2x +3x =-0.3
这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理
Min v
i 2
分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0
可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。
以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。
即
x j
][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量
][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211
正规方程组有如下特点：
（1）主对角线系数是测量方程组各列系数的平方和，全为正数。
（2）其它系数关于主对角线对称
（3）方程个数等于待求量个数，有唯一解。
由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。
和n 令
x
1.矩阵的导数
设n t 阶矩阵。
1112121222122
()()
t i t ij t ni n nt a a a A a a a a A A A a a a
L L L L )
n 阶列向量（n+1阶矩阵）V 和t 阶列向量X
V 与X 的转置（行向量）记为T V 与T X . 关于向量X 的标量函数。
定义如下几个导数。
（1）矩阵对标量x 的导数
阵。
（3）行（列）向量对列（行）向量的导数
行向量T V 对列向量X 的导数等于行向量各组成元素，对列向量各组成元素分别求得
1111
2221n n i n n t
t v v x x v v v v v x x x x x x
v v x x
L
L
M L M L
T
V
(E-4) 1
11
t v v x x L （1（2（3（4()2 T T T T V V V V X X
(E-10) （5）关于常数矩阵与向量乘积的导数
()
T X A A X (E-11) () T T
T
A X =A X
(E-12)
() T T
V V AV =2AV X X
(E-13) () T T
T T
V AV =2V A X X
(E-14) 利用（E-1）、（E-4）、和（E-5）三个定义式，容易证明式（E-6）、（E-7）、（E-8）、和（E-11）、（E-11）成立。
①以下证明式（E-9）
由于1211121121212()()n n i i i T n i in n n nn i i i v v v a a a x x x V v v v x v v v a
a a x x x
L L L L
L AV
1111
1111n n i i n n n nn n i i v v a v a v x x v v a v a v x ax L L L L ＝11111111n n i i n n n nn n i n v v a v a v x x v v a v a v x x
L L L
L L 所以式（E-13）左()+2i i i AV x x x 右T T T V V AV V AV 2.正规方程
2,n l L 均令
g T T A A X =A L (E-18)
当T A A 满秩的情形，可求出
1() T T X A A A L (E-19)
一般地，可从式（E-15）出发，用稳定的数值解法，计算A 的广义逆阵1A 得
1A X L (E-20)
要进一步去研究此问题，可参阅有关近代矩阵分析及其数值方法的专着3．待求量X的协方差矩阵。
已知测量向量L协方差矩阵。
()()T D E E E
L L L L L=
11121
21222
12
n
n
n n nn Dl Dl Dl Dl Dl Dl Dl Dl Dl
L
L
L L
L
ij
Dl
所以
2 .无偏性
对X的估计式（E-19）求数学期望。
3 .有效性
设另有X的无偏估计
则有
故G I A
又
而12()D T X A A 引入单位向量
其中第i 行为1，其它为0
*
X 的y 的。
二是1对t 个未知量的线性测量方程组 AX Y 进行n 次独立的等精度测量，得12,,,n l l l K 其残余误差
12,,,n v v v K 标准偏差 。
如果i v 服从正态分布，那么2][ vv 服从2 分布，其自由度n-t ，有2 变量
的数学期望t n vv E }/]{[2 ，以S 代 。
即有t
n vv S
]
[
令t=1，由上式又导出了Bessel 公式。
2．待求量的精度估计
按照误差传播的观点，估计量12,,,t x x x K 的精度取决于直接测量数据12,,,n l l l K 的精度以及建立它们之间联系的测量方程组。
可求待求量的协方差（见二·3） 矩阵
测量。
测得1号电容值1C =0.3，2号电容值2C =-0.4，1号和3号并联电容值3C =0.5，2号和3号并联电容值4C =-0.3。
试用最小二乘法求123,,x x x 及其标准差。
解：
①列出残差方程组
为计算方便，将数据列表如下：
②按上表计算正规方程组各系数和常数项后，列出正规方程组 解出1x =0.325,2x =-0.425,3x =0.150 ③由 Y AX V 求得V (14)i v i ～
④t
n v i
2
⑤由1() T D A A ，jj d 可得112233,,d d d ⑥ jj xj d
⑦写出结果。
§4非线性参数的最小二乘法
在例5-1中，除了进行4次测量外，又对1号和2号电容器的串联电容)/(2121x x x x 进行测量，测得5y ，方差仍为2 ，那么如何处理呢？简单的办法是把它线性化。
所谓线性化，就是在未知量的附近，按泰勒级数展开取一次项，然后按线性参数最小二乘法进行迭代求解。
则有4-3），式（例5-2在例5-1的基础上，再增加一次测量串联电容)/(2121x x x x ，测得5y =0.14。
试用最小二乘法求123,,x x x 及其标准差
解：先列出测量方程组
1x =0.32x =-0.4 1x +3x =0.52x +3x =-0.3
对前4个线性测量方程组，按例5-1求出解，作为初次近似解
在(0.325,-0.425,0.150)附近，取泰勒展开的一阶近似，
写出线性化残差方程组
整理得正规方程组
解出
例4-3如图所示，要求检定线纹尺0,1,2,3刻线间的距离x1,x2,x3。
已知用组全测量法测得图所示刻线间隙的各种组合量。
L1=1.01,L2=0.98,L3=1.02
L4=2.02,L5=1.98,L6=3.03
解：按前述方法，可以解得
x 1=1.028(0.011)，x 2=0.983(0.011)，x 3=1.013(0.011) 这里，着重说明组合测量方法的优点。
本例对刻度间隔x 1,x 2与x 3分别测了3次，总共测量6次。
若不采用组合测量，按每刻度间隔重复测量3次计，共需作9次测量，比组合测量法多测3次。
如果待检定的刻度间隔远多于3个。
那么可以类似分析得出，采用组合测量法可以大大减少测
t n v 2
有2S jj 相近，
A=48.0933,w 1=1 B=60.4233,w 2=2 A+B=109.298,w 3=3
按下表运算，写出不等权的正规方程组
4A+3B=375.9873
3A+5B=448.7406 解出A=48.5195,B=60.6364。