线性参数的最小二乘法处理
多元线性回归模型参数的最小二乘估计
x
2 ki
yi
x1i
yi
X
Y
xki yi
ˆ0
ˆ1
ˆ
ˆ k
于是正规方程组的矩阵形式为
( X X )ˆ X Y
（3.2.5）
于是有 ˆ ( X X )1 X Y （3.2.6）
二、中心化模型的参数最小二乘估计 我们已经知道，总体线性回归模型可以表示为
yi 0 1 x1i 2 x2i k xki ui （3.2.7）
u1
U
u2
un
残差平方和
1
2
n
2 i
(Y
Xˆ )(Y
Xˆ )
YY 2ˆ X Y ˆ X Xˆ
其中用到 Y Xˆ 是标量的性质。
（3.2.15）
将残差平方和（3.2.15）对 ˆ 求导，并令其为零：
( ˆ
)
2 X
Y
2 X
Xˆ
0
整理得正规方程组
X Xˆ X Y
（3.2.16）
这里 =0，可以看作是对参数施加一个限制条件。
其中心化模型
yi 1 x1i 2 x2i k xki ui （3.2.11）
yi ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.12）
（i =1,2,…，n）
将它们写成矩阵形式：
Y X U
（3.2.13）
Y Xˆ
ˆ0 xki ˆ1 x1i xki ˆ2 x2i xki ˆk xk2i xki yi
由（3.2.3）第一个方程，可以得到：
y ˆ0 ˆ1 x1 ˆ2 x2 ˆk xk
（3.2.4）
将正规方程组写成矩阵形式：
n x1i xki
第五章 线性参数最小二乘法处理(1)
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
误差理论与数据处理课第六版后答案5
例3-2 已知 x x 2.0 0.1，y y 3.0 0.2 ，相关系数 xy 0 试求 x3 y 的值及其标准差。
解： 0 x3 y 2.03 3.0 13.86
a12
2 x
a22
2 y
a1
f x
3x2
y
20.78
a2
f y
x3
1 2y
2.31
20.782 0.12 2.312 0.22 2.13
三、微小误差取舍原则
Di ai i
y D12 D22 Dn2
D1 D2 Dn y
n
i
y
n
1 ai
i
y
n
1 ai
1
10
y
Dk
1
3
y
四、 最佳测量方案的确定
1. 选择最佳函数误差公式 2.使误差传递函数 f / x或i 为0 最小
10
例3-1 求长方体体积V，直接测量各边长 a 161.6 , b 44.5 , c 11.2 已知测量的系统误差为 a 1.2, b 0.8 c 0.5 测量的极限误差 为 a 0.8, b 0.5， c 0.5 求立方体体积及其极限误差。
2）判断
2
若nx 、ny≤10,则由秩和检验表2-10查得T- 、T+
T 14 T 30 T T
故怀疑存在系统误差
8
第三章 误差的合成与分配
一、函数系统误差计算
1. 一般函数形式 y f ( x1 , x2 ,, xn )
y
f x1
x1
f x2
x2
f xn
xn
二、函数随机误差计算
令
f xi
g
误差理论实验报告2
；
ｎ（ｍ＋１）
Ｘ Ｙ
Ｔ
F F=
U/ｍ ｓ
２
显著性 0.01 0.05 0.1 或其他
２． 实验内容和结果
1、 程序及流程 用ＭＡＴＬＡＢ编写程序解答下面各题 １．材料的抗剪强度与材料承受的正应力有关。某种材料实验数据 如下表：
正应力ｘ （Ｐａ） 抗剪强度ｙ （Ｐａ） ２６．８ ２６．５ ２５．４ ２７．３ ２８．９ ２４．２ ２３．６ ２７．１ ２７．７ ２３．６ ２３．９ ２５．９ ２４．７ ２６．３ ２８．１ ２２．５ ２６．９ ２１．７ ２７．４ ２１．４ ２２．６ ２５．８ ２５．６ ２４．９
ｂ
Z14=log(y4); Z15=log(y5); Z1pz=(Z11+Z12+Z13+Z14+Z15)/5; x1=1.585; x2=2.512; x3=3.979; x4=6.310; x5=9.988; x6=15.85; Z21=log(x1); Z22=log(x2); Z23=log(x3); Z24=log(x4); Z25=log(x5); Z2pz=(Z21+Z22+Z23+Z24+Z25)/5; A1=(Z11)*(Z21); A2=(Z12)*(Z22); A3=(Z13)*(Z23); A4=(Z14)*(Z24); A5=(Z15)*(Z25); Apz=5*(Z1pz)*(Z2pz); B1=(Z11)*(Z11); B2=(Z12)*(Z12); B3=(Z13)*(Z13); B4=(Z14)*(Z14); B5=(Z15)*(Z15); Bpz=5*(Z1pz)*(Z1pz); b=((A1+A2+A3+A4+A5)-Apz)/((B1+B2+B3+B4+B5)-Bpz) a=10^((Z1pz)/b-Z2pz) y=(y1 y2 y3 y4 y5); x=(x1 x2 x3 x4 x5); y=a*x^b;
最小二乘法线性拟合
4.最小二乘法线性拟合（非常好）我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。
用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。
最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。
显然，关键是如何求出最佳的a 和b 。
(1) 求回归直线设直线方程的表达式为：bx a y += (2-6-1)要根据测量数据求出最佳的a 和b 。
对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下：111bx a y d --=222bx a y d --=n n n bx a y d --=显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+|d 2|+……+ |d n |又不好解方程，因而不可行。
现在采取一种等效方法：当d 12+d 22+……+d n2对a 和b 为最小时，d 1、d 2、……、d n 也为最小。
取（d 12+d 22+……+d n 2）为最小值，求a 和b 的方法叫最小二乘法。
令 ∑==ni idD 12＝2112][i i ni ni ib a y dD --==∑∑== (2-6-2)D 对a 和b 分别求一阶偏导数为：][211∑∑==---=∂∂ni i n i i x b na y a D][21211∑∑∑===---=∂∂n i i n i i n i i i x b x a y x b D再求二阶偏导数为：n a D 222=∂∂； ∑==∂∂ni i x b D 12222 显然： 0222≥=∂∂n a D ； 021222≥=∂∂∑=n i i x b D 满足最小值条件，令一阶偏导数为零：011=--∑∑==ni i ni ix b na y(2-6-3)01211=--∑∑∑===ni i ni i ni ii x b x a yx (2-6-4)引入平均值： ∑==ni i x n x 11； ∑==n i i y n y 11；∑==n i i x n x 1221； ∑==ni i i y x n xy 11则： 0=--x b a y02=--x b x a xy （2-6-5） 解得： x b y a -= （2-6-6）22xx y x xy b --=（2-6-7）将a 、b 值带入线性方程bx a y +=，即得到回归直线方程。
线性参数的最小二乘法处理
W1、 +1″, +10″, +1″, +12″,
W2、 +6″, +4″,
W3、
W4„
Wn
+2″ , -3″ , +4″ +12″, +4″ +3″, +4″
+12″, +12″, +12″
W12
2
12
W22
2 2
W32
32
最小值
3
即 ∑（PW2）=（P1W21）+（P2W22）+（P3W32）
的测量结果 yi 最接近真值，最为可靠，即： yi=∠i+Wi 由于改正数 Wi 的二次方之和为最小，因此称为最小二乘法。 二 最小二乘法理 现在我们来证明一下，最小二乘法和概率论中最大似然方法（算术平均值方法） 是一致的。 （一）等精度测量时 （1）最大似然方法 设 x1,x2„xn 为某量 x 的等精度测量列，且服从正态分布，现以最大似然法和最小 二乘法分别求其最或是值（未知量的最佳估计量） 在概率论的大数定律与中心极限定理那一章我们讲过，随着测量次数的增加，测 量值的算术平均值也稳定于一个常数，即
2 i 1
n
曾给出： vi2
i 1
n
n n 1 n 2 ，由此可知 x vi2 / i2 为最小，这就是最小二乘法的基本 i n i 1 i 1
含义。引入权的符号 P ，最小二乘法可以写成下列形式：
Pv
i 1
n
2 i i
最小
在等精度测量中， 1 2 ... ， P1 P2 ... Pn 即： 最小二乘法可以写成下列形式：
第五章线性参数的最小二乘法处理01
第五章线性函数的最小二乘处理最小二乘原理应用时的条件是：函数关系确定已知、等精度、误差独立、无偏估计得到满足，在众多的N个测量方程中利用最小二乘原理求得t个（t＜／N）参数的最佳估计值。
如前所叙，在随机因素作用下，测量次数较多时，计算的结果就会更精密，测量次数往往大于待求未知量的个数，因而出现N＞t的现象就成为自然而然的事情了。
众所周知，当N＝t时可由线性代数知识求得一组唯一正确解。
当N＞t时，代数解法则无能为力了。
也许读者会提出另外一个问题：既然N＞t，可由N中取出t个方程来求解，而把（N-t）个方程弃掉，问题不就解决了吗？答案是不行的。
这样求解后的结果不是最佳值，有时会与最佳值离歧很大。
最小二乘法是一种数学原理，高斯于1809年在他的名著《天体沿圆锥截面绕太阳运动的理论》一书中，发表了他发现的最小二乘原理并应用于测量之后，在许多科学领域及技术领域中得到越来越多地应用。
5.1 函数为直接测量值得线性组合5.1.1 测量方程式函数中可能存在着多个待定参数，根据该函数关系可列出多个测量后的方程式，该方程式称作测量方程式。
设含有t个待求参数Xj(j=1,2,…,t)的函数关系已知，表现为线性组合，即Xj是待定系数的真值，aj是在某具体测量条件下获得的直接测量值，经N次测量（N>t）后，理应得到N个函数真关系式。
为了表达更简洁，可将各方程中系数用aij(i=1,2, …,N;j=1,2, …,t)表示，上述方程可简写成量值Y经N次测量后的测量值用Mi表示，则上述方程变为测量方程式，又称测量条件方程，式中，aij及Mi是在某具体测量条件下的直接测量值，Mi含有误差，即Mi≠Yi。
5.1.2 剩余误差方程式若用同直接测量时一样，可将称作剩余误差。
由此便可得到N个剩余误差方程式可以看出，剩余误差是各最可信赖值的函数，即5.1.3 正规方程组现在以三个待求量x1,x2,x3为例，说明建立正规方程组的过程，该计算方法和过程及结论，可推广到t个待求量中去。
第3章 线性模型参数的最小二乘估计法
的概率为
∏ P =
n i =1
Pi
=
1
σ1σ 2 "σ n
n
2π
∑ − δi2 e i=1
(2σi2 )dδ1dδ 2 "dδ n
1. 最小二乘原理
| 测量值 l1,l2 ,",ln 已经出现，有理由认为这n个测 量值出现于相应区间的概率P为最大。要使P最
ti /0 C
10
20
30
40
50
60
li / mm 2000.36 2000.72 2000.8 2001.07 2001.48 2000.60
| 1）列出误差方程
vi = li − ( y0 + ay0ti )
| 令 y0 = c, ay0 = d为两个待估参量，则误差方程为
vi = li − (c + tid )
x2 ,",
xt
)
⎪⎪ ⎬
⎪
vn = ln − fn (x1, x2 ,", xt )⎪⎭
残差方程式
1. 最小二乘原理
| 若 l1,l2 ,",ln 不存在系统误差，相互独立并服从正 态分布，标准差分别为σ1,σ 2 ,",σ n，则l1, l2 ,", ln出
现在相应真值附近 dδ1, dδ2,", dδn 区域内的概率
大，应有
δ12
+
δ
2 2
+"
+
δ
2 n
= 最小
σ12 σ 22