线性模型参数的最小二乘估计综述

研1104班检测自动化李宇201104212

摘要：本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过程。总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和相应的解决方法。

关键词：线性模型；最小二乘估计；综述

Survey on the least squares estimation

on linear model

Abstract: The characteristics and development process of the least squares estimation on linear model are briefly introduced. The basic theories of the least squares estimation are presented in detail. Open issues and development intends are also discussed．

Key words: linear model ; least squares ; survey

1 前言

最小二乘法是一种数学优化技术，它通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。随着信息产业的飞速发展，在现代科学和技术的许多领域广泛存在着信息的处理问题，根据不同的需要，人们在各种优化准则下研究这些信息的优化处理。由于信息的产生和收集常常受到各种噪声的干扰，数据一般是不确定的，而是具有一定统计特性的随机数据。在随机问题的参数估计方面，人们提出了均方误差、线性最小方差、最小二乘估计等优化准则，并在一定假设下得到了这些优化准则下最优估计的解析表达式。而在均方误差和线性最小方差意义下求最优解时，需要待估参数的误差方差阵已知，但在实际问题中是很难知道的；最小二乘法则不需要待估参数和误差的任何先验统计信息，非常便于实际应用。

线性模型是数理统计学中很重要的分支，也是最小二乘法在统计中应用最成功的领域。本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过程，总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和解决方法。

2 最小二乘法的发展过程

通常的线性模型表示为：

,,,n

n r

Y X Y R X R

βεβ?=+∈∈∈

其中2

()0,()E C ov V

εεσ=

=，Y 称为随机观测矩阵，X 为设计矩陈，ε为随机观

测噪声，V 为误差协方差矩阵：β和σ为待估计参数。从表达式可以看到变量X 与Y 之间的这种线性关系与通常的函数关系不同，因为变量Y 的值不能够完全精确地由X 的值所确定。

最小二乘法起源于求解线性矛盾方程组即线性模型参数的估值问题。两个世纪前，著名数学家A.M.Legendre 和C.F.Gauss 把最小二乘应用于观测数据的分析。后来，A.A.Markov 于1900年证明了最小二乘估计的最小方差性质，即著名的gauss-Markov 定理，奠定了最小二乘估计在参数估计理论中的地位。R ．C ．Bose 于1944年引入的可估函数的概念以及广义矩阵的应用，使得设计矩阵为列降秩的线性模型的估计理论表达的更加严格而简洁。误差方差阵为奇异阵的线性模型的研究始于本世纪60年代中期。Goldman 和Zelen[1]率先提出了用满秩线性变换把模型化为协方差阵为2I σ且带约束的情形。后来C.R.Rao [2]采用推广最小二乘的途径，提出了“最小二乘统一理论”ULS(The Unified Theory of Least Squares)，它既实用于设计矩阵为列满秩或列降秩，又实用于误差方差阵为奇异的情形。而几乎在同一时期，C.R.Rao 还提出了另一种计算模型BLUE 的方法——分块逆矩阵法。

3 最小二乘估计的基本原理

3.1 最小二乘一次完成法

假定观测模型是线性的，待估计量为12[,,]T M θθθθ= ，观测为

1122i i i iM M

z h h h θθθ=+++ ，1,2,,i N =

用矢量和可表示为

z H v

θ=+

其中12[,,]T N z z z z = ，12[,,]T N v v v v = ，1112121

2221

M M

N N N M h h h h h h H h h h ??

????=

??????

观测与估计偏差的平方和可表示为

()=[z-H ][H ]T J z θ

θθ-

最小二乘估计就是使()J θ

最小的估计，记为ls θ 。求()J θ 对θ 的导数，并令导数等于零，得

()2[]0T J H z H θθθ

?=--=? 由此可得最小二乘估计为

1ls ()T

H H H z

3.2 最小二乘递推算法

上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数k 值大的时候，计算量比较大，因此提出了最小二乘递推算法。

递推算法的一般形式是

上式中：k θ

是第k 次采样数据后求出的参数估计值，1k θ+ 是得到第k+1次采样数据后求出的参数值，1k h +是H 矩阵的k+1行，1T k k h θ+ 是预报 1k y +值，1k K +是

（2n+1）维的修正列向量矩阵。

在最小二乘递推算法中，1k K +的表达式为：

1111()[1()]

k K K K K H H h h H H k ---++++=+

对推算法的关键问题是确定1k K +，如果1k K +的修正过于强烈，估计值将波动较大，甚至不能收敛；但如果过于微弱，则需要经过很多次采样后，才能接近可靠的估计值。

4. 最小二乘估计存在的问题以及相应算法简介

最小二乘法是一种最基本和常用的参数估计方法，但研究和应用表明，这一算法仍存在明显的不足：

（1）当模型噪声为有色噪声时，LS 估计不再是无偏估计、一致估计。（2）随着采样次数的增多，数据量不断增加，LS 估计有可能出现所谓的“数据饱和”现象，导致递推算法不能接近参数真值。

为了解决最小二乘算法存在的问题，分别提出了遗忘因子法、限定记忆法、增广最小二乘法等估计算法。

[]11111???(1)??(1)(1)?(1)

k k k k k k k k k K y k h K y k y k K k θθθθθε+++++??

=++-??

=++-+=++

4.1 遗忘因子法

对越老的数据加上越强（数值越小）的遗忘因子，从而减少老数据提供的信息量，强调新数据的信息。遗忘因子法的基本算法有一次完成和递推两种，现状仅对一次完成法进行介绍。

设系统有最小二乘格式，则

，其中

数据长度为N 。

对K 时刻，进行模型变形（加衰减因子β，01β≤≤）则

由LS 算法：其中

，，

4.2 限定记忆法

限定记忆法的参数估值始终只依赖于有限个最新数据所提供的信息，每增加一个新数据的信息，就要去掉一个老数据的信息，数据长度始终不变。

限定记忆法递推公式如下：

()()()T

z k k e k =+h θN N N =+Z H θE (1)(1)(1),,()()()T N

N N T z e N z N e N ??????

? ? ?=== ? ? ?

? ? ?

??????

h H Z E h ()()()

N k

T N k

z k k e k β

---=+h θ*

N N N

=+Z H θE 111*

**(1)(1)(1),,()()()N N T N N

N N N N N N T N N z e z N N e N ββββββ------??????

? ? ?=== ? ? ?

? ? ???????

h Z H E h **1**1?()()()T T T T N N N N N N N N N N

N --==θH H H Z H W H H W Z 1

*001N N N β-?? ?= ? ???Z Z 12*001N N N N ββ--??

? ?= ? ? ???H H 2(1)2(2)

001N N N ββ

--??

? ?= ? ? ???

其中

表示从K 到K+L 时刻共L+1组数据获得的参数估计值。限定记忆法的特点是将离现在时刻L 步以前的老数据从算法中删除，影响参数估计值的数据始终是最新的L 个数据，不像基本最小二乘法或渐消记忆法那样，每一时刻的旧数据都在起作用。从这个意义上说，限定记忆法更适合于用来克服“数据饱和”现象。 4.3 增广最小二乘法

当系统噪声为有色白噪声时，如

，为白噪声，

系统为：

若仍用LS 法估计，则

因为

不为零，所以估计为有偏估计，可以利用增广最小二乘法解决此问题考虑模型其中

化为最小二乘格式

1???(1,)(,)(1,)()()(,)(1,)(,)()1()(,)()(1,)(1,)()(,)???(,)(,1)(,)()()(,1)T T

T k k L k k L k k L z k k k k L k k L k k L k k k k L k k k L k k L k k k L k k L k k L k k L z k L k L k k L -??++=+-++-+????++=+-+????

++=++++???+=+--++-++-?θ

θK h θK P h h P h P I K h P θθK h θ1

(,)(,1)()1()(,1)()(,)(,)()(,1)

T T k k L k k L k L k L k k L k L k k L k k L k L k k L -??

???

????

???

+=+-+-++-+???

???+=-+++-???

K P h h P h P I K h P ?

(,)k k L +θ1

()()()w k C z e k -={()}e k 11

1()1...s

s C z C z

C z

---=+++1

()()()()()()()()

--=+=+或T

A z z k

B z u k w k z k k w k h θ()

11LS 01

0?()()()()T T T T N N N N N N N N N

N N N N

N ---==+=+θH H H Z H H H H θW θH H H W {}

{}1LS 0?()()T T N N N N

E N E -=+θθH H H W {}1

()T

N N N N E -H H H W 1

()()()()()()

A z z k

B z u k

C z e k ---=+111111111()1...()...()1...n

n m m s s A z a z a z B z b z b z C z c z c z

---------?=+++?=++??=+++?

回归向量中含有不可测量的随即噪声

，用误差代替得：

其中

且当时，则当已知时，有RELS 估计算法为

5 结论

最小二乘法在线性模型领域中应用最为成功，但当噪声为有色噪声、数据量较大时，最小二乘估计就存在明显的不足。由此引出遗忘因子法、限定记忆法、增广最小二乘法等改进算法，在具体应用时还要对其进行具体的分析。当噪声为白噪声，数据量较小，此时最小二乘法LS 性能明显优于其他算法，而且有较可靠的收敛性。增广最小二乘法的参数估计是无偏的，但对噪声模型估计不太精确。限定记忆法由于参数估值始终只依赖有限个最新数据提供的信息，数据长度始终保持不变，特别适用于克服“数据饱和”问题。

参考文献

[1]Goldman ，A ．J ．and Zelen ，M ．，Weak general jzed inverses and minimum variance1inear unbiased estimation ，J ．Res ．Nat ．Bur ．Stan ．，B ，Mathamatias andMath ．Physi ．，68(1964)151—72．

[2]Rao ，C ．R ．，Linear Statistical Inferences and its Appl ications ，JohnWiley ，1971．

()

111*

()()()(,,)

()(1)(),(1)(),(1)()T

n m s T

z k k e k a a b b c c k z k z k n u k u k m e k e k s =+==--------h θθh ()??()(1)

()

(1)

()

(1)()T

k z k z k n u k u k m e

k e

k s =--------h

*()k h (1)()e k e k s -- ?()e i ()e i *0

??()()()(1)()()()??()()()()?=--?

=-?=-??

或T T

T e i z i i i e i z i i e i z i i i h θh

θh θ0i ≤?()0

e i =?(0)θ()()(1)()()()(1)(1)()()1()(1)()()()()(1)

T T

T k k k z k k k k k k k k k k k k k ∧∧∧

???=-+-- ??

=?+-?

?=--?

θθK h θP h K h P h P I K h P

[3]罗鹏飞，张文明.随即信号分析与处理，北京：清华大学出版社，2006.6

[4]吕王勇，线性模型参数的最小二乘估计理论及其应用,D,成都：四川大学，2005.