几种最小二乘法递推算法的小结

一、 递推最小二乘法

递推最小二乘法的一般步骤：

1. 根据输入输出序列列出最小二乘法估计的观测矩阵ϕ：

] )(u ... )1( )( ... )1([)(T b q n k k u n k y k y k ------=ϕ

没有给出输出序列的还要先算出输出序列。 本例中， 2)]-u(k 1),-u(k 2),-1),-y(k -[-y(k )(T =k ϕ。

2. 给辨识参数θ和协方差阵P 赋初值。一般取0θ=0或者极小的数，取σσ,20I P =特别大，本例中取σ=100。

3. 按照下式计算增益矩阵G ：

)

()1()(1)()1()(k k P k k k P k G T ϕϕϕ-+-= 4. 按照下式计算要辨识的参数θ：

)]1(ˆ)()()[()1(ˆ)(ˆ--+-=k k k y k G k k T θϕθθ

5. 按照下式计算新的协方差阵P ：

)1()()()1()(---=k P k k G k P k P T ϕ

6. 计算辨识参数的相对变化量，看是否满足停机准则。如满足，则不再递推；如不满足，则从第三步开始进行

下一次地推，直至满足要求为止。

停机准则：εϑϑϑ<--)

(ˆ)1(ˆ)(ˆmax k k k i i i i 本例中由于递推次数只有三十次，故不需要停机准则。

7. 分离参数：将a 1….a na b 1….b nb 从辨识参数θ中分离出来。

8. 画出被辨识参数θ的各次递推估计值图形。

为了说明噪声对递推最小二乘法结果的影响，程序5-7-2在计算模拟观测值时不加噪声，

辨识结果为a1 =，a2 = ，b1 = ，b2 =，与真实值a1 =， a2 = ， b1 = ，b2 =相差无几。

程序5-7-2-1在计算模拟观测值时加入了均值为0，方差为的白噪声序列，由于噪声的影响，此时的结果为

变值，但变化范围较小，现任取一组结果作为辨识结果。辨识结果为a1 =， a2 = ， b1 = ，b2 =。

程序5-7-2-2在计算模拟观测值时加入了有色噪声，有色噪声为E(k)+(k-1)+(k-2)，E(k)是均值为0，方

差为的白噪声序列，由于有色噪声的影响，此时的辨识结果变动范围远比白噪声时大，任取一组结果作为辨识结果。辨识结果为a1 =， a2 = ， b1 = ，b2 =。

可以看出，基本的最小二乘法不适用于有色噪声的场合。

二、 广义最小二乘法

广义最小二乘法适用于AR 模型，它的基本思想在于对数据先进行一次白化滤波处理，然后利用基本的最小二乘法对滤波后的数据进行辨识。

广义最小二乘法的递推算法步骤如下：

1. 给定初始条件：

⎪⎪⎩⎪⎪⎨⎧====I

)0(P 0

)0(ˆ(I )0(P 0)0(ˆ(e))(2(f)e θσσθ特别大）或者极小值

2.利用

⎪⎩⎪⎨⎧==--)

()()()()()(1(f)1(f)k u z C k u k y z C k y 计算)()(k y

f 及)()(k u f 。 3.利用 ] )(...u )1( )( ... )1([)(T )()()()()(b f f q f f f n k k u n k y k y k ------=ϕ

构造滤波后的观测矩阵)()(k f ϕ

。 本例中， 2)]-(k u 1),-(k u 2),-(k 1),-y -(k [-y )(T )()()()()(f f f f f k =ϕ。

4.利用下式估计递推计算1

ˆ+N θ ⎪⎪⎪⎩

⎪⎪⎪⎨⎧---=+-=--+-=)()()()()()()()()()()()()()()1()()()1()()()(1)()1()()]1(ˆ)()([)()1(ˆ)(ˆf T f f f f f N f T f f f f T f f f k P k k G k P k P k P k k k P k G k k k y k G k k ϕϕϕϕθϕθθ 5.由新得到的)(ˆk θ

计算出新的残差估计值)(ˆk e ，并构造残差数据向量 由滤波前的观测向量

] )(u ... )1( )( ... )1([)(T b a n k k u n k y k y k ------=ϕ计算出新的残差估计值)(ˆk e

)(ˆ)()()(ˆk k k y k e

T θϕ-= 残差数据向量T c e n k e k e

k )](ˆ ... )1(ˆ[)()(----=ϕ。 6. 利用下式估计递推计算)()(ˆe k θ

⎪⎪⎪⎩

⎪⎪⎪⎨⎧---=-+-=--+-=)()()()()()(1)()()()()()()()()()()1()()()1()()()1()(1)()1()(])1(ˆ)()(ˆ[)()1(ˆ)(ˆe T e e e e e e T e e e e e T e e e e k P k k G k P k P k k P k k k P k G k k k e k G k k ϕϕϕϕθϕθθ 7.返回第2步进行迭代计算，直至获得满意的辨识结果。

程序5-7-4使用广义最小二乘法，得到的结果为a1 =，a2 =，b1 = ，b2 = ，c0 =， c1 =，结果a1、a2、b1、b2与真实值结果a1 =， a2 = ， b1 = ，b2 =较为接近，但c0、c1与真实值1、相差较远。

三、 增广最小二乘法

增广最小二乘法是最小二乘法的一种推广，它只是扩充了参数向量θ和数据向量)(k ϕ的维数，在辨识过程中

考虑了噪声模型的参数，适用于MA 模型。

增广最小二乘法的一般步骤如下：

1.根据输入输出序列以及噪声序列列出增广最小二乘法估计的数据向量ϕ： ] )( ... )1( )( )(u ... )1( )( ... )1([)(T d b a n k k k n k k u n k y k y k --------=εεεϕ

没有给出输出序列的还要先算出输出序列。

本例中， ])2(, )1(, )( 2),-u(k 1),-u(k 2),-1),-y(k -[-y(k )(T

--=k k k k εεεϕ。

9. 给辨识参数θ和协方差阵P 赋初值。一般取0θ=0或者极小的数，取σσ,20I P =特别大，本例中取σ=100。 10. 按照下式计算增益矩阵G ：

)

()1()(1)()1()(k k P k k k P k G T ϕϕϕ-+-= 11. 按照下式计算要辨识的参数θ：

)]1(ˆ)()()[()1(ˆ)(ˆ--+-=k k k y k G k k T θϕθθ

12. 按照下式计算新的协方差阵P ：

)1()()()1()(---=k P k k G k P k P T ϕ

13. 计算辨识参数的相对变化量，看是否满足停机准则。如满足，则不再递推；如不满足，则从第三步开始进行

下一次地推，直至满足要求为止。

停机准则：εϑϑϑ<--)

(ˆ)1(ˆ)(ˆmax k k k i i i i 本例中由于递推次数只有三十次，故不需要停机准则。

14. 分离参数：将a 1….a na b 1….b nb d 1…d nd 从辨识参数θ中分离出来。

15. 画出被辨识参数θ的各次递推估计值图形。

由以上可见，递推增广最小二乘法的算法与基本最小二乘法的递推算法形式是一致的，只是参数向量θ和数

据向量)(k ϕ的维数扩充了m 维。

程序5-7-5在是运用增广最小二乘法来辨识系统参数，得到的结果为a1 =，a2 = ，b1 = ，b2 =，d0=，d1=,d2=

与真实值a1 =， a2 = ， b1 = ，b2 =, d0=1，d1=a1=,d2=a2=相差无几。