最小二乘自适应滤波器

第四章 最小二乘自适应滤波器前面所研究的自适应滤波算法根据的最佳准则为最小均方误差准则。

自适应算法的目标在于，使滤波器输出与需要信号的误差的平方的统计平均值最小。

这个准则根据输入数据的长期统计特性寻求最佳滤波。

然而，我们通常已知的仅是一组数据，因而只能对长期统计特性进行估计或近似。

LMS 算法、格形梯度算法都是这样。

能否直接根据一组数据寻求最佳呢？最小二乘算法就可解决这个问题。

换句话说，根据最小均方误差准则得到的是对一类数据的最佳滤波器，而根据最小二乘法得到的是对一组已知数据的最佳滤波器。

对同一类数据来说，最小均方误差准则对不同的数据组导出同样的“最佳”滤波器；而最小二乘法对不同的数据组导出不同的“最佳”滤波器。

因而常说最小二乘法导出的最佳滤波器是“精确”的。

本章首先叙述最小二乘法的基础，并推导递推最小二乘(RLS)算法；然后介绍线性空间的概念，并在此基础上讨论两种重要的最小二乘自适应算法——最小二乘格形(LSL)算法和快速横式滤波器(FTT)算法。

§4.1 最小二乘滤波器4.1.1 最小二乘滤波方程设已知n 个数据x (1), …, x (i ), …, x (n )，我们要根据这些数据，利用图4.1的m 阶线性滤波器来估计需要信号d (1) , …, d (i ), …, d (n )。

对d (i )的估计式可表为∑=+-=mk mkk i x n w i d 1)1()()(ˆ (4.1.1)估计误差∑=+--=-=mk mkk i x n w i d i d i d i e 1)1()()()(ˆ)()( (4.1.2)若假设i <1及i <n 时x (i )=d (i )=0，我们有如下n +m -1个估计误差⎪⎪⎪⎪⎪⎭⎪⎪⎪⎪⎪⎬⎫-=-++----=---=--=-=)()()()1()()()()()()1()()()()()()1()()2()()2()2()1()()1()1(11211n x n w m n e m n x n w n x n w n d n e x n w m x n w m d m e x n w x n w d e x n w d e mm mm m mm m m m m(4.1.3)其余的e (i )均为零。

根据最小二乘法，w mk (n )的最佳值应使下列累计平方误差性能函数为最小∑-=ii n i e n )()(2λξ(4.1.4) 其中10≤≤λ(4.1.5)为加重新数据影响的加权因子。

式(4.1.4)中的i 的变化范围有下列四种取法：)( )()( 1 )()(1 )()( 11 )(方差法后加窗法前加窗法相关法n i m d m n i m c n i b m n i a ≤≤-+≤≤≤≤-+≤≤之所以上列方法获得相应的名称，是因为方差法对已知数据x (1), …, x (n )之外的数据未作任何假定，它的处理仅利用已知数据。

前加窗法假定当i <1时，x (i )=0；后加窗法假定当i >n 时，x (i )=0；而相关法即前后窗法则假定i <1及i>n 时，x (i )=0。

相关法的相关矩阵是对称的和Toeplitz 的，其余三个取法的相关矩阵是对称的但非Toeplitz 。

但是后三种方法的起动特性比相关法好，因而受到相当的重视。

本书将以前加窗法为例来讨论最小二乘自适应滤波器。

而且，我们仅限于讨论信号的情况，然而不难将结果推广到复信号情况。

对于前加窗法，我们只利用式(4.1.3)的前n 个误差。

令m 维矢量 []T mm m m n w n w n )( , ),()(1 =ω(4.1.6)[]Tm m i x i x i x )1( , ),()(+-=(4.1.7) 且有1 0)(<=i i x(4.1.8)这样，前加窗法的n 个误差(即式(4.1.3)的前n 项)可写成⎪⎪⎭⎪⎪⎬⎫-=-=-=)()()()()()2()2()2()()1()1()1(n n x n d n e n x d e n x d e m Tm m Tm m T m ωωω(4.1.9)引入n 维矢量 []T n e e n e )( , ),1()( =(4.1.10)[]Tn d d n d )( , ),1()( =(4.1.11)及n m ⨯维矩阵[])( , ,)1()(n x x n X m m m =(4.1.12)则式(4.1.9)可写成)()()()(n n X n d n e m Tm ω-=(4.1.13)前加窗法最小二乘性能函数为∑=-Λ==ni T n n e n n e i e n 121)()()()()(λξ(4.1.14) 其中)1 , ,()(1，λλ -=Λn Diag n(4.1.15)而求)(n m ω的最佳值问题归结为{})()()()(n e n n e n Min T mΛ=ξω(4.1.16)为求解此问题，将式(4.1.13)代入式(4.1.14)得 [])()()()(2)()()()(n d n n X n n d n n d n m T m T Λ-Λ=ωξ[])()()()()(n n X n n X n m Tm m T m ωωΛ+(4.1.17)引入m 维矢量∑=-=Λ=ni m i n m m i x i d n d n n X n r 1)()()()()()(λ(4.1.18)及m m ⨯维矩阵∑=-=Λ=ni Tm m i n Tmm m i x i x n X n n X n R 1)()()()()()(λ(4.1.19)式(4.1.17)可表为)()()()()(2)()()()(n n R n n r n n d n n d n m m Tm m T m T ωωωξ+-Λ=(4.1.20))(n m ω的最佳值满足方程0)()(=∇n n m ξω(4.1.21) 从而有 0)()(2)(2=+-n n R n r m m m ω (4.1.22) 这就得到 )()()(n r n n R m m m =ω (4.1.23) 即 )()()(1n r n R n m m m -=ω(4-.1.24a )或写成[][])()()()()()()(1n d n n X n X n n X n m T m m m ΛΛ=-ω(4.1.24b )式(4.1.23)和式(4.1.24)就是最小二乘算法的正规方程。

式(4.1.24)要求R m (n )为满秩。

这对大多数应用来说的成立的。

若对某应用的R m (n )为降秩，则式(4.1.24)可理解为采用了伪可逆矩阵。

根据已知x (i )和d (i )，1≤i ≤n ，利用式(4.1.24)即可求出)(n m ω的最佳值。

这就是最小二乘批处理算法。

这种算法需要进行矩阵求逆，其运算量为O(m 3)，因而一般不适于实时滤波。

采用递推算法可以减少运算量。

下面就对递推算法进行讨论。

4.1.2 递推最小二乘(RLS)算法 由式(4.1.24a )有)1()1()1(1--=--n r n R n m m m ω(4.1.25)而根据式(4.1.19)可得)()()1()(n x n x n R n R T m m m m +-=λ(4.1.26)利用矩阵求逆引理(附录(A.1.38))对式(4.1.26)求逆可得⎥⎦⎤⎢⎣⎡+----=----)()1()()()1()1(1)(1111n n R n x n x n R n R n R m T m m m m mμλλ(4.1.27) 其中 )()1()()(1n x n R n x n m m T m -=-μ(4.1.28)为一纯量。

引m m ⨯矩阵)()(1n R n C m m -=(4.1.29)和n 维矢量)()()1()(n n x n C n g m m m μλ+-=(4.1.30)g m (n )称为增益系数(理由见后)。

利用式(4.1.29)和式(4.1.30)，逆推式(4.1.27)成为[])1()()()1()(1---=-n C n x n g n C n C m Tm m m m λ(4.1.31)利用上式，我们就可以用递推方式求m m ⨯维矩阵R m (n )的逆，使运算量降低。

式(4.1.31)两端后乘入x m (n )，利用式(4.1.28)及式(4.1.30)可得)()()()()(1n x n C n x n R n g m m m m m ==-(4.1.32)另外，根据式(4.1.18)可得)()()1()(n x n d n r n r m m m +-=λ(4.1.33)将式(4.1.29)式、式(4.1.31)、式(4.1.33)代入式(4.1.24a )就有 )()()()()(1n r n C n r n R n m m m m m =--ω[][])()()1( )1()()()1(1n x n d n r n C n x n g n C m m m T m m m +----=-λλ )1()1()()()1()1(-----=n r n C n x n g n r n C m m T m m m m)()()1()()()()()1(11n d n x n C n x n g n d n x n C m m T m m m m ---+--λλ(4.1.34)利用式(4.1.28)和式(4.1.30)，式(4.1.34)的最后两项可简化为g m (n )d (n )，而式(4.1.34)的前两项中的C m (n -1)r m (n -1)即为)1(-n m ω。

所以由式(4.1.34)可得[])1()()()()1()(--+-=n n x n d n g n n m Tm m m m ωωω（4.1.35）这就是递推最小二乘(RLS)算法的递推公式。

上式的意思是，n 时刻的最佳)(n m ω可由(n -1)时刻的最佳值)1(-n m ω加一修正量得到。

修正量等于[])1()()()(--n n x n d n g m Tm m ω。

其中)1()(-n n x m Tm ω为根据(n -1)时刻的最佳加仅和n 时刻数据对d (n )之预测值。

因而)1()()(--n n x n d m Tm ω为预测误差。

g m (n )确定了根据预测误差进行修正时的比例系数，因而称为增益系数。

比较式(4.1.35)和LMS 算法的递推公式(2.4.6)[])1()()()(2)1()(--+-=n n x n d n x n n T ωμωω可看出两者之差别仅在于增益系数。