最小二乘自适应滤波器
自适应滤波的方法
自适应滤波的方法
自适应滤波是一种对信号进行滤波的方法，其可以根据观测到的信号实时调整滤波器参数，以提高滤波效果。
常用的自适应滤波方法包括：
1. 最小均方（LMS）自适应滤波器：该方法依据最小均方误差准则进行滤波，在每一时刻根据观测信号对滤波器系数进行更新。
2. 递归最小二乘（RLS）自适应滤波器：该滤波器通过在线解最小二乘问题，实现对噪声的最优抑制。
3. Kalman滤波器：该滤波器是一种最优化滤波器，它最小化误差的平方和，同时考虑信号的先验知识。
由于需要计算协方差矩阵和卡尔曼增益，计算量较大。
4. 无参数自适应滤波器：这种方法不依赖于任何先验的信号统计信息，仅根据观测信号本身对滤波器系数进行估计，常见的方法包括快速自适应滤波器（FNLMS）和非线性自适应滤波器（NLA）。
这些方法比起传统滤波，具有更好的适应性和鲁棒性，并且可以用于实时处理信号。
17_最小二乘格型滤波(LSL).
令 则有:
U X1,M (n)
u
z M 1 x(n)
y x(n)
z (n)
PU
P1,M (n)
PU u P1,M PU u, PU u
(n)z (M 1)
z
1e
b M
x(n)
z
1e
b M
(n)
(n),
z
1e
b M
(n)
b M
(n
1)
z, PU y (n), P1,M (n) x(n) eMf (n)
e
f M
(n)
z
1e
b M
(n),
xˆ (n)
z
e 1 b M
(n),
e
f M
(n)
(3.4.111)
定义前向与后向两个预测误差矢量的相关系数(称为偏相关系数)为:
≝ M 1(n)
z
1e
b M
(n),
e
f M
(n)
将式(3.4.109), (3.4.111)代入式(3.4.108), 得
(3.4.112)
(3.4.120)
(5)偏相关系数M1(n) 和角参量 M (n) 的更新 根据反射系数公式(3.4.114)和(3.4.116), 在讨论了前向和后向预测误差
能量按阶更新后, 还需进一步解决前后向预测误差偏相关系数 M1(n)的 更新问题.
由于按阶由 M 1(n)计算 M 2 (n) 存在困难, 因此可按时间更新方法,从初 值 M 1(0) 开始, 依次递推 M 1 (1) , M 1 (2), ,直至 M 1 (n).
M
（2） 阶后向预测
●M权系数矢量与预xˆ(i测矢M 量)
最小二乘自适应滤波
尔伯特空间。 • 子空间(Subspace) 定义：线性空间中的一个子集，在原空间定义的运算下，若
也形成了一个空间，称该子集为该空间的子空间。 • 相互正交的子空间(Orthogonal Subspaces) 定义：若分别从两子空间{U1}、{U2}中任取一矢量均 相互正交，则称该两子空间是相互正交的。 • 两子空间之和(The Sum of Two Subspaces) 由子空间{U1}和{U2}的矢量的所有线性组合张成的空 间称为两子空间之和，记作{U1U2} ，或{U1U2} 。
最小二乘自适应滤波
由上式易得：
P U,u
P U,w
I
PU,u
I
(PU
Pw )
(I PU ) Pw
PU
Pw
• 算子的更新(The Update of Operator)
由前面导出的算子正交分解，可得算子的更新公式为：
PU,u PU PUu PUu, PUu 1 uTPU
P U,u
PU
设{U}为由u1,u2,…,um张成的子空间，矢量x到{U}的投 影矩阵和正交投影矩阵为：
PU=UU，U-1UT
PU I PU I U U, U 1UT
式中， U，U＝UTU为两矩阵内积。
最小二乘自适应滤波
3) 投影矩阵的重要性质(The Important Properties of Projection Matrix) • 对称性(Symmetry) 也称为反身性，即：
最小二乘自适应滤波
• 投影与投影矩阵(Projection And Projection Matrix) • 投影(Projection) 希尔伯特空间中，对任意矢量x而言，子空间{U}中距x 最近的矢量PUx为x在{U}中的投影。 • 距离定理(Distance Theorem) 设PUx为x在{U}中的投影矢量，y为{U} 中不为PUx的 任意矢量，则有：
最小方差无失真响应波束形成器程序
最小方差无失真响应波束形成器题目:考察LMS 算法应用于最小方差无失真响应(MVDR)波束形成器的器情况，它有5个完全一样的空间传感器的线性阵列组成。
相对于阵列线的法线方向用弧度来度量，则目标信号与干扰信号入射角度可表示为 目标信号1ta r ge t sin (0.2)φ-=- 干扰1i nt sin (0)e r f φ-= 增益向量1g =空间响应的定义为2^1020log ()()Hw n s θ，234()1,,,,Tj j j j s e e e e θθθθθ----⎡⎤=⎣⎦当步长参数分别为891010,10,10u ---=，即INR=20,30,40Db 时波束形成器的权向量()^w n 利用LMS 进行计算。
1. 最小二乘自适应滤波器算法function [W, e] = lms(u, d, mu, decay, verbose) % Input parameters:% u : matrix of training/test points - each row is % considered a datum% d : matrix of desired outputs - each row is % considered a datum% mu : step size for update of weight vectors % decay : set to 1 for O(1/n) decay in m% verbose : set to 1 for interactive processing% length of maximum number of timesteps that can be predicted N = min(size(u, 1), size(d, 1)); Nin = size(u, 2); Nout = size(d, 2);% initialize weight matrix and associated parameters for LMS predictorw = zeros(Nout, Nin); W = [];for n = 1:N, W = [W ; w];% predict next sample and errorxp(n, :) = u(n, :) * w';e(n, :) = d(n, :) - xp(n, :);ne(n) = norm(e(n, :));if (verbose ~= 0)disp(['time step ', int2str(n), ': mag. pred. err. = ' , num2str(ne(n))]);end;% adapt weight matrix and step sizew = w + mu * e(n, :)' * u(n, :);if (decay == 1)mu = mu * n/(n+1); % use O(1/n) decay rateend;end % for n2．基于LMS算法的MVDR自适应波束形成器function run_lms_mvdr(rp)Ninit = rp.p;Ndata = Ninit + rp.Nsnaps;seed = 1;% A_i, phi_l are target signal amplitude/elec- angle% A_2, phi_2 are interference signal amplitude/elec- angle% s is steering vector along elec. angle of look direction of interestA_1 = sqrt(rp.var_v) * 10^(rp.TNRdB/20);phi_1 = pi * rp.sin_theta_1;A_2 = sqrt(rp.var_v) * 10^(rp.INRdB/20);phi_2 = pi * rp.sin_theta_2;s = exp(-j*[0:(rp.p-1)]'*phi_1);e = s(2:rp.p);% setup input/output sequencesfor i = 1:Ndata,% setup random disturbancesrandn('seed', i);vr = sqrt(rp.var_v/2) * randn(1, rp.p) + rp.mean_v;vi = sqrt(rp.var_v/2) * randn(1, rp.p) + rp.mean_v;v = vr + j*vi;rand('seed', i);Psi = 2*pi*rand(1);Xi(i, :) = A_1*exp(j*[1:rp.p]*phi_1) + A_2*exp(j*[1:rp.p]*phi_2 + Psi) + v;end;% setup effective desired output and input vectors from% original datag = 1;d = g * Xi(:, 1);u = diag(Xi(:, 1)) * (ones(Ndata, 1) * e.') - Xi(:, 2:rp.p);[W, xp] = lms(u, d, rp.mu, rp.decay, rp.verbose);Wo = g - W * conj(e);W = [Wo W];eval(['save ' ])3．构造MVDR自适应波束形成画图函数function plot_mvdr(name)eval(['load ' name]);% test vectors for spatially sampled responseW_H = conj(W(Ndata, :));st = -1 : 0.025 : 1;est = exp(-j*pi*[0:(rp.p-1)]'*st);S = ones(81,1);qq1 = pi*sin(st);for n=[1 2 3 4],S(:,n+1)=exp(-j*n*qq1');endplot(st,10*log10(abs(W_H*S').^2),rp.color)xlabel('sin \theta')ylabel('Amplitude response, dB')4．所需参数数据产生rp.p = 5;rp.decay = 0;rp.verbose = 0;rp.mean_v = 0; % mean of complex-valued AWGNrp.var_v = 1; % variance of complex-valued AWGNrp.sin_theta_1 = 0.2;rp.sin_theta_2 = 0;rp.TNRdB = 10; rp.INRdB = 20; rp.Nsnaps= 20; rp.mu = 1e-9; rp.color='r'; = 'run1';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 20; rp.Nsnaps= 100; rp.mu = 1e-9; rp.color='g'; = 'run2';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 20; rp.Nsnaps= 200; rp.mu = 1e-9; rp.color='b'; = 'run3';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 20; rp.Nsnaps= 200; rp.mu = 1e-8; rp.color='r'; = 'run4';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 20; rp.Nsnaps= 200; rp.mu = 1e-9; rp.color='g'; = 'run5';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 20; rp.Nsnaps= 200; rp.mu = 1e-10; rp.color='b'; = 'run6';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 20; rp.Nsnaps= 200; rp.mu = 1e-9; rp.color='r'; = 'run7';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 30; rp.Nsnaps= 200; rp.mu = 1e-9; rp.color='g'; = 'run8';run_lms_mvdr(rp);rp.TNRdB = 10; rp.INRdB = 40; rp.Nsnaps= 200; rp.mu = 1e-9; rp.color='b'; = 'run9';run_lms_mvdr(rp);5．画出波束形成图figureplot_mvdr('run1'); hold onplot_mvdr('run2');plot_mvdr('run3');hold offtitle('LMS算法迭代次数对波束形成结果的影响')figureplot_mvdr('run4'); hold onplot_mvdr('run5');plot_mvdr('run6');hold offtitle('LMS算法步长因子对波束形成结果的影响')figureplot_mvdr('run7'); hold on plot_mvdr('run8'); plot_mvdr('run9'); hold offtitle('不同的干扰噪声比对波束形成结果的影响')6．运行程序，输出结果-1-0.500.5105sin θA m p l i t u d e r e s p o n s e , d BLMS 算法迭代次数对波束形成结果的影响-1-0.500.51010sin θA m p l i t u d e r e s p o n s e , d B-100050100150200sin θA m p l i t u d e r e s p o n s e , d B不同的干扰噪声比对波束形成结果的影响由上可以得出以下结果：MVDR 波束形成器的自适应空间相应通常被固定在沿着给定的入射角1t arg et sin (0.2)φ-=-为0DB 的地方。
《现代数字信号处理》-第二章-自适应数字滤波器
第三章自适应数字滤波器3.1 引言3.2 自适应横向滤波器3.3 自适应格型滤波器3.4 最小二乘自适应滤波3.5 自适应滤波的应用3.1 引言（维纳滤波器的特点与不足）自适应数字滤波器和维纳滤波器一样，都是符合某种准则的最佳滤波器。
维纳滤波器的参数是固定的，适用于平稳随机信号的最佳滤波，但要设计这种滤波器，必须要求输入信号是平稳的，且具有信号和噪声统计分布规律的先验知识。
在实际中，常常无法知道这些先验知识，且统计特性还会变化，因此实现最佳滤波是困难的。
自适应滤波器的特点是：滤波器的参数可以自动地按照某种准则调整到最佳滤波；实现时不需要任何关于信号和噪声的先验统计知识，尤其当输入统计特性变化时，自适应滤波器都能调整自身的参数来满足最佳滤波的需要。
常常将这种输入统计特性未知，调整自身的参数到最佳的过程称为“学习过程”。
将输入信号统计特性变化时，调整自身的参数到最佳的过程称为“跟踪过程”，因此自适应滤波器具有学习和跟踪的性能。
由于自适应滤波器有这些特点，自1967年威德诺(B. Widrow)等人提出自适应滤波器以来，在短短十几年中，自适应滤波器发展很快，已广泛地用于系统模型识别，通信信道的自适应均衡，雷达与声纳的波束形成，减少或消除心电图中的周期干扰，噪声中信号的检测、跟踪、增强和线性预测等。
本章主要介绍自适应横向滤波器、自适应格型滤波器、最小二乘自适应滤波器以及自适应滤波器的应用举例。
3.2 自适应横向滤波器自适应滤波器的原理框图如图 3.2.1所示，图中()x n 称为输入信号，()y n 是输出信号，()d n 称为期望信号，或者称为参考信号、训练信号，()e n 是误差信号。
其中()()()e n d n y n =-自适应滤波器()H z 的系数根据误差信号，通过一定的自适应算法，不断地进行改变，使输出()y n 最接近期望信号()d n 。
这里暂时假定()d n 是可以利用的，实际中，()d n 要根据具体情况进行选取，能够选到一个合适的信号作为期望信号，是设计自适应滤波器的一项有创意的工作。
自适应滤波器原理
能够准确地描述非线性系统的动态特性，适用于各种非线性程度不 高的系统。
模型的缺点
对于强非线性系统，需要高阶Volterra级数才能准确描述，计算复 杂度较高。
基于神经网络实现非线性滤波
01
02
03
神经网络模型
通过训练大量数据来学习 非线性系统的输入与输出 关系，从而实现非线性滤 波。
模型的优点
度向量；更新滤波器权系数。
NLMS算法特点
03
收敛速度较LMS算法快，对输入信号统计特性变化较不敏感。
线性预测编码（LPC）技术应用
线性预测编码（LPC）技术
一种基于线性预测模型的编码方法，通过利用信号之间的相关性来减少冗余信息，达到 压缩数据的目的。
LPC在自适应滤波器中的应用
将LPC技术应用于自适应滤波器设计，可以利用输入信号的线性预测特性来提高滤波器 的性能。
未来发展趋势预测及挑战
深度学习与自适应滤波器 的结合
随着深度学习技术的不断发展 ，将深度学习与自适应滤波器 相结合，有望进一步提高滤波 器的性能，解决复杂环境下的 信号处理问题。
非线性自适应滤波器的研 究
目前大多数自适应滤波器都是 基于线性模型的，但在实际应 用中，信号往往具有非线性特 性。因此，研究非线性自适应 滤波器具有重要的理论意义和 实际应用价值。
MSE越小，说明滤波器输出信号与期 望信号越接近，滤波器的性能越好。 因此，在自适应滤波器设计中，通常 会通过优化算法来降低MSE。
收敛速度比较及影响因素研究
收敛速度定义
收敛速度是指自适应滤波器在迭代过程中，权值向量逐渐接近最优解的速度。收敛速度越快，滤波器在应对时变信号 时具有更好的跟踪性能。
收敛速度比较方法
最小二乘自适应滤波器
第四章 最小二乘自适应滤波器前面所研究的自适应滤波算法根据的最佳准则为最小均方误差准则。
自适应算法的目标在于，使滤波器输出与需要信号的误差的平方的统计平均值最小。
这个准则根据输入数据的长期统计特性寻求最佳滤波。
然而，我们通常已知的仅是一组数据，因而只能对长期统计特性进行估计或近似。
LMS 算法、格形梯度算法都是这样。
能否直接根据一组数据寻求最佳呢？最小二乘算法就可解决这个问题。
换句话说，根据最小均方误差准则得到的是对一类数据的最佳滤波器，而根据最小二乘法得到的是对一组已知数据的最佳滤波器。
对同一类数据来说，最小均方误差准则对不同的数据组导出同样的“最佳”滤波器；而最小二乘法对不同的数据组导出不同的“最佳”滤波器。
因而常说最小二乘法导出的最佳滤波器是“精确”的。
本章首先叙述最小二乘法的基础，并推导递推最小二乘(RLS)算法；然后介绍线性空间的概念，并在此基础上讨论两种重要的最小二乘自适应算法——最小二乘格形(LSL)算法和快速横式滤波器(FTT)算法。
§4.1 最小二乘滤波器4.1.1 最小二乘滤波方程设已知n 个数据x (1), …, x (i ), …, x (n )，我们要根据这些数据，利用图4.1的m 阶线性滤波器来估计需要信号d (1) , …, d (i ), …, d (n )。
对d (i )的估计式可表为∑=+-=mk mkk i x n w i d 1)1()()(ˆ (4.1.1)估计误差∑=+--=-=mk mkk i x n w i d i d i d i e 1)1()()()(ˆ)()( (4.1.2)若假设i <1及i <n 时x (i )=d (i )=0，我们有如下n +m -1个估计误差⎪⎪⎪⎪⎪⎭⎪⎪⎪⎪⎪⎬⎫-=-++----=---=--=-=)()()()1()()()()()()1()()()()()()1()()2()()2()2()1()()1()1(11211n x n w m n e m n x n w n x n w n d n e x n w m x n w m d m e x n w x n w d e x n w d e mm mm m mm m m m m(4.1.3)其余的e (i )均为零。
第四章递归最小二乘自适应滤波器
4.2 矩阵求逆引理
设A和B是两个M×M正定阵，它们之间的关系为 是两个M
A = B−1 +CD−1CH
(4-14)
其中，D 其中，D是N×M正定阵，C是M×N矩阵。根据矩阵求 正定阵，C 逆引理，可将A 逆引理，可将A的逆矩阵表示为
A−1 = B− B (D+CH B )−1CH B C C
u(i) =[u(i), u(i −1 L (i −M +1 T ), u )]
(4-3)
式中W 式中W（n）是n时刻抽头权向量，定义为 ）是n
w(n) =[ω0(n),ω (n),L ωM−1(n)]T , 1
(4-4)
注意，在代价函数 ξ(n) 定义的观测区间１≤i ≤n内，横向 定义的观测区间１≤ ≤n内，横向 滤波器的抽头权值保持不变． 式（4 式（4-1）中的加权因子β(n,i) 满足如下关系 0< β(n,i)≤1 i=1,2,…n (4-5)
y(i) = wH (n)u(i)
2)正则化项 2)正则化项
δλ w(n) =δλ w (n)w(n)
n 2 n H
式中δ是一个正实数，称为正则化参数．除了因子 δλ 外， 正则化项只取决于抽头权向w(n).将这一项包含在代价函 数中，以便通过平滑作用来稳定递归最小二乘问题的解。
n
河南工业大学信息科学与工程学院
^
^ 2
λ
2
^
形式，其中 F(w)是由RLS滤波器实现的输入输出映射关 系，D是差分算子。式（4-7）的正则化项通常用在RLS滤 波器设计中。
河南工业大学信息科学与工程学院
4.1.2 正则方程的变形
将式（4 将式（4-7）展开并进行整理，我们发现，在代价函数 δ(n)中增加正则化项 δλ w ) ，相当于将抽头输入向量 (n)中增加正则化项 (n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最小二乘自适应滤波器前面所研究的自适应滤波算法根据的最佳准则为最小均方误差准则。
自适应算法的目标在于，使滤波器输出与需要信号的误差的平方的统计平均值最小。
这个准则根据输入数据的长期统计特性寻求最佳滤波。
然而，我们通常已知的仅是一组数据，因而只能对长期统计特性进行估计或近似。
LMS算法、格形梯度算法都是这样。
能否直接根据一组数据寻求最佳呢？最小二乘算法就可解决这个问题。
换句话说，根据最小均方误差准则得到的是对一类数据的最佳滤波器，而根据最小二乘法得到的是对一组已知数据的最佳滤波器。
对同一类数据来说，最小均方误差准则对不同的数据组导出同样的“最佳”滤波器；而最小二乘法对不同的数据组导出不同的“最佳”滤波器。
因而常说最小二乘法导出的最佳滤波器是“精确”的。
本章首先叙述最小二乘法的基础，并推导递推最小二乘(RLS)算法；然后介绍线性空间的概念，并在此基础上讨论两种重要的最小二乘自适应算法——最小二乘格形(LSL)算法和快速横式滤波器(FTT)算法。
4.14.1.1设已知n个数据x (1), …, x (i), …, x (n)，我们要根据这些数据，利用图4.1的m阶线性滤波器来估计需要信号d(1) , …, d (i), …, d (n)。
对d (i)的估计式可表为m ˆd(i),w(n)x(i,k，1) (4.1.1) ,mk,1k估计误差mˆ e(i),d(i),d(i),d(i),w(n)x(i,k，1) (4.1.2) ,mk,1k若假设i<1及i<n时x (i)=d (i)=0，我们有如下n+m-1个估计误差1e(1),d(1),w(n)x(1),1m,e(2),d(2),w(n)x(2),w(n)x(1)12mm,,？？,e(m),d(m),w(n)x(m),？？,w(n)x(1),1mmm (4.1.3) ,？？,,e(n),d(n),w(n)x(n),？？,w(n)x(n,m，1)1mmm,？？,,e(n，m,),,w(n)x(n)mm,其余的e (i)均为零。
根据最小二乘法，w(n)的最佳值应使下列累计平方误差性能函数为最小 mk ,2ni ,(n),,e(i) (4.1.4) ,i其中 (4.1.5) 0,,,1为加重新数据影响的加权因子。
式(4.1.4)中的i的变化范围有下列四种取法：(a) 1,i,n，m,1 (相关法)(b) 1,i,n(前加窗法)(c) m,i,n，m,1 (后加窗法)(d) m,i,n (方差法)之所以上列方法获得相应的名称，是因为方差法对已知数据x (1), …, x (n)之外的数据未作任何假定，它的处理仅利用已知数据。
前加窗法假定当i<1时，x (i)=0；后加窗法假定当i>n时，x (i)=0；而相关法即前后窗法则假定i<1及i>n 时，x (i)=0。
相关法的相关矩阵是对称的和Toeplitz的，其余三个取法的相关矩阵是对称的但非Toeplitz。
但是后三种方法的起动特性比相关法好，因而受到相当的重视。
本书将以前加窗法为例来讨论最小二乘自适应滤波器。
而且，我们仅限于讨论信号的情况，然而不难将结果推广到复信号情况。
对于前加窗法，我们只利用式(4.1.3)的前n个误差。
令m维矢量T (4.1.6) ,,,(n),w(n),？ , w(n)mmmm1T (4.1.7) ,,x(i),x(i), ？, x(i,m，1)m且有 x(i),0 i,1 (4.1.8)这样，前加窗法的n个误差(即式(4.1.3)的前n项)可写成T,e(1),d(1),x,(1)(n)mm,Te(2),d(2),x(,2)(n),mm (4.1.9) ,？,T,e(n),d(n),x(n),(n)mm,引入n维矢量T ,,e(n),e(1), ？, e(n) (4.1.10)T ,,d(n),d(1), ？, d(n) (4.1.11)2m，n及维矩阵X(n),,,x(1), ？, x(n) (4.1.12) mmm则式(4.1.9)可写成T e(n),d(n),X(n),(n) (4.1.13) mm前加窗法最小二乘性能函数为nnT,12 ,(n),,e(i),e(n),(n)e(n) (4.1.14) ,i,1n,1其中 ,(n),Diag(,, ？, ,， 1) (4.1.15) 而求,(n)的最佳值问题归结为mT ,,Min,(n),e(n),(n)e(n) (4.1.16) ,m为求解此问题，将式(4.1.13)代入式(4.1.14)得TT ,,,(n),d(n),(n)d(n),2,(n)X(n),(n)d(n) mmTT ,,，,(n)X(n),(n)X(n),(n) (4.1.17) mmmm引入m维矢量n,ni r(n),X(n),(n)d(n),,d(i)x(i) (4.1.18) ,mmm,1i及m，m维矩阵n,TniT R(n),X(n),(n)X(n),,x(i)x(i) (4.1.19) ,mmmmm,1i式(4.1.17)可表为TTT ,(n),d(n),(n)d(n),2,(n)r(n)，,(n)R(n),(n) (4.1.20) mmmmm,(n)的最佳值满足方程 m,,(n),0 (4.1.21) ,(n)m从而有 ,2r(n)，2R(n),(n),0 (4.1.22) mmm这就得到 R(n),(n),r(n) (4.1.23) mmm1,即 ,(n),R(n)r(n) (4-.1.24a) mmm或写成,1T ,,,(n),X(n),(n)X(n),,X(n),(n)d(n) (4.1.24b) mmmm式(4.1.23)和式(4.1.24)就是最小二乘算法的正规方程。
式(4.1.24)要求R(n)为满秩。
这对大多m数应用来说的成立的。
若对某应用的R(n)为降秩，则式(4.1.24)可理解为采用了伪可逆矩阵。
m根据已知x (i)和d (i)，1?i?n，利用式(4.1.24)即可求出,(n)的最佳值。
这就是最m3小二乘批处理算法。
这种算法需要进行矩阵求逆，其运算量为O(m)，因而一般不适于实时3滤波。
采用递推算法可以减少运算量。
下面就对递推算法进行讨论。
4.1.2 (RLS)由式(4.1.24a)有,1 ,(n,1),R(n,1)r(n,1) (4.1.25) mmm而根据式(4.1.19)可得T R(n),,R(n,1)，x(n)x(n) (4.1.26) mmmm利用矩阵求逆引理(附录(A.1.38))对式(4.1.26)求逆可得,1,1T，，R(n,1)x(n)x(n)R(n,1)1,1,1mmmm (4.1.27)R(n),R(n,1),,,mm,,，,(n)，，T,1其中 ,(n),x(n)R(n,1)x(n) (4.1.28) mmm为一纯量。
引m，m矩阵1, C(n),R(n) (4.1.29) mm和n维矢量C(n,1)x(n)mm g(n), (4.1.30) m,，,(n)g(n)称为增益系数(理由见后)。
利用式(4.1.29)和式(4.1.30)，逆推式(4.1.27)成为 mT,1 ,,C(n),,C(n,1),g(n)x(n)C(n,1) (4.1.31) mmmmm利用上式，我们就可以用递推方式求m，m维矩阵R(n)的逆，使运算量降低。
m式(4.1.31)两端后乘入x(n)，利用式(4.1.28)及式(4.1.30)可得 m,1 g(n),R(n)x(n),C(n)x(n) (4.1.32) mmmmm另外，根据式(4.1.18)可得r(n),,r(n,1)，d(n)x(n) (4.1.33) mmm将式(4.1.29)式、式(4.1.31)、式(4.1.33)代入式(4.1.24a)就有,1 ,(n),R(n)r(n),C(n)r(n) mmmmmT,1 ,,,,,,C(n,1),g(n)x(n)C(n,1) ,r(n,1)，d(n)x(n) mmmmmmT ,C(n,1)r(n,1),g(n)x(n)C(n,1)r(n,1) mmmmmmT,1,1 ，,C(n,1)x(n)d(n),,g(n)x(n)C(n,1)x(n)d(n) (4.1.34) mmmmmm利用式(4.1.28)和式(4.1.30)，式(4.1.34)的最后两项可简化为g(n)d (n)，而式(4.1.34)的前两项m中的C,(n,1)(n-1)r(n-1)即为。
所以由式(4.1.34)可得 mmmT ,,,(n),,(n,1)，g(n)d(n),x(n),(n,1) （4.1.35） mmmmm这就是递推最小二乘(RLS)算法的递推公式。
上式的意思是，n时刻的最佳,(n),(n,1)可由(n-1)时刻的最佳值加一修正量得到。
mm4TT,,g(n)d(n),x(n,)(n,1)x(n,)(n,1)修正量等于。
其中为根据(n-1)时刻的最佳加mmmmm仅和n时刻数据对d (n)之预测值。
因而T d(n),x(n,)(n,1) mm为预测误差。
g(n)确定了根据预测误差进行修正时的比例系数，因而称为增益系数。
m比较式(4.1.35)和LMS算法的递推公式(2.4.6)T ,,,(n),,(n,1)，2,x(n)d(n),x(n),(n,1)可看出两者之差别仅在于增益系数。
LMS算法简单利用输入矢量乘上常数作增益系数。
,而RLS算法则利用复杂的增益系数g(n)。
m4.1 (RLS)初始条件：,(0),x(0),0, C(0),,1(,,1) mmm运算：对n=1, 2, …(1) 取得d (n)，x(n) m(2) 更新增益矢量T ,(n),x(n)C(n,1)x(n) mmmC(n,1)x(n)mm g(n), m,，,(n)(3) 更新滤波器参量T ,,,(n),,(n,1)，g(n)d(n),x(n),(n,1) mmmmm(4) 更新逆矩阵T,1 ,,C(n),,C(n,1),g(n)x(n)C(n,1) mmmmm递推方程(4.1.35)的初始条件可用几种方法产生。
一种方法是令,(0),0以及m C(0),,1，其中为非常大的纯量。
整个RLS算法列于表4.1。
,m4.2上节讨论了最小二乘的批处理算法和递推最小二乘算法。
后者可降低运算量。
人们还研究了比递推最小二乘算法更快的算法，其中包括最小二乘格形(LSL)算法及快速横向滤波器(FTF)算法。
这两种算法均可用矢量空间法进行推导和分析。
矢量空间的概念不仅简单明了，而且有直观的几何意义，是一种有力的分析方法。
本节对本章所涉及的矢量空间概念作简单[34][35]介绍。
有兴趣的读者可参看有关文献。