第6章 最小二乘滤波和预测

EE of BUPT
输入数据矩阵的表示

11

输入数据矩阵X可分为按列表示或按行表示 x(0) x(1) X =[ x1 x2 ... x M ] x( N 1) 数据记录(data record，一列)：
xk xk (0) xk (1) .... xk ( N 1)
现代信号处理
第6章 最小二乘滤波和预测
EE of BUPT
6
估计一个已知的期望响应信号的目的是什么？



在系统建模应用中，我们的目的是为实际系统得到 描述输入、输出关系的数学模型。在这类问题中， 我们希望得到的是估计器或系统模型，而不是信号 的实际估计。 在线性预测编码中，有用的结果是预测误差或预测 器的系数。 在许多应用中，期望响应无法得到（如数字通信）。 因此，我们并不总是能用一组完整的数据来设计 LSE估计器。然而，如果数据的统计特性在许多组 之间没有明显变化，那么我们可以先用一组特定的 完整数据（即训练数据）设计估计器，然后用所得 到的估计器处理余下的、不完整的各组数据。
EE of BUPT

现代信号处理
5



高斯使用的最小二乘法的方法发表于1809年他的著 作《天体运动论》中，而法国科学家勒让德于1806 年独立发现“最小二乘法”，但因不为时人所知而 默默无闻。两人曾为谁最早创立最小二乘法原理发 生争执。 1829年，高斯提供了最小二乘法的优化效果强于其 他方法的证明。 高斯和阿基米德、牛顿并列为世界三大数学家。
EE of BUPT
现代信号处理
6.2 线性最小二乘估计

7
给定期望响应d(n)和输入信号xk(n)的一组测量值， 通过线性组合求期望响应的估计（下式也称为回归 函数）： M y( n) wk xk ( n) x( n)w 0 n N 1
k 1
多 传 感 器
期望响应 输入信号
X =( X T X )1 X T
yls Xwls
投影算子把数据 矢量d投影到X的 列张成的空间
T 1 T X ( X X ) X d T 1 T X ( X X ) X d Pd
现代信号处理
EE of BUPT
投影矩阵
投影矩阵
P =X ( X T X )1 X T
T

快照(snapshot，一行)：
x( n)= x1 ( n) x2 ( n) .... x M ( n)
EE of BUPT
现代信号处理
6.2.1 正则方程
误差信号的能量
12
误差矢量：e = d - Xw
J e = eTe = (d T - w T XT )(d - Xw) = d Td - w T XTd - d T Xw + w T X T Xw ˆ w ˆ -r ˆ T w + wTR = J - w Tr


此时，误差序列的平方和取最小值：
现代信号处理
EE of BUPT
定理6.1
当且仅当矩阵X的列向量线性无关，或等效于时间平均 相关矩阵为正定矩阵时，时间平均相关矩阵是可逆的。 注：正则方程的求解请参考相关书籍。
现代信号处理
EE of BUPT
6.2.2 正交原理

15
为了用直观的几何概念解释最小二乘滤波器，把期 望响应矢量和数据记录看成是N维矢量空间中的矢 量，矢量的内积和长度的平方分别定义为：
1 2 3 9 2 1 15 9 1 2 3 9 3 1 5 3
EE of BUPT
期望响应信号及其估计
3 2.5 2 d y ls
y and d
1.5 1 0.5 0 0 0.5 1 1.5 n 2 2.5 3
现代信号处理
EE of BUPT
25
误差能量为
d xd xd x
其中
J d =d Td d 2 ( n)
n 0
N 1
ˆ = XT X, R x
ˆ i , j =xT x R xi n x j n 1 i，j M x i j
n 0
N 1
ˆxd =X T d r
现代信号处理
ˆxd i , 1 =xiT d xi ( n)d ( n) r
1 2 10 1 2 1 1 T ˆxd X d r 2 1 2 3 3 16 2
现代信号处理
EE of BUPT
代入正则方程，求解得权系数矢量为
1 2 4 5 10 5 5 1 ˆ r ˆ wls R x xd 7 16 22 1 5 45 45
e(0) d (0) x 1 (0) e(1) d (1) x (1) 1 e( N 1) d ( N 1) x 1 ( N 1) x 2 (0) x2 (1) x 2 ( N 1)
xi , x j =xi T x j xi ( n) x j ( n)
N 1 n 0 N 1
x = x , x x 2 ( n) J x
2

期望响应记录的估计可表示为数据记录的线性组合：
y Xw wk xk
k 1 M
n 0
xk 0 x 1 k 其中 xk xk N 1

有两种解决方法：

如果可能的话，从可用的数据估计出需要的二阶矩， 从而得到最优MMSE滤波器的估计。

直接采用可用的数据样本，定义性能函数，然后最优 化性能函数，从而设计出最优滤波器。

在本章中，我们用估计误差的平方和最小（最小化能量） 作为性能标准来设计最优滤波器。 EE of BUPT 现代信号处理

勾股定理：
d

2
yls
2
els
2
最小误差平方和： T T J ls J d wls X T Xwls J d wls X Td
归一化以后的误差平方和： J y，ls J ls 1 Jd Jd 现代信号处理

EE of BUPT
6.2.3 投影算子
18
如果时间平均的相关矩阵是正定的，或者数据矩阵的 列是线性无关的，则正则方程式将给出超定（N > M） 最小二乘问题的唯一解。 1 LS解 1 T ˆ ˆxd X X X T d = X d wls Rx r 矩阵X的伪逆 对d 的LS估计
n 0
N 1
EE of BUPT
6.2.1 正则方程

13

用时间平均算子代替数学期望算子，那么所有对 MMSE准则导出的公式对LSE准则也适用。 正则方程： ˆ w r ˆxd R x ls 其解为：
ˆ 1r ˆ wls R x xd
T ˆ 1 ˆxd ˆxd J ls J d r Rx r T ˆxd Jd r wls
现代信号处理
EE of BUPT
估计误差（也称为残差）
e(n) d (n) y( n) d ( n) x( n)w
误差序列的平方和
Je
e( n)
n 0
N 1
2
以Je取最小值为准则，求解最优权系数wls
现代信号处理
EE of BUPT
6.2 线性最小二乘估计
数据测量时间区间为0 n N 1，把误差写成矩阵形式

最小二乘（又称最小平方, least square, LS）原理是 德国科学家卡尔· 弗里德里希· 高斯提出的。 1801年，意大利天文学家朱赛普· 皮亚齐发现了第 一颗小行星谷神星。经过40天的跟踪观测后，由于 谷神星运行至太阳背后，使得皮亚齐失去了谷神星 的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果 来寻找谷神星都没有结果。时年24岁的高斯也计算 了谷神星的轨道。奥地利天文学家海因里希· 奥尔 伯斯根据高斯计算出来的轨道重新发现了谷神星。现代号处理EE of BUPT
验证正交原理
误差矢量为
els d Pd 4 7 45 9 容易验证正交原理成立
T ls
11 4 9 15
T ls
T
e x1 e x2 0
现代信号处理
EE of BUPT
6.3 最小二乘FIR滤波器
10
x M (0) w1 x M (1) w 2 x M ( N 1) wM
误差数据矢量e（N 1） 期望响应矢量d（N 1） 输入数据矩阵X（N M） 权系数矢量w（M 1）
紧缩形式
现代信号处理
e = d - Xw
d n xk n 1 k M
多传感器
xM n
x ( n) x1 n x2 n
对于单个传感器，x(n)由相邻的M个样本点组成 xk(n)=x(n-k), k=1,…,M w1 w 权系数矢量 w 2 ，也称为回归矢量 wM ˆ n 期望响应 d n 的估计，y n =d
第6章 最小二乘滤波和预测
尹霄丽 北京邮电大学电子工程学院 yinxl@
目录

2
6.1 最小二乘原理


6.2 线性最小二乘估计
6.3 最小二乘FIR滤波器
6.4 最小二乘线性预测
现代信号处理
EE of BUPT
6.1 最小二乘原理

3
为了求解最小均方误差意义下的最优滤波器，需要预先 知道二阶矩的信息。然而这些统计信息在很多实际应用 中是无法得到的，我们仅能得到输入信号和期望响应的 一组测量值。