第6讲 谱估计4.最大熵法

反射系数
(M akk ) < 1
有附加噪声的AR过程的谱估计 有附加噪声的AR过程的谱估计 AR
在原有AR(p)过程 y (n) = ∑ ak y (n k ) + u (n)上附加均值 为0，方差为 σ ，并与 y (n) 无关的白噪声。即
2 w
k =1 p
x ( n) = y ( n) + ω ( n)
主要内容
最大熵谱估计的基本原理 最大熵谱估计与AR模型谱估计、预测误差滤波法 等效 最大熵功率谱的计算 (AR模型参数的计算） 最大熵谱估计（AR模型）的稳定性和阶数的确定 有附加噪声的AR过程的谱估计 最大熵谱估计的特点
最大熵的基本思想： 最大熵的基本思想：就是根据已知数据信息，在 不进行任何新的假设(不增加任何虚假信息)的情 况下，合理地预测未知延迟离散时间上的相关函 数。即在根据已知信息外推相关函数时，每一步 都保持未知事件的不确定性或熵为最大。
∧
* ， M ( z )GM ( 1* ) = 2 f c G
z
PM
* AM ( z ) AM (
1 ) * z
最大熵谱估计 S
x( f ) =
PM 2 f c 1 + ∑ am e j 2πmfT
m =1 M 2
AR谱和最大熵谱估计等价 AR谱和最大熵谱估计等价
对于M阶AR模型： x(n) = ∑ ak x(n k ) + e(n)
R x ( 2)
可见，对同一数据列用AR模型和预测误差滤波所解 得的参数值是完全相同的。 预测误差滤波器是一个白化滤波器，滤波器的系统 函数为： A( z ) = 1 + ∑ ak( M ) z k x(n)的功率谱可求得：S pre ( f ) =
k =1 M
Pn A(e
j 2πfkT
)
2
=
(M Pmin )T
预测：由随机序列x(n)过去和现在的M个值来预测下 一个取样值x(n+1)。即 x(n +1) = ∑ak(M ) x(n +1 k)
k =1 ∧ M
通过合理选择预测系数，使预测均方误差达到最小 确定出的M阶FlR滤波器，称为数字预测滤波器。
e 预测误差为： (n) = x(n) x(n) = ∑ ak( M ) x(n k )
P
(M ) min
k =1
= σ = E e( n)
2 p *
[
2
]
M ( = E e( n)( x ( n) + ∑ ak M ) x ( n k ))* k =1
M * (M ) = E e ( n ) x ( n ) = E x ( n ) + ∑ a k x ( n k ) x ( n ) k =1 ( ( = Rx (0) + a1( M ) Rx (1) + a2M ) Rx ( 2) + + a MM ) Rx ( M )
这时x(n)不再是严格意义上的AR过程，其自相关函 数为
2 Rx (m) = E[ y* (n) + w* (n)][y(n + m) + w(n + m)] = Ry (m) + σ wδ (m)
jω 2
功率谱为 Sx (ω) = S y (ω) + σ
2 w
=
σ
2 u jω 2
+σ =
2 w
σ + σ A(e )
[
]
合并整理，得到：
R x ( 0) R (1) x R x ( 2) Rx ( M ) Rx (1) R x (0) Rx (1) Rx ( M 1)
(M Rx ( M ) 1 Pmin ) Rx (1) Rx ( M 1) a1( M ) 0 (M ) R x ( 0) R x ( M 2) a 2 = 0 ( R x ( M 2) Rx (0) a MM ) 0
2 u 2 w
A(e )
A(e )
jω 2
2 令 σ η2 B( z ) B( z 1 ) = σ u2 + σ w A( z ) A( z 1 ) ，则
B ( z ) B ( z 1 ) 2 S x ( z) = σ η A( z ) A( z 1 )
因此可以将x(n)看成一ARMA过程，其等效的白噪声 2 2 2 σ η ，既不等于 σ u ，也不等于σ w 驱动源的平均功率为 等效的MA分支为B(z)，与A(z)同阶数但不同参数， 因此x(n)是一个ARMA(p,p)过程。 若仍对x(n) 数据按AR(p)模型进行谱估计，结果将 偏离真实谱 Sy (ω) ，得到一个趋于平坦化的谱。这种 2 2 σ2 σu / σw 的大小有关， w 越小，越接近原来 平滑现象与 2 2 σu / σ w 越小，功率谱越平滑。可见，AR 的AR功率谱； 谱估计的分辨率随着信噪比的减小而减小。
最大熵（ 模型 模型） 最大熵（AR模型）谱估计的稳定性和阶数确定
阶数确定： 阶数确定： 必须正确选择模型的阶数。阶数M估计得太小，对序 列长度N的序列的最大熵谱估计会过分平滑，不能给 出足够的分辨率，结果可能仅出现被测信号中最易 预测，变化最缓慢的频率点的峰值。阶数M估计得太 大，拟合会产生急剧变化和振荡，所得的谱估计具 有虚假的细节。在低噪声或无噪声时，AR模型的阶 数过分大，将会发生谱线分裂现象。
1 CAT ( M ) = N N m N M ∑1 NP ( m ) NP ( M ) m=
M
2M + N
N →∞
lim FPE ( M ) = AIC ( M )
最小。
结论： 信噪比较高时，上述三种方法确定的阶数M基本一 致。当信噪比较低时，三种方法结果不同，给出的 M值偏低，其中以FPE方法较为正确。 最优阶数的计算： 上述各准则所确定的阶数，都可以在计算预测滤波 ( a k M )、 ( M ) ）的每一次递推中求出。由于最 Pmin 器参数（ 大熵谱估计与预测滤波器等价，而对于预测滤波器 (M (M (M Pmin ) ，存在 0 < Pmin +1) < Pmin ) ，因此在算出新值后 中的 与以前的值作比较，若新值比以前的值大，则终止 迭代，得到最优阶数Mopt。
从最大熵原理出发进行谱估计 若已知自相关函数Rx(m)的前2M+1个序列值，则选择 未知自相关函数要使： H = 0 m ≥ M +1
Rx (m)
{det[Rx ( M + 1)]} H = =0 Rx ( M + 1) Rx ( M + 1)
Rx (1) Rx (0) Rx (M 1) Rx (2) Rx (1) Rx (M 2) =0 Rx (M +1) Rx (M) Rx (1)
最大熵谱估计（AR模型和线性预测） 最大熵谱估计（AR模型和线性预测） 模型和线性预测
在一定条件下，ARMA或MA模型可以用阶次为无穷大 的AR模型来近似。条件是：信号是平稳的，且方差 为有限值。由于ARMA和MA模型参数确定需要求解非 线性方程，而AR模型参数用线性方程即可求出，因 此AR模型被研究和使用得最多。 Burg提出最大熵谱估计（Maximum Entropy Spectra Estimation）,Van Den Bos证明了对一维高斯平稳 信号，AR谱、线性预测和最大熵谱等价。
k =1 M
x(n)的估值
估计误差
输入视为e(n)，输出视为x(n)，则系统函数为 ：
M 1 H ( z) = , 其中 A( z ) = 1 + ∑ a k z k A( z ) k =1
设激励信号e(n)为零均值，方差为 σ 2 的白噪声序列， 功率谱密度为Pn，则数据序列x(n)的功率谱为：
= 2 fc g (0)
2
，所以
Pn =
1 g (0)
2
PM 2 fc
AR参数和自相关函数Rx(m)之间的关系为：
σ 2 ∑ ak( M ) Rx (m k ) = 0 k =0
M
m=0 m = 1,2, , M
即Yule-Walker方程。AR模型谱估计实质是模型参数 的辨识问题。
预测误差滤波法和最大熵谱估计等价
n = M
cne j 2πfnT ∑
M
fc z m 1 整理后得到 Rx (m) = jπ ∫ M n dz 0 ≤ m ≤ M ∑Mcn z M 1 n= n * cn z = GM ( z )GM ( * ) ∑ z 【最小相位(其零点都在单位圆之内) 最大相位】 n = M
令 PM =
2 fc 2 fc = g (0) g * (0) g (0) 2
k =0
∧
M
当估值均方误差达到最小时，满足正交原理。即 简化后，得：
∧ E[e(n) x(n m)] = E(x(n) x(n))x(n m) = 0 m = 0,1,2,, M
( Rx ( m) = ∑ ak M ) R ( m k ) M
m = 0,1,2, , M
最小预测误差功率为：
阶数最优(用 表示)的选取准则 的选取准则： 阶数最优 用Mopt表示 的选取准则： 1．最终预测误差(FPE)准则 零均值情况下，Akaike给出使FPE最小的估值公式
N + M + 1 (M ) FPE( M ) = P N M +1
M为AR模型的阶数，N为信号采样点数，P(M)为预测 误差功率。 非零均值情况下，
n 1 H = E I j = ∑ p j log10 = ∑ p j log10 p j pj j =1 j =1
[ ]
n
信息量
可见熵是消息源发出每个消息的平均信息量。
对于高斯分布的随机变量，布卡乔夫证明了其熵和