最大熵谱估计
谱分析与谱估计最后一次
和
可定义第K个传感器的传输函数
为
换。此外令 和 分别表示 和
换。利用这些符号和傅里叶变换的性质，
的傅里叶变 的傅里叶变 可变换为：
对于通信中载波调制信号这样的物理信号x(t)，其能量谱密 度如图所示。 表示中心频率（或载波频率），具有该能量 谱的信号称为带通信号。
6.2 阵列模型
• 先考虑单个源的情况，单个情况确定后则多个源的阵列模 型可以通过叠加原理来获得。
相干信号时，信号协方差矩阵就不再为满秩矩阵，这种情 况下，原有的超分辨算法便失效，因此，会大大的影响到 DOA估计的性能。
MUSIC算法
• 先考虑单个源的情况，单个情况确定后则多个源的阵列模 型可以通过叠加原理来获得。
• 假设单个源入射到阵列上同时令x(t)表示t时刻在参考点测 量到的信号波形值，t是连续时间变量。
MUSIC算法在应用中存在的问题及解决措施
• 干扰源数目欠估计和过估计对算法的影响 • 若估计的干扰源数目比实际的干扰源数目多（过估计），
则在划分信号子空间和噪声子空间的时候，就会有一定数 目的噪声特征向量被划分到信号子空间，MUSIC空间谱会 出现比实际的干扰源数目多的谱峰，即伪峰。同样，如果 估计的干扰数目比实际的信号源数目少（欠估计），在划 分信号子空间和噪声子空间的时候，就会有一定数目的信 号特征向量被划分到噪声子空间，信号子空间维数降低， MUSIC空间的某些谱峰将会消失。
估计方法，主要包括BT法和周期图法。由于受到瑞利极
限的限制，无法获得超高分辨率性能，且抗噪声能力差，
未能取得满意的效果。
•
后来，基于统计分析的最大似然谱估计方法，因其具
有很高的分辨性能和较好的鲁棒性而受到人们的关注，然
TH2012-L13(第五章、第六章)(20120523)_621101385
第五章最大熵原理最小鉴别信息原理1.非适定性问题2.最大熵与最小鉴别信息原理§2.1 最大熵原理§2.2 最小鉴别信息原理§2.3 两原理之间的关系§2.4 合理性2012-5-2212012-5-222传感器网络自定位问题条件：给出了一个网络中若干节点之间的测距信息, 能否唯一的恢复网络中每个节点的空间座标？在传感器自定位问题中，上述条件是不够的。
1.非适定性问题科学研究(1) 一般步骤¾系统的参数化：定性——定量¾建立模型：前向建模，反向建模——正问题（前向建模）：发现物理规律，根据系统的输入参数，预测系统的输出。
——逆问题（反向建模）：根据可得到的观察值（输出值）推断系统参数及输入。
(2) 面临的问题¾过定：所给出的条件过多¾欠定：条件不够，数据不足、不确定或不准确2012-5-223(3) 非适定性问题（病态问题）由欠定导致解不存在、不唯一或不稳定（不连续）其中之一的问题。
涉及存在性、唯一性、稳定性(4) 非适定性问题的求解¾思路综合理论知识，先验知识和实验数据三方面，给出一种可能解集的概率分布。
¾解的存在性与唯一性：——存在性：解集非空——唯一性：有关解的可能集被唯一确定2012-5-224线性系统正问题、反问题的形式化表述A：系统传递函数X :系统输入Y :系统输出正问题：已知X、A，求Y反问题：已知Y，求X、A；已知Y、A，求X 2012-5-2252012-5-226过定问题求解[][])(Y X ˆA Y X ˆA min J min Xˆ)(A ,m Y X A ,Y AX HX ˆX ˆ声的数据分析等应用实验的数据拟合、有噪，使即求可用最小二乘法求解，。
列满秩设对于过定问题，有维列向量。
为维列向量，为矩阵，为已知−−==>×=n rank n m n n m2012-5-227欠定问题的求解？问题：准确性？倾向性给出合理的解。
5谱估计(概述和经典法)分解
xx (m)Ex(n) x (n m)
N 1 jm Pxx () Pxx () lim x(n) x (n m) e N 2 N 1 m n N
1 N jn j ( n m ) lim x(n)e x (n m)e N 2 N 1 n N m
N 1 n 0 2
1 ˆ Pxx ( ) N
x(n)e
jn
1 2 X N ( ) N
进行功率谱估计(不通过自相关函数的估计)
将已知数据序列的傅立叶 变换的模的平方除以序列 长度作为功率谱的估计
计算效率高 频率分辨率低
1
• 研究现状
经典谱估计：
引
言
固有缺陷：原因：“加窗效应” 频率分辨率低 原因：加窗截取，认为窗以外的数据为零。
1
引
言
• 功率谱估计的应用
在信号处理的许多场所，要求预先知道信号
的功率谱密度(或自相关函数)。
常常利用功率谱估计来得到线性系统的参数
估计。
从宽带噪声中检测窄带信号。
• 功率谱估计的应用
谱估计的分辨率可以粗略地定义为能够分辨出的 二个分立的谱分量间的最小频率间隙(距)。 例如：有一个随机信号，它包括二个频率相差1Hz振 幅相等的正弦波以及加性白噪声(白色噪声的方差是 正弦波功率的10％)。
N
2
功率谱的 真实值
2
才有意义
N 1 j n Pxx ( ) lim E x ( n ) e N 2 N 1 n N
1
• 谱分析
引
言
用有限的N个样本数据来估计平稳随机过 程的功率谱密度。
经典谱估计与现代谱估计
基于高阶谱的相位谱估计
❖ 自相关函数丢失了信号的相位特性，而累积量可以得到 信号的相位谱。
❖ 实际应用中，基于三阶累积量的双谱和基于四阶累积量 的三谱已经够用。
27
基于高阶谱的模型参数估计
❖ 基本原理
• 与AR功率谱估计(即单谱估计)相类似，AR过程的多谱 估计与已知的多谱相匹配的程度，也可用线性预测的多
则有
H () H () e j ()
Bh (1,2 ) H (1) H (2 ) H (1 2 )
且有
(1,2 ) (1) (2 ) (1 2 )
By (1,2 ) Bh (1,2 )] [当y(n) h(n M )时]
这表明双谱包含信号模型的相位信息 ( )；
而功率谱 S()不含相位信息 。 26
量就是它们高阶矩的差。故有如下累积量的物理意义。
14
高阶统计量
❖ 累积量的物理意义
➢物理意义
累积量衡量任意随机变量偏离正态(高斯)分布的程度
• 一阶累积量－数学期望:描述了概率分布的中心
• 二阶累积量－方差： 描述了概率分布的离散程度
• 三阶累积量－三阶矩： 描述了概率分布的不对称程度
➢偏态与峰态
❖ 性质
m1 m2
• 三阶相关函数的对称性 • 双谱的对称性、周期性和共轭性
25
三阶相关与双谱及其性质
❖确定性序列的双谱
设h(n)表示有限长确定性序列，其双谱可表示为
Bh (1,2 ) H (1)H (1)H *(1 2 )
其中
H ( ) h(n)e jn
❖双谱中的相位信息n
设
Bh (1,2 ) Bh (1,2 ) e j (1,2 )
j (11 ｋ1ｋ1 ) k 1
基于极大熵谱估计的径流周期分析
序 列随 时 间变 化而 呈现 出的周期 性规律 性 的变化 １ ．
１ 极大熵谱法
熵 （Ｅ ｎ ｔ ｒ ｏ ｐ ｙ ） 是衡 量 系统混 乱程 度 、不确 定性 或无序 状态 的一个 量度ｐ Ｊ ． 从 熵 的概 念被 引入水 文领 域到现 在
近２ ０ 多年的时间里， 熵 已经成为水文学研究甚至水资源领域研究中分析计算水文影响要素中的不确定性影响因 素的一种行之有效 的工具． 国内外不少专家学者通过熵理论这条途径在水文甚至水资源领域做 了大量工作， 并 且 已经 取得 了相 当喜人 的成绩 Ｊ ．极大熵 谱法（ Ｍａ ｘ ｉ ｍｕ ｍ Ｅ ｎ ｔ ｒ ｏ ｐ ｙ Ｍｅ ｔ ｈ ｏ ｄ ） 实施运 行 的基 本思路 是１ ２ １ ：把 观测数 据 序列以外 的数据看作是随机 的不确定的任意存在， 然后在信息数据系列熵达到最大的基础上， 将假设存在的未 知 的那一 部分 数据 （ 即上一句 所讲 的假 想 的任意 存在 的数据 ） 利 用相 关 函数在取 得 最佳 参数 的前 提下通 过 迭代 方 法推 算 出来，从而得 到功 率谱 ． 应 用极 大熵 谱 法分析 一定 时 间段 内的数据 系列 ，可 以通 过一 定 的函数 和合 理 的参数科 学 的加 长相 关数据 序 列 的长度 ． 应 用这种 方 法加长 序列长 度 的优点 是： １ ． 减小谱 分析 估计 的误差 ； ２ ． 提 高 系统 的分辨率 ； ３ ． 避 免 能量 泄 露 ；４ ． 避 免 窗函数 的方法 选择 所造成 的 问题 ；５ ． 降低 自身 局 限性 所产 生的 影响．基于 以上 优点应 用极 大熵谱 法 分 析数 据 系列 得 到 的结果 误差 最小 ，并且 合 乎 自然 ． 综 上 所述 ，本文选 取 应 用极 大熵谱 法 来分 析 河川 径 流 的周期 变化 ，以期得 到理 想 的结 果． １ ． １ 极大熵谱法的原理 极大熵谱分析法属于典型的非线性 的谱分析方法， 首先它将原始采样数据序列通过双向递推方法最佳 的外 延至无穷， 然后用所得新的相 比原序列更长而又不失真的数据序列做功率谱估计． 之所以采取上述做法， 是因
作业——现代谱估计法
现代谱估计法（殷恒刚 107010254）1. 现代谱估计简介经典谱估计法可以利用FFT 计算，因而有计算效率高的优点，在谱分辨力要求不是太高的地方常用这种方法。
但频率分辨率地是经典谱估计的一个无法回避的缺点。
如周期图法在计算中把观测到的有限长的N 个数据以外的数据认为是零，而BT 法仅利用N 个有限的观测数据作自相关函数估计，实质上也就是假设除已知数据外的自相关函数全为零，这些显然都是与事实不符的。
为了克服以上缺点，人们提出了平均，加窗平滑等方法，在一定程度上改善了经典谱估计的性能。
但是，经典谱估计，始终无法解决，频率分辨率与谱估计稳定性之间的矛盾，特别是在数据记录长度比较短时，这一矛盾尤其突出。
现代谱估计理论也就是在这种背景下产生的，以1967年Burg 提出的最大熵谱分析法为代表的现代谱估计法，不认为在观察到的N 个数据以外的数据全为零。
因此克服了经典法的这个缺点，提高了谱估计的分辨率。
后来发现线性预测自回归模型法(简称AR 模型法)与Burg 的最大熵谱分析法是等价的，它们都可归结为通过Yule-Walker 方程求解自回归模型的系数问题。
目前常用的求自回归模型系数的算法有三种：①为Levinson 递推算法；②为Burg 递推算法；③为正反向线性预测最小二乘算法。
2.现代谱估计的三种模型由信号与系统相关知识可知，任何具有有理功率谱密度的随机信号都可以看成是由一白噪声激励一物理网络所形成。
如图一所示。
我们可以先假设一个模型，然后根据已记录数据估计参数值，这样就不用假设N 以外的所有数据全为零，这就克服了经典谱估计的缺点。
图1一个系统的Z 域传递函数的一般形式如下：00()()ba n jjj n i ii bzY z X z a z-=-==∑∑ (1.1)参数建模的任务也就是如何确定阶数a n 和b n 以及系统数组(1,,)i a a i n = 和(1,,)j b b i n = 。
数字信号处理4
期图的统计平均值趋于它的真值，因此周期图属于渐近无偏估
计。
第四章 功 率 谱 估 计 2) 周期图的方差 由于周期图的方差的精确表示式很繁冗，为分析简单起见，
通常假设x(n)是实的零均值的正态白噪声信号，方差是σ
ˆ (e j ) PBT
式中
m ( M 1)
ˆ rxx (m)e
- jωω
（4.2.3）
w(m) -(M-1)≤m≤(M-1) w(m) , M≤N 其它 0
（4.2.4）
第四章 功 率 谱 估 计 有时称(4.2.3)式为加权协方差谱估计。它要求加窗后的 功率谱仍是非负的，这样窗函数w(m)的选择必须满足一个原 则，即它的傅里叶变换必须是非负的， 例如巴特利特窗就满 足这一条件。 为了采用FFT计算（4.2.3）式，设FFT的变换域为(0~L-1)，
(4.2.7) 按照（4.2.1）式估计自相关函数，我们已经证明这是渐近一 致估计，但经过傅里叶变换得到功率谱的估计，功率谱估计却 不一定仍是渐近一致估计，可以证明它是非一致估计，是一种 不好的估计方法。下面我们将证明：BT法中用有偏自相关函数 进行估计时，它和用周期图法估计功率谱是等价的，因此BT 法估计质量和周期图法的估计质量是一样的。
第四章 功 率 谱 估 计 现代谱估计以信号模型为基础，图4.1.1表示的是x(n)的 信号模型，输入白噪声w(n)均值为0，方差为σ 谱由下式计算：
2 Pxx (e j ) w | H (e j ) |2
2
w，x(n)的功率
（4.1.7）
如果由观测数据能够估计出信号模型的参数，信号的功率谱可 以按照（4.1.7）式计算出来，这样,估计功率谱的问题变成了 由观测数据估计信号模型参数的问题。模型有很多种类，例如 AR模型、 MA模型等等，针对不同的情况，合适地选择模型，
时间序列分析与动态数据建模
(5-1-17)
要导出能使 为最大的功率谱 。这个问题可以通过求泛函极值来解决。以 表拉格伦日乘子作泛函
其变为
达到极值的条件为 ,故应有 代回式（5-1-17）可得 ，即 必须为常数 ，因此只有当过程为白噪声时才能使熵率达到最大，这里约束条件是方差为 。
5.2 极大熵准则的谱估计
由 得
(5-2-2)
这里应-2）代入式（5-2-1）得
(5-2-4)
用后移算子 代替变量 ，上式所写成
(5-2-5)
该积分沿B平面单位园进行，基于式（5-2-3）有
(5-2-6)
其中：
不难看出
故
多项式 的全部零点均在B平面单位圆外，而 的全部零点均在单位圆内，两部分零点是互为倒数分布的。将式（5-2-6）代入式（5-2-5）得
阶数从1起 和 的递推计算将利用自相关函数阵的对称托普里茨（Toeplitz）性质，以二阶向三阶递推为例，由式（5-2-8）写出
(5-3-2)
如果将该矩阵所对应的议程组及变量的顺序反过来，则有
(5-3-3)
把式（5-3-2）的相关阵放大到4×4；可得
(5-3-4)
其中
(5-3-5)
对式（5-3-3）也作类似扩大，然后将两个4×4阵按下面方式组合
第五章目录
第五章 极大熵谱估计
1967年伯格(J．P．Burg)刚一发表：极大熵谱分析”的方法就在工程和科技界产生很大影响，成为相当流行的功率谱密度估计方法。伯格在谱估计准则的提出和具体算法上有所创新，由此演变出来的算法有很多种，被统称为“现代谱分析”。
5.1谱熵和极大熵准则
1．问题的提出
从19世纪未舒斯特(Schuster)在利用富氏级数分析信号隐含的周期特性时提出了“周期图”，到1985年由伯来克曼和杜奇提出了谱估计的“间接法”和1965年FFT算法提出后流行的“直接法”，它们本质上都是把原序列经过开窗截取处理来获得对序列谱密度的估计。不论对数据加窗还是对自相关函数加窗，其目的都在于使谱估计的方差减小，然而加窗不可避免地产生频域“泄漏”，使功率谱失真，尽管在窗函数形式的选择和处理方法上做了很多分析研究，使得以周期图为基础的方法达到相当成熟和实用的程度，但是任何抑制旁瓣的方法都是以损失谱分辨力为代价的，这个难题在数据量少的情况下更为突出。