医学信号处理参数估计(精)

7
医学信号处理：参数估计
由上式内项对 s 求导有：
2 d ˆ) p( s | x) ds 0. (s s ˆ ds

则 有 2




ˆ ) p (s | x )ds 0 (s s
p( s | x)ds 1.

由于 故

－
ˆMS sp(s | x)ds E (s | x).. s

1
2 E ln p ( x s ) s
满足此式等号成立的估计称为最小方差无偏估计。
15
医学信号处理：参数估计
§5－4、线性估计
求 s 的最佳线性均方估计(Linear square estimation)，即将 s 表示成 观测 x 的线性函数，然后再求 s 的最佳估计。
可以得出：
N E s hi xi x j i 1
E sx j hi E xi x j E xj
i 1
N
0,.. j 1, 2,...N
容易看出系数 hi 和 只决定于 hi 和 θ 的一、二阶矩。
ˆ s
ˆ s

故RMS最小即等效为上式括号[ ]内项最小。于是，可令 上式对 s ˆ 的导数为零，则有：

ˆabs s

p(s | x)ds

ˆabs s
p(s | x)ds.
s, x )
ABS估计应取在后验概率密度函数面积的 平分线上。
9
医学信号处理：参数估计
情况(c)均匀估计代价函数
Runf [
ˆ 2
p ( s | x) ds ˆ
ˆ 2 ˆ 2


2
p ( s | x) ds ] p ( x) dx
s, x )



p ( x ) 1
p ( s | x ) ds dx
[ ]号中的后面一项为： ˆ 2 ˆ s s ˆ | z )ds. ( p( s | x) p( s ˆ 2 2 2 当此式最大，即p(s|x)最大时，Runf最小。 此时 s ˆMAP称为最大后验估值(Maximum a Posteriori)； p(s | x) ln p(s | x) 即满足 0 s s sˆMAP s ˆMAP s s
波形估计－被估计的量是随机过程（动态估计）
1
医学信号处理：参数估计
数学描述： 设x=x1,x2,...,xN为随机变量s的独立同分布的N个观测 样值，而f(x1,x2,...,xN)是用来估计参量a的观测样值函 数（统计量），称：
a＝

f(x1,x2,...,xN) （3－1）
E[ a]=E[ f(x1,x2,...,xN) 。
N
解此似然方程，可得最大似然估计：
ln p( z m)
1 于是可得最大似然估计为： m ML ＝ N

m k 1 N 1 N 2 ( zk m) 0 N k 1
2

N
zk m

N
k 1
zk
2

Nm
2
如果要估ABS、 MAP、MS，还需 要已知p(s)。
MS估计为
ˆMS s
1 s p ( x | s )ds p( x)





s p( x | s )ds

p( s ) p( x | s )ds
11
医学信号处理：参数估计
§5－3、极大似然估计
(Maximum Likelihood Estimation-为 s 的最大似然估计。L(s)最大等效 ln L(s)最大。要求 s 的最 大似然估计 s ，必需解似然方程：

ˆMS ，表示已知x时，s 的条件均值。 此最小均方估值 s
8
医学信号处理：参数估计
情况(b)绝对值误差情况下，风险函数为：
Rabs [

ˆ p( s | x)ds] p( x)dx. ss
上式括号[ ]内项为：
ˆ s) p(s | x)ds＋ （s s ˆ) p(s | x)ds. （s

ln p ( x s ) 0. s
此式为必要条件，而不是充分条件。
12
医学信号处理：参数估计
例：在假设 H1 和 H0 下，接收信号为：
H1:Zk=m+vK, k=1,2,...N H0:Zk=vK, k=1,2,...N
当常数 m 为未知时，求 m 的最大似然估计 m ML 。
解：用前面的检测理论是判决那个假设为真。 本节的估计理论，H1 假设为真，vK 为高斯噪声。本例中， 参量估计 s ＝ m ML ，其均值为 m, 独立同分布，似然函数为：
e 2 e E 2 E e hi h h i i 2 E exi 0,..i 1, 2,...N
N E h j x j s xi 0,..i 1, 2,...N j 1
由此式求出的估计值，称为线性均方估计值。
可分 0 和 0 两种情况来讨论。
18
医学信号处理：参数估计
0 的情况：
2 N 2 2 ˆ min E s hi xi min E e min E s s i 1
16
医学信号处理：参数估计
ˆ 可用观测值 xi, i=1,....,N 的线性函数 随机变量 s 的估值 s
来表示：
ˆ hi xi s
i 1
N
式中 hi －待确定的未知权值
－待定的系数。 选择 hi 和 ，使目标函数 J 最小，即是使均方误差最小
17
医学信号处理：参数估计
(c)均匀代价函数
ˆ) 2 (s s
ˆ 1 ， s s 2 ˆ) C ( s, s . 0， ˆ ss 2
ˆ ss
ˆ ss
ˆ ss
ˆ ss
6
医学信号处理：参数估计
情况(a)平方误差情况下，风险函数最小的估计量称为 最小均方估值(minimum mean square estimation) 其风险函数为：

a 为参量a的估计量。的均值即为 ˆ a
2
医学信号处理：参数估计
参数估计方法：
非线性估计——已知待估参数的先验概率和条件先 验概率，依据某些最优判据，通过非线性数理统计 算法估计参数；
随机参量－其特性用概率密度来表征－贝叶斯估计
非随机参量－仅为一般的未知量－最大似然估计 线性估计——在估计参数a为观察值x的线性函数， 在最小均方误差意义下进行估计。
22
医学信号处理：参数估计
递归线性最小均方估计
观察值：xj=s+nj, j=1,2,…… 先验统计信息： E (n j ) E ( sn j ) 0
线性最小均方估计放松了对概率的要求，只要知道观测值和被估计值 的一、二阶矩：数学期望、方差、协方差就可以进行估计，但必需采 用线性函数。 线性最小均方准则－使线性估计误差的均方为最小。 对于随
机参量的估计－高斯分布：一、二阶矩可完全代表其概率统计特性。对于 非随机参量的估计－线性观测下：线性最小均方估计＝＝加权最小二乘 法。
2 E e
h
j 1 ij
N
j
gi ,...i 1,...N
19
医学信号处理：参数估计
式中：
gi E sxi
i j E x i x . j
写成矩阵形式为：
H g
ij E xi x j 式中： T T H h1 ,.., hN , g g1 ,..., g N ...(3 36)
一致估计
N
ˆ )2 0 lim E (a a
4
医学信号处理：参数估计
§5－2、贝叶斯估计
是将贝叶斯判决理论，推广到对随机参量估计的贝叶斯估计 理论，都是使平均代价最小。 代价函数
ˆ 是估计量， ˆ ,s)是代价函数， 若 s 是一参量， s 称 C( s ˆ 和 s 的实值函数。 它是 s
14
z
k 1
N
k
医学信号处理：参数估计
△ Cramer-Rao 下限 设 x1,x2,...,xN 为随机变量 x 的独立同分布的 N 个观测 样值，p(x|s)为 x 的依赖参量 s 分布密度函数，且 E[ s ]=s，则有 Cramer-Rao 下限
2 ˆ Var s E s s
RMS





ˆ) p(s, x)dsdx (s s
2
由于 p( s, x) p(s | x) p( x). 则风险函数为：
ˆ) p(s | x)ds] p( x)dx. RMS [ (s s



2
∵p(x)≥0 故MS最小即等效为上式括号[ ]内项最小
3
医学信号处理：参数估计
§5－1、估计准则
估计偏差
估计方差
ˆ] a ba ˆ E[a
2 ˆ ˆ a E [ a E （ a ） ] ˆ
2 2 2 估计值的均方误差 Da ˆ ˆ a ˆ ba ˆ E(a a)
2 2 有效估计 E[a ˆ1 E ˆ1） ˆk E ˆk） （a ] E[a （a ]
10
医学信号处理：参数估计
最后，将三种情况估计式中后验概率密度函数借助 于贝叶斯公式用先验概率代替得到：