第二章参数估计理论_2

MAP A
⎡ 1 p ( x A) p A ( A) = exp ⎢ − 2 2 (2πσ w )N / 2 ⎣ 2σ w 1
⎤ ⎡ ( A − μ A )2 ⎤ 1 exp ⎢ − ∑ [ x(n) − A] ⎥ ⋅ ⎥ 2 2 2σ A ⎦ n =0 ⎣ ⎦ 2πσ A
N −1 2
上式两边取对数，并对A求导使导数等于零得： ˆ AMAP
——最大后验概率（MAP）估计与MLE的关系
∂ ln p (θ ) = 0 ∂θ
⇒ ∂ ⎡ ln p ( x θ ) ⎤ = 0 ⎦ ∂θ ⎣ 似然函数
ˆ ⇒ θ = arg max p (θ x )
θ
∂ ⇒ ∂θ ∂ ⇒ ∂θ ∂ ⇒ ∂θ
当 θ 服从均匀分布，采用 均匀损失函数的Bayes估计 ln p (θ x ) = 0 （MAP）与最大似然估计 （MLE）等价！ ⎡ln p ( x θ ) + ln p(θ ) − ln p ( x ) ⎤ = 0 ⎣ ⎦ 当 θ 服从均匀分布
⎬ ˆ −θ > δ ⎪ θ ⎭
ˆ θ −θ < δ ⎫ ⎪
ˆ Cunif ( θ , θ ) p ( x ,θ )dxdθ ∫ p(θ x ) = p ( x θ ) p(θ ) = p( x ) p ( x θ ) p (θ )
ˆ ⇒ θ = arg max p (θ x )
θ
ˆ ⇒ θ = arg max p ( x θ ) p(θ )
Bayes 估计（6）
1 ⎡ 1 N −1 2⎤ 1 − A2 / 2 exp ⎢ − ∑ [ x(n) − A] ⎥ e N /2 (2π ) ⎣ 2 n=0 ⎦ 2π p( A x ) = 1 ⎡ 1 N −1 2⎤ 1 − A2 / 2 ∫(2π )N / 2 exp ⎢ − 2 ∑ [ x(n) − A] ⎥ 2π e dA n=0 ⎣ ⎦
Bayes 估计（2）
因此，在Bayes估计中，假设所要估计的参数θ 是一个随机变量， Bayes估计的是该随机参数的一次实现的值。 ˆ 那么估计的均方误差mse(θ )定义为： ˆ ˆ mse(θ )＝∫∫ (θ − θ ) 2 p ( x ,θ )dxdθ ˆ ∂mse(θ ) ∂ ˆ ＝ ∫∫ (θ − θ ) 2 p ( x ,θ )dxdθ ⇒ ˆ ˆ ∂θ ∂θ 令其等于零 ∂ ˆ (θ − θ ) 2 p ( x ,θ )dxdθ＝0 ˆ ∫∫ ∂θ ˆ ⇒ θ＝g ( x ) 可以实现。 ⇒
2 2 σA σA 1 N −1 = 2 ∑ x ( n) + σ 2 + σ 2 / N μ A 2 σ A + σ w / N N n =0 A w
Bayes 估计（11）
最大后验概率估计 ˆ arg min Runif = E{Cunif ( θ ,θ )}
θˆ
p (θ x ) p( x ) = p( x θ ) p(θ )
当N趋于无穷时，估计子均方误差mse趋于零，相当于要求其 偏差和方差均趋于零，这时称该估计子为一致估计。 最小方差无偏估计器（MVU）：对于确定性参数的估计，最理 想的情况是设计一个无偏估计器，使其估计方差最小，称MVU。
确定性参数与随机参数估计
确 定 性 参 数 的估计： ( x ; θ ) p 其中： θ 是一个确定性（非随机变量）但未知需要估计的参数 p ( x ; θ ) 是一个与 θ 有关的观测向量 x的概率密度函数 ( PDF ) 随机 参数的估计： ( x , θ ) p 其中： θ 是一个随机变量，且未知需要估计的参数 p ( x , θ ) 是一个与 θ 有关的观测向量 x和参数 θ 的 联 合 PDF p ( x , θ )＝ p ( x θ ) p (θ ) = p (θ x ) p ( x ) p ( x θ )是 θ 取 值 情 况 下 x的 条 件 PDF p (θ x )是 x取值情况下 θ 的条件 PDF 先验概率 后验概率
∫
Bayes 估计（4）
ˆ θ = ∫ θ p(θ x )dθ = E{θ x} 说明最小均方误差准则下的Bayes估计为：已知一个 观测向量x条件下的参数θ的条件期望值（条件均值）。后验均值
通常情况下，后验概率p(θ x ) 不容易获得，因此常用下式
p (θ x ) = p ( x θ ) p (θ ) p( x ) = p ( x θ ) p (θ )
∫ p( x
A) p A ( A) dA
1 ⎡ 1 N −1 2⎤ 1 − A2 / 2 exp ⎢ − ∑ [ x ( n ) − A] ⎥ e N /2 (2π ) ⎣ 2 n=0 ⎦ 2π = 1 ⎡ 1 N −1 2⎤ 1 − A2 / 2 ∫ (2π )N / 2 exp ⎢ − 2 ∑ [ x ( n) − A] ⎥ 2π e dA n=0 ⎣ ⎦
p(θ x ) = 0
最大似然估计（MLE）（1）
基本思想：在对被估计量没有任何先验知识的情况下， 利用已知的若干观测值来估计该参数。
似然函数定义： 考 虑 N 个 样 本 x1 ,..., x N ， 或 用 随 机 向 量 x = ( x1 ,..., x N ) 表 示 。 设联合条件分布密度函数 f ( x θ )＝ f ( x1,..., x N θ ) 存 在 且 有 界 。 将 其 视 为 真 实 参 数 θ的 函 数 ， 称 之 为 似 然 函 数 。
ˆ 最大似然估计——使似然函数最大的估计θ，即 ˆ θ = arg max p( x
常取对数似然函数作为似然函数 （θ） ln p ( x θ ) = L 此时，最大似然估计由 ∂ L(θ ) = 0 ∂θ 求得。
最大似然估计（MLE）（3）
最大似然估计的性质 1. 最大似然估计一般不是无偏的，但偏差可以通过对估 计值乘以一个合适常数消除。 2. 最大似然估计是一致估计。 3. 最大似然估计给出优效估计，如果存在的话。 4. 对于大的样本点数，最大似然估计为一高斯分布。
Bayes 估计（1）
ˆ 在经典的确定性参数估计中，利用均方误差mse(θ )最小化，可能得不到 可实现的估计器。因为θ 是确定量，不参与概率空间的运算，即 ˆ ˆ mse(θ )＝ (θ − θ ) 2 p( x;θ )dx
∫
ˆ ∂mse(θ ) ∂ ˆ ＝ ∫ (θ − θ ) 2 p( x;θ ) dx ⇒ ˆ ˆ ∂θ ∂θ 令其等于零 ∂ ˆ ⇒ (θ − θ ) 2 p ( x;θ )dx＝0 ˆ ∂θ ∫ ˆ ⇒ θ＝g (θ ) 其中包含了待估计的参数，因此无法实现。
θ
∫ p( x θ ) p(θ )dθ
ˆ ⇒ θ = arg max [ln p ( x θ ) + ln p(θ )]
θ
例： 设观测值x(n) = A + w(n), n = 0,..., N − 1, ⎡ ( A − μ A )2 ⎤ p A ( A) = exp ⎢ − ⎥， 2 2 2σ A ⎦ 2πσ A ⎣ 1 1
仍为高 斯分布
⎡ 1 ( N + 1)1/ 2 NX 2 ⎤ exp ⎢ − ( N + 1)( A − ) ⎥ = 1/ 2 N +1 ⎦ (2π ) ⎣ 2
1 X= N
∑ x ( n)
n =0
N −1
NX NX ˆ ∴ A = E ( A x )＝∫ Ap ( A x )dA = = N +1 N +1
Bayes 估计（7）
矢量情况
⎡ E{θ1 x} ⎤ ⎢ ⎥ ˆ = E{θ x} = ⎢ E{θ 2 x} ⎥ θ ⎢ ⎥ ⎢ ⎥ ⎢ E{θ N −1 x}⎥ ⎣ ⎦
Bayes 估计（8）
其它损失函数的情况
均匀损失函数
⎧0 ⎪ ˆ Cunif ( θ , θ ) = ⎨ ⎪1 ⎩ ⎬ ˆ θ −θ > δ ⎪ ⎭
∫ p( x θ ) p(θ )dθ
θx
此时，MMSE Bayes估计得到的最小均方误差为 ˆ Bmse(θ )＝ [ E (θ x ) − θ ]2 p ( x ,θ )dxdθ = C
∫∫
Cθ x为θ的条件协方差。
Bayes 估计（5）
例： 设观测值 x ( n ) = A + w( n ), n = 0,..., N − 1, 其中 w( n )为零均值 AWGN，方差为1，且估计量 A服从零均值方差 1 − a2 / 2 p A (a ) = e 为1的高斯分布，即 ， 求参数A的估计 2π 1 ⎡ 1 N −1 2⎤ exp ⎢ − ∑ [ x ( n ) − A] ⎥ 解： p ( x A) = N /2 (2π ) ⎣ 2 n=0 ⎦ p ( A x )＝ p ( x A) p A ( A)
Bayes 估计（10）——最大后验概率（MAP）估计的例子
2 其中w(n)为零均值AWGN，方差为σ w，且估计量A服从如下高斯分布，
求参数A的MAP的Baye估计。
⎡ 1 N −1 2⎤ exp ⎢ − 2 ∑ [ x(n) − A] ⎥ 解： p ( x A) = 2 N /2 (2πσ w ) ⎣ 2σ w n =0 ⎦ ˆ A = arg max [ln p ( x A) + ln p( A)]
ML
1 N −1 1 N −1 ˆ E{ AML } = E{ ∑ x(n)} = E{ ∑ [ A + w(n) ]} N n =0 N n =0 1 N −1 ˆ = A + E{ ∑ w(n)} = A ⇒ AML是无偏估计 N n =0
∂2 −N 由上次课例题得知： ln f ( x A ) = 2 2 σ ∂A ⎡ ∂2 ⎤ N ⇒ I ( A ) = − E ⎢ 2 ln f ( x A ) ⎥ = 2 ⎣ ∂A ⎦ σ σ2 1 ˆ ˆ ⇒ var( A ) = E {( A − A ) 2 ≥ = I ( A) N ∂ ˆ ln f ( x A ) = K ( A )( A − A )， 而 事 实 上 ， 有 等号成立条件是 ∂A 1 N −1 ∂ ln f ( x A )＝ 2 ∑ [ x ( n ) − A ] σ n=0 ∂A =