随机信号分析-估计理论
合集下载
第2章随机信号分析
第二章随机信号分析随机信号分析确定性信号分析的不同与联系：随机信号分析、确定性信号分析的不同与联系：随机信号分析的主要内容：随机过程的一般表述平稳随机过程高斯过程窄带随机过程正弦波加窄带高斯过程稳随机过过线性系平稳随机过程通过线性系统2010-9-271引言信号：一般是时间的函数确定信号：可以用确定的时间函数表示的信号 周期信号和非周期信号能量信号和功率信号基带信号和频带信号模拟信号和数字信号随机信号：具有随机性，可用统计规律来描述 通信过程中要发送的信号是不可预知的，因此具有随机性，是随机信号，但信号的统计特性具有规律性。
噪声和干扰是随机的信号噪声和干扰是随机的信号；无线信道特性（可理解为系统传递函数）也是随机变2010-9-272化的。
随机过程：与时间有关的函数，但任一时刻的取值不确定(随机变量)随机过程可以看成对应不同随机试验的时间过程的集合。
如n(或无数）台性能完全的接收机输出的噪声波形，每个波形都是一个确定函数，为一个样本函数，各波形又各不相同。
也可看成一个接收机，不同实验输出不同的样本函数。
随机过程是所有样本函数的集合。
2010-9-2731随机过程的一般表述1 随机过程的般表述(1)样本函数：随机过程的具体实现样本空间所有实现构成的全体~()i x t )()t 样本空间：所有实现构成的全体所有样本函数及其统计特性构成了随机过程{}1~(),,),i S x x t =……~()t ξ2010-9-274随机过程是随机变量概念的延伸，即随机变量引入时间变量，成为随机过程。
每一个时刻，对应每个样本函数的取值{i(),,,,}{x(t),i=1,2,…,n}是一个随机变量。
固定时刻t1的随机变量计为ξ(t1)。
随机过程看作是在时间进程中处于不同时刻的随机变量的集合。
2010-9-27511随机过程的n维分布函数或概率密度函数往往不容易或不需要得到，常常用数字特征部分地表述随机过程的主要特征。
第四章 估计理论
第四章 估计理论
估计理论通常是对以下三种情况而言： 估计理论通常是对以下三种情况而言： 一种情况是指根据观测样本直接对观测样本的 各类统计持性作出估计，如观测样本的均值， 各类统计持性作出估计，如观测样本的均值，均 方差，各阶矩，各阶累量，相关函数等作出的估 方差，各阶矩，各阶累量， 计，这类估计在随机信号分析和处理中是经常遇 到的一类估计。 到的一类估计。 第二种情况是根据观测的样本，对观测样本中的 第二种情况是根据观测的样本， 信号部分的未知特定参量作出估计 未知特定参量作出估计----参量估计 信号部分的未知特定参量作出估计 参量估计 第三种情况则是根据观测样本对随时间变化的 信号s(t) 作出其波形估计 过程（或波形）估计。 作出其波形估计 过程（或波形）估计。 波形估计---过程 信号
θˆ = ∫ θ f (θ \ Y ) dθ = E[θ \ Y ]
θ
θ 的条件均值
ˆ |≥ ∆ ˆ ) = 1, | θ − θ C (θ , θ 2 0, E lse
C (θˆ\Y ) = ∫ C (θ , θˆ ) f (θ \ Y ) d θ
θ
=
∫
θˆ −
∆ 2
−∞
ˆ ) f (θ \ Y ) dθ + ∞ ∆ (θ − θˆ ) f (θ \ Y ) d θ (θ − θ ∫ˆ
ˆ ˆ C(θ\Y) =∫ C(θ ,θ ) f (θ \ Y )dθ
θ
条件平均估计代价
ˆ 使平均估计代价最小等价于条件平均估计代价 C(θ\Y) 最小 .
ˆ) =| θ − θ |2 ˆ C (θ , θ
ˆ) = E （θ − θ ) 2 为估计的均方误差 。 ˆ 此时 C (θ ˆ 使 C (θ )最小的估计又称为最小均方误差 估计。
估计理论通常是对以下三种情况而言： 估计理论通常是对以下三种情况而言： 一种情况是指根据观测样本直接对观测样本的 各类统计持性作出估计，如观测样本的均值， 各类统计持性作出估计，如观测样本的均值，均 方差，各阶矩，各阶累量，相关函数等作出的估 方差，各阶矩，各阶累量， 计，这类估计在随机信号分析和处理中是经常遇 到的一类估计。 到的一类估计。 第二种情况是根据观测的样本，对观测样本中的 第二种情况是根据观测的样本， 信号部分的未知特定参量作出估计 未知特定参量作出估计----参量估计 信号部分的未知特定参量作出估计 参量估计 第三种情况则是根据观测样本对随时间变化的 信号s(t) 作出其波形估计 过程（或波形）估计。 作出其波形估计 过程（或波形）估计。 波形估计---过程 信号
θˆ = ∫ θ f (θ \ Y ) dθ = E[θ \ Y ]
θ
θ 的条件均值
ˆ |≥ ∆ ˆ ) = 1, | θ − θ C (θ , θ 2 0, E lse
C (θˆ\Y ) = ∫ C (θ , θˆ ) f (θ \ Y ) d θ
θ
=
∫
θˆ −
∆ 2
−∞
ˆ ) f (θ \ Y ) dθ + ∞ ∆ (θ − θˆ ) f (θ \ Y ) d θ (θ − θ ∫ˆ
ˆ ˆ C(θ\Y) =∫ C(θ ,θ ) f (θ \ Y )dθ
θ
条件平均估计代价
ˆ 使平均估计代价最小等价于条件平均估计代价 C(θ\Y) 最小 .
ˆ) =| θ − θ |2 ˆ C (θ , θ
ˆ) = E （θ − θ ) 2 为估计的均方误差 。 ˆ 此时 C (θ ˆ 使 C (θ )最小的估计又称为最小均方误差 估计。
随机信号分析课件
密度函数
连续型随机变量
？
连续取值而非连续型或混合
型随机变量
分布函数定义：设(S，F ，P)是一概率空间，X(s)是定义在其上的 随机变量，R1={x:-∞<x< ∞}，对于任意x∈R1，令
FX(x)=P[X≤x] 称FX(x)为随机变量X的分布函数。
按分布函数的定义，当a<b时， P[a＜X≤b]如何用分布函数表示？
P[B|A]=P[B] P[A∩B]=P[A]P[B]
两个事件的独立性 具有相互对称性质
P[A|B]=P[A]
在概率独立性的定义中，一般是使用乘积公式，即 概率范畴的
P[A∩B]=P[A]P[B] 注意：互斥事件与统计独立的区别。
统计独立---- P[A∩B]=P[A]P[B]
概念 集合范畴的
概念
互斥----A∩B=φ ，P[A∩B]=P[φ]
几何概率的基本性质：
1 0P[A]1
2
P[S] 1
3
Pkn1
Ak
n k1
P
Ak
1.1.3 统计概率
f (n) A
nA n
事件频率的性质：
1Leabharlann 0f (n) A1
2
f (n) S
1
n
3
(n )
(n )
f f n Ai
Ai i 1
i 1
几种概率共有的基本性质：
P { X 2 } 1 P { X 2 } 1 P { X 0 } P { X 1 } 1 0 . 9 4- 4 0 8 0 0 0 3 . 0 9 0 . 9 0 ， 98 2
随机信号分析-估计理论90页PPT
随机信号分析-估计理论
46、法律有权打破平静。——马·格林 47、在一千磅法律里，没有一盎司仁 爱。— —英国
48、法律一多，公正就少能 使犯罪 得到偿 还。— —达雷 尔
50、弱者比强者更能得到法律的保护 。—— 威·厄尔
61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
谢谢！
46、法律有权打破平静。——马·格林 47、在一千磅法律里，没有一盎司仁 爱。— —英国
48、法律一多，公正就少能 使犯罪 得到偿 还。— —达雷 尔
50、弱者比强者更能得到法律的保护 。—— 威·厄尔
61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
谢谢！
随机信号分析实验：随机序列的产生及数字特征估计
实验一 随机序列的产生及数字特征估计实验目的1. 学习和掌握随机数的产生方法。
2. 实现随机序列的数字特征估计。
实验原理1.随机数的产生随机数指的是各种不同分布随机变量的抽样序列（样本值序列）。
进行随机信号仿真分析时，需要模拟产生各种分布的随机数。
在计算机仿真时，通常利用数学方法产生随机数，这种随机数称为伪随机数。
伪随机数是按照一定的计算公式产生的，这个公式称为随机数发生器。
伪随机数本质上不是随机的，而且存在周期性，但是如果计算公式选择适当，所产生的数据看似随机的，与真正的随机数具有相近的统计特性，可以作为随机数使用。
(0,1)均匀分布随机数是最最基本、最简单的随机数。
(0,1)均匀分布指的是在[0,1]区间上的均匀分布，即U(0,1)。
实际应用中有许多现成的随机数发生器可以用于产生(0,1)均匀分布随机数，通常采用的方法为线性同余法，公式如下：Ny x N ky y y nn n n ===-) (mod ,110 （1.1）序列{}n x 为产生的(0,1)均匀分布随机数。
下面给出了（1.1）式的3组常用参数：① 1010=N ，7=k ，周期7105⨯≈；②（IBM 随机数发生器）312=N ，3216+=k ，周期8105⨯≈； ③（ran0）1231-=N ，57=k ，周期9102⨯≈；由均匀分布随机数，可以利用反函数构造出任意分布的随机数。
定理1.1 若随机变量X 具有连续分布函数)(x F X ，而R 为(0,1)均匀分布随机变量，则有)(1R F X X -= （1.2）由这一定理可知，分布函数为)(x F X 的随机数可以由(0,1)均匀分布随机数按（1.2）式进行变换得到。
2.MATLAB 中产生随机序列的函数 （1）(0,1)均匀分布的随机序列函数：rand用法：x = rand(m,n)功能：产生m ×n 的均匀分布随机数矩阵。
（2）正态分布的随机序列 函数：randn用法：x = randn(m,n)功能：产生m ×n 的标准正态分布随机数矩阵。
第5章随机信号分析
Rxy () 0
R xy ( )
0 的最大峰值一般不在 处。
3. 估计
直接方法：
1 R ( m ) x ( n ) y ( n m ) xy N mn 0
^
N 1 m
1 R ( m ) y ( n ) x ( n m ) yx N mn 0
求傅立叶变换，得
N 1 ^
N 1N 1 1 j m j m R ( m ) e x ( n ) x ( n m ) e x N N N m ( N 1 ) m ( N 1 ) n 0
N 1 N 1 1 j m x ( n ) x ( n m ) e N N N n 0 m ( N 1 )
^
4 自相关函数的应用
检测淹没在随机噪声中的周期信号
x ( t ) x sin( t ) 0
T / 2 1 2 R ( ) lim x sin( t ) sin[ ( t ) ] dt x 0 T / 2 T T
t 令(
) ,则 dt 1 d
R 0 )R m ) X( X(
性质3
周期平稳过程的自相关函数必是周期函数， 且与过程的周期相同。
E[ X 2 (n)]
性质4
性质5
2 R ( 0 ) = EX [ ( n ) ] X
不包含任何周期分量的非周期平稳过程 满足
m 2 lim R ( m ) R ( ) X X X
平稳随机过程
均值和时间无关，是常数；自相关函数与时间的起点无关， 只与两点的时间差有关。
随机信号第四章
θ
的条件密度函数。
f (X /θ )
∂f ( X / θ ) =0 ∂θ ⇓ θ = θ ∗ = θˆ
ML
二、准则的应用
若有 p 个待估计的参数，则解联立,2
p。
x i = θ + ni
单样本的似然函数：
，
i = 1,2
N
f (x i / θ )
f ( X / θ ) = ∏ f ( xi / θ )
∗
1 2θ
2
∑ (x
i =1
N
i
−θ )
2
4. 3 参数估计－最大后验概率估计（MAP）
一、基本思想
P(θ / X )
xi = θ + ni ， i = 1,2
1 = N
N，
θ∗
∗
= θˆ
ML
∑x
i =1
N
i
观测样本矢量
X = {x1 , x2
xN }。
∂P(θ / X ) =0 ∂θ ⇓ θ = θ ∗ = θˆ
{X }
∫
⎛ ⎞ R ⎜ θ / X ⎟ f ( X )dX ⎝ − ⎠
Λ Λ ⎡ ⎤ ⎛ ⎞ C ⎢θ , θ ⎥ f ⎜ θ / X ⎟ f ( X )dX ⎠ ⎣ − − ⎦ ⎝ − ⎫ ⎪ ⎬ ⎪ ⎭ Λ ⎡ ⎤ ⎛ ⎞ C ⎢θ , θ ⎥ f ⎜ X , θ ⎟ d θ dX − ⎠ − ⎣ − − ⎦ ⎝ ⎫ ⎪ ⎬ ⎪ ⎭
∵
∂ 2 R θˆ / X = 2 > 0, ∂ 2θˆ
(
)
∴
5．绝对误差代价函数下的 Bayes 估计
ˆ ˆ 条件风险： R θ / X = ∫ θ − θ f (θ / X )dθ
信号检测与估计理论 第一章 概论
信号的随机性及其统计处理方法
1. 信号的随机性 信号的分类：
确知信号 随机（未知）参量信号
信号的随机性及其统计处理方法
确知信号与随机（未知）参量信号 举例
确知与“未确知”的转换：排水管网/污水流量……
信号的随机性及其统计处理方法
2. 信号的统计处理方法
对信号的随机特性进行统计描述；
P A B
P A P B A P B
0.001 0.95 0.0868 0.01094
检查结果为阳性，患病概率仅为8.68%。
示例3
Number 0： s0 t sin 0t , 0 t T Number1： s1 t sin 1t , 0 t T
连续相位移频键控（CPFM）信号
信号检测与估计理论概述
示例4
3 Times
片段
数字“0”和“1”的语言波形
本课程的主要内容
第一部分
信号检测与估计理论的研究对象
以概率论与数理统计为工具，为通信、雷达、声纳、自动控制等技术 领域提供理论基础。此外，它在模式识别、射电天文学、雷达天文学、 地震学、生物物理学以及医学等领域里，也获得了广泛的应用。 通信、雷达、自动控制系统等都是当代重要的信息传输和处理系统， 对它们的性能要求，总的说来有两个方面。 一是要求系统能高效率地传输信息，——系统的有效性； 二是要求系统能可靠地传输\处理信息，——系统的可靠性或抗干扰性。 使系统信息传输可靠性降低的主要原因有：
2 N 1 N 2 1 1 2 2 ( x )] E[( ˆ( x )) 2 ] E E[ ( nk ) E nk n N k 1 N k 1 N
随机信号分析与估计第2章
下一页 返回
2.1 随机信号的基本概念及特征
• 随 机试验所研究的随机现象,其所有可能结果,都可以利用概率空间上 的随机变量或随机向量的取值来定量表示。随机变量本质上相应于某 个随机试验的一次观察结果,随机向量也只对应于某个多维随机试验 的一次观察结果。有时这些随机变量会随着某些参量变化,或者说是 某些参量的函数。在概率论中,所研究的随机变量在试验中的结果与 每次试验ξ 有关而与时间t 无关。在实际中,经常会遇到随机变量在试 验中的结果不仅与每次试验ξ 有关,而且与时间t 有关。这样的随机变 量的集合就构成了随机信号,可记为X (ξ,t)。
• 为随机信号的二维概率密度函数。
上一页 下一页 返回
2.1 随机信号的基本概念及特征
• 随机信号的二维分布律不仅表征了随机信号在两个时刻上的统计特性, 还可表征随机信号两个时刻间的关联程度。通过计算边缘分布,由二 维分布可以得出一维分布的结果,因此,二维分布比一维分布包含了更 多的信息,对随机信号的阐述要更细致,但也更为复杂。但是,二维分布 还不能反映随机信号在两个以上时刻的取值之间的联系,不能完整地 反映出随机信号的全部统计特性。
• 1. 一维概率分布和概率维概率分布函数定义为
上一页 下一页 返回
2.1 随机信号的基本概念及特征
• 因此,FX (x;t)是t 时刻的随机变量直至x 的累积概率值。 • 若FX (x;t)的偏导数存在,则称
• 为随机信号的一维概率密度函数。 • 随机信号的一维概率分布是随机信号最简单的统计特性,它只能反映
• 以上两种定义从不同的角度来描述随机信号,但本质是相同的,互为补 充。在对随机信号做实际观测时,常用定义1,随着观测次数的增加,所 得的样本数目也越多,则越能掌握随机信号的统计规律。在对随机信 号做理论分析时,常用定义2,这样随着采样间隔的减小,所得的维数就 变大,则越能掌握随机信号的统计规律。
2.1 随机信号的基本概念及特征
• 随 机试验所研究的随机现象,其所有可能结果,都可以利用概率空间上 的随机变量或随机向量的取值来定量表示。随机变量本质上相应于某 个随机试验的一次观察结果,随机向量也只对应于某个多维随机试验 的一次观察结果。有时这些随机变量会随着某些参量变化,或者说是 某些参量的函数。在概率论中,所研究的随机变量在试验中的结果与 每次试验ξ 有关而与时间t 无关。在实际中,经常会遇到随机变量在试 验中的结果不仅与每次试验ξ 有关,而且与时间t 有关。这样的随机变 量的集合就构成了随机信号,可记为X (ξ,t)。
• 为随机信号的二维概率密度函数。
上一页 下一页 返回
2.1 随机信号的基本概念及特征
• 随机信号的二维分布律不仅表征了随机信号在两个时刻上的统计特性, 还可表征随机信号两个时刻间的关联程度。通过计算边缘分布,由二 维分布可以得出一维分布的结果,因此,二维分布比一维分布包含了更 多的信息,对随机信号的阐述要更细致,但也更为复杂。但是,二维分布 还不能反映随机信号在两个以上时刻的取值之间的联系,不能完整地 反映出随机信号的全部统计特性。
• 1. 一维概率分布和概率维概率分布函数定义为
上一页 下一页 返回
2.1 随机信号的基本概念及特征
• 因此,FX (x;t)是t 时刻的随机变量直至x 的累积概率值。 • 若FX (x;t)的偏导数存在,则称
• 为随机信号的一维概率密度函数。 • 随机信号的一维概率分布是随机信号最简单的统计特性,它只能反映
• 以上两种定义从不同的角度来描述随机信号,但本质是相同的,互为补 充。在对随机信号做实际观测时,常用定义1,随着观测次数的增加,所 得的样本数目也越多,则越能掌握随机信号的统计规律。在对随机信 号做理论分析时,常用定义2,这样随着采样间隔的减小,所得的维数就 变大,则越能掌握随机信号的统计规律。
第4章离散随机信号的特征描述及其估计
❖
Pxx () rxx (m)e jm
❖
rxx ()
m
1 2
Pxx
()e
jm d
（4-20）
❖ 对于实平稳随机序列功率谱，有以下性质：
❖ （1）功率谱是 的偶函数，即
Pxx () Pxx ()
❖ （2）功率谱是实的非负函数，即
❖
Pxx () 0
4.3 线性系统对平稳随机信号的响应
❖ 设一个线性非时变系统H (z) ，它的单位样本响应为h(n)。 如输入一个平稳随机序列 x(n) ，可以证明所得到的响应
0
（4-19）
❖ 当 m 越大时，相关性越小，当 m 趋于无穷大时，可认
为不相关。也就是说
lim
m
rxx
(m)
E[xn
xnm
]
E[xn ]E[xnm
]
mx2
❖ 以上性质说明自相关函数 rxx (m) 是随机过程 {xn}最重要
的统计表征，它蕴含了
m
2 x
、
2 x
、E[
x
2 n
]
等主要物理量。
❖
E[
x
❖ 在以上这些数字特征里，自相关函数和自协方差函数 是表征一个随机过程的最重要的统计特性。
4.2.4 自相关序列和自协方差序列的性质
❖ 设 {xn}和 {yn}是两个实的平稳随机序列，则自相关序列 和自协方差序列具有以下性质：
❖
性质1
xx
(m)
rxx
(m)
m
2 x
❖
xy (m) rxy (m) mx my
平均；随即过程的某个样本序列在不同时刻的各种平均特
性，称为时间平均。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主讲教师:罗鹏飞教授
估计理论
举例：高斯白噪声中的DC电平估计
zi A vi
i 1,..., N
vi 是独立同分布的高斯随机变量，均值为零，方差为 v2
A ~ N ( A , )
2 A
f ( A | z)
f (z | A) f ( A)
f (z | A) f ( A)dA
z
v exp[( x a)2 / 2] exp[( x a) 2 / 2 2[Q( x a) Q( x a)]
a A0 / v
x z / v
主讲教师:罗鹏飞教授
估计理论
估计量 A0
ˆ A ml
ˆ A map
ˆ A ms
-A0 A0
z
-A0 估计图形
主讲教师:罗鹏飞教授
估计理论
1 1 2 ( zi A) exp 2 A A 2 i 1 2 A 2 A 1 1 1 1 N 2 2 2 ( zi A) exp 2 A A dA (22 ) N / 2 exp 2 2 i 1 2 A 2 A 1 1 exp 2 2 N /2 (2 ) 2
生物医学
自动控制
地震学
这些应用都有一个共同的目标：要能够确定感 兴趣的事件在什么时候发生，以及该事件中更 多的一些信息，前者是一个检测问题，或者称 为统计判决问题，后者是参数的估计问题。
主讲教师:罗鹏飞教授
估计理论
主讲教师:罗鹏飞教授
估计理论
数字源
0或1
调制器
信道
解调器
检测器
主讲教师:罗鹏飞教授
----最小均方估计
主讲教师:罗鹏飞教授
估计理论
ˆ | z ) ( ˆ ) f ( | z ) d C (
2
ˆ | z) C ( ˆ ) f ( | z ) d 2 ( ˆ
ˆ ˆ f ( | z ) d ( ) f ( | z )d f ( | z )d
ˆ A map A0 z A 0 z A0 A0 z A0 z A0
主讲教师:罗鹏飞教授
v ~ N (0, )
2 v
f ( z | A) f ( A) f ( A | z) f ( z)
估计理论
f ( z | A) f ( A) ˆ A Af ( A | z ) dA A dA ms f ( z)
估计量的概率密度，称为贝叶斯估计，线性最小均
方估计需要已知被估计量的一、二阶矩，称为线性
贝叶斯估计。后面两种估计无需被估计量的先验信
息，称为非贝叶斯估计。
从这些估计准则我们可以看出，按照一定的准则
求估计量实际上就是数学上求函数的极值问题。
主讲教师:罗鹏飞教授
估计理论
8.2 贝叶斯准则 估计是有误差的，这个误差是 要付出代价的，贝叶斯估计就 是使平均代价最小的估计。
不同的代价函数得到不同的估计
主讲教师:罗鹏飞教授
估计理论
1 最小均方估计
采用平方代价函数的贝叶斯估计
采用平方代价函数时的平均代价为:
C
ˆ ( z ))2 f ( z, )dzd E{[ ˆ ( z)]2} (
平均代价<====>均方误差 使平均代价最小等价于使均方误差最小
N 2
1 1 1 2 2 exp 2 ( NA 2 NAz ) 2 ( A A ) 2 A 1 1 1 2 2 2 ( NA 2 NAz ) 2 ( A A ) dA exp A 2
主讲教师:罗鹏飞教授
估计理论
8.1 参数估计的基本概念 z1= +v1
测量电阻两端的电压
v1 ~ N (0, 2 )
如果你有N个观测数据，
ˆ z 1 1
zi=+vi i=1,2,...,N
ˆ z 1 电压值是所有试验数据的平均值 2 N
z
i 1
N
i
ˆ ˆ 2 1
是对电压值的两个估计，这两个估计的性 能谁好呢？这需要用一些性能指标来评价
方差越小，估计量的取值越集中，性能也越好
主讲教师:罗鹏飞教授
估计理论
无偏估计
有偏估计
ˆ ( z )] 真值 E[ ˆ ( z )] 真值 E[
对于无偏估计，如果估计的方差越小，表明估计 量的取值越集中于真值附近，估计的性能越好
主讲教师:罗鹏飞教授
估计理论
对于有偏估计，尽管估计的方差很 小，但估计的误差可能仍然很大。
贝叶斯估计 的基本思想
估计的误差为
( z) ˆ ( z)
与误差有关的 代价函数为
ˆ ( z )] c[ ( z )] c[,
主讲教师:罗鹏飞教授
估计理论
典型的代价函数有：
1 c[( z )] 0 ( z ) / 2 其他
2 c[( z )] [ ( z )]
估计理论
常用的估计准则有
最大后验概率准则 最小均方误差准则 使后验概率密度最大 均方误差最小
条件中位数估计
条件概率密度的中位数
线性最小均方误差准则 线性类估计中均方误差最小
最大似然准则
最小二乘准则
似然函数最大
测量误差平方和最小
主讲教师:罗鹏飞教授
估计理论
前面三种估计需要利用被估计量的先验信息，如被
估计理论
声纳系统----利用声波信号确定船只的位臵 图象处理----使用红外检测是否有飞机出现 图象分析 ---- 根据照相机的图象估计目标的位臵 和方向，用机器人抓目标时是必须的
生物医学----估计胎儿的心率
控制 ---- 估计汽艇的位臵，以便采用正确的导航 行为，如Loran系统 地震学 ---- 检测地下是否有油田，并根据油层和 岩层的密度，根据声反射来估计油田的地下距离。
贝叶斯估计就是使上式的平均代价最小的估计。 或等价于
C
ˆ ( z )) f ( | z ) f ( z )dzd C (
ˆ ( z )) f ( | z )d f ( z )dz C (
ˆ | z ) C ( ˆ ( z )) f ( | z )dz 使平均代价最小 C (
f ( z)
ˆ /2
/ 2
f ( | z ) d
0
ˆ map
图 后验概率密度
主讲教师:罗鹏飞教授
估计理论
f ( | z ) | max ˆ
map
ln f ( | z ) | max ˆ
map
最大后验方程
df ( | z ) 0 d ˆ map
最小均方估计是被 估计量的条件均值
主讲教师:罗鹏飞教授
估计理论
由于
ˆ ] E{E[ | z]} E () E[ ms
所以最小均方估计具有无偏性
2 条件中位数估计（Conditional Median Estimate) 采用绝对值代价函数的贝叶斯估计
ˆ ( z ) | f ( | z ) d C ( | z ) |
主讲教师:罗鹏飞教授
估计理论
评价估计量好坏的性能指标 估计量的均值：希望估计的均值等于真值，
即具有无偏性。
为确定性参量（非随机参量） ˆ E[ (z )] E[] 为随机参量 估计量的方差：
ˆ ( z )) E{[ ˆ ( z ) E ( ˆ ( z ))]2 } Var (
主讲教师:罗鹏飞教授
估计理论
所有这些问题都有一个共同的特点，那就是从含
有噪声的数据集中去提取我们所需要的有用信息，
这些有用信息可能是“目标出现与否”、“数字
源发射的是0还是1”或者“目标的距离”、“目标
的方位”，或”目标的速度”等，由于噪声固有
的随机性，因此，有用信息的提取必须采用统计
的方法，这些统计方法的基础就是检测理论与估 计理论，就是本课程后续章节学习的内容。
f ( | z ) d
采用绝对值代价函数的贝叶斯估计刚好是条件概 率密度的中位数，所以也称为条件中位数估计。
主讲教师:罗鹏飞教授
估计理论
3 最大后验概率估计 采用均匀代价函数的贝叶斯估计
C ( | z )
ˆ /2
f ( | z )d ˆ
/ 2
f ( | z )d 1 ˆ
主讲教师:罗鹏飞教授
估计理论
本章学习内容 参数估计的基本概念 最大似然估计 贝叶斯估计 估计的性能 线性最小均方估计 最小二乘估计
主讲教师:罗鹏飞教授
估计理论
大家可能会问，什么叫参数估计？参数估计 理论是干什么的？它的基本任务是什么？如 何构造一个参数估计？
所谓参数估计就是从含有噪声的数据中去 估计信号的某些参数，用数学的观点来看 就是给定一组观测数据去求未知参量。
ˆ 0 f ( | z )d
ˆ f ( | z )d
很容易验证
ˆ | z) 2 C ( 2 f ( | z ) d 2 0 2 ˆ
ˆ f ( | z )d E ( | z ) ms
Af ( z | A) f ( A)dA f ( z | A) f ( A)dA