3.1-3.2.1-估计量的性质、最小方差无偏估计
数理统计8：点估计的有效性、一致最小方差无偏估计（UMVUE）、零无偏估计法
数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。
然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若\hat g(\boldsymbol{X})是g(\theta)的估计量，则\hat g(\boldsymbol{X})的均⽅误差定义为\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2.对于确定的统计量\hat g(\boldsymbol{X})⽽⾔，\mathrm{MSE}(\hat g(\boldsymbol{X}))是\theta的函数。
显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(\theta)的两个估计量\hat g_1(\boldsymbol{X})和\hat g_2(\boldsymbol{X})，恒有\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hatg_2(\boldsymbol{X}))，且严格不等号⾄少在某个\theta处成⽴，就称\hat g_1(\boldsymbol{X})在均⽅误差准则下优于\hat g_2(\boldsymbol{X})。
Chap03简单随机抽样
N i j
(Yi
Y
)(Yj
Y
)
1 nN
1
n 1 N 1
N i 1
(Yi
Y
)2
n 1 N 1
N i 1
(Yi
Y
2 )
1 n
N N
n
1 N 1
N i 1
(Yi
Y
)2
1 f S2
n
证明Ⅱ：仍引进随机变量 ai ：
N 1 n 1
N n
n N
ˆ
f
E(ai )
n N
f
(3.5)
借助 ai ，样本均值 y 可以表示成:
y
1 n
N i 1
aiYi
(3.6)
E( y) 1
n
N
E(ai )Yi
i 1
1 n
n N
N
Yi
i 1
Y
推论： Y 的简单估计量Yˆ Ny 也是无偏的，即: E(Ny ) Y
所有可能的样本求平均: E( y)
N 1 y n
N n
个样本中，包含特定单元
Yi
的样
本数为
N 1 n 1
，也有同样多样
本含有任何其他单元，因此
y 1
n
( y1
y2
yn )
1 n
N 1 n 1
数，则编号为这些随机数的 n 个单元组成一个简单随机样本。
随机数的产生可使用随机数骰子或随机数表。
图 3.1 随机数骰子 随机数骰子：标上 0～9 数字的正 20 面体（每个数字出现在两面）
《信号检测与估计》复习纲要与复习题参考答案
解： 令 S [s[0], s[1],..., s[ N 1]]T ， A ，那么信号模型可以写成如下
1 N 1 x ( n) N n 0 ˆ2 A/ 2 N 1 N 1 1 1 x ( n ) x ( n ) N n 0 N n0
2
8.对于信号模型
A 0 n M 1 s[n] A M n N 1
S T C 1 X 1 S T C 1S N
BLUE 为
x[n]
n 0
N 1
在拉普拉斯分布时，BLUE 并不是最小方差估计量。 ｂ）从题目可以知道， x ~ N ( ,1) 。那么该高斯分布的方差为 var( x ) 1。因此
S I,C I
S T C 1 X 1 BLUE 为 T 1 S C S N
p( x[n] | ) 1 exp 2 ( x[n] ) 2 2 2 1
2
2 在 给定的条件下， x[n] 是相互独立的。均值 具有先验 PDF N ( 0 , 0 )， 2 2 求 的 MMSE 和 MAP 估计量。另外，当 0 0 和 0 时将发生什么情况。
先验已知 P(Hi)，i=0,1,„,M-1 是 代价已知 Cij 是 Cij＝dij 否 数据PDF已知 是 否 指定先验PDF 是 尝试广义 ML准则（15） 否 否 否 否
是
贝叶斯风险 （5） 否 数据PDF已知 是 否 指定先验PDF 是
小方差无偏估计UMVUE
UMvue方法在某些特定情况下可能无法提供准确的方差估计。例如，当数据存在异常值或离群点时，该方法的 效果可能会受到影响。此外，对于一些复杂的数据结构和模型，UMvue方法的适用性和性能可能需要进行进一 步的研究和验证。
04
小方差无偏估计
定义与性质
定义
小方差无偏估计（UMvue）是指估计量不仅无偏，而且具有较小的方差。
重要性及应用领域
重要性
umvue方法在统计学中具有重要地位，因为它能够提供更精 确的参数估计，尤其是在样本量较小的情况下。通过最小化 方差，umvue方法有助于提高估计的准确性和可靠性。
应用领域
umvue方法广泛应用于各种统计领域，如回归分析、线性模 型、方差分析等。它对于处理小样本数据、非线性和非正态 分布的情况特别有用，能够提供更稳健和可靠的估计结果。
实例三：复杂统计模型的小方差无偏估计
复杂统计模型
实例分析
复杂统计模型是指包含多个变量和复 杂关系的统计模型，例如时间序列分 析、多元回归分析等。
我们可以使用实际数据或模拟数据来 估计复杂统计模型的参数，并评估小 方差无偏估计的准确性和效率。
小方差无偏估计
在复杂统计模型中，小方差无偏估计 需要使用更高级的算法和技术来实现， 例如贝叶斯推断、马尔科夫链蒙特卡 罗等方法。
02
无偏估计
定义与性质
定义
无偏估计是指一个估计量的期望值等于被估计参数的真实值。
性质
无偏估计具有一致性、无偏性和有效性的性质，即随着样本量的增加，无偏估 计量逐渐趋近于真实值，且其方差最小。
无偏估计的优缺点
优点
无偏估计能够提供被估计参数的较准 确的估计，特别是在样本量较大时， 其估计精度较高。
第2.3节 最小方差无偏估计和有效估计
例1(p54例2.20) 设X ( X1 , X 2 ,
, X n )T 是来自总
*2 体( , 2 )的一个样本，已知X 和Sn 是 和 2 的无偏 *2 估计，证明X 和Sn 分别是 和 2 的MVUE .
证 设L( X )满足EL( X ) 0, 则
因而
L exp{
Βιβλιοθήκη T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
dxn dxn
T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g( ))2 则对一切 ，有 D(T ( X )) ,其中 nI ( ) ( g( ))2 为罗－克拉美下界，I ( )称为Fisher 信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
定理2.9 设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分完备
*
个样本，如果T T ( X1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ E ( ˆ |T) 统计量，
ˆ *是的唯一的MVUE . 则
1
ˆ( X )] 2 E{[ L( X ) EL( X )][( ˆ( X ) E ˆ( X )]} D[ L( X )] D[ ˆ( X )] D[ ˆ( X )] D[ L( X )] D[
参数估计量的评价标准
参数估计量的评价标准参数估计是统计分析中的一个重要部分，它用于估计总体参数并对其进行推断。
在实际应用中，评价参数估计量的好坏对于研究和应用都具有重要意义。
为此，我们需要建立一套合理的评价标准。
一、偏差性评价1.1 无偏性：参数估计量的期望值应当等于真实总体参数值。
评价标准可采用期望偏差进行度量。
1.2 一致性：当样本容量趋于无穷时，参数估计量应当收敛于总体参数。
拟采用渐进性质进行评价。
1.3 偏差估计：对于系数的偏差，可以采用均方误差进行评价；对于偏见，可以采用自助法进行辨认。
1.4 偏差方差均衡：参数估计量应当在偏差和方差之间取得平衡，以实现对总体参数的有效估计。
二、效率性评价2.1 方差：参数估计量的方差应当尽可能小，以提高其精确性。
采用方差和标准差进行评价。
2.2 最小方差无偏估计：寻找最小方差无偏估计可作为评价标准，以使得估计的方差最小。
2.3 Cramer-Rao下界：在一定条件下，Cramer-Rao下界可作为评价参数估计量效率的标准。
2.4 均方误差：参数估计量的均方误差应尽可能小，以确保估计量的稳定性。
采用均方误差进行评价。
三、鲁棒性评价3.1 鲁棒性：对于异常值或离群值应有一定的容忍度，避免该值对估计结果的影响过大。
3.2 高效性：对于不同总体分布和样本容量，估计量应有一定的适用性，以保证其高效性。
3.3 高效抗干扰性：对于干扰值的处理应当尽可能减小估计结果的波动，以保证估计量的可靠性。
3.4 稳定性评价：在不同条件下，参数估计量是否具有稳定性是对其鲁棒性的重要评价标准。
四、信息熵评价4.1 信息量的相关性：估计参数量应具有较高的信息量，能够较好地反映总体参数的特征。
4.2 信息增益：参数估计量对于信息的增益应大于或等于0，以确保其估计结果有意义。
4.3 信息熵与估计效果的关系：信息熵的大小与估计结果的准确度应呈正相关的关系。
4.4 信息效用评价：对于样本容量的不同和信息量的不同，参数估计量应有一定的信息效用。
抽样调查理论与方法 金勇进(第二版)第3章-分层随机抽样
L
定理 3.3：对于分层随机抽样， 的估 Y 计量 yst 具有如下性质：
E yst Y
ˆ W 2 1 fh S 2 V yst W V Yh h n h h 1 h 1 h
L L 2 h 2 2 L Wh2 S h Wh2 S h nh Nh h 1 h 1 L
2013-8-10
18
3.3 比率估计量及其性质
两种途径：
分别比估计：对每层样本分别考虑比估计量，然 后对各层的比估计量进行加权平均，即先“比” 后“加权”； 联合比估计：对比率的分子和分母分别加权计算 出总体均值或总体总量的分层估计量，然后用对 应的分层估计量来构造比估计，即先“加权”后 “比”。
2013-8-10
5
符号说明 (关于第h层的记号 )
层号
h 1,2, , L
单元总数
Nh
nh y hi
Wh
样本单元数
第 i 个单元的值
层权
抽样比
1 Yh Nh
Nh 2 h
y
i 1
Nh
hi
总体均值
样本均值
nh fh Nh
Nh N
2 1 S y hi Yh N h 1 i 1
1 yh nh
y
i 1
nh
hi
总体方差
样本方差
2013-8-10
1 nh 2 sh y hi y h 2 nh 1 i1
6
3.2 简单估计量及其性质
3.2.1 总体均值的简单估计及其性质
分层样本，总体均值 Y 的估计
WY 1 Yst h h N h 1
最小方差无偏估计
最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。
定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。
如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。
2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。
θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。
()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。
例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。
求最小方差无偏估计。
解：首先找一个无偏估计，很显然是无偏。
1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。
1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章估计理论
什么是“估计”？
通俗解释：对事物做大致的判断
专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信
息进行加工、处理获得结果的过程。
3.1引言
3.1 引言
根据研究对象的不同估计分为二种
参量估计：被估计的对象是随机变量或非随机的未知量
波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论
与信号参量估计相关的理论
最佳估计
一定准则下的“最好”估计
应用领域
通信系统、雷达系统、语音、图像处理、自动控制
3.1.2 估计量的性质质
假设得到N 个观测样本数据为：
为待估计参量，[][]0,1,,1
x n w n n N θ=+=−…式中，是观测噪声。
θ[]w n 估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价,这就需要研[]x n θ
θ
θ究估计量的主要性质。
估计量也是一个随机变量，具有均值和方差等统计特征，可以利用其统计特征对估计量的性质进行评价。
评价 θ
指标包括：无偏性、一致性、充分性和有效性。
1、无偏性
非随机参量随机参量ˆˆθθ
无偏估计
渐进无偏估计()E θθ=()()E E θ=ˆlim ()N E θθ→∞=ˆlim ()()N E E θ
θ→∞=如果上式不满足，则是一个有偏估计 θ
定义
为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()b E θθθ=−估计量性能优劣的重要指标。
然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。
2、一致性
可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。
简单一致性：
ˆlim (||)1N P θθδ→∞−<=均方一致性：2ˆlim [()]0N E θ
θ→∞
−= •定义估计误差，对无偏估计，误差的方差为
222−εθθ=−在同时满足无偏性、均方一致性的条件下，随着观测样本()()()()
Var E b E εεθε==数的增加，估计误差的方差将减小并趋于零。
3、充分性
设待估计参量的估计量为，为N ˆ()θx [][0][1]...[1]T x x x N =−x 维观测矢量。
如果概率密度函数可以分解成如下形式
ˆ(|)(()|)()p p h θθ
θ=x x x (|)p θx 式中，且与无关。
则称是一个充分统计量。
()0h ≥x θˆ()θx x 充分统计量的意义在于：它体现了包含在观测样本数据中有关参量的全部有用信息，再没有其他估计量能够提供中有关θ更多关于观测样本数据的有用信息了。
θx
4、有效性
对于无偏估计量，如果估计量的方差越小，则它偏离待估计参量就越小，即它取其均值附近数值的概率就越大，该估计量就越好。
因此，希望估计量的方差尽可能地小。
克拉美罗下限为估计误差的方差确定了一个下限，不可能获得比它还小的方差。
对于方差达到克拉美罗下界的无偏估计，称为有效估计。
因此，具有无偏性且方差达到克拉美‐罗下限的估计量是有效估计量。
3.2 最小方差无偏估计
在寻求最优估计量中，首先需要确定的是最优准则。
一个3.2.1 均方误差最小准则和最小方差无偏准则
很自然的准则就是均方误差（mean square error, MSE ），它的定义为
遗憾的是采用该准则将产生一个不可实现的估计量。
因 2ˆ()[()]
mse E θθθ=−为这个估计量不能单独表示为样本数据的函数。
为说明这个问题，均方误差MSE重新写为
{} 22() (())(())mse E E E θθθθθ⎡⎤=−+−⎣⎦
2var()()2[()][()]var()()E E E E b θθθθθθθθ
θ⎡⎤=+−+−−⎣⎦
=+上式看出MSE是由方差和偏差构成。
321
3.2.1 均方误差最小准则和最小方差无偏准则 最小方差无偏估计量的存在性
θ
现在我们自然提出这样一个问题：对于所有是否存
在最小方差无偏估计。
即使最小方差无偏估计（MVU）存在，我们也有可能找不到它。
在后面的几章里，我们将讨论几种可能的方法，它们是：
1、确定Cramer-Rao下限(CRLB），检验估计量是否满足它。
2、基于充分统计量的MVU 。
3、限制估计量不仅是无偏的而且是线性的，找出MVU。