数理统计-极大 无偏有效性共26页
数理统计8：点估计的有效性、一致最小方差无偏估计（UMVUE）、零无偏估计法
数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。
然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若\hat g(\boldsymbol{X})是g(\theta)的估计量，则\hat g(\boldsymbol{X})的均⽅误差定义为\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2.对于确定的统计量\hat g(\boldsymbol{X})⽽⾔，\mathrm{MSE}(\hat g(\boldsymbol{X}))是\theta的函数。
显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(\theta)的两个估计量\hat g_1(\boldsymbol{X})和\hat g_2(\boldsymbol{X})，恒有\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hatg_2(\boldsymbol{X}))，且严格不等号⾄少在某个\theta处成⽴，就称\hat g_1(\boldsymbol{X})在均⽅误差准则下优于\hat g_2(\boldsymbol{X})。
概率论与数理统计 参数估计
数理统计
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了极大似然法的 基本思想 .
数理统计
最大似然估计原理：
当给定样本X1,X2,…Xn时，定义似然函数为：
L( ) P( ; x1 , , xn ) P( ; X 1 x1 , X 2 x2 , , X n xn P( X 1 x1 ; ) P( X 2 x2 ; ) P( X n xn ; ) L( ) f ( ; x1 , , xn ) f ( x1 ; ) f ( x2 ; ) f ( xn ; )
而全部信息就由这100个数组成 . 据此,我们应如何估计 和 呢 ?
数理统计
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法
数理统计
1. 矩估计法
矩估计法是英国统计学家K.皮尔逊 最早提出来的 . 由辛钦定理 , 若总体 X 的数学期望 E X μ 有限, 则有
1 n P X X i E( X ) μ n i 1 1 n k P Ak X i E ( X k ) μk ( k 1,2,) n i 1
数理统计
常用的几条标准是：
1．无偏性 2．有效性 3．相合性 这里我们重点介绍前面两个标准 .
数理统计
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
在似然函数中 可以看成是“原因”,而 ( x1 , x2 ,, xn ) 则被看成是 “结果” .导致结果 ( x1 , x2 ,, xn ) 发生的所有
概率论与数理统计
概率论与数理统计本篇笔记内容主要整理自笔者的教材——《概率论与数理统计》（第四版），作者为盛骤、试式千、潘承毅等人 ，高等教育出版社出版。
一、概率论的基本概念1. 什么是概率？描述性定义：随机事件A发生的可能性的大小的度量（非负值），称为事件A发生的概率。
公理化定义：在随机试验的样本空间的每一个事件A，都对应一个实数值P(A)，如果函数P( · )满足下列条件：非负性：规范性：S是必然事件，有P(S) = 1;可列可加性：设A1,A2,...,是两两不相容的事件（即i≠j时，AiAj = ∅），有P(A1∪A2∪...∪An） = P(A1) + P(A2) + ... + P(An)不相容事件的并的概率 等于 这些事件的概率的和。
2. 古典概型有什么特点？随机试验的样本空间只包含有限个元素；随机试验中的每个基本事件发生的可能性都相同。
3. 几何概型有什么特点？样本空间 是一个可度量的有界区域；有无限个基本事件，每个基本事件发生的可能性都一样，即样本点落入 的某一个可度量子区域S可能性与S的几何度量成正比，而与S的位置及形状无关。
4. 什么是条件概率？在已知事件A发生的情况下事件B发生的概率为条件概率P（A|B）,公式有5. 什么是全概率公式？有一些时候事件B的概率不容易直接求，可以通过计算给B在各个条件下Ai发生的概率P(B| · )，来研究B发生的概率。
6. 什么是贝叶斯公式？解释一下“先验”和“后验”的概念（按照课本的思路）通过已知信息B来修正A发生的概率（即后验概率），可以通过先验概率P(A)以及AB之间的关系来研究。
举个例子：假设由多年的统计数据可以知道某种疾病的发病率，有一种检测试剂的准确率为99%，即=99%，同时有=5%会误报（检测没有病的病人为阳性），可以通过全概率公式计算试剂表现为阳性的概率。
根据这些信息，就可以计算一个病人在这种试剂检测为阳性的情况下患病的概率7. 什么叫做事件相互独立？P(AB) = P(A)P(B)即一个事件的发生，不会影响另一个事件的发生。
期末数理统计
θ
ˆ Var(θ ) =
n 2 n n θ − θ = θ 2 → 0, 2 n+2 n + 1 (n + 1) (n + 2)
2
故X(n)是θ 的相合估计。
15 May 2012
习题课
第30页 30页
例9 对均匀总体U(0, θ )，由θ 的极大似然估计得到的
无偏估计是 θˆ = (n + 1) x( n )，它的均方误差 /n
λ
k
e−λ , k = 0,1 2,L ,
λ
xi
xi !
e
−λ
=e
−nλ
15 May 2012
∏x !
i =1 i
n
λ
xi
习题课
第22页 22页
泊松分布( 泊松分布(续)
ln L = −nλ + ∑ xi ln λ − ∑ln( xi !) i =1 i=1 n d ln L 1 令 = −n + ∑xi = 0 dλ λ i=1
M SE (θˆ ) = Var(θˆ ) =
θ2
n ( n + 2)
现我们考虑θ的形如 θˆα = α ⋅ x( n ) 的估计，其均方差为
n n ⋅α MSE (θˆα ) = α 2 θ2 + − 1 θ 2 ( n + 1) 2 ( n + 2) n +1
2
用求导的方法不难求出当α 0 = (n + 2) /(n + 1)时上述均方 误差达到最小，且其均方误差
15 May 2012
习题课
第13页 13页
练习： 设x1, x2, …,xn 是来自泊松分布 P(λ)的一
概率论与数理统计自考题型
概率论与数理统计自考题型一、选择题（每题3分，共30分）1. 设随机变量X服从正态分布N(μ,σ²)，则P(X ≤ μ)等于（）A. 0B. 0.5C. 1D. 取决于μ和σ的值。
答案：B。
解析：正态分布的图像关于x = μ对称，所以P(X ≤ μ) = 0.5。
2. 若事件A与B相互独立，P(A) = 0.4，P(B) = 0.5，则P(A∪B)等于（）A. 0.7B. 0.8C. 0.6D. 0.9。
答案：A。
解析：因为A与B相互独立，所以P(A∪B)=P(A)+P(B)-P(A)P(B)=0.4 + 0.5 - 0.4×0.5 = 0.7。
3. 设离散型随机变量X的分布律为P(X = k)=ck，k = 1,2,3，则c的值为（）A. 1/6B. 1/3C. 1/2D. 2/3。
答案：A。
解析：根据离散型随机变量分布律的性质，所有概率之和为1，即c+2c+3c = 1，解得c = 1/6。
4. 对于二维随机变量(X,Y)，如果X与Y相互独立，则（）A. Cov(X,Y) = 0B. D(X + Y)=D(X)+D(Y)C. 以上两者都对D. 以上两者都不对。
答案：C。
解析：当X与Y相互独立时，Cov(X,Y) = 0，且D(X + Y)=D(X)+D(Y)。
5. 设总体X服从参数为λ的泊松分布，X₁,X₂,…,Xₙ是来自总体X的样本，则λ的矩估计量为（）A. XB. 1/XC. X²D. 1/X²。
答案：A。
解析：根据泊松分布的期望为λ，由矩估计法，用样本均值X估计总体的期望λ。
6. 样本方差S²是总体方差σ²的（）A. 无偏估计B. 有偏估计C. 极大似然估计D. 矩估计。
答案：A。
解析：样本方差S²是总体方差σ²的无偏估计。
7. 设总体X~N(μ,σ²)，其中μ未知，σ²已知，X₁,X₂,…,Xₙ是来自总体X的样本，则μ的置信区间为（）A. (X - zα/2(σ/√n),X + zα/2(σ/√n))B. (X - tα/2(s/√n),X + tα/2(s/√n))C. (X - zα/2(s/√n),X + zα/2(s/√n))D. (X - tα/2(σ/√n),X + tα/2(σ/√n))。
第六章《概率论与数理统计教程》课件
1
例5. 设X服从[0,λ]区间上的均匀分布,参数
λ>0,求λ的最大似然估计. 1 解:由题意得: X ~ f ( x; )
1 L( x1 , x 2 ,..., x n ; ) n 0
0 x
0 其它 0 x1 , x 2 ,..., x n
dL n n1 0 d
其它
无解.
应用最大似然估计基本思想: L越大,样本观察值越可能出现 取 max( x1 , x 2 ,..., x n ) 此时,L取值最大, 所以,所求最大似然估计为 max( x1 , x 2 ,..., x n )
考虑L的取值,要使L取值最大,λ应最小, 0 x1 , x 2 ,..., x n
例2 设总体 X ~ N ( , 2 ) ,其中 及 2 都是未知参数，如
果取得样本观测值为 x1 ,, x n , 求 及 2 的矩估计值。
解： 因为总体X的分布中有两个未知参数，所以应考虑一、二阶 原点矩，我们有 v1 ( X ) E ( X )
v 2 ( X ) E( X 2 ) D( X ) [ E( X )]2 2 2
e
e
1 2
2
2
( x )2 2 2
e
L( x1 , x 2 ,..., x n ; , )
2
i 1
1 2
2
( xi )2
(
2
1 2
2
1 2 2
) e
n
i 1
n
( xi )2
1 n 2 n 1 n 2 2 ) 2 ( x i ) ln 2 ln L n ln( ( xi ) 2 i 1 2 2 2 n 2 2 i 1 1 ln L 1 n Xi X 2 ( xi ) 0 n i 1 i 1 1 n 2 1 n n ln L n 1 ( xi )2 ( xi X )2 2 2 4 ( x i ) 0 n i 1 n i 1 2 2 2 i 1
数理统计的基本概念
数理统计的基本概念第6章数理统计的基本概念6.1 内容框图6.2 基本要求（1）理解总体、样本及统计量的概念，并熟练掌握常⽤统计量的公式.（2）掌握矩法估计和极⼤似然估计的求法，以及估计⽆偏性、有效性的判断. （3）掌握三⼤抽样分布定义，并记住其概率密度的形状.（4）理解并掌握有关正态总体统计量分布的⼏个结论，如定理6.4~6.9及定理6.11.6.3 内容概要1) 总体与样本在数理统计中，我们把作为统计研究对象的随机变量称为总体，记为ξ，η，… 。
对总体进⾏ n 次试验后所得到的结果，称为样本，记为（n X X X ,,,21 ），（n Y Y Y ,,,21 ），……，其中，试验次数 n 称为样本容量。
样本（n X X X ,,,21 ）中的每⼀个 i X 都是随机变量。
样本所取的⼀组具体的数值，称为样本观测值，记为总体与样本统计量点估计矩阵估计常⽤统计量定义统计量的分布正态总体统计量的分布极⼤似然估计点估计的评价三⼤抽样分布（n x x x ,,,21 ）。
具有性质：（1）独⽴性，即 n X X X ,,,21 相互独⽴。
（2）同分布性，即每⼀个 i X 都与总体ξ服从相同的分布。
称为简单随机样本。
如果总体ξ是离散型随机变量，概率分布为 }{k P =ξ，那么样本（n X X X ,,,21 ）的联合概率分布为∏∏=========ni i ni i in n x P x XP x X x X x X P 112211}{}{},,,{ξ。
如果总体ξ是连续型随机变量，概率密度为 )(x ?，那么样本（n X X X ,,,21 ）的联合概率密度为∏∏====ni i ni i X n x x x x x i1121)()(),,,(*??。
如果总体ξ的分布函数为 )(x F ，那么样本（n X X X ,,,21 ）的联合分布函数为∏∏====ni i n i i X n x F x F x x x F i 1121)()(),,,(* 。
数理统计之参数估计
X )2 ,
S2
1 n1
n
(Xi
i 1
X )2，试
比较 E(Sn2 - σ2)2 与 E(S 2 - σ2)2.
解: 由于
(n 1)S 2
2
~
2 (n 1)
(n 1)S 2
2
2(n 1)
(n 1)2
4
D(S 2 )，D(S 2 )
2
n1
4
D(Sn2 )
D( n 1 S2 )
j
j
解出似然估计 ˆjL ˆjL( X1, , Xn ).
否则可通过单调性或放大缩小的方法直接推求.
极大似然估计的性质：
(1) 若(^θ1, …, ^θm)是(θ1, …, θm)的极大似然计, η = g(θ1, …, θm)存在单值反函数，则g(θ^1, …, ^θm)是g(θ1, …, θm)的极大似然估计.
设X1，…，Xn 是来自总体 X 的样本，则
μk = E(Xk )= ∑ xk p(x; θ1, θ2), X 为离散型
或
μk = E(Xk )= xk f (x; θ1, θ2)dx,
X 为连续型
Ak
1 n
n i 1
Xik
1 n
X
k 1
1 n
X
k 2
1 n
X
k n
矩法思想: 用样本矩Ak 作为总体同阶矩μk 的近似,
例 设某种设备的寿命X (小时)服从指数分布，概
率密度为
et , t 0
f ( x; )
0,
其他
其中 λ>0为未知参数. 现从这批设备中任取n台在t =0
时刻开始寿命试验，试验进行到预定时间T0 结束， 此时有 k(0< k < n)台失效，求
概率论与数理统计 7.2 估计量的评选标准
1 的观察值比 2 的更密集在真值 的附近,
也就是 1 比 2 更理想 .
兰州交通大学博文学院 10
例2：设总体 X 的方差存在且大于零, E(X)=μ , 设 (X1 , X2) 是X的一个样本, 则
1 = X 和 2 = X1 均为 的无偏估计量,
总体 X 的均值为 μ , 方差为 σ 2 , 证明:
(1) 样本平均数 X 是 的无偏估计量 ;
(2) 样本方差 S 2是 2的无偏估计量 ,
2 样本方差 Sn 不是 2 的无偏估计量.
解 (1) 由于 E ( X i ) = E ( X ) = , ( i = 1, 2,
, n)
nபைடு நூலகம்
4 2
D(
i 1
n
( X i 0 )2
2
2 4 ) 2 2n n n
兰州交通大学博文学院 17
4
三、相合性: 1、定义7.5:
设 n = n ( X1 , X 2 ,
, X n ) 是 的一个估计量,
若对任何一个 ε > 0 , 有
lim P { n > } = 0 ,
所以 S 2 是 2 的无偏估计量.
n 1 2 由于 E( Sn ) = E ( ( X i X )2 ) n i =1
n1 2 = E S n
n1 = E( S 2 ) n n1 2 = n
2 所以 Sn 不是 2 的无偏估计量. 可是
兰州交通大学博文学院 8
2 n 1 2 2 2 = + ( + ) n n 1 i =1 n
《概率论与数理统计》课件第七章 参数估计
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题