数理统计课件9

充分统计量
我们要用样本推断总体分布的未知参数, 为此来构造适当的统计量。显然,一个“好” 的统计量应该能够把样本中所包含的关于 未知参数的信息全部集中起来。如何将这 样一个直观的想法用严格的数学形式表示 呢？英国著名的统计学家R.A.Fisher在20 世纪提出了一个重要的概念：充分统计
定义：设 F ( x;θ ) 为总体的分布函数， T=T( ξ 1 , L , ξ n )为一个{一维或多维的}统计 量，给定T=t时，样本(ξ 1 , L , ξ n )的条件分 布与 θ 无关，则称T为关于 θ 的充分统计 量。 例：设 ξ1, ξ2 ,L, ξn 是来自两点分布B(1,θ ) ( ξ = 1 ) = θ , P ( ξ = 0 ) = 1 − θ . 的样本，即 P i i n
ξ 为p的无偏估计量，又
E[ξ | T ] = ξ
则 ξ 为p的无偏估计量，故 ξ 为p的一致最小 方差无偏估计量。
2
µ 的集中程 2 σ 越大，则 ξ 与 µ 集中 度越高；反之，
衡量 σ 。σ 越小，则 ξ i 与
2 2
i
程度越低。因此可认为每个ξ i 都包含了关 于总体均值的信息 。而 σ 的大小反映了 包含信息的多少：σ 越多；反之 σ 的均值为 含关于 µ
−2 −2 −2
越大，则包含信息
越小，则包含信息越少。
因此T是 θ 的充分统计量。
根据充分统计量的定义及其解释，在对 总体未知参数进行推断时，应在可能的情 况下尽量找出关于未知参数的充分统计量。 但是直接根据定义来验证一个统计量是否 是充分的是不太方便的，为此需要一个简 单的判别准则。下面介绍一个判断统计量 是否是充分的非常重要而且使用方便的准 则——因子分解定理。
第3章 参数估计
统计 推断 的 基本 问题 估计 问题 参数估计问题 非参数估计问题 参数假设 检验问题 非参数假设 检验问题
假设检 验问题
四、充分统计量与完备统计量 设某个总体 ξ 的分布具有均值 µ ，方差
σ ，ξ1, ξ2 ,L, ξn 为取自该总体的样本。则
2
此样本的每个分量 ξ i 的分布的均值为 µ ， 方差为 σ ,则 ξ i 与 µ 的分散程度可用来
n k n
假设 g ( T ) 满足： E θ g ( T ) = 0 , ∀ θ ∈ ( 0 ,1 ) 即
∑
即 因此
n
g ( k ) C θ (1 − θ )
k n k n
n−k
k =0
= (1 − θ )
∑
n
k =0
θ k g ( k )C ( ) = 0 1−θ
k n
g ( k ) = 0 , k = 0,L , n Pθ { g ( T ) = 0 } ≥ P { U ( T = k ) } = 1
Dθ (θˆ) < +∞ , ∀θ ∈ Θ
ˆ = E (θˆ (ξ , L , ξ ) | T ) 记 θ 0 1 n ˆ 是 θ ，则 θ 0
的唯一的一致最小方差无偏估计量。
例
设总体
ξ ~B(1,p),0<p<1。试求参数p的
一致最小方差无偏估计。 证：因为 T =
∑ξ
i =1
n
i
为p的充分完备Biblioteka 计量，而定理（因子分解定理）设样本 ξ1 , L , ξ n 的概率 函数或密度函数为p ( x 1 , L , x n； θ)，其中 θ 为未知参数，则T=T( ξ1 , L , ξ n )为 θ 的充分统计 量当且仅当: p ( x 1 , L , x n; θ ) = g(T( x 1 , L , x n )，θ ) h ( x 1 , L , x n ) 其中g (T( x 1 , L , x n )， θ )仅通过T表示为样本 值及 θ 的函数，h ( x 1 , L , x n ) 与 θ 无关。
下面说明T =
∑ξ
i =1
i
是
θ
的充分统计量。
证明：
P θ (ξ1 = x1 , ξ 2 = x2 ,L, ξ n = xn T = t ) P θ (ξ1 = x1 , ξ 2 = x2 ,L, ξ n = xn , T = t ) = P θ (T = t ) t n −t θ (1 − θ ) = t t n−t Cnθ (1 − θ ) 1 = t xi = t ∑ Cn
n
故
Pθ { g ( T ) = 0 } = 1
k =0
定理 设 (ξ 1 , ξ 2 , L , ξ n ) 是取自分布函数为
F ( x ; θ ) 的总体的一个样本， T = T (ξ1,ξ2 ,L,ξn )
ˆ =θ ˆ(ξ ,L, ξ ) 是参数 θ 的充分完备统计量， θ 1 n
是 θ 的无偏估计量，且
就称分布族P={ F ( x;θ ), θ ∈ Θ }为完备的。
又设 ξ1 , L , ξ n 来自分布函数为 F ( x;θ ) 的 总体的样本，而统计量 T (ξ 1 , L , ξ n ) 的分布 函数族 {FT ( x;θ ),θ ∈ Θ} 是完备的，则称
T (ξ 1 , L , ξ n )为完备统计量。
定理：设 F ( x;θ ) 为总体的分布函数，并 且T是任一充分统计量，则 θ 的极大似然 估计一定为T的函数。 完备统计量
定义：设 ξ 的分布函数为 F ( x;θ ) ，若 满足条件： Eθ g(ξ ) = 0, ∀θ ∈Θ, 则有
ξ
P , ∀θ ∈ Θ θ ( g (ξ ) = 0) = 1
2
ξ 的分布 现构造样本均值 ξ 这一统计量，
µ ，方差为 σ /n。因此 ξ
n 的信息 （用 σ 2 度量）远远
中包
多于任一分量。这正是将样本中所有关于 µ 的信息都集中起来的缘故，不仅如此，ξ 中 包含样本中所有关于 µ 的信息与n成正比。 这是因为样本容量越大时，样本中所包含关 于 µ 的信息越多。为了估计总体均值，人 们把样本加工成样本均值，这种加工本质上 是统计量压缩数据功能的体现。直观上看， 样本的不同的观察值，统计量T= T (ξ1 ,L, ξ n ) 有相同的值。譬如，改变样本观察的排列顺 序，不会改变T的值，这就是统计量“压缩数 据”的功能。
例：设 ξ1, ξ2 ,L, ξn 是来自两点分布B(1,θ ) 的样本，则 T =
∑ξ
i =1
n
i
是完备统计量。
假设g (T )满足： 证： 即
n
Eθ g (T ) = 0, ∀θ ∈ (0,1)
k n k
∑ g (k ) C θ
k =0 n n
(1 − θ )
k n
n−k
即
θ k = (1 − θ ) ∑ g (k )C ( ) =0 1−θ k =0 θ k ) = 0，∀θ ∈ （0， 1） g (k )C ( ∑ 1−θ k =0
例:设 ξ1 , L , ξ n 是来自均匀分布R(0, θ )的一 个样本，求 θ 的充分统计量。 例：设 ξ 1 , L , ξ n 是来自两参数指数分布 的一个样本，其总体的密度为:
1 p( x; α, β) = β 0 x−α exp(− ) β x>α x≤α
求：（ α, β ）的充分统计量。