第七章 参数估计

练习 设总体X ~ e( ), X 1 , X 2 ,..., X n 是来自该 1 总体的一组样本，求的矩估计。
1 2 总体X的概率密度为f ( x, ) e , 0是未知 2 参数, ( X 1 ,, X n )是一组样本，求的矩估计.
解： 1 ( ) EX 0 1 2 ( ) EX x e dx 2 2 2 1 n 2 1 n 2 ˆ 令 2 2 X n 解得 Xn n i 1 2n i 1
称为样本的似然函数. 他是样本的联合密度函 数在一个观察值( x1 ,..., xn )处的函数值.
注：对似然函数而言, 它是待估参数的函数. 而样本是不变的.
对于离散型的总体X , 设它的分布律为 P{ X x} p( x; ), 其中 (1 , 2 , , s )
1 nI ( )
其中，I ( ) E[ ln f ( X , )] 2 , f ( X , )为总体概率分布。 I ( )称为Fisher 信息数。
ˆ ˆ 定义：为的任一无偏估计量，若D( )
1 ， nI ( )
ˆ 则称为的有效估计量（达到方差界的无偏估计量） . 1 ˆ ˆ 若 lim D( ) 1, 则称为的渐近有效估计量. n nI ( )
解：EX , EX 2 DX ( EX ) 2 2 2 .
EX X 令 2 1 n 2 2 2 2 EX DX ( EX ) n X i i 1 ˆ X 解得 2 1 n 2 1 n X i ( X )2 ( X i X )2 ˆ n i 1 n i 1
对于给定的样本 X 1, X 2 , X n的 观测值( x1 , x2 ,..., xn ), 我们把 L( x1, x2 , xn ; ) p(X i xi ) p(xi ; )
i 1 i 1 n n
称为样本的似然函数.
统计分析是基于样本的随机性考虑的,因此, 我们 在似然函数中用( X 1 ,..., X n ). ˆ 定义 : 如果似然函数L( X 1, X 2 , X n ; )在取最大值, 即 ˆ ˆ L( ) L( X , X , X ; ) max L( X , X , X ; )
例5. 设X1， , X n为参数都未知的正态总体N ( , 2 ) 的一个样本, 证明X, S 为 , 的效估计。
2 n 2
( X )2 2 2
证明：f ( X ; , 2 )
1
1 2

e
1 ( X )2 2 ln f ln( ) ln 2 2 2 2
k E(X k ) g k (1 , 2 , s ).
1 n k P Ak Xi k , n i 1
1 n k 用样本矩A k X i 来代替 k , 得到方程组 : n i 1 k (1 ,..., k ) Ak , k 1,2,..., s.
练习. 设总体X ~ N(0, 2 ) 2 未知, 设X1 , X 2 , X n 是来自该总体的一组样本, 求 2的极大似然估计, 并证明它为无偏估计.
2 最小方差无偏估计
定义 : 设( X 1 , X 2 , , X n )是来自总体的一组样本， ˆ ( X , , X )是的无偏估计量, 若满足：
1 n
ˆ (1) E , , ˆ ˆ ˆ ˆ (2) D( ) D( ), 这里 ( X 1 , X 2 , , X n )为
的任意一个无偏估计量。
ˆ ˆ 则称 ( X 1 , X 2 , , X n )是的最小方差无偏估计量。
ˆ 克拉美 罗不等式：D( )
例2. 设总体X服从B( N , p)分布， p 1未知， 0 ( X 1 , X 2 ,..., X n )是一组来自总体的样本，求 p的矩估计。
解： 1 EX Np, 令 X ˆ 1 Np X可解得p N
例3.总体X ~ U [a, b], a, b未知， 1 , X 2 ,, X n )为来自总体 (X 的一组样本，求a, b的矩估计。
ˆ ˆ ˆ 解方程组求解出1 , 2 , , s .
例1. 设总体X ~ N( , 2 ), 但 , 2均未知, 设X1 , X 2 , X n 是来自该总体的一组样本, 求 , 2的极大似然估计.
解：)似然函数 (1 L( X 1 , , X n ; , )
(4)解方程组得 X ,

1 n ˆ ( X i X )2 n i 1
2
例2. 设总体X服从参数为的泊松分布， ( X 1 , X 2 ,..., X n )是一组来自总体的样本，求
的极大似然估计。
解：)似然函数 (1 L( X 1 , , X n ; )
解该方程组得 : ˆ j h(A 1 , A 2 , As ), j 1,2, , s ˆ 称 j为参数 j矩估计.
例1. 设总体X ~ N( , 2 ), , 2均未知, (X1 , X 2 , X n ) 从总体中抽取的一组样本, 求 , 2的矩估计.
第七章 参数估计
本章将学习: 1.点估计方法 a: 矩估计法; b: 最大似然估计法; c: 估计量的评选标准. 2.区间估计法:以正态分布总体为主.
§1. 点估计
一. 问题的提法:
设总体X的分布函数F(x; )的形式为已知, 是未 知参数, X 1 , X 2 , , X n 是X的一个样本。
ˆ (1)定义 : 设是的估计量, 如果当样本的容量 ˆ n 时, 依概率收敛于 , 即对 0,
n
ˆ lim P 1,


ˆ 则称 为的相合估计量.
如果D( X )存在, 则 X 是的相合估计量.
例6. 设X1， , X n为参数都未知的正态总体N ( , 2 ) 的一个样本, X, S 2 为 , 2的极大似然估计.证明它们 n 为相合估计。
1 无偏性:
ˆ ˆ (1)定义 : 若估计量 ( X 1 , , X n )的数学期望E ( )存在, 且对于 , 有 ˆ E ( ) , ˆ 则称是的无偏估计量.
(2)例子
X 是的无偏估计.
S2是σ2的无偏估计量.
(3) 有偏估计向无偏估计的转化。
例1：X 1 , X 2 ,, X n 是来自U [0, ]的一组样本， 构造的无偏估计量。
ˆ （4）解得 X
练习 设总体X ~ e( ), X 1 , X 2 ,..., X n 是来自该 总体的一组样本，求的极大似然估计。
例3. 设X服从[0,]区间上的均匀分布, 求的极大 似然估计和矩估计量.
解：)似然函数 (1 1 n , max{ X 1 , , X n } (定义域) L( X 1 , , X n ; ) 0, 其它
如何根据样本的信息去推断总体的分 布，现在就是推断参数 的值？
ˆ 点估计就是构造一个统计量 ( X 1 , X 2 , X n )估计 ˆ 未知参数 , 称 ( X , X , , X )为的估计量,.
1 2 n
二. 矩估计法:
设总体X ~ F(x; 1 , 2 , s ), 则X的k阶原点矩
ln f 2 1 1 1 2 2 I ( ) E[ ] E[ 2 ( X )] 4 E ( X ) 2
1 2 D( X ), 所以X是的有效估计。 nI ( ) n
作业 2 3 5 7 10 11 13 14 15
3 相合估计（一致估计）:
ab a 2 ab b 2 解： 1 (a, b) EX , 2 ( a, b ) E ( X 2 ) 2 3
ab 令 1 (a, b) X 2 a 2 ab b 2 1 n 2 2 ( a, b) Xi 3 n i 1
3 n 3 n ˆ ˆ 解方程组得a X ( X i X )2 ,b X ( X i X )2 n i 1 n i 1
i 1 n

Xi
X i!
e

X i n 1 ( ) i 1 e i 1 X i !
n
n
n 1 (2) ln L ln( ) ln X i n i 1 i 1 X 程 Xi n 0 i 1
2 2 | x|
| x|
三. 极大似然估计方法:
设连续型的总体X ~ f (x; ), 其中 (1 , 2 , s ) 是未知参数, x1 , x2 ,..., xn 为一组样本,
L( x1, x2 , xn ; ) f ( xi ; )
i 1 n
1
ˆ ˆ 似然估计为 g( ).
例4. 设X1， , X n为参数都未知的正态总体N ( ,1)的一 个样本, 试求P{X t}的极大似然估计.
X- t- n n } ( n (t - )) 1 1 是的减函数, 有反函数. 解 P{X t} P{
§2. 估计量的评选标准
显然不能通过建立似然方程求得极大似然估计，L作为θ 的 函数当θ=max{X1,…Xn}时取得最大值，由极大似然估计的 定义可得
ˆ max{ X 1 , X n }
极大似然估计的性质:
设的函数 g( ), 具有单值反函数 g ( ), ˆ N , 又设是的极大似然估计, 则 g( )的极大
证明：由于 n 1
2 S n ~ 2 (n 1)，所以
2
2 4 2 2 ES n 2 , DS n .由切比雪夫不等式, 对任意 0有 n 1