吴赣昌编-概率论与数理统计-第6章(new)

(X1,X2,…,Xn)为X的一个样本，设其观察值为(x1,x2,…,， 则事件(X1=x1,X2=x2,…,Xn=xn)发生的概率为
P( X 1 x1 , X 2 x2 ,, X n xn ) P( X i xi )
n
(1 ) i1 (1 )
值不同，则P(A)也不同。因而应记事件A发生的概
率为P(A|)。若A发生了，则认为此时的值应是使 P(A|)达到最大的那一个。这就是极大似然思想。
例6.4 设总体X服从0—1分布，即分布律为
P( X x ) (1 )
x 1 x
f ( x ) x=0,1，其中0<θ<1未知
第六章 参数估计
参数的点估计 估计量的评选标准 正态总体参数的区间估计
6.1
参数的点估计
一、参数估计的概念
问题的提出：已知总体X的分布函数F(x;θ1,θ2,…,θk)， 其中θ1, θ2,…, θk是未知参数，现从该总体中随机地抽 样，得到一个样本X1,X2,…,Xn ，再依据该样本对参数 θ1, θ2,…, θk作出估计,或者估计参数的某个已知函数。
1 2 n
ˆ( x , x ,..., x )) max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n 1 2 n
ˆ( X , X ,..., X ) 为参数θ的极大似然估计量。 称统计量 1 2 n ˆ 记为 L
Θ
3、求极大似然估计的步骤 设总体X的分布中，有m个未知参数θ1,θ2,…,θm，它们 的取值范围。 (1)写出似然函数L的表达式 如果X是离散型随机变量，分布律为P(X=k)，则
i 1 n
xi !
e

e
n
x!
i 1 i
n
x
i
n
x
i 1
1
n
i 1
i
0
n 1 ˆ xi n i 1
d2 1 n n (ln L ( )) x 0 2 2 i d i 1 x ˆx
ˆx 所以
ˆ X L
1 n k Xi n i 1
作为相应的总体同阶矩E(Xk)的估
以样本矩的函数作为相应的总体矩的同一函数的估计 。
2、矩法的步骤：
设总体X的分布为F(x;θ1,θ2,…,θk)，k个参数θ1,θ2,…,θk 待估计，(X1,X2,…,Xn)是一个样本 。
(1)计算总体分布的i阶原点矩E(Xi)=μi(θ1,θ2,…,θk)， i=1,2,…,k，(计算到k阶矩为止，k个参数)；
n 2 i 2 i 1
n n n 1 ln L( , 2 ) ln 2 ln 2 ( xi 2 2 2 2 i 1 ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 解得 2 n ln L ( , ) n 1 2 2 ( xi ) 0 2 4 2 2 i 1
总体均值与方差的矩估计量表达式不因不同的总体分布而异
例6.2 设总体X~P(λ)，求λ的矩估计。
n 1 解 E( X ) X X i n i 1

ˆX
1 b a a x b 求a,b的矩估计。 X ~ f ( x, a, b) 0 其它 2 ( b a ) a b 解 X~U(a,b) E ( X ) D( X ) 12 2 ab a b X E ( X ) 2 X 2 2 (b a ) 2 1 n n 1 ( b a ) E ( X 2 ) X i2 X 2 ( X i X ) 2 ( EX ) 2 n i 1 n i 1 12 12 解得矩估计为 1 n B2 ( X i X )2 ˆ X 3B n i 1 b ˆ X 3B2 a 2 2阶中心矩
点估计：用某个函数值作为总体未知函数的估计值 区间估计：对未知参数给出一个范围，并给出在一定 的可靠度下使这个范围包含未知参数的真值。
点估计：由总体的样本(X1,X2,…,Xn)对每一个未知参数 θi(i=1,2,…,k)构造统计量 ˆi ˆi ( X1 , X 2 ,, X n )作为参数θi 的估计，称 ˆi ˆi ( X1 , X 2 ,, X n ) 为参数θi的估计量。 样本(X1,X2,…,Xn)的一组取值(x1,x2,…,xn)称为样本观察 值，将其代入估计量ˆi，得到数值 ˆi ˆi ( x1, x2 ,, xn ) 称为参数θi的估计值。
二、极大似然估计法(R.A.Fisher费歇)
先看一个简单例子： 某位同学与一位猎人一起 外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？ 你会如何想呢?
1、极大似然估计法的基本思想
由样本的具体取值，选择参数θ的估计量 ˆ 使得取该样本值发生的可能性最大。 一般说，事件A发生的概率与参数有关，取
n n
n d ln L( ) n 1 1 xi n xi 0 d i 1 i 1 1
解得
1 n xi n i 1
它使lnL(θ)最大
n 1 ˆ Xi X n i 1
所以θ的极大似然估计量为
例6.5 (X1,X2,…,Xn)是来自总体X~P(λ)的样本，λ>0未知， 求λ的极大似然估计量。 解 总体X的分布律为
xi 1 xi i 1
n
xi
n
i 1
n
xi
i 1
n n i i i 1 i 1
n
n x 对于给定的样本观察值，上述概率为θ的 x (1 ) 函数，称其为似然函数，并记为L(θ)，即L( )
为使上述随机事件的概率达到最大，应选取使L(θ)达到最大 的参数值(如果存在)，即选取的 ˆ 应满足 ˆ) max L( ) L(
是λ的极大似然估计值,λ的极大似然估计量为
例6.6 设(X1,X2,…,Xn)是来自正态总体X~N(μ,σ2)的一个 样本，μ,σ2未知，求μ,σ2的极大似然估计。 解 设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则 似然函数为 ( xi ) 2 1 n n ( x ) 1 2 2 L( , ) e 2 (2 2 ) 2 e 2 2 i 1
n n n 1 1 1 ˆ 2 X i2 2 X i2 X 2 ( X i X ) 2 n i 1 n i 1 n i 1
1 n 2 1 n Xi 2X Xi X 2 n i 1 n i 1
1 n 2 Xi X 2 n i 1
1 n 解得矩法估计量为 ˆ Xi X n i 1
注：1
n n n 1 1 1 2 2 1 2 2 2 X 2 X X X i i (Xi X ) (Xi 2Xi X X ) n n n i 1 i 1 i 1 n i 1 n i 1 n n
ˆ ( x , x ,, x ) 是实数域上的一个点， 由于 i 1 2 n
现用它来估计未知参数，故称这种估计为点估计。
在不致混淆的情况下，估计量、估计值统称估计，记 为 ˆi
点估计的经典方法是： (1)矩估计法 (2)极大似然估计法
二、矩估计法(简称“矩法”)
英国统计学家皮尔逊(K.pearson)提出 1、矩法的基本思想： 以样本原点矩 计；
0 1
2、似然函数与极大似然估计
设
X 1 ,, X n ~ f ( x; ), 且相互独立 则称
L( ) L( x1 ,, xn ; ) f ( xi ; )
i 1
n
为该总体X的似然函数。
对每一样本值(x1,x2,…,xn)，在参数空间内使似然 函数L(x1,x2,…,xn;θ)达到最大的参数估计值 ˆ ˆ( x , x ,..., x ) ,称为参数θ的极大似然估计值，它满足
1 n Xj (2)列方程 1 (1 , 2 ,, k ) E ( X ) X n j 1 1 n 2 2 2 2 (1 , 2 ,, k ) E ( X ) X X j n j 1 n 1 k k k ( , , , ) E ( X ) X X k j k 1 2 n j 1 ˆ ˆ ˆ ，k 从中解出方程组的解，记为 1，2，
ˆ， ˆ， ˆ 分别为参数θ1,θ2,…,θk的矩估计。 则 ， 1 2 k
例6.1 设总体X的均值为μ，方差为σ2，均未知。 (X1,X2,…,Xn)是总体的一个样本，求μ和σ2的矩估计。 解
1 n E( X ) n X i i 1 n 1 2 2 2 2 2 E ( X ) D( X ) ( EX ) X i n i 1
L P ( X xi )
i 1 n
如果X是连续型随机变量，密度函数为f(x)，则
L f ( xi )
i 1 n
(2)在内求出使得似然函数L达到最大的参数的估计值
ˆ , ˆ ,, ˆ 1 2 m
它们就是未知参数θ1,θ2,…,θm的极大似然估计。
一般地，先将似然函数取对数lnL，然后令lnL关 于θ1,θ2,…,θm的偏导数为0，得方程组
ln L 0 1 ln L 0 2 ln L 0 m
ˆ , ˆ ,, ˆ 从中解出 1 2 m
在例6.4中，
n xi n xi n i 1 i 1 xi ln n xi ln(1 ) ln L( ) ln (1 ) i 1 i 1