第6章 参数估计及评价

(n)
12 September 2013
这类问题称为参数估计.
第六章 参数估计
第5页
参数 所有可能取值组成的集合称为参数空
间，常用表示。参数估计问题就是根据所 得样本对上述各种未知参数作出估计。
参数估计形式有两种：点估计与区间估计，
即
ˆ ˆ ( x1,, xn )
12 September 2013
∈[ , ]
经计算有 2 x 28.695, sn 0.9185, m0.5 28.6 由此给出总体均值、方差和中位数的估计分别 为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。
12 September 2013
第六章 参数估计
n
1 n n n ln L( , 2 ) 2 ( xi ) 2 ln 2 ln(2) 2 i 1 2 2
12 September 2013
第六章 参数估计
第22页
将 lnL(, 2) 分别关于两个分量求偏导并令 其为0, 即得到似然方程组
ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 ln L( , 2 ) 1 n n 2 4 ( xi ) 2 0 2 2 i 1 2
ˆ j j ( A1 ,, Ak ) j 1,, k
12 September 2013
1 n Aj X ij n i 1
第六章 参数估计
第10页
例6.1.2 X1, X2, …, Xn是来自(a,b)上的均匀分布 U(a,b)的样本，a与b均是未知参数，求参数 估计 因为 E ( X ) a b , E ( X 2 ) (b a) a b
i 1 12 September 2013
p (1 p)
xi
n
1 xi
第六章 参数估计
第18页
p i 1 (1 p)
xi
n
xi
n
n
xi
i 1
n
L( p) p i 1 (1 p)
对数似然函数为：
n
xi
i 1
n
ln L( p) xi ln( p) ( n xi ) ln( 1 p)
Fisher
第六章 参数估计
第15页
最大似然估计
定义 设总体的概率函数为p(x; )，是参数 可能取值的参数空间，X1, X2 , …, Xn 是样本， 将样本的联合概率函数看成 的函数，用L( ; x1, x2, …, xn) 表示，简记为L( )，
L( ) L( ; x1 ,, xn ) p( x1; ) p( x2 ; ) p( xn ; )
第9页
二、分布F(x,θ)已知时
未知参数的矩法估计 设总体具有已知的概率函数 F(x, 1, …,k)， X1, …, Xn 是样本，假定总体的k阶原点矩E(Xk) 存在，若令 E(Xj)=Aj ,从中解得j ，j=1,…,k,
j 表示成 A1, …, Ak 的函数j = j(A1, …,Ak)， 则j 的矩法估计为
12 September 2013
2
ˆ 1 1/ s
第六章 参数估计
第13页
6.1.2 最大似然估计
1、似然估计的思想：
再如，两个一样的箱子分别装有99个白球
1个黑球和1个白球99个黑球，现随机在一 箱中任意抽取一球，结果是白球，问来自 哪个箱可能性大？
警察破案问题.
12 September 2013
第六章 参数估计
第14页
2. 最大似然法
它是在总体类型已知条件下使用的一种参数估 计方法 . 它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
12 September 2013
第六章 参数估计
第4页
参数估计问题的一般提法
设有一个总体 , 总体的分布函数为 F( x, ) ，其中 为未知参数 ( 可以是向量) . 现从该总体抽样，得样本 X1,X2,…,Xn 要依据该样本对参数 作出估计, 或估计 的某个已知函数
12 September 2013
g ( ).
从而 p 的极大似然估计量为 1 n ˆ p( X 1 , , X n ) X i X n i 1
12 September 2013
第六章 参数估计
第20页
求最大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合联合密度; (2) 把样本联合密度 中自变量看成常数,把参数 看作自变量,建立似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化为 求ln L( )的最大值点) ，即 的MLE; (4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
2 2
用 X 代替 E(X), 用A2代替 E(X2),
ab X , 2 (b a ) 2 a b A2 12 2
2
12
2
2
由此即可得到a, b的矩估计：
a X 3( A2 X 2 ) , b X 3( A2 X 2 )
12 September 2013
12 September 2013
第六章 参数估计
第26页
解 似然函数
L( ) 1

n
I
i 1
n
{0 xi }

1

n
பைடு நூலகம்I{ x
( n ) }
要使L( )达到最大，首先一点是示性函数取 n n 值应该为1，其次是1/ 尽可能大。由于1/ 是的单调减函数，所以 的取值应尽可能小， 但示性函数为1决定了 不能小于X(n)，由此给 ˆ 出的最大似然估计： 。 x
(6.1.9) (6.1.10)
12 September 2013
第六章 参数估计
第23页
解此方程组，由(6.1.9)可得 的最大似然估计为
1 n ˆ xi x n i 1
将之代入(6.1.10)，得出 2的最大似然估计
1 n ˆ 2 ( xi x )2 s *2 n i 1
由此即可得到a, b的矩估计：
ˆ a x 3s,
12 September 2013
ˆ b x 3s
第六章 参数估计
第12页
例6.1.3 设总体服从指数分布，由于E(X)=1/， 即 =1/ E(X)，故 的矩法估计为
ˆ 1/ x
另外，由于Var(X)=1/ ，其反函数为 1/ Var( X ) 因此，从替换原理来看，的矩法估计也可取为 从上两例说明矩估计可能是不唯一的，这是矩法 估计的一个缺点，此时通常应该尽量采用低阶矩 给出未知参数的估计。
利用二阶导函数矩阵的非正定性可以说明上述 估计使得似然函数取最大值。
12 September 2013
第六章 参数估计
第24页
， 2的极大似然估计量为
1 n ˆ Xi X n i 1 1 n 2 2 *2 ˆ (Xi X ) S n i 1
将样本值代入，得出 , 2的极大似然估计值
称为样本的似然函数。
12 September 2013
第六章 参数估计
第16页
ˆ ˆ 如果某统计量 ( x ,, x ) 满足 1 n ˆ L( ) max L( )
则称 是 的最大似然估计，简记为MLE。 ˆ
为了便于运算，通常由对数似然函数lnL( ) 出发寻找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL( )求导更加简单些。
第六章 参数估计
第11页
例 X1, X2, …, Xn是来自(a,b)上的均匀分布U(a,b) 的样本，a与b均是未知参数，参数个数k=2， 由于
ab EX , 2 (b a ) 2 Var( X ) , 12
不难推出
a EX 3Var( X ), b EX 3Var( X ),
12 September 2013

第六章 参数估计
第17页
下面举例说明如何求极大似然估计 例 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数p的极大似然估计量.
解：似然函数为:
L(p)= f (x1, x2,…, xn; p )
0 1 Xi ~ 1 p p
i 1 i 1
n
n
12 September 2013
第六章 参数估计
第19页
对p求导并令其为0，
n d ln L( p) 1 n 1 xi ( n xi ) =0 dp p i 1 1 p i 1
得
1 n ˆ p xi x n i 1
即为 p 的极大似然估计值 .
其一 如何给出恰当估计，即，选择合适的估 计方法问题； 其二 如何对不同的估计进行评价，即，给 出估计的好坏判断标准。
12 September 2013
第六章 参数估计
第7页
§6.1 点估计的几种方法
6.1.1 矩法估计
一、替换原理 是指用样本矩去替换相应的总体矩，如：
ˆ 用样本均值估计总体均值E(X)，即 E ( X ) x 2 ˆ 用样本方差估计总体方差Var(X)，即 Var( X ) sn 用样本的k 阶矩替代总体的 k 阶矩,Ak=E(Xk).
12 September 2013