02 第二节 点估计的常用方法

第二节 点估计的常用方法内容分布图示★ 矩估计法 ★ 求矩估计的方法★ 例1 ★ 例2 ★ 例3 ★ 例4 ★ 最大似然估计法★ 求最大似然估计的一般方法★ 例5 ★ 例6 ★ 例7 ★ 例8 ★ 例9★ 顺序统计量法 ★ 例10 ★ 关于有k 个未知参数的最大似然估计 ★ 内容小结 ★ 课堂练习★ 习题6-2内容要点：一、矩估计法矩估计法的基本思想是用样本矩估计总体矩. 因为由在数定理知, 当总体的k 阶矩存在时,样本的k 阶矩依概率收敛于总体的k 阶矩.例如, 可用样本均值X 作为总体均值)(X E 的估计量, 一般地, 记总体k 阶矩 );(k k X E =μ样本k 阶矩 ∑==n i ki k X n A 11;总体k 阶中心矩 ;)]([k k X E X E V -=样本k 阶中心矩 .)(11∑=-=ni k i k X X n B用相应的样本矩去估计总体矩的方法就称为矩估计法. 用矩估计法确定的估计量称为矩估计量. 相应的估计值称为据估计值. 矩估计量与矩估计值统称为矩估计. 求矩估计的方法：设总体X 的分布函数),,;(1k x F θθ 中含有k 个未知参数k θθ,,1 , 则(1) 求总体X 的前k 阶矩k μμ,,1 ，一般都是这k 个未知参数的函数, 记为k i g k i i ,,2,1),,,(1 ==θθμ （*）(2) 从（*）中解得 k j h k j j ,,2,1),,,(1 ==μμθ(3) 再用),,2,1(k i i =μ的估计量i A 分别代替上式中的i μ,即可得),,2,1(k i j =θ的矩估计量:.,,2,1),,,(ˆ1k j A A h kj j ==θ注：求,,,1k V V 类似于上述步骤，最后用k B B ,,1⋅⋅⋅代替k V V ,,1 ，求出矩估计j θˆ),,2,1(k I ⋅⋅⋅=。

二、最大似然估计法引例 某同学与一位猎人一起去打猎,一只野兔从前方窜过, 只听一声枪响, 野兔应声倒下, 试猜测是谁打中的?由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率, 故一般会猜测这一枪是猎人射中的.最大似然估计法的思想: 在已经得到实验结果的情况下, 应该寻找使这个结果出现的可能性最大的那个θ作为θ的估计θˆ.注: 最大似然估计法首先由德国数学家高斯于1821年提出, 英国统计学家费歇于1922年重新发现并作了进一步的研究.下面分别就离散型总体和连续型总体情形作具体讨论. 离散型总体的情形: 设总体X 的概率分布为),,(}{θx p x X P ==其中θ为未知参数. 如果n X X X ,,,21 是取自总体X 的样本,样本的观察值为n x x x ,,,21 ,则样本的联合分布律,),(},,,{111∏====ni i n n x p x X x X P θ对确定的样本观察值n x x x ,,,21 ,它是未知参数θ的函数, 记为∏===ni i n x f x x x L L 121),(),,,,()(θθθ ,并称其为似然函数.连续型总体的情形: 设总体X 的概率密度为),(θx f ,其中θ为未知参数,此时定义似然函数∏===ni i n x f x x x L L 121),(),,,,()(θθθ .似然函数)(θL 的值的大小意味着该样本值出现的可能性的大小, 在已得到样本值nx x x ,,,21的情况下, 则应该选择使)(θL 达到最大值的那个θ作为θ的估计θˆ. 这种求点估计的方法称为最大似然估计法.定义 若对任意给定的样本值n x x x ,,,21 , 存在),,,(ˆˆ21nx x x θθ=,使 ),(max )ˆ(θθθL L = 则称),,,(ˆˆ21nx x x θθ=为θ的最大似然估计值.称相应的统计量),,,(ˆ21n X X X θ为θ最大似然估计量. 它们统称为θ的最大似然估计(MLE ).三、求最大似然估计的一般方法求未知参数θ的最大似然估计问题, 归结为求似然函数)(θL 的最大值点的问题. 当似然函数关于未知参数可微时, 可利用微分学中求最大值的方法求之. 其主要步骤:(1) 写出似然函数),,,,()(21θθn x x x L L =;(2) 令0)(=θθd dL 或0)(ln =θθd L d , 求出驻点;注: 因函数L ln 是L 的单调增加函数,且函数)(ln θL 与函数)(θL 有相同的极值点,故常转化为求函数)(ln θL 的最大值点较方便.(3) 判断并求出最大值点, 在最大值点的表达式中, 用样本值代入就得参数的最大似然估计值.注：(i) 当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点。

(ii) 上述方法易推广至多个未知参数的情形.例题选讲：矩估计法例1（讲义例1）设总体X 的概率密度为⎪⎩⎪⎨⎧<<+=其它,010,)1()(x x x f αα其中),1(->αα是未知数，n X X X ,,,21 是取自X 的样本, 求参数α的矩估计. 解数学期望是一阶原点矩⎰+==11)1()(dx x X E ααμ,21)1(11++=+=⎰+ααααdx x 其样本矩为,21++=ααX 而,112ˆX X --=α即为α的矩估计.例2 设总体X 在],[b a 上服从均匀分布，b a ,未知. n X X X ,,,21 是来自X 的样本, 试求b a ,的矩估计量.解,2/)()(1b a X E +==μ222)]([)()(X E X D X E +==μ,4/)(12/)(22b a a b ++-=即 ,21μ=+b a .)(12212μμ-=-a b解得 ,)(32121μμμ--=a .)(32121μμμ-+=b注意到∑∑==-=-ni ini i X XnX X n12212,)(11 以21,A A 代替,,21μμ到b a ,的矩估计量分别为∑=--=--=ni iX XnX A A A a122121,)(3)(3ˆ.)(3)(3ˆ122121∑=-+=-+=ni iX XnX A A A b例3（E02）设总体X 的均值μ及方差2σ都存在, 且有02>σ, 但2,σμ均为未知, 又设n X X X ,,,21 是来自X 的样本. 试求2,σμ的矩估计量.解,)(1μμ==X E ,)]([)()(22222μσμ+=+==X E X D X E得到,1μμ=.2122μμσ-=以21,A A 代替,,21μμ得μ和2σ的矩估计量分别为,ˆ1X A ==μ∑∑==-=-=-=n i i n i i X X n X X n A A 122122122.)(11ˆσ 注: 本例表明, 总体均值与方差的矩估计量的表达式不因不同的总体公布而异. 如, ),,(~2σμN X 2,σμ未知, 则2,σμ的矩估计量为,ˆX =μ.)(1ˆ212X Xnni i-=∑=σ例4（E03）设总体X 的概率分布为22)1()1(2321θθθθ--k P X其中θ为未知参数.现抽得一个样本,1,2,1321===x x x 求θ的矩估计值.解 先求总体一阶原点矩,23)1(3)1(221)(22θθθθθ-=-+-⨯+⨯=X E一阶样本矩.34)121(31=++=x由,)(x X E = 得,3423=-θ 推出,65ˆ=θ所以θ的矩估计值.65ˆ=θ最大似然估计法例5 （E04） 设),1(~p b X ，n X X X ,,,21 是取自总体X 的一个样本，试求参数p 的最大似然估计.解设n x x x ,,,21 是n X X X ,,21的一个样本值, X 的分布律为,)1(}{1x x p p x X P --==,1,0=x故似然函数为,)1()(111∑∑==-=-==∏ni ini i ix n x ni x p p p p L令,0)1()(ln 11=-⎪⎪⎭⎫⎝⎛--⎪⎪⎭⎫ ⎝⎛=∑∑==p x n p x p L dp dni i n i i 解得p 的最大似然估计值.1ˆ1x x npni i ==∑= 从而p 的最大似然估计值.1ˆ1X Xnpni i==∑=注: 这一估计量与矩估计量是相同的.例6 设总体X 服从],0[θ上的均匀分布, θ未知. n X X ,,1 为X 的样本, n x x ,,1 为样本值. 试求θ的最大似然估计.解似然函数⎪⎩⎪⎨⎧≤≤=.,0,,0,1)(1其它θθθn n x x L因)(θL 不可导, 可按最大似然法的基本思想确定.ˆθ欲使)(θL 最大, θ应尽量小但又不能太小, 它必须同时满足),,,1(n i x i =≥θ 即),,max(1n x x ≥θ 否则,0)(=θL 而0不可能是)(θL 的最大值.因此,当},,max{1n x x =θ时, )(θL 可达最大. 所以θ的最大似然估计值与最大似然估计量分别为},,,max{ˆ1n x x =θ}.,,max{ˆ1n X X =θ例7（E05）设总体X 服从指数分布, 其概率密度函数⎩⎨⎧≤>=-0,00,),(x x e x f x λλλ其中0>λ, 是未知参数. n x x x ,,,21 是来自总体X 的样本观察值, 求参数λ的最大似然估计值.解似然函数⎪⎩⎪⎨⎧>=∑=-其它,00,);,,,(121i x n n x ex x x L ni i λλλ 显然);,,(21λn x x x L 的最大值点一定是∑=-=ni ix n n e x x x L 1);,,,(211λλλ 的最大值点, 对其取对数∑=-=ni in xn x x x L 1211ln );,,,(ln λλλ由∑==-=ni in xnd x x x L d 12110);,,,(ln λλλ , 可得参数λ的最大似然估计值.1ˆ1xxnni i==∑=λ例8（E06） 设n x x x ,,,21 是正态总体),(2σμN 的样本观察值, 其中2,σμ是未知参数, 试求μ和2σ的最大似然估计值.解记似然函数),,(),;,,(2221σμσμL x x x L n =则∏=--⎪⎪⎪⎭⎫⎝⎛=ni x i e L 12)(22221),(σμσπσμ⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧--=∑=--ni n n x 12122/2)(21exp )()2(μσσπ∑=----=ni xn n L 121222)(21ln 22ln ),(ln μσσπσμ∑==-=∂∂ni ixL 12,0)(1ln μσμ02)(21ln 21242=--=∂∂∑=σμσσn x L ni i由此可得参数μ和2σ的最大似然估计值为∑===ni i x x n1,1ˆμ∑=-=ni ix xn122)(1ˆσ最大似然估计量为,1ˆ1X X nni i ==∑=μ∑=-=ni iX Xn122)(1ˆσ与例3中的矩估计量相同.例9（E07） 已知小儿麻痹症在一年内的死亡人数服从参数为λ的泊松分布,现得到1968~1976年间的死亡人数如下表年196819691970197119721973197419751976死亡数24 13 7 18 2 10 3 9 16试求参数λ的最大似然估计值.解 设X 表示一年内因小儿麻痹症死亡的人数,则X 的概率分布为,,2,1,0,!)( ===-x e x x X P xλλ相应的似然函数为 λλλλλn ni i x ni ix e x ex L ni ii-=-=∏∏∑===11!!)(1,),!ln(ln )(ln 11∏==--⎪⎭⎫ ⎝⎛∑=ni i ni i x n x L λλλ 令01)(ln 1=-⎪⎭⎫⎝⎛∑=∂∂=n x L n i i λλλ, 得最大似然估计为 3333.11911911^=⎪⎭⎫⎝⎛∑=⎪⎭⎫ ⎝⎛∑===i i n i i x x n λ. 例10（E08） 某药厂生产开胸顺气丸,崩解时间),(~2σμN X ,其中2σμ，未知.今随机抽取5丸,测得崩解时间(单位:min)如下:36,40,32,41,36. 试用顺序统计量法求σμ和的估计值. 解 现将测得值排序为 32,36,36,40,41. 由于36=Me ,得36^==Me μ. 由 R=41-32=9,4299.015=d , 得 8691.34299.0910^=⨯==d Rσ.课堂练习1. 设总体X 具有概率概率密度⎩⎨⎧≤>=--θθλθλθλx x e x f x ,0,),,()(其中θλ,0>为未知参数. n X X X ,,,21 是来自总体X 的样本, 求λθ,的矩估计量.2. 设总体X 在],[b a 上服从均匀分布，b a ,未知，n x x x ,,,21 是一个样本值. 试求ba ,的最大值似然估计量.。