参数估计统计推断的目的是由样本推断出总体的具体分布

第七章 参数估计统计推断的目的，是由样本推断出总体的具体分布。

一般来说，要想得到总体的精确分布是十分困难的。

由第六章知道：只有在样本容量n 充分大时，经验分布函数()()n F x F x −−−→一致（以概率1），但在实际问题中，并不容许n 很大。

而由第五章的中心极限定理，可以断定在某些条件下的分布为正态分布，也就是说，首先根据样本值，对总体分布的类型作出判断和假设，从而得到总体的分布类型，其中含有一个或几个未知参数；其次，对另外一些并不关心其分布类型的统计推断问题，只关心总体的某些数字特征，如期望、方差等，通常把这些数字特征也称为参数。

这时，抽样的目的就是为了解出这些未知的参数。

§1 点估计一、由来设总体 X 的分布函数形式已知, 但它的一个或多个参数为未知, 借助于总体 X 的一个样本来估计总体未知参数的值的问题称为点估计问题例1 ,在某炸药制造厂一天中发生着火现象的X 次数是一个随机变量，假设0,λ>它服从参数为的泊松分布,,λ参数为未知设有以下的样本值试估计.λ参数 012345675905422621250kkk n ∑=着火次数发生次着火的天数解： ~(),X P λ因为 ()E X λ=所以用样本均值来估计总体的均值 E (X ).606kk kk knx n===∑∑1(075190254322250=⨯+⨯+⨯+⨯+465261)⨯+⨯+⨯ 1.22= () 1.22.E X λ=故的估计为二、一般提法(;),X F x θ设总体的分布函数的形式为已知.θ是待估参数12,,X X ,nX X 是的一个样12,,,,.n x x x 本为相应的一个样本值点估计问题就是要构造一个适当的统计量12ˆ(,,,),n X X X θ12ˆ(,,,)n x x x θ用它的观察值来估计未知参数θ。

12ˆ(,,,)n X X X θθ称为的估计量，12ˆ(,,,)nx x x θθ称为的估计值。

三、点估计的方法(矩估计法和最大似然估计法)(一)矩估计 用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,这种估计法称为矩估计法.设总体X 的分布中含有未知参数，假定总体X 的1m 阶原点矩都存在，则有12(,,...,)()k k k m u u E X θθθ== (1,2,...)k m =。

取样本的k 阶原点矩k A 作为总体的k阶原点矩k u 的估计量，即11ˆn kk i i uX n ==∑ (1,2,...)k m =，得到方程组 1121212212ˆ(,,...,)ˆ(,,...,)...............ˆ(,,...,)m m m m m u u u u u u θθθθθθθθθ=⎧⎪=⎪⎨⎪⎪=⎩，解这个方程组得 1112221212垐(,,...,)垐(,,...,)...............垐(,,...,)n nm m n X X X X X X X X X θθθθθθ⎧=⎪=⎪⎨⎪⎪=⎩ 分别是12,,...,m θθθ的矩估计量。

例1、 [0,],X θθ设总体在上服从均匀分布其中(0),θ>未知12(,,,)n X X X 是,X 来自总体的样本.θ求的估计量解：因为只有一个未知参数θ，所以只考虑总体X 的1阶原点矩1 ()E X μ=因为,2θ=根据矩估计法,11ˆ1,2ni i A X X n θ====∑令ˆ 2.X θθ=所以为所求的估计量 例2、 ,X 设总体服从几何分布即有分布律1{}(1)k P X k p p -==-(1,2,)k =，12(01),(,,,)n p p X X X <<其中未知是来自总,.X p 体的样本求的估计量解：1()E X μ=11(1)k k k p p ∞-==-∑1,p =11,ˆA X p==令1ˆ.pp X=所以为所求的估计量 例3 、2,X μσ设总体的均值和方差都存在且有220,,σμσ>但和均为未知又设12,,,n X X X 是2,.μσ一个样本求和的矩估计量解：1()E X μ=,μ=22()E X μ=2()[()]D X E X =+22,σμ=+1222,.A A μσμ=⎧⎨+=⎩令 解方程组得到矩估计量分别为 1ˆ,A X μ==2221ˆA A σ=-2211n i i X X n ==-∑211().n i i X X n ==-∑ 注：一般地，11ni i X X X n ==∑用样本均值作为总体的均值的矩估计，2211()ni i B X X n ==-∑用样本二阶中心矩作为总体.X 的方差的矩估计(二)最大似然估计法(1)X 设总体属离散型似然函数的定义：{}(;),,,P X k p x θθθ==∈Θ设分布律为待估参数(Θ其中是)θ可能的取值范围，12,,,,n X X X X 是来自总体的样本12,,,n X X X 则 1(;).nii p x θ=∏的联合分布律为12,,,n x x x 又设为1,X 相应于样本2,,n X X 的.一个样本值，12,,,n X X X 则样本取到观察值12,,,n x x x 的概率，即事件1122,,,n n X x X x X x ===发生的概率为121()(,,,;)(;),,nn i i L L x x x p x θθθθ===∈Θ∏ ().L θ称为样本似然函数最大似然估计法：12,,,,n x x x 得到样本值时()L θ选取使似然函数取得最大值ˆ,θθ的作为未知参数的估计值1212ˆ(,,,;)max (,,,;).n n L x x x L x x x θθθ∈Θ=即 ()θΘ其中是可能的取值范围，ˆθ这样得到的与样本值12,,,n x x x 有关，记为12ˆ(,,,),n x x x θ ,θ参数的最大似然估计值12ˆ(,,,)n X X X θ，θ参数的最大 .似然估计量(2)X 设总体属连续型(;),,,f x θθθ∈Θ设概率密度为为待估参数()θΘ其中是可能的取值范围， 12,,,,n X X X X 是来自总体的样本12,,,n X X X 则的联合密度为1(;)nii f x θ=∏，1212,,,,,,n n x x x X X X 又设为相应于样本的一个样本值，1212(,,,)(,,,)n n X X X x x x 则随机点落在点的12(d ,d ,x x 邻域边长分别为,d )n x n 的维立方体内的概率近似地为1(;)d ,niii f x xθ=∏121()(,,,;)(;),nn i i L L x x x f x θθθ===∏().L θ称为样本的似然函数1212ˆ(,,,;)max (,,,;).n n L x x x L x x x θθθ∈Θ=若12ˆ(,,,)n x x x θ， ,θ参数的最大似然估计值12ˆ(,,,)n X X X θ， θ参数的最大似然.估计量（三）求最大似然估计量的步骤:(1) 写出似然函数 121()(,,,;)(;)nn i i L L x x x p x θθθ===∏ 121()(,,,;)(;);nn i i L L x x x f x θθθ===∏或(2) 取对数11ln ()ln (;)ln ()ln (;);nni i i i L p x L f x θθθθ====∑∑或d ln ()d ln ()(3) ,0,d d L L θθθθθ=对求导并令θ解方程即得未知参数的最大似然估计量ˆ.θ例4、设总体X 具有分布律221232(1)(1)Xθθθθ⎛⎫⎪--⎝⎭，其中01θ<<是未知参数，样本值1232,1,1x x x ===，试求未知参数θ的矩估计值极大似然估计值. 解：（1）32EX θ=-，43x =，再令x EX =得56θ=（矩估计值） （2）似然函数2256123()(2,1,1)2(1)22L P X X X θθθθθθθ=====-=-454()1012(1012)L θθθθθ'=-=-令()0L θ'= ，则0θ=或56θ=由于已知01θ<<，所以最大似然估计为 56θ= 例5、 12~(1,),,,,n X B p X X X X 设是来自的一,p 个样本求的最大似然估计量。

解：1212,,,,,,n n x x x X X X 设为相应于样本的,一个样本值X 的分布律为1{}(1),0,1,x x P X x p p x -==-=似然函数11()(1)iinx x i L p p p -==-∏11(1),nniii i x n x p p ==-∑∑=-()()11ln ()ln ln(1),n ni i i i L p x p n x p ===+--∑∑11d ln ()0,d 1nniii i x n x L p p p p==-∑∑=-=-令p 解得的最大似然估计值11ni i p x x n ===∑，p 的最大似然估计量为 11ˆni i pX X n ===∑，这一估计量与矩估计量是相同的. 例6、 (0),X λλ>设服从参数为的泊松分布12,,,n X X X X 是来自的,λ一个样本求的最大.似然估计量解：X 因为的分布律为{}e ,(0,1,2,,)!xP X x x n x λλ-===λ所以的似然函数为1()e !ix ni i L x λλλ-=⎛⎫= ⎪⎝⎭∏()11e ,!nii x n ni i x λλ=-=∑=∏ ()()11ln ()ln !,nni i i i L n x x λλλ===-+-∑∑1d ln ()0,d nii x L n λλλ=∑=-+=令λ解得的最大似然估计值11,ni i x x n λ===∑λ的最大似然估计量为11ˆn i i X X n λ===∑，这一估计量与矩估计量是相同的. 例7、 22~(,),,,X N μσμσ设总体为未知参数12,,,n x x x X 是来自的一个样本2,.μσ值求和的最大似然估计量解：X的概率密度为22()22(;,),x f x μσμσ--=X 的似然函数为22()221(,),i x ni L μσμσ--==222211ln (,)ln(2π)ln (),222nii n n L x μσσμσ==----∑222ln (,)0,ln (,)0,L L μσμμσσ∂⎧=⎪∂⎪⎨∂⎪=⎪∂⎩令 得2122221101()022()n i i ni i x n n x μσμσσ==⎧⎡⎤-=⎪⎢⎥⎪⎣⎦⎨⎪-+-=⎪⎩∑∑ 2110n i i x n μσ=⎡⎤-=⎢⎥⎣⎦∑由解得11ˆn i i x x n μ===∑ 222211()022()ni i n x μσσ=-+-=∑由解得2211ˆ(),n i i x x n σ==-∑ 2μσ故和的最大似然估计量分别为ˆ,X μ=2211ˆ().n i i X X n σ==-∑ 它们与相应的矩估计量相同.例8、 [,],,,X a b a b 设总体在上服从均匀分布其中未知12,,,n x x x 是来自总体,X 的一个样本值,.a b 求的最大似然估计量解：()12min(,,,),l n x x x x =记()12max(,,,),h n x x x x = X 的概率密度为1,,(;,)0,.a xb f x a b b a⎧≤≤⎪=-⎨⎪⎩其他12()(),,,,,n l h a x x x b a x x b ≤≤≤≤因为等价于,a b 作为的函数的似然函数为()()1,,,()(,)0,l h na xb x b a L a b ⎧≤≥⎪-=⎨⎪⎩其他()(),,l h a x b x a b ≤≥于是对于满足条件的任意有()()11(,),()()n nh l L a b b a x x =≤--()()(,),l h L a b a x b x ==即似然函数在时()()(),n h l x x --取到最大值,a b 的最大似然估计值 ()1ˆmin ,l i i na x x ≤≤==()1ˆmax ,h ii nb x x ≤≤==,a b 的最大似然估计量 1ˆmin ,i i na X ≤≤=1ˆmax .ii nb X ≤≤= 4、.极大似然估计量有如下的性质：设θ的函数)(θu u =，Θ∈θ，具有单值反函数)(u θθ=。