数理统计的核心部分

数理统计的核心部分一. 参数估计的概念1. 提出问题参数估计是统计推断的基本问题之一,在许多实际问题中, 根据实践经验已经知道数据来自于某类分布总体, 但总体中有些参数是未知的.问题:(1) 在一定时间内某信息台接到的呼叫次数X是一个随机变量,由实践经验知道它服从泊松分布,而其中参数是多少呢？(2) 调查初中男学生的身高，根据以往经验，这些数据应该来自正态总体，我们怎样才能得到这个正态总体的两个参数呢？定义已知其分布类型(包含未知参数), 通过样本对总体中的未知参数进行估计的问题就是本章的参数估计问题.参数估计的类型:点估计——估计未知参数的值.区间估计——估计未知参数的取值范围，并使此范围包含未知参数真值的概率为给定的值.点估计问题的一般提法.,,,,,,,.,);(2121为相应的一个样本值本的一个样是是待估参数知的形式为已的分布函数设总体n n x x x X X X X x F X θθ.),,,(ˆ),,,,(ˆ2121θθθ来估计未知参数用它的观察值一个适当的统计量点估计问题就是要构造n n x x x X X X .),,,(ˆ21的估计量称为θθn X X X .),,,(ˆ21的估计值称为θθn x x x .ˆ,θ简记为通称估计⎭⎬⎫二. 点估计例估计量的求法由于估计量是样本的函数, 是随机变量, 故对不同的样本值, 得到的参数值往往不同,如何求估计量是关键问题.1.矩估计法2. 极大(最大)似然法3. 最小二乘法4. 贝叶斯方法……√√(一) 矩估计矩估计法是英国统计学家K.皮尔逊最早提出来的.矩估计法思想实质是用样本的经验分布和样本的l阶矩去代替总体的分布和l阶矩.在第五章大数定律和中心极限定理中, 我们知道: 样本的l阶矩依概率收敛于总体的l阶矩, 这就是矩估计法理论依据.定义(矩估计法)用相应的样本的k阶矩作为总体的k阶矩的估计量, 这种估计方法称为矩估计法.用上面的解来估计参数θi就是矩法估计.矩估计的步骤：Step 1 求k阶矩的期望Step 2 用相应的样本k阶矩来代替k阶矩的期望Step 3 解出关于样本k阶矩的参数的的解(先求解再替换也可以).,),,,(,)0(,],0[21的估计量求的样本是来自总体未知其中上服从均匀分布在设总体θθθθX X X X X n >解)( 1X E =μ因为,2θ=根据矩估计法,,2ˆ1X A ==θ令.2ˆ 的估计量为所求所以θθX =例1.,,),,,(,,,],[21的估计量求的样本是来自总体未知其中上服从均匀分布在设总体b a X X X X b a b a X n 解)(1X E =μ,2b a +=)(22X E =μ()(),41222b a b a ++-=2)]([)(X E X D +=,1211∑===+ni i X n A b a 令2224)(12)(A b a b a =++-,112∑==n i i X n 例2样本矩总体矩⎪⎩⎪⎨⎧-=-=+.)(12,22121A A a b A b a 即解方程组得到a, b 的矩估计量分别为)(3ˆ2121A A A a --=,)(312∑=--=ni i X X n X )(3ˆ2121A A A b -+=.)(312∑=-+=ni i X X n X.,),,,(,)10(),,2,1()1(}{,211的估计量求的样本体是来自总未知其中即有分布律服从几何分布设总体p X X X X p p k p p k X P X n k <<=-==-解)(1X E =μ11)1(-∞=-=∑k k p p k ,1p=,ˆ11X A p ==令.1ˆ的估计量为所求所以p Xp=例3.,,,,,,0,221222的矩估计量和求一个样本是又设均为未知和但且有都存在和方差的均值设总体σμσμσσμn X X X X >解)(1X E =μ,μ=)(22X E =μ,22μσ+=2)]([)(X E X D +=⎩⎨⎧=+=.,2221A A μσμ令解方程组得到矩估计量分别为,ˆ1X A ==μ2122ˆA A -=σ∑=-=ni i X X n 1221.)(112∑=-=ni i X X n 例4上例表明:总体均值与方差的矩估计量的表达式不因不同的总体分布而异.的矩估计量即得未知例222, ,,),,(~σμσμσμN X ,ˆX =μ2ˆσ.)(112∑=-=n i i X X n 一般地,,11的均值的矩估计作为总体用样本均值X X n X n i i ∑==.)(1212的方差的矩估计作为总体用样本二阶中心矩X X X n B n i i -=∑=例5解:dxx x X E αα)1(10+21)1(11++=+=+⎰ααααdx x由矩法,21++=ααX 样本矩总体矩从中解得,12ˆXX --=α的矩估计.α即为数学期望是一阶原点矩练习设总体X 的概率密度为⎩⎨⎧<<+=其它,010,)1()(x x x f αα是未知参数,其中1->ααX 1,X 2,…,X n 是取自X 的样本,求参的矩估计.(二) 极大(最大)似然估计它首先是由德国数学家高斯在1821年提出的.Gauss Fisher然而,这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.记为);();,,,()(121θθθ∏===ni i n x p x x x L L 似然函数定义),;();,,,()(121θθθ∏===ni i n x f x x x L L极大似然估计量定义求极大似然估计量的步骤:;);();,,,()();();,,,()( )(121121θθθθθθ∏∏======ni i n ni i n x f x x x L L x p x x x L L 或写出似然函数一;);(ln )(ln );(ln )(ln )(11θθθθ∑∑====ni i ni i x f L x p L 或取对数二.ˆ,0d )(ln d ,d )(ln d )(θθθθθθθ的极大似然估计值解方程即得未知参数并令求导对三=L L 极大似然估计法也适用于分布中含有多个未知参数的情况. 此时只需令.,,2,1,0ln k i L i==∂∂θ.ˆ),,2,1( ,i i k i k θθ的最大似然估计值数即可得各未知参个方程组成的方程组解出由 =对数似然方程组对数似然方程注意: 求极大值时也可能不需要取对数.,,,,),,1(~21的最大似然估计量求个样本的一是来自设p X X X X p B X n ,,,,,,,2121一个样本值的为相应于样本设n n X X X x x x 解,1,0,)1(}{1=-==-x p p x X P X xx的分布律为似然函数iix ni x p p p L -=-=∏11)1()(,)1(11∑-∑===-ni ini ix n x p p例6),1ln(ln )(ln 11p x n p x p L ni i n i i -⎪⎭⎫ ⎝⎛∑-+⎪⎭⎫ ⎝⎛∑===,01)(ln d d 11=-∑--∑===px n p x p L p ni ini i令的最大似然估计值解得p .11x x n p ni i =∑==的最大似然估计量为p .1ˆ1X X n pni i =∑==这一估计量与矩估计量是相同的..,,,,,0)(21似然估计量的最大求的一个样本是来自的泊松分布服从参数为设λλλX X X X X n >解的分布律为因为X ),,2,1,0(,e !}{n x x x X P x===-λλ∏=-⎪⎪⎭⎫ ⎝⎛=ni i x x L i1e !)(λλλ(),!e 11∏=-∑==ni i x n x ni iλλ的似然函数为所以λ例7(),!ln )(ln 11∑-⎪⎭⎫ ⎝⎛∑+-===ni i n i i x x n L λλλ,0)(ln d d1=∑+-==λλλni ix n L 令的最大似然估计值解得λ,11x x n ni i =∑==λ的最大似然估计量为λ.1ˆ1X X n n i i =∑==λ这一估计量与矩估计量是相同的..,,,,,,),,(~22122的最大似然估计量和求的一个样本值是来自为未知参数设总体σμσμσμX x x x N X n 解的概率密度为X ,eπ21),;(222)(2σμσσμ--=x x f X 的似然函数为,e π21),(22)(12σμσσμ--=∏=i x ni L 例8,)(21ln 2)π2ln(2),(ln 12222∑=----=ni i x n n L μσσσμ⎪⎪⎩⎪⎪⎨⎧=∂∂=∂∂,0),(ln ,0),(ln 222σμσσμμL L 令,0112=⎥⎦⎤⎢⎣⎡-∑=ni i n x μσ,0)()(21212222=-+-∑=ni i x n μσσ⎪⎩⎪⎨⎧解得由0112=⎥⎦⎤⎢⎣⎡-∑=ni i n x μσ,1ˆ1x x n ni i =∑==μ解得由0)()(21212222=-+-∑=ni i x n μσσ,)(1ˆ212x x n n i i ∑-==σ为的最大似然估计量分别和故2σμ,ˆX =μ.)(1ˆ212X X n n i i ∑-==σ它们与相应的矩估计量相同..,,,,,,,,],[21的最大似然估计量求的一个样本值是来自总体未知其中上服从均匀分布在设总体b a X x x x b a b a X n 解),,,,min(21)(n l x x x x =记),,,,max(21)(n h x x x x =的概率密度为X ⎪⎩⎪⎨⎧≤≤-=.,0,,1),;(其他b x a ab b a xf 例9求极大值的其它方法,,,,,)()(21b x x a b x x x a h l n ≤≤≤≤等价于因为 的函数的似然函数为作为b a ,⎪⎩⎪⎨⎧≥≤-=其他,0,,,)(1),()()(h l nx b x a a b b a L 有的任意于是对于满足条件b a x b x a h l ,,)()(≥≤,)(1)(1),()()(nl h n x x a b b a L -≤-=,)(,),()()()()(nl h h l x x x b x a b a L --==取到最大值时在即似然函数的最大似然估计值b a ,,min ˆ1)(i ni l x x a≤≤==,max ˆ1)(i ni h x x b≤≤==的最大似然估计量b a ,,min ˆ1i ni X a≤≤=.max ˆ1i ni X b≤≤=最大似然估计的性质.)()ˆ(ˆ,)();(ˆ),(,)(的最大似然估计是则估计的最大似然中的参数形式已知数的概率密度函是又设数具有单值反函的函数设θθθθθθθΘθθθu u uf x f X u u u u =∈=∈= .证明,ˆ的最大似然估计值是因为θθ),;,,,(max )ˆ;,,,(2121θθΘθn n x x x L x x x L ∈=所以,,,,21的一个样本值是来自总体其中X x x x n ),ˆ(ˆ),ˆ(ˆu u uθθθ==由于)),(;,,,(max ))ˆ(;,,,(2121u x x x L ux x x L n u n θθ ∈=故.)()ˆ(ˆ的最大似然估计是于是θθu u u=此性质可以推广到总体分布中含有多个未知参数的情况.如例9中,的最大似然估计值为2σ,)(1ˆ212X X n n i i ∑-==σ),0()(2222≥===u u u u σσσ有单值反函数函数的最大似然估计值为故标准差σ.)(1ˆˆ212X X n n i i ∑-===σσ三、小结两种求点估计的方法:⎩⎨⎧矩估计法最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时,再用矩估计法.;);();,,,()();();,,,()(121121θθθθθθ∏∏======ni i n ni i n x f x x x L L x p x x x L L 或似然函数课堂练习例1设总体X 的概率密度为⎩⎨⎧<<+=其它,010,)1()(x x x f αα其中是未知参数,αX 1 , X 2 , … , X n 是取自X 的样本,1α>求参数的矩估计.解样本矩总体矩解得11211μαμ-=-的矩估计量为α故21ˆ1X αX-=-()1μE X =1(1)αx αx dx=+⎰11(1)ααxdx +=+⎰12αα+=+解由密度函数知例2设X 1,X 2,…X n 是取自总体X 的一个样本为未知参数其它μθμθθμ,,0,1)(~)(⎪⎩⎪⎨⎧≥=--x e x f X x 其中> 0 , 求的矩估计.θ,θμμ-X 具有均值为的指数分布θ即E (X -) =μθμ2θD (X -)=⎧⎨⎩E (X )=+μθ2θD (X )=⎧⎨⎩故解得-=X μˆ∑=-=ni i X X n 12)(1ˆθ∑=-ni i X X n 12)(1也就是E (X )=+μθ2θD (X )=()θD X =()()μE X D X =-的矩估计量为于是,θμ解似然函数为∏=-=ni i x L 11)(θθθ11)(-=∏=θθni i nx )10(<<i x 对数似然函数为∑-+=nix n L ln )1(ln )(ln θθθni ≤≤1例3设X 1,X 2,…X n 是取自总体X 的一个样本⎩⎨⎧<<=-其它,010,)(~1x x x f X θθ求的最大似然估计值.θθ其中>0,∑=+=ni i x nd L d 1ln )(ln θθθ求导并令其为0=0从中解得1ln nii θnx==-∑即为的最大似然估计值.θ对数似然函数为∑=-+=ni ix n L 1ln )1(ln )(ln θθθ费舍尔资料Ronald Aylmer FisherBorn:17 Feb. 1890 inLondon, EnglandDied:29 Jul. 1962 inAdelaide, Australia。