均匀分布参数点估计
参数估计方法及其应用
样本 , 其中 为已知 , σ 2 为未知 , 判断下列各式哪 些是统计量 , 哪些不是 ? T1 = X 1 , T2 = X 1 + X 2e X 3 , 1 T3 = ( X 1 + X 2 + X 3 ), T5 = X 1 + X 2 2 , 3 T4 = max( X 1 , X 2 , X 3 ),
所以 ( X 1 , X 2 ,L , X n )的概率密度为 n λ ∑ xi n n pn ( x1 , x2 , L , xn ) = ∏ p ( xi ) = λ e i =1 , x i > 0 i =1 0, 其它
例2
设总体 X 服从两点分布 B (1, p ), 其中0 < p < 1,
其观察值
1 n 1 n 2 *2 2 2 sn = ∑ ( xi x ) = n 1 ∑ xi nx . n 1 i =1 i =1
1 n k Ak = ∑ X i , k = 1, 2, L ; n i =1
(5) 样本 k 阶(原点 矩 原点)矩 原点
(6)样本 k 阶中心矩 样本
常用统计量的分布(三)
F分布
设 U ~ χ 2 ( n1 ), V ~ χ 2 ( n2 ), 且U , V 独立, U / n1 则称随机变量 F = 服从自由度为 ( n1 , n2 ) V / n2 的 F 分布, 记为 F ~ F ( n1 , n2 ).
常用统计量的分布的分位点1
χ 2 分布的分位点
i =1 n
( 2)若总体 X的分布密度为 p( x ), 则样本( X 1 , X 2 ,L , X n ) 的分布密度为 ∏ p( x i ).
i =1 n
第三讲 参数估计 (1)
L( x1 , x2 , x3;q ) =ˆ Pq { X1 = x1 , X 2 = x2 , X 3 = x3 }
= Pq { X1 = x1 }Pq { X 2 = x2 }Pq { X 3 = x3 }
= p( x1;q ) p( x2;q ) p( x3;q ) = q x1 (1 − q )1− x1q x2 (1 − q )1− x2 q x3 (1 − q )1− x3
其它
其中 −1
是未知参数,
X1,X2,…,Xn是取自X的样本,求参数 的矩估计.
解:
数学期望
是一阶
1
=
= E(X
( + 1)
)
1
1
= x( 0
x +1dx
+ =
1)
x dx +1
原点矩由矩估计法,
X
=
0
+1
+2
总体矩
样本矩
+2
从中解得 ˆ = 2 X − 1 , 即为 的矩估计.
Gauss
Fisher
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
最大似然估计法就是用使L(q )达到最大值的qˆ去估计q . 称qˆ为q 的最大似然估计（MLE）.
怎样求最大似然估计呢？ 因为lnx是x 的严格单增函数，lnL与L有相同的极大值点， 故一般只需求lnL的极大值点即可----令其一阶偏导为0，得到 似然方程（组），求解即可。
概率论与数理统计第7章参数估计PPT课件
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
6.1 点估计的几种方法
ˆ 2X
若（ x1 , x2 , x3 , x4 , x5） （ 1， 2， 3， 5， 9） ,
1 2 3 5 9 ˆ 2X 8 X 4 5
9 落 在 区 间 [0, 8]外 面 ！ ！
例 6.1.5 一类电子产品的寿命 可以用两 参数指数分布 E ( , ) 描述，其概率密度为
1 n ˆ Xi X 解得： n i 1
1 n 2 ( X i X )2 S n n i 1
2
例 6.1.11 设总体 ~ U[0, ], 0 为未知参数, 试求 的极大似然估计.
解：设 ( X , X ,
1 2
, X n ) 为样本， ( x1 , x2 ,
, xn ) 为观测值
1
当 xi [0, ] 时，
ln L( ) n ln
L( ) ( )
i 1
n
1
n
d ln L( ) n 0, ( 0) d
d ln L( ) 方程 0无解！！ d
ln L( ) 关于 严格单调递减
(3)解出 1 , 2 ,..., m .
注意：（1）总体矩一般与参数有关; （2）方程个数m=待估参数个数; （ 3 ）尽量用低阶矩.
矩法估计的不变性
若要估计 1 ,2 , ,k 的函数 h(1 ,2 , k ) ， 把 1 , 2 ,
, k
第六章
参数估计
(1) 非参数估计：估计总体分布
如：频率直方图，样本分布函数等
(2) 参数估计：总体分布已知，估计未知参数
点估计— —估计参数的值 参数估计 区间估计— —估计参数的范围
[N1,N2]离散均匀分布参数的点估计
![[N1,N2]离散均匀分布参数的点估计](https://img.taocdn.com/s3/m/90363b11c281e53a5802ff71.png)
N1,N2 离散均匀分布参数的点估计本文基于Wolfram Mathematica 9,讨论了 N1,N2 离散均匀分布参数的点估计，包括矩估计法和极大似然估计。
并通过程序产生伪随机数进行模拟。
N1,N2 区间内的离散均匀分布，我们记作DU N1,N2 。
总体均值Μ m1 N1 N22，方差Σ2 1121 1 N1 N2 2 。
X 1,X 2, ,X n 为其一简单随机样本，X 1 ,X 2 , ,X n 为样本顺序统计量。
一、矩估计当N1，N2其中一个已知时，可知另一个即N1 2m1 N20或N2 2m1 N10，用样本矩估计总体矩m1 X 1n n i 1X i ，即得N1 2m1 N20或N2 2m1 N10。
当N1，N2其均未知时，显然方差是均值的函数，因此，无法用样本均值和方差估计出参数N1、N2。
我们考虑二阶原点矩m2 16N1 2N12 N2 2N1N2 2N22 ,将N2 2m1 N1代入，得到：m2 13m1 4m12 N1 2m1N1 N12 。
整理得到：N12 2m1 1 N1 4m12 m1 3m2 0,令b 2m1 1,c 4m12 m1 3m2,解方程得到：N1 b b 2 4c2.由于N1和N2对称且N1 N2,所以N1 b b 2 4c2，N2 b b 2 4c2。
同样，用样本矩m1 X 1n n i 1X i 代替同m1,m2 1n n i 1X i 2代替m2,即可得N1 ，N2 。
二、极大似然估计不管N1，N2是否其中一个已知，还是都未知，通过求解对数似然方程，容易得它们的极大似然估计为N1 X 1 ,N2 X n 。
三、计算程序及结果In[225]:=Needs "HypothesisTesting`"N10 6;N20 57000;X RandomVariate DiscreteUniformDistribution N10,N20 ,300 ;min Min X ;max Max X ;m1 Mean X ;m2 Moment X,2 ;"一.矩估计：""1.已知N1 N10，估计N2：""1.1公式法："N2ME1 Ceiling 2m1 N10"1.2函数法："N2ME2 CeilingN2ME2 .FindDistributionParameters X,DiscreteUniformDistribution N10,N2ME2 , ParameterEstimator "MethodOfMoments"Clear N2ME1,N2ME2 ;"2.已知N2 N20，估计N1：""2.1公式法："N1ME1 Ceiling 2m1 N20"2.2函数法："N1ME2 CeilingN1ME2 .FindDistributionParameters X,DiscreteUniformDistribution N1ME2,N20 , ParameterEstimator "MethodOfMoments"Clear N1ME1,N1ME2 ;"3.N1、N2均未知：""3.1公式法："a 1;b 2m1 1;c 4m12 m1 3m2;N1ME3 Floor b b2 4a c 2a ;N2ME3 Ceiling b b2 4a c 2a ;N1ME3,N2ME3"3.2函数法："N1ME3,N2ME3 N1ME3,N2ME3 .FindDistributionParameters X,DiscreteUniformDistribution N1ME3,N2ME3 ,ParameterEstimator "MethodOfMoments" ;Floor N1ME3 ,Ceiling N2ME3Clear N1ME3,N2ME3 ;"二.极大似然估计：""1.已知N1 N10，估计N2：""1.1公式法："N2MLE1 max"1.2函数法："N2MLE2 Ceiling N2MLE2 .FindDistributionParameters X,DiscreteUniformDistribution N10,N2MLE2 Clear N2MLE1,N2MLE2 ;"2.已知N2 N20，估计N1："2[N1,N2]离散均匀分布参数的点估计.nb[N1,N2]离散均匀分布参数的点估计.nb3"2.1公式法："N1MLE1 min"2.2函数法："N1MLE2 Ceiling N1MLE2 .FindDistributionParameters X,DiscreteUniformDistribution N1MLE2,N20 Clear N1MLE1,N1MLE2 ;"3.N1、N2均未知：""3.1公式法："N1MLE3 min;N2MLE3 max;N1MLE3,N2MLE3"3.2函数法："N1MLE3,N2MLE3 N1MLE3,N2MLE3 .FindDistributionParameters X,DiscreteUniformDistribution N1MLE3,N2MLE3 ; N1MLE3,N2MLE3Clear N1MLE3,N2MLE3 ;Clear N10,N20,X,min,max,m1,m2 ;Out[233]=一.矩估计：Out[234]= 1.已知N1 N10，估计N2：Out[235]= 1.1公式法：Out[236]=58932Out[237]= 1.2函数法：Out[238]=58932Out[240]= 2.已知N2 N20，估计N1：Out[241]= 2.1公式法：Out[242]=1938Out[243]= 2.2函数法：Out[244]=1938Out[246]= 3.N1、N2均未知：Out[247]= 3.1公式法：Out[253]= 434,58504Out[254]= 3.2函数法：Out[256]= 434,58504Out[258]=二.极大似然估计：4[N1,N2]离散均匀分布参数的点估计.nbOut[259]= 1.已知N1 N10，估计N2：Out[260]= 1.1公式法：Out[261]=56930Out[262]= 1.2函数法：Out[263]=56930Out[265]= 2.已知N2 N20，估计N1：Out[266]= 2.1公式法：Out[267]=203Out[268]= 2.2函数法：Out[269]=203Out[271]= 3.N1、N2均未知：Out[272]= 3.1公式法：Out[275]= 203,56930Out[276]= 3.2函数法：Out[278]= 203,56930。
参数估计——点估计
1 n 2 A2 X i n i 1 1 n 2 2 2 Xi n i 1
2
所以 X
பைடு நூலகம்
1 n 1 2 ( X i X )2 Xi X n i 1 n i 1
2
结论：不管总体X服从何种分布，总体期望和方差
的矩估计量分别为样本均值、样本二阶中心距，即
设总体的分布函数为F(x,)（未知），X1，X2，…，Xn
为样本，构造一个统计量 ( X1 , X 2 ,, X n ) 来估计 参数，则称 ( X1 , X 2 ,, X n ) 为参数的估计量。
点估计（point estimation) ：如果构造一个统计量
1 n k 样本的 k 阶原点矩，记作 Ak X i n i 1 1 n 样本的 k 阶中心矩，记作 Bk ( X i X )k n i 1
参数的矩法估计
矩法估计：用样本的矩作为总体矩的估计量，即
1 n k Ak (1 , 2 ,, m ) X i n i 1
2
1 2
区间长度的矩估计量为 2 12A 12X 2 2 1 2
例3 对容量为n的子样，求下列密度函数中参数 a的
2 2 (a x), (0 x a) f ( x) a 0, 其它 a 2 a 解 由于 EX x (a x)dx 0 a 2 3 a 所以由矩法估计，得 X 3 3 n 解得 a 3 X X i n i 1 3 n 所以，参数 a 的矩估计量为 a X i n i 1
i 1
n
②若总体X为连续型随机变量
L( ) f ( x1 , x2 ,, xn , ) f ( xi , )
计量经济学-1参数估计
回忆： (1) f ( x ) 0, ln[f ( x )]单调性相同，从而最大值 点相同.
( 2) L( ) p( xi ; ) n项连乘, 求导麻烦
i 1 n
ln[L( )] n项相加，求导简单
从而，
对数似然函数
求的 L( ) 最大值点就转为求ln[ L( )] 的最大值点 方法二： d ln[ L( )] ˆ 解方程 0, 得到 d
已知取到红球 , 问最有可能从何箱取 ?
P (红球/甲) 0.99 P (红球/乙) 0.01
自然，认为从甲箱取更合理
又如，兔龟赛跑，得第一名的最有可能是谁？ 极大似然估计法： （1）X---离散型，已知 X的分布
P ( X x ) p( x, ), 未知
样本 ( X1 , X2 ,, Xn ) 取到观测值 ( x1 , x2 ,, xn ) 事件A
解：E X
xf x dx 0 x dx
1
1
令E X X
1
X ˆ
X 1 X
2
二、 极大似然估计法
极大似然估计法是在总体的分布类型已知的 条件下所使用的一种参数估计方法. 它首先是由德国数学家 高斯在1821年提出的 . 然而，这个方法常归功于 英国统计学家费歇 .
, 2
L( , )
2 i 1
n
1 e 2
( xi ) 2 2 2
n
( 2 )
n 2
( )
n 2 2
1
e
2 2 i 1
( xi ) 2
n n 1 n 2 2 ln L( , ) ln( 2 ) ln( ) ( x ) i 2 2 2 2 i 1
参数估计2
n
e n
i
x !
i 1 n i 1
ii ) ln L( x1 , x 2 ,..., x n ; ) xi ln n ln xi !
i 1
xi ln L( x1 , x2 ,...,xn ; ) i 1 n 0 iii)令 : 1 n iv)解之得 : xi x为 的极大似然估计值 , n i 1 1 n X i X 为 的极大似然估计量 . n i 1
(1)正态分布N (u, 2 ) (2)指数分布Z ( ) (3)均匀分布U (a, b) (4)二项分布B(n, p) (3)泊松分布 ( ) 试求其中未知参数的矩 估计. 解 : (1)
因为X ~ N ( , 2 ), E ( X ) , D( X ) 2 故有 X ,
注2
若 为 的矩估计量, g ( )为 的连续函数, 亦称g ( )为g ( )
2 2 例如S n 为总体方差D( X )的矩估计量, 则S n S n 为标准差 D( X )
的矩估计量. 的矩估计量.
例1.1
设X 1 , X 2 ,..., X n为来自正态总体 X 的样本, X的分布为
i 1 n n
( X为连续型)
(1.4) (1.5)
或
L( x1 , x2 ,..., xn ) PX i xi ;
i 1
( X为离散型)
达到最大值
L( x1 , x2 ,..., xn ; ) max L( x1 , x2 ,..., xn ; )
(1) 利用求导法求极大然估 计步骤 i )建立似然函数: L( x1 , x 2 ,..., x n ; 1 , 2 ,..., r ) f ( xi ; 1 , 2 ,..., r )