十九点估计

( x1 − µ ) 2 + ...+ ( xn − µ ) 2 2σ 2
n ( x 1 − µ ) 2 + ... + ( x n − µ ) 2 ln L ( µ , σ 2 ) = − ln( 2π ) − n ln σ − 2 2σ 2
2( x1 − µ )( −1) + ... + 2( x n − µ )( −1) ∂ ln L( µ , σ 2 ) =− 令： = 0 2σ 2 ∂µ
极大Байду номын сангаас然 估计量
ˆ µ=X
1 2 ˆ σ = ∑(Xi − X ) n i =1
2
n
例：设总体 X 服从 ( a , b )上的均匀分布
1 X的概率密度为： f ( x ) = b − a 的概率密度为： 0 a< x<b 其它
, a , b 未知 , .
x 1 , x 2 ,..., x n 是样本值 , 求 a , b 的极大似然估计量
第七章 参数估计 第一节 点估计
1、矩估计法
原理： 阶矩， 原理：用样本的 k阶矩近似总体的 k阶矩，如果总体 个未知参数， 的分布中有 m 个未知参数，就令 m 个等式
1 n k E( X k ) = ∑ X i n i =1
( k = 1,2,..., m )
出现参数
是统计量 , 不含未知参数 .看成已知量
2、极大似然法
原理： 的一次实现， 原理：设 x1 , x 2 ,..., x n是样本 X 1 , X 2 ,..., X n的一次实现，既然出现 了 就是合理的，因此， 就是合理的，因此，让 参数取值使得 P { X 1 = x1 , X 2 = x 2 ,..., X n = x n } 达到最大， 称为极大似然估计值。 达到最大，所得参数值 称为极大似然估计值。
n ∂L(a , b ) 因 = > 0, 故L(a , b ) ↑ a n+1 (b − a ) ∂a
L(a , b ) ≤ L(a最大 , b )
∂L(a , b ) −n 因 = < 0, 故L(a , b ) ↓ b L( a最大 , b ) ≤ L( a最大 , b最小 ) n+1 ∂b (b − a )
L(θ ) = p( x1 ) p( x 2 )... p( x n )
ˆ 第三步： 第三步：求 L(θ )的最大值点 θ = θ 。
技巧： ln 的最大值点相同， 的最大值点。 技巧： L(θ )和 L(θ )的最大值点相同，改为 求 ln L(θ )的最大值点。
为参数的泊松分布， 例：设总体Ｘ服从以 λ 为参数的泊松分布， 设总体Ｘ 的样本， X 1 , X 2 ,..., X n是来自总体 X的样本，求参数
做法： 1、 做法： 离散型
设总体 X的分布律为 P { X = x k } = pk 的分布律为
第一步： 第一步：将分布律写成 ：P{ X = x } = p( x )
第二步 : 写出似然函数 L(θ ) = P{ X 1 = x1 }P{ X 2 = x 2 }...P{ X n = x n }
=
1 e 2π σ
−
( x2 − µ ) 2σ 2
− 1 ... e 2π σ
2
( xn − µ ) 2 2σ 2
( x 1 − µ ) 2 + ... + ( x n − µ ) 2 n ln L ( µ , σ 2 ) = − ln( 2π ) − n ln σ − 2 2σ 2
− 1 = e n n ( 2π ) σ
例：设总体 X服从 π ( λ )分布 , 其中参数 λ 未知 , 又 X 1 , X 2 ,..., X n是来自总体 X的样本 , 求 λ 的矩估计量 .
解：只有 1个未知参数
1 n 令E ( X ) = ∑ X i = X n i =1
只需列一个方程
因为X服从π (λ ), 所以E ( X ) = λ
0= ∂ ln L( µ , σ ) ∂σ
2
( x1 − µ ) 2 + ... + ( x n − µ ) 2 ( −2)σ − 3 =− − σ 2 n
解得： 1 n 解得： ˆ µ = ∑ xi = x
n
i =1
1 n 1 n ˆ σ 2 = ∑ ( xi − µ )2 = ∑ ( xi − x )2 n i =1 n i =1
计算总体 1阶矩
总体 1阶矩 = 样本 1阶矩
解得： 解得：
ˆ λ=X
例 2：设样本 X 1 , X 2 ,..., X n来自正态总体 N ( µ , σ 2 ), 未知， 的矩估计量。 其中 µ , σ 2未知，试求 µ , σ 2的矩估计量。
2 个方程。 未知参数 2个，列 2个方程。 计算总体 1、阶矩 解： 因为 X服从 N ( µ , σ 2 ), 所以 E ( X ) = µ , E ( X 2 ) = µ 2 + σ 2 .
ˆ = 1 λ ∑1 x i = x n i= 1 n 把小写换大写： 把小写换大写：最大似然估计量 λˆ = n ∑ X i = X i =1
λ
分布， 例：设总体 X服从 b (1, p )分布， X 1 , X 2 ,..., X n是来自总体 X的一个样本，求参数 p 的极大似然估计量。 的一个样本， 的极大似然估计量。
λ 的极大似然估计量。 的极大似然估计量。
e −λ λx 的分布律为： = p( x ) x = 0,1,... 解：总体X的分布律为： P{ X = x } = x! 是样本的一次实现， 设 x1 , x 2 ,..., x n是样本的一次实现，则 似然函数为
L( λ ) = p( x1 ) p( x 2 )... p( x n ) e − λ λ x1 e − λ λ x 2 e − λ λ xn e − nλ λ x1 + x 2 + ... + x n ... = = ( x1 )! ( x 2 )! ( x n )! ( x1 )! ( x 2 )!...( x n )!
做法： 做法：设总体 X的概率密度为 f ( x ;θ ),
1、写出似然函数
L(θ ) = f ( x1 ;θ ) f ( x 2 ;θ )... f ( x n ;θ )
2.取对数得到对数似然函 数 ln L(θ )
3.求对数似然函数 ln L(θ )的最大值点
例：设样本 X 1 , X 2 ,..., X n来自正态总体 N ( µ , σ 2 ), 其中参数 µ , σ 2 未知， 的极大似然估计量。 未知，求 µ , σ 的极大似然估计量。
2、连续型
原理： 的一次实现， 原理：设 x1 , x 2 ,..., x n是样本 X 1 , X 2 ,..., X n的一次实现， 既然实现了就是合理的 ，让 n维随机点 ( X 1 , X 2 ,..., X n ) 在点 ( x1 , x 2 ,..., x n )取值最为稠密，即联合 密度最大， 取值最为稠密， 密度最大， 最大似然估计值。 得到参数的估计值称为 最大似然估计值。
的分布律为： 解：X的分布律为： P{ X = x } = p (1 − p)
x 1− x 记作
= p( x ) ( x = 0,1)
似然函数： 似然函数： L( p ) = p( x1 ) p( x 2 )... p( x n )
x2 = p x1 (1 − p)1− x1 p x2 (1 − p )1− ... p xn (1 − p )1− xn
解：
L(a , b ) = f ( x1 ) f ( x 2 )... f ( x n )
1 = (b − a ) n
a < x i < b, ( i = 1,..., n)
的范围： 参数a , b的范围： a < min( x1 , x 2 ,..., x n ), b > max( x1 , x 2 ,..., x n )
ln L(λ ) = − nλ + ( x1 + x 2 + ... + x n ) ln λ − ln(( x1 )! ( x 2 )!...( x n )! )]
令 d ln L ( λ ) =0 dλ
0 = −n +
x1 + x 2 + ... + x n
n
看成已知的数。 把x i 看成已知的数。
2
解 : 似然函数
− 1 e 2π σ ( x1 − µ ) 2 2σ
2
f ( x; µ , σ ) =
1 e 2π σ
−
( x − µ )2 2σ 2
L( µ , σ 2 ) = f ( x1 ; µ , σ 2 ) f ( x 2 ; µ , σ 2 )... f ( x n ; µ , σ 2 )
L(a , b ) ≤ L(a最大 , b最小 )
的范围： 参数a , b的范围： a < min( x1 , x 2 ,..., x n ), b > max( x1 , x 2 ,..., x n )
ˆ a = a最大 = min( x1 , x 2 ,..., x n )
ˆ b = b最小 = max( x1 , x 2 ,..., x n )
令
1 n E( X ) = ∑ X i n i =1
1 n 2 E( X 2 ) = ∑ X i n i =1
1 n 即µ = ∑ X i = X n i =1
1 n µ 2 + σ 2 = ∑ X i2 n i =1
µ 解得： 解得：ˆ = X
1 n 2 1 n ˆ σ 2 = ∑ X i − X 2 = ∑ ( X i − X )2 n i =1 n i =1