第七章参数估计

1 e 2πσ
( xi − µ)2 − 2σ2
L( µ, σ ) = Π
2
n
i =1
1 e 2πσ
( xi − µ)2 − 2σ2
于是
1 2 −n 2 −n 2 = (2π ) (σ ) exp[− 2 2σ
∑
i =1 n i =1
n
( xi − µ ) ]
2
n n 1 2 LnL = − ln(2π ) − ln σ − 2 2 2 2σ
为估计 µ : 我们需要构造出适当的样本的函数 T(X1,X2,…Xn) ， 每当有了样本，就代入该函数中算出一个值， 每当有了样本，就代入该函数中算出一个值，用来 作为 µ的估计值 . T(X1,X2,…Xn) 称为参数 µ 的点估计量， 点估计量， 的一个点 把样本值代入T(X1,X2,…Xn) 中，得到 µ 的一个点 把样本值代入 估计值 .
⇓
1 n P X = ∑Xi E( X ) = µ → n i=1 1 n k P Ak = ∑Xi E( Xk ) = µk (k = 1,2,L ) → n i=1
P g( A , A2 ,L, Ak ) g( µ1, µ2 ,L, µk ) → 1
其中 g 为连续函数 .
这表明 , 当样本容量很大时 , 在统计上 , 可以用 这一事实导出矩估计法. 用样本矩去估计总体矩 . 这一事实导出矩估计法 定义 用样本原点矩估计相应的总体原点矩 , 又 用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 连续函数 这种参数点估计法称为矩估计法 矩估计法的具体做法如下: 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 设总体的分布函数中含有 个未知参数 θ1,θ2 ,L,θk, 那么它的前k阶矩 那么它的前 阶矩 µ1, µ2 ,L, µk , 一般
ˆ L(θ ) = m L(θ ) ax
ˆ 而相应的统计量 称 θ θ 的最大似然估计值 . 而相应的统计量 为 $ θ( X1,K, Xn ) 称为 θ 的最大似然估计量 .
θ
两点说明： 两点说明： 1、求似然函数L( θ ) 的最大值点，可以应用 、求似然函数 的最大值点， 微积分中的技巧。由于ln(x)是 x 的增函数 lnL(θ) 微积分中的技巧。由于 是 的增函数, 与L( θ )在 θ的同一值处达到它的最大值，假定θ 在 的同一值处达到它的最大值， 是一实数， 是一实数，且lnL( θ)是 θ 的一个可微函数。通过 是 的一个可微函数。 求解方程： 求解方程：
µ1 = E( X ) = µ
µ2 = E X 2 = D( X ) + [E( X )]2 = σ2 + µ2
( )
总体矩
解得
µ = µ1
2 σ2 = µ2 − µ1
µ, σ2 的矩估计量为 于是
µ= A = X 1
1 n 2 1 n σ2 = A2 − A2 = ∑Xi − X 2= ∑( Xi − X )2 1 n i=1 n i=1
ln L( p) = ∑xi ln( p) + (n − ∑xi ) ln( 1− p)
i=1 i=1
n
n
求导并令其为0， 对p求导并令其为 ， 求导并令其为
n d ln L( p) 1 n 1 = ∑xi − (n − ∑xi )=0 dp p i=1 1− p i=1
得
1 n ˆ p = ∑xi = x n i=1
的最大似然估计和矩估计. 求θ的最大似然估计和矩估计 的最大似然估计和矩估计 解: 当x1,x2,…xn为样本值时， 用求导方法无法最终确定 θ. 似然函数为 用定义直接来求 .
L(θ ) =
1
要使L(θ)达到最大，θ应最小，但它小不过 (n) ， 达到最大， 应最小 但它小不过x 应最小， 要使 达到最大 故θ的最大似然估计为 θ = x(n) 的最大似然估计为 $ $ 另一方面,由于 由于EX=θ/2, 故矩估计为 θ = 2x 另一方面 由于 两者不同! 两者不同
2. 最大似然法
它是在总体类型已知条件下使用的一种参数估 计方法 . 高斯在 它首先是由德国数学家高斯 它首先是由德国数学家高斯在 1821年提出的 . 然而 这个方法常 年提出的 然而,这个方法常 归功于英国统计学家费歇 归功于英国统计学家费歇 . 费歇在 费歇在1922年重新发现了这 年重新发现了这 一方法， 一方法，并首先研究了这种方法 的一些性质 .
最大似然原理: 最大似然原理: 如果一个随机试验有若干 种可能的条件.若在一次试验中,结果A出现, 种可能的条件.若在一次试验中,结果A出现, 则一般认为试验条件对A出现有利.也就是说, 则一般认为试验条件对A出现有利.也就是说, 在试验的诸多可能条件中，认为使事件A 在试验的诸多可能条件中，认为使事件A发生 的概率最大的那种条件成立. 的概率最大的那种条件成立.
µ2 = E X
( ) = D( X) +[E( X)]
2
a+b 2
2
(b − a)2 (a + b)2 = + 12 4
即
a + b = 2µ1 2 b − a = 12( µ2 − µ1 )
2 a = µ1 − 3( µ2 − µ1 )
解得
b = µ1 + 3( µ2 − µ )
例5
2 2 设总体 X ~N( µ, σ ) , µ, σ 未知 . x1 ,K, xn
是来自 X 的样本值 , 试求 µ, σ2的最大似然估计量 . 解 X 的概率密度为
f ( x) = 1 2πσ e
− ( x−µ )2 2σ 2
, −∞< x < ∞
似然函数为
L( µ, σ ) = Π
2
n
i =1
L(p)= f (x1, x2,…, xn; p )
0 1 Xi ~ 1− p p
= ∏ p (1− p)
xi i=1
n
1−xi
n−∑xi ∑xi = pi=1 (1− p) i=1
n−∑xi ∑xi L( p) = pi=1 (1− p) i =1
n n
n
n
对数似然函数为 对数似然函数为：
ˆ θj = θj ( A , A ,L, Ak ) 1 2
j=1,2,…,k
矩估计量的观察值称为矩估计值 矩估计量的观察值称为矩估计值 .
例2
设总体 X 在 [ a , b ] 上服从均匀分布 ,
a , b 未知 . X1,K, Xn是来自 X 的样本 , 试求 a , b 的矩估计量 . 解 µ1 = E( X ) =
可以得到 θ的MLE .
d ln L(θ ) =0 dθ
是向量， 若θ 是向量，上述方程必须用方程组代替 . 2、用上述求导方法求参数的 、用上述求导方法求参数的MLE有时行不 有时行不 通，这时要用最大似然原理来求 .
下面举例说明如何求最大似然估计 例4 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数 的最大似然估计量 的最大似然估计量. 样本，求参数p的最大似然估计量 解：似然函数为: 似然函数为
即为 p 的最大似然估计值 . 最大似然估计量为 从而 p 的最大似然估计量为
1 n ˆ p( X1 ,K Xn ) = ∑Xi = X , n i =1
求最大似然估计(MLE)的一般步骤是： 的一般步骤是： 求最大似然估计 的一般步骤是 (1) 由总体分布导出样本的联合分布律 或联 由总体分布导出样本的联合分布律(或联 合密度); 合密度 (2) 把样本联合分布律 或联合密度 ) 中自变 把样本联合分布律( 量看成已知常数,而把参数 看作自变量,得到 得到似然 量看成已知常数 而把参数 θ 看作自变量 得到似然 函数L( 函数 θ); (3) 求似然函数 θ) 的最大值点 常常转化为 求似然函数L( 的最大值点(常常转化为 的最大值点) 的最大值点 ； 求ln L( θ)的最大值点 ，即 θ 的MLE； (4) 在最大值点的表达式中 用样本值代入就 在最大值点的表达式中, 得参数的最大似然估计值 得参数的最大似然估计值 .
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
这里我们主要介绍前面两种方法 .
1. 矩估计法
矩估计法是英国统计学家K.皮尔逊 矩估计法是英国统计学家 皮尔逊 最早提出来的 . 由辛钦定理 , 有限, 若总体 X 的数学期望 E( X ) = µ 有限 则有
个参数的函数,记为 记为： 都是这 k 个参数的函数 记为：
µi = µi (θ1,θ2 ,L,θk )
从这 k 个方程中解出
i=1,2, … ,k j=1,2,…,k
θj = θj ( µ1, µ2 ,L, µk )
那么用诸 µi 的估计量 Ai 分别代替上式中的诸 µi , 即可得诸 θj 的矩估计量 ：
第一节 参数的点估计
点估计概念 求估计量的方法
一、点估计概念
例1 已知某地区新生婴儿的体重 X ~ N µ, σ ,
(
2
)
( µ, σ 未知 )
…
个体重数据 随机抽查100个婴儿 ,得100个体重数据 个婴儿 随机抽查
10,7,6,6.5,5,5.2, …
据此, 据此,我们应如何估计 µ 和 σ 呢 ?
样本矩
矩法的优点是简单易行 并不需要事先知道总体 矩法的优点是简单易行,并不需要事先知道总体 是简单易行 是什么分布 . 缺点是 ， 当总体类型已知时， 没有充分利用分 缺点 是 当总体类型已知时 ， 一般场合下,矩估计量不具有唯一性 布提供的信息 . 一般场合下 矩估计量不具有唯一性 . 其主要原因在于建立矩法方程时， 其主要原因在于建立矩法方程时，选取哪些总体 矩用相应样本矩代替带有一定的随意性 .