概率统计课件7-1

故
θˆ = max{x1 , x2 ,⋯ , xn }
武汉科技大学理学院 15
当未知参数不止一个时，似然函数L是一个多元函 数，这个多元函数的最大值点就是未知参数的最 大似然估计。
2 2 例 设 X ~ N ( µ , σ ), µ , σ 是未知参数，x1 , x2 ,⋯ , xn
2 是来自总体X的样本值，求 µ , σ 的最大似然估计.
= 8θ 4 (1 − 3θ )
ln L(θ ) = ln 8 + 4 ln θ + ln(1 − 3θ )
d ln L(θ ) 4 3 ˆ= 4 = − = 0 ⇒θ dθ 15 θ 1 − 3θ
两种估计方法所得结果不一样.
武汉科技大学理学院
14
例 设总体X在(0,θ)上服从均匀分布， X 1 ,⋯ , X n 是来自总体的样本，求θ的最大似然估计。 解
µ1 = A1 µ = A 2 2 ⋮ µk = Ak
1 n l 其中µl = E ( X l ), Al = ∑ X i l = 1, 2,⋯ k n i =1 上述方程组包含k个未知参数 θ1 , θ 2 ,⋯θ k ，其解
武汉科技大学理学院 3
θi = θi ( A1 , A2 ,⋯ , Ak ), i = 1, 2,⋯ , k ˆ 称为 θi 的矩估计，记为θ , i = 1, 2,⋯ k .
武汉科技大学理学院
5
求矩估计的一般步骤： 求矩估计的一般步骤： ⑴观察未知参数的个数k，算出 µ1 , µ2 ,⋯ , µk . ⑵构造方程（组）µi = Ai , i = 1, 2,⋯ , k ⑶解上述方程（组），其解即为未知参数的矩估 计。 常见情况: k＝1，解下列方程：
EX = X
K=2时，解下列方程组
第七章 参数估计 第一次课
•点估计
武汉科技大学理学院
1
§1点估计
问题的提法：设总体 X ~ F ( x, θ ), F 形式已知， 问题的提法： θ是待估参数。利用样本构造适当的统计量
ˆ θ ( X 1 ,⋯ , X n ),以 其观察值作为未知参数θ的近似
ˆ 值，则称 θˆ( X 1 ,⋯ , X n )为θ的估计 的估计，简记为 θ .
1 = (2π ) (σ ) exp − 2 2σ
∑ ( xi − µ ) i =1
n 2
n n 1 ln L = − ln(2π ) − ln σ 2 − 2 2 2 2σ
( xi − µ ) 2 ∑
i =1
n
令
∂ 1 n ln L = 2 ∑ xi − nµ = 0 σ i =1 ∂µ n ∂ ln L = − n + 1 ( xi − µ ) 2 = 0 ∑ ∂σ 2 2σ 2 2σ 4 i =1
L(θ ) A f ( x1 , θ ) f ( x2 , θ )⋯ f ( xn , θ )
武汉科技大学理学院 8
定义
n ∏ P{ X = xi }, 当X 为离散型 i =1 L(θ ) = n ∏ f ( xi ,θ ), 当X 为连续型 i =1
称为总体X 的似然函数。
解得
ˆ µ = X,
1 n ˆ σ = ∑ ( X i − X )2 n i =1
2
武汉科技大学理学院 17
与相应的矩估计相同。
最大似然估计的传递性
ˆ 若θ 是θ的最大似然估计，u = u (θ )具有单值反函数， ˆ ˆ 则u = u (θ )是u (θ )的最大似然估计。
1 n ˆ σ 2的最大似然估计σ 2＝ ∑ ( X i − X ) 2 , 则σ 的最大 例如， n i =1
主要问题： 主要问题：如何构造合适的统计量？ 下面介绍两种常见的方法：矩估计法 最大 矩估计法和最大 矩估计法 似然估计法. 似然估计法
武汉科技大学理学院 2
一、矩估计法 根据 设θ1 , θ 2 ,⋯θ k 是总体X 分布中的待估参数， 辛钦大数定律，样本的各阶原点矩依概率收敛于 总体的对应阶的原点矩，故令
EX = A1 2 EX = A2
EX = X 1 n 2 2 DX + ( EX ) = n ∑ X i i =1
6
即
武汉科技大学理学院
二、最大似然估计 1.最大似然原理：在一次试验中，有很多个事 最大似然原理： 最大似然原理 件可能发生，结果事件A发生了，则有理由认 为A发生的概率最大。 例 一袋中装有红白两种球，共100个。其中一 种颜色的球99个，另一种颜色的1个，从中任取 一个是红球，试判断，哪种颜色的球为99个？ 分析 应判断为红色的球是99个，否则不符合最 大似然原理。
µ1 = EX = µ µ2 = EX 2 = DX + ( EX ) 2 = σ 2 + µ 2
µ = A1 µ1 = A1 由 ⇒ 2 µ2 = A2 µ + σ 2 = A2 ˆ µ = A1 = X ⇒ 2 1 n 2 1 n n −1 2 2 2 2 ˆ σ = A2 − A1 = n ∑ X i − X = n ∑ ( X i − X ) = n S i =1 i =1
θ ∈Θ
ˆ 则称θ 为θ的最大似然估计。
如果 L(θ ) 可微，可用求导的办法找到它的最大值点， 为了求导方便，通常求 的最大值点。 ln L(θ )
武汉科技大学理学院 11
例 设 X ~ b(1, p ), x1 , x2 ,⋯ , xn 为样本，求p的最大似 然估计。 解
X 的分布率为P{ X = x} = p (1 − p ) , x = 0,1
θ
EX = θ + 4θ + 3(1 − 3θ ) = 3 − 4θ
由
1 X = (1 + 2 + 2 + 2 + 3) = 2 5 ˆ EX = X ⇒ 3 − 4θ = 2 ⇒ θ = 0.25
武汉科技大学理学院 13
⑵最大似然估计 似然函数 L(θ ) = P{ X = 1}P{ X = 2}P{ X = 2}P{ X = 2}P{ X = 3}
L 注 当样本观察值 x1 , x2 ,⋯ , xn 看成变量时， (θ )
就是样本 X 1 ,⋯ , X n 的概率分布； x1 , x2 ,⋯ , xn 看成已知数时， L(θ ) 是未知参数θ的函数， 便是似然函数。
武汉科技大学理学院 9
例 设总体
X 的密度为
λ
λ e − λ x , x > 0 f ( x, λ ) = x≤0 0,
x
1− x
似然函数为
L( p) = ∏ p (1 − p )
xi i =1 n 1− xi
= p i=1 (1 − p )
∑ xi
n
n−
∑ xi
i =1
n
n n ln L( p ) = ∑ xi ln p + n − ∑ xi ln(1 − p ) i =1 i =1
= P{ X 1 = x1}⋯ P{ X n = xn } = p ( x1 , θ )⋯ p ( xn , θ ) A L(θ )
L(θ ) 是参数θ的函数，表示事件A发生的概率.
若X 是连续型，密度函数为f ( x,θ ) 根据离散型
随机变量与连续型的对应关系： p( xi ,θ ) ~ f ( xi ,θ )
令
d ln L( p ) = dp
∑x
i =1
n
i
p
−
n − ∑ xi 1− p
i =1
n
1 n ˆ = 0 ⇒ p = ∑ xi = X n i =1
12
武汉科技大学理学院
例 设总体X的分布率为
X
1
2
3
θ
2θ
1 − 3θ
1，2，2，2，3，为一组样本观察值，求 的矩估计和最大似然估计. 解 ⑴矩估计
武汉科技大学理学院
7
2.似然函数 似然函数
设总体X 的分布率为P{ X = xi } = p( xi , θ ), i = 1, 2,⋯
x1 , x2 ,⋯ xn 是样本观察值，记
则 P( A) = P{ X 1 = x1 ,⋯ , X n = xn }
A = { X 1 = x1 ,⋯ , X n = xn }
解
X 的密度为
f ( x；µ , σ 2 ) = 1 1 exp − 2 ( x − µ ) 2 2πσ 2σ
似然函数为
武汉科技大学理学院
16
L( µ , σ ) = ∏
2 i =1
n
1 1 exp − 2 ( xi − µ ) 2 2πσ 2σ
− n 2 2 − n 2
1 , 0≤x≤θ X 的密度f ( x) = θ 0, 其它
似然函数
1 n , 0≤x1 , x2 ,⋯ , xn ≤θ L(θ ) = θ 0, 其它
由于要满足 θ≥x1 , x2 ,⋯ , xn 因此，当
θ = max{x1 , x2 ,⋯ , xn }时，L(θ )最大
L(θ ) = P{ X = 1}P{ X = 2}P{ X = 2}P{ X = 3} = 4θ 3 (1 − 3θ )
武汉科技大学理学院 10
3.最大似然估计 最大似然估计 似然函数的值越大，对应的样本出现（或落在样 本的邻域）的概率也越大，因此，应选使似然函 数值最大的参数值作为未知参数的估计。 定义 设总体X 的似然函数为L(θ ), θ的取值范围为Θ， ˆ 若θ ∈ Θ满足 ˆ L(θ ) = max L(θ ),
1 n ˆ ˆ 似然估计σ＝ σ 2＝ ∑ ( X i − X )2 n i =1