最大似然估计法教学提纲
第57讲 最大似然估计法 (1)
概率论与数理统计主讲：四川大学四川大学1§7.1 点估计四川大学3第57讲最大似然估计法(1)四川大学四川大学4最大似然估计法Maximum Likelihood EstimationMLE四川大学5四川大学6最大似然估计法是建立在最大似然原理基础上的一种参数估计法。
所谓最大似然原理是指：假设一个随机试验E 有若干可能的结果A 1, A 2, …。
如果只进行了一次试验，而结果A k 出现了，那么我们就有理由认为试验的条件对结果A k 的出现最有利，即试验E 出现的结果A k 的概率最大。
也叫极大似然估计法。
四川大学四川大学四川大学7例如，设一袋中装有白球和黑球，并且已知两种颜色的球的比例为8:2，但不知道哪一种颜色的球更多。
如果有放回地从袋中取两次球，每次取一个，结果两次都取到黑球，那么我们有理由认为黑球占80%。
因为若黑球占80%，则两次都取到黑球的概率为0.82=0.64。
相反，如果黑球只占20%，则两次都取到黑球的概率为0.22=0.04。
四川大学四川大学四川大学8因为若黑球占80%，则两次都取到黑球的概率为0.82=0.64。
相反，如果黑球只占20%，则两次都取到黑球的概率为0.22=0.04。
因此，两次都取到黑球对我们判断黑球占80%=0.8有利。
最大似然法的基本思想就是：对于已经出现的样本值x 1, x 2,…, x n ，适当地选取参数θ，使试验得出结果X 1=x 1, X 2=x 2, …, X n =x n 的概率最大。
四川大学四川大学最大似然估计法的模型四川大学9四川大学10设总体X 为离散型随机变量，其分布律为其中θ是未知参数，X 1, X 2,…, X n 为来自总体X 的样本，x 1, x 2, …, x n 为其一组样本值。
记{}(;)P X x p x θ==()L θ1122{,,...,}n n P X x X x X x ====1122{}{}{}n n P X x P X x P X x ===⋅⋅⋅=1{}n i i i P X x ===∏1(;)ni i p x θ==∏独立性同分布L (θ)称为样本x 1, …, x n 的似然函数Likelihood function四川大学四川大学11()L θ11{,...,}n n P X x X x ===1(;)n i i p x θ==∏L (θ)称为样本x 1, …, x n 的似然函数由于L (θ)是事件{X 1=x 1, …, X n =x n }的概率，由最大似然估计法的思想，我们希望求这样的使得达到L (θ)的最大值，即ˆθˆ()L θ因为样本值x 1, …, x n 是已知的常数，L (θ)是θ的一元函数。
5-2 最大似然估计
i =1
又设 x1, x2 , , xn 为样本 X1, X 2 , , X n 的一组
观察值.
n
L(x;θ ) = L(x1,
,
xn
;θ
)
=
∏
i =1
p(
xi
;θ
),
θ ∈ Θ,
则 L(x;θ )称为样本似然函数.
8
例 X~P (λ), 即 P( X = m) = λm e−λ , m = 0,1,
的解.
∂θi
18
定义法
当似然函数L(θ )有不连续点时，似然方程没有
意义，须从定义出发求最大似然估计. 性质
如果 θˆ 是θ 的极大似然估计，则对任一函数 g(θ )，其极大似然估计为 g(θˆ) .
该性质称为极大似然估计的不变性.
19
例 设 X = ( X1, , X n ) 是来自两点分布 b(1, p) 的
浙江财经学院本科教学课程 ----经济数学(三)
概率统计
最大似然估计
§5.2 最大似然估计
思想方法：一次试验就出现的事件有较大的概率
例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 99 1 一箱 1 个白球 99个红球 1 99
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.
但不知道是黑球多还是红球多，则从中抽出一
球为黑球的概率θ为 ¼ 或 ¾ .
现从罐子里有放回地抽出 n 个球，试根据样本
数据，估计 θ 的值为 ¼ ，还是 ¾？
解：令Xi 表示第i 次抽球的结果，即
⎧1, 黑球 ,
Xi
=
⎨ ⎩
0
,
否则 .
概率论与数理统计-第6章-第2讲-最大似然估计法
P(X1 1)P(X2 0)P(X3 1)
3
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
01 求最大似然估计的一般步骤
(1) 构造似然函数 L(θ)
设X1, , X n是来自X 的样本, x1, , xn是其一组样本值，
若总体X 属离散型,其分布律 P( X x) p(x; ),
概率论与数理统计
第6章 参数估计
第2讲 最大似然估计法
主讲教师 |
第2讲 最大似然估计法
上一讲介绍了矩估计，这一讲介绍点估计的另外一种方法— —最大似然估计法，它是在总体类型已知条件下使用的一种参数 估计方法 .
它首先是由数学家高斯在1821年提出的，费歇在1922年重 新发现了这一方法，并研究了它的一些性质 ，从而得到广泛应 用.
即
L(
x1
,,
xn
;ˆ)
max
L(
x1,,
xn
;
)
ˆ(x1, , xn )称为参数的最大似然估计值.
ˆ( X1, , X n )称为参数的最大似然估计量.
一般， 可由下式求得：
dL( ) 0或 d ln L( ) 0.
d
d
似然方程
6
01 求最大似然估计的一般步骤
注1
未知参数可以不止一个, 如1,…, k
ln
L
n
i1
(xi )2 2 2
n 2
ln(2
)
n 2
ln(
2)
似然 方程 组为
ln
L
1
2
n
(xi
i1
)
0
(
2 ) ln
L
1
最大似然估计PPT课件
样本均值：
1 n1 X n1 i1 X i ,
1 Y
n2
样本方差： S12
定理6 设总体 X
1 n1
n1 1 i1 ~ N 1,
X
2 1
i
,
X Y
2
~
n2
Yj
j 1
N 2
S
2 2
,22
1 n2
,则
1
n2
j 1
Yj
Y
2
1 2Pt 1.397 查表得： t 0.10 (8 ) 1.397
1 0.10 2 0.80
例题13-5-2 设总体 X ~ N ,22 , 抽取容量为16的样本
（1）已知 0，求P 16 Xi2 128;
（2） 未知，求P
16
P i1
Xi X
2
100
P
1 22
16 i 1
Xi X
2
100 22
P(
2 2
25)
1
P
(
2 2
25)
1 0.05 0.95
2 0.0 5
(15)
25.0
5
第十三讲：中心极限定理数理统计基本知识
F
S12
S
2 2
2 1
2 2
~ F (n1 1, n2 1)
证
：
2 1
又
Sn112与 112SS22独12 ~立，2 (n1 112与 ), 2222独n立2 ，122
定时截尾寿命实验与定数截尾实验下的最大似然估计法
长，由于时间和财力的限制，我们不可能得到完全样本，于是就考虑截尾寿命试验.
常用的ቤተ መጻሕፍቲ ባይዱ种截尾寿命试验：
一种是定时截尾寿命试验。假设将随机抽取的 n 个产品在时间 t=0 时同时投入试
验，试验进行到事先规定的截尾时间 t0 停止.如试验截止时共有 m 个产品失效，它们
的失效时间分别为
0 ≤ t1 ≤ t2 ≤ L ≤ tm ≤ t0 ,
应于样本 X 1 , X 2 ,L, X n 的一个样本值，则似然函数为
n
n
∏ L( p) =
n
p xi (1 −
p)1− xi
=
∑ xi p i=1 (1 −
∑ n− xi p) i=1 ,
i =1
n
n
∑ ∑ 于是 ln L( p) = xi ln p + (n − xi ) ln(1 − p) .
考虑函数
n
∏ f (xi ;θ ) dxi
i =1
n
∏ L(θ ) = L( x1, x2 ,L, xn ;θ ) = f (xi ;θ ) i =1
同样称 L(θ ) 为样本的似然函数.
最大似然估计法的方法:
固 定 样 本 观 察 值 x1, x2 ,L, xn ， 在 θ 取 值 的 可 能 范 围 内 Θ 挑 选 使 似 然 函 数
这一概率随θ 的取值而变化，它是θ 的函数，称 L(θ ) 为样本的似然函数.
第6 章 最大似然估计法
y
)
⎤⎥⎥⎥⎦⎫⎪⎪⎬⎪⎪⎭−1
。
第二种方法是，将期望算子忽略掉，即
18
An var(θˆ
ML
)
=
⎡⎢⎢⎢⎣−
∂
2
ln L(θˆ ML ∂θˆ ∂θˆ ′
;
y
)
⎤⎥⎥⎥⎦−1
。此方法被称为“观测信息矩阵”
（Observed Information Matrix，OIM）法。
第三种方法利用信息矩阵等式，用
7
最优 σ2 。
在 第 一 步 ， 选 择 β 使 得 ln L(β, σ2) 最 大 ， 这 等 价 于 让 (y − Xβ)′(y − Xβ) 最小。
βˆ ML = βˆ OLS = (X′X)−1 X′y (6.9)
在第二步，对 σ2 求导，
−
n 2
1 σ2
+
1 2σ 4
e′e
20
其中，K 为约束条件的个数（即为解释变量的个数）。 2．似然比检验（Likelihood Ratio Test，LR）：
H0 Θ
图 6.4、无约束与有约束的参数空间
21
如果 H0 正确，则 ln L(βˆU )−ln L(βˆ R ) 不应该很大。在此例中，
βˆ R = β0 。LR 统计量为，
19
6.7 三类渐近等价的统计检验
对于线性回归模型，检验原假设 H0 : β = β0 ，其中 βK×1 为未 知参数，β0 已知，共有 K 个约束。
1．沃尔德检验（Wald Test）：如果 H0 正确，则 (βˆU −β0) 的绝 对值不应该很大。沃尔德统计量为，
W ≡ (βˆU −β0 )′ ⎡⎢⎣Var(βˆU )⎤⎥⎦−1 (βˆU −β0 ) ⎯d⎯→ χ2 (K ) (6.18)
最大似然估计法
样本函数 u
X 0 n
~ N 0,1
对于置信水平1-α，总体均值μ的置信区间为
X
0
n
u X
2
0
n
u
2
(2)设总体X～ N , 2 , 未知σ，求μ的置信区间。
X 用 S 代替 0 ，则样本函数 t ~ t n 1 S n
2
1
2 X i 0 2 i 1
n
~ 2 n.
2 对应于置信水平1-α，总体方差 的置信区间为
X i 0
i 1
n
2
( n)
2 2
2
2 X i 0 i 1
n
2 1
2
( n)
.
6
（2）设总体X～ N , 2 , 未知 ，求 的置信区间。
第六章 参数估计
(一)基本内容
一、参数估计的概念
ˆ X , X ,, X , 如果以它的观测 1 定义：取样本的一个函数 1 2 n
值作为未知参数θ的估计值，则称 ˆ X 1 , X 2 ,, X n 是θ的 点估计量。而称其观测值 ˆ x1 , x 2 ,, x n 是θ的点估计值。
X Y 考虑样本函数 T
假设 1 2，求 1 2 的置信区间。
1
ቤተ መጻሕፍቲ ባይዱ
2
1 1 sw n1 n2
~ t n1 n2 2.
∴对应于置信水平1- α ， 两个总体均值差 1 2 的置信区间为:
X Y t sw
有
ˆ 1, limP n
最大似然估计的教学方法
（ Ｘ ， Ｘ。 中，有 ４ ， …， ） 个等于 １ ６ ，４ 个等于 ０ ．该样本 出现的概率为
Ｌ ） ＰＸ ＝ １Ｘ ＝ ２ … Ｘ０ Ｘ ）ＨＰＸ ＝ ｉ ０（ ４ （ ＝ （ｌ ， ２ ， ， ５ ５ ＝ （ｉ ） ４ — ） ＝０ ＝ １ ６
法 ，式 （ ） １ 两端关于 ０ 求导并令其为 ０，得
４ 通过对 比，明确方法 的适用范 围
参数点估计的矩估计法 ，其原理是用样本矩估计总体矩，它虽然直观简便 ，但也有缺点，它要求总体
矩必须存在 ，并且没有充分利用分布所提供 的信息．当总体分布已知时 ，通常可以采用最大似然估计法． 最大似然法应用的例子很多，在正态分布、指数分布等各分布中都可以用来估计参数．另外在均匀分
３ 总结思路 ，强调解题 的一般步骤
结合例 ３ ，引导学生得出求最大似然估计 的基本思路． 设总体 的分布为 ｐ ） ０ ０，ｐ ） （； ， ∈ （； 的形式已知 ， 为一个未知参数或几个未知参数组成的参 数 向量 ， ｌＸ ， Ｘ 是总体 ｘ的样本 ， Ｘ１ ｘ２ … Ｘ ， ２ …， 则 ， ，
，
Ｘ 的 合分 联 布为ｎ ｐ ｉ ， ，：…，ｎ （； 设（ Ｘ， Ｘ） ｘ ）
ｉ ＝ｌ ｉ ＝ｌ
ｎ
给 一 样本 可以 该样 定的 组 值， 列出 本值出 概率，Ｌ ） Ｌ ：…， ； ＝ （； ， ∈ 这 现的 （ ＝ （， ， ） Ｈｐ ０ ０， ｘ ｘ ）
第３ ２卷 第 ４ 期
２ １ ０ ２焦
高 师 理 科 学 刊
Ｊ ｕ ｌ ｆ ｃｅ ｃ ｆ ａ ｈ ｒ Ｃ ｒ ｇ ｎ ｉｅｓ ｙ ｏ ｍａ ｉｎ ｅｏ ｃ ｅｓ ｏＳ Ｔｅ ｏ ｅ ｅａ ｄＵｎｖ ｒｉ ｔ ｔ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最大似然估计法
最大似然估计法的基本思想
最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个作为真的估计。
我们分两种情进行分析：
1．离散型总体
设为离散型随机变量，其概率分布的形式为，则样
本的概率分布为，
在固定时，上式表示取值的概率；
当固定时，它是的函数，我们把它记为并称
为似然函数。
似然函数的值的大小意味着该样本值出现的可能性的大小。
既然已经得到了样本值，那它出现的可能性应该是大的，即似然函数的值应该是大的。
因而我们选择使达到最大值的那个作为
真的估计。
2．连续型总体
设为连续型随机变量，其概率密度函数为则为从该总体抽出的样本。
因为相互独立且同分布，于是，样本的联合概率密度函数为
，在是固定时，它
是在处的密度，它的大小与落
在附近的概率的大小成正比，而当样本值固定时，它是
的函数。
我们仍把它记为并称
为似然函数。
类似于刚才的讨论，我们选择
使最大的那个作为真的估计。
总之，在有了试验结果即样本值时，似然函数反映了的各
个不同值导出这个结果的可能性的大小。
我们选择使达到最大值的那个作为真的估计。
这种求点估计的方法就叫作最大似然法。
7.2.2 最大似然估计的求法
假定现在我们已经观测到一组样本要去估计未知参数。
一种直观的想法是，哪一组能数值使现在的样本出现的可能性最大，哪一组参数可能就是真正的参数，我们就要用它作为参数的估计值。
这里，假定我们有一组样本.如果对参数的两组不同的值和，似然函数有如下关系
,
那么，从又是概率密度函数的角度来看，上式的意义就是参
数使出现的可能性比参数使出现的可能性大，当然参数比更像是真正的参数.这样的分析就导致了参数估计的一种方
法，即用使似然函数达到最大值的点,作为未知参数的估计，这就是所谓的最大似然估计。
现在我们讨论求最大似然估计的具体方法.为简单起见，以下
记,求θ的极大似然估计就归结为求的最大值点.由于对数函数是单调增函数，所以
(7.2.1)
与有相同的最大值点。
而在许多情况下，求的最大值点比较简单，于是，我们就
将求的最大值点改为求的最大值点.对关于求导数，并命其等于零，得到方程组
, (7.2.2) 称为似然方程组。
解这个方程组，又能验证它是一个极大值点，则它必是，也就
是的最大值点，即为所求的最大似然估计。
大多常用的重要例子多属于这种情况。
然而在一些情况下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。
还需要指出，若函数关于的导数不存在时，我们就无法得到似然方程组 (7.2.2)，这时就必须根据最大似然估计的定义直接去的最大值点。
在一些情况下，我们需要估计。
如果分别是的最大似然估计，则称为的最大似然估计。
下面我们举一些例子来说明求最大似然估计的方法。
例7.2.1 设从正态总体抽出样本，这里未知参数为
mm 和（注意我们把看作一个参数）。
似然函数为
=
它的对数为
，
似然方程组为
由第一式解得
，(7.2.3)
代入第二式得
. (7.2.4)
似然方程组有唯一解(，)，而且它一定是最大值点，这是因为
当或或∞时，非负函数。
于是和的最大似然估计为
，. (7.2.5)
这里，我们用大写字母表示所有涉及的样本，因为最大似然估计和都是统计量，离开了具体的一次试验或观测，它们都是随机的。
例7.2.2设总体服从参数为的泊松分布，它的分布律为
，
有了样本之后，参数λ的似然函数为
，
似然方程为
，
解得
.
因为的二阶导数总是负值，可见，似然函数在处达到最大值。
所
以，是λ的最大似然估计。
例7.2.3设总体为上的均匀分布，求的最大似然估计。
的概率密度函数为
对样本，
很显然，L(a，b)作为a和b的二元函数是不连续的。
这时我们不能用似然方程组(7.2.2)来求最大似然估计，而必须从最大似然估计的定义出发，求L(a，b)的最大值。
为使L(a，b)达到最大，b－a应
该尽量地小，但b又不能小于，否则，L(a，b)=0。
类似地，a不能大过。
因此，a和b的最大似然估计为
，
.
现在为止，我们以正态分布，泊松分布，均匀分布的参数以及事件发生的概率的估计为例子讨论了矩估计和最大似然估计。
在我们所举的例子中，除了均匀分布外，两种估计都是一致的。
矩估计的优点是简单，只需知道总体的矩，总体的分布形式不必知道。
而最大似然估计则必须知道总体分布形式，并且在一般情况下，似然方程组的求解较复杂，往往需要在计算机上通过迭代运算才能计算出其近似解。