第57讲 最大似然估计法 (1)
最大似然估计法公式
最大似然估计法公式
最大似然估计法是一种用来估计模型参数的方法。
对于给定的样本数据，最大似然估计法所估计的参数值，是使样本数据出现的概率为最大的参数值。
具体公式如下：
设样本数据为 {x1, x2, ..., xn}，模型参数为θ，则样本数据出现的概率为：L(θ|x1, x2, ..., xn)
L(θ|x1, x2, ..., xn) 表示为似然函数。
最大似然估计法的核心思想是：选择一组参数值θ，使得在该组参数值下，样本数据出现的概率L(θ|x1, x2, ..., xn) 最大。
具体实现时，通常会对似然函数取对数，使问题转化为求解对数似然函数的最大值。
最大似然估计
第6 章最大似然估计如果回归模型存在非线性，常使用最大似然估计法(MLE)。
6.1最大似然估计法的定义假设随机向量y 的概率密度函数为f ( y;θ) ，其中θ为K 维未知参数向量，θ∈Θ。
Θ为参数空间，即参数θ所有可能取值所构成的集合。
2通过抽取随机样本{ y 1, , y n }来估计θ 。
假设{ y 1, , y n } 为 iid ，则样本数据的联合密度函数为f ( y 1; θ ) f ( y 2 ; θ ) f ( y n ; θ )。
在抽样前，{ y 1, , y n }为随机向量。
抽样后，{ y 1, , 函数视为在{ y 1, , y n }有了特定的样本值，可将样本联合密度y n }给定情况下，未知参数θ 的函数。
3n=定义似然函数(likelihood function)为L (θ ; y 1, , y n ) = ∏ i =1f ( y i ; θ )似然函数与联合密度函数完全相等，只是θ 与{ y 1, , y n }的角色互换，即把θ 作为自变量，而视{ y 1, , y n }为给定。
为了运算方便，常把似然函数取对数：ln L (θ ; y 1, , y n nln i 1f ( y i ; θ ) ) = ∑4ML“最大似然估计法”(Maximum Likelihood Estimation ，简记 MLE 或 ML)的思想：给定样本取值后，该样本最有可能来自参数θ 为何值的总体。
寻找θˆ ，使得观测到样本数据的可能性最大，即最大化对 数似然函数(loglikelihood function)：max ln L (θ ; y )θ∈Θ最大似然估计量θˆ 可写为，ˆ ≡ arg max ln L (θ ; y ) ML ML θ5⎝ K ⎭其中， “argmax ”(argument of the maximum) 表示能使 ln L (θ ; y )最大化的θ 取值。
最大似然法
最大似然法最大似然法（the method of maximum likelihood）也称极大似然法，它最早是由高斯所提出的,后来由英国统计学家费歇于1912年在其一篇文章中重新提出,并且证明了这个方法的一些性质.最大似然估计这一名称也是费歇给的.它是建立在最大似然原理的基础上的一个统计方法.为了对最大似然原理有一个直观的认识,我们先来看一个例子.例设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这个箱子是甲箱还是乙箱?分析注意我们这里做的是统计推断而不是逻辑推断。
所谓统计推断，就是根据已知的部分数据对总体的进行估计的一种推断方法。
从部分推断总体，必然伴随着一定的犯错误的概率。
因此从逻辑上认起死理来，统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。
但是在实际生活中，如果都要按照逻辑推断来思考，那么将会给你的生活带来很大的麻烦。
比如出门，则难免会有一定的概率出一定的意外，因此所谓“安全回家”在逻辑上便不再是绝对可靠的，故而你只能选择闭门不出。
回到刚才的例题。
现在的问题是，仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究竟是甲箱还是乙箱的。
但是如果现在一定要我们做出选择，那么我们只能这样来考虑：从箱中取出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子？我们这样来分析：如果该箱是甲箱,则取得白球的概率为0.99；如果该箱是乙箱,则取得白球的概率0.01．因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些，从而我们判定甲箱比乙箱更像一些。
最后我们做出推断,这球是从甲箱取出的.其实，如果我们从“最大似然”的原文maximum likelihood来看，就会发现这个名称的原始含义就是“看起来最像”的意思。
“看起来最像”，在很多情况下其实就是我们决策时的依据。
一个总体往往都有若干个重要的参数。
说明最大似然估计的原理并推导证明正态分布下的似然估计的计算公式
说明最大似然估计的原理并推导证明正态分布下的似然估计的计算公式最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种概率统计方法，常用于估计一个参数或一组参数的值，使得给定观测数据的出现概率最大。
它的基本原理是找到最适合观测数据的概率分布模型中的参数值，使得观测数据的观测值发生的概率最大。
最大似然估计方法通常在具有参数的概率分布模型中使用，如正态分布、伯努利分布等。
首先来推导最大似然估计在正态分布下的计算公式。
假设我们有n个独立同分布的观测值x₁,x₂,...,x_n，它们满足正态分布N(μ,σ²)，其中μ是均值，σ²是方差。
在正态分布下，概率密度函数（Probability Density Function，简称PDF）为：f(x ，μ, σ²) = (1 / √(2πσ²)) * exp(-(x - μ)² / (2σ²))我们的目标是找到使得观测数据的观测值出现的概率最大的参数值。
假设我们的参数为θ=(μ,σ²)。
由于每个观测值是独立同分布的，我们可以将所有观测值的概率密度函数连乘起来作为似然函数（Likelihood Function）：L(θ，x₁,x₂,...,x_n)=f(x₁，θ)*f(x₂，θ)*...*f(x_n，θ)取对数方便计算，并不改变最大似然估计的结果：ln L(θ ， x₁, x₂, ..., x_n) = ln(f(x₁，θ)) + ln(f(x₂，θ)) + ... + ln(f(x_n ，θ))将正态分布的概率密度函数代入上式：ln L(θ ， x₁, x₂, ..., x_n) = ln((1 / √(2πσ²)) * exp(-(x₁- μ)² / (2σ²))) + ln((1 / √(2πσ²)) * exp(-(x₂ - μ)² /(2σ²))) + ... + ln((1 / √(2πσ²)) * exp(-(x_n - μ)² /(2σ²)))化简上式：ln L(θ ， x₁, x₂, ..., x_n) = -n * ln(√(2πσ²)) - (x₁ - μ)² / (2σ²) - (x₂ - μ)² / (2σ²) - ... - (x_n - μ)² / (2σ²)我们的目标是求使得似然函数最大化的参数值μ。
最大似然估计
n
p( xi , )
L( ) i1
n
f
(
xi ,
)
i 1
X是离散型随机变量 X是连续型随机变量
2.写出似然方程
d L( ) 0 d
或
d ln L( ) d
1
L( )
d
L( ) d
0
3.求解似然方程
得到驻点， 并判断驻点是否为
最大值点.
几种常见分布的 最大似然估计量
1.0—1分布
设总体
X
~
设其密度函数为
X ~ f ( x; )
其中θ是待估参数,
记
n
L(
)
f
(
x1;
)
f
(
x2;
) ...
f
(
xn;
)
i 1
f
(
xi ;
)
为待估参数θ的函数,
它的大小反映了
( X1, X2 ,..., Xn ) 落在 ( x1, x2 ,..., xn ) 附近的概率的大小.
L( ) 称为似然函数.
若 L( ) 在 ˆ处达到最大值,
记为
p( x1;
) p(
x2;
)... p(
xn;
)
i 1
p(
xi ;
)
L(
)
L( )为待估参数θ的函数,
称为似然函数.
若 L( )在 ˆ处达到最大值,
则称 为ˆ参数 的 最大
似然估计值. 相应的估计量 ˆ( X1, X2,..., Xn ) 称为θ
的最大似然估计量.
统称为θ的 最大似然估计.
当 X是 连续型随机变量时,
2
最大似然估计法的步骤
最大似然估计法的步骤
最大似然估计法是一种常用的参数估计方法，它基于样本数据的观测结果，通过寻找最大化概率的参数值来估计真实参数值。
以下是最大似然估计法的步骤：
1. 理解问题：首先，我们需要明确要解决的问题是什么，以及需要估计的参数是什么。
这可以通过问题的背景和给定的数据来确定。
2. 建立模型：根据问题的特点和要求，我们需要选择合适的概率分布模型来描述数据的分布。
常见的模型包括正态分布、伯努利分布等。
3. 定义似然函数：根据所选的模型，我们可以定义似然函数。
似然函数描述了参数取值下观测到给定数据的概率。
4. 取对数：为了方便计算和优化，通常我们会取似然函数的对数，得到对数似然函数。
5. 构建似然方程：通过对对数似然函数求导，我们可以得到似然方程。
将似然方程设为零，求解参数的估计值。
6. 求解参数：根据似然方程，我们可以使用数值方法（如牛顿法、梯度下降法）或解析方法（如求导）来求解参数的估计值。
7. 检验结果：在求解参数后，我们需要对估计结果进行检验。
可以利用统计方法进行假设检验或计算置信区间来评估估计结果的可靠
性。
8. 解释结果：最后，我们需要解释参数估计的意义和结果。
这可以通过与问题的实际意义和背景相结合来完成。
最大似然估计法是一种常用且有效的参数估计方法，它在统计学和机器学习领域得到了广泛应用。
通过合理选择模型和构建似然函数，最大似然估计法可以帮助我们从有限的样本数据中推断出参数的最佳估计值，为问题的解决提供了有力的工具和方法。
最大似然估计原理
最大似然估计原理
最大似然估计（Maximum Likelihood Estimation，简称MLE）
是一种参数估计方法，常用于统计学和机器学习领域。
它的基本原理是在给定观测数据的情况下，找到使得观测数据出现的概率最大的参数值。
具体而言，最大似然估计的步骤如下：
1. 建立概率模型：首先根据问题的特点和假设，建立合适的概率模型。
常见的概率分布模型包括正态分布、泊松分布、伯努利分布等。
2. 构造似然函数：利用建立的概率模型，将观测数据代入，并将数据看作是从该概率模型中独立、同分布地产生的。
然后，构造似然函数，即将多个样本数据发生的概率乘起来，形成一个参数的函数。
3. 最大化似然函数：为了找到参数的最优解，我们需要通过最大化似然函数来确定参数值。
通常使用对数似然函数进行运算，因为对数函数具有单调性，可以简化计算。
4. 计算估计值：通过求解对数似然函数的导数为0的方程，或通过优化算法（如牛顿法、梯度下降法），找到似然函数的最大值点。
该点的参数值即为最大似然估计值。
最大似然估计在实际应用中具有广泛的应用，例如用于线性回归、逻辑回归、马尔可夫链蒙特卡洛等模型的参数估计。
它的
核心思想是基于样本数据出现的概率最大化，通过最大似然估计可以获得参数的合理估计值，从而实现对未知参数的估计。
(完整word版)最大似然估计的原理及其应用
最大似然估计的原理及其应用摘要:了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。
引言:似然函数 是θ的函数,表示由参数θ产生样本值 的“可能性”大小.将样本观察看成“结果"，θ是产生结果的“原因”，则是度量产生该结果的各种 “原因"的机会。
因此，θ的一个合理的估计应使这种机会（即)达到最大的那个值。
关键词:似然函数，最大似然估计,最大似然估计值。
（1）似然函数 设描述总体的随机变量Ｘ的概率密度函数为，其中k θθθ,,,21⋯都是总体的未知参数（若Ｘ是离散型的，则约定表示概率分布，总体的样本Ｘ1，Ｘ2，…，Ｘn 的测量值为n x x x ,,,21⋯，也可以理解为是ｎ维独立随机向量（Ｘ1，Ｘ2，…, Ｘn)的一个测量值.即是说，对一维随机变量进行ｎ次测量得到的ｎ个测量值可以看成是对ｎ维独立的随机向量进行一次测量得到的ｎ个测量值。
由于ｎ维随机向量的联合概率密度为∏=⋯n i k i x f 121),,;(θθθ显然，对于样本的一个测量值，它是k θθθ,,,21⋯的函数，记为并称它为似然函数,简记为Ｌ。
对于离散型随机变量。
应该注意，似然函数与参数k θθθ,,,21⋯有关,对于给定的样本值，它是这些参数的函数.（2） 最大似然估计值设总体含未知参数k θθθ,,,21⋯,对于给定的样本值如有 ∏∏==⋯>⋯ni k i n i k i x f x f 121121)'',';()ˆ,,ˆ,ˆ;(θθθθθθ 其中k θθθˆ,,ˆ,ˆ21⋯为未知参数k θθθ,,,21⋯可能取的某一组值，而k '','21θθθ⋯为k θθθ⋯21,的一切其他可能取值，此时,我们可认为k θθθˆ,,ˆ,ˆ21⋯，比k '','21θθθ⋯作为k θθθ,,,21⋯的估值要好些。
这是因为不等式说明，k θθθ,,,21⋯取k θθθˆ,,ˆ,ˆ21⋯时得到样本值n x x x ,,,21⋯的可能性最大,这样的估计值就是k θθθ,,,21⋯的最大似然估计值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
概率论与数理统计
主讲：四川大学
四川大学1
§7.1 点估计
四川大学3
第57讲最大似然估计法(1)
四川大学
四川大学4
最大似然估计法
Maximum Likelihood Estimation
MLE
四川大学5
四川大学6
最大似然估计法是建立在最大似然原理基础上的一种参数估计法。
所谓最大似然原理是指：假设一个随机试验E 有若干可能的结果A 1, A 2, …。
如果只进行了一次试验，而结果A k 出现了，那么我们就有理由认为试验的条件对结果A k 的出现最有利，即试验E 出现的结果A k 的概率最大。
也叫极大似然估计法。
四川大学
四川大学
四川大学7
例如，设一袋中装有白球和黑球，并且已知两种颜色的球的比例为8:2，但不知道哪一种颜色的球更多。
如果有放回地从袋中取两次球，每次取一个，结果两次都取到黑球，那么我们有理由认为黑球占80%。
因为若黑球占80%，则两次都取到黑球的概
率为0.82=0.64。
相反，如果黑球只占20%，则两次都取到黑
球的概率为0.22=0.04。
四川大学
四川大学
四川大学8
因为若黑球占80%，则两次都取到黑球的概率
为0.82=0.64。
相反，如果黑球只占20%，则两
次都取到黑球的概率为0.22=0.04。
因此，两次都取到黑球对我们判断黑球占80%=0.8有利。
最大似然法的基本思想就是：
对于已经出现的样本值x 1, x 2,…, x n ，适当地选取参数θ，使试验得出结果X 1=x 1, X 2=x 2, …, X n =x n 的概率最大。
四川大学
四川大学
最大似然估计法的模型
四川大学9
四川大学10设总体X 为离散型随机变量，其分布律为
其中θ是未知参数，X 1, X 2,…, X n 为来自总体X 的样本，x 1, x 2, …, x n 为其一组样本值。
记{}(;)
P X x p x θ==()L θ1122{,,...,}n n P X x X x X x ====1122{}{}{}n n P X x P X x P X x ===⋅⋅⋅=1{}n i i i P X x ===∏1(;)n
i i p x θ==∏独立性
同分布L (θ)称为样本x 1, …, x n 的似然函数Likelihood function
四川大学
四川大学11()L θ11{,...,}n n P X x X x ===1(;)n i i p x θ==∏L (θ)称为样本x 1, …, x n 的似然函数由于L (θ)是事件{X 1=x 1, …, X n =x n }的概率，由最大似然估计法的思想，我们希望求这样的使得达到L (θ)的最大值，即
ˆθ
ˆ()L θ因为样本值x 1, …, x n 是已知的常数，L (θ)是θ的一元函数。
ˆ()max ()L L θθθ∈Θ=其中Θ是θ的取值范围。
四川大学四川大学
四川大学12
如果X 为连续型随机变量，其概率密度为
则样本值x 1, x 2, …, x n 所对应的似然函数为：
(;)()
f x θθ∈Θ()L θ1(;)
n i i f x θ==∏如何求似然函数的最大值点？ˆθ
在很多情况下，函数p (x ;θ)或f (x ;θ)是可导函数，此时我们可以用微积分知识，求L (θ)的最大值点。
为此，须求似然函数的驻点(导数为0 的点)。
ˆθ
四川大学四川大学
四川大学13
()L θ1(;)
n i i f x θ==∏由于似然函数是n 个函数的乘积，直接求导不方便，宜用对数求导法来求其最大值点。
将似然函数取自然对数：ln ()L θ1ln (;)n
i i f x θ=⎡⎤=⎢⎥⎣⎦∏1ln (;)n i i f x θ==∑由于自然对数是单调增加的函数，ln L (θ)与L (θ)有相同的最大值点，所以只需求ln L (θ)的最大值点作为未知参数的估计量。
四川大学
四川大学
四川大学14
1()(;)
n i i L p x θθ==∏最大似然估计法步骤如下：
(1) 构造似然函数：ln ()L θ1ln (;)
n
i i f x θ==∑离散型总体或1()(;)n i i L f x θθ==∏连续型总体
(2) 取对数(3) 求导数，并令导数为零，得到的驻点一般就是似然函数的最大值点，也就是要求的未知参数θ的估计量。
ˆθ
如果驻点不存在，
则需另行分析。
四川大学
四川大学
Ronald Fisher 1890 --1962
F分布是1924年英国统计学家Fisher 提出，并以其姓氏的第一个字母命名。
Fisher还引进了最大似然估计法。
四川大学15
例子
四川大学16
四川大学18
再求p 的最大似然估计量。
01~1X p p ⎛⎫ ⎪-⎝⎭{}P X x =1(1)
x x p p -=-0,1x =设x 1, x 2, …, x n 是给定的样本值，
相应的似然函数11()(1)i
i n x x i L p p p -==-∏(01)
p <<欲求L (p ) 的最大值点。
四川大学四川大学
四川大学
四川大学
25
求λ的最大似然估计量。
,0(;)0,
x
e
x f x x λλλ-⎧>=⎨
≤⎩设x 1, x 2, …, x n 是给定的样本值，相应的似然函数
1
,0,1,2,...,()0,i
n
x i i e x i n L λλλ-=⎧>=⎪=⎨⎪⎩
∏其他欲求L (λ) 的最大值点。
只讨论样本值大于零的情形（样本小于或等于
零的概率为零，而且此时L (λ)恒为零。
）
四川大学
四川大学
考研题评讲
四川大学36
四川大学
37
1997年，数学一，第十题设总体X 的概率密度为
其中θ>-1是未知参数，x 1, x 2, …, x n 是来自
总体X 的一个容量为n 的简单随机样本，分别用矩估计法和极大似然估计法求θ的估计量。
(1),01()0,
x x f x θ
θ⎧+<<=⎨
⎩其他四川大学
详见视频
四川大学
39
2000年，数学一，第十三题
设某种元件的使用寿命X 的概率密度为
其中θ>0是未知参数，又设x 1, x 2, …, x n 是X 的一组样本观测值，求参数θ的最大似然估计值。
2()
2,(;)0,
x e
x f x x θθθθ
--⎧>=⎨
≤⎩四川大学
详见视频。