探析极大似然估计的解法
极大似然估计方法
极大似然估计方法
极大似然估计方法是一种常用的参数估计方法，它基于最大化观察到的样本数据出现的概率来选择最优的参数值。
具体来说，给定一个概率分布模型和一组观察到的样本数据，极大似然估计方法通过求解最大化似然函数的参数值来估计模型的参数。
似然函数是指，在给定参数值的情况下，观察到这组样本数据的概率密度函数。
假设样本数据为x_1,x_2,…,x_n，模型的概率密度函数为f(x \theta)，其中\theta 是待估计的参数向量。
极大似然估计方法通过求解似然函数L(\theta
x_1,x_2,…,x_n)最大值的参数值来估计\theta，即：
\hat{\theta}=\arg \max _{\theta} L(\theta x_{1}, x_{2}, \ldots,
x_{n})=\arg \max _{\theta} \prod_{i=1}^{n} f\left(x_{i} \theta\right)
在实际应用中，通常使用对数似然函数来避免数值上的不稳定性，并使用优化算法求解最优参数值。
极大似然估计的几种求法
第 ２ 期 ９
Ｓ Ｉ Ｎ Ｅ Ｅ Ｈ Ｏ Ｏ ＹＩＦ Ｒ ＴＯ ＣＥ Ｃ ＆Ｔ Ｃ Ｎ Ｌ Ｇ Ｎ Ｏ ＭＡ Ｉ Ｎ
０本刊重稿０
科技信息
极大似然估计的几种求法
穆 扬眉 （ 商丘师范学院数学系 河南
【 摘
应 用．
商丘 ４ ６ ０ ） ７ ０ ０
要】 大似 然估计是参数估计的一种常 用方 法． 文探讨 了极 大似 然估 计的三种求法 ， 极 本 并举例说 明了这 些方法在解决 实际问题 中的
ａ
即得 ａＸ的简单 随机样本。令
＆ ∑ ＝， ＝
：
￡（ ； ｐ ）
：
ｌ Ｎ
； （） ）
∑（毒）ｓ ２２ ：
称０ 的函数 Ｌ Ｏ ） （ ； 为似然 函数 。进～步 ， 若 ） 的一个估计 量 是 满足条件
的最大值点 【 ３ 】 例 ２ 鱼池 中有许多条鱼 ， 捉到 ５ ０ ， ０ 条 作上记号 再放入水 中， 待
充分混合后 ， 再捉 １０ ． 现其 中 １０条鱼带记号 ， ００条 发 ０ 试估计 池 中有 多少条鱼？ 解 设池 中有 Ⅳ条鱼． 中 ｒ 其 条鱼有记号 ． 随机捉 ｓ 鱼发现有 条 ２１ 微分法 ． 要估计 用 记捉住的 ｓ 条带记号的鱼数 ， 则 设似然 函数为 ０ 的连续函数 ．且关于 ０ 的各分量的偏导数存在 。 条带有记号 ， 并设 ０ ｋ 是 维的 ． ０是 中的开区域 ． 由极值的必要条件知求极大 则 似然估计应该满足 ：
ｌ ｅｉｏ ｄ ｅｔｍａｉｎａｅｉ ｔ ｄ ｃ ｄ Ｔ ｎ ｈ ｐ ｌｃ ｔ ｎｉ ｒｃｉａ ｒｂｅ ｓｉｕｓｒｔｄｔｒｕ ｈ ｅ ａ ｌｓ ｉ ｌｈ ｏ ｓｉ ｔ ｒ ｎｒ ｕ ｅ ． ｈｅ ，ｔｅａ ｐ ｉａｉ ｎｐ ａ ｔ ｌｐ ｌｍｓｉ ｌ ｔａｅ ｈ ｏ ｇ ｘ ｍｐｅ． ｋ ｏ ｏ ｏ ｃ ｏ ｌ
极大似然估计法的解题步骤
最大似然估计法是一种可以用来估计参数的数学方法，它是统计学中
最常用的估计方法之一。
本文将介绍最大似然估计法解题的步骤。
第一步：确定似然函数。
最大似然估计法是一种在给定数据条件下求
取参数和特征值的估计方法，它将一个参数模型的似然函数定义为样
本数据的概率密度。
要确定这个似然函数，我们必须首先确定模型的
数学表达式，这一步是重要的，它将决定似然函数的形式，因此决定
最大似然估计法的参数模型。
第二步：求取参数的似然估计值。
在确定了似然函数后，我们就可以
计算出参数的似然估计值了。
由于模型中参数之间可能存在相关性，
这时就可以使用最大似然估计法来求解参数估计值。
最大似然估计值
就是求出似然函数概率密度最大值点所代表的参数值。
第三步：解释解决结果。
在获得了参数的似然估计值后，可以对拟合
后的结果进行解释，说明为什么模型准确地估计了参数值。
最后，最大似然估计是一种有效的数学方法，本文介绍了最大似然估
计法解题的步骤，也就是确定似然函数，求取参数的似然估计值，以
及解释解决结果。
并且，本文还强调了最大似然估计法的重要性和有
用性，在实际应用中，最大似然估计法可以给出准确可靠的估计结果。
极大似然估计
1）矩法估计
EX0x1exdx
令 X 则 可 得 的 矩 法 估 计 量 为 ： ˆ X .
代 入 具 体 数 值 可 得 的 估 计 值 为 ：
1 ni n1xi 118 572 3 31(小 8 )时 .
17
X: p(x;)1ex, x0 (0)
2）极大似然估计
0 , other
出现的可能性应最大, 其概率为
29
px(1 p)1x, P(x;p)
0,
x0, 1; 其.它
L (x1,x2, .x .n .;p ,)
P {X 1x1,X 2x2, .X .n . ,xn}
nP {X ix i} npx i(-1 p )1 -x i
i 1
i 1
pi n1xi(-1p)n i n 1xi, (xi0, 1p;1 0)
节
章
极大似然估计
极大似然估计
1
极大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
2
基本思想:
若一试验有n个可能结果 A1, ,An,现做一试验,
若事件Ai 发生了, 则认为事件Ai在这n个可能结果 中出现的概率最大。
故似然函数为
n
L(p)
n
n
pxi
(1p)1xi
xi
n xi
pi1 (1p) i1 ,
而
i1 n
n
lnL(p)( xi)lnp(n xi)ln1 (p)
i1 n
in1
令
d ln L( p) dp
xi n xi i1 i1 0
千字讲解极大似然估计
千字讲解极大似然估计上周有读者私信我说，面试被问到了极大似然估计没回答出来，虽然网上有很多讲解，但是不大能看得懂，而且有一些疑问没有解释清楚。
经过一周的撰写，今天困哥就专门整理了一篇数千字的文章，来详细介绍一下极大似然估计，顺带介绍一下极大后验估计和贝叶斯估计。
在很多的机器学习问题种，输入x是一个向量，输出p(x)为某一个时间的概率（比如，x属于某个类别的概率）一观测的数据集D，其中x1，x2，x3……独立同分布。
我们将输入x所满足的概率分布建模为p(D,θ)，则对新输入的预测为p(x|D,θ)，其中θ是一个向量，表示待去顶的所有模型参数。
那么如何求解或者估计出θ的值呢？1. 频率学派VS贝叶斯学派对于θ的本质不同认识，可以分为两个大派别。
（1）频率学派：认为θ是确定的，有一个真实值，目标是找出或者逼近这个真实值。
（2）贝叶斯学派：认为θ是不确定的，不存在唯一的真实值，而是服从某一个概率分布。
基于不同学派对参数的不同认识，产生了不同的参数估计方法。
下面将讨论三种参数估计方法：（1）极大似然估计：MLE（Maximum Likelihood Estimation）【频率学派】（2）极大后验估计：MAP（Maximum A Posterior）【贝叶斯学派】（3）贝叶斯估计：BE（Bayesian Estimation）【贝叶斯学派】其中，涉及到先验、似然、后验、贝叶斯公式的知识。
先验：p(θ)，指在见到数据集D之前，对参数θ的认识似然：p(D|θ），在给定参数θ下，数据集D被观测到的概率后验：p(θ|D)，在见到数据集D之后，对参数θ的重新认识贝叶斯公式：2. 举例以抛硬币为例，假设我们有一枚硬币, 现在要估计其正面朝上的概率。
为了对进行估计, 我们进行了10次实验 (独立同分布, i.i.d.) , 这组实验记为, 其中正面朝上的次数为6次，反面朝上的次数为4次，结果为。
3. 极大似然估计MLE的逻辑是：真实的参数θ是唯一的，既然数据集D被观测到了，那么真实参数θ对应的概率分布一定是可以使D出现的概率最大。
极大似然估计计算公式
极大似然估计计算公式极大似然估计呀，这可是统计学里一个挺重要的概念。
咱先来说说啥是极大似然估计。
简单来讲，就是在一堆可能的情况里，挑那个最有可能产生咱们观察到的数据的情况。
比如说，咱抛硬币，抛了 10 次，有 7 次正面，3 次反面。
那按照极大似然估计的思路，就会认为这枚硬币正面朝上的概率大概是 0.7 。
那极大似然估计的计算公式是啥呢？一般来说，如果咱们有一个随机变量 X ，它的概率密度函数或者概率质量函数是f(x;θ) ，这里的θ就是咱们要估计的参数。
然后咱们有一组观察值 x₁, x₂,..., xₙ 。
那极大似然函数L(θ) 就是这几个观察值的概率的乘积，也就是L(θ) = ∏[i=1 to n] f(xᵢ;θ) 。
为了找到让这个极大似然函数最大的那个θ 值，咱们通常会对L(θ) 取对数，变成对数似然函数 l(θ) = ∑[i=1 to n] log(f(xᵢ;θ)) 。
这样做能让计算简单点儿，因为乘积变求和嘛。
然后呢，通过对这个对数似然函数求导，令导数等于 0 ，就能解出那个最有可能的θ 值啦。
我给您举个例子哈。
比如说，咱有一个正态分布的随机变量 X ，它的均值是μ ，方差是σ² 。
现在咱们观察到了一组数据 10, 12, 15, 18,20 。
那它的概率密度函数就是f(x;μ, σ²) = 1/√(2πσ²) * exp(-(x -μ)²/(2σ²)) 。
咱把这几个观察值带进去，得到极大似然函数L(μ, σ²) ，然后取对数变成l(μ, σ²) 。
对l(μ, σ²) 分别关于μ 和σ² 求导，令导数等于 0 ，就能算出μ 和σ² 的估计值啦。
您可能会问，这在实际生活中有啥用呢？其实用处可大啦！比如说，在质量检测里，工厂生产了一批零件，咱们想知道这批零件的尺寸是不是符合标准。
通过测量一些零件的尺寸，用极大似然估计就能估计出这批零件尺寸的分布参数，看看是不是在合格范围内。
矩估计和极大似然估计分析解析
14
注:
总体均值方差的矩估计量与总体分布无关。
做矩估计时,也可用中心矩建立关于未知参数的 方程组， 因而矩估计不唯一。
例3
解：
λ未知，求参数λ的矩估计。
15
例4 不合格品率 p 的矩法估计 设某车间生产一批产品，为估计该批产品不合格品 率，抽取了n 件产品进行检查. 分析 设总体X 为抽的不合格产品数，相当于抽取了 一组样本X1，X2，… ，Xn , 且
中出现的概率最大。 极大似然估计就是在一次抽样中,若得到观测值
则选取
使得当
作为θ的估计值。 时,样本出现的概率最大。
24
极大似然估计法:
定义7.1 设 是
的一个样本值
形式已知
(如离散型) X的分布列为 的联合分布列为：
事件 为
发生的概率为 的函数，
25
为样本的似然函数。
样本的似然函数
现从中挑选使概率
θ
1 0 ( y )2 e θ dy 2θ 2 2 2
x μ 2 x θ e dx μ θ y
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
(b a ) ( a b) 1 A2 12 4 n
2 2
i 1
n
2 Xi
2 1
即 a b 2 A1 , b a 12( A2 A )
n 3 2 2 ˆ 解得： a A2 3( A2 A1 ) X ( X i X ) 17 n i 1
概率论与数理统计：极大似然估计法
教学内容一、引入新课：矩估计法虽然简单，但是没有用到已知分布的信息。
而在极大似然估计法中，我们将改进这一点。
下面先通过一个例子来说明极大似然估计法的原理：例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球 ，90个白球。
很明显，两个箱中的优势球种完全不一样。
现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？我相信大家都会说是甲箱，因为它的可能性更大。
我们也可以进行如下计算来说明这个结果。
解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。
已知，443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。
反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。
这就是极大似然估计法的基本思想。
二、讲授新课：1、极大似然法的基本原理：一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。
把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。
所以，要计算参数θ就是寻找使样本观测值出现的概率达到最大值的θˆ。
这样找到的θˆ就是θ的极大似然估计值。
2、 极大似然法的步骤：(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i ni i i X x f X x X P ,);(,)(11θ (2)取对数： );,,(ln 1θn x x L(3)求导：0);,,(ln 1=∂∂θθn x x L 似然方程 (4)求解似然方程，得参数的估计值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
探析极大似然估计的解法
作者：马莹
来源：《理科考试研究·高中》2016年第08期
1821年，德国数学家高斯最先提出极大似然估计.1922年，英国统计学家费歇在他所写的文章中重新提出并进一步研究，极大似然估计这一名称也是费歇给的.极大似然估计法的思
想：对参数进行估计时，总倾向于该参数可能取值范围内挑选出使样本发生概率的最大参数值.
一、极大似然估计法原理
已知甲乙两射手命中靶心的概率分别为0.9和0.4.今有一张靶纸的弹着点表明10枪6中.已知靶纸肯定是甲乙两射手所射.如果推测，则最有可能是谁射的？
从直观上看，甲的枪法属上乘，命中靶心率为0.9，不至于打得那么差，而乙的枪法不足以打出这么好的成绩，但二者取一这更像乙所射.那么计算一下可能性.
L（θ）则为定义的似然函数，那么问题转化为求θ使L（θ）最大.
求最大似然估计的一般步骤如下：
步骤1：由总体分布导出样本的联合概率函数（或联合概率密度）；
步骤2：把样本联合概率函数（或概率密度）中自变量看成已知常数，而把参数θ看成自变量，得到似然函数L（θ）；
步骤3：求似然函数L（θ）的最大值点；
步骤4：在最大值的表达式中，将样本值代入就得参数θ的最大似然估计.
三、似然函数的计算方法
1.微分法
当似然函数关于参数可导时，常常通过取对数求导来求得极大似然估计.观察似然函数L （θ）>0，当L（θ）最大时，即lnL（θ）.令lnL（θi）θi=0，则θ有可能为极值点.0-1分布和
指数分布是概率论中常见的分布，下面以似然估计法来解决未知参数，根据极大似然原理，给出常见分布的参数估计.
2.定义法
若似然函数单调无驻点或不可导时，并不说明最大似然估计法失效，只是说明不能用微分法来计算，只能根据最大似然估计法原理进行直接计算.
所以似然函数在p=rsx附近达到最大值，p=rsx，代入已知量可得p=500，所以蜂箱中有500只蜜蜂.
本文从生活中的实例引发极大似然估计的概念，这样加强学生对知识的理解以及概念的理解，同时教学过程显得融会贯通.本文给出了极大似然函数的常见解法，当然还有些似然函数无解，以及不是唯一解的情况，这还需要进一步探讨.极大似然估计求出的是一种统计量，要知道所求估计量的优劣，还需考察无偏性、有效性、一致性等评判标准，它的误差大小还要做区间估计.。