最大似然估计学习总结(概率论大作业)
最大似然估计详解
最⼤似然估计详解⼀、引⼊ 极⼤似然估计，我们也把它叫做最⼤似然估计(Maximum Likelihood Estimation)，英⽂简称MLE。
它是机器学习中常⽤的⼀种参数估计⽅法。
它提供了⼀种给定观测数据来评估模型参数的⽅法。
也就是模型已知，参数未定。
在我们正式讲解极⼤似然估计之前，我们先简单回顾以下两个概念：概率密度函数(Probability Density function),英⽂简称pdf似然函数(Likelyhood function)1.1 概率密度函数 连续型随机变量的概率密度函数(pdf)是⼀个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是⼀个区间的概率)。
给个最简单的概率密度函数的例⼦，均匀分布密度函数。
对于⼀个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:\[f_{I_{[a,b]}}(x) = \frac{1}{b-a}I_{[a,b]} \]其图像为：其中横轴为随机变量的取值，纵轴为概率密度函数的值。
也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。
这个函数虽然不是完全连续的函数，但是它可以积分。
⽽随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。
Tips:当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。
对于离散型随机变量，我们把它的密度函数称为概率质量密度函数对概率密度函数作类似福利叶变换可以得到特征函数。
特征函数与概率密度函数有⼀对⼀的关系。
因此，知道⼀个分布的特征函数就等同于知道⼀个分布的概率密度函数。
(这⾥就是提⼀嘴，本⽂所讲的内容与特征函数关联不⼤，如果不懂可以暂时忽略。
)1.2 似然函数 官⽅⼀点解释似然函数是，它是⼀种关于统计模型中的参数的函数，表⽰模型参数的似然性(likelyhood)。
详解最大似然估计、最大后验概率估计及贝叶斯公式
详解最大似然估计、最大后验概率估计及贝叶斯公式最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种参数估计方法，用于根据样本数据推断出最有可能的模型参数。
它的基本思想是在给定观测数据的情况下，选择使得观测数据出现的概率最大的参数值作为估计值。
假设有一个参数化的概率分布模型，其中包含一个参数θ，需要通过最大似然估计来估计θ。
给定一个观测数据集D，假设每个样本都是独立同分布的。
那么似然函数L(θ|D)可以定义为在给定参数θ下，观测数据集D出现的概率。
最大似然估计的目标是找到使得似然函数取得最大值的参数θ。
最大后验概率估计（Maximum A Posteriori Estimation，简称MAP）是一种结合了先验概率和似然函数的参数估计方法。
它与最大似然估计的区别在于引入了一个先验概率分布P(θ)来描述对参数θ的先验知识，通过贝叶斯公式结合似然函数和先验概率来得到后验概率分布P(θ|D)。
最大后验概率估计的目标是找到使得后验概率分布取得最大值的参数θ。
贝叶斯公式是统计学中一条重要的公式，它描述了在已知先验概率和条件概率的情况下，计算后验概率的方法。
假设有两个事件A和B，其中事件A是先发生的事件，事件B是在事件A发生的条件下发生的事件。
那么贝叶斯公式可以表示为：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)是在事件B已经发生的条件下，事件A发生的概率；P(B|A)是在事件A已经发生的条件下，事件B发生的概率；P(A)是事件A发生的先验概率；P(B)是事件B发生的先验概率。
在最大后验概率估计中，贝叶斯公式被用来计算后验概率分布P(θ|D)，其中P(θ)是参数θ的先验概率分布，P(D|θ)是在给定参数θ下，观测数据集D出现的似然函数。
最大后验概率估计通过最大化后验概率分布来估计参数θ的值。
最大似然估计学习总结(概率论大作业)
最大似然估计学习总结航天学院探测制导与控制技术杨若眉1110420123摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。
“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。
故而，若称之为“最大可能性估计”则更加通俗易懂。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
该方法在每组序列比对中考虑了每个核苷酸替换的概率。
最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。
通俗一点讲，就是在什么情况下最有可能发生已知的事件。
举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。
我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。
这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。
假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？我想很多人立马有答案：70%。
这个答案是正确的。
可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。
在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。
概率论与数理统计-第6章-第2讲-最大似然估计法
P(X1 1)P(X2 0)P(X3 1)
3
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
01 求最大似然估计的一般步骤
(1) 构造似然函数 L(θ)
设X1, , X n是来自X 的样本, x1, , xn是其一组样本值，
若总体X 属离散型,其分布律 P( X x) p(x; ),
概率论与数理统计
第6章 参数估计
第2讲 最大似然估计法
主讲教师 |
第2讲 最大似然估计法
上一讲介绍了矩估计，这一讲介绍点估计的另外一种方法— —最大似然估计法，它是在总体类型已知条件下使用的一种参数 估计方法 .
它首先是由数学家高斯在1821年提出的，费歇在1922年重 新发现了这一方法，并研究了它的一些性质 ，从而得到广泛应 用.
即
L(
x1
,,
xn
;ˆ)
max
L(
x1,,
xn
;
)
ˆ(x1, , xn )称为参数的最大似然估计值.
ˆ( X1, , X n )称为参数的最大似然估计量.
一般， 可由下式求得：
dL( ) 0或 d ln L( ) 0.
d
d
似然方程
6
01 求最大似然估计的一般步骤
注1
未知参数可以不止一个, 如1,…, k
ln
L
n
i1
(xi )2 2 2
n 2
ln(2
)
n 2
ln(
2)
似然 方程 组为
ln
L
1
2
n
(xi
i1
)
0
(
2 ) ln
L
1
最大似然估计(Maximum likelihood estimation)(通过例子理解)
最大似然估计(Maximum likelihood estimation)(通过例子理解)之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。
概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。
结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用θ 表示环境对应的参数，x 表示结果，那么概率可以表示为：P(x|θ)P(x|θ)是条件概率的表示方法，θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：理解为已知结果为 x ，参数为θ (似然函数里θ 是变量，这里## 标题 ##说的参数是相对与概率而言的)对应的概率，即：需要说明的是两者在数值上相等，但是意义并不相同，是关于θ 的函数，而 P 则是关于 x 的函数，两者从不同的角度描述一件事情。
深度学习之最大似然估计
深度学习之最⼤似然估计⼀、定义⼆、知识解读 极⼤似然估计，通俗理解来说，就是利⽤已知的样本结果信息，反推最具有可能（最⼤概率）导致这些样本结果出现的模型参数值！ 换句话说，极⼤似然估计提供了⼀种给定观察数据来评估模型参数的⽅法，即：“模型已定，参数未知”。
可能有⼩伙伴就要说了，还是有点抽象呀。
我们这样想，⼀当模型满⾜某个分布，它的参数值我通过极⼤似然估计法求出来的话。
⽐如正态分布中公式如下： 如果我通过极⼤似然估计，得到模型中参数和的值，那么这个模型的均值和⽅差以及其它所有的信息我们是不是就知道了呢。
确实是这样的。
极⼤似然估计中采样需满⾜⼀个重要的假设，就是所有的采样都是独⽴同分布的。
下⾯我通过俩个例⼦来帮助理解⼀下最⼤似然估计 但是⾸先看⼀下似然函数的理解： 对于这个函数：输⼊有两个：x表⽰某⼀个具体的数据；表⽰模型的参数 如果是已知确定的，是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点，其出现概率是多少。
如果是已知确定的，是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现这个样本点的概率是多少。
这有点像“⼀菜两吃”的意思。
其实这样的形式我们以前也不是没遇到过。
例如， , 即x的y次⽅。
如果x是已知确定的(例如x=2)，这就是 , 这是指数函数。
如果y是已知确定的(例如y=2)，这就是，这是⼆次函数。
同⼀个数学形式，从不同的变量⾓度观察，可以有不同的名字。
这么说应该清楚了吧？如果还没讲清楚，别急，下⽂会有具体例⼦。
现在真要先讲讲MLE了。
例⼦⼀ 别⼈博客的⼀个例⼦。
假如有⼀个罐⼦，⾥⾯有⿊⽩两种颜⾊的球，数⽬多少不知，两种颜⾊的⽐例也不知。
我们想知道罐中⽩球和⿊球的⽐例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿⼀个球出来，记录球的颜⾊，然后把拿出来的球再放回罐中。
千字讲解极大似然估计
千字讲解极大似然估计上周有读者私信我说，面试被问到了极大似然估计没回答出来，虽然网上有很多讲解，但是不大能看得懂，而且有一些疑问没有解释清楚。
经过一周的撰写，今天困哥就专门整理了一篇数千字的文章，来详细介绍一下极大似然估计，顺带介绍一下极大后验估计和贝叶斯估计。
在很多的机器学习问题种，输入x是一个向量，输出p(x)为某一个时间的概率（比如，x属于某个类别的概率）一观测的数据集D，其中x1，x2，x3……独立同分布。
我们将输入x所满足的概率分布建模为p(D,θ)，则对新输入的预测为p(x|D,θ)，其中θ是一个向量，表示待去顶的所有模型参数。
那么如何求解或者估计出θ的值呢？1. 频率学派VS贝叶斯学派对于θ的本质不同认识，可以分为两个大派别。
（1）频率学派：认为θ是确定的，有一个真实值，目标是找出或者逼近这个真实值。
（2）贝叶斯学派：认为θ是不确定的，不存在唯一的真实值，而是服从某一个概率分布。
基于不同学派对参数的不同认识，产生了不同的参数估计方法。
下面将讨论三种参数估计方法：（1）极大似然估计：MLE（Maximum Likelihood Estimation）【频率学派】（2）极大后验估计：MAP（Maximum A Posterior）【贝叶斯学派】（3）贝叶斯估计：BE（Bayesian Estimation）【贝叶斯学派】其中，涉及到先验、似然、后验、贝叶斯公式的知识。
先验：p(θ)，指在见到数据集D之前，对参数θ的认识似然：p(D|θ），在给定参数θ下，数据集D被观测到的概率后验：p(θ|D)，在见到数据集D之后，对参数θ的重新认识贝叶斯公式：2. 举例以抛硬币为例，假设我们有一枚硬币, 现在要估计其正面朝上的概率。
为了对进行估计, 我们进行了10次实验 (独立同分布, i.i.d.) , 这组实验记为, 其中正面朝上的次数为6次，反面朝上的次数为4次，结果为。
3. 极大似然估计MLE的逻辑是：真实的参数θ是唯一的，既然数据集D被观测到了，那么真实参数θ对应的概率分布一定是可以使D出现的概率最大。
最大似然估计的原理
最大似然估计的原理嘿，朋友们！今天咱来唠唠最大似然估计这个神奇的玩意儿。
你说啥是最大似然估计呀？咱打个比方哈，就好比你在一堆糖果里找你最喜欢的那颗。
你不知道它具体在哪儿，但你会根据一些线索去猜，去想哪种可能性最大。
最大似然估计就是这么个道理。
咱就说，生活中不也经常有这种情况嘛。
比如你丢了钥匙，你会回想你可能把它丢在哪儿了，哪个地方最有可能，这其实就是在做一种估计呀！最大似然估计就是要找到那个最有可能产生我们所观察到的数据的模型参数。
比如说，咱抛硬币。
你抛了十次，有七次正面三次反面。
那你会不会就觉得这硬币正面朝上的概率可能更大一些呢？这就是一种很直观的最大似然估计的想法呀！你想想，要是按照正常情况，抛十次差不多应该五次正面五次反面吧，可现在七次正面，那是不是就感觉正面朝上更有可能呢？再比如抽奖，你每次都抽不中，那你是不是会觉得这抽奖有猫腻呀，哈哈，其实这也是一种基于你观察到的结果的估计呢。
那最大似然估计有啥用呢？用处可大啦！在统计学里，它能帮我们找到最合适的模型参数，让我们的模型更准确地描述现实世界。
就像你找路，找到了最正确的那条路，就能更快更准地到达目的地。
而且哦，它还能让我们在面对不确定的时候做出更合理的判断。
好比天气预报，虽然不能百分百准确，但通过最大似然估计等方法，能让预报更靠谱一些，咱也好提前做准备呀。
你说，这最大似然估计是不是挺神奇的？它就像一个聪明的侦探，能从一堆杂乱无章的数据中找出最关键的线索，然后告诉我们真相。
咱再回过头想想，生活中很多时候我们不也在不自觉地用着最大似然估计嘛。
找东西的时候，判断一件事情的时候，不都是在根据已有的信息去估计最有可能的情况嘛。
所以呀，可别小瞧了这个最大似然估计，它可就在我们身边，默默地发挥着大作用呢！它让我们的生活变得更有秩序，让我们能更好地理解这个充满不确定性的世界。
怎么样，是不是觉得很有意思呢？。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最大似然估计学习总结(概率论大作业)
最大似然估计学习总结
航天学院探测制导与控制技术杨若眉1110420123
摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。
“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。
故而，若称之为“最大可能性估计”则更加通俗易懂。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
该方法在每组序列比对中考虑了每个核苷酸替换的概率。
最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。
通俗一点讲，就是在什么情况下最有可能发生已知的事件。
举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。
我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。
这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。
假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？
我想很多人立马有答案：70%。
这个答案是正确的。
可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。
在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。
在一个三条序列的比对中，如果发现其中有一列为一个C，一个T和一个G，我们有理由认为，C和T所
在的序列之间的关系很有可能更接近。
由于被研究序列的共同祖先序列是未知的，概率的计算变得复杂；又由于可能在一个位点或多个位点发生多次替换，并且不是所有的位点都是相互独立，概率计算的复杂度进一步加大。
尽管如此，还是能用客观标准来计算每个位点的概率，计算表示序列关系的每棵可能的树的概率。
然后，根据定义，概率总和最大的那棵树最有可能是反映真实情况的系统发生树。
最大似然估计的原理
给定一个概率分布D ，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为f D ，以及一个分布参数θ，我们可以从这个分布中抽出一个具有n 个值的采样，通过利用f D ，我们就能计算出其概率：
但是，我们可能不知道θ的值，尽管我们知道这些采样数据来自于分布D 。
那么我们如何才能估计出θ呢？一个自然的想法是从这个分布中抽出一个具有n 个值的采样X 1 ,X 2 ,...,X n ，然后用这些采样数据来估计θ.
一旦我们获得，我们就能从中找到一个关
于θ的估计。
最大似然估计会寻找关于θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。
这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。
要在数学上实现最大似然估计法，我们首先要定义可能性:
并且在θ的所有取值上，使这个[[函数最大化。
这个使可能性最大的值即被称为θ的最大
似然估计。
注意
这里的可能性是指不变时，关于θ的
一个函数。
最大似然估计函数不一定是惟一的，甚至不一定存在。
1. 作用
在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。
设为离散型随机变量，为多维参数向如果随机变量相互独立且概率计算式为{，则可得概率函数为
{}=，在固定时，上式表示的概率；当已知它又变成的函数，
为，称此函数为似然函数。
性的大小，既然已经得到了样本值，
选择使达到最大值的那个作为真实的
设为连续型随机变量，其概率密度函数为
，为从该总体中抽出的样本，同样
概率密度为。
大致过程同离
=y
的取值范围已定，而且也为已知，所以
1 时概率分布图
那么在
（具体来说参数为多少时）产生出来的这
关于参数向量取值情况的函数。
还是以上面的以得到关于的似然函数为：
是在给定的情况下，
的可能性。
若相比于，使得
的要比更加接近于真正的估计参数。
所以求的极大似然估计就归结为求似然函数的最大值
点。
那么取何值时似然函数最大，这就需
要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。
图3 的似然函数分布图
主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。
由于对数函数是单调增函数，所以
与具有相同的最大值点，而
在许多情况下，求的最大值点比较简单。
于
是，我们将求的最大值点改为求的最大值
点。
若该似然函数的导数存在，那么对关于参数
向量的各个参数求导数（当前情况向量维数为1），并命其等于零，得到方程组：
可以求得时似然函数有极值，为了进一步判
断该点位最大值而不是最小值，可以继续求二阶导来判断函数的凹凸性，如果的二阶导为负
数那么即是最大值，这里再不细说。
还要指出，若函数关于的导数不存
在，我们就无法得到似然方程组，这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求的最大值点
6. 总结
最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。
说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。
最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤：
（1）写出似然函数
（2）对似然函数取对数，并整理
（3）求导数
（4）解似然方程
对于最大似然估计方法的应用，需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，例如在模式识别中，我们可以规定目标符合高斯模型。