考研数学概率学：极大自然估计量考点
极大似然估计及其性质
极大似然估计及其性质一、极大似然估计 设联合密度函数为12(;),'()k f Y θθθθθ=则似然函数为似然函数(;)(;)L Y f Y θθ==为使关于θ的似然函数最大化，求θ的一个估计ˆθ，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE ）。
定义对数似然函数为ln l L =则l l LL θθ∂∂=∂∂ 最大化l 的ˆθ值也会最大化L ，l 对θ的导数(;)s Y θ称作得分，将得分定义为0，即可解出（MLE ）ˆθ，即(;)0ls Y θθ∂==∂ 二、MLE 的性质 1、一致性。
ˆlim()P θθ= 2、渐进正态性。
1ˆ~(,())N I θθθ- 式中()I θ为信息矩阵2()'l l l I E E θθθθθ⎡⎤'⎡⎤∂∂∂⎛⎫⎛⎫⎢⎥==- ⎪⎪⎢⎥∂∂∂∂⎢⎥⎝⎭⎝⎭⎣⎦⎣⎦ 当θ是一个k 维向量时，lθ∂∂表示k 个偏导数组成的列向量，即12k l l l l θθθθ∂⎛⎫∂ ⎪ ⎪∂∂ ⎪∂= ⎪∂ ⎪ ⎪∂ ⎪∂⎝⎭ 而lθ∂∂的二阶导数为 222211212222212*'k k k k k kl l l ll l l θθθθθθθθθθθθ⎛⎫∂∂∂ ⎪∂∂∂∂∂⎪⎪∂= ⎪∂∂⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂∂∂⎝⎭ 3、渐进有效性。
2ˆ)(0,)d N θθσ-−−→4、不变性。
如果ˆθ是θ的MLE ，()g θ是θ的连续函数，则ˆ()g θ是()g θ的MLE 。
5、得分的均值为0，方差为()I θ。
三、线性模型的极大似然估计 设2~(0,)Y XB UU N σ=+U 的多元正态密度函数为21()(')2221()(2)U U n f U eσπσ-=Y 关于X 的多元条件密度为(,)()U f Y X f U Y∂=∂ UY∂∂是由U 中元素关于Y 中元素的偏导数组成的n n ⨯矩阵转换成的行列式的绝对值，并且为恒等矩阵。
极大似然估计方法
极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。
极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。
极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。
具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。
极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。
数学上，极大似然估计可以通过最大化似然函数来求解。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。
具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。
理论基础似然函数是极大似然估计的核心概念之一。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。
对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。
它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。
西安交大西工大 考研备考期末复习 概率论与数理统计 极大似然估计
一、参数点估计问题
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题.
引例1 元件无故障的工件时间 X 具有负指数分
极大似然法的基本概念
得到样本值 x1, x2 ,, xn时,选取使似然函数L( )
取得最大值的ˆ 作为未知参数 的估计值,
即
L(
x1
,
x2
,,
xn
;ˆ
)
max
L(
x1
,
x2
,,
xn
;
).
(其中 是 可能的取值范围)
这样得到的ˆ 与样本值 x1, x2 ,, xn有关,记为 ˆ( x1, x2 ,, xn ), 参数 的最大似然估计值,
t
此时 L(N ) 关于 N 是单调递增的。于是在 N rs 时，
t
L(N ) 取最大值，故
^
N
rs
t
因为待估计量是整数，所以上式取最接近的整数.
模型评析
1、建模理论依据：超几何分布的概率计算，极 大似然估计。应用参数估计的思想和方法分 析、处理问题。
2、应用与推广：本例可推广到一定区域范围内 的生物总数估计等问题。例如，估计一个城 市的人口总数，也可以用同样的方法考虑。
模型2：参数点估计模型
设捕出的 s 条鱼中带有标记的个数为随机变量 ，则 服从超几何分布，取值0,1,2, l(l min{ s, r})
分布律
P(
i)
C Ci si r N r
极大似然估计
1）矩法估计
EX0x1exdx
令 X 则 可 得 的 矩 法 估 计 量 为 ： ˆ X .
代 入 具 体 数 值 可 得 的 估 计 值 为 ：
1 ni n1xi 118 572 3 31(小 8 )时 .
17
X: p(x;)1ex, x0 (0)
2）极大似然估计
0 , other
出现的可能性应最大, 其概率为
29
px(1 p)1x, P(x;p)
0,
x0, 1; 其.它
L (x1,x2, .x .n .;p ,)
P {X 1x1,X 2x2, .X .n . ,xn}
nP {X ix i} npx i(-1 p )1 -x i
i 1
i 1
pi n1xi(-1p)n i n 1xi, (xi0, 1p;1 0)
节
章
极大似然估计
极大似然估计
1
极大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
2
基本思想:
若一试验有n个可能结果 A1, ,An,现做一试验,
若事件Ai 发生了, 则认为事件Ai在这n个可能结果 中出现的概率最大。
故似然函数为
n
L(p)
n
n
pxi
(1p)1xi
xi
n xi
pi1 (1p) i1 ,
而
i1 n
n
lnL(p)( xi)lnp(n xi)ln1 (p)
i1 n
in1
令
d ln L( p) dp
xi n xi i1 i1 0
概率与数理统计极大似然估计详细讲解及例题
P(Y=3) 0.343 0.027
估计
估计
应如何估计p? p=0.7 或 p=0.3
P (Y
k)
3 k
pk
(1
p)3k
k=0,1,2,3
如果有p1,p2,…,pm可供选择, 又如何合理地 选p呢?
若重复进行试验n次,结果“1”出现k次 (0 ≤ k≤ n), 我们计算一切可能的
P(Y=k; pi )=Qi ， i=1,2,…,m 从中选取使Qi 最大的pi 作为p的估计.
i
n 1
(
xi
)
0,
min xi
其它
对 min xi , L( , ) 0, 且是 的增函数
取其它值时，L( , ) 0.
故使 L( , ) 达到最大的 , 即 的MLE，
是
*
min
1in
xi
即 *, 为* , 的MLE .
于是
*
1 n
n i 1
xi
*
如果要你推测， 是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率. 看来这 一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似 然法的基本思想 .
下面我们再看一个例子,进一步体会极 大似然法的基本思想 .
例4 设X~B(1,p), p未知.设想我们事先知
极大似然估计
二、寻求估计量的方法
1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍第二两种方法 .
2. 极大似然法
是在总体类型已知条件下使用的一种 参数估计方法 .
极大似然法的基本思想 先看一个简单例子：
概率论与数理统计：极大似然估计法
教学内容一、引入新课：矩估计法虽然简单，但是没有用到已知分布的信息。
而在极大似然估计法中，我们将改进这一点。
下面先通过一个例子来说明极大似然估计法的原理：例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球 ，90个白球。
很明显，两个箱中的优势球种完全不一样。
现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？我相信大家都会说是甲箱，因为它的可能性更大。
我们也可以进行如下计算来说明这个结果。
解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。
已知，443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。
反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。
这就是极大似然估计法的基本思想。
二、讲授新课：1、极大似然法的基本原理：一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。
把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。
所以，要计算参数θ就是寻找使样本观测值出现的概率达到最大值的θˆ。
这样找到的θˆ就是θ的极大似然估计值。
2、 极大似然法的步骤：(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i ni i i X x f X x X P ,);(,)(11θ (2)取对数： );,,(ln 1θn x x L(3)求导：0);,,(ln 1=∂∂θθn x x L 似然方程 (4)求解似然方程，得参数的估计值。
极大似然估计
极大似然估计极大似然估计（Maximum Likelihood Estimation，MLE）是Fisher提出的一种点估计方法，在很多场合都有应用。
根据字面意思理解，极大似然估计就是最大可能的一个估计，我们获得了样本数据后，根据已知的样本结果反推找到一个估计值，使得出现这种样本结果的可能性最大，这就是极大似然估计的基本思想。
极大似然估计的实际计算比较复杂，本文简单介绍其基本原理。
1. 似然函数要理解极大似然估计的基本原理，先要理解似然函数的概念。
例1 一家公司每次从供应商送来的一个批次的零件中随机抽取20件进行检验，以确定是否接收这批零件。
假定这批零件的批量很大，我们希望推断这批零件的不良率p。
抽取20件产品，可能的不良品件数是0~20的整数。
由于样本量与批量相比很小，可以近似认为抽到x件不良品的概率服从二项分布，计算公式为：式中x是随机变量的取值，p是该批产品的不良品率，是未知的，我们希望估计这个数值。
如果抽取20件产品中2件不良品，则这批产品的不良率是多少呢？20件产品中有2件不良品，不良率为10%，这个不良率是样本不良率，我们关心的是整个这批产品的不良率。
假定总体不良率为p，则抽取20件产品，抽到2件不良品的概率用下式计算：当总体不良率p取不同数值时，抽到2件不良品的概率是变化的，现在我们以总体不良品率p为横轴，以P(X=2)为纵轴画出二者之间的关系图，图中的函数称为似然函数。
可以看出当总体不良品率为0.1时，P(X=2)的值最大，大约是0.285。
2. 对数似然函数例2 一条生产线生产瓷砖，每100块瓷砖的瑕疵点数服从均值为λ的Poisson分布，λ未知。
抽取了两个随机样本，经过检查发现分别有10个和12个瑕疵点，求平均瑕疵点数λ。
我们知道，Poisson分布的概率计算公式是：似然函数是P(10)和P(12)二者的乘积：上式可以通过取自然对数简化：同样画出对数似然函数如下图：可以看出，当λ=11时对数似然函数最大，所以可以确定λ=DPU=11。
概率论与数理统计第七章-1矩估计法和极大似然估计法
数理统计
例5
设总体 X ~N( μ , σ 2) , μ , σ 2 未知 . x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
数理统计
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？
数理统计
你可能会想，只发一枪便打中, 猎人命中的概 率一般大于这位同学命中的概率 . 看来这一枪是猎 人射中的 . 这个例子所作的推断已经体现了极大似然估计 法的基本思想 .
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
考研数学概率学：极大自然估计量考点
考研将第一时间整理发布考研相关信息，希望对2016考研考生有所帮助。
概率论与数理统计虽然占据的分值不是特别大，但是因其公式、概念的复杂，也着实难为了不少同学，下面，在复习中很多同学都抱有疑问，考研老师就针对学院问的最多的问题为大家作出解答，希望能帮助考生顺利通过考研秋季复习。
对于数学一的考生或者数学三的考生来说，这个类型是考试的重点，每门课程重点有很多，不是每个重点都考，只要重点的地方考生不要投机取巧，比如参数估计，三种方法，那就是矩估计方法，极大似然估计方法，区间估计方法，这三种方法前两者是重点。
大家记几个公式就可以了，2003年数学一考了区间估计的填空题。
你对前面两者要熟练掌握，前面两种对整体没有做限制，所以命题空间比较大。
如果命题空间小考的可能性有很小。
你四个步骤一定要掌握，刚才有网友说那个计算量太大，考试的题计算量不会太大。
第一步一定要把函数会写出来，数量函数有两种：一个是总体是离散型的一个是连续型的，你都要会写出来，离散型是指联合分布率，连续型是联合密度，因为这个联合密度和联合分布率都具有独立性，都是等于边缘密度的乘积，做任何一个，只要考这类型的题第一步少不了，你的问题属于会把L似然函数写出来，把L写出来以后下面求L关于未知参数最大值点的问题，这是高等数学微积分里面最基本的问题，所以一般的话，我们先取对数，取对数以后令这个函数对未知参数的导数等于零，这个偏导数或者导数等于零的解就是可能的极值点。
当然也可能出现这种情况，偏导数等于零的方程没有解的情况，只考过一次，这个时候找未知参数的边界点，取值范围的定义域找到它，这个2000年考过一次，这个大家要注意，有解没有解的都会做了你就不怕他考了。
小提示：目前本科生就业市场竞争激烈，就业主体是研究生，在如今考研竞争日渐激烈的情况下，我们想要不在考研大军中变成分母，我们需要：早开始+好计划+正确的复习思路+好的辅导班（如果经济条件允许的情况下）。
2017考研开始准备复习啦，早起的鸟儿有虫吃，一分耕耘一分收获。
加油！。