矩估计和极大似然估计的求解步骤
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
数理统计7：矩法估计（MM）、极⼤似然估计（MLE），定时截尾实验在上⼀篇⽂章的最后，我们指出，参数估计是不可能穷尽讨论的，要想对各种各样的参数作出估计，就需要⼀定的参数估计⽅法。
今天我们将讨论常⽤的点估计⽅法：矩估计、极⼤似然估计，它们各有优劣，但都很重要。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：矩法估计矩法估计的重点就在于“矩”字，我们知道矩是概率分布的⼀种数字特征，可以分为原点矩和中⼼矩两种。
对于随机变量X⽽⾔，其k阶原点矩和k阶中⼼矩为a_k=\mathbb{E}(X^k),\quad m_k=\mathbb{E}[X-\mathbb{E}(X)]^k,特别地，⼀阶原点矩就是随机变量的期望，⼆阶中⼼矩就是随机变量的⽅差，由于\mathbb{E}(X-\mathbb{E}(X))=0，所以我们不定义⼀阶中⼼矩。
实际⽣活中，我们不可能了解X的全貌，也就不可能通过积分来求X的矩，因⽽需要通过样本(X_1,\cdots,X_n)来估计总体矩。
⼀般地，由n个样本计算出的样本k阶原点矩和样本k阶中⼼矩分别是a_{n,k}=\frac{1}{n}\sum_{j=1}^{n}X_j^k,\quad m_{n,k}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^k.显然，它们都是统计量，因为给出样本之后它们都是可计算的。
形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是⽐较容易计算的。
容易验证，a_{n,k}是a_k的⽆偏估计，但m_{n,k}则不是。
特别地，a_{n,1}=\bar X，m_{n,2}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^2=\frac{n-1}{n}S^2\xlongequal{def}S_n^2,⼀阶样本原点矩就是样本均值，⼆阶样本中⼼矩却不是样本⽅差，⽽需要经过⼀定的调整，这点务必注意。
1矩估计和极大似然估计
16/22
设总体 X 的分布函数中含 k 个未知参数
1 , 2 , k .
步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m =1,2,„,k. 一般地, am (m =1, 2, „, K) 是总体分布 故, 中参数或参数向量 (1, 2, „, k) 的函数。 am (m=1, 2, „, k) 应记成: am(1,2,…,k), m =1, 2, „, k.
13/22
例3：设总体X的均值为，方差为2，求 和 2 的矩估计。
解：由
E(X) , 2 2 2 E(X ) .
^ X, 即 ^ n 2 1 2 2 X i X . n i 1
14/22
即
ˆ X, ˆ2 1 n 2 (Xi X ) . n i 1
依样本对参数θ 做出估计，或估计参数 θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。 参数估计包括：点估计和区间估计。
4/22
为估计参数 µ ，需要构造适当的统计量 T( X1, X2 , „ , Xn )， 一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为 µ的估计， 称该计算 值为 µ的一个点估计。
故，均值,方差2的矩估计为
ˆ X, 即 n 1 2 1 n 2 2 S . ˆ （ X X ) i n n i 1
15/22
如：正态总体N( , 2) 中 和2的矩估计为
ˆ X, ˆ2 1 n 2 （ X X ) . i n i 1
19/22
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
解：列出方程组
ˆ, E( X ) 2 ˆ Var ( X ) .
点估计中两种方法的分析和比较
点估计中两种常用方法的比较与分析楚尚坤河南理工大学数学与信息科学学院信息与计算科学专业2005级3班摘要：本文首先介绍矩估计法和极大似然估计法，然后对于同一分布和同一参数，用这两种不同的方法求出矩估计量和极大似然估计量，利用估计量的三条评选标准：无偏性、有效性和一致性来判断哪个估计量在这种情况下与该参数的真实值更相近，从而选择相应的点估计法。
关键词：矩估计极大似然估计无偏性有效性一致性§ 1引言当我们碰到这样的问题：假设总体分布函数的形式已知（它可由理论分析和过去经验得到，或者从抽样数据的直方图和概率纸描点初步估计出），但它的一个或多个参数未知，借助于总体的一个样本值，构造适当的样本函数来估计总体未知参数的问题，我们称之为点估计问题。
点估计是数理统计学中内容很丰富的一个分支，其中两种最常用的构造的估计量的方法是矩估计法和极大似然估计法。
当对于同一分布和同一参数时，先用矩估计法和极大似然估计法分别求得矩估计量和极大似然估计量，然后用无偏性、有效性和一致性对这两个估计量进行衡量，当样本容量足够大时，从而选出一个估计量使得这个估计量既在未知参数的真实值附近，又与未知参数真实值的偏离程度很小，而且随着样本容量n的增大估计量与被估计参数的偏差越来越小，进而选择相应的点估计法。
§ 2相关概念2.1参数估计所谓参数估计，是指从样本（X l,X2，…，X n）中提取有关总体X的信息，即构造样本的函数一一统计量g（X l,X2，…，X n），然后用样本值代入，求出统计量的观测值g（X l, X2」I （ , X n），用该值来作为相应待估参数的值。
此时，把统计量g（X1,X2，…，XQ称为参数的估计量，把9（人也凡）称为参数的估计值。
2.2参数估计的类型参数估计问题常有两类：点估计和区间估计。
（1）点估计：指对总体分布中的参数r ,根据样本（X「X2，…,X n）及样本值（X1，X2，…,X n），构造一统计量g（X i,X2，…,X n），将9（旨公2,…儿）作为二的估计值，则称g （X「X2，…，X n）为二的点估计量，简称点估计，记为A"g（X1,X2, ,X n）。
2.2 矩估计和最大似然估计
求未知参数 ( , 2 ) 的矩估计量． 解 分别用样本均值 X 和二阶中心矩（未修正样本方
差） M 2* 估计 EX 和 DX ，得 和 2 的联立方程组：
1 2 X exp ， 2 M * (e 1) exp2 2 ． 2
于是，得 和 2 的矩估计量：
* 2 X M 2 2 ， ˆ ln ˆ ． ln 1 2 M* X 2 X 2
* 2 2
1 2
．
二、最大似然估计法
1、最大似然原理 一个试验有若干个可能的结果 A，B，C， ，若在一次 试验中结果 A 出现， 则一般认为试验条件对结果 A 出现有利， 也即 A 出现的概率最大。
2
关于 和 2 解方程组：
1 ln X 2， ln X 2 2 2 , 2
* ln M 2 ln(e 1) 2 2 ln(e 1) ln X 2；
2 2
ln(e
2
* * M2 M2 2 1) ln 2 ， e 1 2 ， X X * M2 2 ˆ ln 1 2 ； X
第 3 页 共 13 页
2.2 矩估计和最大似然估计
* ˆ X 3M2 a 所以 a , b 的矩估计为 * ˆ b X 3M 2
矩估计和极大似然估计正式版PPT文档
pˆX1 n ni1
Xi
fn(A)
(即出现不合格产品的频率).
例5 设总 X~U 体 [a,b]a ,,b未知 X1, ； ,Xn
是一个 求：样 a, b的本 矩估计； 量。
解 令 2 1 E a( E 2X bX2 ) aAD 12X b 1n, ( iE n1X X)2 i (b 1 2 a )2 (a 4 b )2
参数估计
统计推断：参数估计和假设检验。 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数。
估计湖中鱼数
估计平均降雨量
……
参数估计要解决问题:
总体分布函数的形式为, 但其中参数θ 未知时，需要确定未知参数。只有当参数θ 确定后，
才能通过率密度函数计算概率。
对于未知参数，如何应用样本 X1,X2,,Xn
一 . 矩估计法
根本原理：总体矩是反映总体分布的最简单的 数字特征，当总体含有待估计参数时，总体矩是 待估计参数的函数。
样本取自总体，Ak PE(Xk) k1,2,.
样本矩在一定程度上可以逼近总体矩， 故用样本矩来估计总体矩
由英国统计学家K.皮尔逊最早提出的。
设总体X的分布函数为 F(x;1, ,k)
参数估计： 点估计:估计θ的具体数值; 区间估计:估计θ的所在范围.
点估计问题：
构造一个适当的统计量 ˆ(X1,X2, ,Xn)
用它的观察值 ˆ(x1,x2,,xn)来估计未知参数θ.
称 ˆ(X1,X2,Xn) 为θ的估计量， ˆ(x1,x2,,xn) 为θ的估计值.
第一节 矩法估计
第七章
一 、矩法估计 二、常用分布参数的矩法估计
则ˆX, ˆ21 ni n1(XiX)2
参数估计公式最大似然估计贝叶斯估计矩估计
参数估计公式最大似然估计贝叶斯估计矩估计参数估计是统计学中的一个重要问题，它的目标是通过已经观测到的样本数据来估计未知参数的值。
在参数估计中，最大似然估计、贝叶斯估计和矩估计是常用的方法。
下面将分别介绍这三种估计方法及其公式。
一、最大似然估计最大似然估计是一种常用的参数估计方法，它基于样本数据的观测结果，通过寻找参数值使得观测样本出现的概率最大化来估计未知参数的值。
最大似然估计的公式如下所示：$$\hat{\theta}_{MLE} = \arg \max_{\theta} P(X|\theta)$$其中，$\hat{\theta}_{MLE}$表示最大似然估计得到的参数值，$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率。
二、贝叶斯估计贝叶斯估计是另一种常用的参数估计方法，它基于贝叶斯定理，通过在先验分布和观测数据的基础上更新参数的后验分布来进行参数估计。
贝叶斯估计的公式如下所示：$$P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)}$$其中，$P(\theta|X)$表示给定观测样本$X$后，参数$\theta$的后验分布；$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率；$P(\theta)$表示参数$\theta$的先验分布；$P(X)$表示观测样本$X$的边缘概率。
三、矩估计矩估计是一种基于样本矩的无偏估计方法，它通过样本矩与理论矩之间的差异来估计未知参数的值。
矩估计的公式如下所示：$$\hat{\theta}_{MME} = g(\overline{X}_n)$$其中，$\hat{\theta}_{MME}$表示矩估计得到的参数值，$g(\cdot)$表示由样本矩计算得到参数的函数，$\overline{X}_n$表示样本的均值。
在实际应用中，最大似然估计常用于样本量较大、参数唯一可估情况下的参数估计；贝叶斯估计常用于样本量较小、先验分布已知情况下的参数估计；矩估计常用于样本量较大、参数个数较多时的参数估计。
均匀分布的矩估计和极大似然估计
一、概述矩估计和极大似然估计是统计学中常用的两种参数估计方法，它们在众多领域中都有着重要的应用。
本文将对均匀分布的矩估计和极大似然估计进行深入探讨，分析它们的特点和适用范围，并对两种方法的优缺点进行比较和总结。
二、均匀分布的矩估计1. 均匀分布的概念和特点均匀分布是概率论中常见的一种离散型随机变量分布，它具有概率密度函数f(x) = 1/(b-a)，其中a和b分别为分布的起始值和终止值。
均匀分布的特点是在[a, b]区间内各个数值出现的概率相等。
2. 均匀分布的矩估计方法均匀分布的参数估计通常采用矩估计方法。
矩估计是利用样本矩来估计总体矩，其基本思想是将样本矩与总体矩相等，通过方程求解得到参数的估计值。
对于均匀分布而言，可以通过样本均值和样本方差来进行参数估计，具体的计算过程可以通过数学推导来进行详细阐述。
三、均匀分布的极大似然估计1. 极大似然估计的基本原理极大似然估计是统计学中另一种常用的参数估计方法，其基本思想是在给定样本条件下，寻找最大化似然函数的参数值作为估计值。
对于均匀分布而言，可以通过求解似然函数的一阶导数为0的方程来得到参数的极大似然估计值，具体的推导过程也需要进行详细的分析和阐述。
2. 极大似然估计与矩估计的比较极大似然估计与矩估计在参数估计的方法和理论基础上存在着一定的差异，它们在不同情况下各有优劣。
通过比较两种方法在均匀分布参数估计中的应用，可以得出它们在精确度、稳定性和有效性等方面的优缺点，为使用者提供更多的参考依据。
四、实例分析通过实际的数据样本和模拟实验，可以对均匀分布的矩估计和极大似然估计进行对比分析。
选择适当的参数和样本规模，比较两种方法得到的参数估计值与真实值之间的偏差情况，从而验证两种方法的可靠性和有效性。
五、结论通过对均匀分布的矩估计和极大似然估计的深入研究和分析，可以得出它们在不同情况下各有优劣，适用范围也有所不同。
在实际应用中，需要根据具体问题的特点选择合适的参数估计方法，以保证估计结果的准确性和可靠性。
矩估计法的一般步骤
总体参数的点估计一 矩估计法如果总体中的未知参数θ恰好就是某个总体矩，那么相应的样本矩就是它的矩估计。
但是当总体中的未知参数θ不是某个总体矩时，通常按下面的步骤来求未知参数θ的矩估计。
问题：设总体X 中含有k 个参数k θθθ ,,21，n X X X ,,21是来自总体的样本，求k θθθ ,,21的矩估计。
不管未知参数k θθθ ,,21是不是总体矩，我们都可以按以下步骤来求它们的矩估计。
①求出总体X 的一阶直到k 阶原点矩()()()k X E X E X E ,,,2 （也可以是总体中心距），并且把它们表示成未知参数k θθθ ,,21的函数。
设求得：()()k a X E θθθ,,,211 =()()k a X E θθθ,,,2122 =………………………………()()k k k a X E θθθ,,,21 =②用样本矩替换相应的总体矩，即()k ni i a X n θθθ,,,12111=∑= ()k ni i a X n θθθ,,,121212 =∑=………………………()k k n i ki a X n θθθ,,,1211=∑= 这是k 个关于未知参数k θθθ ,,21的方程。
③解由这k 个方程构成的方程组，得到k θθθ ,,21的解k θθθˆ,ˆ,ˆ21 ，这k 个解就是相应的未知参数的矩估计。
注意：（1）在上面的第一个步骤中，如果计算总体中心矩比较方便，也可以把部分总体原点矩换成总体中心矩。
（2）在上面的三个步骤中，把步骤②和③颠倒也可以。
二 最大似然估计法求总体中的未知参数k θθθ ,,21的最大似然估计可以归结为求似然函数的最大值点。
一般情况下可以按照以下三个步骤来做：①求似然函数()k n x x x L θθθ ,,;,,,2121 ②对似然函数取自然对数，并列似然方程()()()⎪⎪⎪⎩⎪⎪⎪⎨⎧=∂∂=∂∂=∂∂0,,,;,,,ln 0,,,;,,,ln 0,,,;,,,ln 21212212112121k k n k n k n x x x L x x x L x x x L θθθθθθθθθθθθ ②解似然方程，得到k θθθ ,,21的解k θθθˆ,ˆ,ˆ21 ，这k 个解就是未知参数k θθθ ,,21的最大似然估计值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、 σ2 已知 ，求μ的置信度为1-α的置信区间
解：考虑到样本均值X 是 μ的一个无偏估计量，且
X ~ N(, 2 )
n
___
即U
(X
)
n ~ N (0,1)
由于U中含有µ而不含其他任何未知参数,且其
分布已知.故对事先给定的置信度1-α，由标准
正态分布上α分位点的定义可知：
(x)
P(Z U Z ) 1
为1－的置信区间为:
( X t (n 1)
2
S n
,
X
t
2
(n
1)
S) n
例2、课本P124例2
分析：这其实是当 2未知时, 求µ的置信度为95%的置信区间问题。
解： µ的置信度为1-α 的置信区间为：
( X t (n 1)
2
S) n
对事先给定的α=1-0.95=0.05，查表知 t (n 1) t0.025(4) 2.778 2
3、求方差σ2 的置信区间
无论已知或未知,考虑到§4.1定理3
Y n 1S 2 2
~ 2 n 1
P122
n
1
Y
2
2
n
1
1
f (y)
可得 2 的置信度为(1- )的置信区间为:
n
2
2
Hale Waihona Puke 1S2 n 1，n 1S2
2 1
n
1
2
2 1
n
1
2
2
2 n 1 y
2
例3:求课本P124例2 中 2的置信度为95%的置信区间。 解： 2的置信度为1-α 的置信区间为：
(X Z
, X Z
)
2n
2n
对给定的α=1-0.95=0.05，查表知
Z Z0.025 1.96 2
跳转到第一页
代入数据
__
x 65, Z 1.96, 5, n 16 4
2
由于
5
X Z
2
65 1.96 62.55
n
4
X Z
2
65 1.96 5 67.45
n
4
故µ的置信度为95% 的置信区间为：
被包含的概率仅为5%。
2、α的大小决定了 参数θ包含在 ˆ1,ˆ内2 概率的大
小。即α越小，则θ落在区间
ˆ1内,ˆ2的 概率越大。
由于 α 通常取得很小，因而θ落在区间
内 ˆ1 ,ˆ2
的概率很大。
下面通过例子说明置信区间的求法：
二、单个正态总体置信区间的求法
设总体 X ~ N (, 2 ), ( X1 , X 2 X n )是其样本。
2
~
2 (n 1)
§3 区间估计
一、置信区间的定义 二、置信区间的求法
1、σ2 已知时 ，求μ的置信区间 2、σ2 未知 时，求μ的置信区间 3、求σ2 的置信区间 三、第四章小结
引言
由点估计,我们可以利用样本信息求得待估参数θ的 一个估计值θ*，但θ*与θ有没有误差，误差多大我们并 不清楚。 而区间估计不仅给出了待估参数的 一个取值范围，而且还给出了参数真值包含在该区间 内的概率。
2n
2n
2、σ2 未知时，求μ的置信区间
当 2未知时,就不能再用例1中的统计量了 考虑到§4.1定理5
T (X ) n ~ t(n 1)
S
对事先给定的置信度1－,由t分布 上α分位点的定义可知
P t (n 1) T t (n 1) 1
2
2
2
t (n 1)
2
1
2
t (n 1)
2
代入T,解不等式就得到μ的置信度
__
由样本得： x 12.59, S 0.119, 代入数据计算区间上、下限
由于
X t (n 1)
2
S n
12.59 2.776 0.119 12.44 5
X t (n 1)
2
S n
12.59 2.776 0.119 12.74 5
故平均直径的置信度为95% 的置信区间为：(12.44,12.74)
所谓区间估计就是将待估参数估计在一个区间内， 并以一定的概率保证待估参数在该区间内。
区间估计的关键是求置信区间，下面先给出置信区 间的定义。
一、置信区间的定义
定义:设为总体X的一个未知参数，若对事先给定 的（0< <1）, 存在由样本(X1,X2,…Xn )确定的 两个统计量
ˆ1 ˆ1( X1, X2 ,..., Xn )与ˆ2 ˆ2( X1, X2 ,..., Xn )
(62.55,67.45)
小节： 求具体置信区间的步骤：
（1）写出置信区间 （2）查表求分位点 （3）代样本值计算置信区间上、下 限的数值 （4）作结论
练习: 设总体X~N(µ，0.42)，随机抽取容量为10 的样本，试 求µ的置信度为95%的置信区间。 解： µ的置信度为1-α 的置信区间为：
( X Z , X Z ) 即：( X 0.248, X 0.248)
2
2
将U代入，解不等式
(X ) n
Z
2
Z
2
Z
2
Z
2
由上式可得μ的置信度为1－α的置信区间为：
(X Z , X Z )
2n
2n
说明:(由上可知求置信区间的方法思路)
寻求一个含有待估参数θ（而不含其他任何未 知参数）的统计量U ，且其分布已知，再根据U的 分位数，求出θ的置信区间。
小节：推导置信区间的步骤
使得 P ˆ1 ˆ2 1 (1)
成立，则称随机区间 ˆ1,ˆ2 为参数的置信度
为1－ 的置信区间。 1－ 称为置信度。
说明:
1、（1）式的含义是指总体参数θ 以1- 的概率
包含在 ˆ1,ˆ2 内，而不被包含的概率仅为。若取 =0.05, (1)式是指θ 以95的概率包含在 ˆ1,ˆ2 内,不
n
2
2
1S 2 n 1
，n
2 1
1S n
2
2
1
对给定的α=1-0.95=0.05，查表知
2 1
(n
1)
2 0.975
(4)
0.484,
2
(n
1)
2 0.025
(4)
11.143
复习:1、矩估计与极大似然估计的求解步骤
2、估计量的无偏性与有效性的含义
3、几个有用的统计量
设X～N(,2),(X1,X2…Xn)是它的一个样本,则
__
__
(1) X
~
N(, 2 ) U
(X )
n ~ N (0,1)
n
(2) T ( X ) n ~ t(n 1)
S
(3) Y
(n 1)S 2
（1）寻求一个含有待估参数θ（而不含其他任 何未知参数）的统计量U ，且其分布已知.
（2）对事先给定的置信度1-α，确定分位点. （3）解不等式，求得待估参数θ的置信区间.
例1: 设总体X~N(µ，52)，随机抽取容量为16的样
__
本，求得 x 65 , 试 求µ的置信度为95%的置信
区间。
解： µ的置信度为1-α 的置信区间为：