矩估计与极大似然估计的典型例题
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
数理统计7：矩法估计（MM）、极⼤似然估计（MLE），定时截尾实验在上⼀篇⽂章的最后，我们指出，参数估计是不可能穷尽讨论的，要想对各种各样的参数作出估计，就需要⼀定的参数估计⽅法。
今天我们将讨论常⽤的点估计⽅法：矩估计、极⼤似然估计，它们各有优劣，但都很重要。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：矩法估计矩法估计的重点就在于“矩”字，我们知道矩是概率分布的⼀种数字特征，可以分为原点矩和中⼼矩两种。
对于随机变量X⽽⾔，其k阶原点矩和k阶中⼼矩为a_k=\mathbb{E}(X^k),\quad m_k=\mathbb{E}[X-\mathbb{E}(X)]^k,特别地，⼀阶原点矩就是随机变量的期望，⼆阶中⼼矩就是随机变量的⽅差，由于\mathbb{E}(X-\mathbb{E}(X))=0，所以我们不定义⼀阶中⼼矩。
实际⽣活中，我们不可能了解X的全貌，也就不可能通过积分来求X的矩，因⽽需要通过样本(X_1,\cdots,X_n)来估计总体矩。
⼀般地，由n个样本计算出的样本k阶原点矩和样本k阶中⼼矩分别是a_{n,k}=\frac{1}{n}\sum_{j=1}^{n}X_j^k,\quad m_{n,k}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^k.显然，它们都是统计量，因为给出样本之后它们都是可计算的。
形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是⽐较容易计算的。
容易验证，a_{n,k}是a_k的⽆偏估计，但m_{n,k}则不是。
特别地，a_{n,1}=\bar X，m_{n,2}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^2=\frac{n-1}{n}S^2\xlongequal{def}S_n^2,⼀阶样本原点矩就是样本均值，⼆阶样本中⼼矩却不是样本⽅差，⽽需要经过⼀定的调整，这点务必注意。
最大似然例题及原理应用
例7.1设总体X的概率密度为式中>－1是未知参数，是来自总体的一个容量为的简单随机样本，分别用矩估计法和最大似然估计法求的估计量。
分析因为总体的分布只含有一个未知参数，所以用矩估计法首先求出解由矩估计法知，令得参数的矩估计量。
似然函数为对=1,2,…n，对取对数，则有令，所以参数的最大似然估计量为注本题说明，对总体未知参数的估计，尽管利用同一样本值，但采用不同的估计方法，其结果未必相同。
[对应练习]设总体X服从参数p的几何分布，其分布律为，是总体X的一个简单随机样本，试求：(1)p的矩估计量；(2)p的最大似然估计量。
提示因为总体分布中只含有一个参数p，所以求p的矩估计量关键是求出总体的均值。
例7.2设某种元件的使用寿命的概率密度为式中>0为未知参数，又设是的一组样本观察值，求参数的最大似然估计值。
解似然函数对于，=1,2,…,n，()>0，取自然对数，则有从而所以在，=1,2,…,n时单调增加。
取时，对，，=1,2,…,n成立。
取到最大值，故的最大似然估计值为注本题虽然能给出似然方程，但似然方程无解，故不存在驻点，应在边界点上考虑函数最大值。
[对应练习]设为总体的一个样本，已知总体的密度函数为式中>0, ,是未知参数，求,的矩估计量和最大似然估计量。
提示因为总体的分布中含有两个未知参数，用矩法估计时，首先求出和，令，，可求得,的矩估计量。
例7.3某自动包装机包装洗衣粉，其重量服从正态分布，今随机抽查12袋测得其重量(单位g)分虽为1 001,1 004,1 003,1 000,997,999,1 004,1 000,996,1 002,998,999。
(1)求平均袋重的点估计值；(2)求方差的点估计值；(3)求的置信度为95%的置信区间；(4)求的置信度为95%的置信区间；(5)若已知＝9，求的95%的置信区间。
解(1)(2)(3)未知，则的置信度为1－的置信区间为依题意：故的置信度为95%的区间估计为(998.577,1 001.923)。
数理统计复习
n 2 2
( xi ) 0
1n
2 4
( xi
i 1
)2
0
得
1
ni 21
n
n
xi
1
n
(
i 1
xi
x
x )2
s02
经检验，x和s02确为似然函数的最大值点，
从而, 2的极大似然估计量为 ˆ X , 2 S02
i 1
i 1
n
n
(
n
C xi m
xi ) p i1
(1
nm xi p) i1
i 1
n
对数似然方程为 ln L( p) ln(
C xi m
)
nx
ln
p
(nm
nx)
ln(1
p)
i 1
令 ln L( p) nx (nm nx) 0 p x
抽取6件，测得它们的长度为：32.56, 29.66, 31.64, 30.00, 31.87, 31.03。问 这批零件的长度是否符合产品要求？
3、某药厂生产一种抗菌素，每瓶抗菌素的某项指标服从正态分布。某日开 工后随机抽取5瓶，测得该项指标数据为：22.3, 21.5, 22.0, 21.8, 21.4。 1）求该指标均值的区间估计； 2）设在正常情况下，该指标的均值为23.0，问该日的生产是否正常？
2
n
|xi |
2）极大似然估计：似然函数L( )
n
n i 1
p(
xi
;
)
1
极大似然估计例题
极大似然估计例题
极大似然估计是一种统计学的估计方法，它根据已知的数据来估计参数的值，以使得估计出来的参数能够最大限度地拟合原始数据。
例如，有一个调查，其中有1000个受访者，调查了他们对特定产品的满意度，其中800人表示满意，200人表示不满意。
要用极大似然估计的方法求出满意度的比例p，即该产品的满意度的比例。
首先，我们假设p是一个未知变量，它的取值范围是[0,1]。
我们希望根据上面的调查结果，通过极大似然估计法找到一个最佳的p，使得它最大程度地拟合调查结果。
首先，我们把满意人数看作一个随机变量X，它的概率分布为二项分布：P(X=k)=C_1000^k * p^k * (1-
p)^{1000-k}，其中k=800，C_1000^k表示从1000个人中取出800个满意的可能性，p表示满意度的比例。
根据极大似然估计的原理，我们需要求出满足下面的条件的最佳的p值：
L(p)=P(X=800)=C_1000^800 * p^800 * (1-p)^{200}最大
将上式带入log函数，得到：
lnL(p)=800*ln(p)+200*ln(1-p)+C最大
令上式的导数为0，可以得到：
p=800/1000=0.8
可以看出，最佳的满意度比例为80%。
矩估计法和最大似然估计法
)]2
a
b2
12
a
b2
4
,
令
a
2
b
A1
1 n
n i 1
Xi,
(a b)2 12
(a
b)2 4
A2
1 n
n i 1
Xi2,
即
a b 2 A1, b a 12( A2
A12 ).
解方程组得到a, b的矩估计量分别为
aˆ A1
3( A2 A12 ) X
3 n
n i 1
若
L(
x1
,
x2
,,
xn
;ˆ
)
max
L(
x1
,
x2
,,
xn
;
).
ˆ( x1, x2,, xn ) 参数 的最大似然估计值,
ˆ( X1, X2,, Xn ) 参数 的最大似然估计量.
最大似然估计法是由费舍尔引进的. 求最大似然估计量的步骤:
费舍尔
(一) 写出似然函数
n
L( ) L( x1, x2 ,, xn; ) p( xi; )
.
解 总体X 的一阶矩为
1 E( X )
1 x( 1)x dx 1
0
2
以一阶样本矩 A1 X 代替上式中的一阶总体矩 1 ，
有
A1
1 2
,
从中解出
，得到
的矩估计量为
ˆ 1 2A1 1 2X .
A1 1 X 1
，
例3 设总体X的概率密度为
f
( x; , )
1
e ( x) /
本, x1, x2 ,, xn 为相应的一个样本值.
点估计问题就是要构造一个适当的统计量
极大似然估计经典例题
极大似然估计经典例题
极大似然估计是统计学中最常用的一种参数估计方法，其基本思想是在给定一定的数据情况下，寻找最能解释这些数据的参数值。
下面我们来看一个经典的例题。
假设有一个硬币，它正反面出现的概率分别为p和1-p，现在我们抛掷了这个硬币10次，结果出现了6次正面和4次反面。
现在我们想要用极大似然估计来估计这个硬币正面出现的概率p。
首先，我们需要写出这个问题的似然函数。
由于每次抛掷硬币是独立的事件，因此整个实验的似然函数可以表示为：
L(p) = P(6次正面，4次反面| p) = p^6 * (1-p)^4
接下来，我们需要求解这个似然函数的最大值。
为了方便计算，我们可以对似然函数取对数，得到：
ln L(p) = 6lnp + 4ln(1-p)
对其求导，得到：
d(ln L(p))/dp = 6/p - 4/(1-p)
令其等于0，解得p=0.6。
因此，我们可以用极大似然估计的方法估计这个硬币正面出现的概率为0.6。
需要注意的是，极大似然估计并不一定能够得到最优的估计结果。
在实际应用中，需要结合具体问题和数据情况来选择合适的参数估计方法。
应用统计学：参数估计习题及答案
简答题1、矩估计的推断思路如何？有何优劣？2、极大似然估计的推断思路如何？有何优劣？3、什么是抽样误差？抽样误差的大小受哪些因素影响？4、简述点估计和区间估计的区别和特点。
5、确定重复抽样必要样本单位数应考虑哪些因素？计算题1、对于未知参数的泊松分布和正态分布分别使用矩法和极大似然法进行点估计，并考量估计结果符合什么标准2、某学校用不重复随机抽样方法选取100名高中学生，占学生总数的10%，学生平均体重为50公斤，标准差为48.36公斤。
要求在可靠程度为95%（t=1.96）的条件下，推断该校全部高中学生平均体重的范围是多少？3、某县拟对该县20000小麦进行简单随机抽样调查，推断平均亩产量。
根据过去抽样调查经验，平均亩产量的标准差为100公斤，抽样平均误差为40公斤。
现在要求可靠程度为95.45%（t=2）的条件下，这次抽样的亩数应至少为多少？4、某地区对小麦的单位面积产量进行抽样调查，随机抽选25公顷，计算得平均每公顷产量9000公斤，每公顷产量的标准差为1200公斤。
试估计每公顷产量在8520-9480公斤的概率是多少？（P(t=1)=0.6827, P(t=2)=0.9545, P(t=3)=0.9973）5、某厂有甲、乙两车间都生产同种电器产品，为调查该厂电器产品的电流强度情况，按产量等比例类型抽样方法抽取样本，资料如下：样本容量（个）平均电流强度（安培）电流强度标准差（安培）合格率（%）甲车间20 1.5 0.8 90乙车间40 1.6 0.6 95试推断：（1）在95.45%（t=2）的概率保证下推断该厂生产的全部该种电器产品的平均电流强度的可能范围（2）以同样条件推断其合格率的可能范围（3）比较两车间产品质量6、采用简单随机重复和不重复抽样的方法在2000件产品中抽查200件，其中合格品190件，要求：（1）计算样本合格品率及其抽样平均误差（2）以95.45%的概率保证程度对该批产品合格品率和合格品数量进行区间估计。
如何求解最大似然估计和矩估计的例题
研究6种氮肥施用法（K=6）对小麦的效应，每种施肥法种5盆小麦（n=5），完全随机设计，最后测定它们的含氮量（mg），其结果见表下表，试作方差分析。
表 6种施肥法小麦植株的含氮量(mg)---------------------------------------------------------1 2 3 4 5 6---------------------------------------------------------12.9 14.0 12.6 10.5 14.6 14.012.3 13.8 3.2 10.8 14.6 13.312.2 13.8 13.4 10.7 14.4 13.712.5 13.6 13.4 10.8 14.4 13.512.7 13.6 13.0 10.5 14.4 13.7---------------------------------------------------------采用ANOVA过程分析。
程序如下：1DATA new;2DO i=1 TO 5;3DO trt=1 TO 6;4INPUT y@@;5OUTPUT;6END;7END;8DROP i;9CARDS;1012.9 14.0 12.6 10.5 14.6 14.01112.3 13.8 13.2 10.8 14.6 13.31212.2 13.8 13.4 10.7 14.4 13.71312.5 13.6 13.4 10.8 14.4 13.51412.7 13.6 13.0 10.5 14.4 13.715PROC ANOVA;16CLASS trt;17MODEL y=trt;18MEANS trt/DUNCAN;19RUN;输出结果及说明Analysis of Variance Procedure 方差分析过程Class Level Information 处理水平信息Class Levels Values处理因素变量名水平数具体值TRT 6 1 2 3 4 5 6Number of observations in data set = 30 数据集中有30个观察值 Dependent Variable: Y 依变量名为ySum of MeanSource DF Squares Square F Value Pr > F变异来源自由度平方和均方 F值概率值PModel 5 44.46300000 8.89260000 164.17 0.0001Error 24 1.30000000 0.05416667Corrected Total 29 45.76300000R-Square C.V. Root MSE Y Mean所用模型的决定系数变异系数剩余标准差依变量均数0.971593 1.786165 0.232737 13.0300000Source DF Anova SS Mean Square F Value Pr > F变异来源自由度平方和均方 F值概率值PTRT 5 44.46300000 8.89260000 164.17 0.0001Analysis of Variance ProcedureDuncan's Multiple Range Test for variable: Y 用DUNCAN法测验 NOTE: This test controls the type I experimentwise error rate under the complete null hypothesis but not underpartial null hypotheses.Alpha= 0.05 df= 24 MSE= 0.054167α水平为0.05，自由度为24，MS误差为0.054167Number of Means 2 3 4 5 6Critical Range 0.3038 0.3191 0.3289 0.3358 0.3410两两比较时的界值，两平均数之差大于该界值时则两组有统计学差异Means with the same letter are not significantly different.标有相同字母的两平均数间无差异Duncan Grouping Mean N TRT测验结果各组均数例数组别A 14.4800 5 5B 13.7600 5 2B 13.6400 5 6C 13.1200 5 3D 12.5200 5 1E 10.6600 5 4在输出结果中，找CLASS语句指出的变量的Pr > F（概率）值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关于矩估计与极大似然估计的典型例题
例1，设总体X 具有分布律
⎟⎟⎠
⎞⎜⎜⎝⎛−−22)1()1(2321
~θθθθX 其中10<<θ为未知参数。
已经取得了样本值1,2,1321===x x x ，试求参数θ的矩估计与极大似然估计。
解：（i ）求矩估计量，列矩方程（只有一个未知参数）
X
X E =−=−×+−×+=θθθθθ23)1(3)1(22)(22得
6
5234
32x 32X 3=−
=−=−=矩θ（ii ii）求极大似然估计，写出似然函数，即样本出现的概率
）求极大似然估计，写出似然函数，即样本出现的概率)
,,()(332211x X x X x X P L ====θ)1,2,1(321====X X X P )1()2()1(321=×=×==X P X P X P )
1(2)1(2522θθθθθθ−=×−×=对数似然
)
1ln(ln 52ln )(ln θθθ−++=L 0115)(ln =−−=θ
θθθd L d 得极大似然估计为
6
5ˆ=
极θ
例2，某种电子元件的寿命某种电子元件的寿命（（以h 记）X 服从双参数指数分布服从双参数指数分布，，其概率密度为
⎪⎩
⎪⎨⎧≥−−=其他,0],/)(exp[1
)(µ
θµθ
x x x f 其中0>µθ，
均为未知参数，自一批这种零件中随机抽取n 件进行寿命试验，设它们的失效时间分别为.
,,2,1n x x x L （1）求µθ，
的最大似然估计量；（2）求µθ，
的矩估计量。
解：（1）似然函数，记样本的联合概率密度为
∏===n
i i n x f x x x f L 1
2,1)
();,,()(µθµθ，，L ⎪⎩
⎪⎨⎧≥−−=∏=其他,0,,,]/)(exp[1
2,11µθµθn n i i x x x x L ⎪⎩
⎪⎨⎧>≤−−=∑=)1()1(1,0),/)(exp(1
x
x n x n
i i n µµθµθ在求极大似然估计时在求极大似然估计时，
，0)(=µθ，L 肯定不是最大值的似然函数值，不考虑这部分，只考虑另一部分。
取另一部分的对数似然函数
)
1(1
,/)(ln ),(ln x n x n L n
i i ≤−−−=∑=µθµθµθ
⎪
⎪⎩
⎪⎪⎨
⎧
>=∂∂=−+−=∂∂∑=0),(ln 0),(ln 2
1
θµµθθµθθµθn
L n x n L n
i i 可知关于µθ，
的驻点不存在，但能判定单调性由
0),(ln >=∂∂θ
µµθn
L 知,
,/)(ln ),(ln )1(1
x n x n L n
i i ≤−−−=∑=µθµθµθ关于µ是增函数，故
)1(ˆx =极µ
将之代入到
0),(ln 2
1
=−+−=∂∂∑=θ
µ
θ
θµθn x
n
L n
i i
中得
)1(ˆx x −=极
θ则)1(ˆx =极µ，)1(ˆx x −=极θ一定能使得似然函数达到最大，故
µθ，的极大似然估计为
⎪⎩⎪⎨
⎧=−=)1()
1(ˆˆx x x 极极µ
θ
（2）列矩方程组（两个未知参数）
⎪⎪⎩
⎪⎪⎨⎧
=++=−−==+=−−=∫∑∫∞+=∞+µµθθµθµθθµθµθn i i
X n dx x x X E X dx x x X E 1222221)(]/)(exp[1)(]/)(exp[1)(解出
⎪⎪⎩
⎪
⎪⎨
⎧−−=−=∑∑==n i i n i i
X X n X X X n 12
12)(1ˆ)(1ˆ矩
矩µθ例3，设总体],0[~θU X ，其中0>θ为未知参数为未知参数，，n X X X ,,,21K 为来自总体X 的一组简单随机样本的一组简单随机样本，，n x x x ,,,21K 为样本观察值为样本观察值，
，求未知参数θ的极大似然估计。
解：似然函数，即样本的联合概率密度
⎪⎩⎪⎨⎧≤≤===∏−else
x x x x f x x x f L n n n
i i n ,0,,,0,1
)();,,,()(21121θ
θ
θθL L 0)(=θL 肯定不是最大值，考虑另一部分的最大值，
取对数似然
)
(,ln )(ln n x n L ≥−=θθθ0
)(ln <−=θ
θθn d L d
知θ
θln )(ln n L −=在)
(n x ≥θ内是单调递减的，故
θ
取)(n x 能使得似然函数达到最大，则θ的极大似然估计值为
)(ˆn x =极θ，极大似然估计量为)
(ˆn X =极θ。