概率论与数理统计(浙大版)第七章-参数估计(简)
合集下载
浙江大学概率论与数理统计第七八章复习
若
在很多情形， L关于 可微，要使L 取得最大值，
ˆ( x1 , x2 , , xn ) 为 的极大似然估计值， 则称 ˆ( X , X , , X ) 为 的极大似然估计量 称
1 2 n
ˆ) max L( x1 , x2 ,, xn ; ) L( x1 , x2 ,, xn ;
i 1 n
极大似然估计法：就是固定样本观察值 x1 , x2 , , xn ，在
ˆ， 取值的可能范围 内挑选使似然函数达到最大的参数
ˆ( x1 , x2 , , xn ) 为 的极大似然估计 作为 的估计值，若 ˆ( X 1 , X 2 , , X n ) 值，则 为 的极大似然估计量
S t 2 ( n 1) X n
(3)方差
2
的置信区间 (只介绍 未知的情况)
( n 1) S 2
取
2
~ 2 ( n 1)
方差 2 的一个置信度为1- 的置信区间:
2 ( n 1) S 2 ( n 1 ) S , 2 ( n 1) 2 ( n 1) 1 2 2
点估计常用方法:
矩估计法
用样本(原点)矩作为总体(原点)矩的估计量的方法称为 矩估计法．
矩估计法的具体做法是：令
A (l 1,2,, k )
l l
, ,, 的联立方程组。 ˆ1 , ˆ2 , , ˆk ，由于 Al 解此方程组，得到一组解 ˆl (l 1,2, , k ) 也是随机变量，则将 是随机变量，故解 ˆ1 , ˆ2 , , ˆk 分别作为 , ,, 的矩估计量．
定义3
ˆ 有效． 2 ˆ 是未知参数 设
概率论与数理统计完整课件第七章参数估计PPT课件
n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)
概率论与数理统计--第七章 参数估计(7.5和7.7)_OK
这个误差的可信度为95%.
2021/8/23
9
例3 (续例1)如果只假设糖包的重量服从正态分布
N(, 2), 试求糖包重量 的 95%的置信区间. 解 此时未知, n 12,
0.05, x 502.92, s 12.35,
附表3-2
查 t(n 1) 分布表可知: t0.025(11) 2.201,
2021/8/23
26
F / 2(n1 1, n2 1) F0.05(17, 12) 2.59,
F1
/ 2(17,
12)
F0.95(17,
12)
1 F0.05 (12,
17)
1, 2.38
于是得
2 1
2 2
的一个置信度为
0.90
的置信区间
0.34 0.29
1 2.59
,
0.34 0.29
514 505 493 496 506 502 509 496
设袋装糖果的重量服从正态分布, 试求总体均值
的置信度为0.95的置信区间.
解 0.05, n 1 15,
附表3-1
查 t(n 1) 分布表可知: t0.025(15) 2.1315,
计算得 x 503.75, s 6.2022,
解 10, n 12,
计算得 x 502.92,
(1) 当 0.10时, 1 0.95,
2 查表得 z / 2 z0.05 1.645,
附表2-1
2021/8/23
3
x
n
z
/
2
502.92
10 1.645 498.17, 12
x
n
z
/2
502.92
2021/8/23
9
例3 (续例1)如果只假设糖包的重量服从正态分布
N(, 2), 试求糖包重量 的 95%的置信区间. 解 此时未知, n 12,
0.05, x 502.92, s 12.35,
附表3-2
查 t(n 1) 分布表可知: t0.025(11) 2.201,
2021/8/23
26
F / 2(n1 1, n2 1) F0.05(17, 12) 2.59,
F1
/ 2(17,
12)
F0.95(17,
12)
1 F0.05 (12,
17)
1, 2.38
于是得
2 1
2 2
的一个置信度为
0.90
的置信区间
0.34 0.29
1 2.59
,
0.34 0.29
514 505 493 496 506 502 509 496
设袋装糖果的重量服从正态分布, 试求总体均值
的置信度为0.95的置信区间.
解 0.05, n 1 15,
附表3-1
查 t(n 1) 分布表可知: t0.025(15) 2.1315,
计算得 x 503.75, s 6.2022,
解 10, n 12,
计算得 x 502.92,
(1) 当 0.10时, 1 0.95,
2 查表得 z / 2 z0.05 1.645,
附表2-1
2021/8/23
3
x
n
z
/
2
502.92
10 1.645 498.17, 12
x
n
z
/2
502.92
概率论与数理统计 第七章 参数估计
例2：假设某地区18~25岁女青年身高X ~ N(, 2) 现抽取30名，样本均值为158cm,样本方差为 (5cm)2，求σ2的置信水平为95%的区间估计。
设X1,…Xn是取自 N (, 2 )的样本，
求参数 2 的置信度为 1的置信区间.
确定分位数 12 / 2 (n 1), 2 / 2 (n 1) 使
二、有效性
设 ˆ1 ˆ1(X1,, X n )和 ˆ2 ˆ2( X1,, Xn)
都是参数 的无偏估计量，若有
D(ˆ1) D(ˆ2 ) 则称 ˆ1 较 ˆ2 有效 .
如果对固定的n, D(ˆ1) min(D(ˆ)) 则称ˆ1是ˆ的有效估计。
例1：设X1,X2, X3是来自某总体X的样本，且 E(X)=μ,讨论μ的以下估计量的无偏性和一致性。
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 .
极大似然估计
例： 设一箱中装有若干个白色和黑色的球， 已知两种球的数目之比为3:1或1:3，现有放回 地任取3个球，有两个白球，问：白球所占的 比例p是多少？
如果只知道0<p<1,并且实 测记录是X=k (0 ≤ k≤ n),又 应如何估计p呢?
(4) 结论
区间(ˆ1,ˆ2 )就是的一个 置信度为1的置信区间.
方差未知，求期望的区间估计
例2：随机地从一批服从正态分布N(μ, σ2)的零件 16个，分别测得其长度为： 2.14 2.10 2.13 2.15 2.13 2.12 2.13 2.10 2.15 2.12 2.14 2.10 2.13 2.11 2.14 2.11 估计该批零件的平均长度μ，并求μ的置信区间 (α=0.05)
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
设X1,…Xn是取自 N (, 2 )的样本，
求参数 2 的置信度为 1的置信区间.
确定分位数 12 / 2 (n 1), 2 / 2 (n 1) 使
二、有效性
设 ˆ1 ˆ1(X1,, X n )和 ˆ2 ˆ2( X1,, Xn)
都是参数 的无偏估计量，若有
D(ˆ1) D(ˆ2 ) 则称 ˆ1 较 ˆ2 有效 .
如果对固定的n, D(ˆ1) min(D(ˆ)) 则称ˆ1是ˆ的有效估计。
例1：设X1,X2, X3是来自某总体X的样本，且 E(X)=μ,讨论μ的以下估计量的无偏性和一致性。
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 .
极大似然估计
例： 设一箱中装有若干个白色和黑色的球， 已知两种球的数目之比为3:1或1:3，现有放回 地任取3个球，有两个白球，问：白球所占的 比例p是多少？
如果只知道0<p<1,并且实 测记录是X=k (0 ≤ k≤ n),又 应如何估计p呢?
(4) 结论
区间(ˆ1,ˆ2 )就是的一个 置信度为1的置信区间.
方差未知，求期望的区间估计
例2：随机地从一批服从正态分布N(μ, σ2)的零件 16个，分别测得其长度为： 2.14 2.10 2.13 2.15 2.13 2.12 2.13 2.10 2.15 2.12 2.14 2.10 2.13 2.11 2.14 2.11 估计该批零件的平均长度μ，并求μ的置信区间 (α=0.05)
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
概率论与数理统计课件最新版-第7章-参数估计
(1 n
n i 1
Xi )2
1 n
n i 1
(Xi
X )2
结论： 不论总体服从什么分布，总体均值 与方差的矩估计量的表达式是相同的
概率统计
(2). Q X ~ N ( , 2 )
X 1 (1502 1453 1367 1650) 1493
4
1
n
n i 1
(Xi
X )2
1 [(1502 1493)2 4
定义直接寻求能使 L( ) 达到最大值的解作为
极大似然估计量。 ▲ 极大似然估计法适用于多个未知参数的情形。
概率统计
例3. 设 X ~ N (, 2 ), , 2 为未知参数，
x1 , x2 L xn 是 X 的一个样本值.
求: , 2 的极大似然估计量.
解: Q X 的密度函数为：f ( x ; , 2 )
是相应于样本 X1, X 2 , X n 的一组样本值。
n
作似然函数：L f ( x k ,1,2 ,L l ) 或 k 1
概率统计
n
或 L P( x k ,1,2 ,L l ) k 1
使得似然函数 L 达到极大值的 ˆ1,ˆ2,L ˆl
称为参数 1,2 ,L l 的极大似然估计值，记为： ˆi ( x1, x2 ,L xn ) (它与样本值有关)，记统计量：
(1453 1493)2
(1367 1493)2 (1650 1493)2 ]
10551
某种灯泡寿命的均值与方差的 矩估计值分布为:
ˆ 1493, ˆ 2 10551
概率统计
例 2. 设 X1, X2, … Xn 是取自总体 X 的一个样本，
其概率密度为：
浙大版数理统计第七章
例 某种木材横纹抗压力的实验值 服从正态分布，对10个试件作横纹 抗压力试验，得数据如下（单位： 公斤/ 平方厘米）： 482，493，457，471，510， 446，435，418，394，469 试例对P7该4例木1材平均横纹抗压力
进行区间估计（ 0.05）.
解 2未知，用区间
( X t /2 (n 1)
其中 1，试分别用矩估计法
0 其他
f
(
x)
(
1)x
,0
(
x 1
0)
例 设总体X的概率密度为
得的矩估计量为ˆ
1 2X
X。 1
令E( X
)
A1,即
2 1
X
,
0 1
(1
)
x
dx
1
2 1
，
E( X ) xf (x; )dx
解
d 1 i1 ln xi ,令 d 0
d ln L n
2
2
2
2
n i1
n
1 E(X ) 1 n E(X )
n
n i1
n i1
(2)E( X ) E( 1 X i ) 1 E( X i )
n
n
解 (1)E( X i ) E( X ) .
设
1( X1, X2 ,..., Xn ),2 ( X1, X2 ,..., Xn )
均为参数的无偏估计，如 果对于任意 ，有
2
2
(2) X是的无偏估计( )；
(1) X i是的无偏√估√ 计(对 )；
判断：
对
X的样本，E( X ) , D(否X ) 2
例 设X 1, X 2 ,...,X n是来否自总体
概率论与数理统计第七章
信息管理学院 徐晔
13
二、最大似然估计法
是在总体类型已知条件下使用的一种参数估计方法 . 它首先是由德国数学家高斯在 1821年提出的 ,
然而，这个方法常归功于英国 统计学家费歇 . 费歇在1922年重新发现了这一 方法，并首先研究了这种方法 的一些性质 .
Gauss
Fisher
信息管理学院 徐晔
选择适当的 i , i 1,2,, m
使得样本 ( X 1, X 2 ,, X n ) 作为一个随机变量，得 到观察值 ( x1, x2 ,, xn ) 的可能性最大。
信息管理学院 徐晔
17
当总体 X 为离散型随机变量时，样本 ( X 1 , X 2 ,, X n ) 是一个 n 维离散型随机变量，所谓得到样本观察值 ( x1 , x2 ,, xn ) 实际上就是联合概率事件
14
最大似然估计法的基本思想
先看一个简单例子：
某位同学与一位猎人一起外出打猎 .
一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
信息管理学院 徐晔
15
你就会想，只发一枪便打中,猎人命中的概率 一般大于这位同学命中的概率. 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了最大似然估计 法的基本思想 .
信息管理学院 徐晔
18
n
当总体 X 为连续型随机变量时，样本 ( X 1 , X 2 ,, X n ) 是一个 n 维连续型随机变量，所谓得到样本观察值 ( x1 , x2 ,, xn ) 实际上就是值对于一个极小的 ，联合 概率事件
A ( x1 X 1 x1 , x2 X 2 x2 ,, xn X n xn )
13
二、最大似然估计法
是在总体类型已知条件下使用的一种参数估计方法 . 它首先是由德国数学家高斯在 1821年提出的 ,
然而，这个方法常归功于英国 统计学家费歇 . 费歇在1922年重新发现了这一 方法，并首先研究了这种方法 的一些性质 .
Gauss
Fisher
信息管理学院 徐晔
选择适当的 i , i 1,2,, m
使得样本 ( X 1, X 2 ,, X n ) 作为一个随机变量，得 到观察值 ( x1, x2 ,, xn ) 的可能性最大。
信息管理学院 徐晔
17
当总体 X 为离散型随机变量时，样本 ( X 1 , X 2 ,, X n ) 是一个 n 维离散型随机变量，所谓得到样本观察值 ( x1 , x2 ,, xn ) 实际上就是联合概率事件
14
最大似然估计法的基本思想
先看一个简单例子：
某位同学与一位猎人一起外出打猎 .
一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
信息管理学院 徐晔
15
你就会想，只发一枪便打中,猎人命中的概率 一般大于这位同学命中的概率. 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了最大似然估计 法的基本思想 .
信息管理学院 徐晔
18
n
当总体 X 为连续型随机变量时，样本 ( X 1 , X 2 ,, X n ) 是一个 n 维连续型随机变量，所谓得到样本观察值 ( x1 , x2 ,, xn ) 实际上就是值对于一个极小的 ，联合 概率事件
A ( x1 X 1 x1 , x2 X 2 x2 ,, xn X n xn )
浙江大学概率论与数理统计第七章
第一节
点估计
一、点估计问题的提法
二、估计量的求法 三、小结
一、点估计问题的提法
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题. 例1
在某炸药制造厂, 一天中发生着火现象的
次数 X 是一个随机变量 , 假设它服从以 0 为参 数的泊松分布, 参数 为未知, 设有以下的样本值 , 试估计参数 .
n
(二) 取对数
n i 1
ln L( ) ln p( xi ; ) 或 ln L( ) ln f ( xi ; );
i 1
n
d ln L( ) d ln L( ) 对数似 (三) 对 求导 , 并令 0,然方程 d d ˆ. 解方程即得未知参数 的最大似然估计值
a b 2 A1 , 即 2 b a 12( A2 A1 ) .
解方程组得到a, b的矩估计量分别为
3 n 2 ( X X ) , ˆ A1 3( A2 A1 ) X a i n i 1
2
n 3 2 2 ˆ X ( X X ) . b A1 3( A2 A1 ) i n i 1
i 1 n
L( ) L( x1 , x2 ,, xn ; ) f ( xi ; ),
n
L( )称为样本的似然函数 . ˆ ) max L( x1 , x2 , , xn ; ). 若 L( x1 , x2 , , xn ;
i 1
ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
点估计
一、点估计问题的提法
二、估计量的求法 三、小结
一、点估计问题的提法
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题. 例1
在某炸药制造厂, 一天中发生着火现象的
次数 X 是一个随机变量 , 假设它服从以 0 为参 数的泊松分布, 参数 为未知, 设有以下的样本值 , 试估计参数 .
n
(二) 取对数
n i 1
ln L( ) ln p( xi ; ) 或 ln L( ) ln f ( xi ; );
i 1
n
d ln L( ) d ln L( ) 对数似 (三) 对 求导 , 并令 0,然方程 d d ˆ. 解方程即得未知参数 的最大似然估计值
a b 2 A1 , 即 2 b a 12( A2 A1 ) .
解方程组得到a, b的矩估计量分别为
3 n 2 ( X X ) , ˆ A1 3( A2 A1 ) X a i n i 1
2
n 3 2 2 ˆ X ( X X ) . b A1 3( A2 A1 ) i n i 1
i 1 n
L( ) L( x1 , x2 ,, xn ; ) f ( xi ; ),
n
L( )称为样本的似然函数 . ˆ ) max L( x1 , x2 , , xn ; ). 若 L( x1 , x2 , , xn ;
i 1
ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
英国统计学家费歇 .
Gauss
费歇在1922年重新发现了这一方法，
并首先研究了这种方法的一些性质 .
Fisher
极大似然原理：一个随机试验有若干个可能结
果A,B,C,…。若在一次试验中，结果A发生，
则一般认为试验条件对A最有利，即A发生的
概率 P( A / )最大
条件
如, 甲199
红 黑,
乙199
估计的未知参数，假定总体X的k阶原点矩E X k 存在，
则有：E X v v 1,2, ,k v 1, 2, , k, 对于样本X X1, X 2,
其v阶样本矩是：Av
1 n
n i 1
X
v i
v 1, 2,
,k
1 1,2, ,k A1
用样本矩作为总体矩的估计，即令： 2 1,2, ,k A2
于是，样本 ( X1, X2 ,, Xn ) 落入点( x1, x2 ,, xn )
n
邻域内的概率为 f ( xi , )xi ，由极大似然原
理，最合理的
i1
的估计值
ˆ
应该是使
n
f ( xi , )xi 达到最大，由于xi是不依赖于
i1
的增量，所以我们只需求使
n
似然函数 L( ) f ( xi , ) 达到最大 i 1
i1
ln[L( )] n项相加，求导简单 对数似然函数
从而，
求的 L( ) 最大值点就转为求ln[L( )]的最大值点
方法二：
解方程
d
ln[L(
)]
0,
得 到ˆ
d
（2）连续型总体似然函数的求法
设X为连续型总体，其概率密度为：
f ( x; ) 其中 未知
对来自总体的样本 ( X1, X2 ,, Xn ) ， 其观测值
P( A) P( X1 x1, X2 x2 ,, Xn xn )
独立
P( X1 x1 )P( X2 x2 )P( Xn xn )
Xi与X 同分布
P( X x1 )P( X x2 )P( X xn )
p( x1, ) p( x2, ) p( xn, )
n
p( xi , )
i1
n
对给定的样本值( x1 , x2 ,..., xn ), p( xi , )
i1
是参数 的函数，称为似然函数，记做 L( ).
n
即 L( ) p( xi; ) i 1
结构：n 项连乘，总体分布 p(x, ) 改 p( xi , )
i 1,2,, n
P( A) L( ), 随变而变, A已经发生，由极大
再求样本矩：
A1
1 n
n i 1
Xi
X,
A2
1 n
n i 1
X
2 i
令
12
An
n i 1
(Xi
X )2
二、 极大似然估计法 极大似然估计法是在总体的分布类型已知的
条件下所使用的一种参数估计方法. 它首先是由德国数学家
高斯在1821年提出的 . 然而，这个方法常归功于
似然原理， L( ) 达到最大，所以 的最合理 估计值ˆ 应满足：L(ˆ)为最大值
定义 对给定的样本值 x1, x2 ,, xn ，若
ˆ( x1, x2,, xn)满足
L(ˆ) max L( )
称 : ˆ( x1, x2,, xn )为的极大似然估计值 ˆ( X1, X2,, Xn )为的极大似然估计量
k 1,2, ,k Ak
解此方程即得1,2, ,k 的一个矩估计量 1, 2, ,ˆk
, Xn,
例1：设总体X的均值和方差 2都存在，且 2 0，, 2均未知，
X1, X 2, , X n 是取自X的一个样本，试求, 2的矩估计。
解：先求总体矩：
1 E X , 2 E X 2 D X E2 X 2 2
为 ( x1, x2 ,, xn ) ，作为与总体X同分布且相互
独立的n维随机变量，样本的联合概率密度为:
f ( x1, x2 ,, xn ) f X1 ( x1 ) f X2 ( x2 ) f Xn ( xn )
n
f ( x1, ) f ( x2, ) f ( xn , ) f ( xi , ) i 1
求ˆ 的步骤：
(1) 写出L( ) (2) 取对数ln L( ) (3) 解方程 d ln[L( )] 0, 得到ˆ
2 但参数, 2的值未知，要求估计, 2，有时还希望以一定的可靠性来 估计值是在某个范围内或者不低于某个数。
参数估计问题就是要求通过样本估计总体分布所包含的未知参数的值。
参数估计的两种方法：点估计法和区间估计法
§1 参数的点估计
点估计的问题就是根据样本 X1, X 2, , X n ， 对每一个未知参数i i 1, 2, , k ，构造出一 个统计量ˆi i X1, X 2 , , X n ，作为参数i的估计，
如何求 ˆ ？即求 L( ) 的最大值点问题
方法一: 若 L( )为可导函数
解方程 dL( ) 0, d
得到ˆ ˆ( X1, X2 ,, Xn )
回忆：
(1) f ( x) 0, ln[ f ( x)]单调性相同，从而最大值 点相同.
n
(2) L( ) p( xi; ) n项连乘, 求导麻烦
红 黑
,
任 取1箱 从 中 任 取1球,
已知取到红球, 问最有可能从何箱取?
P(红球/甲) 0.99 P(红球/乙) 0.01
自然，认为从甲箱取更合理
又如，兔龟赛跑，得第一名的最有可能是谁？
极大似然估计法：
（1）X---离散型，已知 X的分布
P( X x) p( x, ), 未知
样本 ( X1, X2,, Xn ) 取到观测值( x1, x2,, xn ) 事件A
第七章 参数估计
﹜点估计 关键词： 矩估计法 极大似然估计法 ﹜区间估计 置信区间 置信度
问题的提出：
参数估计是统计推断的基本问题之一，实际工作中碰到的总体X , 它的分布类型往往是知道的，只是不知道其中的某些参数， 例如：产品的质量指标X 服从正态分布，其概率密度为：
x 2
f x; , 2 1 e 2 2 x
称为 的估计量。
i
点估计有两种方法：矩估计法和极大似然估计法
一. 矩估计法
矩思想: 利用样本矩作为相应总体矩的估计量
1 n
n i 1
X
k i
估计
E X k (n )
矩估计法: 总体X ~ f ( x;1,,k ), 1,,k未知,
一 矩估计法：
设总体X的分布函数为F x;1,2, ,k , 1,2, ,k 是待
Gauss
费歇在1922年重新发现了这一方法，
并首先研究了这种方法的一些性质 .
Fisher
极大似然原理：一个随机试验有若干个可能结
果A,B,C,…。若在一次试验中，结果A发生，
则一般认为试验条件对A最有利，即A发生的
概率 P( A / )最大
条件
如, 甲199
红 黑,
乙199
估计的未知参数，假定总体X的k阶原点矩E X k 存在，
则有：E X v v 1,2, ,k v 1, 2, , k, 对于样本X X1, X 2,
其v阶样本矩是：Av
1 n
n i 1
X
v i
v 1, 2,
,k
1 1,2, ,k A1
用样本矩作为总体矩的估计，即令： 2 1,2, ,k A2
于是，样本 ( X1, X2 ,, Xn ) 落入点( x1, x2 ,, xn )
n
邻域内的概率为 f ( xi , )xi ，由极大似然原
理，最合理的
i1
的估计值
ˆ
应该是使
n
f ( xi , )xi 达到最大，由于xi是不依赖于
i1
的增量，所以我们只需求使
n
似然函数 L( ) f ( xi , ) 达到最大 i 1
i1
ln[L( )] n项相加，求导简单 对数似然函数
从而，
求的 L( ) 最大值点就转为求ln[L( )]的最大值点
方法二：
解方程
d
ln[L(
)]
0,
得 到ˆ
d
（2）连续型总体似然函数的求法
设X为连续型总体，其概率密度为：
f ( x; ) 其中 未知
对来自总体的样本 ( X1, X2 ,, Xn ) ， 其观测值
P( A) P( X1 x1, X2 x2 ,, Xn xn )
独立
P( X1 x1 )P( X2 x2 )P( Xn xn )
Xi与X 同分布
P( X x1 )P( X x2 )P( X xn )
p( x1, ) p( x2, ) p( xn, )
n
p( xi , )
i1
n
对给定的样本值( x1 , x2 ,..., xn ), p( xi , )
i1
是参数 的函数，称为似然函数，记做 L( ).
n
即 L( ) p( xi; ) i 1
结构：n 项连乘，总体分布 p(x, ) 改 p( xi , )
i 1,2,, n
P( A) L( ), 随变而变, A已经发生，由极大
再求样本矩：
A1
1 n
n i 1
Xi
X,
A2
1 n
n i 1
X
2 i
令
12
An
n i 1
(Xi
X )2
二、 极大似然估计法 极大似然估计法是在总体的分布类型已知的
条件下所使用的一种参数估计方法. 它首先是由德国数学家
高斯在1821年提出的 . 然而，这个方法常归功于
似然原理， L( ) 达到最大，所以 的最合理 估计值ˆ 应满足：L(ˆ)为最大值
定义 对给定的样本值 x1, x2 ,, xn ，若
ˆ( x1, x2,, xn)满足
L(ˆ) max L( )
称 : ˆ( x1, x2,, xn )为的极大似然估计值 ˆ( X1, X2,, Xn )为的极大似然估计量
k 1,2, ,k Ak
解此方程即得1,2, ,k 的一个矩估计量 1, 2, ,ˆk
, Xn,
例1：设总体X的均值和方差 2都存在，且 2 0，, 2均未知，
X1, X 2, , X n 是取自X的一个样本，试求, 2的矩估计。
解：先求总体矩：
1 E X , 2 E X 2 D X E2 X 2 2
为 ( x1, x2 ,, xn ) ，作为与总体X同分布且相互
独立的n维随机变量，样本的联合概率密度为:
f ( x1, x2 ,, xn ) f X1 ( x1 ) f X2 ( x2 ) f Xn ( xn )
n
f ( x1, ) f ( x2, ) f ( xn , ) f ( xi , ) i 1
求ˆ 的步骤：
(1) 写出L( ) (2) 取对数ln L( ) (3) 解方程 d ln[L( )] 0, 得到ˆ
2 但参数, 2的值未知，要求估计, 2，有时还希望以一定的可靠性来 估计值是在某个范围内或者不低于某个数。
参数估计问题就是要求通过样本估计总体分布所包含的未知参数的值。
参数估计的两种方法：点估计法和区间估计法
§1 参数的点估计
点估计的问题就是根据样本 X1, X 2, , X n ， 对每一个未知参数i i 1, 2, , k ，构造出一 个统计量ˆi i X1, X 2 , , X n ，作为参数i的估计，
如何求 ˆ ？即求 L( ) 的最大值点问题
方法一: 若 L( )为可导函数
解方程 dL( ) 0, d
得到ˆ ˆ( X1, X2 ,, Xn )
回忆：
(1) f ( x) 0, ln[ f ( x)]单调性相同，从而最大值 点相同.
n
(2) L( ) p( xi; ) n项连乘, 求导麻烦
红 黑
,
任 取1箱 从 中 任 取1球,
已知取到红球, 问最有可能从何箱取?
P(红球/甲) 0.99 P(红球/乙) 0.01
自然，认为从甲箱取更合理
又如，兔龟赛跑，得第一名的最有可能是谁？
极大似然估计法：
（1）X---离散型，已知 X的分布
P( X x) p( x, ), 未知
样本 ( X1, X2,, Xn ) 取到观测值( x1, x2,, xn ) 事件A
第七章 参数估计
﹜点估计 关键词： 矩估计法 极大似然估计法 ﹜区间估计 置信区间 置信度
问题的提出：
参数估计是统计推断的基本问题之一，实际工作中碰到的总体X , 它的分布类型往往是知道的，只是不知道其中的某些参数， 例如：产品的质量指标X 服从正态分布，其概率密度为：
x 2
f x; , 2 1 e 2 2 x
称为 的估计量。
i
点估计有两种方法：矩估计法和极大似然估计法
一. 矩估计法
矩思想: 利用样本矩作为相应总体矩的估计量
1 n
n i 1
X
k i
估计
E X k (n )
矩估计法: 总体X ~ f ( x;1,,k ), 1,,k未知,
一 矩估计法：
设总体X的分布函数为F x;1,2, ,k , 1,2, ,k 是待