概率论第五章
合集下载
概率第五章_大数定律与中心极限定理090505
加法法则
P ( − Eξ ε ) = ξ ≥
P(ξ ≥ Eξ + ε ) + P (ξ ≤ Eξ − ε )
k
=
≤
k : xk ≥ E +
∑ξ ε p
k
+
k : xk ≤ E −
∑ξ ε p
pk +
k :xk ≥ E +
∑ξ ε
( x − Eξ ) 2
ε
2
k :xk ≤ E −
∑ξ ε
( x − Eξ ) 2
， 方差 Dξ n ( n = 1, 2,L)，且 Dξi < l (i = 1, 2,L) 其中 l 与 i 无关的
1 Eξ = (1 + 2 + 3 + L + 6) 6
35 7 故 Eξ = Dξ = 12 2
4 2 = P (ξ = 5) + P(ξ = 6) + P (ξ = 1) + P (ξ = 2) = = 6 3 7 1 P( − 2 ) = P(ξ ≥ 5.5) + P(ξ ≤ 1.5) = P (ξ = 6) + P (ξ = 1) = ξ ≥
即
lim P ( − p < ε ) = 1 n →∞ n
ξ
此定理表明：当试验在不变的条件下重复进行很多次时， 随机事件的频率 频率在它的概率 概率附近摆动。 频率 概率 由贝努里大数定律可知，若事件A的概率很小很小时，则 它的频率也很小很小，即事件A很少发生或几乎不发生， 这种事件叫小概率事件。反之，若随机事件的概率很接近1， 则可认为在个别试验中这事件几乎一定发生。 同分布的两个或多个随机变量: 同分布的两个或多个随机变量 离散型: 它们的概率分布律相同. 离散型 它们的概率分布律相同 连续型: 它们的概率密度函数相同. 连续型 它们的概率密度函数相同 所以它们的期望与方差一定相同. 所以它们的期望与方差一定相同
P ( − Eξ ε ) = ξ ≥
P(ξ ≥ Eξ + ε ) + P (ξ ≤ Eξ − ε )
k
=
≤
k : xk ≥ E +
∑ξ ε p
k
+
k : xk ≤ E −
∑ξ ε p
pk +
k :xk ≥ E +
∑ξ ε
( x − Eξ ) 2
ε
2
k :xk ≤ E −
∑ξ ε
( x − Eξ ) 2
， 方差 Dξ n ( n = 1, 2,L)，且 Dξi < l (i = 1, 2,L) 其中 l 与 i 无关的
1 Eξ = (1 + 2 + 3 + L + 6) 6
35 7 故 Eξ = Dξ = 12 2
4 2 = P (ξ = 5) + P(ξ = 6) + P (ξ = 1) + P (ξ = 2) = = 6 3 7 1 P( − 2 ) = P(ξ ≥ 5.5) + P(ξ ≤ 1.5) = P (ξ = 6) + P (ξ = 1) = ξ ≥
即
lim P ( − p < ε ) = 1 n →∞ n
ξ
此定理表明：当试验在不变的条件下重复进行很多次时， 随机事件的频率 频率在它的概率 概率附近摆动。 频率 概率 由贝努里大数定律可知，若事件A的概率很小很小时，则 它的频率也很小很小，即事件A很少发生或几乎不发生， 这种事件叫小概率事件。反之，若随机事件的概率很接近1， 则可认为在个别试验中这事件几乎一定发生。 同分布的两个或多个随机变量: 同分布的两个或多个随机变量 离散型: 它们的概率分布律相同. 离散型 它们的概率分布律相同 连续型: 它们的概率密度函数相同. 连续型 它们的概率密度函数相同 所以它们的期望与方差一定相同. 所以它们的期望与方差一定相同
概率论第五章
1 2 n
因此可用算术平均值作为μ的估计 辛钦大数定律是Bernoulli大数定律推广
§5.2
在概率论中，习惯于把和的分布 收敛于正态分布这一类定理都叫做中心 极限定理.
下面给出的独立同分布随机变量序列 的中心极限定理，也称列维一林德伯格 （Levy－Lindberg）定理.
定理3（独立同分布下的中心极限定理） 设X1,X2, …是独立同分布的随机 变量序列，且E(Xi)= ，D(Xi)= 2 ， i=1,2,…，则
设nA是n次独立重复试验中事件 A发生的 次数，p是事件A在每次试验 中发生的概率，则对任给的ε> 0,有
贝努利
nA lim P{| p | } 1 n n
贝努利大数定律表明：当重复试验次数 n充分大时，事件A发生的频率nA/n几乎等于 事件A的概率p。因此可用事件发生的频率 作为相应概率的估计。
ε> 0，
或
Sn lim P{| p | } 1 n n Sn lim P{| p | } 0 n n
作为切比雪夫大数定律的特殊情况， 有下面的定理. 定理一（独立同分布下的大数定律）
设X1,X2, …是独立同分布的随机变量
序列，且E(Xi)= ，D(Xi)= 2 ， i=1,2,…, 则对任给 >0,
由题给条件知，诸Xi独立，
E(Xi)=100, D(Xi)=10000 16只元件的寿命的总和为 Y X k
k 1 16
依题意，所求为P(Y>1920)
解: 设第i只元件的寿命为Xi , i=1,2, …,16 由题给条件知,诸Xi独立, E(Xi)=100,D(Xi)=10000
16只元件的寿命的总和为 Y X k
因此可用算术平均值作为μ的估计 辛钦大数定律是Bernoulli大数定律推广
§5.2
在概率论中，习惯于把和的分布 收敛于正态分布这一类定理都叫做中心 极限定理.
下面给出的独立同分布随机变量序列 的中心极限定理，也称列维一林德伯格 （Levy－Lindberg）定理.
定理3（独立同分布下的中心极限定理） 设X1,X2, …是独立同分布的随机 变量序列，且E(Xi)= ，D(Xi)= 2 ， i=1,2,…，则
设nA是n次独立重复试验中事件 A发生的 次数，p是事件A在每次试验 中发生的概率，则对任给的ε> 0,有
贝努利
nA lim P{| p | } 1 n n
贝努利大数定律表明：当重复试验次数 n充分大时，事件A发生的频率nA/n几乎等于 事件A的概率p。因此可用事件发生的频率 作为相应概率的估计。
ε> 0，
或
Sn lim P{| p | } 1 n n Sn lim P{| p | } 0 n n
作为切比雪夫大数定律的特殊情况， 有下面的定理. 定理一（独立同分布下的大数定律）
设X1,X2, …是独立同分布的随机变量
序列，且E(Xi)= ，D(Xi)= 2 ， i=1,2,…, 则对任给 >0,
由题给条件知，诸Xi独立，
E(Xi)=100, D(Xi)=10000 16只元件的寿命的总和为 Y X k
k 1 16
依题意，所求为P(Y>1920)
解: 设第i只元件的寿命为Xi , i=1,2, …,16 由题给条件知,诸Xi独立, E(Xi)=100,D(Xi)=10000
16只元件的寿命的总和为 Y X k
概率论 第五章汇总
1
t2
e 2 dt ( x).
n np(1 p) 2
证 由§4.2例知, n可以看成n个相互独立的服从同一(0-1)分
布的随机变量X1,...,Xn之和，即 近n 似X1 X2 Xn
np n
N (0,1) E(X i ) p, D(Xi ) p(1 p),
i 1,2,, n
➢ 伯努利大数定律是辛钦定理的特殊情况.
§5.2 中心极限定理
在客观实际中有许多随机变量,它们是由 大量的相互独立的随机因素的综合影响所 形成的,而其中每一个别因素在总的影响中 起到的作用都是微小的.这种随机变量往往 近似的服从正态分布.这种现象就是中心极 限定理的客观背景.
本节只介绍三个常用的中心极限定理.
lim
~ ~ n
Fn
(
X
xY) nnlim
P
nn
N i i11
XXi
i近n似 nx近
nnn
似 0x,N121(0e,1)t22
dt
( x). (证明略)
定理表明,当n充分大时,Yn近似服从标准正态分布.
例1 一盒同型号螺丝钉共100个，已知该型号的螺丝钉的重量是
一个随机变量，期望值是100g，标准差是10g ，求一盒螺丝钉 的重量超过10.2kg的概率.
第五章 大数定律及中心极限定理
§5.1 大数定律 §5.2 中心极限定理
第五章 大数定律及中心极限定理
概率论与数理统计是研究随机现象统计 规律性的学科. 随机现象的规律性只有在相 同的条件下进行大量重复试验时才会呈现出 来. 也就是说，要从随机现象中去寻求必然 的法则，应该研究大量随机现象.
研究大量的随机现象，常常采用极限 形式，由此导致对极限定理进行研究. 极 限定理的内容很广泛，其中最重要的有两 种:
概率论课件第五章资料
vn n
np 1
n2
p
p 1
n
p
由切比雪夫不等式，对任意正数ε，有
0
P
vn n
p
p 1 p
n 2
n 0
lim
P
n
vn n
p
0
历史上，伯努利是第一个研究弱大数定理的， 他在1713年发表的论文中，提出了上述定理， 那是概率论的第一篇论文。
依概率收敛
设有随机变量序列X1, X2,…, Xn和随机变量
可以证明，若 Xn a.s Y 则 Xn P Y
强大数定律讨论的就是以概率1收敛.
二、强大数定律 定义
设有独立随机变量序列X1, X2,…, Xn，如
n
Xi EXi
P lim i=1
=0 1
n
n
则称{Xn}满足强大数定律。
柯尔莫哥洛夫不等式 （引理5.1.2）
设X1, X2,…, Xn为独立随机变量序列，具有 有限的数学期望和方差，则对任意 >0 ，有
n i 1
X
i
1 n2
n
Var Xi
i 1
2 n
P{Yn
EYn
}
Var Yn
2
2
n 2
0
(n )
得证。
辛钦大数定律 设X1，X2，…，Xn，…是独
立同分布的随机变量序列，且有有限的期望μ， 则对任意ε>0，有
lim
n
P
X1
X2 n
Xn
0
显然
E
X1
X2
n
Xn
n
证
令Var Xi 2,
n i 1
EX i
概率论第五章
i =1
n
i =1
常用的统计量
样本均值、样本方差和样本矩。 样本均值、样本方差和样本矩。
⋯ 定义 5.2 设 X 1，X 2， ，X n 是来自总体 X 长度为 n
的一个样本，则称 的一个样本， 1 n Sample mean X = ∑ Xi （5-3） n i =1 1 n 2 S = ( X i − X )2 （5-4） ∑ n − 1 i =1 Sample variance n 1 k m k = ∑ X i ( k = 1， ⋯) 2， （ 5-5） n i =1 1 n ′ m k = ∑ ( X i − X ) k ( k = 1， ⋯) 2， （ 5-6） n i =1 分别为样本均值、 样本方差、 分别为样本均值、 样本方差、样本 k 阶原点矩和样本 k 阶中心矩。 阶中心矩。 Central moments Origin moments
1 n ES 2 = E[ ( X i − X )2 ] ∑ n − 1 i =1 1 n 2 2 = E[ ∑ ( X i − 2 X X i + X )] n − 1 i =1 n 1 2 2 = E(∑ X i − n X ) n − 1 i =1 1 n [ ∑ ( DX i + ( EX i ) 2 ) − n ( D X + ( E X ) 2 )] = n − 1 i =1 2 n 1 σ 2 2 = [ ∑ (σ + µ ) − n ( + µ 2 )] = σ 2 n − 1 i =1 n
频率直方图 frequency histogram
是连续型随机变量时， 当总体 X 是连续型随机变量时 ， 可用直方图来 处理数据（ 样本值）。 ）。设 处理数据（ 样本值 ）。设 x1 , x 2 ,⋯ , x n 是总体 X 的一 组样本值。 处理步骤如下： 组样本值 。 处理步骤如下 ：
n
i =1
常用的统计量
样本均值、样本方差和样本矩。 样本均值、样本方差和样本矩。
⋯ 定义 5.2 设 X 1，X 2， ，X n 是来自总体 X 长度为 n
的一个样本，则称 的一个样本， 1 n Sample mean X = ∑ Xi （5-3） n i =1 1 n 2 S = ( X i − X )2 （5-4） ∑ n − 1 i =1 Sample variance n 1 k m k = ∑ X i ( k = 1， ⋯) 2， （ 5-5） n i =1 1 n ′ m k = ∑ ( X i − X ) k ( k = 1， ⋯) 2， （ 5-6） n i =1 分别为样本均值、 样本方差、 分别为样本均值、 样本方差、样本 k 阶原点矩和样本 k 阶中心矩。 阶中心矩。 Central moments Origin moments
1 n ES 2 = E[ ( X i − X )2 ] ∑ n − 1 i =1 1 n 2 2 = E[ ∑ ( X i − 2 X X i + X )] n − 1 i =1 n 1 2 2 = E(∑ X i − n X ) n − 1 i =1 1 n [ ∑ ( DX i + ( EX i ) 2 ) − n ( D X + ( E X ) 2 )] = n − 1 i =1 2 n 1 σ 2 2 = [ ∑ (σ + µ ) − n ( + µ 2 )] = σ 2 n − 1 i =1 n
频率直方图 frequency histogram
是连续型随机变量时， 当总体 X 是连续型随机变量时 ， 可用直方图来 处理数据（ 样本值）。 ）。设 处理数据（ 样本值 ）。设 x1 , x 2 ,⋯ , x n 是总体 X 的一 组样本值。 处理步骤如下： 组样本值 。 处理步骤如下 ：
概率论第五章
X − 14 14 − 14 ( 2 ). P { X > 1 4} = P{ > } 0.2 0.2 X − 14 = 1 − P{ ≤ 0} ≈ 1 − Φ (0) = 1 − 0.5 = 0.5 0.2
第五章 大数定律及中心极限定理
例6 一加法器同时收到20个噪声电压 Vk (k = 1,2,⋯,20) ， 设它们是互相独立的随机变量，且都在区间(0,10)上 服从均匀分布，记 20
2
2
P{| X − µ |< ε } ≥ 1 − σ / ε
2
2
返回主目录
第五章 大数定律及中心极限定理
§1 大数定律
这个不等式给出了随机变量 X 的分布未知情 况下，事件{| X − µ |< ε } 的概率的一种估计方法。
例 如 ： 在上 面 不等 式 中， 取 ε = 3σ , 4σ ， 有 ：
第五章 大数定律及中心极限定理
例4 某单位有200台电话分机，每台分机有5%的时间要 使用外线通话。假定每台分机是否使用外线是相互独 立的，问该单位总机要安装多少条外线，才能以90%以 上的概率保证分机用外线时不等待？ 解：设有X部分机同时使用外线，则有 X ~ B ( n, p ),
X − np N − np P ≤ P{ X ≤ N } = np (1 − p ) np (1 − p ) N − np ≈ = Φ 0 N − 10 . Φ0 np (1 − p ) 3.08 N - 10 查表得Φ (1.28) = 0.90.故 N 应满足条件 ≥ 1.28, 3.08 即 N ≥ 13.94. 取 N = 14, 即至少要安装 14 条外线。
§1 大数定律
定理（切比雪夫定理的特殊情况） 设随机变量 X 1 ,⋯, X n ,⋯ 相互独立， 且具有相同的数学期
第五章 大数定律及中心极限定理
例6 一加法器同时收到20个噪声电压 Vk (k = 1,2,⋯,20) ， 设它们是互相独立的随机变量，且都在区间(0,10)上 服从均匀分布，记 20
2
2
P{| X − µ |< ε } ≥ 1 − σ / ε
2
2
返回主目录
第五章 大数定律及中心极限定理
§1 大数定律
这个不等式给出了随机变量 X 的分布未知情 况下，事件{| X − µ |< ε } 的概率的一种估计方法。
例 如 ： 在上 面 不等 式 中， 取 ε = 3σ , 4σ ， 有 ：
第五章 大数定律及中心极限定理
例4 某单位有200台电话分机，每台分机有5%的时间要 使用外线通话。假定每台分机是否使用外线是相互独 立的，问该单位总机要安装多少条外线，才能以90%以 上的概率保证分机用外线时不等待？ 解：设有X部分机同时使用外线，则有 X ~ B ( n, p ),
X − np N − np P ≤ P{ X ≤ N } = np (1 − p ) np (1 − p ) N − np ≈ = Φ 0 N − 10 . Φ0 np (1 − p ) 3.08 N - 10 查表得Φ (1.28) = 0.90.故 N 应满足条件 ≥ 1.28, 3.08 即 N ≥ 13.94. 取 N = 14, 即至少要安装 14 条外线。
§1 大数定律
定理（切比雪夫定理的特殊情况） 设随机变量 X 1 ,⋯, X n ,⋯ 相互独立， 且具有相同的数学期
概率论课件(第5章)
解：设 X 表示总错误个数，X i 表示第 i 页上的错误数 , 则
400
X Xi i 1
而 EXi 0.2 , DXi 0.2 由中心极限定理一可知
400
X X i ～ N (n , n 2 ) N (80,80) 故所求为： i 1
P(0
X
88)
88
80 80
0 80 80
4. 甲、乙两队进行某项比赛，规定一方先胜三场则结束，设每场双方 获胜的概率均为0.5，以 X 表示比赛的场数，试求 EX .
解： X 可取： 3 , 4 , 5 .
“ X = 3 ” 表示 “ 甲连胜3局” 或“乙连胜3局 ”则，
P( X
3)
1 3 2
1 3 2
1 4
“ X = 4 ” 表示 “ 甲（或乙）胜第4局且前3局胜2局 ” 则
解： 由已知，EX = 2/3，EY = 2/3， DX = 2/9，DY = 2/9， [2014，三]
又 XY cov( X ,Y ) EXY EXEY 0.5 EXY = 5/9 ，
DX DY
DX DY
而 EXY 11 P(X 1,Y 1) P(X 1,Y 1) 5/ 9 则
三、中心极限定理 （定理一、定理二）
1. 设 D( X ) , D( Y ) 存在且不等于0，则 D ( X + Y ) = D ( X ) + D ( Y )
是 X 与 Y _________.
(A) 不相关的充分但不必要条件； (B) 独立的充分但不必要条件；
(C) 不相关的充分必要条件；
(D) 独立的充分必要条件.
n
n
分析：从公式直接得到：当
n
概率论第五章
28 March 2011
湖南大学
第五章 大数定律与中心极限定理
第10页 10页
切比雪夫大数定律
设随机变量序列X1, X2 ,K, Xn ,K相互独立，且 E( Xi ), D( Xi )存在，若存在常数C, 使得D( Xi ) ≤ C,
1 n 1 n lim P{| ∑Xi − ∑E( Xi ) |< ε} =1 n→∞ n i=1 n i=1
湖南大学
则称{Xn} 服从大数定律.
28 March 2011
湖南大学
第五章 大数定律与中心极限定理
第9页
定义:
设a为一常数 X1, X2 ,K, Xn， 为一随机变量序列， 若 , K 对任意的ε > 0, 有 lim P{| Xn − a |< ε} =1,
n→∞
则 X1, X2 ,K, Xn ,K 概 收 于 称 依 率 敛 a
10 0.8
9 0.1
8 0.05
7 0.02
6 0.03
= Φ( − 3.53) −Φ(-6.85)= 1-0.9998=0.0002
28 March 2011
湖南大学
第五章 大数定律与中心极限定理
第17页 17页
二项分布的正态近似
棣莫弗—拉普拉斯中心极限定理 设µn 为服从二项分布 b(n, p) 的随机变量，则当 n 充分大时，有
∑X limP n→∞ σ
n i =1
i
− nµ n
≤ y = Φ( y)
湖南大学
28 March 2011
第五章 大数定律与中心极限定理
第15页 15页
例3 每袋味精的净重为随机变量，平均重量为 100 克，标准差为10克. 一箱内装200袋味精，求一箱味 精的净重大于20500克的概率? 解: 设箱中第 i 袋味精的净重为 Xi, 则Xi 独立同分布， 且 E(Xi)=100， D(Xi) =100， 由中心极限定理得，所求概率为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 2
一个统计量 θ = θ ( x1 , L , xn ) 的取值作为θ的估 ) 计值，θ 称为θ的点估计（量），简称估计。 ) 在这里如何构造统计量θ 并没有明确的规定， 只要它满足一定的合理性即可。这就涉及到 二个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。
第23页 23页
矩估计一般都具有相合性。比如： 样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计； 样本变异系数是总体变异系数的相合估计。
28 July 2011
华东师范大学
第五章 参数估计
第24页 24页
§5.2 习题
1， 1， 2， 4,
P295
7
28 July 2011
华东师范大学
ˆ σ = sn
28 July 2011
华东师范大学
第五章 参数估计
第35页 35页
3− µ 3− x 概率P( X < 3) =Φ 的MLE是Φ ； σ s
第五章 参数估计
第25页 25页
§5.3 极大似然估计
5.3.1 极大似然估计的基本思想： 口袋中有黑、白两种球， 从中任取一只， 发现是白球， 则可以认为：
口袋中白球比黑球多
28 July 2011
华东师范大学
第五章 参数估计
第26页 26页
5.3.2
求极大似然估计的方法
设总体含有待估参数 θ ， 得到样本观测值 x1, x2,…, xn
28 July 2011
华东师范大学
第五章 参数估计
第21页 21页
定义 设θ∈Θ为未知参数， θˆn = θˆn (x1,L, xn ) 是θ的一个估计量，n是样本容量，若对任何 一个ε>0，有
ˆ lim n→∞ P(| θ n − θ |> ε ) = 0
ˆ 则称 θ n 为θ参数的相合估计。
n
28 July 2011
华东师范大学
第五章 参数估计
第29页 29页
将lnL(µ,σ 2)分别关于二个分量求偏导并令 其为0, 即得到似然方程组
∂ ln L(µ,σ 2 ) 1 n = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1 ∂ln L(µ,σ 2 ) 1 n n 2 = 4 ∑(xi − µ) − 2 = 0 2 ∂σ 2σ i=1 2σ
设 θˆ = θˆ( x1,L, xn )是θ的一个估计，若
ˆ E (θ ) = θ
ˆ 则称 θ 是θ的无偏估计，否则称为有偏估计。
28 July 2011
华东师范大学
第五章 参数估计第14页 14页注源自点X 是 E(X) 的无偏估计
S2 是 Var(X) 的无偏估计
Sn2 不是 Var(X) 的无偏估计
第8页
例 x1 , x2 , …, xn是来自(a,b)上的均匀分布U(a,b) 的样本，a与b均是未知参数，这里k=2，由于
a+b (b − a)2 EX = , Var ( X ) = , 2 12
不难推出
a = EX − 3Var ( X ), b = EX + 3Var ( X ),
由此即可得到a, b的矩估计：
华东师范大学
第五章 参数估计
第28页 28页
例 对正态总体N(µ,σ 2)，θ=(µ,σ 2)是二维参数，
设有样本x1 , x2 , …, xn，则似然函数及其对数分 别为
( xi − µ )2 1 L(µ,σ 2 ) = ∏{ exp{− }} 2 2σ 2πσ i =1 1 n = (2πσ 2 )−n / 2 exp{− 2 ∑ ( xi − µ )2 } 2σ i =1 1 n n n 2 2 2 ln L(µ,σ ) = − 2 ∑ ( xi − µ ) − ln σ − ln(2π ) 2σ i =1 2 2
28 July 2011
华东师范大学
第五章 参数估计
第18页 18页
课堂练习
ˆ ˆ 设 θ1, θ2 是参数θ 的两个独立的无偏估计，
ˆ ˆ 且 Var θ1 = 2Var θ2 , 找出常数 k1, k2，使得
ˆ ˆ ˆ θ = k1θ1 +k2θ2 也是θ 的无偏估计，
( )
( )
并使它在所有这种形状的估计中的方差最小. k1= 1/3,
第五章 参数估计
第1页
第五章 参数估计
数理统计的主要任务之一是依据样本推断总体. 推断的基本内容包括两个方面: 一是依据样本寻找总体未知参数的近似值和近似 范围，这是第五章的内容。 二是依据样本对总体未知参数的某种假设作出真 伪判断，这是第六章的内容（假设检验）。
28 July 2011
华东师范大学
1 n k 用样本矩 Ak = ∑Xi , n i=1
k
ˆ 代替母体矩 µk = E( X ) = g (θ )
k
即 A = µk = gk (θ ) k 从中解出θ .
华东师范大学
28 July 2011
第五章 参数估计
第6页
注 意 点 (1)
若估计一个未知参数 θ ，则解方程
∑X n
i =1
1
ˆ ˆ 则找一个 θ =θ( X1, X2, L Xn ) ,
使得x1, x2,…, xn出现的可能性最大。
28 July 2011
华东师范大学
第五章 参数估计
第27页 27页
极大似然估计的关键点
x1, x2,…, xn出现的可能性： (1) 离散场合：L(θ; x1, x2 , ..., xn ) = ∏P( Xi = xi )
28 July 2011
华东师范大学
第五章 参数估计
第31页 31页
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例 设 x1 , x2 , …, xn是来自均匀总体
U(0,θ)的样本，试求θ的极大似然估计。
28 July 2011
华东师范大学
第五章 参数估计
第32页 32页
i =1 n i =1 n
(2) 连续场合：L(θ; x1, x2 , ..., xn ) = ∏ p( xi ) 称以上 L 的为似然函数。 注意：(1) L 是 θ 的函数， x1, x2,…, xn 固定。 (2) θ 可以是多维的 。 ˆ θMLE (3) 下面任务是求 L的极大点
28 July 2011
第五章 参数估计
第2页
• 一般常用θ表示参数，参数θ所有可能取值
组成的集合称为参数空间，常用Θ表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
28 July 2011
华东师范大学
第五章 参数估计
第3页
• 设x ,x , …, xn是来自总体的一个样本，我们用
28 July 2011
)
)
华东师范大学
第五章 参数估计
第4页
一、点估计 §5.1 矩法估计 §5.2 点估计优劣的评价标准 §5.3 极大似然估计 二、区间估计 §5.4 区间估计 §5.5 单侧置信限
28 July 2011
华东师范大学
第五章 参数估计
第5页
§5.1
矩法估计
矩法估计的基本思想：
解 似然函数
L(θ ) =
1
θ
n
,
x(n) ≤ θ
n
要使L(θ)达到最大，即1/θ 尽可能大，所以 θ的取值应尽可能小，但θ不能小于x(n)，由此 ) 给出θ的极大似然估计：
ˆ θ = x( n )
28 July 2011
华东师范大学
第五章 参数估计
第33页 33页
5.3.3
MLE的不变性 MLE的不变性
28 July 2011
华东师范大学
第五章 参数估计
第22页 22页
相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它 都不能把被估参数估计到任意指定的精度, 那末这个估计是很值得怀疑的。 样本容量越大,估计应当越精确
28 July 2011
华东师范大学
第五章 参数估计
28 July 2011
k2 = 2/3
华东师范大学
第五章 参数估计
第19页 19页
均方误差
28 July 2011
华东师范大学
第五章 参数估计
第20页 20页
相合性
点估计是一个统计量，因此它是一个随机变量， 我们不可能要求它完全等同于参数的真实取值。 但我们可以要求估计量随着样本量的不断增大 而逼近参数真值，这就是相合性，严格定义如下。
华东师范大学
第五章 参数估计
第16页 16页
例 设x1 , x2 , …, xn是取自某总体的样本，记总体均 ˆ ˆ x 值为µ ，总体方差为σ 2，则 µ1 = x1, µ2 = , 都是µ 的无偏估计，但
ˆ ˆ Var ( µ1 ) = σ 2 , Var ( µ2 ) = σ 2 / n ˆ ˆ 显然，只要n>1， µ2 比 µ1 有效。这表明，用全部
代替µ1 ，ν2 ，得α,λ的矩估计为
28 July 2011
华东师范大学
第五章 参数估计
第10页 10页
§5.1 习题
1， 1， 4, 5
P286
28 July 2011
华东师范大学
第五章 参数估计
第11页 11页
§5.2 点估计优劣的评价标准
对同一个未知参数，采用不同的方法找到的 点估计可能不同。那么，自然要问：究竟是 用哪一个更“好”些呢? 这里介绍点估计的 评价标准. 如Poisson（ λ ）分布均值，方差均为λ，
一个统计量 θ = θ ( x1 , L , xn ) 的取值作为θ的估 ) 计值，θ 称为θ的点估计（量），简称估计。 ) 在这里如何构造统计量θ 并没有明确的规定， 只要它满足一定的合理性即可。这就涉及到 二个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。
第23页 23页
矩估计一般都具有相合性。比如： 样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计； 样本变异系数是总体变异系数的相合估计。
28 July 2011
华东师范大学
第五章 参数估计
第24页 24页
§5.2 习题
1， 1， 2， 4,
P295
7
28 July 2011
华东师范大学
ˆ σ = sn
28 July 2011
华东师范大学
第五章 参数估计
第35页 35页
3− µ 3− x 概率P( X < 3) =Φ 的MLE是Φ ； σ s
第五章 参数估计
第25页 25页
§5.3 极大似然估计
5.3.1 极大似然估计的基本思想： 口袋中有黑、白两种球， 从中任取一只， 发现是白球， 则可以认为：
口袋中白球比黑球多
28 July 2011
华东师范大学
第五章 参数估计
第26页 26页
5.3.2
求极大似然估计的方法
设总体含有待估参数 θ ， 得到样本观测值 x1, x2,…, xn
28 July 2011
华东师范大学
第五章 参数估计
第21页 21页
定义 设θ∈Θ为未知参数， θˆn = θˆn (x1,L, xn ) 是θ的一个估计量，n是样本容量，若对任何 一个ε>0，有
ˆ lim n→∞ P(| θ n − θ |> ε ) = 0
ˆ 则称 θ n 为θ参数的相合估计。
n
28 July 2011
华东师范大学
第五章 参数估计
第29页 29页
将lnL(µ,σ 2)分别关于二个分量求偏导并令 其为0, 即得到似然方程组
∂ ln L(µ,σ 2 ) 1 n = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1 ∂ln L(µ,σ 2 ) 1 n n 2 = 4 ∑(xi − µ) − 2 = 0 2 ∂σ 2σ i=1 2σ
设 θˆ = θˆ( x1,L, xn )是θ的一个估计，若
ˆ E (θ ) = θ
ˆ 则称 θ 是θ的无偏估计，否则称为有偏估计。
28 July 2011
华东师范大学
第五章 参数估计第14页 14页注源自点X 是 E(X) 的无偏估计
S2 是 Var(X) 的无偏估计
Sn2 不是 Var(X) 的无偏估计
第8页
例 x1 , x2 , …, xn是来自(a,b)上的均匀分布U(a,b) 的样本，a与b均是未知参数，这里k=2，由于
a+b (b − a)2 EX = , Var ( X ) = , 2 12
不难推出
a = EX − 3Var ( X ), b = EX + 3Var ( X ),
由此即可得到a, b的矩估计：
华东师范大学
第五章 参数估计
第28页 28页
例 对正态总体N(µ,σ 2)，θ=(µ,σ 2)是二维参数，
设有样本x1 , x2 , …, xn，则似然函数及其对数分 别为
( xi − µ )2 1 L(µ,σ 2 ) = ∏{ exp{− }} 2 2σ 2πσ i =1 1 n = (2πσ 2 )−n / 2 exp{− 2 ∑ ( xi − µ )2 } 2σ i =1 1 n n n 2 2 2 ln L(µ,σ ) = − 2 ∑ ( xi − µ ) − ln σ − ln(2π ) 2σ i =1 2 2
28 July 2011
华东师范大学
第五章 参数估计
第18页 18页
课堂练习
ˆ ˆ 设 θ1, θ2 是参数θ 的两个独立的无偏估计，
ˆ ˆ 且 Var θ1 = 2Var θ2 , 找出常数 k1, k2，使得
ˆ ˆ ˆ θ = k1θ1 +k2θ2 也是θ 的无偏估计，
( )
( )
并使它在所有这种形状的估计中的方差最小. k1= 1/3,
第五章 参数估计
第1页
第五章 参数估计
数理统计的主要任务之一是依据样本推断总体. 推断的基本内容包括两个方面: 一是依据样本寻找总体未知参数的近似值和近似 范围，这是第五章的内容。 二是依据样本对总体未知参数的某种假设作出真 伪判断，这是第六章的内容（假设检验）。
28 July 2011
华东师范大学
1 n k 用样本矩 Ak = ∑Xi , n i=1
k
ˆ 代替母体矩 µk = E( X ) = g (θ )
k
即 A = µk = gk (θ ) k 从中解出θ .
华东师范大学
28 July 2011
第五章 参数估计
第6页
注 意 点 (1)
若估计一个未知参数 θ ，则解方程
∑X n
i =1
1
ˆ ˆ 则找一个 θ =θ( X1, X2, L Xn ) ,
使得x1, x2,…, xn出现的可能性最大。
28 July 2011
华东师范大学
第五章 参数估计
第27页 27页
极大似然估计的关键点
x1, x2,…, xn出现的可能性： (1) 离散场合：L(θ; x1, x2 , ..., xn ) = ∏P( Xi = xi )
28 July 2011
华东师范大学
第五章 参数估计
第31页 31页
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例 设 x1 , x2 , …, xn是来自均匀总体
U(0,θ)的样本，试求θ的极大似然估计。
28 July 2011
华东师范大学
第五章 参数估计
第32页 32页
i =1 n i =1 n
(2) 连续场合：L(θ; x1, x2 , ..., xn ) = ∏ p( xi ) 称以上 L 的为似然函数。 注意：(1) L 是 θ 的函数， x1, x2,…, xn 固定。 (2) θ 可以是多维的 。 ˆ θMLE (3) 下面任务是求 L的极大点
28 July 2011
第五章 参数估计
第2页
• 一般常用θ表示参数，参数θ所有可能取值
组成的集合称为参数空间，常用Θ表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
28 July 2011
华东师范大学
第五章 参数估计
第3页
• 设x ,x , …, xn是来自总体的一个样本，我们用
28 July 2011
)
)
华东师范大学
第五章 参数估计
第4页
一、点估计 §5.1 矩法估计 §5.2 点估计优劣的评价标准 §5.3 极大似然估计 二、区间估计 §5.4 区间估计 §5.5 单侧置信限
28 July 2011
华东师范大学
第五章 参数估计
第5页
§5.1
矩法估计
矩法估计的基本思想：
解 似然函数
L(θ ) =
1
θ
n
,
x(n) ≤ θ
n
要使L(θ)达到最大，即1/θ 尽可能大，所以 θ的取值应尽可能小，但θ不能小于x(n)，由此 ) 给出θ的极大似然估计：
ˆ θ = x( n )
28 July 2011
华东师范大学
第五章 参数估计
第33页 33页
5.3.3
MLE的不变性 MLE的不变性
28 July 2011
华东师范大学
第五章 参数估计
第22页 22页
相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它 都不能把被估参数估计到任意指定的精度, 那末这个估计是很值得怀疑的。 样本容量越大,估计应当越精确
28 July 2011
华东师范大学
第五章 参数估计
28 July 2011
k2 = 2/3
华东师范大学
第五章 参数估计
第19页 19页
均方误差
28 July 2011
华东师范大学
第五章 参数估计
第20页 20页
相合性
点估计是一个统计量，因此它是一个随机变量， 我们不可能要求它完全等同于参数的真实取值。 但我们可以要求估计量随着样本量的不断增大 而逼近参数真值，这就是相合性，严格定义如下。
华东师范大学
第五章 参数估计
第16页 16页
例 设x1 , x2 , …, xn是取自某总体的样本，记总体均 ˆ ˆ x 值为µ ，总体方差为σ 2，则 µ1 = x1, µ2 = , 都是µ 的无偏估计，但
ˆ ˆ Var ( µ1 ) = σ 2 , Var ( µ2 ) = σ 2 / n ˆ ˆ 显然，只要n>1， µ2 比 µ1 有效。这表明，用全部
代替µ1 ，ν2 ，得α,λ的矩估计为
28 July 2011
华东师范大学
第五章 参数估计
第10页 10页
§5.1 习题
1， 1， 4, 5
P286
28 July 2011
华东师范大学
第五章 参数估计
第11页 11页
§5.2 点估计优劣的评价标准
对同一个未知参数，采用不同的方法找到的 点估计可能不同。那么，自然要问：究竟是 用哪一个更“好”些呢? 这里介绍点估计的 评价标准. 如Poisson（ λ ）分布均值，方差均为λ，