概率论与数理统计 五大数定理共22页
合集下载
概率论与数理统计第五章 大数定律及中心极限定理
解: 设Xk为第k次炮击炮弹命中的颗数(k=1,2,…,100),
在100次炮击中炮弹命中的总颗数
100
X = ∑ Xk k =1
相互独立地服从同一分布，
E(Xk)=2, D(Xk)=1.52 (k=1,2,…,100)
随机变量
∑ 1
100 × 1.5
100 k =1
(
X
k
−
2)
=
1 15
(
X
−
200)
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 （随机变量序列独立同分布且数学期望存在）
n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
§5.2 中心极限定理
望 E( Xk ) = µ (k = 1,2,"),则对于任意ε > 0,有
∑ lim
n→∞
P {|
1 n
n k =1
Xk
−
µ
|<
ε
}
=
1
说明
伯努利大数定理是辛钦定理的特殊情
况。n个随机变量的算术平均值以概率收敛于算
术平均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 算术平均值依概率收敛于数学期望
= 1 − P { V − 100 ≤ 0.387 } (10 12 ) 20
∫ 0.387
≈ 1−
1
e − t 2 dt
−∞ 2π
= 1 −Φ (0.387) = 0.348
所以 P{V > 105} ≈ 0.348
在100次炮击中炮弹命中的总颗数
100
X = ∑ Xk k =1
相互独立地服从同一分布，
E(Xk)=2, D(Xk)=1.52 (k=1,2,…,100)
随机变量
∑ 1
100 × 1.5
100 k =1
(
X
k
−
2)
=
1 15
(
X
−
200)
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 （随机变量序列独立同分布且数学期望存在）
n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
§5.2 中心极限定理
望 E( Xk ) = µ (k = 1,2,"),则对于任意ε > 0,有
∑ lim
n→∞
P {|
1 n
n k =1
Xk
−
µ
|<
ε
}
=
1
说明
伯努利大数定理是辛钦定理的特殊情
况。n个随机变量的算术平均值以概率收敛于算
术平均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 算术平均值依概率收敛于数学期望
= 1 − P { V − 100 ≤ 0.387 } (10 12 ) 20
∫ 0.387
≈ 1−
1
e − t 2 dt
−∞ 2π
= 1 −Φ (0.387) = 0.348
所以 P{V > 105} ≈ 0.348
概率论与数理统计 第二版 第五章 大数定律及中心极限定理
( (2)=0.977, 其中 (x)是标准正态分布函数. )
解 设Xi表示 “装运的第i箱的重量”(单位:千克), n为所n求箱数,则X1, X2,
, X n相互独立同分布, n箱的总重量 T n =X1+X2+ +X n = Xi ,且 E(Xi)=50,
D(Xi)=25, 由林德伯格-列维中心极限定理知
n
i 1
n
P{Tn
5000}=P{
n i 1
Xi
5000
}=P
i
1
Xi 50n
5n
5000
50n
=P
i 1
5n
Xi 5
50n
1000
10n
n
n
( 1000 10n) >
0.977=(2) ,
解得 n < 98.0199 ,
n
所以每辆汽车最多装 98 箱 .
第五章 大数定律及中心极限定理 §5.2 中心极限定理
μ
|
ε}
1,
1 n
lim
n
P{|
n
i 1
Xi
μ|
ε}
0
.
第五章 大数定律及中心极限定理 §5.1 大数定律
例1 (P149例1)设随机变量X1 , X2 , , X n , 相互独立同服从参
数为 2的指数分布, 则当n∞时, Yn =
1 n
n
i 1
X
2 i
依概率收敛于
____
.
解 因为随机变量 X1 , X2 , , X n 相互独立同分布, 所以
定理1 (伯努利大数定律) 设随机变量序列 X1 , X2 , , X n ,
解 设Xi表示 “装运的第i箱的重量”(单位:千克), n为所n求箱数,则X1, X2,
, X n相互独立同分布, n箱的总重量 T n =X1+X2+ +X n = Xi ,且 E(Xi)=50,
D(Xi)=25, 由林德伯格-列维中心极限定理知
n
i 1
n
P{Tn
5000}=P{
n i 1
Xi
5000
}=P
i
1
Xi 50n
5n
5000
50n
=P
i 1
5n
Xi 5
50n
1000
10n
n
n
( 1000 10n) >
0.977=(2) ,
解得 n < 98.0199 ,
n
所以每辆汽车最多装 98 箱 .
第五章 大数定律及中心极限定理 §5.2 中心极限定理
μ
|
ε}
1,
1 n
lim
n
P{|
n
i 1
Xi
μ|
ε}
0
.
第五章 大数定律及中心极限定理 §5.1 大数定律
例1 (P149例1)设随机变量X1 , X2 , , X n , 相互独立同服从参
数为 2的指数分布, 则当n∞时, Yn =
1 n
n
i 1
X
2 i
依概率收敛于
____
.
解 因为随机变量 X1 , X2 , , X n 相互独立同分布, 所以
定理1 (伯努利大数定律) 设随机变量序列 X1 , X2 , , X n ,
概率论与数理统计第五章大数定律及中心极限定理
概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。
数学中研究大量的工具是极限。
因此这一章学习概率论中的极限定理。
第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。
意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。
大数定律解释了这一结论。
首先介绍切比雪夫不等式。
一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。
切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。
进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。
当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。
二、依概率收敛随机变量序列即由随机变量构成的一个序列。
不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。
只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。
依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。
注意这三个大数定律的条件有何异同。
定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。
定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。
伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。
伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。
大学《概率论与数理统计》课件第五章 大数定律与中心极限定理
n 100, p 0.2, E(X ) np 20, D(X ) npq 16 4,
例5 某单位有200台电话分机，每台分机有5%的时间 要使用外线通话。假定每台分机是否使用外线是相互独 立的，问该单位总机要安装多少条外线，才能以90%以 上的概率保证分机用外线时不等待？ 解 设有X 部分机同时使用外线，则有 其中 设有N 条外线.由题意有 由德莫佛-拉普拉斯定理得
第五章 大数定律与中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§5.1 大数定律 一、切比雪夫Chebyshev不等式 二、几个常见的大数定律
定义1 设随机变量序列
在常数 a ，使得对于任意
有:
则称 依概率收敛于a ，记为
，如果存
注意
以概率收敛比高等数学中的普通意义下的收敛弱 一些，它具有某种不确定性.
且
是独立同分布的随机变量. 且
累计误差即总距离误差为1200 X k 近似 N (0,100) k 1
由定理1可得
下面介绍定理1 的特殊情况.
定理2（棣莫佛-拉普拉斯定理（De Moivre-Laplace）
设随机变量 服从参数为
的二项分布
则对任意的x ，有
即 或
证 因为 所以 其中 相互独立，且都服从（0-1）分布。
定理1（独立同分布的中心极限定理）
设
为一列独立同分布的随机变量，
且具有相同的期望和方差
则对任意实数x,有
即
，或
例1 根据以往经验，某种电器元件的寿命服从均值为 100小时的指数分布. 现随机地取16只，设它们的寿命 是相互独立的. 求这16只元件的寿命的总和大于1920小 时的概率. 解 设第i 只元件的寿命为Xi , i=1,2, …,16 由题给条件知，诸Xi 独立，E( Xi ) =100, D( Xi ) =10000 16只元件的寿命的总和为
例5 某单位有200台电话分机，每台分机有5%的时间 要使用外线通话。假定每台分机是否使用外线是相互独 立的，问该单位总机要安装多少条外线，才能以90%以 上的概率保证分机用外线时不等待？ 解 设有X 部分机同时使用外线，则有 其中 设有N 条外线.由题意有 由德莫佛-拉普拉斯定理得
第五章 大数定律与中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§5.1 大数定律 一、切比雪夫Chebyshev不等式 二、几个常见的大数定律
定义1 设随机变量序列
在常数 a ，使得对于任意
有:
则称 依概率收敛于a ，记为
，如果存
注意
以概率收敛比高等数学中的普通意义下的收敛弱 一些，它具有某种不确定性.
且
是独立同分布的随机变量. 且
累计误差即总距离误差为1200 X k 近似 N (0,100) k 1
由定理1可得
下面介绍定理1 的特殊情况.
定理2（棣莫佛-拉普拉斯定理（De Moivre-Laplace）
设随机变量 服从参数为
的二项分布
则对任意的x ，有
即 或
证 因为 所以 其中 相互独立，且都服从（0-1）分布。
定理1（独立同分布的中心极限定理）
设
为一列独立同分布的随机变量，
且具有相同的期望和方差
则对任意实数x,有
即
，或
例1 根据以往经验，某种电器元件的寿命服从均值为 100小时的指数分布. 现随机地取16只，设它们的寿命 是相互独立的. 求这16只元件的寿命的总和大于1920小 时的概率. 解 设第i 只元件的寿命为Xi , i=1,2, …,16 由题给条件知，诸Xi 独立，E( Xi ) =100, D( Xi ) =10000 16只元件的寿命的总和为
概率论与数理统计 第五章 大数定律与中心极限定理
nA 一种提法是： “当 n 足够大时，频率 n 与概率 p 有较大偏差
的概率很小” ，用数学语言表达，就是要证明： 0 ，有
nA nA lim P p 0 lim P p 1 n ，或 n n ． n
另一种提法是：研究随机变量 n A 的分布的极限行为，即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 ． n
证 引入
1 , 第i次试验中事件A发生 Xi ，i 1 , 2 , , n ， 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验．若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数， 则事件 A 发生的频率为 n ． 所谓 “频 率的稳定性” ，无非是指当试验次数 n 无限增大(即 n )时，
nA 频率 n 无限接近于某个固定常数．这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” ． nA 由此可见，讨论频率 n 的极限行为，是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识，我们先明确随机变量序列收敛的
相关概念，同时给出一个重要的不等式，它是以下理 论证明所用的主要工具之一．
定 义 1.1 设 a 是常数，对于随机变量序列 ，如果 0 ，有
X1 , X 2 ,
, Xn ,
lim P
n
个常数，即在这个常数的附近摆动，这就是所谓的“频
率稳定性”．但对这一点，至今为止我们尚未给予理论 上的说明．另外，在第二章我们给出了二项分布的泊松 逼近，那么更一般的近似计算方案又是怎样呢?
的概率很小” ，用数学语言表达，就是要证明： 0 ，有
nA nA lim P p 0 lim P p 1 n ，或 n n ． n
另一种提法是：研究随机变量 n A 的分布的极限行为，即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 ． n
证 引入
1 , 第i次试验中事件A发生 Xi ，i 1 , 2 , , n ， 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验．若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数， 则事件 A 发生的频率为 n ． 所谓 “频 率的稳定性” ，无非是指当试验次数 n 无限增大(即 n )时，
nA 频率 n 无限接近于某个固定常数．这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” ． nA 由此可见，讨论频率 n 的极限行为，是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识，我们先明确随机变量序列收敛的
相关概念，同时给出一个重要的不等式，它是以下理 论证明所用的主要工具之一．
定 义 1.1 设 a 是常数，对于随机变量序列 ，如果 0 ，有
X1 , X 2 ,
, Xn ,
lim P
n
个常数，即在这个常数的附近摆动，这就是所谓的“频
率稳定性”．但对这一点，至今为止我们尚未给予理论 上的说明．另外，在第二章我们给出了二项分布的泊松 逼近，那么更一般的近似计算方案又是怎样呢?
概率论与数理统计第5章-大数定律与中心极限定理
又设函数 g ( x , y ) 在点 (a , b ) 连续,
P 则 g( X n , Yn ) g(a , b ).
证明
因为 g( x , y ) 在 (a , b) 连续,
0, 0,
g( x , y ) g(a , b) ,
g ( x, y) g (a, b) ,
因此0 P{ g( X n , Yn ) g(a, b) }
n 0, P X n a P Yn b 2 2
P 则 g( X n , Yn ) g(a , b).
[证毕]
定理5.1(贝努里大数定律) 设nA是n重贝努里试验中事件A发生的 次数, p是事件A在一次试验中发生的概率, 则对于任意的 0, 有
P P 注 : 若X n X , Yn Y , 则 P P (1) X n Yn X Y ;(2) X n Yn X Y;
Xn P X (3) X nYn XY ;(4) Yn Y
P
依概率收敛序列的性质
P P 设 Xn a , Yn b, (a , b为常数）
第五章 大数定律与中心极限定理
5.1 大数定律 5.2 中心极限定理
“概率是频率的稳定值”。前面已经提到，当随机 试验的次数无限增大时，频率总在其概率附近摆动， 逼近某一定值。大数定理就是从理论上说明这一结果。 正态分布是概率论中的一个重要分布，它有着非常广 泛的应用。 中心极限定理阐明，原本不是正态分布的一般随机 变量总和的分布，在一定条件下可以渐近服从正态分 布。这两类定理是概率统计中的基本理论，在概率统 计中具有重要地位。
大数定律的客观背景 大量的随机现象中平均结果的稳定性
概率论与数理统计第五章大数定律与中心极限定理
由独立同分布中心极限定理
100
P{
i 1
Xi
300}
1
300 100 10 35
7 2
12
精品资料
1 (2.93)
0.9983
2. 德莫佛-拉普拉斯中心极限(jíxiàn)定理(De MoivreLaplace)
设随机变量 n (n=1, 2, ...) 服从(fúcóng)参数为 n, p
由切比雪夫大数定理
n
Xi P
fn
i 1
n
p
精品资料
3. 辛钦大数(dà shù)定律(P108)
若{Xk, k=1.2,...}为独立同分布随机变量序列, EXk= < , k=1, 2, … 则
Yn
1 n
n k 1
Xk
P
推论: 若{Xi, i=1.2,...}为独立同分布随机变量(suí jī biàn liànɡ)序列, E(X1k) < , 则
lim
n
P{|
Xn
X
|
}
1
则称{Xn}依概率收敛于X. 可记为 Xn P X.
精品资料
P
例如 X n a 意思(yì sī) n 时, Xn落在
(lìrú
是: 当
)(:a , a ) 内的概率越来越大. N , n N
Xn
a a a
而 X n a 意思是: 0, N , 当 n N | X n a |
1
n
n i 1
X
k i
P
E
(
X
k 1
)
精品资料
三. 几个(jǐ ɡè)常用的中心极限定理
1. 独立同分布中心极限(jíxiàn)定理(P109)
概率论与数理统计图文课件最新版-第5章-大数定律及中心极限定理
0
p 是事件 A 在每次试验 中发生的概率
其中: nA X1 X2 L Xn
概率统计
其中: nA X1 X2 L Xn
p 是事件 A 在每次试验中 发生的概率。
证明: Q Xk 服从 (0 1 ) 分布
n 次独立 重复试验 中事件A 发生的次
数
E(Xk ) p n
令:
Xk
k 1
指的是：对任意正数 , P
lim
n
P(
Yn
a
)1
记为：Yn a
由此，定理2 的结论可叙述为：序列
依概率收敛于常数
Xn
1 n
n k 1
Xk
▲ 依概率收敛的序列具有如下性质:
P
P
设 Xn a , Yn b, 又设函数 g ( x, y ) 在点
( a, b ) 处连续，则有：
P
g( Xn , Yn ) g(a, b)
概率统计
第一节 大数定律
大数定律的客观背景 大量的随机现象中平均结果的稳定性：
大量抛掷硬币 正面出现频率
概率统计
生产过程中 的废品率
……
字母使用频率
一. 切比雪夫大数定律
定理1（切比雪夫大数定律）
设 X1 , X2, … 是相互独立的随机变 量序列，它们都有有限的方差，并且方
差有共同的上界，即 D( Xi ) ≤ K， i=1,
k 1, 2,L , 作前 n 个随机变量的算术平均值：
概率统计
1 n
Xn n k1 Xk ,
1 n
Xn n k1 Xk ,
则对任意的 0有：
lim P
n
Xn
lim P
n
概率论与数理统计课件 大数定理
D( X Y ) D( X ) D(Y ) 2Cov( X ,Y )
1 4 2 (0.5)1 2 3
4. 练习 X N (1,1),Y N (0,1), EXY 0.1, 根据切比雪夫 不等式,则P{4 X Y 6} 0.816
2019/4/29
第五章—大数定理和中心极限定理
1 n
n i 1
X i 接近数学期望EX i
(i 1, 2 , ),这种接近说明其具有的稳定性.
这种稳定性的含义说明算术平均值是依概率 收敛的意义下逼近某一常数.
2019/4/29
第五章—大数定理和中心极限定理
21
下面给出的独立同分布下的大数定律，不要 求随机变量的方差存在.
定理5.4（辛钦大数定律）
可能性很小.
依概率收敛比高等数学中的普通意义下的收敛 弱些,它具有某种不确定性.
2019/4/29
第五章—大数定理和中心极限定理
14
三、大数定理
定理5.2（贝努利大数定律）
在n 重贝努利试验中成功的次数为Yn , 而每次
试验成功的概率为p ,则对 0 ,
lim P{| Yn p | } 0
Xn P a 意思是:当 n 时, Xn 落在
(a , a ) 内的概率越来越大.
Xn
a a a
而 Xn a 意思是: 0,n0 ,当n n0 | Xn a |
2019/4/29
第五章—大数定理和中心极限定理
13
注意 Xn依概率收敛于a,意味着对任意给定的 0 ,
当n 充分大时,事件 Xn X 的概率很大, 接近于1; 并不排除事件 Xn X 的发生,而只是说它发生的
P{| X 11 | 9}
1
概率论与数理统计 五大数定理
[注]： X n P → a 注： 推论(辛钦大数定律) 推论(辛钦大数定律)
X n − a P → 0
设独立随机变量 X 1 , X 2 ,⋅ ⋅ ⋅, X n 服从同一分布 并且有数学 服从同一分布, 期望 µ 及方差 σ 2， X 1 , X 2 ,⋅ ⋅ ⋅, X n 的算术平均值当 n → ∞ 则 时，按概率收敛于µ， 即对于任何正数 ε，恒有 按概率收敛于 ，
第五章 大数定理与中心极限定理
“大数定律”: 用来阐明大量随机现象平均结果稳定性的定理 大数定律” 用来阐明大量随机现象平均结果稳定性的定理. 大数定律
一、切比雪夫不等式
切比雪夫不等式: 切比雪夫不等式: 设随机变量 X 有数学期望 EX 及方差 DX， ， 下列不等式成立： 则对于任何正数 则对于任何正数 ε，下列不等式成立：
2 i
n
则：E(Yn ) =
2 µi , D(Yn ) = ∑σi2 = sn . ∑
n i =1
n
i =1
i =1
∴ Z n = Yn
1 = sn
∗
n Y n − EY n 1 n = = ∑ X i − ∑ µ i sn i =1 DY n i =1
∑ (X
i =1
n
i
− µ i ), 则有：E ( Z n ) = 0 , D ( Z n ) = 1 . 则有：
概率论中有关论证随机变量的和的极限分布是正态分布的定 概率论中有关论证随机变量的和的极限分布是正态分布的定 随机变量的和的极限分布是正态分布 是独立随机变量， 设 X 1 , X 2 ,⋅ ⋅ ⋅ , X n ,⋅ ⋅ ⋅ 是独立随机变量，并各有
EX i = µ i , DXi = σ , i = 1,2,⋅ ⋅ ⋅, n,⋅ ⋅ ⋅. 设 n = ∑Xi , Y