概论与数理统计：大数定律
合集下载
概率论与数理统计第五章 大数定律及中心极限定理
解: 设Xk为第k次炮击炮弹命中的颗数(k=1,2,…,100),
在100次炮击中炮弹命中的总颗数
100
X = ∑ Xk k =1
相互独立地服从同一分布，
E(Xk)=2, D(Xk)=1.52 (k=1,2,…,100)
随机变量
∑ 1
100 × 1.5
100 k =1
(
X
k
−
2)
=
1 15
(
X
−
200)
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 （随机变量序列独立同分布且数学期望存在）
n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
§5.2 中心极限定理
望 E( Xk ) = µ (k = 1,2,"),则对于任意ε > 0,有
∑ lim
n→∞
P {|
1 n
n k =1
Xk
−
µ
|<
ε
}
=
1
说明
伯努利大数定理是辛钦定理的特殊情
况。n个随机变量的算术平均值以概率收敛于算
术平均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 算术平均值依概率收敛于数学期望
= 1 − P { V − 100 ≤ 0.387 } (10 12 ) 20
∫ 0.387
≈ 1−
1
e − t 2 dt
−∞ 2π
= 1 −Φ (0.387) = 0.348
所以 P{V > 105} ≈ 0.348
在100次炮击中炮弹命中的总颗数
100
X = ∑ Xk k =1
相互独立地服从同一分布，
E(Xk)=2, D(Xk)=1.52 (k=1,2,…,100)
随机变量
∑ 1
100 × 1.5
100 k =1
(
X
k
−
2)
=
1 15
(
X
−
200)
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 （随机变量序列独立同分布且数学期望存在）
n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
§5.2 中心极限定理
望 E( Xk ) = µ (k = 1,2,"),则对于任意ε > 0,有
∑ lim
n→∞
P {|
1 n
n k =1
Xk
−
µ
|<
ε
}
=
1
说明
伯努利大数定理是辛钦定理的特殊情
况。n个随机变量的算术平均值以概率收敛于算
术平均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 算术平均值依概率收敛于数学期望
= 1 − P { V − 100 ≤ 0.387 } (10 12 ) 20
∫ 0.387
≈ 1−
1
e − t 2 dt
−∞ 2π
= 1 −Φ (0.387) = 0.348
所以 P{V > 105} ≈ 0.348
概率论与数理统计第五章 大数定律及中心极限定理
定理五(李雅普诺夫中心极限定理) 李雅普诺夫
设随机变量 X1, X2 ,, Xn ,相互独立, 它 们具有数学期望 和方差：
E( Xk ) k , D( Xk ) k2 0 (k 1,2,),
n
记
Bn2
2 k
,
k 1
若存在正数 , 使得当 n 时,
1
Bn2
n
E{|
k 1
Xk
k
的 即对于任意正数 ,当n充分大时, 不
意 义
等式 | X | 成立的概率很大.
lim P{| X
n
|
}
lim
n
P
1 n
n k 1
Xk
1.
证明
E
1 n
n k 1
Xk
1 n
n k 1
E(Xk )
1 n
n
,
Dn1
n k 1
Xk
1 n2
n k 1
D( Xk
)
1 n2
n
2
2
n
定理二（伯努利大数定理）
伯努利
设 nA 是 n 次独立重复试验中事件 A 发生 的次数, p 是事件 A 在每次试验中发生的概率,
则对于任意正数 0, 有
lim
n
P
nA n
p
1
或
lim
n
P
nA n
p
0.
证明 引入随机变量
0, 若在第k 次试验中 A 不发生,
Xk
1,
若在第k 次试验中 A 发生, k 1,2,.
,
由切比雪夫不等式可得
P
1 n
n k 1
X
k
概率论与数理统计 第5章 大数定律和中心极限定理
5.1 大 数 定 律 作为上述定理得特殊情况，可以得到如下重要定 理： 定理 5.3 （伯努利大数定律）设 nA 是 n 重伯努利试 验中事件 A 发生的次数， p 是事件 A 在每次试验中 发生的概率，则对于任意正数，有
nA P nA 即 (5.4) p ( n ) limP p 1 n n n
第五章 大数定律和中心极限定理 【吸烟率调查问题】 某卫生组织为确定某城市成年男子的吸烟率p，将 被调查的成年男子中吸烟的频率作为p的估计，现在 要保证有 90% 以上的把握，使得调查对象吸烟者的
频率与该城市成年男子的吸烟率p之间的差异不大于
5%，问至少要调查多少对象？
5.1
大 数定 律
对某个随机变量 X进行大量的重复观测，所得到 的大批观测数据的算术平均值也具有稳定性，由于 这类稳定性都是在对随机变量进行大量重复试验的 条件下呈现出来的，历史上把这种试验次数很大时 出现的规律统称为大数定律．
即对于任意正数，有
1 n limP X i 1 n n i 1
1 n P X (n ) 也即 (5.3) i n i 1 n n 1 1 1 证：因为 E ( X i ) E ( X i ) n n n i 1 n i 1 1 n 1 D( X i ) 2 n i 1 n
nA p 实际上几乎是必定要发生的，即对于给 n
用事件发生的频率来近似地代替事件发生的概率．
5.1 大 数 定 律 上 述 契 比 谢 夫 大 数 定 律 中 要 求 随 机 变 量 X1 ， X2 ， … ， Xn ， … 的方差存在，实际上，在高等概率
论中已经证明了在不要求D(Xi)（i = 1，2，…）存在
大学《概率论与数理统计》课件第五章 大数定律与中心极限定理
n 100, p 0.2, E(X ) np 20, D(X ) npq 16 4,
例5 某单位有200台电话分机，每台分机有5%的时间 要使用外线通话。假定每台分机是否使用外线是相互独 立的，问该单位总机要安装多少条外线，才能以90%以 上的概率保证分机用外线时不等待？ 解 设有X 部分机同时使用外线，则有 其中 设有N 条外线.由题意有 由德莫佛-拉普拉斯定理得
第五章 大数定律与中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§5.1 大数定律 一、切比雪夫Chebyshev不等式 二、几个常见的大数定律
定义1 设随机变量序列
在常数 a ，使得对于任意
有:
则称 依概率收敛于a ，记为
，如果存
注意
以概率收敛比高等数学中的普通意义下的收敛弱 一些，它具有某种不确定性.
且
是独立同分布的随机变量. 且
累计误差即总距离误差为1200 X k 近似 N (0,100) k 1
由定理1可得
下面介绍定理1 的特殊情况.
定理2（棣莫佛-拉普拉斯定理（De Moivre-Laplace）
设随机变量 服从参数为
的二项分布
则对任意的x ，有
即 或
证 因为 所以 其中 相互独立，且都服从（0-1）分布。
定理1（独立同分布的中心极限定理）
设
为一列独立同分布的随机变量，
且具有相同的期望和方差
则对任意实数x,有
即
，或
例1 根据以往经验，某种电器元件的寿命服从均值为 100小时的指数分布. 现随机地取16只，设它们的寿命 是相互独立的. 求这16只元件的寿命的总和大于1920小 时的概率. 解 设第i 只元件的寿命为Xi , i=1,2, …,16 由题给条件知，诸Xi 独立，E( Xi ) =100, D( Xi ) =10000 16只元件的寿命的总和为
例5 某单位有200台电话分机，每台分机有5%的时间 要使用外线通话。假定每台分机是否使用外线是相互独 立的，问该单位总机要安装多少条外线，才能以90%以 上的概率保证分机用外线时不等待？ 解 设有X 部分机同时使用外线，则有 其中 设有N 条外线.由题意有 由德莫佛-拉普拉斯定理得
第五章 大数定律与中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§5.1 大数定律 一、切比雪夫Chebyshev不等式 二、几个常见的大数定律
定义1 设随机变量序列
在常数 a ，使得对于任意
有:
则称 依概率收敛于a ，记为
，如果存
注意
以概率收敛比高等数学中的普通意义下的收敛弱 一些，它具有某种不确定性.
且
是独立同分布的随机变量. 且
累计误差即总距离误差为1200 X k 近似 N (0,100) k 1
由定理1可得
下面介绍定理1 的特殊情况.
定理2（棣莫佛-拉普拉斯定理（De Moivre-Laplace）
设随机变量 服从参数为
的二项分布
则对任意的x ，有
即 或
证 因为 所以 其中 相互独立，且都服从（0-1）分布。
定理1（独立同分布的中心极限定理）
设
为一列独立同分布的随机变量，
且具有相同的期望和方差
则对任意实数x,有
即
，或
例1 根据以往经验，某种电器元件的寿命服从均值为 100小时的指数分布. 现随机地取16只，设它们的寿命 是相互独立的. 求这16只元件的寿命的总和大于1920小 时的概率. 解 设第i 只元件的寿命为Xi , i=1,2, …,16 由题给条件知，诸Xi 独立，E( Xi ) =100, D( Xi ) =10000 16只元件的寿命的总和为
概率论与数理统计 第五章 大数定律与中心极限定理
nA 一种提法是： “当 n 足够大时，频率 n 与概率 p 有较大偏差
的概率很小” ，用数学语言表达，就是要证明： 0 ，有
nA nA lim P p 0 lim P p 1 n ，或 n n ． n
另一种提法是：研究随机变量 n A 的分布的极限行为，即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 ． n
证 引入
1 , 第i次试验中事件A发生 Xi ，i 1 , 2 , , n ， 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验．若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数， 则事件 A 发生的频率为 n ． 所谓 “频 率的稳定性” ，无非是指当试验次数 n 无限增大(即 n )时，
nA 频率 n 无限接近于某个固定常数．这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” ． nA 由此可见，讨论频率 n 的极限行为，是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识，我们先明确随机变量序列收敛的
相关概念，同时给出一个重要的不等式，它是以下理 论证明所用的主要工具之一．
定 义 1.1 设 a 是常数，对于随机变量序列 ，如果 0 ，有
X1 , X 2 ,
, Xn ,
lim P
n
个常数，即在这个常数的附近摆动，这就是所谓的“频
率稳定性”．但对这一点，至今为止我们尚未给予理论 上的说明．另外，在第二章我们给出了二项分布的泊松 逼近，那么更一般的近似计算方案又是怎样呢?
的概率很小” ，用数学语言表达，就是要证明： 0 ，有
nA nA lim P p 0 lim P p 1 n ，或 n n ． n
另一种提法是：研究随机变量 n A 的分布的极限行为，即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 ． n
证 引入
1 , 第i次试验中事件A发生 Xi ，i 1 , 2 , , n ， 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验．若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数， 则事件 A 发生的频率为 n ． 所谓 “频 率的稳定性” ，无非是指当试验次数 n 无限增大(即 n )时，
nA 频率 n 无限接近于某个固定常数．这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” ． nA 由此可见，讨论频率 n 的极限行为，是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识，我们先明确随机变量序列收敛的
相关概念，同时给出一个重要的不等式，它是以下理 论证明所用的主要工具之一．
定 义 1.1 设 a 是常数，对于随机变量序列 ，如果 0 ，有
X1 , X 2 ,
, Xn ,
lim P
n
个常数，即在这个常数的附近摆动，这就是所谓的“频
率稳定性”．但对这一点，至今为止我们尚未给予理论 上的说明．另外，在第二章我们给出了二项分布的泊松 逼近，那么更一般的近似计算方案又是怎样呢?
概率论与数理统计第5章-大数定律与中心极限定理
又设函数 g ( x , y ) 在点 (a , b ) 连续,
P 则 g( X n , Yn ) g(a , b ).
证明
因为 g( x , y ) 在 (a , b) 连续,
0, 0,
g( x , y ) g(a , b) ,
g ( x, y) g (a, b) ,
因此0 P{ g( X n , Yn ) g(a, b) }
n 0, P X n a P Yn b 2 2
P 则 g( X n , Yn ) g(a , b).
[证毕]
定理5.1(贝努里大数定律) 设nA是n重贝努里试验中事件A发生的 次数, p是事件A在一次试验中发生的概率, 则对于任意的 0, 有
P P 注 : 若X n X , Yn Y , 则 P P (1) X n Yn X Y ;(2) X n Yn X Y;
Xn P X (3) X nYn XY ;(4) Yn Y
P
依概率收敛序列的性质
P P 设 Xn a , Yn b, (a , b为常数）
第五章 大数定律与中心极限定理
5.1 大数定律 5.2 中心极限定理
“概率是频率的稳定值”。前面已经提到，当随机 试验的次数无限增大时，频率总在其概率附近摆动， 逼近某一定值。大数定理就是从理论上说明这一结果。 正态分布是概率论中的一个重要分布，它有着非常广 泛的应用。 中心极限定理阐明，原本不是正态分布的一般随机 变量总和的分布，在一定条件下可以渐近服从正态分 布。这两类定理是概率统计中的基本理论，在概率统 计中具有重要地位。
大数定律的客观背景 大量的随机现象中平均结果的稳定性
概率论与数理统计 6.1 大数定律
EXi , i 1,2, , 则序列X1, , Xn , 服从大数定律，
即对 0,
lim
n
P
1 n
n i 1
Xi
1,
亦即
1
n
n i
Xi
P .
辛钦
辛钦大数定律去掉了方差存在的条件，但增加了iid这一前提， 此定律就是日常生活中经常使用的算术平均值法则的理论依据。
例1：设X1, , Xn , 是i.i.d.r.v.序列，其共同 分布列为
它的一个特例。下面是大数定律的一般形式：
定义：设X1, , Xn , 是一个r.v.序列，若对 0,
均有
lim
n
P
1 n
n i 1
1n X i n i1 EX i
1.
称r.v.序列X1, , Xn , 服从大数定律。
定理3(Khinchin大数定律): 设X1, , Xn , 是i.i.d.r.v.序列，
试验下的客观规律，也为用频率来近似概率提供了理论依据。
注1：如果事件A发生的概率很小，则由贝努利定律，事件A 发生的频率也很小，即事件A很少发生，也就是说，概率很小
的事件在一次试验中几乎是不会发生的，此 即 小概率原理。
注2：这里 X 与p之间任意接近不同于微积分中的极限概念， n
是一种新的收敛概念。
定义：设Y1, ,Yn , ,是r.v.序列，a为常数，若对 0,
lim
n
P ( Yn
a
)
1,
称Yn依概率收敛于a, 记作Yn P a.
贝努利大数定律也可以记为：
X P p. n
定理2 (Chebyshev大数定律) : 设X1, , Xn , 是两两不相关 的r.v.序列，且方差是一致有界的，即存在常数C, 使得
概率论与数理统计----第五章大数定律及中心极限定理
故
= 1 − Φ(3.54)
=0.0002
一箱味精净重大于20500的概率为 的概率为0.0002. 一箱味精净重大于 的概率为
推论:
特别，若X～Ｂ（n，p）,则当n充分大时， 特别， ～Ｂ（n 则当n充分大时，
Ｘ～Ｎ（np，npq） Ｘ～Ｎ（np，npq） np
若随机变量Ｘ～Ｂ（ Ｘ～Ｂ（n， ），则对任意实数x有 ），则对任意实数 即 若随机变量Ｘ～Ｂ（ ，p），则对任意实数 有
不等式证明 P{-1<X<2n+1}≥(2n+1)/(n+1)(n+1)
3. 设P{|X-E(X)|<ε}不小于 不小于0.9,D(X)=0.009.则用 不小于 则用
切比绍夫不等式估计ε的 最小值是( 切比绍夫不等式估计 的 最小值是
0.3 ).
4.(894) 设随机变量 的数学期望为 设随机变量X的数学期望为 的数学期望为µ, 标准差为σ,则由切比绍夫不等式 标准差为 则由切比绍夫不等式 P{|X-µ|≥3σ}≤( ). 1/9 5. 设随机变量X的分布律为 设随机变量 的分布律为 P{X=0.3}=0.2, P{X=0.6}=0.8, 用切比绍夫不等式估计 |X-E(X)|<0.2的概率 的概率. 的概率
1 n lim P ∑ Xi − µ < ε = 1 n→∞ n i =1
定理（贝努里利大数定律） 设每次实验中事件A发生的概率 定理（贝努里利大数定律） 设每次实验中事件A 为p，n次重复独立实验中事件A发生的次数为nA，则对任 次重复独立实验中事件A发生的次数为n 意的ε>0 意的ε>0 ，事件的频率 nA ，有 ε>
∫
+∞
−∞
= 1 − Φ(3.54)
=0.0002
一箱味精净重大于20500的概率为 的概率为0.0002. 一箱味精净重大于 的概率为
推论:
特别，若X～Ｂ（n，p）,则当n充分大时， 特别， ～Ｂ（n 则当n充分大时，
Ｘ～Ｎ（np，npq） Ｘ～Ｎ（np，npq） np
若随机变量Ｘ～Ｂ（ Ｘ～Ｂ（n， ），则对任意实数x有 ），则对任意实数 即 若随机变量Ｘ～Ｂ（ ，p），则对任意实数 有
不等式证明 P{-1<X<2n+1}≥(2n+1)/(n+1)(n+1)
3. 设P{|X-E(X)|<ε}不小于 不小于0.9,D(X)=0.009.则用 不小于 则用
切比绍夫不等式估计ε的 最小值是( 切比绍夫不等式估计 的 最小值是
0.3 ).
4.(894) 设随机变量 的数学期望为 设随机变量X的数学期望为 的数学期望为µ, 标准差为σ,则由切比绍夫不等式 标准差为 则由切比绍夫不等式 P{|X-µ|≥3σ}≤( ). 1/9 5. 设随机变量X的分布律为 设随机变量 的分布律为 P{X=0.3}=0.2, P{X=0.6}=0.8, 用切比绍夫不等式估计 |X-E(X)|<0.2的概率 的概率. 的概率
1 n lim P ∑ Xi − µ < ε = 1 n→∞ n i =1
定理（贝努里利大数定律） 设每次实验中事件A发生的概率 定理（贝努里利大数定律） 设每次实验中事件A 为p，n次重复独立实验中事件A发生的次数为nA，则对任 次重复独立实验中事件A发生的次数为n 意的ε>0 意的ε>0 ，事件的频率 nA ，有 ε>
∫
+∞
−∞
概率论与数理统计 五大数定理
[注]： X n P → a 注： 推论(辛钦大数定律) 推论(辛钦大数定律)
X n − a P → 0
设独立随机变量 X 1 , X 2 ,⋅ ⋅ ⋅, X n 服从同一分布 并且有数学 服从同一分布, 期望 µ 及方差 σ 2， X 1 , X 2 ,⋅ ⋅ ⋅, X n 的算术平均值当 n → ∞ 则 时，按概率收敛于µ， 即对于任何正数 ε，恒有 按概率收敛于 ，
第五章 大数定理与中心极限定理
“大数定律”: 用来阐明大量随机现象平均结果稳定性的定理 大数定律” 用来阐明大量随机现象平均结果稳定性的定理. 大数定律
一、切比雪夫不等式
切比雪夫不等式: 切比雪夫不等式: 设随机变量 X 有数学期望 EX 及方差 DX， ， 下列不等式成立： 则对于任何正数 则对于任何正数 ε，下列不等式成立：
2 i
n
则：E(Yn ) =
2 µi , D(Yn ) = ∑σi2 = sn . ∑
n i =1
n
i =1
i =1
∴ Z n = Yn
1 = sn
∗
n Y n − EY n 1 n = = ∑ X i − ∑ µ i sn i =1 DY n i =1
∑ (X
i =1
n
i
− µ i ), 则有：E ( Z n ) = 0 , D ( Z n ) = 1 . 则有：
概率论中有关论证随机变量的和的极限分布是正态分布的定 概率论中有关论证随机变量的和的极限分布是正态分布的定 随机变量的和的极限分布是正态分布 是独立随机变量， 设 X 1 , X 2 ,⋅ ⋅ ⋅ , X n ,⋅ ⋅ ⋅ 是独立随机变量，并各有
EX i = µ i , DXi = σ , i = 1,2,⋅ ⋅ ⋅, n,⋅ ⋅ ⋅. 设 n = ∑Xi , Y
概率论与数理统计5.1大数定律
即
1 n lim P X i ò 1. n n i 1
证明超本课程范围，略，详见魏宗舒的教材。 定律的含义：观测量X在相同的条件下重复观测n 次，当n充分大时，“观测值的算术平均值接近 于期望”是一大概率事件。 以任意大的把握用观测值 1 n 的算术平均值近似期望。 xi 依概率收敛于 n i 1 1 n 即n充分大时， x xi n i 1 9
2
n
1.
6
说明大量随机试验的平均具有稳定性.
2). 一般情形 定理 设随机变量列 { X n }相互独立，且均具有 数学期望, 且方差有界，即 D( X n ) C, n 1, 2,..., 则 ò 0, 有 1 n 1 n lim P X i E ( X i ) ò 1. n n i 1 n i 1
成立，则称 X n 服从大数定律。
随机变量列前若干项的算术平均依概率收敛于某 数列。
4
切比雪夫（Chebyshev)不等式
设随机变量X具有有限数学期望EX和方差DX，则 对于任意正数
，如下不等式成立。
DX
P X EX
2
——切比雪夫不等式
5
2. 切比雪夫定理
1). 特殊情形 定理5.1 设随机变量列 { X n }相互独立，且具有相 同的数学期望和方差， E( X n ) , D( X n ) 2 , n 1, 2,...,
A发生的频率代替概率的理论依据.
前面介绍的大数定律要求各随机变量方差存在。
8
于 ò 0, 有
4. 辛钦大数定律（样本平均数稳定性） 定理 设随机变量X1，X2，…，Xn，„相互独