概率论概率5大数定律
概率论与数理统计第五章 大数定律及中心极限定理
在100次炮击中炮弹命中的总颗数
100
X = ∑ Xk k =1
相互独立地服从同一分布，
E(Xk)=2, D(Xk)=1.52 (k=1,2,…,100)
随机变量
∑ 1
100 × 1.5
100 k =1
(
X
k
−
2)
=
1 15
(
X
−
200)
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 （随机变量序列独立同分布且数学期望存在）
n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
§5.2 中心极限定理
望 E( Xk ) = µ (k = 1,2,"),则对于任意ε > 0,有
∑ lim
n→∞
P {|
1 n
n k =1
Xk
−
µ
|<
ε
}
=
1
说明
伯努利大数定理是辛钦定理的特殊情
况。n个随机变量的算术平均值以概率收敛于算
术平均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 算术平均值依概率收敛于数学期望
= 1 − P { V − 100 ≤ 0.387 } (10 12 ) 20
∫ 0.387
≈ 1−
1
e − t 2 dt
−∞ 2π
= 1 −Φ (0.387) = 0.348
所以 P{V > 105} ≈ 0.348
概率第五章_大数定律与中心极限定理090505
P ( − Eξ ε ) = ξ ≥
P(ξ ≥ Eξ + ε ) + P (ξ ≤ Eξ − ε )
k
=
≤
k : xk ≥ E +
∑ξ ε p
k
+
k : xk ≤ E −
∑ξ ε p
pk +
k :xk ≥ E +
∑ξ ε
( x − Eξ ) 2
ε
2
k :xk ≤ E −
∑ξ ε
( x − Eξ ) 2
， 方差 Dξ n ( n = 1, 2,L)，且 Dξi < l (i = 1, 2,L) 其中 l 与 i 无关的
1 Eξ = (1 + 2 + 3 + L + 6) 6
35 7 故 Eξ = Dξ = 12 2
4 2 = P (ξ = 5) + P(ξ = 6) + P (ξ = 1) + P (ξ = 2) = = 6 3 7 1 P( − 2 ) = P(ξ ≥ 5.5) + P(ξ ≤ 1.5) = P (ξ = 6) + P (ξ = 1) = ξ ≥
即
lim P ( − p < ε ) = 1 n →∞ n
ξ
此定理表明：当试验在不变的条件下重复进行很多次时， 随机事件的频率 频率在它的概率 概率附近摆动。 频率 概率 由贝努里大数定律可知，若事件A的概率很小很小时，则 它的频率也很小很小，即事件A很少发生或几乎不发生， 这种事件叫小概率事件。反之，若随机事件的概率很接近1， 则可认为在个别试验中这事件几乎一定发生。 同分布的两个或多个随机变量: 同分布的两个或多个随机变量 离散型: 它们的概率分布律相同. 离散型 它们的概率分布律相同 连续型: 它们的概率密度函数相同. 连续型 它们的概率密度函数相同 所以它们的期望与方差一定相同. 所以它们的期望与方差一定相同
概率论与数理统计 第五章
Xn ⎯ ⎯→ X 2. 依概率收敛与依分布收敛的关系
依概率收敛 ⇒ 依分布收敛
L
3. 定义：中心极限定理 设随机变量 X ~ N(0,1)，{Xi }，i = 1, 2, … 相互独 立，且数学期望和方差都存在, 若标准化随机变量序列
∑
n
i =1
Xi −
∑ E(X
i =1
n
i
)
∑
n
i =1
D(X i)
所以结论成立。 由此有，若X ~ B( n, p )，对于足够大的n，有 ⎧ m1 − np X − np m2 − np ⎫ ⎪ ⎪ < ≤ P{m1 < X ≤ m2 }= P ⎨ ⎬ np(1 − p) np(1 − p) ⎪ ⎪ np(1 − p) ⎩ ⎭
⎧ Yn − np ⎫ ⎪ ⎪ ≤ x ⎬ = Φ( x ) lim P ⎨ n →∞ ⎪ np(1 − p ) ⎪ ⎩ ⎭
证明：对于任意正整数n，随机变量Yn 可表示为 证明：对于任意正整数n Yn = X1＋ X2＋…＋ Xn X1, X2,…, Xn 相互独立，Xi ~ B( 1, p )，且有 E( Xi ) = p , D( Xi ) = p(1-p) 所以随机变量序列{ Xi }, i =1,2,…满足独立同分布 中心极限定理条件。即有
切比雪夫不等式的应用 1）估计随机变量落在某个区间内的概率 (P125例5.5.2) 2）估计ε的值, 使 P(│X - E(X)│<ε) ≥ a (0<a<1) 3）证明大数定律。
二. 大数定律 定义： 依概率收敛 设{Xn}是一个随机变量序列，X 是一个随机变量 或常数，若对于任意的ε＞ 0，有 lim P{| X n − X |≥ ε } = 0
概率论与数理统计第五章大数定律及中心极限定理
概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。
数学中研究大量的工具是极限。
因此这一章学习概率论中的极限定理。
第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。
意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。
大数定律解释了这一结论。
首先介绍切比雪夫不等式。
一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。
切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。
进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。
当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。
二、依概率收敛随机变量序列即由随机变量构成的一个序列。
不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。
只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。
依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。
注意这三个大数定律的条件有何异同。
定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。
定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。
伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。
伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。
23个大数定律
23个大数定律大数定律是概率论中的一组重要定理，用于描述在随机试验中大量重复进行时的规律性现象。
以下是23个大数定律的简要介绍。
1. 大数定律：随着试验次数的增加，随机变量的平均值会趋近于其期望值。
2. 弱大数定律：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
3. 辛钦大数定律：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值。
4. 伯努利大数定律：在一系列独立的伯努利试验中，事件发生的频率趋近于其概率。
5. 泊松大数定律：对于独立同分布的泊松随机变量序列，其平均值以概率1收敛于其参数。
6. 中心极限定理：大量独立同分布的随机变量的和趋近于正态分布。
7. 林德伯格-列维定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于标准正态分布。
8. 稳定中心极限定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于稳定分布。
9. 辛钦大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
10. 多重大数定律：对于多个随机变量序列，其平均值以概率1收敛于各自的期望值。
11. 大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
12. 独立非同分布大数定律：对于独立非同分布的随机变量序列，其平均值以概率1收敛于各自的期望值。
13. 独立同分布大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
14. 辛钦大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
15. 大数定律的加法形式：对于独立同分布的随机变量序列，其和以概率1收敛于各自的期望值之和。
16. 大数定律的乘法形式：对于独立同分布的随机变量序列，其乘积以概率1收敛于各自的期望值之积。
17. 大数定律的极限形式：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值的极限。
18. 大数定律的收敛速度：随着试验次数的增加，随机变量的平均值与期望值之间的差异逐渐减小。
概率论-5.1 大数定律
量 X ， p 是事件 A 在每次试验中发生的概率，记
1, 第i次试验中事件A发生， Xi 0, 第i次试验中事件A不发生. i 1, 2,L
n
则 X X i ．由于 X i 只依赖于第 i 次试验，而各次试验 i 1
是相互独立的，因此 X1 ， X 2 ，…， X i ，…相互独立，
并且都服从 0-1 分布，故有
2
目录
上页
下页
返回
证明
记 Yn
1 n
n i 1
Xi
，则
EYn
E
1 n
n i1
Xi
1 n
n i1
EXi ,
i
1 n2
n i1
DX i
c. n
由切贝雪夫不等式，得
P
1 n
n i 1
Xi
1 n
n
EX i
i 1
1
c
n
2
故
lim
n
P
1 n
n i 1
第五章大数定律和中心极限定理
§5.1 大数定律 §5.2 中心极限定理
2020年4月26日星期日
1
目录
上页
下页
返回
定义 1 设 X1, X 2,L , X n ,L 是随机变量序列， 是一个常
数，若对于任意给定的正数 ，有
lim
n
P|
Xn
|
1，
则 称 随 机 变 量 序 列 {Xn} 依 概 率 收 敛 于 ， 记 为
Xi
1 n
n
EX i
i 1
1.
2020年4月26日星期日
3
目录
上页
下页
概率论与数理统计 第五章 大数定律与中心极限定理
的概率很小” ，用数学语言表达，就是要证明： 0 ，有
nA nA lim P p 0 lim P p 1 n ，或 n n ． n
另一种提法是：研究随机变量 n A 的分布的极限行为，即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 ． n
证 引入
1 , 第i次试验中事件A发生 Xi ，i 1 , 2 , , n ， 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验．若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数， 则事件 A 发生的频率为 n ． 所谓 “频 率的稳定性” ，无非是指当试验次数 n 无限增大(即 n )时，
nA 频率 n 无限接近于某个固定常数．这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” ． nA 由此可见，讨论频率 n 的极限行为，是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识，我们先明确随机变量序列收敛的
相关概念，同时给出一个重要的不等式，它是以下理 论证明所用的主要工具之一．
定 义 1.1 设 a 是常数，对于随机变量序列 ，如果 0 ，有
X1 , X 2 ,
, Xn ,
lim P
n
个常数，即在这个常数的附近摆动，这就是所谓的“频
率稳定性”．但对这一点，至今为止我们尚未给予理论 上的说明．另外，在第二章我们给出了二项分布的泊松 逼近，那么更一般的近似计算方案又是怎样呢?
第五章 大数定律与中心极限定理 《概率论》PPT课件
概率论与数理统计
§5.2 中心极限定理
2）中 心极限 定理表明，若 随 机 变 量 序 列
X 1 , X 2 , , X n 独立同分布，且它们的数学期
望及方差存在，则当n充分大时，其和的分布,
n
即 X k 都近似服从正态分布. (注意:不一定是 k 1
标准正态分布）
3）中心定理还表明：无论每一个随机变量 X k ,
概率论与数理统计
§5.1 大数定律
定理1（Chebyshev切比雪夫大数定律）
假设{ Xn}是两两不相关的随机
变量序列，EXn , DXn , n 1,2, 存在，
其方差一致有界，即 D(Xi) ≤L，
i=1,2, …， 则对任意的ε>0，
lim P{|
n
1 n
n i1
Xi
1 n
n i1
E(Xi ) | } 1.
概率论与数理统计
§5.2 中心极限定理
现在我们就来研究独立随机变量之和所 特有的规律性问题.
在概率论中，习惯于把和的分布 收敛于正态分布这一类定理都叫做中心 极限定理.
下面给出的独立同分布随机变量序 列的中心极限定理, 也称列维——林德 伯格（Levy－Lindberg）定理.
概率论与数理统计
§5.2 中心极限定理
大量的随机现象平均结果的稳定性
大量抛掷硬币 正面出现频率
生产过程中的 字母使用频率 废品率
概率论与数理统计
§5.1 大数定律
一、大数定律
阐明大量的随机现象平均结果的稳定性的一系
列定理统称为大数定律。
定义1 如果对于任意 0, 当n趋向无穷时，事件
" Xn X " 的概率收敛到1，即
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Xi 1
即
X
1n n i1
Xi
P
【注】 辛钦大数定理不要求随机变量的方差存 在.它为寻找随机变量的期望值提供了一条实际 可行的途径.
证 EX ()En 1i n1Xin 1i n1E(iX )μ
DX )(D n 1i n1Xin 12i n1Di()X σ n 2
由切比雪夫不等式
DX () P{XE(X)ε}1
例1 一盒同型号螺丝钉共100个，已知该型号的螺丝钉的重量是
一个随机变量，期望值是100g，标准差是10g ，求一盒螺丝钉 的重量超过10.2kg的概率.
解：设Xi 为第i个螺丝钉的重量, i=1,2,…,100.Xi相互独立同分布.
100
于是, 一盒螺丝钉的重量为 X X i i 1 且 E (X i) 1,0 0 D (X i) 1,i0 1 ,2 ,.1 ...0 ,0
Yn
n
i1Xi n n
的分布函数Fn(x)满足:对任意实数x，有
~~ X1 X N ( , ) nl i mFn(xY )nnl i mP
n n
n in i ni 111 X X nn ii nin近 x近 似 x 似 N21(0e,1)t22d2 t(证(明x)略. )
定理表明,当n充分大时,Yn近似服从标准正态分布.
ε2
即
P{
1n ni1
Xi-
ε}1n2
lim P{|X-|}1
n
推论1（伯努利大数定律）设nA是n 次独立重复试验
中A发生的次数.p 是事件A在每次试验中发生的概率,
则对任意 > 0,有
ቤተ መጻሕፍቲ ባይዱ
nl im PnnA
-
p
1
nl im PnnA
-
p
0
证: 因为 nA~b(n, p), 有 nAX 1X 2 X n
记为:
Yn Pa
性质：设 Xn Pa, Yn Pb , g(x, y)在点(a, b)连续,
则 g(Xn,Y n) P g(a,b)
定理1 （辛钦大数定理）设随机变量序列 X1,X2,…,Xn,...相互独立同分布，数学期望
E(Xk)= (k=1,2,...) ,则对任意的 > 0,有
lni mPn1in1
在实际问题中，常需考虑许多随机因素所产生总影响.
例如：炮弹射击的落点与目标的偏差，就受着许多 随机因素的影响. 如空气阻力所产生的误差， 瞄准时的误差，炮弹或炮身结构所引起的误差等等.
对我们来说重要的是这些随机因素的总影响.
观察表明，如果一个量是由大量相互独立的随机因素的 影响所造成，而每一个别因素在总影响中所起的作用不大. 则这种量一般都服从或近似服从正态分布.
现在我们研究独立随机变量之和的规律性问题：
1.当n无限增大时，这个和的极限分布是什么？
2.在什么条件下极限分布是正态分布？ 3. 考虑n个随机变量之和的标准化的随机变量
n
n
Xk E( Xk)
Zn k1
k 1 n
D( Xk )
k 1
的分布函数的极限.
➢独立同分布的中心极限定理
定理1 设随机变量X1,X2,…,Xn,… 相互独立,服从同一 分布,且 E(Xk)=，D(Xk)=20 (k=1,2, ...) , 则
第五章 大数定律
及中心极限定理
§5.1 大数定律
§5.2 中心极限定理
切比雪夫不等式
定理 设随机变量X的数学期望E(X)= ,
方差D(X)=2, 则对任意的正数，有
P{|X|}22
P{|X|}122
--------切比雪夫(chebyshev)不等式．
证明:（X为连续型） 设X的概率密度为f(x)，则
推论2:若 {Xi,i1,2,...}为独立同分布随机变量序列 ,
E(X1k) ,则
1 n
ni1
Xik
P E(X1k)
例 参 数 设 为 随 机 的 变 指 量 数 序 分 列 布 {， X则 n,n当 n1} 相 互 时 独 ， 立 且 服 从
1 ni n1Xi2依 概 率 收 敛 于
二、中心极限定理 中心极限定理的客观背景
由中心极限定理
100
P{ Xi 1020}0 i1
100
Pi1
Xi
100
100
10201010000
P
100 i 1
X
i 10000 100
2
1 (2)10 .97 7 0 .0 22 5275
定理3 (棣莫弗-拉普拉斯定理)设随机变量n(n=1,2,…) 服从参数为n，p(0< p < 1)的二项分布，则对任意 x，
E(X)=0.5 D(X)=0.475
由切比雪夫不等式，得 P{X|-0.5|2}0.88125
(b) P{X|-0.5|2}0.11875
定义1 设Y1, Y2 …,Yn ,...为一随机变量序列,a是常数.
若对任意正数，有 ln i m P {|Y na|}1
则称随机变量序列Y1, Y2 ,…,Yn , ... 依概率收敛于a ，
P{X | |4}19 10.93.75
16
(2) 切比雪夫不等式也从另一角度体现了方差D(X)
的意义。从切比雪夫不等式可以看出，随机变量
X的方差越小，则X的取值越集中在其中心E(X)的
附近。方差越小，X取值越集中在区间(E(X)-ε,
E(X)+ε)之内。
(3)可以证明方差性质（P136）
例1一台设备由10个独立工作的元件组成,每一元件 在时间T发生故障的概率为0.05．设在时间T发生 故障的元件数为X.试用切比雪夫不等式估计随机 变量X与其数学期望的偏差（若不对称？P135 例5.1） （a）小于2；(b)不小于2的概率． 解 （a）由题意知X~b(10, 0.05)，且
P{X|-|} f (x)dx
(x)2
f(x)dx
|x|
|x| 2
1 2
(x)2f(x)dx
D(X)
2
2 2
意义：切比雪夫不等式 P{|X|}12 2
(1)这个不等式给出了在随机变量X的分布未知的情
况下事件 |x-μ|<ε的概率的一种估计方法。例如
:
P{X | |3}110.88;89
因而 E(Xk)=p， (k=1,2,...),由辛钦大数定理
nl im Pn1kn1Xk
-
p
1
即
nl im PnnA
-
p
1
nA P P(A)(,n) n
【注】
1. 伯努利大数定理以严格的数学形式表达了频 率的稳定性.
2.伯努利大数定律提供了通过试验来确定事件概率 的方法.
在实际应用中，当试验次数很大时，往往 用事件发生的频率来代替事件的概率．