第五章 大数定律及中心极限定理(复习)
概率论与数理统计第五章大数定律及中心极限定理
概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。
数学中研究大量的工具是极限。
因此这一章学习概率论中的极限定理。
第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。
意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。
大数定律解释了这一结论。
首先介绍切比雪夫不等式。
一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。
切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。
进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。
当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。
二、依概率收敛随机变量序列即由随机变量构成的一个序列。
不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。
只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。
依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。
注意这三个大数定律的条件有何异同。
定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。
定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。
伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。
伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。
(完整版)大数定律和中心极限定理
第五章 大数定律和中心极限定理一、内容提要（一）切贝谢夫不等式 1. 切贝谢夫不等式的内容设随机变量X 具有有限的数学期望E （X ）和方差D （X ），则对任何正数ε，下列不等式成立。
(){}()(){}().1,22εεεεX D X E X P X D X E X P -≤-≤≥-2. 切贝谢夫不等式的意义（1）只要知道随机变量X 的数学期望和方差（不须知道分布律），利用切贝谢夫不等式，就能够对事件(){}ε≥-X E X 的概率做出估计，这是它的最大优点，今后在理论推导及实际应用中都常用到切贝谢夫不等式。
（2）不足之处为要计算(){}ε≥-X E X P 的值时，切贝谢夫不等式就无能为力，只有知道分布密度或分布函数才能解决。
另外，利用本不等式估值时精确性也不够。
（3）当X 的方差D (X )越小时，(){}ε≥-X E X P 的值也越小，表明X 与E (X )有较大“偏差”的可能性也较小，显示出D (X )确是刻画X 与E (X )偏差程度的一个量。
（二）依概率收敛如果对于任何ε＞0，事件{}ε a X n -的概率当n →∞时，趋于1，即{}1lim =-∞→ε a X P n n ，则称随机变量序列X 1,X 2,…,X n ,…当n →∞时依概率收敛于α。
（三）大数定律 1. 大数定律的内容（1）大数定律的一般提法若X 1,X 2,…,X n ,…是随机变量序列，如果存在一个常数序列α1,…,αn ,…，对任意ε＞0，恒有11lim 1=⎭⎬⎫⎩⎨⎧-∑=∞→ε n i n i n a X n P ， 则称序列{X n }服从大数定律（或大数法则）。
（2）切贝谢夫大数定律设随机变量X 1,X 2,…,X n ,…相互独立，分别有数学期望E(X i )和方差D(X i )，且它们的方差有公共上界C ，即()().,,,2,1, n i C X D i =≤则对于任意的ε＞0，恒有()111lim 11=⎭⎬⎫⎩⎨⎧-∑∑==∞→ε n i ni i i n X E n X n P 。
第五章大数定律及中心极限定理
k 1
其中 X1, X2 ,, Xn是相互独立的、服从同一
均值为μ，方差为σ2>0的独立同分布的随机变量
n
X1,X2,…,Xn之和 X k 的标准化变量，当n充分
大时，有
k 1
n
k 1
Xk
nm
～近似N(0,1)
ns
n
这样可以用(标准)正态分布来对 X k 作
k 1
理论分析或实际计算，不必求分布函数
19/41
§5.2 中心极限定理
将上式改写为
即对任意的正数ε，当n充分
lim P n
1 n
n k 1
Xk
m
1.
大时，不等式 立的概率很大
|
X
m | 成
3/41
证 由随机变量X1,X2,…,Xn,…相互独立，且具有 相同的数学期望和方差，有
E
1 n
n k 1
Xk
lim
n
P
1 n
(X1
X2
Xn)
p
1,
即
lim
n
P
nA n
p
1.
伯努利大数定理表明，事件发生的频率nA/n依概率收敛
于事件的概率p，以严格的数学形式表达了频率的稳定性和概
率的合理性
近似：当n很大时，事件发生的频率nA/n与概率有较大偏差的 可能性很小，因此由实际推断原理，由于小概率事件几乎不
辛钦定 理
X P m
第五章 大数定律与中心极限定理
【解】 设 X i 表示“该射手第 i 次射击的得分”，则 Y = X i 表示射手所得总分，
i=1
Xi (i =1, 2, , 200) 独立同分布，分布表如下：
Xi
0
2
3
4
5
p
由于
0.1
0.1
0.2
0.2
0.4
E( Xi ) = 0×0.1+ 2×0.1+ 3×0.2 + 4×0.2 + 5×0.4 = 3.6 ；
试验中发生的概率，这个定律以严格的数学形式刻画了频率的稳定性，在实际应用中，当试 验次数很大时，便可以用事件发生的频率来替代事件的概率.
3、辛钦大数定律
设随机变量序列 X , X , 12
，Xn,
相互独立且服从相同的分布,具有相同的数学期望
E(X i
)
=
μ
,（
i
=
1,
2,
） ,则对任意给定的正数 ε ，有
) ,则对任意实数 x ，有
∑ ⎧
⎪
n
X − nμ i
⎫ ⎪
⎨ lim P i=1
≤ x⎬ =
⎪ n→∞
nσ
⎪
⎩
⎭
∫ 1
2π
x −t2
e
−∞
2 dt = Φ(x) .
154
第五章 大数定律与中心极限定理
n
∑ 【评注】 n 个相互独立同分布、方差存在的随机变量之和 Xi ，当 n 充分大时，近似 i =1
第五章 大数定律与中心极限定理
本章学习要点
① 了解切比雪夫不等式； ② 了解切比雪夫大数定律、伯努利大数定律和辛钦大数定律（独立同分布随机变量的大
第五章 大数定理与中心极限定理
说明
1 n 1、定理中{| X i | }是指一个随机事件， n i 1 当n 时，这个事件的概率趋于1.
2、 定理以数学形式证明了随机变量X 1 , X n 1 n 的算术平均X X i 接近数学期望E（X k） n i 1 （k 1,2, n），这种接近说明其具有的稳定性 .
第五章 大数定律与中心极限定理
第五章 大数定律与中心极限定理
§1 大数定律
1.1 切比雪夫不等式 1.2 依概率收敛 1.3 大数定律
§2 中心极限定理
HaiNan University
1
第五章 大数定律与中心极限定理
大数定律的客观背景
事件发生的频率稳定于某一常数 大量随机试验中 测量值的算术平均值具有稳定性
证明 取连续型随机变量的情况来证明.
设 X 的概率密度为 f ( x ), 则有
HaiNan University3第五章 大数定律 Nhomakorabea中心极限定理
P{ X μ ε }
2 x μ ε
x μ ε
f ( x)d x
x μ f ( x)d x 2 ε
1 1 2 2 2 ( x μ) f ( x ) d x 2 σ . ε ε
定理2 (契比雪夫大数定律)
1 nM M 1 D( X i ) 2 D( X i ) 2 . n i 1 n n n i 1 由契比雪夫不等式得: M 1 n 1 n P{ X i E ( X i ) } 1 n n i 1 n i 1 2
HaiNan University
10
第五章 大数定律与中心极限定理
1.3 大数定律
问题 : 设nA是n重贝努利试验中事件A发生 的次数，p是事件A发生的概率，
第五章__大数定律与中心极限定理讲解
n
n
●伯努利大数定律说明了当重复独立试验次数 n 很大时，频率与其概率之差可为任意小， 即说明了其频率的稳定性。
从而在实际推断中，当试验次数较大时，可以 用事件发生的频率来近似代替概率。
若记
1, 第i次实验中事件A发生 Xi 0，第i次实验中事件A不发生
(i 1, 2
n)
n
P400 X 600 由切比谢夫不等式得
P400 500 X 500 600 500 P| X E(X ) | 100
1
D(X ) 100 2
1
250 100 2
0.975
(2)设需要做n次独立试验, 则X ～ B(n, 0.5), 求n使得
P
0.35
X n
0.65
0.95
P0.35
X n
0.65
P0.35
n
0.5
n
X
0.5 n
0.65n
0.5n
PX 0.5n 0.15n 0.95
成立,由切比谢夫不等式得
DX
0.25n
P X 0.5n 0.15n 1 (0.15n)2 1 (0.15n)2
D( Xi ) c(i 1, 2 ),则对任意 0,有
lim P(
n
1 n
n i 1
Xi
1 n
n i 1
E( Xi )
)
1
证明: 由期望与方差的性质知
E(1
n
n i 1
Xi)
(完整word版)第五章大数定律与中心极限定理
第五章 大数定律与中心极限定理§5.1 大数定律 §5.2 中心极限定理一、填空题1．设2(),()E X D X μσ==,则由切比雪夫不等式有{||3}P X μσ-≥≤ 1/9 ； 2．设随机变量12,,,n X X X 相互独立同分布，且()i E X μ=，()8i D X =，(1,2,,)i n =， 则由切比雪夫不等式有{}||P X με-≥≤28n ε 。
并有估计{}||4P X μ-<≥ 112n-； 3．设随机变量n X X X ,,,21 相互独立且都服从参数为 的泊松分布，则 1lim n i i n X n P x n λλ=→∞⎧⎫-⎪⎪⎪≤=⎬⎪⎪⎪⎩⎭∑ ()x Φ ；4．设随机变量X 和Y 的数学期望分别为2-和3，方差分别为1和4,而相关系数为0.5-，则根据切比雪夫不等式，{||6}P X Y +≥≤；解：因为 ()()()220E X Y E X E Y +=+=-+=,cov(.)()()0.5141XY X Y D X D Y ρ==-=-， ()()()2cov(.)142(1)3D X Y D X D Y X Y +=++=++⨯-=，故由切比雪夫不等式,231{||6}{|()0|6}612P X Y P X Y +≥=+-≥≤=. 5．设随机变量12,,,n X X X 相互独立，都服从参数为2的指数分布，则n →∞时，211n n i i Y X n ==∑依概率收敛于 。
解:因为 11(),(),(1,2,,)24i i E X D X i n ===，所以 22111()()()442i i i E X D X E X =+=+=,故由辛钦大数定律，对0ε∀>,有{}2111lim ()lim 12n n n i n n i P Y E Y P X n εε→∞→∞=⎧⎫-<=-<=⎨⎬⎩⎭∑,即 211n n i i Y X n ==∑依概率收敛于21()2i E X =。
第5章__大数定律和中心极限定资料
解：设在n重贝努里试验中，事件A出现的次数为X，
则X Bn,0.75,E X np 0.75n, D X npq 0.1875n,
又A事件的频率为：fn
A
X n
(1) n 7500, P
0.74
X n
0.76
P X 0.75n
0.01n
1
0.1875n
0.01n 2
1 n2
n
DXk
k 1
1 n2
n 2
2
n
由契比雪夫不等式得：P
1 n
n k 1
Xk
1
2
2
n
lim
n
P
1 n
n
Xk
k 1
1
7
定理二 伯努利大数定理
设事件A在每次试验中发生的概率为p，记nA为n次独立重复试验
中A发生的次数, 则
0, 有：lim
P
n
nA n
p
1
证明： nA Bn, p
1,
则称随机变量序列Yn依概率收敛于常数a，
记为：Yn P a。
a a a
依概率收敛性质： 若 X n P a, Yn Pb, 且g(x, y)在(a,b)处 连续，则 g( X n ,Yn）P g(a,b)
6
定理一 契比雪夫定理的特殊情况：
设随机变量序列X1, X 2, , X n , 相互独立，且具有相同的
且存在数学期望，作前n个随机变量的算术平均： X
1 n
n k 1
Xk
则 0，有：
lim P
n
X
lim
n
P
1 n
n
Xk
k 1
第五章 大数定律与中心极限定理汇总
X
1 n
n k 1
Xk
则
X P
即 0，有
lim P X 1
n
证 由于
E(X
)
E
1 n
n k 1
Xk
1 n
n k 1
E(Xk
)
D(X )
D
1 n
n k 1
Xk
1 n2
n
D(Xk )
k 1
2
n
由契比雪夫不等式得
P
X
2 1 n 2
令n 并注意到概率不大于 1，即得
大数定律 与 中心极限定理
下面我们先介绍大数定律
大数定律的客观背景 大量的随机现象中平均结果的稳定性
大量抛掷硬币 正面出现频率
生产过程中的 废品率
……
字母使用频率
1.大数定律(P106)
一. 依概率收敛
定义 1 设Y1, ,Yn, 为随机变量序列, a 是一常数, 若对
任意的 0, 有
lim
n
部分和的标准化变量Zn的分布函数为Fn (x)， 则
x
lim
n
Fn (x)
lim
n
P{Zn
x}
1
t2
e 2 dt (x)
2
这个定理表明：
虽然我们很难求出 X1 X 2 X n的确切分布，但当n充分大时，n个 独立同分布随机变量之和近似服从正态分布，即
Zn
n
Xi
i1
n
n
近似服从 N(0,1)，或
证 已知nA B(n, p)，所以
E
nA n
p
，
D
nA n
p(1 n
p)
概率论第五章大数定律与中心极限定理讲解
1 P
1200
Xk
k 1
10
0
2
1[
2
2
]
2 22 2 0.0228 0.0456
例2 根据以往经验，某种电器元件的寿命服从均 值为100小时的指数分布. 现随机地取16只，设它们的 寿命是相互独立的. 求这16只元件的寿命的总和大于 1920小时的概率.
可知，当 n 时，有 1nn 源自1XiP E( X1)
a
因此我们可取 n 次测量值 x1, x2, , xn 的算术平均值
作为a
得近似值，即
a
1 n
n i1
xi ,当n充分大时误差很小。
例4 如何估计一大批产品的次品率 p ？ 由伯努利大数定律可知，当 n 很大时，可取频率
则对任意的 x ，有
n ~ N(np, np(1 p)) n , 近似地
即 n np ~ N (0,1)
np(1 p)
或 lim P{ n np
x
x}
1
t2
e 2 dt x
n np(1 p)
2
证 因为 n ~ b(n, p)
n
所以 n X k k 1
i 1
1200
1200
心极限定理可得 X k ~ N (n,n 2),即 X k ~ N (0,100)
k 1
k 1
则所求概率为
1200
1200
P k1 X k
20
P
Xk 0
k 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、中心极限定理 1、独立同分布的中心极限定理
设随机变量 X 1 , X 2 ,…, X n 相互独立, 服从同一分 布 , 且 具 有 相 同 的 数 学 期 望 和 方 差 ， E( X k ) ,
定义
设Y1 ,Y2 ,…,Yn ,…是一个随机变量序列， a 是一
个常数。若对于任意正数 ，有 lim P{| Yn a | } 1
n
则称Y1 ,Y2 ,…,Yn ,…依概率收敛于 a ，记为Yn P a
.
由此得到定理1的另一种叙述： 定理
设随机变量 X 1 , X 2 ,…, X n 相互独立,且具
D( X k ) 2 0,( k 1,2,) ,则随机变量
Yk k 1
X k E( X k )
k 1
n
n
D( X k )
k 1
n
k 1
X k n
n
n
的分布函数Fn(x)收敛到标准正态分布.即对任意x满足
lim Fn ( x ) lim P{
n n
X k n k 1
n
n
x}
x
1 t22 e dt ( x ) 2
1、独立同分布的中心极限定理 当n无穷大时， n个具有相同期望和方差的独立同分布的 随机变量之和Yn的分布函数近似服从正态分布
k 1
X k n
n ~ N (0,1)
V 100 1 P{ 0.387} (10 12 ) 20
0.387 1
1 t 2 e dt 2
1 (0.387) 0.348
所以 P{V 105} 0.348
练习 将一颗骰子连掷100次，则点数之和不少于 300的概率是多少？
解:设 Xk为第k 次掷出的点数,k=1,2,…,100,则
第五章 大数定律及中心 极限定理
依概率收敛 切比雪夫 大数定律
伯努里大数定律
依分布收敛
Levy-Lindeberg 中心极限定理
辛钦大数定律
德莫佛-拉普拉斯 中心极限定理
二、几个常见的大数定律 弱大数定理 （辛钦大数定理）
设随机变量 X 1 , X 2 ,…, X n 相互独立,且服从同一分布的
随机变量序列，
E( X k )
D( X k ) 2 ( k 1,2,)
做前n个随机变量的算术平均
1 n Yn X k n k 1
则对于任意正数 ，有
1 n lim P{| Yn | } lim P{| X k | } 1 n k 1 n n
设它们是相互独立的随机变量，且都在区间(0,10)上
服从均匀分布。记 V Vk
k 1 20
求P{V>105}的近似值
解
E(Vk)=5, D(Vk)=100/12 (k=1,2,…,20).
V 20 5 Z 100/ 12 20 100/ 12 20
k 1 k
V
20
20 5
2 P{ X 3 k 0,1,...,90000 1 k k } C90000 3
k 90000 k
,
P{29500 X 30500}
29500 np X np 30500 np P{ } np(1 p) np(1 p) np(1 p)
n
当n充分大时
1 n X n k 1 k
当n充分大时
~ N (0,1)
n
例
设 X ~ B1, p , X 1 , X 2 , X n ,是来自 X 的样本，那么
下列选项中不正确的是
B
p(1 p ) A) 当 n充分大时，近似有 X ~ N p, n
k B） PX k Cn pk (1 p)n k , k 0,1,2,n
np (1 p ) 也不太小时） 二项变量Yn 的分布近似正 ，
态分布 N ( np , np (1 p )) .
例 一船舶在某海区航行，已知每遭受一次波浪 的冲击，纵摇角大于3的概率为p=1/3,若船舶遭受 了90000次波浪冲击，问其中有29500～30500次纵 摇角度大于3的概率是多少？ 解 将船舶每遭受一次冲击看作是一次试验， 假定各次试验是独立的 90000次波浪冲击中纵摇角大于3的次数记为X， 则 X~B(90000,1/3), 分布律为
3.棣莫佛－拉普拉斯定理
设随机变量 n 服从参数 n, p (0 p 1) 的 二项分布，则对任意 x ，有
lim P {
n
n np
np(1 p )
x}
x
1 e 2
t2 2
dt ( x )
说明
当 n 很大， 0 p 1 是一个定值时（或者说，
30500 np np (1 p ) 1 2 29500 np np (1 p )
e
t 2
dt
30500 np 29500 np ( ) ( ) np(1 p) np(1 p)
1 n 90000, p 3
(5 2 / 2) (5 2 / 2) 0.9995
X1,…,X100独立同分布.
7 E ( X1 ) , 2
由中心极限定理
1 6 2 49 35 D( X1 ) k 6 i 1 4 12
100 1 72.93) ( X 100 77 300 100 300 100 i 100 22 i 1 2 P{ X i 300} 1P 0.9983 35 35 35 i 1 10 10 12 12 10 12
有 相 同 的 数 学 期 望 和 方 差 ，
E ( X k ) , D( X k ) 2 ,( k 1,2,) ,则序列
1 n Yn X k P n k 1
依概率收敛于μ
伯努利大数定理
设 f A 是 n次独立重复试验中事件 A 发生的次数, p 是事件 A在每次试验中发生的概率,则对于任意 0 , 有 或
近似服从正态分布N(0,1),
V 20 5 105 20 5 } P{V 105} P{ 100 / 12 20 100 / 12 20
P{V 105} P{ V 20 5 105 பைடு நூலகம்20 5 }
100 / 12 20 100 / 12 20
V 100 P{ 0.387} (10 12 ) 20
k k C） P X C n p k (1 p ) n k , k 0,1,2, n n
D） PX i k C1k pk (1 p)1 k , 1 i n,
k 0,1,
例1 一加法器同时收到20个噪声电器Vk(k=1,2,…,20),