第5章 大数定律及中心极限定理
合集下载
第五章 大数定律和中心极限定理
一、大数定律切比雪夫大数定律：设随机变量X1，X2，…，X n，…相互独立，且具有相同的数学期望且方差有界，那么对辛钦大数定律：设X1，X2，…，X n，…为独立同分布的随机变量序列，且数学期望E（X i）=μ存在，则对任意【例87·填空题】设X1，X2，…，X n，…相互独立，且都服从P（λ），那么依概率收敛到_____[答疑编号986305101：针对该题提问]答案：【例88·填空题】设X1，X2，…，X n，…相互独立，且都服从参数为0.5的指数分布，则。
[答疑编号986305102：针对该题提问]【例89·选择题】设随机变量列X1，X2，…，X n，…相互独立，则根据辛钦大数定律，当n充分大时依概率收敛于共同的数学期望，只要X1，X2，…，X n，…（）A.有相同的数学期望B.服从同一离散型分布C.服从同一泊松分布D.服从同一连续型分布[答疑编号986305103：针对该题提问]答案：C【例90·选择题】设随机变量，X1，X2，…，X n，…是独立同分布，且分布函数为则辛钦大数定律对此序列（）A.适用B.当常数a,b取适当的数值时适用C.不适用D.无法判别[答疑编号986305104：针对该题提问]答案C二、中心极限定理独立同分布的中心极限定理：设随机变量X1，X2，…，X n，…相互独立，服从同一分布，【例91·选择题】（05-4-4）设X1，X2，…，X n，…为独立同分布的随机变量列，且均服从参数为λ（λ>0）的指数分布，记为标准正态分布函数，则（）[答疑编号986305105：针对该题提问]答案：C。
第五章 大数定律和中心极限定理
P 1 n 定理(辛钦大数定律) 设 { X n } 为独立同分布随机变量序列，若 EX 1 存在，则 X i . n i 1
第三节 中心极限定理
所谓中心极限定理，就是关于大量微小的随机变量之和的极限分布在什么条件下是正态分布的定理. 定义 1 设 { X n } 为一随机变量序列， DX n ， n 1,2, ，若
2
83
n a n lim P(a X i b) P n i 1 n
X
i 1
n
i
n
n
b n b n a n ) ( ). ( n n n
例 1 一加法器同时收到 50 个噪声电压 Vi (i 1,2, ,50 ) ， 设 V i (单位： 微伏)相互独立且均在 [0,10] 上 服从均匀分布，求该加法器上总电压 V
i 1
n
1 n2
c n 0(n ) ，
i 1
n
c
推论 2 (贝努里大数定律) 设 S n 为 n 重贝努里试验中事件 A 出现的次数， p 为 A 在每次 n
证 明 ：令 Xi
1 在第i 次试验中A出现 ， 则 X i ~ B(1, p ) ， i 1,2,, n 且 相 互 独 立 ， 0 在第 i 次试验中 A 不出现
c 0 ，使得 DX n c ， n 1,2, ，则
P 1 n ( X i EX i ) 0 . n i 1
证明：只须验证马尔可夫条件成立即可.由于 { X n } 两两互不相关，故
0
因此马尔可夫条件成立.
n 1 1 D ( Xi) 2 2 n n i 1
DX i
第三节 中心极限定理
所谓中心极限定理，就是关于大量微小的随机变量之和的极限分布在什么条件下是正态分布的定理. 定义 1 设 { X n } 为一随机变量序列， DX n ， n 1,2, ，若
2
83
n a n lim P(a X i b) P n i 1 n
X
i 1
n
i
n
n
b n b n a n ) ( ). ( n n n
例 1 一加法器同时收到 50 个噪声电压 Vi (i 1,2, ,50 ) ， 设 V i (单位： 微伏)相互独立且均在 [0,10] 上 服从均匀分布，求该加法器上总电压 V
i 1
n
1 n2
c n 0(n ) ，
i 1
n
c
推论 2 (贝努里大数定律) 设 S n 为 n 重贝努里试验中事件 A 出现的次数， p 为 A 在每次 n
证 明 ：令 Xi
1 在第i 次试验中A出现 ， 则 X i ~ B(1, p ) ， i 1,2,, n 且 相 互 独 立 ， 0 在第 i 次试验中 A 不出现
c 0 ，使得 DX n c ， n 1,2, ，则
P 1 n ( X i EX i ) 0 . n i 1
证明：只须验证马尔可夫条件成立即可.由于 { X n } 两两互不相关，故
0
因此马尔可夫条件成立.
n 1 1 D ( Xi) 2 2 n n i 1
DX i
概率论与数理统计第五章大数定律及中心极限定理
概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。
数学中研究大量的工具是极限。
因此这一章学习概率论中的极限定理。
第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。
意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。
大数定律解释了这一结论。
首先介绍切比雪夫不等式。
一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。
切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。
进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。
当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。
二、依概率收敛随机变量序列即由随机变量构成的一个序列。
不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。
只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。
依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。
注意这三个大数定律的条件有何异同。
定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。
定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。
伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。
伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。
第五章 大数定律与中心极限定理
中心极限定理
独立随机变量和
设 {Xn} 为独立随机变量序列，记其和为
Yn = ∑Xi
i=1 n
讨论独立随机变量和的极限分布, 指出极限分布为正态分布.
13 July 2011
湖南大学
第五章 大数定律与中心极限定理
第18页 18页
独立同分布下的中心极限定理
林德贝格—勒维中心极限定理 设 {Xn} 为独立同分布随机变量序列，数学期 望为µ, 方差为 σ2>0，则当 n 充分大时，有
解: 设 X 表示命中的炮弹数, 则 X ~ b(500, 0.01)
(1) P( X = 5) = C ×0.015 ×0.99495 ＝0.17635
5 500
(2) 应用正态逼近: P(X=5) = P(4.5 < X < 5.5) = 0.1742
13 July 2011
5.5 − 5 4.5 − 5 ≈ Φ −Φ 4.95 4.95
第五章 大数定律与中心极限定理
第25页 25页
三、给定 y 和概率，求 n
例7 用调查对象中的收看比例 k/n 作为某电视节
目的收视率 p 的估计。 要有 90％ 的把握，使k/n与p 的差异不大于0.05，问至少要调查多少对象？
解：用 Yn表示n 个调查对象中收看此节目的人数，则
P ( Yn / n − p < 0.05) ≈ 2Φ 0.05 n / p(1 − p) − 1 ≥ 0.90
湖南大学
湖南大学
第五章 大数定律与中心极限定理
第16页 16页
X 例 设 1, X2 ,L, Xn是独 立同 布 分 的随 变量 它们 机 ， 都服 从 [a, b]上的 [ 均匀 布 f (x)是 a, b]上 连 函 ， 分 ， 的 续 数 证明 ：
第五章大数定律及中心极限定理
k 1
其中 X1, X2 ,, Xn是相互独立的、服从同一
均值为μ，方差为σ2>0的独立同分布的随机变量
n
X1,X2,…,Xn之和 X k 的标准化变量，当n充分
大时，有
k 1
n
k 1
Xk
nm
～近似N(0,1)
ns
n
这样可以用(标准)正态分布来对 X k 作
k 1
理论分析或实际计算，不必求分布函数
19/41
§5.2 中心极限定理
将上式改写为
即对任意的正数ε，当n充分
lim P n
1 n
n k 1
Xk
m
1.
大时，不等式 立的概率很大
|
X
m | 成
3/41
证 由随机变量X1,X2,…,Xn,…相互独立，且具有 相同的数学期望和方差，有
E
1 n
n k 1
Xk
lim
n
P
1 n
(X1
X2
Xn)
p
1,
即
lim
n
P
nA n
p
1.
伯努利大数定理表明，事件发生的频率nA/n依概率收敛
于事件的概率p，以严格的数学形式表达了频率的稳定性和概
率的合理性
近似：当n很大时，事件发生的频率nA/n与概率有较大偏差的 可能性很小，因此由实际推断原理，由于小概率事件几乎不
辛钦定 理
X P m
第五章 大数定律与中心极限定理
∑200
【解】 设 X i 表示“该射手第 i 次射击的得分”，则 Y = X i 表示射手所得总分，
i=1
Xi (i =1, 2, , 200) 独立同分布，分布表如下：
Xi
0
2
3
4
5
p
由于
0.1
0.1
0.2
0.2
0.4
E( Xi ) = 0×0.1+ 2×0.1+ 3×0.2 + 4×0.2 + 5×0.4 = 3.6 ；
试验中发生的概率，这个定律以严格的数学形式刻画了频率的稳定性，在实际应用中，当试 验次数很大时，便可以用事件发生的频率来替代事件的概率.
3、辛钦大数定律
设随机变量序列 X , X , 12
，Xn,
相互独立且服从相同的分布,具有相同的数学期望
E(X i
)
=
μ
,（
i
=
1,
2,
） ,则对任意给定的正数 ε ，有
) ,则对任意实数 x ，有
∑ ⎧
⎪
n
X − nμ i
⎫ ⎪
⎨ lim P i=1
≤ x⎬ =
⎪ n→∞
nσ
⎪
⎩
⎭
∫ 1
2π
x −t2
e
−∞
2 dt = Φ(x) .
154
第五章 大数定律与中心极限定理
n
∑ 【评注】 n 个相互独立同分布、方差存在的随机变量之和 Xi ，当 n 充分大时，近似 i =1
第五章 大数定律与中心极限定理
本章学习要点
① 了解切比雪夫不等式； ② 了解切比雪夫大数定律、伯努利大数定律和辛钦大数定律（独立同分布随机变量的大
【解】 设 X i 表示“该射手第 i 次射击的得分”，则 Y = X i 表示射手所得总分，
i=1
Xi (i =1, 2, , 200) 独立同分布，分布表如下：
Xi
0
2
3
4
5
p
由于
0.1
0.1
0.2
0.2
0.4
E( Xi ) = 0×0.1+ 2×0.1+ 3×0.2 + 4×0.2 + 5×0.4 = 3.6 ；
试验中发生的概率，这个定律以严格的数学形式刻画了频率的稳定性，在实际应用中，当试 验次数很大时，便可以用事件发生的频率来替代事件的概率.
3、辛钦大数定律
设随机变量序列 X , X , 12
，Xn,
相互独立且服从相同的分布,具有相同的数学期望
E(X i
)
=
μ
,（
i
=
1,
2,
） ,则对任意给定的正数 ε ，有
) ,则对任意实数 x ，有
∑ ⎧
⎪
n
X − nμ i
⎫ ⎪
⎨ lim P i=1
≤ x⎬ =
⎪ n→∞
nσ
⎪
⎩
⎭
∫ 1
2π
x −t2
e
−∞
2 dt = Φ(x) .
154
第五章 大数定律与中心极限定理
n
∑ 【评注】 n 个相互独立同分布、方差存在的随机变量之和 Xi ，当 n 充分大时，近似 i =1
第五章 大数定律与中心极限定理
本章学习要点
① 了解切比雪夫不等式； ② 了解切比雪夫大数定律、伯努利大数定律和辛钦大数定律（独立同分布随机变量的大
第五章大数定律与中心极限定理
2.结论：极限n趋于∞下，{标准化}=标准正态函数
Note：1.X1+X2+…Xn~N(nu, na2)
2.和的期望等于期望之和；和的方方差等于方方差的和（独立立,同分布）
2.拉普拉斯中心心极限定理理
1.条件：服从二二项分布，结论
2.实际上是林林德伯格的中心心极限定理理的特殊情况
定义：Xn依概率收敛于a（概率上收敛，但概率推不不出事件）（类似于极限的定义）
2.切比比雪夫大大数定律律
1.条件：相ห้องสมุดไป่ตู้独立立，期望，方方差均存在，方方差有上界
2.结论：1／n（Xi）依概率收敛于1／n（EXi）（依概率收敛于期望）
3.特别的，若独立立，同分布，有EX，DX（存在）
Note：和的期望等于期望之和；和的方方差等于方方差的和（独立立）
第五章 大大数定律律与中心心极限定理理
一一 切比比雪夫不不等式 二二 大大数定律律 三 中心心极限定理理
一一 切比比雪夫不不等式（作估计）
1.公式形式（大大小小）
2.意义：EX很有用用，偏离的越多，概率越小小
3.有上限的，最多
4.“由切比比雪夫不不等式”才能用用
二二 大大数定律律
1.依概率收敛
3.辛辛钦大大数定律律
1.条件：独立立，同分布，期望存在等于u（3个）
2.结论：1／n（Xk）依概率收敛于u
4.伯努利利大大数定律律
1.条件：X为n重伯努利利发生生的次数，发生生概率为p
2.X／n依概率收敛于p
三 中心心极限大大数定律律
1.列列维——林林德伯格中心心极限定理理
1.条件：独立立，同分布，期望，方方差存在
Note：1.X1+X2+…Xn~N(nu, na2)
2.和的期望等于期望之和；和的方方差等于方方差的和（独立立,同分布）
2.拉普拉斯中心心极限定理理
1.条件：服从二二项分布，结论
2.实际上是林林德伯格的中心心极限定理理的特殊情况
定义：Xn依概率收敛于a（概率上收敛，但概率推不不出事件）（类似于极限的定义）
2.切比比雪夫大大数定律律
1.条件：相ห้องสมุดไป่ตู้独立立，期望，方方差均存在，方方差有上界
2.结论：1／n（Xi）依概率收敛于1／n（EXi）（依概率收敛于期望）
3.特别的，若独立立，同分布，有EX，DX（存在）
Note：和的期望等于期望之和；和的方方差等于方方差的和（独立立）
第五章 大大数定律律与中心心极限定理理
一一 切比比雪夫不不等式 二二 大大数定律律 三 中心心极限定理理
一一 切比比雪夫不不等式（作估计）
1.公式形式（大大小小）
2.意义：EX很有用用，偏离的越多，概率越小小
3.有上限的，最多
4.“由切比比雪夫不不等式”才能用用
二二 大大数定律律
1.依概率收敛
3.辛辛钦大大数定律律
1.条件：独立立，同分布，期望存在等于u（3个）
2.结论：1／n（Xk）依概率收敛于u
4.伯努利利大大数定律律
1.条件：X为n重伯努利利发生生的次数，发生生概率为p
2.X／n依概率收敛于p
三 中心心极限大大数定律律
1.列列维——林林德伯格中心心极限定理理
1.条件：独立立，同分布，期望，方方差存在
第五章 大数定理与中心极限定理
说明
1 n 1、定理中{| X i | }是指一个随机事件， n i 1 当n 时，这个事件的概率趋于1.
2、 定理以数学形式证明了随机变量X 1 , X n 1 n 的算术平均X X i 接近数学期望E（X k） n i 1 （k 1,2, n），这种接近说明其具有的稳定性 .
第五章 大数定律与中心极限定理
第五章 大数定律与中心极限定理
§1 大数定律
1.1 切比雪夫不等式 1.2 依概率收敛 1.3 大数定律
§2 中心极限定理
HaiNan University
1
第五章 大数定律与中心极限定理
大数定律的客观背景
事件发生的频率稳定于某一常数 大量随机试验中 测量值的算术平均值具有稳定性
证明 取连续型随机变量的情况来证明.
设 X 的概率密度为 f ( x ), 则有
HaiNan University3第五章 大数定律 Nhomakorabea中心极限定理
P{ X μ ε }
2 x μ ε
x μ ε
f ( x)d x
x μ f ( x)d x 2 ε
1 1 2 2 2 ( x μ) f ( x ) d x 2 σ . ε ε
定理2 (契比雪夫大数定律)
1 nM M 1 D( X i ) 2 D( X i ) 2 . n i 1 n n n i 1 由契比雪夫不等式得: M 1 n 1 n P{ X i E ( X i ) } 1 n n i 1 n i 1 2
HaiNan University
10
第五章 大数定律与中心极限定理
1.3 大数定律
问题 : 设nA是n重贝努利试验中事件A发生 的次数，p是事件A发生的概率，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
E (ln X1 ) ln xdx
0 1 0 1
x ln x dx 1,
0
1
P 由辛钦大数定律的推论，Zn 1.
P 由依概率收敛的性质，Yn eZn e1.
21
定理（贝努里大数定律）： 设nA为n重贝努里试验中事件A发生的次数，并记 事件A在每次试验中发生的概率为p ，则有 nA P p, 当n 时. n
7
1 例1.2：设X n ~ N (0, ), n 1, 2,..., n P 则当n +时,X n 0 .
证明: 对任意 0,
P(| X n 0 | ) P( X n ) P( X n )
0 1 ( ) ( ) 1/ n 1/ n
n
18
n
1 例1.6 设X 1 , , X n , , 相互独立，P{ X i 0} 1 ， i 1 P{ X i i } P{ X i i } 。 2i 试判断{ X i , i 1}是否服从大数定律？
解：E( X i ) 0,
1 2 1 Var ( X i ) E ( X ) 0 ( i ) ( i ) 1, 2i 2i
n n
特别地，当cn c, n 1, 2,...时，可写为 1 Y P c, n . i n i 1
n
定理（切比雪夫大数定律）：
设X 1 , X 2 , , X n , 相互独立，具有 相同的数学期望 和相同的方差 2，
P 则当 n 时, 1 X k . n n n k 1 1 1 证明 : E ( X i ) E ( X i ) , n
n 18750.
(三)几个大数定律
定义5.1.2： 设Y1 , , Yn , 为一个随机变量序列， 若存在常数序列{cn , n 1}，使得 1 Y c P 0, 当n ， i n n i 1 即 0, 有 lim P{ 1 Yi cn } 0, n n i 1 则称{Yi , i 1}服从 ) 0 X k n k 1 1 1 n 1 1 1 P , E ( X 1 ) x dx X k 1 n k 1 2 2 2
1 1 2 2 1 E ( X 1 ) x dx 1 2 3 n
1
1 X . 3 k 1
i 1
n
例如：X i ~ U (0, 1), i 1, 2,3, 4,,100. 则 X1 X 2 X1
X1 X 2 X 3
X1 X 2 X 3 X 4
问题：X1 ... X100 服从的分布？
——中心极限定理
3
5.1 大数定律
(一)依概率收敛
随机变量序列Y1 , Y2 , Y3 , , 若存在某常数c， 使得 0, 均有： lim P Yn c 0, 则称 Yn , n 1 依概率收敛于常数c， P c, 当n +时. 记为：Y n
2 i 2
1 n P X i 0 n i 1
例1.7：设X 1 , , X n , 独立同分布，X 1 ~ U ( 1, 1).则 1 n 1 n 1 n 2 （） 1 X k，（2） X k ，（3） X k n k 1 n k 1 n k 1 依概率收敛于什么？
0.51
5
思考题1.抛硬币7000次，则 {0.49 Y7000 0.51} 一定发生？ 答：不一定.可能发生，也可能不发生，发生 的可能性非常大，概率超过90%. 思考题2.抛硬币1万次，则事件Y10000 0.1 会发 生吗？说明理由.
当n 9604时，P Yn 0.5 0.01 0.95. 答：
证明思路：易见nA X i , 其中
i 1 n
第i次试验中A发生； 1, Xi 第i次试验中A不发生； 0, X i ~ B(1, p), 且相互独立.
i 1, 2, , n,
(或直接用切比雪夫不等式证明).
大数定律的重要意义：
贝努里大数定律建立了在大量重复独立试
验中事件出现频率的稳定性，正因为这种稳
2 8 则 P(| X | 3 ) 1 . 2 (3 ) 9
当X ~ N ( , 2 )时， 8 P(| X | 3 ) 0.9974 . 9
12
例1.4 设X 1 , , X n是随机变量序列, 1 P E ( X n ) 0,Var ( X n ) , 则X n 0. n
P Yn 0.49 = 1 [1 P Yn 0.5 0.01] 0.025. 2 这是一个小概率事件，根据实际推断原理认为
如果只抛1万次，事件 Y10000 0.1 不会发生.
6
P P 性质： 若X n a, Yn b, g在(a, b)连续，
证明 : 利用切比雪夫不等式 : 0, 1 Var ( X n ) 0 P(| X n 0 | ) 2 0. 2 n
lim P (| X n 0 | ) 0.
n
13
例1.5 在n重贝努里试验中，若已知每次试验 事件A出现的概率为0.75，
17
定理（辛钦大数定律）： 设X 1 , X 2 ,, X n , 独立同分布，EX i ， 则当n , 1 X P . i n i 1
推论：设X 1 , X 2 ,, X n , 独立同分布， 若h( x)是连续函数，E (h( X 1 )) a存在， 则当n 时, 1 h( X ) P a. i n i 1
1 1 1 Var ( X i ) 2 Var ( X i ) 2 n i 1 n n i 1 利用切比雪夫不等式 :
n
n
i 1
n
n
i 1
Var ( X )
i 1 i
n
2
n
,
2 1 n 1 n 0 P(| X i | ) Var ( X i ) 2 2 0. n i 1 n i 1 n
第五章 大数定律和中心极限定理
大数定律
中心极限定理
1
内容1：设X 1 ,, X n 是一列随机变量，EX i , 则在一定的条件下 X1 X n 随机变量序列Yn 收敛到. n
问题：（1）一定的条件是什么？ （2）随机变量序列Yn收敛到的定义？
——大数定律
2
内容2：n个独立同分布随机变量X i , i 1, 2,..., n, X i的分布
2[1 ( n )] 0, 当n +时.
8
0
(二)马尔可夫不等式和切比雪夫不等式
定理5.1.1 马尔可夫不等式 ： 设随机变量Y的k阶矩存在(k 1), 则对于任意 0, 都有：P Y 定理的等价形式为：P Y 1 E (| Y |k )
n
X
n
i
n
n
x)
而据Z的定义, 知
E ( Z k )= k P Y ,
所以 P Y
E(Z k )
k
E (| Y |k )
k
.
切比雪夫不等式：设X 的方差Var ( X )存在，则
对于任意 0, 都有：P X E X 等价为：P X E X 1
c c c
n
这种收敛性是在概率意义下的一种收敛， 而不是数学意义上的一般收敛.
4
例1.1 抛一枚均匀硬币n次，Yn表示正面出现的频 P 0.5, 当n +时. 率.n=1,2 „,可以证明 Y n 试说明这种依概率收敛性,
解：这就意味着， 0, 有： lim P Yn 0.5 0, 等价地， lim P Yn 0.5 1.
k
成立; .
E (| Y |k )
k
特别地，当Y 为取非负值的随机变量时， 则有 P Y E (Y k )
k
, 当 | Y | 时； 证明：对于任意 0，令Z = 0, 当 | Y | 时.
则Z | Y |,
Z k | Y |k ,
E(Z k ) E(| Y |k ).
2 k P
20
n
例1.8 设X 1 , , X n , 独立同分布，X 1 ~ U (0, 1), 则 n X 1 X 2 X n 依概率收敛吗？ 如果依概率收敛，收敛于什么？
解：令Yn n X1 X n , Zn ln Yn 1 则Z n (ln X 1 ln X n ), n
试利用切比雪夫不等式计算,
(1)若n=7500,估计A出现的频率在0.74至0.76
之间的概率至少有多大；
(2)估计n,使A出现的频率在0.74至0.76之 间的概率不小于0.90。
解：设在n重贝努里试验中，事件A 出现的次数为X，
则X B n,0.75 ,E X np 0.75n,Var X npq 0.1875n,
又 f n A X , P 0.74 X 0.76 P0.74n X 0.76n n n
P X 0.75n 0.01n
1875 1 0.1875n 1 2 n 0.01 n
(1) n 7500, P 0.74 X 0.76 1 1875 0.75 n 7500 (2)P 0.74 X 0.76 1 1875 0.90 n n
Var ( X )
2
0 1 0 1
x ln x dx 1,
0
1
P 由辛钦大数定律的推论，Zn 1.
P 由依概率收敛的性质，Yn eZn e1.
21
定理（贝努里大数定律）： 设nA为n重贝努里试验中事件A发生的次数，并记 事件A在每次试验中发生的概率为p ，则有 nA P p, 当n 时. n
7
1 例1.2：设X n ~ N (0, ), n 1, 2,..., n P 则当n +时,X n 0 .
证明: 对任意 0,
P(| X n 0 | ) P( X n ) P( X n )
0 1 ( ) ( ) 1/ n 1/ n
n
18
n
1 例1.6 设X 1 , , X n , , 相互独立，P{ X i 0} 1 ， i 1 P{ X i i } P{ X i i } 。 2i 试判断{ X i , i 1}是否服从大数定律？
解：E( X i ) 0,
1 2 1 Var ( X i ) E ( X ) 0 ( i ) ( i ) 1, 2i 2i
n n
特别地，当cn c, n 1, 2,...时，可写为 1 Y P c, n . i n i 1
n
定理（切比雪夫大数定律）：
设X 1 , X 2 , , X n , 相互独立，具有 相同的数学期望 和相同的方差 2，
P 则当 n 时, 1 X k . n n n k 1 1 1 证明 : E ( X i ) E ( X i ) , n
n 18750.
(三)几个大数定律
定义5.1.2： 设Y1 , , Yn , 为一个随机变量序列， 若存在常数序列{cn , n 1}，使得 1 Y c P 0, 当n ， i n n i 1 即 0, 有 lim P{ 1 Yi cn } 0, n n i 1 则称{Yi , i 1}服从 ) 0 X k n k 1 1 1 n 1 1 1 P , E ( X 1 ) x dx X k 1 n k 1 2 2 2
1 1 2 2 1 E ( X 1 ) x dx 1 2 3 n
1
1 X . 3 k 1
i 1
n
例如：X i ~ U (0, 1), i 1, 2,3, 4,,100. 则 X1 X 2 X1
X1 X 2 X 3
X1 X 2 X 3 X 4
问题：X1 ... X100 服从的分布？
——中心极限定理
3
5.1 大数定律
(一)依概率收敛
随机变量序列Y1 , Y2 , Y3 , , 若存在某常数c， 使得 0, 均有： lim P Yn c 0, 则称 Yn , n 1 依概率收敛于常数c， P c, 当n +时. 记为：Y n
2 i 2
1 n P X i 0 n i 1
例1.7：设X 1 , , X n , 独立同分布，X 1 ~ U ( 1, 1).则 1 n 1 n 1 n 2 （） 1 X k，（2） X k ，（3） X k n k 1 n k 1 n k 1 依概率收敛于什么？
0.51
5
思考题1.抛硬币7000次，则 {0.49 Y7000 0.51} 一定发生？ 答：不一定.可能发生，也可能不发生，发生 的可能性非常大，概率超过90%. 思考题2.抛硬币1万次，则事件Y10000 0.1 会发 生吗？说明理由.
当n 9604时，P Yn 0.5 0.01 0.95. 答：
证明思路：易见nA X i , 其中
i 1 n
第i次试验中A发生； 1, Xi 第i次试验中A不发生； 0, X i ~ B(1, p), 且相互独立.
i 1, 2, , n,
(或直接用切比雪夫不等式证明).
大数定律的重要意义：
贝努里大数定律建立了在大量重复独立试
验中事件出现频率的稳定性，正因为这种稳
2 8 则 P(| X | 3 ) 1 . 2 (3 ) 9
当X ~ N ( , 2 )时， 8 P(| X | 3 ) 0.9974 . 9
12
例1.4 设X 1 , , X n是随机变量序列, 1 P E ( X n ) 0,Var ( X n ) , 则X n 0. n
P Yn 0.49 = 1 [1 P Yn 0.5 0.01] 0.025. 2 这是一个小概率事件，根据实际推断原理认为
如果只抛1万次，事件 Y10000 0.1 不会发生.
6
P P 性质： 若X n a, Yn b, g在(a, b)连续，
证明 : 利用切比雪夫不等式 : 0, 1 Var ( X n ) 0 P(| X n 0 | ) 2 0. 2 n
lim P (| X n 0 | ) 0.
n
13
例1.5 在n重贝努里试验中，若已知每次试验 事件A出现的概率为0.75，
17
定理（辛钦大数定律）： 设X 1 , X 2 ,, X n , 独立同分布，EX i ， 则当n , 1 X P . i n i 1
推论：设X 1 , X 2 ,, X n , 独立同分布， 若h( x)是连续函数，E (h( X 1 )) a存在， 则当n 时, 1 h( X ) P a. i n i 1
1 1 1 Var ( X i ) 2 Var ( X i ) 2 n i 1 n n i 1 利用切比雪夫不等式 :
n
n
i 1
n
n
i 1
Var ( X )
i 1 i
n
2
n
,
2 1 n 1 n 0 P(| X i | ) Var ( X i ) 2 2 0. n i 1 n i 1 n
第五章 大数定律和中心极限定理
大数定律
中心极限定理
1
内容1：设X 1 ,, X n 是一列随机变量，EX i , 则在一定的条件下 X1 X n 随机变量序列Yn 收敛到. n
问题：（1）一定的条件是什么？ （2）随机变量序列Yn收敛到的定义？
——大数定律
2
内容2：n个独立同分布随机变量X i , i 1, 2,..., n, X i的分布
2[1 ( n )] 0, 当n +时.
8
0
(二)马尔可夫不等式和切比雪夫不等式
定理5.1.1 马尔可夫不等式 ： 设随机变量Y的k阶矩存在(k 1), 则对于任意 0, 都有：P Y 定理的等价形式为：P Y 1 E (| Y |k )
n
X
n
i
n
n
x)
而据Z的定义, 知
E ( Z k )= k P Y ,
所以 P Y
E(Z k )
k
E (| Y |k )
k
.
切比雪夫不等式：设X 的方差Var ( X )存在，则
对于任意 0, 都有：P X E X 等价为：P X E X 1
c c c
n
这种收敛性是在概率意义下的一种收敛， 而不是数学意义上的一般收敛.
4
例1.1 抛一枚均匀硬币n次，Yn表示正面出现的频 P 0.5, 当n +时. 率.n=1,2 „,可以证明 Y n 试说明这种依概率收敛性,
解：这就意味着， 0, 有： lim P Yn 0.5 0, 等价地， lim P Yn 0.5 1.
k
成立; .
E (| Y |k )
k
特别地，当Y 为取非负值的随机变量时， 则有 P Y E (Y k )
k
, 当 | Y | 时； 证明：对于任意 0，令Z = 0, 当 | Y | 时.
则Z | Y |,
Z k | Y |k ,
E(Z k ) E(| Y |k ).
2 k P
20
n
例1.8 设X 1 , , X n , 独立同分布，X 1 ~ U (0, 1), 则 n X 1 X 2 X n 依概率收敛吗？ 如果依概率收敛，收敛于什么？
解：令Yn n X1 X n , Zn ln Yn 1 则Z n (ln X 1 ln X n ), n
试利用切比雪夫不等式计算,
(1)若n=7500,估计A出现的频率在0.74至0.76
之间的概率至少有多大；
(2)估计n,使A出现的频率在0.74至0.76之 间的概率不小于0.90。
解：设在n重贝努里试验中，事件A 出现的次数为X，
则X B n,0.75 ,E X np 0.75n,Var X npq 0.1875n,
又 f n A X , P 0.74 X 0.76 P0.74n X 0.76n n n
P X 0.75n 0.01n
1875 1 0.1875n 1 2 n 0.01 n
(1) n 7500, P 0.74 X 0.76 1 1875 0.75 n 7500 (2)P 0.74 X 0.76 1 1875 0.90 n n
Var ( X )
2