第五章 大数定律及中心极限定理
第五章 大数定律和中心极限定理
一、大数定律切比雪夫大数定律：设随机变量X1，X2，…，X n，…相互独立，且具有相同的数学期望且方差有界，那么对辛钦大数定律：设X1，X2，…，X n，…为独立同分布的随机变量序列，且数学期望E（X i）=μ存在，则对任意【例87·填空题】设X1，X2，…，X n，…相互独立，且都服从P（λ），那么依概率收敛到_____[答疑编号986305101：针对该题提问]答案：【例88·填空题】设X1，X2，…，X n，…相互独立，且都服从参数为0.5的指数分布，则。
[答疑编号986305102：针对该题提问]【例89·选择题】设随机变量列X1，X2，…，X n，…相互独立，则根据辛钦大数定律，当n充分大时依概率收敛于共同的数学期望，只要X1，X2，…，X n，…（）A.有相同的数学期望B.服从同一离散型分布C.服从同一泊松分布D.服从同一连续型分布[答疑编号986305103：针对该题提问]答案：C【例90·选择题】设随机变量，X1，X2，…，X n，…是独立同分布，且分布函数为则辛钦大数定律对此序列（）A.适用B.当常数a,b取适当的数值时适用C.不适用D.无法判别[答疑编号986305104：针对该题提问]答案C二、中心极限定理独立同分布的中心极限定理：设随机变量X1，X2，…，X n，…相互独立，服从同一分布，【例91·选择题】（05-4-4）设X1，X2，…，X n，…为独立同分布的随机变量列，且均服从参数为λ（λ>0）的指数分布，记为标准正态分布函数，则（）[答疑编号986305105：针对该题提问]答案：C。
大数定律及中心极限定理
增加，事件的频率逐渐稳定于某个常数. 大量测量值的平均值 也具有这种稳定性，这种稳定性就是大数定律的客观背景.
大数定律的客观背景
大量抛掷硬币 正面出现频率
生产过程中的 废品率
某字母使用 频率
5.1 Chebyshev不等式
次定数理， （p契是比事雪件夫A大在数每定次律试）验A中发生的概率，
2这大种数 现定象 次律就是数(续中2心，) 极限p定是理事的客件观背A景。在每次试验中发生的概率，
解得 N>115.
则对任给的ε> 0， 第5章 大数定律与中心极限定理
设随机变量 服从二项分布B(n, p)，n=1,2,…,则对任意
∴
次数，p是事件A在每次试验中发生的概率，
nA XPp n
解：对每部话机的观察作为一次试验，
伯努利大数定律表明，当重复试验次数n充分大时，事件 解：记同时开着的灯数为X，X ~B(10000,0.
证：因为nA~B(n,p),可记 nA=X1+X2+…+Xn
时X称1,,XX12,,X依…2概,,A…X率n,发相X收n互的敛生独算于立术的，平E均(X频值i)=p率,i=1,n2,.A/n与事件A的概率p有较大偏差的概率很小.
设 X1,X2, …是相互独立的随机变量，它们都有有限的方差，并且方差有共同的上界，即 D(Xk) ≤C，k=1,2, …，
时,X1,X2,…,Xn的算术平均值
伯努利大数定律提供了通过试验来确定事件概率的方法.
5.2 大数定律 (续3) 下面给出的独立同分布下的大数定律，不要求随 机变量的方差存在. 定理（辛钦大数定律）
第5章_大数定律和中心极限定理
3) 用平均值近似积分值
1 即 I N
g(r ) I
n1 n
N
问：若求 I b g ( x )dx 的值
a
应如何近似计算？请思考.
大数定律以严格的数学形式表达了随 机现象最根本的性质之一： 平均结果的稳定性 它是随机现象统计规律的具体表现. 大数定律在理论和实际中都有广泛的应用.
0
1
我们介绍均值法，步骤是
1) 产生在(0,1)上均匀分布的随机数rn, n=1,2,…,N 2) 计算g(rn)， n=1,2,…,N
3) 用平均值近似积分值
1 即 I N
g(r ) I
n1 n
N
求 I g ( x )dx 的值
0
1
我们介绍均值法，步骤是
1) 产生在(0,1)上均匀分布的随机数rn, n=1,2,…,N 2) 计算g(rn)， n=1,2,…,N
n
P a 则称{Xn}依概率收敛于a。可记为 X n
意思是: 当
n 时, Xn落在 (a , a )
Xn
内的概率越来越大。即 n0 , 使得n n0 ,
a
a
a
二、几个常用的大数定律
切比雪夫大数定律 设{Xk,k=1,2,...}为独立的随机变 量序列，且有相同的数学期望，及方差2>0，则
1 n P Yn X k n k 1
例 在掷骰子过程中，以Xn记第n次掷出的点数， 1 n 在依概率收敛意义下，求 X X k 的极限。
n
k 1
下面我们再举一例说明大数定律的 应用. 定积分的概率计算法 求 I g ( x )dx 的值
0 1
第五章大数定律及中心极限定理
解 E(Vk)=5, D(Vk)=100/12 (k=1,2,…,20).
20
Vk 20 5
Z k1
V 20 5
100/ 12 20 100/ 12 20
近似服从正态分布N(0,1),
P{V 105} P{ V 20 5 105 20 5 }
100/ 12 20 100/ 12 20
设随机变量 X1 , X2 ,…, X n 相互独立, 服从同一分
布 , 且 具 有 相 同 的 数 学 期 望 和 方 差 ， E(Xk) ,
D( Xk ) 2 0,(k 1,2,),则随机变量
n
n
n
Xk E( Xk ) Xk n
Yk k1
k 1 n
D( Xk )
k1
n
k 1
n k 1
Xk
|
}
1
说明
伯努利大数定理是辛钦定理的特殊情况。
n个随机变量的算术平均值以概率收敛于算术平
均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 用算术平均值作为所研究指标值的近似值。
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
(2.5) 0.9938
三 小结
1、独立同分布的中心极限定理
2.李雅普诺夫定理
3.棣莫佛－拉普拉斯定理
n
n
n
n
Xk E( Xk ) Xk k
Zn k1
k 1 n
D( Xk )
k1
k 1
Bn
k 1
近似服从标准正态分布N(0,1)。
概率论与数理统计第五章大数定律及中心极限定理
概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。
数学中研究大量的工具是极限。
因此这一章学习概率论中的极限定理。
第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。
意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。
大数定律解释了这一结论。
首先介绍切比雪夫不等式。
一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。
切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。
进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。
当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。
二、依概率收敛随机变量序列即由随机变量构成的一个序列。
不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。
只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。
依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。
注意这三个大数定律的条件有何异同。
定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。
定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。
伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。
伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。
(完整版)大数定律和中心极限定理
第五章 大数定律和中心极限定理一、内容提要（一）切贝谢夫不等式 1. 切贝谢夫不等式的内容设随机变量X 具有有限的数学期望E （X ）和方差D （X ），则对任何正数ε，下列不等式成立。
(){}()(){}().1,22εεεεX D X E X P X D X E X P -≤-≤≥-2. 切贝谢夫不等式的意义（1）只要知道随机变量X 的数学期望和方差（不须知道分布律），利用切贝谢夫不等式，就能够对事件(){}ε≥-X E X 的概率做出估计，这是它的最大优点，今后在理论推导及实际应用中都常用到切贝谢夫不等式。
（2）不足之处为要计算(){}ε≥-X E X P 的值时，切贝谢夫不等式就无能为力，只有知道分布密度或分布函数才能解决。
另外，利用本不等式估值时精确性也不够。
（3）当X 的方差D (X )越小时，(){}ε≥-X E X P 的值也越小，表明X 与E (X )有较大“偏差”的可能性也较小，显示出D (X )确是刻画X 与E (X )偏差程度的一个量。
（二）依概率收敛如果对于任何ε＞0，事件{}ε a X n -的概率当n →∞时，趋于1，即{}1lim =-∞→ε a X P n n ，则称随机变量序列X 1,X 2,…,X n ,…当n →∞时依概率收敛于α。
（三）大数定律 1. 大数定律的内容（1）大数定律的一般提法若X 1,X 2,…,X n ,…是随机变量序列，如果存在一个常数序列α1,…,αn ,…，对任意ε＞0，恒有11lim 1=⎭⎬⎫⎩⎨⎧-∑=∞→ε n i n i n a X n P ， 则称序列{X n }服从大数定律（或大数法则）。
（2）切贝谢夫大数定律设随机变量X 1,X 2,…,X n ,…相互独立，分别有数学期望E(X i )和方差D(X i )，且它们的方差有公共上界C ，即()().,,,2,1, n i C X D i =≤则对于任意的ε＞0，恒有()111lim 11=⎭⎬⎫⎩⎨⎧-∑∑==∞→ε n i ni i i n X E n X n P 。
第五章大数定律及中心极限定理
k 1
其中 X1, X2 ,, Xn是相互独立的、服从同一
均值为μ，方差为σ2>0的独立同分布的随机变量
n
X1,X2,…,Xn之和 X k 的标准化变量，当n充分
大时，有
k 1
n
k 1
Xk
nm
～近似N(0,1)
ns
n
这样可以用(标准)正态分布来对 X k 作
k 1
理论分析或实际计算，不必求分布函数
19/41
§5.2 中心极限定理
将上式改写为
即对任意的正数ε，当n充分
lim P n
1 n
n k 1
Xk
m
1.
大时，不等式 立的概率很大
|
X
m | 成
3/41
证 由随机变量X1,X2,…,Xn,…相互独立，且具有 相同的数学期望和方差，有
E
1 n
n k 1
Xk
lim
n
P
1 n
(X1
X2
Xn)
p
1,
即
lim
n
P
nA n
p
1.
伯努利大数定理表明，事件发生的频率nA/n依概率收敛
于事件的概率p，以严格的数学形式表达了频率的稳定性和概
率的合理性
近似：当n很大时，事件发生的频率nA/n与概率有较大偏差的 可能性很小，因此由实际推断原理，由于小概率事件几乎不
辛钦定 理
X P m
第五章大数律及中心极限定理
则对于任意的正数 ＞ 0 都满足关系： lim n→∞ P ( | Yn – | ≤ ) = 1。
即，相同期望与方差的独立随机变量序列
算术平均的极限是它们共同的数学期望
证明. 定理的证明根据数学期望、方差的性质 以及切比雪夫不等式完成。
p = P(X ≥10) = P( —X9.–—181—725.2—1/52 ≥ – 0.74)
≈ 1 – (–0.74) = (0.74) = 0.7703
□
如何理解大数律与中心极限定理
① 大数律与中心极限定理讨论的都是随机 变量序列部分和的极限问题
② 大数律说明，在一定的条件下部分和 Sn 的 算术平均的极限是一个常数 ( 共同的期望 )。 中心极限定理说明，在一定的条件下部分和 Sn 的极限分布是正态分布(标准化部分和的 极限分布是标准正态分布)。
P{ Sn n x} x
1
u2
e 2 du ( x)
n
2
思考3 如何近似计算概率P ( Sn ≤ y )、P ( | Sn | ≤ y ) ？
定理 5.1.4 (德莫佛—拉普拉斯中心极限定理)
假设随机变量序列 X1，X2，… 服从参数 n、p 的二项分布，即 Xn ~ B(n,p) 。 则对于任意的实数 x ，有
106 +1 项开始，都有 ① 数列 an 全都落在区间 ( 0 – 10－6 , 0 + 10－6 ) 中， ② Yn 落在 ( 0 – 10－6 , 0 + 10－6 ) 外的概率小于10－6 。
定理 5.1.1 (切比雪夫大数定理)
假设 X1，…，Xn，…是一个独立随机变量
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1875 1 0.1875n 1 2 n 0.01 n
(1) n 7500, P 0.74 X 0.76 1 1875 0.75 n 7500 (2)P 0.74 X 0.76 1 1875 0.90 n n
E (ln X1 ) ln xdx
0 1
x ln x dx 1,
1 0 0
1
P 由辛钦大数定律的推论，Zn 1.
P 由依概率收敛的性质，Yn eZn e1.
21
定理（贝努里大数定律）： 设nA为n重贝努里试验中事件A发生的次数，并记 事件A在每次试验中发生的概率为p ，则有 nA P p, 当n 时. n
1 1 2 2 1 E ( X 1 ) x dx 1 2 3 n
1
1 X . 3 k 1
2 k P
20
n
例1.8 设X 1 ,
, Xn,
独立同分布，X 1 ~ U (0, 1),
则n X1 X 2
X n 依概率收敛吗？
如果依概率收敛，收敛于什么？
解：令Yn n X1 X n , Z n ln Yn 1 则Z n (ln X 1 ln X n ), n
P Yn 0.49 = 1 [1 P Yn 0.5 0.01] 0.025. 2 这是一个小概率事件，根据实际推断原理认为
如果只抛1万次，事件 Y10000 0.1 不会发生.
6
P P 性质： 若X n a, Yn b, g在(a, b)连续，
验确定某事件发生的频率并把它作为相应的
概率估计，这是一种参数估计法，该方法的 重要理论基础之一就是大数定律.
5.2 中心极限定理
定理5.2.1(独立同分布的中心极限定理)： 设X 1 , X 2 , , Xn, 独立同分布， E X i ,Var X i 2 , 则对任意实数x， lim P( i 1
n n
计算得：当n 6765时，P Yn 0.5 0.01 0.90.
当n 9604时，P Yn 0.5 0.01 0.95.
0.5
例如： 0.01, 有 lim P Yn 0.5 0.01 1.
n
0.49
0.51
7
1 例1.2：设X n ~ N (0, ), n 1, 2,..., n P 则当n +时,X n 0 .
证明: 对任意 0,
P(| X n 0 | ) P( X n ) P( X n )
0 1 ( ) ( ) 1/ n 1/ n
n
特别地，当cn c, n 1, 2,...时，可写为 1 Y P c, n . i n i 1
n
定理（切比雪夫大数定律）：
设X 1 , X 2 , , Xn, 相互独立，具有
n
相同的数学期望 和相同的方差 2，
P 则当 n 时, 1 X k . n n n k 1 1 1 证明 : E( X i ) E( X i ) ,
证明 : 利用切比雪夫不等式 : 0, 1 Var ( X n ) 0 P(| X n 0 | ) 2 0. 2 n
lim P(| X n 0 | ) 0.
n
13
例1.5 在n重贝努里试验中，若已知每次试验
事件A出现的概率为0.75， 试利用切比雪夫不等式计算, (1)若n=7500,估计A出现的频率在0.74至0.76 之间的概率至少有多大；
n 18750.
(三)几个大数定律
定义5.1.2： 设Y1 , , Yn , 为一个随机变量序列，
n
若存在常数序列{cn , n 1}，使得 1 Y c P 0, 当n ， i n n i 1 即 0, 有 lim P{ 1 Yi cn } 0, n n i 1 则称{Yi , i 1}服从(弱)大数定律.
k
成立; .
E (| Y |k )
k
特别地，当Y 为取非负值的随机变量时， 则有 P Y E (Y k )
k
, 当 | Y | 时； 证明：对于任意 0，令Z = 0, 当 | Y | 时.
则Z | Y |,
Z k | Y |k ,
E(Z k ) E(| Y |k ).
c c c
n
这种收敛性是在概率意义下的一种收敛， 而不是数学意义上的一般收敛.
4
例1.1 抛一枚均匀硬币n次，Yn表示正面出现的频 P 0.5, 当n +时. 率.n=1,2 …,可以证明 Y n 试说明这种依概率收敛性,
解：这就意味着， 0, 有： lim P Yn 0.5 0, 等价地， lim P Yn 0.5 1.
Var ( X )
2
.
Var ( X )
2
.
证明：在定理5.1.1中
则E ( Y )
2
令Y X E ( X ), k 2.
E( X E( X ))
Var ( X ).
2
f ( x)
E( X ) E( X )
E( X )
11
例1.3 设E ( X ) ,Var ( X ) 2 ,
(2)估计n,使A出现的频率在0.74至0.76之
间的概率不小于0.90。
解：设在n重贝努里试验中，事件A 出现的次数为X，
则X B n,0.75 ,E X np 0.75n,Var X npq 0.1875n,
又 f n A X , P 0.74 X 0.76 P0.74n X 0.76n n n
i 1
n
例如：X i ~ U (0, 1), i 1, 2,3, 4, ,100. 则 X1 X 2 X1
X1 X 2 X 3
X1 X 2 X 3 X 4
问题：X1 ... X100 服从的分布？
——中心极限定理
3
5.1 大数定律
(一)依概率收敛
随机变量序列Y1 , Y2 , Y3 , , 若存在某常数c， 使得 0, 均有： lim P Yn c 0, 则称 Yn , n 1 依概率收敛于常数c， P c, 当n +时. 记为：Y n
而据Z的定义, 知
E ( Z k )= k P Y ,
所以 P Y
E(Z k )
k
E (| Y |k )
k
.
切比雪夫不等式：设X 的方差Var ( X )存在，则
对于任意 0, 都有：P X E X 等价为：P X E X 1
2[1 ( n )] 0, 当n +时.
8
0
(二)马尔可夫不等式和切比雪夫不等式
定理5.1.1 马尔可夫不等式 ： 设随机变量Y的k阶矩存在(k 1), 则对于任意 0, 都有：P Y 定理的等价形式为：P Y 1 E (| Y |k )
5
思考题1.抛硬币7000次，则 {0.49 Y7000 0.51} 一定发生？ 答：不一定.可能发生，也可能不发生，发生 的可能性非常大，概率超过90%. 思考题2.抛硬币1万次，则事件Y10000 0.1 会发 生吗？说明理由.
当n 9604时，P Yn 0.5 0.01 0.95. 答：
n
X
n
i
n
n
x)
n
x
பைடு நூலகம்
1 e 2
t 2
2
dt ( x).
因此当n充分大时
2 X ～ N ( n , n ). i i 1
2 i 2
1 n P X i 0 n i 1
例1.7：设X 1 ,
, Xn,
独立同分布，X 1 ~ U ( 1, 1).则
1 n 1 n 1 n 2 （） 1 X k，（2） X k ，（3） X k n k 1 n k 1 n k 1 依概率收敛于什么？
1 n P 0 解: E( X1 ) 0 X k n k 1 1 1 n 1 1 1 P , E ( X 1 ) x dx X k 1 n k 1 2 2 2
证明思路：易见nA X i , 其中
i 1 n
第i次试验中A发生； 1, Xi 第i次试验中A不发生； 0, X i ~ B(1, p), 且相互独立.
i 1, 2,
, n,
(或直接用切比雪夫不等式证明).
大数定律的重要意义： 贝努里大数定律建立了在大量重复独立试 验中事件出现频率的稳定性，正因为这种稳 定性，概率的概念才有客观意义. 贝努里大数定律还提供了通过试验来确定 事件概率的方法，既然频率nA/n与概率p有 较大偏差的可能性很小，因此可以通过做试
1 1 1 Var ( X i ) 2 Var ( X i ) 2 n i 1 n n i 1 利用切比雪夫不等式 :
n
n
i 1
n
n
i 1
Var ( X )
i 1 i
n
2
n
,
2 1 n 1 n 0 P(| X i | ) Var ( X i ) 2 2 0. n i 1 n i 1 n