(完整版)8-第五章大数定律和中心极限定理解析

第五章 大数定律和中心极限定理

大数定律和中心极限定理是概率论中两类极限定理的统称，前者是从理论上证明随机现象的“频率稳定性”，并进一步推广到“算术平均值法则”；而后者证明了独立随机变量标准化和的极限分布是正态分布或近似正态分布问题，这两类极限定理揭示了随机现象的重要统计规律，在理论和应用上都有很重要的意义。

§5.1 大数定律

设ΛΛ,,,,21n X X X 是互相独立的一列随机变量，每个随机变量取值于二元集合{0，1}，并有相同的概率分布函数

()()0,

1,1j j P X q P X p p q ====+=

易计算它们的数学期望和方差为 (),

()j j E X p D X pq ==

如果取这些j X 的部分和 n n X X X S +++=Λ21

并考虑它们的平均值∑==n j j n n X

n S 1/)(/，易知它的数学期望和方差为

;n

n

S S pq E p D n n n ????== ? ?????

利用定理4.2.13给出的切比雪夫不等式可知：对任何一个正数t 有

2n S pq P p t n t n

??-≥≤ ??? 令∞→n ，有

2lim lim 0n n n S pq P p t n t n

→∞→∞??-≥≤= ??? 即

lim 0n n S P p t n →∞??-≥= ???

(5.1.1) 可见当n 很大时，部分和的平均值/n S n 与p 相距超过任何一个数0>t 的概率都很小，而当∞→n 时, 这个概率趋于0。

(5.1.1)式的结果称为弱大数定律，也称伯努利大数定律, 因为这个定律是伯努利在1713年首先证明的，是从理论上证明随机现象的频率具有稳定性的第一个定律。注意式(5.1.1)等价于

lim 1n n S P p t n →∞??-≤= ???

(5.1.2) 把它完整地叙述如以下定理：

定理5.1.1（伯努利大数定律） 设ΛΛ,,,,21n X X X 是互相独立的取值于二元集合{0，1}的一列随机变量，并有相同的概率分布函数

()()0,1,1j j P X q P X p p q ====+=

又设 n n X X X S +++=Λ21

则 lim 0n n S P p t n →∞??-≥= ???

或等价地

lim 1n n S P p t n →∞??-≤= ???

。 伯努利大数定律说明了概率论中一个重要的事实，设p 是伯努利试验中事件A 出现的概率，则n S 是n 重伯努利试验中事件A 发生的次数，n S n /是事件A 出现的相对频率，当n 很大时事件A 出现的相对频率与事件A 出现的概率p 的偏差超过任何一个正数t 的可能性很小。

“概率很小的随机事件在个别事件中是几乎不可能发生的”这一原理称为小概率事件的实际几乎不可能原理，有广泛的应用，至于“小概率”小到什么程度才能看作实际上几乎不可能发生，则要视具体情况而定。例如，自动车床加工零件出现次品的概率为0.01，若零件的重要性不大且价格很低，则完全允许有1%的次品率，可以忽视100个零件中出现一个次品的可能性。但对于飞机或更昂贵的航天器来说，出现次品的概率应当几乎为零，1%的次品率是绝对不允许的。

伯努利大数定律提供了通过试验来确定事件的概率的方法。既然相对频率n S n /与事件出现的概率p 有较大偏差的可能性很小，因此在实践中可以通过做试验确定某事件出现的相对频率作为该事件出现的概率的近似估计，这种方法称为参数估计，它是数理统计中的重要方法，它的一个重要理论基础就是大数定律。

伯努利大数定律可以推广为以下形式的弱大数定律。

定理5.1.2（弱大数定律） 设ΛΛ,,,,21n X X X 是互相独立的一列随机变量，并有相同的概率分布函数，它们公共的数学期望和方差为

2(),

()j j E X a D X σ==<∞

设n n X X X S +++=Λ21，则

则 lim 0n n S P a t n →∞??-≥= ???

(5.1.3) 或等价地 lim 1n n S P a t n →∞

??-≤= ???。 (5.1.4) 对任何0>t 成立。

该定理的证明可以利用定理4.2.13给出的切比雪夫不等式类似伯努利大数定律证之，把它留给读者。

本定律使算术平均值的法则有了理论依据，比如要测量某个物理量a ，在客观条件不变的情况下重复测量n 次，得到n 个测量值n X X X ,,,21Λ，显然可以把它们看作n 个独立同分布的随机变量，有数学期望a ，由大数定律知，当n 充分大时，n 次测量的平均值可作为a 的近似估计，即

,21n

X X X a n +++≈Λ 由此所产生的误差很小。

弱大数定律可以进一步推广为以下形式的切比雪夫大数定律。

定理5.1.3（切比雪夫弱大数定律） 设ΛΛ,,,,21n X X X 是互相独立的一列随机变量，每一个随机变量都有数学期望()j E X 和有限方差(),1,2,j D X j <∞=L ，并且它们有公共的上界()j D X c ≤，设n n X X X S +++=Λ21，则对任何0>t 有

11lim ()0n n j n j S P E X t n n →∞=??-≥=??????

∑ (5.1.5) 或等价地

11lim ()1n n j n j S P E X t n n →∞=??-≤=??????

∑ (5.1.6) 证 因ΛΛ,,,,21n X X X 互相独立，所以

22111()n n

n i S c D D X nc n

n n n =??=<= ???∑ 又因为1

1()n n

n i S E E X n n =??= ???∑，由切比雪夫不等式可得 2211(),n n n n i S D S c n P E X t n n t nt =?? ????

?-≥≤≤????

∑

令∞→n ，有

11lim ()0.n n n n i S P E X t n n →∞=??-≥=????

∑ 由俄国数学家切比雪夫证明的上述定律是关于大数定律的一个相当普遍的结论，前两个弱大数定律都是它的特例。

弱大数定律涉及一列概率的收敛性，此种收敛称为依概率收敛，定义如下：

定义5.1.4 设ΛΛ,,,,21n Y Y Y 是互相独立的一列随机变量，a 是一个常数，如果对任意正数ε，有

()lim 0,n n P Y a ε→∞

-≥= (5.1.7) 或等价地

()lim 1,n n P Y a ε→∞

-<= (5.1.8) 则称序列ΛΛ,,,,21n Y Y Y 依概率收敛于a 。

依概率收敛的更一般的定义如下：

定义 5.1.5 (依概率收敛) 设ΛΛ,,,,21n Y Y Y 是一列随机变量，Y 是一个随机变量，如果对任意正数ε，有

()lim 0,n n P Y Y ε→∞

-≥= (5.1.9) 或等价地

()lim 1,n n P Y Y ε→∞

-<= (5.1.10) 则称序列ΛΛ,,,,21n Y Y Y 依概率收敛于Y 。通常记为Y Y P

n →.

弱定律只涉及一列概率的收敛性，对应地一个强定律则给出了一列随机变量的极限情况，它涉及的收敛性为几乎处处收敛，或依概率1收敛，其定义如下：

定义5.1.6 设ΛΛ,,,,21n Y Y Y 是互相独立的一列随机变量，a 是一个常数，如果对任意正数ε，有 ()

lim 0,n n P Y a ε→∞-≥= (5.1.11) 或等价地

()

lim 1,n n P Y a ε→∞-<= (5.1.12) 则称序列ΛΛ,,,,21n Y Y Y 几乎处处收敛于a (或依概率1收敛于a )。

几乎处处收敛的更一般的定义如下：

定义5.1.7 (几乎处处收敛) 设ΛΛ,,,,21n Y Y Y 是一列随机变量，Y 是一个随机变量, 如果对任意正数ε，有

()

lim 0,n n P Y Y ε→∞-≥= (5.1.13) 或等价地

()

lim 1,n n P Y Y ε→∞-<= (5.1.14) 则称序列ΛΛ,,,,21n Y Y Y 几乎处处收敛于Y (或依概率1收敛于Y )。通常记为.).(e a Y Y n →. 注 几乎处处收敛的定义(5.1.13)和(5.1.14)与依概率收敛的定义中(5.1.9)和(5.1.10)形式上的区别是将极限号和概率符号交换了，但这却是本质上的区别，因为一般情况下是不能交换的。几乎处处收敛要强于依概率收敛，即若随机变量序列ΛΛ,,,,21n Y Y Y 几乎处处收敛于Y ，则必定也依概率收敛于Y 。但反之不成立。

在几乎处处收敛意义下的大数定律称为强大数定律，通常强定律的证明要比弱定律的证明困难得多，以下不给证明地给出强大数定律。

定理5.1.8（强大数定律） 设ΛΛ,,,,21n X X X 是互相独立同分布的一列随机变量，有数学期望()j E X a =和有限方差2(),1,2,j D X j σ=<∞=L ，设

n n X X X S +++=Λ21，

则对任何0>t 有

lim 0n n S P a t n →∞??-≥= ???

(5.1.15) 或等价地 lim 1n n S P a t n →∞??-<= ??

? (5.1.16) 注意弱大数定律和强大数定律的区别不仅仅是一个法则的不同，不能简单地把极限号∞→n lim 从概率号()P 中移出来，这两个定律描述的是相当不同的事情，弱定律描述的是一列

概率的收敛性，而强大数定律说的是一列随机变量n S n /收敛到一个常数a 。正是强大数定律最有力地保证了用事件出现的相对频率作为事件出现概率的估计的正确性。

下面举一个信息论中应用的例子说明大数定律的重要性。

定理 5.1.9 设ΛΛ,,,,21n X X X 是互相独立同分布、取值于同一个有限字母集{}n x x x ,,,21Λ的一列随机变量，它们的公共分布记为{})(,),(),()(21n x p x p x p x p Λ=，则依概率收敛的意义下有

121lim ln (,,,)()n n p X X X H X n →∞??-=????

L 其中

1()()ln ()n

i i i H X p x p x ==-∑

称为分布)(x p 的熵，当式中对数是以2为底时，熵的单位为比特（bit ），当式中对数是以e 为底的自然对数时，熵的单位为奈特（nat ）。

证 设n n X Y log -=，由于ΛΛ,,,,21n X X X 是互相独立同分布，它们的函数ΛΛ,,,,21n Y Y Y 也是互相独立同分布的随机变量，

[]1211

111ln (,,,)ln ()n n

n i i i i p X X X p X Y n n n ==-=-=∑∑L 根据大数定律，∑=n

i i Y n 1

1依概率收敛到i Y 的数学期望 ()()1ln ln ()ln ()n

i i i i i E Y E X p x p x ==-=-∑

这里用到了求随机变量函数数学期望的(4.1.3)式，由此定理得证。 □

这个定理称为熵定理, 在信息论和数据压缩中有重要应用。

以上介绍了概率论中的两种重要的收敛性：依概率收敛和几乎处处收敛，下面再简要介绍概率论中另外两种常见的收敛性：依分布收敛和矩收敛。

定义5.1.10(分布函数弱收敛) 设},2,1),({Λ=n x F n 是一列分布函数，如果存在一个非降函数)(x F ，对它的每个连续点x ，都有

lim ()()n n F x F x →∞

= 则称分布函数列},2,1),({Λ=n x F n 弱收敛于)(x F ，记为)()(x F x F W n →.

定义 5.1.11(依分布收敛) 设随机变量序列},2,1,{Λ=n Y n 和随机变量Y 的分布分别为},2,1),({Λ=n x F n 和)(x F ，如果},2,1),({Λ=n x F n 弱收敛于)(x F ,则称},2,1,{Λ=n Y n 依分布收敛于Y ，记为Y Y L

n →.

定义5.1.12(矩收敛) 设对随机变量序列},2,1,{Λ=n Y n 和随机变量Y 有 ()(),,r

r n

E Y E Y <∞<∞ 其中0>r 为常数, 如果 ()lim 0r n n E Y Y →∞-=

则称随机变量序列},2,1,{Λ=n Y n -r 阶矩收敛于随机变量Y ，Y Y r n →.

在-r 阶矩收敛中最重要的是2=r 的情形，这时称为均方收敛。

以上介绍了随机变量序列的4种收敛性，它们之间有什么关系呢，哪种强一些，哪种弱一些呢？下面用图5.1表示它们的关系：

图5.1 随机变量序列的四种收敛性的关系

其中“A B →”表示由命题A 可以推出命题B ，上述逆命题一般不成立。此外在“-r 阶矩收敛”和“几乎处处收敛”之间不存在确定的隐含关系。以上各种收敛性的关系的证明以及逆命题不成立的例子已超出本书范围，读者可以参考有关的文献或教材。

§5.2 中心极限定理

在5.1节中讨论的大数定律虽然证实了“频率的稳定性”，但并未给出独立随机变量和的分布是什么，而这正是本节要讨论的问题，这个问题就引出了概率论中最重要的一类定理──称之为中心极限定理，这类定理有很多推广的或一般化的形式，这里只讨论其中一种适合于大多数应用情形的形式。

为了描述问题，设ΛΛ,,,,21n X X X 是互相独立同分布的一列随机变量，有数学期望()j E X a =和有限方差2(),1,2,j D X j σ=<∞=L ，且每个j X 的矩母函数在0点的一个邻域中都存在，考虑部分和

n n X X X S +++=Λ21，

中心极限定理说明了当n 充分大时，无论各个j X 的分布是什么，这个部分和的分布是近似正态的。显然这个结论是十分重要的，因为在概率统计和实际应用中会经常遇到这种独立随机变量和的情形。

为了严格地描述上述结论，考虑n S 的标准化变量。因为2(),()n n E S na D S σ==，标

准化后的随机变量

n Z ===

有数学期望0和方差1。

定理5.2.1（中心极限定理） 设n Z 的分布函数为)(x F n ，则

()2

/2lim ()lim e d x

u n n n n F x P Z x u --∞→∞→∞=≤= (5.2.1) （右式即是标准正态分布的分布函数）。

证 只给出证明的主要思路。

设)(t M 为标准化随机变量σ/)(a Z i -的矩母函数，则

[]23

()()

()/232322()()33()e 12!3!11()112()23!22i i ii t X a iii iv t t M t E t t t t t t R t tR t σμννν-??==++++??=+++=++=++L

L 其中（i ）是矩母函数的定义，（ii ）利用泰勒展开，（iii ）是因为标准化后的随机变量有数学

期望0和方差1，（iv ）右端的)(3

t R t 代表幂次为3t 及以上的所有项的和（将公因子3t 提出来）。在定理的假设条件下，)(t R 在0=t 附近是连续有界的。

现在设)(t M n 为n Z 的矩母函数，则

()[

]1212()()())()()()()e e e e e n n n t X a X a X a tZ n t X a t X a t X a M t E E E E E -+-++----??==?

???????=????????????L

利用j X 们的独立性和数学期望的线性性可得

2()((((11(2n n

n M t M t M t M t t M t t n =??????==+?? ???????L 对每个固定的t ，)/()/2(n t R n t 小于1，从而当∞→n 时趋于0；又因为当∞→n 时，

)/(2n t tR 趋于)0(2tR ，从而是有界的。因此当∞→n 时，)/()/2(n t R n t 这项充分小，可以忽略不计，于是可以简记

2()12n n t M t n ??=+ ???

(5.2.2) 由微积分中众所周知的结果

lim 1e n x n x n →∞??+= ???

用于（5.2.2）式可得

2/2e )(lim t n n t M =∞→

右式就是标准正态分布的矩母函数。 □ 注意到在证明过程中用到了“当∞→n 时，)/()/2(n t R n t 这项充分小，可以忽略不计”这个结论，事实上只要通过更精细但并不太困难的推导，可以得到)/()/2(n t R n t

这项的上界估计，这里把这个过程省略了。

此外，也要注意为使中心极限定理成立，各个j X 须满足的不太强的条件，即它们的矩母函数要存在，否则就不能保证结论的正确性。

中心极限定理说明了当n 充分大时，无论各个j X 的分布是什么，这个部分和的分布是近似正态的。为更直观地了解n Z 的极限分布趋于正态分布的情况，下面举一个例子。

例 5.2.1 设ΛΛ,,,,21n X X X 是互相独立的一列随机变量，每个都服从33<<-x 上的均匀分布，易计算得它们的数学期望0][=j X E ，方差D[1]=j X ，考虑部分和n n X X X S +++=Λ21，标准化后得n S Z n n /=，可以精确计算它的分布函数，图5.2显示了3,2,1=n 及∞→n 时分布的图形，最初它的分布远不是正态的，但随着n 的增大而逐步趋向正态。

图5.2 3,2,1=n 及∞→n 时分布的图形

定理5.2.2（棣美弗-拉普拉斯（DeMoivre-Laplace ）定理） 设随机变量),2,1(Λ=n Y n 服从二项分布),(p n B ，则对于任意区间),(b a ，恒有

2

2lim d t

b a n P a b t -→∞??<<= ? ???

? 证 由于服从二项分布的随机变量n Y 可以看作n 个相互独立的、服从同一参数p 的两点分布的随机变量，即 n n X X X Y +++=Λ21，

其中(),(),1,2,,,1i i E X p D X pq i n q p ====-L ，由定理5.2.1可得

22lim lim d n t i x n n X np P x P x t -→∞→∞??- ????<=<=???????

∑? 于是对于任意区间),(b a 有

2

2lim d t

b a n P a b t -→∞??<≤= ? ???

? □ 此定理表明，正态分布是二项分布的极限分布，当n 趋向无穷时，服从二项分布的随机变量n Y 的概率计算可用正态分布的概率来近似。 (

)(

)2()2;

K np npq n n P Y K P a Y b P --=≈

??????<≤=<≤≈Φ-Φ 例5.2.2 设有2500个同一年龄段和同一社会阶层的人参加了某保险公司的人寿保险，在一年中每个人死亡的概率为0.002，每个人在年初向保险公司交纳保费1200元，而在死亡时家属可以从保险公司领到200000元，问：（1）保险公司亏本的概率是多少？（2）保险公司获利不少于1000000元的概率是多少？

用两种方法来讨论此题，以便让读者体会中心极限定理的一些用途。

解法一 通过二项分布的概率分布律求解，参见第二章例2.3.3.

当然要算出上述概率的精确值是困难的，以下可以用中心极限定理计算它们的近似值。 解法二 设X 表示2500人中死亡人数，则X 服从002.0,2500==p n 的二项分布，这时99.4998.0002.02500,5002.02500=??==?=npq np

（1） 由解法一知

P (保险公司亏本) =P (多于15人死亡)

()(

)15114111 0.000069P X P X P =>=-≤=-≤≈-Φ=-Φ= （2）保险公司获利不少于1000000元意味着30000002000001000000,10x x -≥≤, 则

P (保险公司获利不少于1000000元)= P (死亡人数不多于10)

(

)100.9863P X P =≤=≤≈Φ= □ 注意，在以上的计算中用到了中心极限定理作近似估计，请读者自己体会是怎么用的。 下面再举一个金融方面的例子。

例 5.2.3 银行为支付某日即将到期的债券须准备一笔现金，已知这批债券共发放了500张，每张须付本息1000元，设持券人（一人一券）到期日到银行领取本息的概率为0.4。问银行于该日应准备多少现金才能以99.9%的把握满足客户的兑换。

解 设

1,0,i i i X ?=??第个持券人到期日去银行兑换第个持券人到期日不去银行兑换

则该日到银行兑换的总人数为∑=5001i i X

，所需资金为∑=50011000i i X ，为使银行能以99.9%的把

握满足客户的兑换，即要求x ，使得50010.999i i P X x =??≤≥ ???

∑。这里500,,2,1,Λ=i X i 服从伯努利分布()0.4,()(1)0.24i i E X p D X p p ===-=，由中心极限定理知

50050012000.999i i i X P X x P =??- ???≤=≤≈Φ≥ ?????

∑∑ 查表得96.233,1.3120200

≥≥-x x 。所以银行只须准备234000元就能以99.9%的把握满足客户的兑换。 □

例5.2.4 电视台作某节目A 收视率的调查，在每天节目A 播出时随机地向当地居民打电话，问是否在看电视，如在看电视，再问是否在看节目A ，设回答在看电视的居民数为n ，问为保证以95%的概率使调查误差在1%之内，n 应取多大？

解 设n Y 为回答看电视的居民中在收看节目A 的人数，要估计的收视率设为p ，要求n 使

95.01.0=???

? ??<-p n Y P n 略作变换可得

???? ??<≈???? ??<-=???? ??<-=pq n X P pq n npq

np Y P n np Y P n n 10101.095.0 其中X 是服从标准正态分布)1,0(N 的随机变量，查表可得

96.110>pq

n

或者 ()pq n 2

6.19> 现在的问题是如何确定pq 。定义函数

pq p p p h =-=)1()(

则其导数()12h p p '=-，当2/1=p 时0)('=p h ，易证这时4/1)(=p h 达到最大值，即意味着22119.619.696.044

pq ?≤?

=，所以04.96>n ，取97=n 就足够了。 □ §5.3 阅读材料：股票瞬时价格的分布

股票的价格运动有无规律性是金融中的一个基本问题，股票价格的随机游动理论在金融数学中有着重要意义，它的基本思想是概率论思想应用的一个范例。以下简单作一介绍。 设某股票初始时刻的价格为0S ，考察它在时段[0,]t 间的变化，将该时段分成长度为?的t n ??=???

??等分，并记{}12,,,n S S S ???L 为在各小时段末股票的价格，即i S 为在时刻i ?股票的价格，则股票在t 时刻的对数收益率为

ln n S X S ?= (5.3.1) 或等价地 0X t n S S S e == (5.3.2)

X 可以表示为

(1)110(1)0(1)ln ln ln n n n n n i i i i n i S S S S S X X S S S S S ?-????==-??-?

====∑∑L L 其中(1)ln i i i S X S ?

-?=为股票在第i 个小时段[](1),i i -??的对数收益率，如果假设它们是独立

同分布，有公共的均值()i E X μ?=和有限方差2(),1,2,,i D X i n σ?=<∞=L ，由中心极限

定理知，当n 充分大时，无论各个i X 的分布是什么，它们的和X 的分布是近似正态的，更严格地说，考虑X 的标准化变量，由独立性假设可得，

211()(),()()n n

i i i i E X E X n D X D X n μσ??======∑∑

标准化后的随机变量

Z == 近似地服从标准正态分布(0,1)N .通过在概率论中某种收敛意义下的极限，极限0lim Z ?→服从

正态分布，进而得到股票在t 时刻的瞬时价格

lim t n S S ?→= 由此可以得到结论：由(5.3.2)式知股票在t 时刻的瞬时价格t S 本身不服从正态分布，但价格的对数服从正态分布，用连续时间金融的术语来说，就是服从(带漂移的)布朗运动，有兴趣的读者可以参考相关的文献。

习 题 五

1．生产灯泡的合格率为0.6, 求10000个灯泡中合格灯泡数在5800到6200的概率。

2．某地区种植某种农作物，根据统计求得平均亩产是412斤，

16斤，估计亩产与412近的偏差不大于47斤的概率。

3．设供电站供应某地区10000户居民用电，各用户情况相互独立，已知每户用电量（单位：度）在[0, 20]上均匀分布，求：

（1）这10000户居民每日总用电量超过101000度的概率。

（2）要有0.99的概率保证该地区居民供应电量的需要，问供电站每天至少需向该地区供应多少度电?

4．一个复杂系统由100个相互独立起作用的部件所组成，在整个运行期间每个部件损坏的概率为0.1，为使整个系统正常运行至少需要85个部件工作，求整个系统正常工作的概率。

5．抽样检查产品质量时，如果发现次品多于10个，则认为这批产品不能接受，应检查多少产品才能使次品率为10%的一批产品能被接受的概率达0.9。

6．设独立随机变量10021,,,X X X Λ都服从参数为1=λ的泊松分布，试计算概率?

?????≤∑=1201001i i X P 。 7．计算机在进行加法时，每个加数按四舍五入取为最为接近的整数，设每个加数的取整误差是互相独立的，它们都服从均匀分布]5.0,5.0[-U ，现有300个加数相加，求误差总和绝对值超过15的概率。

8．某商店负责供应某地区1000人的某种商品，设该商品在一段时间内每人需用一件的概率为0.6，并假设这段时间内各人购买与否彼此无关，问商店应准备多少这种商品才能以99.7%的概率保证商品不脱销？

9．现有一大批种子，其中良种占1/6，今从中任意选6000粒，试问在这些种子中，良种所占的比例与1/6相差小于1%的概率是多少？

10．设某种集成电路出厂时一级品率为0.7，装配一台仪器需要100只一级品集成电路，问购置多少只才能以99.9%的概率保证装配该仪器时够用(不致因一级品不够而影响工作)？

11．某运输公司有500辆汽车参加保险，在一年里汽车出事故的概率为0.006，参加保险的汽车每年交保险费800元，若出事故保险公司最多赔偿50000元，试利用中心极限定理计算，保险公司一年赚钱不小于200000元的概率。