概率论与数理统计总结之第五章

第五章

大数定律

定理一（契比雪夫定理的特殊情况）

设随机变量,,21X X …,,n X …相互独立（是指对于任意n>1，,,21X X …,,n X …是相互独立），且具有相同的数学期望和方差：,2,1()(,)(2===k X D X E k k σμ…)。

作前n 个随机变量的算术平均,11

∑==n

k k X n X 则对于任意正数ε，有

1}|1{|lim }|{|lim 1

=<-=<-∑=∞→∞→εμεμn

k k n n X n P X P 证明：

由于

,*1)(1]1[11μμ===∑∑==n n

X E n X n E n k k n k k n n n X D n X n D n

k k n k k 222121*1)(1]1[σσ===∑∑==， 由契比雪夫不等式可得

22

11}|1{|εσεμn X n P n k k -≥<-∑= 在上式中令,∞→n 并注意到概率不能大于1，即得

.1}|1{|lim 1

=<-∑∞

=→εμk k n X n P

设,,21Y Y …,,n Y …是一个随机变量序列，a 是一个常数。若对于任意正数ε，有

,1}|{|lim =<-∞

→εa Y n n 则称序列,,21Y Y …,,n Y …依概率收敛与a ，记为a Y P n ?→?

设,a X P n ?→?a Y P n ?→?，又设g(x,y)在点（a,b)连续，则),(),(b a g Y X g P n n ?→?

上述定理一又可叙述为：

定理一

设随机变量,,21X X …,,n X …，相互独立，且具有相同的数学期望和方差：

,2,1()(,)(2

===k X D X E k k σμ…)，则序列,11∑==n

k k X n X 依概率收敛于μ，即μ?→?P X

定理二（伯努利大数定理）

设A n 是n 次独立重复试验中事件A 发生的次数。p 是事件A 在每次试验中发生的概率，则对于任意正数ε>0,有

1}|{|lim =<-∞→εp n n P A n 或0}|{|lim =≥-∞→εp n

n P A n 证明：

因为A n ～),(p n b ，有

++=21X X n A …,n X +

其中，,,21X X …,,n X …相互独立，且都服从以p 为参数的（0-1）分布，因而,2,1)(1()(,)(=-==k p p X D p X E k k …),n ，由定理一得

++∞→21(1{|lim X X n

P n …,1}|)=<-+εp X n 即

1}|{|lim =<-∞→εp n

n P A n

这个定理表明事件发生的频率的稳定性

定理三（辛钦定理）

设随机变量,,21X X …,,n X …相互独立，服从同一分布，且具有数学期望,2,1()(==k X E k μ…)，则对于任意正数ε，有

1}|1{|lim 1

=<-∑=∞→εμn

k k n X n P 显然，伯努利大数定理是辛钦定理的特殊情况

中心极限定理

定理四（独立同分布的中心极限定理）

设随机变量,,21X X …,,n X …相互独立，服从同一分布，且具有数学期望和方差：,2,1()(,)(2

===k X D X E k k σμ…)，则随机变量之和∑=n

k k X 1的标准化变量： σ

μn n X X D X E X Y n k k n k k n k n k k k n ∑∑∑∑====-=-=1111

)

()(

的分布函数)(x F n 对于任意x 满足

)(21}{lim )(lim 2/1

2x dt e x n n X P x F t x n k k n n n Φ==≤-=-∞-=∞→∞→?∑π

σμ

对其的解释：

均值为μ，方差为2σ>0的独立同分布的随机变量之和∑=n

k k X 1

的标准化变量，当n 充分大时，有σμn n X n k k ∑=-1～)1,0(N 将上式左端改写成,//11n

X n X n n k k σμσμ-=-∑=这样上述结果可写成： 当n 充分大时，

n

X /σμ-～)1,0(N 或X ～)/,(2n N σμ 这也就是说，均值为μ，方差为02>σ的独立同分布的随机变量,,21X X …,,n X 的

算术平均∑==n

k k X n X 1

1，当n 充分大时近似地服从均值为μ，方差为n /2σ的正态分布

定理五（李雅普诺夫定理）

设随机变量,,21X X …,,n X …相互独立，它们具有数学期望和方差：

,2,1,0)(,)(2=>==k X D X E k k k k σμ…，

近似

近似 近似

记∑==n

k k n

B 122

σ, 若存在正数δ，使得当∞→n 时，

,0}|{|1

212→-+=+∑δδμn

k k k n X E B 则随机变量之和∑=n

k k X 1的标准化变量：

n n k n k k k n k k n k n k k k n B X X D X E X Z ∑∑∑∑∑=====-=??? ????? ??-=1111

1μ

的分布函数)(x F n 对于任意x ，满足

)(21lim )(lim 2/112x dt e x B X P x F t x n n k n k k k n n n Φ==???

???????????≤-=-∞-==∞→∞→?∑∑πμ

对其的解释为： 随机变量n n k n k k

k

n B X Z ∑∑==-=11μ，

当n 很大时，近似服从正态分布N(0,1)，因此，当n 很大时，∑∑==+=n

k k

n n n k k Z B X 1

1μ近似服从正态分布),(21n n

k k B N ∑=μ

这就是说，无论各个随机变量)^,2,1(=k X k 服从什么分布，只要满足定理的条件，那么它们的和∑=n

k k X 1当n 很大时，就近似服从正态分布

定理六（棣莫弗-拉普拉斯定理）

设随机变量)^,2,1(=n n η服从参数为n,p （0

)(21)1(lim 2/2x dt e x p np np P t x n n Φ==??

????????≤---∞-∞→?πη 证明：

将n η分解成为n 个相互独立、服从同一（0-1）分布的诸随机变量,,21X X …n X ,之和，即有

n η=∑=n

k k X 1，

其中),^,2,1(n k X k =的分布律为

.1,0,)1(}{1=-==-i p p i X P i i k

由于),,^,2,1)(1()(,)(n k p p X D p X E k k =-==由定理四得

)(21)1(lim )1(lim 2/12x dt e x p np np X P x p np np P t x n k k n n n Φ==???

???????????≤--=??????????≤---∞-=∞→∞→?∑πη 这个定理表明，正态分布是二项分布的极限分布，当n 充分大时，我们可以利用定理六中的式子来计算二项分布的概率