第5章 大数定律和中心极限定理 (NXPowerLite)

7
定理二 ( 伯努利大数定理 ) 设事件A在每次试验中发生的概率为p，记nA为n次独立重复试验 nA 中A发生的次数, 则ε > 0, 有： P p < ε = 1 lim n →+∞ n
证明： nA B ( n, p ) Q
n E A = 1 E ( nA ) = 1 np = p, n n n pq n 利用契比雪夫不等式： D A = 12 D ( nA ) = 12 npq = n n n n
1 第i次试验时A发生 证明：令X i = 0 第i次试验时A未发生
则 X 1 , X 2 ,L , X n ,L 相互独立同分布, X i ~ b(1, p ).
由于nA = X 1 + X 2 + L + X n ,
2 b t nA np ≤ b = ∫ 1 e 2 dt 由前定理, lim P a < n →+∞ a 2π np (1 p)
n
则ε > 0，有：
1 n 证明：由于E X = E ∑ X k = 1 n = , n k =1 n
1 n lim P X < ε = lim P ∑ X k < ε = 1. n →∞ n →∞ n k =1 n 1 P P 即， ∑ X k → 或写为 X . → n k =1
16 16 i =1 16 i =1 16
2
i =1
E ( X ) = E (∑ X i ) = ∑ E ( X i ) = 16*100 = 1600 D( X ) = D(∑ X i ) = ∑ D( X i ) = 16*1002 = 4002
P127-128
设随机变量X 具有数学期望E ( X ) = , 方差D ( X ) = σ 2 , 则对于任意ε >之 ) 设X 的概率密度为f ( x ) ,
σ2 P{ X E ( X ) < ε } ≥ 1 2 ε
则 P{ X ≥ ε} =
n
{
}
9
例2： 设随机变量X 1 ,L , X n ,L , 相互独立同分布，X 1 ~ U (1, 1).则
1 n 1 n 1 n 2 （） ∑ X k，（2） ∑ X k ，（3） ∑ X k 分别依概率收敛吗？ 1 n k =1 n k =1 n k =1 如果依概率收敛，分别收敛于什么？
解：对照辛钦大数定律，X 1 ,L , X n , 相互独立同分布，E ( X 1 )存在, X 1 ,L , X n , 相互独立同分布，E ( X 1 )存在,
可见 0.9974 > 0.8889，符合以上结论 !
但要注意，虽然契比雪夫不等式可以对任意分布的随机变量 落入其期望附近的对称区间进行估计，但只是粗略的估计。
4
例1：n重贝努里试验中，已知每次试验事件A出现的概 重贝努里试验中，已知每次试验事件A 率为0.75 试利用契比雪夫不等式,(1) n=7500,估计 0.75， ,(1)若 估计A 率为0.75，试利用契比雪夫不等式,(1)若n=7500,估计A出 现的频率在0.74 0.76之间的概率至少有多大；（2 0.74至 之间的概率至少有多大；（ 现的频率在0.74至0.76之间的概率至少有多大；（2）估计 n,使 出现的频率在0.74 0.76之间的概率不小于0.90。 0.74至 之间的概率不小于0.90 n,使A出现的频率在0.74至0.76之间的概率不小于0.90。
n X i n 2 ∑ x t 1 e 2 dt x ∈ R, 有： lim P (Yn ≤ x ) = lim P i =1 ≤ x = ∫ n →+∞ n →+∞ nσ ∞ 2π
此定理表明，当n充分大时，Yn 近似服从N ( 0,1) . 即： ∑ X i ～ N (n , nσ 2 ),
{
}
( )
1 n D X = D ∑ X k = 12 n k =1 n
( )
1 nσ 2 = σ 2 ∑ D ( X k ) = n2 n k =1
n
1 n σ2 n 由契比雪夫不等式得：P ∑ X k < ε ≥ 1 2 ε n k =1
1 n lim P ∑ X k < ε = 1 n →∞ n k =1
{
}
{
}
随机变量序列依概率收敛的定义
定义：设随机变量序列Y1 , Y2 ,LYn ,L , 若存在某常数a， 使得ε > 0, 均有： P { Yn a < ε } = 1, lim 则称随机变量序列{Yn } 依概率收敛于常数a， P→ 记为：Y a。 n
n →+∞
a ε
a
a +ε
依概率收敛性质：
第五章 大数定律和中心极限定理
关键词： 关键词： 契比雪夫不等式 大数定律 中心极限定理
1
§1 大数定律
背景
本章的大数定律，对第一章中提出的 “频率稳定性”，给出理论上的论证
为了证明大数定理，先介绍一个重要不等式
2
契比雪夫不等式
σ2 P{ X E ( X ) ≥ ε } ≤ 2 ε
定理的等价形式为：
σ2 P( X < 3σ ) ≥ 1 = 0.8889 2 (3σ )
即由契比雪夫不等式知道，对于任意分布的X 落入区间 （ 3σ ， + 3σ）的概率均大于0.8889。
检验：当X ~ N ( , σ 2 ) 时, 则 P( X < 3σ ) = P ( 3σ < X < + 3σ ) = 2Φ (3) 1 = 0.9974
n pq 于是，ε > 0, 有P A p < ε ≥ 1 2 nε n
n 即得： P A p < ε = 1 lim n →+∞ n
大数定律的重要意义： 贝努里大数定律建立了在大量重复独立试验中事件出现频率的稳 定性，正因为这种稳定性，概率的概念才有客观意义，贝努里大 数定律还提供了通过试验来确定事件概率的方法，既然频率nA/n 与概率p有较大偏差的可能性很小，我们便可以通过做试验确定 某事件发生的频率并把它作为相应的概率估计，这种方法就是第 7章将要介绍的参数估计法，参数估计的重要理论基础之一就是 8 大数定理。
定理一表明，当n很大时，X 1 , X 2 ,L , X n的算术平均: 1 X 接近于它们共同的数学期望 。 n∑ k k =1 而这种接近是在概率意义下的接近。
n
此外，定理中要求随机变量的方差存在，但当随 机变量服从相同分布时，就不需要这一要求。
定理三 ( 辛钦定理 )： 设随机变量序列X 1 , X 2 ,L , X n ,L 相互独立，服从同一分布， 且存在数学期望，作前n个随机变量的算术平均： X = 1 ∑ X k n k =1 则ε > 0，有： 1 n lim P X < ε = lim P ∑ X k < ε = 1. n →∞ n →∞ n k =1
求a =？
解： 由题意知，X 1 , X 2 ,L , X n是具有独立同分布的随机变量
2 2 所以, 它们的连续函数X 12 , X 2 ,L , X n 也是独立同分布的。
2 X 12 + X 12 + L + X n 2 是变量序列X 12，X 12， ，X n的前n个算术平均， L n 故由定理三（辛钦定理）得： 算术平均依概率收敛于E ( X 2 )
3 ∴ a = E ( X ) = ∫ x 3x dx = 0 5
2 1 2 2
11
§2 中心极限定理
背景：
有许多随机变量，它们是由大量的 相互独立的随机变量的综合影响所形成 的，而其中每个个别的因素作用都很小， 这种随机变量往往服从或近似服从正态 分布，或者说它的极限分布是正态分布， 中心极限定理正是从数学上论证了这一 现象，它在长达两个世纪的时期内曾是 概率论研究的中心课题。
i =1 n （近似）
答案：N ( ,
b n a n ) Φ( ). nσ nσ
σ2
n
)
从而，P (a < ∑ X i ≤ b) ≈ Φ (
i =1
n
注意：定理五的应用
13
定理六
( 棣莫佛-拉普拉斯定理 )
设nA为n重贝努里试验中A发生的次数，P ( A ) = p ( 0 < p < 1) ,
P P 若 X n a, Yn b, 且g ( x, y )在(a, b)处 → →
连续，则 g ( X n , Yn） P → g (a, b)
6
定理一 ( 契比雪夫定理的特殊情况 )： 设随机变量序列X 1 , X 2 ,L , X n ,L 相互独立，且具有相同的 数学期望 和相同的方差σ 2，作前n个随机变量的算术平均： 1 X = X, n∑ k k =1
f ( x)
x ≥
∫ ε f ( x ) dx
∫∞ ( x )
σ2 = 2 ε
+∞ 2
≤
x ≥
∫ε
(x )
ε
2
2
f ( x ) dx
≤ 12
ε
f ( x ) dx
ε
+ε
=
D( X )
ε2
3
不等式的说明
对于任意分布的X ，若记 则由契比雪夫不等式： E ( X ) = , D( X ) = σ 2 ,
3 x 2 , 0 < x < 1 例3 : 设 X ~ f ( x) = , 现对X 独立观察 n 次， 0, 其他 观察值记为X 1 , X 2 ,L , X n , ε > 0, 如果这些观察值满足
2 X 12 + X 12 + L + X n lim P a < ε =1, n →∞ n