第五章：随机变量的收敛性
第五章 大数定律和中心极限定理
第三节 中心极限定理
所谓中心极限定理，就是关于大量微小的随机变量之和的极限分布在什么条件下是正态分布的定理. 定义 1 设 { X n } 为一随机变量序列， DX n ， n 1,2, ，若
2
83
n a n lim P(a X i b) P n i 1 n
X
i 1
n
i
n
n
b n b n a n ) ( ). ( n n n
例 1 一加法器同时收到 50 个噪声电压 Vi (i 1,2, ,50 ) ， 设 V i (单位： 微伏)相互独立且均在 [0,10] 上 服从均匀分布，求该加法器上总电压 V
i 1
n
1 n2
c n 0(n ) ，
i 1
n
c
推论 2 (贝努里大数定律) 设 S n 为 n 重贝努里试验中事件 A 出现的次数， p 为 A 在每次 n
证 明 ：令 Xi
1 在第i 次试验中A出现 ， 则 X i ~ B(1, p ) ， i 1,2,, n 且 相 互 独 立 ， 0 在第 i 次试验中 A 不出现
c 0 ，使得 DX n c ， n 1,2, ，则
P 1 n ( X i EX i ) 0 . n i 1
证明：只须验证马尔可夫条件成立即可.由于 { X n } 两两互不相关，故
0
因此马尔可夫条件成立.
n 1 1 D ( Xi) 2 2 n n i 1
DX i
随机变量序列的两种收敛性
§4.2随机变量序列的两种收敛性在上一节中，我们从频率的稳定性出发，引入了n η=∑=n i i n 11ξ−→−p a （n ∞→） 即随机变量序列{}n η依概率收敛于常数a 这么一个概念。
我们自然可以把所讨论的问题推广到a 不是一个常数，而是一个随机变量这样的情形，于是需要引入下面的定义。
定义4.2 设有一列随机变量1η，2η，3η，…，n η，如果对任意的ε>0,都有 lim ∞→n P ()εηη<-n （4.6）则称随机变量序列{}n η依概率收敛于η，并记作lim ∞→n r η−→−p η 或n η−→−p η （n ∞→） 由此可知，前一节中讨论过的大数定律只是上述依概率收敛的一种特殊情况。
我们已经知道分布函数全面地描述了随机变量的统计规律，如果已知n η−→−p η（n ∞→），那么它们相应的分布函数n F （x ）与F （x ）之间的关系会有什么样的关系呢?一个猜测是,对所有的x ，都有n F （x ）→ F （x ）（n ∞→）成立，这个猜测对不对呢?让我们看一个很简单的例子。
例4.2 设η，n η都是服从退化分布的随机变量，且P （η=0）=1,P （n η=-n 1）=1，n=1,2,… 于是对任给的ε>0，当n>ε1时有 P （ηη-n ≥ε）=P （n η≥ε）=0所以n η−→−p η （n ∞→） 成立。
又设η，n η的分布函数分别为F （x ），n F （x ），则F （x ）=⎩⎨⎧≤>0,20,1x xF （x ）=⎪⎩⎪⎨⎧-≤->n x n x 1,21,1 显然,当x ≠0时，lim ∞→n n F （x ）= F （x ）成立，当x=0时，lim ∞→n n F （0）=lim ∞→n 1=1≠0= F （0） 这个简单的例子表明，一个随机变量序列依概率收敛于某一个随机变量，相应的分布函数列不一定是在每一点上都收敛于这个随机变量的分布函数的。
李贤平-概率论基础-Chap5
1 1 1/ 2 1/ 2
(2)
若对一切 n ,令 n ( ) ( ),显然 n ( )的分布列也是 (2) L ( ) 。 ，因此 n ( )
但是, 对任意的 0 2 ，因
P{| n ( ) ( ) | } P() 1
当然，当F(x) 是一个分布函数时,分布函数的左连续 性保证了 F 在不连续点上的值完全由它在连续点集 CF 上的值唯一确定，因此此时分布函数列的弱收敛极限是 唯一的.
以下我们研究一个分布函数序列弱收敛到一个分布 函数的充要条件，为此先建立一些重要的分析结果。
引理. 设{ Fn ( x )}是实变量x 的非降函数序列，D是R上的 稠密集. 若对于D中的所有点, 序列 { Fn ( x )}收敛于F(x),
所以，我们有
F ( x) Fn ( x) P{n x, x}
因为 { n } 依概率收敛于 ，则
P{n x, x} P{| n | x x} 0
因而有
F ( x) lim Fn ( x)
n
同理，对 x x,
i 1 i , 1, ki ( ) k k , i 1, 2, 0, otherwise
取 P 为勒贝格测度，则
, k.
1 0, P (| ki ( ) | ) , i 1, 2, k
, k . (*)
将 ki 依次记为 n , 如图:
n
则称 {n ( )}依概率收敛于 ( ) ，并记为
n ( ) ( )
P
定义3 (r阶矩收敛) 设对随机变量 n 及 有E | n |r , E | |r ， 其中 r 0 为常数，如果
随机变量的几种收敛及其相互关系
论文摘要概率是对大量随机现象的考察中显现出来的，而对于大量的随机现象的描述就要采用极限的方法。
概率统计中的极限定理研究的是随机变量序列的某种收敛性，对随机变量收敛性不同定义将导致不同的极限定理，而随机变量的收敛性的确可以有各种不同的定义。
主要讨论了依概率收敛与依分布收敛，r阶收敛与几乎处处收敛，几乎处处收敛与依概率收敛之间的关系。
给出了由依概率收敛推出几乎处处收敛的条件和由依概率收敛推出r阶收敛的条件，从而比较完全地说明了随机变量序列的各种收敛性之间的关系。
本论文将对随机变量的几种收敛作出较为简单扼要的介绍和讨论.论文结构如下：一、随机变量的几种收敛的概念理论；二、随机变量的几种收敛之间的关系；从以上几个方面对随机变量的几种收敛理论简明扼要地分析，说明随机变量序列收敛理论在实际问题中的应用范围之广，在实际生活中的重要性。
关键词：r阶收敛；几乎处处收敛；依概率收敛；依分布收敛。
AbstractThe Probability is the study of a large number of random phenomena emerge, but for a large number of random phenomena should use extreme methods described. Probability and statistics in the limit theorem is asequence of random variables convergence, convergence of random variables with different definitions lead to different limit theorem, and indeed the convergence of random variables can have different definitions. Mainly discussed convergence in probability and convergence in distribution, convergence in order r and almost everywhere convergence, almost sure convergence and convergence in probability relationship. Convergence in probability is given by the launch of almost everywhere convergence of conditions and the convergence in probability by the introduction of r-order convergence conditions, which more completely describes the various random variables convergence relationship. This paper will make the convergence of several random variables is more brief presentations and discussions. Paper is structured as follows: 1. Convergence of random variables the concept of theory; 2. the convergence of several random variables between; From the above aspects of the theory of random variables of several brief analysis of convergence shows that the convergence theory of random variables in the actual problems in the wide range of applications, in real life importance.Keywords: convergence in order r ; almost everywhere or almost surely; convergence in probability; convergence in distribution.目录引言： 41 几种收敛性定义 42 依概率收敛与依分布收敛的关系 53 r阶收敛与几乎处处收敛的关系 114 依概率收敛与r阶收敛的关系 135 几乎处处收敛与依概率收敛和依分布收敛的关系 17总结 19四种收敛性 19四种收敛蕴涵关系 19致谢 21参考文献 22引言：概率论最早产生于17世纪，本来是保险事业的发展而产生的，但是来自于赌博者的请求，却是数学家们思考概率论中问题的源泉。
第5章中心极限定理
第一节
一,随机变量的收敛性 1. 依概率收敛
大数定律
定义1 若对任意给定的ε 定义1 若对任意给定的ε>0, 有:
lim P{| X n X |< ε } = 1,
n→∞
( lim P{| X n X |≥ ε } = 0 )
n→∞
则称{X 依概率收敛于X, 记作: 则称{Xn}依概率收敛于X, 记作:
σ2 P{| X |< ε } ≥ 1 2 ε
σ2 8 P{| X |< 3σ } ≥ 1 2 = 9σ 9
8 ∴ P { 3σ < X < + 3σ } ≥ 9
将一枚硬币抛掷1000 1000次 [例2] 将一枚硬币抛掷1000次,试利用车贝晓夫不等 式估计: 1000次中,出现正面H的次数在400至600次 式估计:在1000次中,出现正面H的次数在400至600次 次中 400 之间的概率. 之间的概率. 解: 设1000次抛掷中出现正面的次数为 则 次抛掷中出现正面的次数为X, 次抛掷中出现正面的次数为
n
D (∑ X i )
i =1
D(∑ X i )
i =1
n
n a n 1 b n = P{ < ( ∑ X i n ) ≤ } n σ n σ i =1 n σ
b n a n ≈ Φ( ) Φ( ) n σ n σ
2. 德莫佛---拉普拉斯定理
定理2 设随机变量X n ~ B( n, p ), (n = 1, 2), 则对 任意x ∈ R, 有
第一节 大数定律 第二节 中心极限定理
基本要求: 基本要求 理解实际推断原理; 1. 理解实际推断原理; 掌握车贝晓夫不等式; 2. 掌握车贝晓夫不等式; 熟悉几个常用的大数定律; 3. 熟悉几个常用的大数定律; 4. 熟练掌握并能运用几个常见的中心极限定理. 熟练掌握并能运用几个常见的中心极限定理. 重点: 重点 1.车贝晓夫不等式的运用; 1.车贝晓夫不等式的运用; 车贝晓夫不等式的运用 2.中心极限定理的应用. 2.中心极限定理的应用. 中心极限定理的应用 学时数 3-4
随机变量序列的收敛特性
概率空间•几乎必然收敛(almost sure convergence)–随机变量序列收敛到，同时}{n X X {li – a.s. 1}{lim ==∞→X X P n n X X =lim XX −→−.s .a 表示为或者n n ∞→n →)}()(lim :{ςςςX X n n =∞→•依概率收敛(convergence in probability)–随机变量序列以及满足对任意}{n X X li ε–p. 0}||{lim=>-∞→εX X P n n X X =lim XX −→−.p 表示为p 或者n n ∞→n →也有可能的数值极大|X X n -|•均方收敛(mean square convergence)–随机变量序列以及满足,同时}{n X X li ∞<}{2nX E –m.s. 0}){(lim2=-∞→X X E n n X X =lim XX −→−m.s.表示为或者n n ∞→n →•均方收敛(mean square convergence)–随机变量序列以及满足,同时}{n X X li ∞<}{2nX E –m.s. 0}){(lim2=-∞→X X E n n X X =lim XX −→−m.s.表示为或者则n n ∞→n →m s •若，则X X n −→−m.s.∞<}{2X E 几乎必然收敛或依概率收敛都不能确保均方收敛•以概率分布收敛(convergence in distribution)–随机变量序列以及满足在任意连续的x}{n X X li )()(limx F x F X X n n =∞→–表示为 d. 或者X X n n =∞→lim XX n −→−d.•依据特征函数判断收敛–XX n −→−d.––)}({)}({X f E X f E n →)t ()t (XX nΦ→Φ.s .a ⇒XX −→−.p(Cauthy criteria)在不知道极限的情况下，判定随机变量序列收敛随机变量序列的收敛特性。
§4.3随机变量序列的两种收敛性
n
再令x ' x F ( x 0) lim Fn ( x )
n
8
同理可证： 当 x " x时，F ( x ") limFn ( x ),
n
再令x " x， F ( x 0) limFn ( x ) .
n
即有 F ( x 0) lim Fn ( x ) lim Fn ( x ) F ( x 0) . n
0, x c; 有 Fn (c / 2) F (c / 2) 1， F ( x ) 1 , x c . Fn (c ) F (c ) = 0 .
从而 P ( X n c ) （n ) 0
且 Fn ( x ) F ( x ) ， 所以当 n 时，
n
若x是F ( x )的连续点，
则 Fn ( x ) F ( x ), 即X n X .
W L
TH2表明：依概率收敛是弱收敛的充分不必要条件，
由弱收敛不能得出依概率收敛。见下面的例子。
9
例2 设X
X P
1 1 2
1 1 2
令 Xn X ,
L
当然有 X n X . 则 X n 与X 同分布，
P P P X n a ,Yn b X n Yn a b； P P X n Yn a b , X n Yn a b(b 0). 证明： ( X n Yn ) (a b ) X n a Yn b ( X n Yn ) (a b ) X n a Yn b 2 2
0 P X Y
第五章 大数定律与中心极限定理
【解】 设 X i 表示“该射手第 i 次射击的得分”，则 Y = X i 表示射手所得总分，
i=1
Xi (i =1, 2, , 200) 独立同分布，分布表如下：
Xi
0
2
3
4
5
p
由于
0.1
0.1
0.2
0.2
0.4
E( Xi ) = 0×0.1+ 2×0.1+ 3×0.2 + 4×0.2 + 5×0.4 = 3.6 ；
试验中发生的概率，这个定律以严格的数学形式刻画了频率的稳定性，在实际应用中，当试 验次数很大时，便可以用事件发生的频率来替代事件的概率.
3、辛钦大数定律
设随机变量序列 X , X , 12
，Xn,
相互独立且服从相同的分布,具有相同的数学期望
E(X i
)
=
μ
,（
i
=
1,
2,
） ,则对任意给定的正数 ε ，有
) ,则对任意实数 x ，有
∑ ⎧
⎪
n
X − nμ i
⎫ ⎪
⎨ lim P i=1
≤ x⎬ =
⎪ n→∞
nσ
⎪
⎩
⎭
∫ 1
2π
x −t2
e
−∞
2 dt = Φ(x) .
154
第五章 大数定律与中心极限定理
n
∑ 【评注】 n 个相互独立同分布、方差存在的随机变量之和 Xi ，当 n 充分大时，近似 i =1
第五章 大数定律与中心极限定理
本章学习要点
① 了解切比雪夫不等式； ② 了解切比雪夫大数定律、伯努利大数定律和辛钦大数定律（独立同分布随机变量的大
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如果观测了n次，事件A发生了nA 次，则当n充分大时，A在次观测中
发生的频率 fn A nA n逐渐稳定到概率p 。
那么lim n
fn
A
p?
不对，若
则对于
lim
n
0
fn A
，总存在
p
N
0
,当
n
N 时，有
fn
A
p 成立
但若取 p , 由于
nA n
p
V
nA n
2
p 1 p
n 2
0
n 。
10
例：5.3
令 Xn ~ N 0,1 n
直观：X n 集中在0处， X n收敛到0
依概率收敛：
P
Xn
0
VXn
2
（Chebyshev不等式）
1
n
2
lim P
Cnk pk
1 p
nk x e
x!
21
中心极限定理的应用之一 —二项概率的近似计算（续）
当p不太接近于0或1时，可根据CLT，用正态分布来近似
计算
Xi
~
Bernoulli
n
p,
X
n
1 n
n i 1
或
lim P
n
: Xn X
0
随机变量序列 X1, X2..., Xn ，当对任意 0，
或
P
lim
n
Xn X
0
P
:
lim
n
Xn
X
0
则称随机变量序列 X1, X2..., Xn,...几乎处处依概率收敛到X （converge almost surely to X） ，记为：Xn a.s. X
次抛掷的输出（0或1）。因此 p P Xi 1 E Xi
若共抛掷n次，正面向上的比率为 X n。根据大数定律，
X n P p
但这并不意味着 X n 在数值上等于p
而是表示当n很大时，X n 的分布紧围绕p
令 p 1 2 ，若要求 P 0.4 Xn 0.6 0.7 ，则n至少为多少？
则Xn依概率收敛于X ，记为 Xn 揪P? X 。 2、如果对所有F的连续点t，有
lim
n
Fn
(t)
=
F (t)
则Xn依分布收敛于X ，记为 Xn » X 。
同教材上
5
两种收敛的定义
当极限分布为点分布时，表示为
依概率收敛：
P X c 1, and Xn P X , then Xn Pc
2
=
n
1 -
1骣珑珑珑桫i=n1
X
2 i
-
n
X
2 n
鼢鼢鼢=
n 骣1 n- 1桫n
n i= 1
X
2 i
-
n2 Xn
n- 1
å ( ) 根据大数定律， 1 n
n i= 1
X
2 i
揪P?
E
X
2 i
又 n 1, as n n- 1
å ( ) 所以 n n-
1骣ççç桫1n
n i= 1
X
2 i
÷÷÷揪P?
E
证明：根据Cheyshev不等式
P
Xn
V Xn
2
2
0, as
n 2
在定理条件下，当样本数目n无限增加时，随机样本均值 将几乎变成一个常量
对样本方差呢？依概率收敛于方差 2 14
邋( ) ? Sn2 =
1n n - 1 i=1
Xi -
Xn
设在一次观测中事件A发生的概率为 p P A ，如果观
测了n次，事件A发生了nA 次，则当n充分大时，A在次观
测中发生的频率 fn A nA n 逐渐稳定到概率p 。
即对于 0，
lim P
n
nA n
p
0
表示当n充分大时，事件发生的频率
每个计算机程序的错误的数目为X，X ~ Poisson, 5
现有125个程序，用 X1, X2..., X125 表示各个程序中的错误
的数目，求 P X n 5.5 的近似值
解： E X1 5, 2 V X1 5
P X n 5.5 P
n Xn
n
5.5
125 5.5 5
P Z
5
P Z 2.5 0.9938
20
中心极限定理的应用之一 —二项概率的近似计算
设 n是n重贝努里试验中事件A发生的次数，则
for t 0,
Fn t P Xn t P n Xn nt P Z nt 1, as n
Fn t F t, for all t 0 Xn 0
for
t 0,
Fn
0
1 2
F
0
1
但是 t 0 不是F的连续点
P fn A 0 1 pn 0
即无论N多大,在N以后,总可能存在n ,使 fn A 0
所以 fn A 不可能在通常意义下收敛于p。
3
例2：依分布收敛
考虑随机序列 X1, X2..., Xn ，其中 Xn ~ N 0,1 n
直观：X n 集中在0处，X n 收敛到0
几乎处处收敛：比依概率收敛更强
8
各种收敛之间的关系
点分布，c为实数 P X c 1
Quadratic mean (L2)
Point-mass distribution
probability
distribution
L1
反过来不成立！
almost surely
9
例：伯努利大数定律
nA
与其概率p存在较
大偏差的可能性小。
n
证明： nA ~ Binomial (n, p), E (nA )= np, V(nA )= np(1- p)，
所以
E 骣 珑 珑 珑 桫nnA 鼢 鼢 鼢=
p,
V
骣nA 桫n
=
p (1-
n
p) ，
对 0 ，根据 Chebyshev 不等式，有
P
当极限分布为点分布时，记为 X n qm c
对应还有：L1收敛（converge to X in L1 ）l来自m EnXn X
0
if E Xn X 0, as , then Xn L1 X
7
其他收敛
依概率收敛
lim P
n
Xn X
0
依分布收敛：
P X c 1, and Xn X , then Xn c
6
其他收敛
还有一种收敛：均方收敛（L2收敛， converge to X in quadratic mean）
对证明概率收敛很有用
lim
n
E
Xn
X
2
0
if E X n X 2 0, as , then X n qm X
X
2 i
（如果 X n 揪P X ,Yn P井 Y ，则 X nYn 揪P? XY ）
同样，根据大数定律， X n 揪P? m ，由于 g ( y) = y2 为连续函数，
所以
X
2 n
揪P?
m2 ，
n
X
2 n
揪P?
m2
n- 1
( ) 所以 Sn2 =
揪P?
E
X
2 i
m2 = s 2
样本方差依概率收 敛于分布的方差
n ~ Binomial n, p，对任意 a b ，有
P a n b Cnk pk 1 p nk
ak b
当n很大时，直接计算很困难。这时 np如果不大（即p<0.1，
np<5）或
n不1大 ，p则可用Poisson分布来近似计算
n Poisson , np
13
弱大数定律（WLLN）
独立同分布（IID）的随机变量序列
敛方于差期V望 Xi ， 即2对任，意则 样 本0 均值
X1, X Xn
21...,nX n X
n i1
，E Xi
依概率收
i
lim P X n 0
n
称 X n 为 的一致估计（一致性）
n
Xn 0
0
11
例：续
依分布收敛：令F表示0处的点分布函数，Z表示标准正态 分布的随机变量
F
t
0 1
t0 t0
Xn ~ N 0,1 n n Xn ~ N 0,1
for t 0,
Fn t P Xn t P n Xn nt P Z nt 0, as n
12
收敛的性质
5.5 定理：设X n , X ,Yn ,Y是随机变量，g是连续函数