依概率收敛与弱大数定律

合集下载

第五章大数定律和中心极限定理

P 1 n 定理(辛钦大数定律) 设 { X n } 为独立同分布随机变量序列，若 EX 1 存在，则 X i . n i 1
第三节中心极限定理
所谓中心极限定理，就是关于大量微小的随机变量之和的极限分布在什么条件下是正态分布的定理. 定义 1 设 { X n } 为一随机变量序列， DX n ， n 1,2, ，若
2
83
n a n lim P(a X i b) P n i 1 n
X
i 1
n
i
n
n
b n b n a n ) ( ). ( n n n
例 1 一加法器同时收到 50 个噪声电压 Vi (i 1,2, ,50 ) ，设 V i (单位：微伏)相互独立且均在 [0,10] 上服从均匀分布，求该加法器上总电压 V
i 1
n
1 n2
c n 0(n ) ，
i 1
n
c
推论 2 (贝努里大数定律) 设 S n 为 n 重贝努里试验中事件 A 出现的次数， p 为 A 在每次 n
证明：令 Xi
1 在第i 次试验中A出现，则 X i ~ B(1, p ) ， i 1,2,, n 且相互独立， 0 在第 i 次试验中 A 不出现
c 0 ，使得 DX n c ， n 1,2, ，则
P 1 n ( X i EX i ) 0 . n i 1
证明：只须验证马尔可夫条件成立即可.由于 { X n } 两两互不相关，故
0
因此马尔可夫条件成立.
n 1 1 D ( Xi) 2 2 n n i 1
DX i

大数定律

k 1
定理二（李雅普诺夫(Lyapunov) (L )定理）设随机变量数学期望和方差 (k=1,2,…) 1,2,…) ，记相互独立，它们具有，
若存在正数使得当
时，
则随机变量之和
Zn
的标准化变量
X
k 1 n k
E ( X k )
k 1 n
n

X
k 1
n
k
n
D ( X k )
16
自从高斯指出测量误差服从正态分布之后，人们发现，正态分布在自然界中极为常见。
高斯
如果一个随机变量是由大量相互独立的随机因素的综合影响所造成，而每个别因素对这种综合素的综合影响所造成，而每一个别因素对这种综合影响中所起的作用不大。则这种随机变量一般都服从或近似服从正态分布。从或近似服从正态分布现在我们就来研究独立随机变量之和所特有的规律性问题。当n无限增大时，这个和的极限分布是什么呢？无限增大时这个和的极限分布是什么呢？
k 1
Bn
21
Zn
X
k 1
n
k
E ( X k )
k 1 n
n

X
k 1
n
k
n
D ( X k )
k 1
Bn
的分布函数
Fn ( x)
n X n i i 1 lim Fn ( x) lim P x n n n
由切比雪夫不等式
2 n 1 n P Xk 1 2 n k 1 上式中令 n 得 1 n lim P{| X i | } 1 n n i 1
4

5-1 大数定律

大数定律的客观背景
大量的随机现象中平均结果的稳定性
大量抛掷硬币正面出现频率
生产过程中的字母使用频率 …… 废品率
二、大数定律（难点）
背景：
大数定律研究在什么条件下随机变量序列的算术平均值收敛于其均值的算术平均值。
nA 1 n n X i p( A) 特例：频率的稳定性。 Rn ( A) n n i 1
0
1
{ln X k }满足辛钦Βιβλιοθήκη 数定律,令Zn ln Yn
1 n P 则Z n ln Yn ln X i 1 n i 1
又函数 f ( x ) e x 连续
故 Yn e
Zn
e
P
1
故 C e 1
本节重点总结
三个大数定律的核心
说明:(1) 另一种形式 lim P{ X n a } 0
n
(2) 对N ,n N时, 落在邻域U (a, )外的X n个数有限,测度为0.
P P P (3) 设X n a , Yn b, 则X n Yn a b. P X n .Yn a .b, P X n / Yn a / b(b 0)
例3 {X k }( k 1, 2, ...)独立同分布,且X k U (0,1), 令 Yn ( X k )
k 1 n
1 n
P 证明 : Yn C , 并求C .
证明 :{ X k }独立同分布, 故{ln X k }也独立同分布.
X k U (0,1),
E (lnX k ) ln xdx 1
说明：
(证明见下页)
nA P (1) n重伯努利试验中, 事件A发生的频率Rn ( A) p( A) n nA (2) 试验次数充分大时,可用频率近似代替概率p( A) n nA 5 例抛硬币试验 : 若 =0.01, n=10 时, P{ 0.5 0.01} 97.5% n

14级--GZ《概率与统计》_第12讲_5.1大数定律_5.2中心极限定理

§2 中心极限定理
5.2 中心极限定理
简介
中心极限定理是研究在什么条件下，独立随机变量序列部分和的极限分布为正态分布的一系列定理的总称。在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。它是近两个世纪概率论研究的中心问题，因此这些定理称为中心极限定理。
P(120000 aX 60000 ) 0.9，即 P( X
由棣莫弗 - 拉普拉斯定理知，
60000 ) 0.9. a
60000 X 60 60000 a 60 P( X ) P( ) 0 . 9. a 60 9.4% 60 9.4%
5.2 中心极限定理
定理1：独立同分布中心极限定理（变形）
P( k 1
n
X
n
k
n
当n 时 x) ( x)
n
k
X
式中
k 1
n
n
X n n 1 X X
分子分母同时除以n n k 1

k
X 近似 ~ N (0,1) 故： n
或
X ~ N (,
为什么会有这种规律性？这是由于大量试验过程中，随
机因素相互抵消、相互补偿的结果。
用极限方法来研究大量独立（包括微弱相关）随机试验
的规律性的一系列定律称为大数定律。
5.1 大数定律
弱大数定理（辛钦大数定理）
设随机变量序列 X1, X2, … 独立同分布，具有有限的数学期望 E(Xk)=μ, k=1, 2, …，则对任给 ε >0 ，有
棣莫弗 – 拉普拉斯定理 (针对二项分布)

第四章大数定律与中心极限定理

n→∞
则称{X 依概率收敛依概率收敛于则称 n}依概率收敛于X. 可记为
X n →X.
P
或
lim P{| X n − X |≥ ε} = 0
n→∞
二.几个常用的大数定律几个常用的大数定律
1. 契贝晓夫大数定律契贝晓夫大数定律设{Xk,k=1,2,...}为两两不相关的随机变量序为两两不相关的随机变量序且它们的方差有界即存在常数C>0，使方差有界，列，且它们的方差有界，即存在常数，
lim P{|
n→∞
µn
n
− p |< ε} = 1
即：µn
n
=
∑X
i= 1
i
n
→p
P
3. 辛钦大数定律
为独立同分布随机变量序列, 若{Xi,i=1.2,...}为独立同分布随机变量序列为独立同分布随机变量序列 EXi=a <∞, i=1, 2, … 则对任意的 ε > 0，有 ∞
1 n 1 n P lim P{| ∑Xi − a |< ε} = 1，即 Yn = ∑Xi →a n→∞ n i=1 n ii=1 =1
2.德莫佛拉普拉斯中心极限定理德莫佛-拉普拉斯中心极限定理德莫佛拉普拉斯中心极限定理(De Moivre-Laplace) 设随机变量η 服从参数为n, 设随机变量ηn(n=1, 2, ...)服从参数为 p(0<p<1) 服从参数为的二项分布，的二项分布，则有 ηn − np L→ξ ~ N(0, 1).
§4.3. 中心极限定理一.依分布收敛依分布收敛
为随机变量序列，为随机变量为随机变量，设{Xn}为随机变量序列，X为随机变量，其为随机变量序列若在F(x)的对应的分布函数分别为F 的对应的分布函数分别为 n(x), F(x). 若在连续点，有连续点， limF (x) = F(x),

12.16大数定理和中心极限定理(蓝背景)

n
n
有
lim
P
i 1
Xi
i 1
i
x
x
n
n
2 i
i 1
定理三棣莫弗—拉普拉斯中心极限定理
（DeMoivre-Laplace ）
设n服从参数为n, p的二项分布Bn, p，则对于任意的
实数x，有
lim
n
P
P
X
x
x
np npq
n np
np(1 p)
x
1
2
x t2
n k 1
Xk
1
定义5.1 设Y1,Y2 , ,Yn , 是一个随机变量序列，a是
一个常数，若对任意正数，有 lim P n
Yn a
1，
P
则称序列Y1,Y2 , ,Yn , 依概率收敛于a。记为Yn a。
P
P
依概率收敛有以下性质：设Xn a,Yn b,又函数g x, y
P
在a,b点连续，则g X ,Y g a,b n
P(0
rX
a)
a
/
r
120 48
0
120 48
a
/
r
120 48
(17.32) 0
反查标准正态函数分布表，得
3.09 99.9%
令
a 120
r
3.09
48
解得
a (3.09 48 120)r
141r (千瓦)
例5 设有一批种子，其中良种占1/6. 试估计在任选的 6000粒种子中，良种比例与 1/6 比较上下不超过1% 的概率.
棣莫弗-拉普拉斯中心极限定理
(De Moivre-Laplace) [ 二项分布以正态分布为极限分布 ]

依概率有界依概率收敛

依概率有界依概率收敛
依概率有界和依概率收敛是概率论和数理统计中的重要概念。

依概率有界是指，设$\{ \xi_n \}$是时间序列，$\{ c_n \}$是非零常数列，如果对任意$\varepsilon >0$，存在正数$M$，使得$\sup_n P(|\xi_n |>M) \leq \varepsilon$，就称时间序列$\{ \xi_n \}$是依概率有界的，记做$\xi_n = O_p(1)$。

如果$\{ \xi_n / c_n \}$=$O_p(1)$，就称$\xi_n = O_p(c_n)$。

依概率收敛是指，随机变量序列在概率意义下趋于一个确定的随机变量。

换句话说，随着样本数量的增加，随机变量越来越有可能接近某个特定值。

直观解释为，假设有一个随机实验用来生成一个随机变量序列，当重复这个实验很多次，随机变量序列的平均值趋向于某个特定值，即依概率收敛。

依概率收敛常用于描述大量随机实验中的稳定性，表征平均值的趋势，在统计学中大数定律就是基于依概率收敛的原理描述样本均值在大样本下趋于总体均值。

5.2随机变量序列的两种收敛

n
(n )
i 1
根据定义即证例1、设 n 是独立同分布的随机变量序列，且 2 lim P ( k a ) 0 2 E a , D n ( n 1 ) 1 1
n n
n 2 P (n ) k a 试证： n k ( n 1 ) k 1 n 2 n 2 n 2 k E a k a kk 证： E k ( n 1 ) n ( n 1 ) ) k1 n k 1 k 1 n(n1
随机变量序列依概率收敛与函数序列收敛也不一样．
P 0 , lim P ( ) 1 n n n n

i列 n 服从大 n n 1 1 数定律就可以表达为 0 , lim P ( E ) 1 i i n n n
0，有如果
n
lim P ( ) 0 或 lim P ( ) 1 n n
n

P

则称随机变量序列 n 依概率收敛于，记作
lim n
n
，或
P , ( n ) n
由定义可知，
P n
0 , ( n )
W
证明：略。
３.依概率收敛与按分布收敛间的关系
（１）
( n ) n
P
( n ) n
L
（２）
P c n n
L n
c n
分布函数列的弱收敛是一个很有用的概念，但要判断一个分布函数序列是否弱收敛，有时很麻烦，而判定相应的特征函数序列的收敛性却往往比较容易。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

§2 依概率收敛与弱大数定律一、依概率收敛二、弱大数定律

一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义

(),,10 [,.](.,]005051 (),,

1 [,.](.,]005

051. (1)

则ξ和η具有相同的分布函数

F(x)=,1,2/1,0 .1,10,0xxx (2) 如果定义n, n1, 则nd, 但||n1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性. 定义1 设和n是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0, lim(||)nnP=0, (3)

或 lim(||)nnP=1, ')3(

则称n依概率收敛(convergence in probability)于，记作nP. 注定义1要求所有和n的定义域相同. nP可直观地理解为：除去极小的可能性，只要n充分大，n与的取值就可以任意接近. 从上面例子可以看出, 由nd并不能导出nP. 关于这两种收敛性之间的关系，我们有下面的定理. 定理1 设和n是定义在概率空间 (Ω,F, P)上的随机变量序列.

1. 如果nP, 则 nd. 2. 如果ndc, c为常数，则nPc. 证 1. 设F和Fn分别是和n的分布函数，x表示F的连续点. 任意给定ε>0, (xxxxxnn)(,)(,) ()()nnx,

因此 F(x)()()FxPnn.

令n→∞, 由于nP, 故PPnn()(||)0, 从而 F(x)lim()nnFx. (4) 类似地 ()(,)(,)nnnxxxxx

()()xn

从而 FxFxPnn()()().

令n→∞, 得 lim()()nnFxFx. (5)

连接(4) (5)两式，对任意ε>0, 有

F(x)lim()nnFxlim()()nnFxFx. 由于F在x点连续，令ε→0, 就得 lim()()nnFxFx, 即nd. 2. 如果ndc，则 lim(),,nnFx

1 xcxc

.

因此对任意0,有

)()(1)()()|(|cPcPcPcPcP

nnnnn

=1FcFcnn()(),00 (n→∞). 定理证毕. 例1 设{n}独立同分布，都为[0, a]上的均匀分布, nnmax{,,,}12.求证 nPa. 证由定理1, 只须证明n的分布函数GxDxanW()(), 其中D(x-a)是在a点的退化分布函数. 从第二章知道：若k的分布函数为F(x), 则n的分布函数为GxFxnn()[()]. 现在k的分布函数为

F(x)=,1,/,0ax.,0,0axaxx 故

Gxxann(),(/),,



1 xxaxa00

→ D(x-a)=01,, xaxa (n→∞).

证毕. 依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.

例2 设和n是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：

1. 若nP，nP, 则P(ξ=η)=1. 2. 若nP, f是 (-∞, ∞) 上的连续函数，则f (n)Pf(). 证 1. 任意给定ε>0，我们有 (||)(||/)(||/)nn22, 从而 P(||)(||/)(||/)PPnn22.

由nP, nP, 并注意到上式左方与n无关, 得P(||)=0. 进一步,

P(||)((||/))(||/)01111PnPnnn=0, 即P(ξ=η)=1. 2. 任意给定,0，存在M>0, 使得

P(|ξ|M)P(|ξ|M/)/24. (6) 由于nP, 故存在N11, 当nN1时, P(||/)/nM24, 因此 2/4/4/)2/|(|)2/|(|)|(|MPMPMPnn (7) 又因f(x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|时，|f(x)-f(y)|

P(|()()|)(||)(||)(||)ffPPMPMnnn. (8)

对上面的δ, 存在N21, 当nN2时, P(||)/n4. (9) 结合(6) (7) (8) (9)式, 当nmax(,)NN12时， P(|ffn()()|)///424, 从而 f (n)Pf(). 为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式）设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,

P(|ξ| > x)Effx(||)(). (10) 证当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|yfx|)(),从而

xyxyydFxfyfydFxP||||)()(|)(|)()|(|

)(|)(|)(1ydFyfxf )(|)(|xfEf. 定理3 nP 当且仅当 E||||nn221→0. 证充分性：注意到f (x)=xx221在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2 P(|nnnE|)||||112222→0, 即nP. 必要性：设n的分布函数是Fxn(). 对任意ε>0,

)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn



221dFxnx()|\=221Pn(||). (11) 由于nP, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||nn221→0. 二、弱大数定律考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令

i

10,

, 次试验中不出现在第次试验中出现在第iA

, 1in.

则P(i=1)=p, P(i=0)=1-p. Sniin1是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知 ESnn=p. 在第一章§1中曾经指出: 当n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大. 首先应该意识到不可能期望对任意给定的 0果成立. 事实上，当0 < p <1,

P(Snn=1)=P(1=1,…,n=1)=pn, P(Snn=0)=P(1=0,…,n=0)=(1pn), 它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取εε. 然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|ε}的可能性可以任意地小. 这一事实最早由贝努里发现. 定理4 （贝努里大数定律）设{n}是一列独立同分布的随机变量，P(n=1)=p, P(n=0)=1-p, 0 < p <1, 记Sniin1, 则SnnPp. 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果. 定义2 设{n}是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{an}和

{bn}使得 101abnknPkn



, (n→∞)， (12)

则称{n}服从弱大数定律( weak law of large numbers), 简称{n}服从大数定律. 定理5 （切比雪夫大数定律）设{n}是定义在概率空间 (Ω,F, P)上的独立随机变量序列，

En=n, Varn=n2. 如果10221nkkn，则{n}服从弱大数定律，即 11011nnkknkPkn



证考察随机变量11nkkn, 因E(11nkkn)=11nkkn, Var(11nkkn)=1221nkkn，用第三章§2的切比雪夫不等式，得

P(|11nkkkn()|)12Var(11nkkn)=12(1221nkkn)→0. 此即所证. 注1 贝努里大数定律是切比雪夫大数定律的特例.

注2 如果条件“{n}独立”被“{n}两两不相关”所代替，定理5依然成立. 更一般地, 由

该定理的证明容易看出：如果取消条件“{n}独立”，但条件“1221nkkn→0”改为“12nVar(kkn1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”. 如果{n}不仅独立，而且同分布，则可以改进定理5如下：

定理6（辛钦大数定律）设{n}是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，