依分布收敛与中心极限定理

第四章 第四章 极限定理§1 依分布收敛与中心极限定理一、 一、分布函数弱收敛 二、性质三、中心极限定理概率论早期发展的目的在于揭示由于大量随机因素产生影响而呈现的规律性. 贝努里首先认识到研究无穷随机试验序列的重要性，并建立了概率论的第一个极限定理——大数定律，清楚地刻画了事件的概率与它发生的频率之间的关系. 棣莫佛和拉普拉斯提出将观察的误差看作大量独立微小误差的累加，证明了观察误差的分布一定渐近正态——中心极限定理. 随后，出现了许多各种意义下的极限定理. 这些结果和研究方法对概率论与数理统计及其应用的许多领域有着重大影响. 本章着重介绍上述大数定律和中心极限定理等有关内容.§1 依分布收敛与中心极限定理我们知道，如果ξ是概率空间 (Ω, F , P)上的随机变量，那么它的分布函数F(x)=P(ξ≤x )刻画了它的全部概率性质. 因此，对随机变量序列的研究就必须首先对相应的分布函数序列作深入研究.一、分布函数弱收敛定义1 设F 是一分布函数，{F n }是一列分布函数，如果对F 的每个连续点x ∈R ，都有F n (x)→F(x) (n →∞)，则称F n 弱收敛(weak convergence)于F ，记作F n W−→− F. 设ξ是一随机变量，{ξn }是一列随机变量，如果ξn 的分布函数列弱收敛于ξ的分布函数，则称ξn 依分布收敛(convergence in distribution)于ξ，记作ξn d−→−ξ. 注1 注1 分布函数逐点收敛的极限函数未必是分布函数.例如, F n (x)=⎩⎨⎧,1,0.,n x n x ≥<该分布函数列处处收敛于0, 但G(x)≡0不是分布函数. 因此对一般的分布函数列，要它们逐点收敛于分布函数，要求是过高了，不得不如定义1加上限制.注2 定义1中的限制条件“对F 的每个连续点x ，F n (x) →F(x)”是足够宽的，例如,F n (x)=⎩⎨⎧,1,0./1,/1n x n x ≥< F(x)= ⎩⎨⎧,1,0 .0,0≥<x x 除在0点以外(F n (0)=0→/F(0)=1)，逐点收敛于F(x)，而0点刚好是F(x) 的唯一不连续点，因此按定义1，F n W−→− F. *注3 由于分布函数F 的不连续点最多有可数个，F n W−→− F 意味着F n 在R 的一个稠密子集上处处收敛于F （D 在R 上稠密，是指对任意x o ∈R, 在x o 的任意小邻域内，一定有x ∈D ）.下面给出海莱(Helly)定理，它们对分布函数列弱收敛性的研究起着重要作用.定理1（海莱第一定理） 设{F n }是一列分布函数，那么存在一个单调不减右连续的函数F (不一定是分布函数)，0≤≤F x ()1, x ∈R, 和一子列{k n F }，使得对F 的每个连续点x ，k n F (x)→F(x) (k →+∞).证 令r r 12,, 表示全体有理数. 01)(≤≤x F n 意味着{)(1r F n }是有界数列，因此可以找到一个收敛子列{)(11r F n }, 记+∞→=n r G lim )(1)(11r F n .接着考虑有界数列{)(21r F n }，存在它的一个收敛子列{)(22r F n }，记+∞→=n r G lim )(2)(22r F n .如此继续，得到{kn F }⊂{n k F ,1-}, +∞→=n k r G lim )()(k kn r F , k ≥2.现在考虑对角线序列{nn F }. 显然，+∞→n lim )(k nn r F =)(k r G 对所有正整数k 都成立. 另外，由于F n 单调不减，如果r r i j <，有)()(j i r G r G ≤. 因此G(r)是定义在有理数上的有界不减函数. 定义)(inf )(j xr r G x F j ≥= x ∈R. (1)这个函数在有理数上与G(x)相等，它显然也是有界不减的. 下面证明，对F 的每个连续点x,+∞→n lim )(x F nn =F(x). (2)任意给定ε>0和F 的连续点x ，选取h >0，使得F(x+h)--F(x--h) <ε/2.根据有理数的稠密性，存在有理数r r i j ,满足x-h <j i r x r <<< x+h,从而F(x-h))()()()(h x F r F x F r F j i +≤≤≤≤. (3)另外，存在N (ε) 使得当n ≥N()ε时,2/|)()(|ε<-i i nn r F r F , 2/|)()(|ε<-j j nn r F r F .(4)进而由F n 和F 的单调性，当n ≥N()ε时，εεε+≤++≤+≤≤)(2/)(2/)()()(x F h x F r F r F x F j j nn nn ,εεε-≥--≥-≥≥)(2/)(2/)()()(x F h x F r F r F x F i i nn nn .综合得到|ε<-|)()(x F x F nn .(5)(2)式得证. 由F 的定义(1)，在它的不连续点上是右连续的. 定理1证毕.定理2 （海莱第二定理） 设F 是一分布函数，{F n }是一列分布函数，F n −→−WF. 如果g(x)是R 上的有界连续函数，则⎰⎰∞∞-∞∞-→)()()()(x dF x g x dF x g n . (6)证 因为g 是有界函数，必存在c >0使得 |g (x) | < c, x ∈R. 因为F 的所有连续点构成R 上的稠密集，又由F(∞-)=0, F(∞)=1，故对于任意给定的ε>0, 可以选取a>0使得±a 是F 的连续点，并且F(-a)<ε/12c,1-F(a)<ε/12c.(7)由于F n W−→−F ，存在N 1()ε, 使得当n ≥N 1()ε时, |F n (-a)-F(-a)|<ε/12c, |1-F n (a)-(1-F(a))|<ε/12c,(8)这样我们有|⎰⎰⎰⎰-∞--∞-∞∞-+-aa aan n x dF x g x dF x g x dF x g x dF x g |)()()()()()()()(≤c ))(1)(1)()((a F a F a F a F n n -+-+-+-≤c [ |n F (-a)-F(-a)|+2F(-a)+|1-n F (a)-(1-F(a))|+2(1-F(a))]<ε/2. (9)下面考虑⎰⎰---a aaan x dF x g x dF x g )()()()(||. 由于g(x)在闭区间[-a, a]上一致连续，可以选取a x x x a m =<<<=- 10, 使得所有x i 是F 的连续点，且i i x x x ≤<-1max |g(x)--g(i x )|<ε/8. 于是⎰⎰---aaaan x dF x g x dF x g )()()()(||=∑⎰∑⎰==---mi x x mi x x n ii ii x dF x g x dF x g 1111)()()()(||∑⎰=--≤mi x x n i ii x dF x g x g 11)(|)()(|+∑⎰=--mi x x i ii x dF x g x g 11)(|)()(|+∑⎰⎰=---⋅mi x x x x n i ii ii x dF x dF x g 111)()(||)(||∑∑==---+-+-≤mi mi i i n i i i ninx F x F c x F x F x F x F 111|)()(|2)}()()()({8ε=∑=-+--+--mi i i n n n x F x F c a F a F a F a F 0|)()(|2))()()()((8ε. (10)由于1)()(≤--a F a F n n , F a F a ()()--≤1, 再选择N 2()ε使得当n ≥N 2()ε时,<-|)()(|i i n x F x F mc 8ε,i = 0,1,2,…,m. (11)故(10)式不超过ε/2. 因此，当n ))(),(max(21εεN N ≥时,⎰⎰∞∞-∞∞--)()()()(|x dF x g x dF x g n | <ε.(12)定理证毕.定理3 （勒维(Levy)连续性定理(continuity theorem)） 设F 是一分布函数，{F n }是一列分布函数. 如果F n W−→− F ，则相应的特征函数列{)(t f n }关于t 在任何有限区间内一致收敛于F的特征函数)(t f .对任何b >0, 仅考虑 | t |≤b . 令itxt e x g =)(, x ∈R. 注意到下列事实:|)(x g t |=1,|||||)()(|sup ||y x b y g x g t t bt -⋅≤-≤,则该定理的证明完全类似于定理2，不再重复.由前面一章知道，特征函数与分布函数相互唯一确定. 同样，勒维连续性定理的逆命题也成立.定理4（逆极限定理） 设)(t f n 是分布函数F x n ()的特征函数，如果对每一个t ，)(t f n →)(t f ,且)(t f 在t=0处连续，则)(t f 一定是某个分布函数F 的特征函数, 且F n W−→− F. 本定理的证明比较繁复，从略. 但定理的作用是很大的，它使得特征函数成为研究某些极限定理的重要工具. 这里先举个例子来说明这个定理的应用.例1 用特征函数法证明二项分布的泊松逼近定理.证 设ξn 服从二项分布B (n,p n )，且λ=+∞→n n np lim . 它的特征函数为)(t f n =nn it n q e p )(+,其中n np q -=1. 当n +∞→时，它的极限为)1())1(1(lim )(lim -+∞→+∞→=-+=it e nit n n n n e n e np t f λ，这正是泊松分布的特征函数. 由逆极限定理，二项分布B (n,p n )依分布收敛于泊松分布P(λ).二、性质除连续性定理外，分布函数弱收敛还有下列性质.性质1 设{F n }是一列分布函数，如果n F −→−WF, F 是一连续的分布函数，则n F (x)在R 上一致收敛于F(x).证明留给读者.性质2 设ξ是一随机变量，{ξn }是一列随机变量，g (x)是R 上的连续函数，如果n ξξ−→−d ，则)(n g ξ)(ξg d−→−.证 假设ξ和n ξ的分布函数分别为F 和n F . 如果n ξξ−→−d，即n F −→−WF ，由定理2，)(n g ξ的特征函数⎰+∞∞-)()(x dF e n x itg 收敛于⎰+∞∞-)()(x dF e x itg , 该极限正是)(ξg 的特征函数. 再类似定理4,)(n g ξ的分布函数弱收敛于)(ξg 的分布函数，即 )(n g ξ)(ξg d−→−.性质3 设{a n }和{b n }是两列常数，F 是一分布函数, {F n }是一列分布函数. 如果 a n →a, b n →b, F n W−→−F, 则F n (n n b x a +)→F(a x +b )，其中x 使得a x +b 是F 的连续点. 证 设x 使得a x +b 是F 的连续点. 令ε>0使得F 在a x +b ±ε处连续（这是可能的，因为F 的连续点在R 上稠密). 显然a x b n n +→a x +b, 故对充分大的n,.εε++≤+≤-+b ax b x a b ax n n(13)因此).()()(εε++≤+≤-+b ax F b x a F b ax F n n n n n由于F n W−→− F ，则 ).()(lim )(lim )(εε++≤+≤+≤-++∞→+∞→b ax F b x a F b x a F b ax F n n n n n n n n让ε→0，由于F 在a x+b 处连续，即可完成证明.推论 如果n ξξ−→−d，则b a b a d n n n +−→−+ξξ, (0,≠a a n ).这是因为n n n b a +ξ与b a +ξ的分布函数分别为n F (n n a b x -)与F(a bx -)，再应用性质3即可.三、中心极限定理设一次贝努里试验中成功的概率为p (0 <p <1), 令S n 表示n 重贝努里试验中成功的次数，那么,概率P(S n =k) = b (k; n, p). 在实际问题中, 人们常常对成功次数介于两整数α和β之间(α<β)的概率感兴趣，即要计算P(∑≤≤=≤≤βαβαk n p n k b S ),;(). (14)这一和式往往涉及很多项，直接计算相当困难. 然而德莫佛和拉普拉斯发现，当n →∞时可以用正态分布函数作为二项分布的渐近分布.定理5（德莫佛—拉普拉斯定理） 设Φ(x)为标准正态分布的分布函数. 对-∞<x<∞,有∞→n lim P ⎪⎪⎭⎫ ⎝⎛≤-x npq npS n =Φ(x),(15)其中q=1-p.注意到E S n = np, Var S n = npq, (15)式左边是S n 标准化后的分布函数的极限，因此这个定理表示二项分布的标准化变量依分布收敛于标准正态分布. 简单地说成二项分布渐近正态分布.历史上人们是通过精确估计二项分布的值来说明该定理的. 但从现代分析概率论的观点看，这个结果只是将要介绍的更一般的中心极限定理（见定理6）的特殊情形. 因此, 我们不再给出它的证明.定理的直接应用是：当n 很大，p 的大小适中时，(14)式可用正态分布近似计算：P()βα≤≤n S =P⎪⎪⎭⎫⎝⎛-≤-≤-npq np npq np S npq np n βα =Φ⎪⎪⎭⎫ ⎝⎛-npq np β-Φ⎪⎪⎭⎫ ⎝⎛-npq np α. (16) 它的含义可用右图(图4-1)显示（为了直观，图中显示的是未标准化的随机变量)：作相邻小矩形，各小矩形的底边中心为k(α≤k ≤β)，底边长为1，高度为b( k; n, p)，这些小矩形面积之和即为P()βα≤≤n S . 再作N(np, npq)的密度曲线，在[α,β]之间曲线覆盖的面积为(16)式右边之值.注1 第二章讲过二项分布渐近于泊松分布的泊松定理，它与定理5是没有矛盾的. 因为泊松定理要求λ=∞→n n np lim 是常数，而定理5中p 是固定的. 实际应用中，当n 很大时, 1o若p 大小适中，用正态分布Φ(x)去逼近(15)式左边的概率，精度达到O(n-12/); 2o如果p 接近0(或1), 且np 较小(或较大)，则二项分布的图形偏斜度太大，用正态分布去逼近效果就不好. 此时用泊松分布去估计精度会更高.注2 实际计算中，若n 不很大，把(16)式右边修正为Φ⎪⎪⎭⎫ ⎝⎛-+npq np 5.0β-Φ⎪⎪⎭⎫ ⎝⎛--npq np 5.0α, (17)一般可提高精度(从上图看，相当于计算密度曲线下[α-0.5,β+0.5]之间的面积).例2 设n=104, p=5310-⨯, 求P(70≤nS ).解 尽管p 很小，但np=50很大，此时用泊松逼近并不好, 故用定理5.P(70≤n S )=P ⎪⎭⎫⎝⎛≤-50205050n S ≈Φ⎪⎭⎫ ⎝⎛5020≈0.997. 例3 抛掷一枚均匀硬币时需要抛掷多少次才能保证出现正面的频率在0.4与0.6之间的概率不小于90%？解 令n 为抛掷次数, S n 为出现正面的次数, S n ～B(n, 1/2). 题意要求n, 使P(0.4≤≤n S n0.6)≥0.9.利用定理5, 上式左边等于P⎪⎪⎭⎫ ⎝⎛-≤-≤-4/2/6.04/2/4/2/4.0n n n n n S n n n n ≈Φ(0.2n )-Φ(-0.2n )=2Φ(0.2n )-1,当n ≥69时, 上式≥0.9.如果用第三章的切比雪夫不等式，则因E(n S /n)=1/2, Var(n S /n)=1/4n ，取ε=0.1,则P(0.4≤≤n S n/0.6)=P(|n S /n-1/2|<0.1)>1-25 / n, 只当n ≥250时才满足要求. 通过比较可以看出正态逼近比切比雪夫不等式要精确得多.德莫佛—拉普拉斯定理的意义远不限于这些数值计算. 该定理及其推广形式实际上是概率论早期研究的中心问题.定义2 设{ξn }是一列随机变量. 如果存在常数列B n >0与A n ，使dn nk knA B →-∑=11ξN (0,1),(18)就称{n ξ}满足中心极限定理(central limit theorem).定理6（林德贝格(Lindeberg)—勒维定理） 设{ξn }是一列独立同分布的随机变量. 记S n =∑=nk k1ξ, E ξ1=a, Var ξ1=2σ, 则中心极限定理成立，即−→−-d n n na S σN (0,1).证 我们用特征函数法. 令)(t f 与)(t f n 分别为1ξ-a 与σn naS n -的特征函数，由于ξξξ12,,, n 独立同分布，故)(t f n =nn tf ⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫⎝⎛σ. 另外，已知E ξ1=a, Var ξ1=σ2, 所以特征函数有二阶连续导数，并且由泰勒 (Taylor) 展开式得+'+=x f f x f )0()0()(12)()0(22x o x f +'', x →0.对给定的t ∈R ，⎪⎪⎭⎫ ⎝⎛σn t f =1-⎪⎭⎫ ⎝⎛+n o nt 122, n →∞,从而2/2)(tn e t f -→, 后者是标准正态分布的特征函数，由定理4即得定理6的结论.中心极限定理有着广泛的应用，在实际工作中，只要n 足够大，便可以把独立同分布的随机变量和的标准化当作正态变量. 下面再看两个例子.例4 近似计算时，原始数据k x 四舍五入到小数第m 位，这时舍入误差k ξ可以看作在[-0.5m-⨯10,0.5m-⨯10]上均匀分布，而据此得n 个k x 的和∑kx，按四舍五入所得的误差是多少呢？习惯上人们总是以各k x 误差上限的和来估计∑kx的误差限，即0.5×n ×10-m. 当n 很大时，这个数自然很大.事实上，误差不太可能这么大. 因为{k ξ}独立同分布，E k ξ=0, Var k ξ=σ2=102-m/12. 由定理6，P(|σξ∑≤n x k|)≈2Φ(x)-1.若取x=3,上述概率为0.997. 和的误差超过m n n -⨯⨯⨯=1035.03σ的可能性仅为0.003.显然，对较大的n ，这一误差界限远小于习惯上的保守估计0.5mn -⨯⨯10.*例5 正态随机数的产生有各种方法. 除第二章§5介绍的以外，下面这种方法也是常用的：设{ξk }独立同分布，都服从[0,1 ]上的均匀分布，则E k ξ=0.5,12/1==k Var ξσ，由中心极限定理，n 很大时,η=12/2/1n n nk k∑=-ξ近似服从标准正态分布，事实上取n=12就够了. 于是取区间 [0, 1]上12个均匀随机数，则∑=-=1216k k ξη即近似为标准正态随机数.定理6要求各k ξ同分布，这要求有时还是高了一点. 更一般地，林德贝格证明了在各独立随机变量kξ组成的和式∑∑-kkkVar E ξξξ)(中，只要各被加项kkk ar V E ξξξ∑-依概率“均匀地小”，中心极限定理就仍然成立. 即定理7（林德贝格—费勒(Lindeberg-Feller)定理）设{k ξ}为独立随机变量序列，则∑=≤≤∞→nk kknk n 11var var maxlim ξξ=0 (费勒条件)与)(var )(11x E dnk knk k kΦ−→−-∑∑==ξξξ成立的充要条件是林德贝格条件被满足 ：τ∀>0,∑⎰=≥-∑-nk E x k k kk x dF E x 1var ||2)()(ξτξξ→0.特别地有定理8（李雅普诺夫(Lyapunov)定理） 若对独立随机变量序列{ξk }，存在常数δ>0, 使当n →∞时有∑∑=+=+→-nk k knk k E E Var 1212/10||)(1δδξξξ,则中心极限定理成立.这些结果解释了正态随机变量在自然界中普遍存在的原因.例6 设{}k ξ是相互独立的随机变量序列，k ξ的分布列是 ⎝⎛-5.0k ⎪⎪⎭⎫5.0k . 易知0=k E ξ,2k Var k =ξ,33||k E k =ξ. 因此，当∞→n 时，.0)/()/(||23121312331→=∑∑∑∑====nk n k nk k n k k k k Var ξξ也就是说满足李雅普洛夫条件，所以{}k ξ满足中心极限定理.对数理统计学的许多分支，如参数（区间）估计、假设检验、抽样调查等，中心极限定理都有着重要的作用. 事实上，它也是保险精算等学科的理论基础之一. 假定某保险公司为某险种推出保险业务，现有n 个顾客投保，第i 份保单遭受风险后损失索赔量记为i X . 对该保险公司而言，随机理赔量应该是所有保单索赔量之和，记为S ，即S.1∑=X =ni i弄清S 的概率分布对保险公司进行保费定价至关重要. 在实际问题中，通常假定所有保单索赔相互独立. 这样，当保单总数n 充分大时，我们并不需要计算S 的精确分布（一般情况下这是困难甚至不可能的）. 此时，可应用中心极限定理，对S 进行正态逼近：VarS ES S -渐近具有正态分布)1,0(N ，并以此来估计一些保险参数.例7 某保险公司发行一年期的保险索赔金分别为1万元与2万元的两种人身意外险. 索赔概率k q 及投保人数k n 如下表所示（金额单位：万元）.保险公司希望只有0.05的可能使索赔金额超过所收取的保费总额. 设该保险公司按期望值原理进行保费定价，即保单i 的保费i i E X +=X )1()(θπ. 要求估计θ.解：计算∑=X =18001i iS 的均值与方差kk k k i i q b n E ES ∑∑===X =4118001=,16010.0250010.0130002.0250002.01500=⋅⋅+⋅⋅+⋅⋅+⋅⋅ )1(41218001k k k k k i i q q b n Var VarS -=X =∑∑== =98.002.0250098.002.0150022⋅⋅⋅+⋅⋅⋅,25690.010.0250090.010.0130022=⋅⋅⋅+⋅⋅⋅+由此得保费总额).1(160)1()(θθπ+=+=ES S依题意， 我们有95.0))1((=+≤P ES S θ，也即.95.0)10()(=≤-P =≤-P θθVarS ES S VarS ES VarS ES S 将VarS ESS -近似看作标准正态随机变量，查表可得645.110=θ，故1645.0=θ.。