依概率收敛
依概率收敛相加
依概率收敛相加
依概率收敛相加是指根据不同事件发生的概率，将多个事件的结果进行加和的操作。
具体来说，设有一系列事件A_1, A_2, ..., A_n，它们可能相互独立，也可能有一定的相关性。
每个事件发生的概率分别为
P(A_1), P(A_2), ..., P(A_n)。
则依概率收敛相加的操作可以表示为：
P(A_1 ∪ A_2 ∪ ... ∪ A_n) = P(A_1) + P(A_2) + ... + P(A_n)
其中，∪表示求并集的操作，即事件A_1, A_2, ..., A_n中至少有一个事件发生的情况。
这个操作可以用于计算多个事件的联合概率，尤其适用于事件互斥的情况，即任意两个事件不可能同时发生的情况。
例如，如果有两个骰子，第一个骰子的点数为1、2、3，第二个骰子的点数为4、5、6，则它们的联合概率为：
P(第一个骰子为1或第二个骰子为4) = P(第一个骰子为1) + P(第二个骰子为4)
= 1/6 + 1/6
= 1/3
当然，如果事件之间有相关性，这个操作就不再适用，因为事
件的概率会相互影响。
在这种情况下，我们需要使用条件概率、贝叶斯定理等相关方法来计算联合概率。
依概率收敛与弱大数定律汇总
§2 依概率收敛与弱大数定律一、依概率收敛 二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义ξω(),,=⎧⎨⎩10 ωω∈∈[,.](.,]005051ηω(),,=⎧⎨⎩01 ωω∈∈[,.](.,]005051. (1) 则ξ和η具有相同的分布函数F(x)=⎪⎩⎪⎨⎧,1,2/1,0 .1,10,0≥<≤<x x x(2)如果定义ξξn =, n ≥1, 则ξηn d−→−, 但||ξηn -≡1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义1 设ξ和ξn 是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0,lim (||)n n P →∞-≥ξξε=0, (3)或lim (||)n n P →∞-<ξξε=1,')3(则称ξn 依概率收敛(convergence in probability)于ξ，记作ξn P−→−ξ. 注 定义1要求所有ξ和ξn 的定义域相同.ξn P−→−ξ可直观地理解为：除去极小的可能性，只要n 充分大，ξn 与ξ的取值就可以任意接近.从上面例子可以看出, 由ξn d −→−ξ并不能导出ξn P−→−ξ. 关于这两种收敛性之间的关系，我们有下面的定理.定理1 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列.1. 如果ξn P −→−ξ, 则 ξn d−→−ξ. 2. 如果ξn dc −→−, c 为常数，则ξn Pc −→−. 证 1. 设F 和F n 分别是ξ和ξn 的分布函数，x 表示F 的连续点. 任意给定ε>0,(ξεξεξξεξ≤-=≤-≤≤->x x x x x n n )(,)(,)⊆≤-≥()()ξξξεn n x ,因此F(x -≤+-≥εξξε)()()F x P n n .令n →∞, 由于ξn P−→−ξ, 故P P n n ()(||)ξξεξξε-≥≤-≥→0, 从而 F(x-≤→∞ε)lim ()n n F x . (4)类似地()(,)(,)ξξξεξξεn n n x x x x x ≤=≤≤+≤>+⊆≤+-≥()()ξεξξεx n ,从而F x F x P n n ()()()≤++-≥εξξε.令n →∞, 得lim ()()n n F x F x →∞≤+ε. (5)连接(4) (5)两式，对任意ε>0, 有F(x-≤→∞ε)lim ()n n F x ≤lim ()()n n F x F x →∞≤+ε.由于F 在x 点连续，令ε→0, 就得lim ()()n n F x F x →∞=, 即ξn d−→−ξ. 2. 如果ξn dc −→−，则 lim (),,n n F x →∞=⎧⎨⎩01 x cx c <≥.因此对任意ε>0,有)()(1)()()|(|εξεξεξεξεξ-≤++<-=-≤++≥=≥-c P c P c P c P c P n n n n n=1-+-+-→F c F c n n ()(),εε00 (n →∞).定理证毕.例1 设{ξn }独立同分布，都为[0, a]上的均匀分布, ηξξξn n =max{,,,}12 .求证ηn Pa −→−.证 由定理1, 只须证明ηn 的分布函数G x D x a n W()()−→−-, 其中D(x-a)是在a 点的退化分布函数.从第二章知道：若ξk 的分布函数为F(x), 则ηn 的分布函数为G x F x n n ()[()]=. 现在ξk 的分布函数为F(x)=⎪⎩⎪⎨⎧,1,/,0a x .,0,0a x a x x ≥<≤<故G x x a n n (),(/),,=⎧⎨⎪⎩⎪01 x x a x a <≤<≥00 → D(x-a)=01,,⎧⎨⎩x ax a <≥(n →∞).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.例2 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：1. 若ξn P −→−ξ，ξn P−→−η, 则P(ξ=η)=1. 2. 若ξn P −→−ξ, f 是 (-∞, ∞) 上的连续函数，则f (ξn )Pf −→−()ξ. 证 1. 任意给定ε>0，我们有(|ξηεξξεξηε-≥⊆-≥-≥|)(||/)(||/)n n 22 ,从而P(|ξηεξξεξηε-≥≤-≥+-≥|)(||/)(||/)P P n n 22.由ξn P −→−ξ,ξn P−→−η, 并注意到上式左方与n 无关, 得P(|ξηε-≥|)=0. 进一步, P(|ξηξηξη->=-≥≤-≥=∞=∞∑|)((||/))(||/)01111P n P n n n =0,即P(ξ=η)=1.2. 任意给定εε,'>0，存在M>0, 使得P(|ξ|≥≤M)P(|ξ|≥<'M /)/24ε.(6)由于ξn P−→−ξ, 故存在N 11≥, 当n ≥N 1时, P (||/)/ξξεn M -≥<'24, 因此2/4/4/)2/|(|)2/|(|)|(|εεεξξξξ'='+'<≥+≥-≤≥M P M P M P n n (7)又因f (x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|<δ时，|f (x)-f (y)|<ε. 这样P(|()()|)(||)(||)(||)f f P P M P M n n n ξξεξξδξξ-≥≤-≥+≥+≥. (8)对上面的δ, 存在N 21≥, 当n ≥N 2时,P (||)/ξξδεn -≥<'4.(9)结合(6) (7) (8) (9)式, 当n ≥max(,)N N 12时，P(|f f n ()()|)///ξξεεεεε-≥<'+'+'='424,从而 f (ξn )Pf −→−()ξ. 为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,P(|ξ| > x)≤Ef f x (||)()ξ.(10)证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|y f x |)()≥,从而⎰⎰>>≤=>xy xy y dF x f y f y dF x P ||||)()(|)(|)()|(|ξ⎰+∞∞-≤)(|)(|)(1y dF y f x f)(|)(|x f Ef ξ=.定理3 ξn P−→−ξ 当且仅当 E ||||ξξξξn n -+-221→0. 证 充分性：注意到f (x)=x x 221+在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2P(|ξξεεεξξξξn n n E ->≤+-+-|)||||112222→0,即ξnP−→−ξ.必要性：设ξn-ξ的分布函数是F xn(). 对任意ε>0,)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn⎰⎰⎰≥<∞∞-+++=+=-+-εεξξξξ≤++≥⎰εεε221dF xnx()|\=εεξξε221++-≥Pn(||). (11)由于ξnP−→−ξ, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||ξξξξnn-+-221→0.二、弱大数定律考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令ξi =⎧⎨⎩1,,次试验中不出现在第次试验中出现在第iAiA, 1≤≤i n.则P(ξi=1)=p, P(ξi=0)=1-p. S n iin==∑ξ1是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知E Snn=p. 在第一章§1中曾经指出: 当∞→n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大.首先应该意识到不可能期望对任意给定的0<ε<1, 当n充分大时, |Snn-p|≤ε对所有试验结果成立. 事实上，当0 < p <1,P(Snn=1)=P(ξ1=1,…,ξn=1)=pn,P(Snn=0)=P(ξ1=0,…,ξn=0)=(1-pn),它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取ε<p, 则有|Snn-p|= p >ε.然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|≥ε}的可能性可以任意地小. 这一事实最早由贝努里发现.定理4 （贝努里大数定律） 设{ξn }是一列独立同分布的随机变量，P(ξn =1)=p, P(ξn =0)=1-p,0 < p <1, 记S n ii n==∑ξ1, 则S nnP p −→−. 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义2 设{ξn }是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{a n }和{b n }使得101a b n k n Pk n ξ-−→−=∑, (n →∞)，(12)则称{ξn }服从弱大数定律( weak law of large numbers), 简称{ξn }服从大数定律.定理5 （切比雪夫大数定律） 设{ξn }是定义在概率空间 (Ω,F, P)上的独立随机变量序列，E ξn =μn , Var ξn =σn 2. 如果10221n k k n σ=∑→，则{ξn }服从弱大数定律，即11011n n k k n k Pk n ξμ-−→−==∑∑.证 考察随机变量11n k k n ξ=∑, 因E(11n k k n ξ=∑)=11n k k n μ=∑, Var(11n k k nξ=∑)=1221n kk n σ=∑，用第三章§2的切比雪夫不等式，得P(|11n k k k n ()|ξμ-=∑≥ε)≤12εVar(11n k k nξ=∑)=12ε(1221n k k n σ=∑)→0.此即所证.注1 贝努里大数定律是切比雪夫大数定律的特例.注2 如果条件“{ξn }独立”被“{ξn }两两不相关”所代替，定理5依然成立. 更一般地, 由该定理的证明容易看出：如果取消条件“{ξn }独立”，但条件“1221n k k n σ=∑→0”改为“12n Var(ξk k n =∑1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”.如果{ξn }不仅独立，而且同分布，则可以改进定理5如下：定理6（辛钦大数定律） 设{ξn }是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，E|ξ1|<∞. 记E ξ1=μ,S n kk n==∑ξ1, 则{ξn }服从弱大数定律，即 S n n P−→−μ.证 分别令)(t f 与)(t f n 为ξ1与S n / n 的特征函数. 既然{ξn }相互独立同分布，那么)(t f n =n n t f ))/((. 另外, E 1ξ=μ, 所以由泰勒展开式知)(t f =1+i )(t o t +μ,t →0.(13)对每个t ∈R,)/(n t f =1+i )/1(/n o n t +μ, n →∞,(14))(t f n =(1+i )/1(/n o n t +μ)n i t e →μ, n →∞.由于ei tμ恰好是集中单点μ的退化分布的特征函数，运用第一节的逆极限定理即可知道S n n d /−→−μ. 再根据定理1得S n n P/−→−μ. 定理证毕.例2 设ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505.., s<1 /2为常数，且{ξk }相互独立. 试证{ξk }服从弱大数定律. 证 已知ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505..，所以E ξk =0, Var ξk =k s 2. 当s<1/ 2时, 121n Var k k n ξ=∑=11022221211n k n n n s sk n s k n <=→=-=∑∑.另外, {ξk }又是相互独立的，所以{ξk }服从切比雪夫大数定律，即11n k k nξ=∑P−→−0. 例3 设{ξk }相互独立, 密度都为 p(x)=20113/,,x x x ⎧⎨⎩≥<，求证{ξk }服从大数定律.证 {ξk }独立同分布, E ξk =xp x dx()-∞∞⎰=2, 所以{ξk }服从辛钦大数定律.例4 设{ξk }独立同分布, E ξk =μ, Var ξk =σ2. 令ξξn k k n n ==∑11, S n n k n k n 2211=-=∑()ξξ.求证: S n P22−→−σ. 证S n nk n k n 2211=-=∑()ξξ=121n k n k n (()())ξμξμ---=∑=---=∑1221n k n k n()()ξμξμ.(15)由辛钦大数定律知 ξμn P −→−，从而()ξμn P -−→−20. 再因{(ξμk -)2)独立同分布，E(ξμk -)2=Var ξk =σ2, 故{(ξμk -)2)也服从辛钦大数定律，即∑μ-ξ=n 1k 2k )(n 12P σ−→−. 由(15)式与依概率收敛的性质（习题18），S n P 22−→−σ.注 在数理统计中，ξn 称为样本均值，nn S n -12称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.定义3 设ξ和n ξ, n ≥1, 是定义在同一概率空间(Ω,F, P)上的随机变量序列，E ||ξr<∞, E||ξn r<∞, n ≥1, 0 < r <∞. 如果 E ||ξξn r-→0，(16)则称{ξn } r-阶平均收敛(convergence in the mean of order r)于ξ，记作ξξn Lr−→−. 如果存在0< r <∞, ξξn L r −→−, 令rx x f ||)(=，并对ξξn -应用马尔科夫不等式，可推出ξξn P−→−. 然而下例说明其逆不成立. 例5 定义P(ξn =n) =13log()n +，P(ξn =0) =1-13log()n +, n=1,2,…. 易知，ξn P −→−0, 但对任何 0 < r<∞,E ||log()ξn rrn n =+→∞3, (n →∞).即0−→−rLn ξ不成立.。
频率依概率收敛于概率
频率依概率收敛于概率
频率依概率收敛是指在一个随机试验中，频率（即事件发生的相对次数）会逐渐接近真实概率。
根据概率的定义，对于一个随机事件A，其概率为P(A)。
如
果进行大量次数的实验，事件A发生的频率会逐渐趋近于概
率P(A)。
这意味着，当实验次数足够多时，事件A发生的次
数与总实验次数的比值会接近于概率P(A)。
举个例子，假设有一个标准的六面骰子，每个面的出现概率均等，为1/6。
如果进行大量次数的掷骰子实验，记录每次掷出
的数字，并统计每个数字出现的频率，最终我们会发现每个数字的频率接近于1/6。
这个收敛过程可以形象地表示为一个图表，横轴表示实验次数，纵轴表示事件发生的频率。
当实验次数增加时，频率会逐渐趋近于概率，最终收敛于该概率。
需要注意的是，频率依概率收敛并不意味着在有限次实验中频率一定会等于概率。
实际上，在有限次实验中，频率可能会显著偏离概率。
但是，当实验次数足够多时，频率会逐渐接近概率。
频率依概率收敛的概念在统计学中有着重要的应用，例如在大数定律和中心极限定理等方面。
这些定理说明了当实验次数趋于无穷时，频率的分布会趋近于某个特定的概率分布，例如正态分布。
证明经验分布函数依概率收敛到分布函数
证明经验分布函数依概率收敛到分布函数是概率论中一个重要的定理，也是推动概率论向前发展的基石。
该定理表明，当样本数量趋于无穷大时，每个样本的频率的期望值收敛到概率分布函数的期望值。
证明这一定理的关键在于，每个样本的频率服从参数为概率分布函数的标准误差函数，即每个样本的频率和概率分布函数的期望值之间的误差服从标准正态分布。
另外，为了证明该定理，我们还需要使用大数定律，根据大数定律，当样本数量趋于
无穷大时，每个样本频率的期望值将收敛到概率分布函数的期望值。
此外，还可以使用置信度定理和中心极限定理来证明该定理。
置信度定理表明，在一
定的置信水平下，样本的频率服从概率分布函数的期望值；而中心极限定理表明，当样本
数量趋于无穷大时，每个样本的频率的期望值收敛到概率分布函数的期望值。
综上所述，通过大数定律，置信度定理和中心极限定理，可以证明经验分布函数依概
率收敛到分布函数。
这一定理不仅在概率论中有重要意义，而且在实际应用中也具有重要
意义，可为各种统计分析提供有效的数据支持。
依均方收敛推出依概率收敛
依均方收敛推出依概率收敛在概率论中，依均方收敛和依概率收敛是两种经常被使用的概念。
依均方收敛指的是当随机变量趋近于某个确定值时，它们的平方差逐渐减小，并且在充分大的样本下，这个平方差几乎都趋近于零。
而依概率收敛指的是当样本充分大时，随机变量以一定的概率趋近于某个确定值。
这两者之间的关系十分密切，本文将围绕依均方收敛推出依概率收敛展开讨论。
第一步：确定均方收敛的条件首先，我们需要知道的是依均方收敛的条件。
依据定义，对于随机变量{X_n}和它的极限X而言，若在平均意义下，随着n的增加，X_n与X的平方差趋近于零，则X_n以均方收敛于X。
即：lim E{(|X_n - X|)^2} = 0 (n->+∞)第二步：推出依概率收敛的定义接下来，我们需要将依均方收敛的条件转化为依概率收敛的条件。
从均方收敛的定义可知，对于任意的正数ε，都必定有：P{|X_n - X|^2 >ε} → 0 (n->+∞)即当样本充分大时，随机变量的平方差逐渐趋近于零，即逐渐以一定的概率收敛于某个确定值。
第三步：证明那么，如何证明均方收敛蕴含着概率收敛呢？我们不妨从概率的角度来看待这个问题。
设C={w|lim X_n(w)=X(w)}，即C为X_n收敛于X的样本空间。
则可得出：P(|X_n - X|^2 >ε) = E(I_{|X_n - X|^2 > ε}) ≤ ε/E(|X_{n} - X|^2)其中I是指示函数，当|X_n - X|^2 >ε时，I_{|X_n - X|^2 > ε}=1，否则I_{|X_n - X|^2 > ε}=0。
根据Cauchy-Schwarz不等式，有：E(|X_n - X|^2)=E(|X_n - X|^2I_{C})+E(|X_n - X|^2I_{C^c})因为X_n以均方收敛于X，则有：E(|X_n - X|^2) → 0 (n->+∞)又因为对于所有的n,|X_n - X|^2I_{C^c} ≤ |X_n - X|^2所以可以得出以下不等式：E(|X_n - X|^2I_{C})≤E(|X_n - X|^2) → 0(n->+∞)同时有|X_{n} - X|^2I_{C^c} → 0(n->+∞)因此可以得出：P(|X_n - X|^2 >ε) ≤ E(|X_{n} - X|^2)/ε →0 (n->+∞)即对于任意给定的ε>0，都可以找到一个非常大的n，使得当n足够大时，P(|X_n - X|^2 >ε) 接近于0，即X_n以依概率收敛于X。
依概率收敛
2：定理， X n P X X n L X （或 Fn x W F (x) ）
证明：往证
F
x
0
lim
n
Fn
(x)
lim
n
Fn
(x)
F
x
0
：
先令 x' x
X x' X x'，X n x X n x X x'，X n x X x'，X n x
因此 PX x' PX x'，X n x X x'，X n x
对于随机变量序列X i ,i 1,2,...和某个随机变量 X ，假定 X 的 cdf 为 Fx ，
若，对于 Fx 得任何连续点 x ，都成立 PX i x n PX x，即
Fi x n F x ，则称随机变量序列 X i ,i 1,2,...依分布收敛到随机变量 X 。
也可以说，cdfs Fi x,i 1,2,....弱收敛到 Fx
P Xn 1 1, n
则他的分布函数：
n=1,2,3........
Fn
x
0
1
x1 n
x1 n
在点点都收敛的情况下 Fnx 的极限函数是：
注意极限函数后面限制中的 x 与分布函数是同等地位的 第一段：当n 时，即极限函数中x lim 1 0,而分布函数中的第一段
n n x 1 , (n 1,2) 包含了x 0的情形，所以：
F(x') PX x' PX x'，X n x PX x'，X n x Fn (x) PX x'，X n x
Fn (x) PX n X x x' Fn (x) P X n X x x'
依概率收敛但不几乎处处收敛的例子
依概率收敛但不几乎处处收敛的例子概率收敛和几乎处处收敛是概率论中两个不同的概念。
前者是指一个随机序列在概率意义下趋向于某个随机变量，而后者是指该序列几乎所有值都趋向于该随机变量。
举个例子，我们考虑以下随机序列：$X_n$等于$n$，当$n$为奇数时，$X_n$等于1，当$n$为偶数时。
这个序列显然不是在几乎所有情况下收敛，因为当$n$为奇数时，$X_n$不会趋向于1，而是永远等于$n$。
然而，我们可以证明它在概率意义下收敛于1。
具体来说，我们需要证明对于任意的$\epsilon>0$，当$n$趋向于无穷大时，$\operatorname{Pr}( |X_n-1| \geq \epsilon )\rightarrow 0$。
显然，当$\epsilon\geq1$时，概率为0。
当$0<\epsilon<1$时，我们有：$$\begin{aligned}\operatorname{Pr}( |X_n-1| \geq \epsilon ) &=\operatorname{Pr}( X_n\geq1+\epsilon\text{ 或 } X_n\leq1-\epsilon ) \\&=\operatorname{Pr}( X_n \text{为奇数} )\\&= \frac{1}{2}.\end{aligned}$$因此，对于任意的$\epsilon>0$，$\operatorname{Pr}( |X_n-1| \geq \epsilon )$始终等于1/2，不趋向于0。
这说明$X_n$在概率意义下收敛于1，但不几乎处处收敛。
这个例子告诉我们，在研究随机序列的收敛性时，我们需要仔细区分概率收敛和几乎处处收敛的概念，并根据具体问题选择合适的概念。
此外，还需要根据定义进行具体的计算，以验证一个序列是否收敛于某个随机变量，并给出该随机变量的性质。
无偏估计和依概率收敛
无偏估计和依概率收敛是统计学中的两个重要概念。
无偏估计是指估计量（或统计量）的均值（期望值）等于真实参数值。
无偏估计的意义在于，当一个统计量的均值与真实参数值相等时，我们就可以说这个统计量是一个无偏估计。
这意味着该统计量在多次重复试验中，其均值能够准确地估计出真实参数值。
依概率收敛是指当样本数量趋于无穷时，样本统计量以概率1收敛于真实参数值。
换句话说，随着样本数量的增加，样本统计量越来越接近真实参数值。
这种收敛可以看作是一种概率性质，即当样本数量足够大时，样本统计量几乎必然收敛于真实参数值。
需要注意的是，无偏估计不一定依概率收敛。
无偏估计强调的是估计量与真实参数值的均值相等，而依概率收敛强调的是随着样本数量的增加，
样本统计量接近真实参数值的概率越来越大。
因此，无偏估计和依概率收敛是两个不同的概念，它们之间没有必然的联系。
在实际应用中，我们通常会使用无偏估计来估计真实参数值，因为无偏估计具有更好的统计性质。
但是，在某些情况下，依概率收敛可能更加重要，因为它可以帮助我们确定样本数量的大小，以便使样本统计量能够足够接近真实参数值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P Xn 1 1, n
则他的分布函数：
n=1,2,3........
Fn
x
0
1
x1 n
x1 n
在点点都收敛的情况下 Fnx 的极限函数是：
注意极限函数后面限制中的 x 与分布函数是同等地位的 第一段：当n 时，即极限函数中x lim 1 0,而分布函数中的第一段
n n x 1 , (n 1,2) 包含了x 0的情形，所以：
lim gx 1 g0 0
0 x 所以极限函数不能满足点点收敛。这就是为什么我们的定义中只考虑连续点。
（2）只考虑连续点不考虑间断点的原因： 除了上面所说的之外，我们还知道对于概率有贡献的点是连续点，对于单
个间断点对概率没有贡献。所以我们只考虑连续点的收敛是合理的，这也是为什 么定义中叫做弱收敛，因为点点收敛条件太强，要使一个分布函数序列点点收敛
注 对概念的理解：
（1）. 什么是极限函数：对于一个分布函数序列 Fnx,当 n 时得到的函数
Fx ， 称 其 为 Fnx 的 极 限 函 数 ， 注 意 是 n ， 而 不 是 x 。 即 ：
lim Fnx F x。
n
例 1 设随机变量序列 Xn服从如下的退化分布 （前面定义了什么是退化分布）
吕泽锋 理学院
随即变量序列两种收敛方式
两种收敛： i) 依概率收敛：用于大数定律（大数定律讨论的就是依概率收敛） ii) 按分布收敛：用于中心极限定理.
一：背景与定义 1、背景
2、依概率收敛定义，随机变量序列 X1,, X n ,，如果对于任何 0 ，
P| X n X | n0 ， 记 X n Pr X ， 等 价 于 ： 对 于 任 何 0 ，
n n
n n
n
这样是错误的，因为极限函数在条件限制中的x与分布函数在条件限制中的x的
地位是相同的，我们只是在分布函数中x的跳跃点出取极限后作为我们的
极限函数中x划分实数轴的一个点，取这样的点是为了更好的计算极限函数
中这些跳跃点的值（如这里的g 0）.所以当我们对分布函数中的跳跃点
取极限后算出的值作为极限函数中的条件在计算起概率是返还到分布函数
（3） X n P a,Yn Pb X nYn P ab
（4） X n P a,Yn Pb,b 0 X n / Yn P a / b
（5） X n P a, 函数 gx 在 a 连续，则 gX n P ga .
证明： gx 在 a 连续，故，对于任何 0 ，存在 0 ，当 x a 时，一定有
或者说：Xn 对 X 的绝对偏差不小于一个任意小的给定量 的可能性将随着 n 增 大而越来越小，或者说绝对偏差 Xn X 小于一个任意给定量 的可能性将随 n
增大而越来越接近于 1，上述定义也等价于
p Xn X 1n
特别的当 X 为退化分布时，即 PX c 1 ，则称序列X n依概率收敛于 c
|
(X
n
Yn
)
(a
b)
|
|
(X
n
a)
|
| Yn
b
|
|
(X
n
a)
|
2
|
Yn
b
|
2
P|
(X
n
Yn
)
(a
b)
|
P
|
(Xn
a)
|
2
|
Yn
b
|
2
P
|
(Xn
a)
|
2
P
|
Yn
b
|
2
n 0
因此 P| ( X n Yn ) (a b) | n 0
X n Yn P a b ， 同样可以证明 （2） X n P a,Yn Pb X n Yn P a b
即： X n c ⑵依概率收敛与微积分中的收敛的不同在于：微积分中的收敛是确定的，即对
于 任 给 的 0,当n N时，必有xn a 成立。而 依 概 率 收 敛 是 ， 对 任 给 的
0.当n很大时，事件xn a 发生的概率为1，但不排除偶然事件 xna 的
发生。
3、性质 （1） X n P a,Yn Pb X n Yn P a b ：证明
对于随机变量序列X i ,i 1,2,...和某个随机变量 X ，假定 X 的 cdf 为 Fx ，
若，对于 Fx 得任何连续点 x ，都成立 PX i x n PX x，即
Fi x n F x ，则称随机变量序列 X i ,i 1,2,...依分布收敛到随机变量 X 。
也可以说，cdfs Fi x,i 1,2,....弱收敛到 Fx
n
gx lim Fnx 0. n
第二段：当n 时，即极限函数中x lim 1 0,而分布函数中的第一段x 1
n n
n
包含了x 0的情况，所以：
g0 lim Fn0 0. n
特别注意：不要这样理解 : 分布函数中x 1 ,当n 时即是极限函数中 n
的x lim 1 0,那么：gx lim Fn 1 1(因为x 1 是在分布函数中的第二段)
g(x) g(a) ，
Xn a gXn ga P Xn a PgXn ga ，
现在 X n P a, 因此，对于任何 0
P Xn a n1，因此， n 时 1 PgXn ga P Xn a n1 ， P gXn ga n1， P gXn ga n0 ，
F(x') PX x' PX x'，X n x PX x'，X n x Fn (x) PX x'，X n x
Fn (x) PX n X x x' Fn (x) P X n X x x'
注意到 P X n X x x' n0 ，
F(x') PX x' lim Fn (x) PX n X x x' lim Fn (x) ，因此
到一个极限函数是很苛刻的。很显然当 Fx 是直线上的连续函数，那么此时的
弱收敛就是点点收敛。
（3）.对于 lim Fnx F x的理解，其中 Fnx 是第 n 个随机变量 Xn 对应的分布函 n
数， Fx是是极限函数，也是随机变量序列Xn按分布收敛到 X 对应的分布函
数。
（4）在我们的定义中，对分布函数序列称为弱收敛，而对其随机变量序列，则 称为按分布收敛，这只是两种场合下的不同名称，本质都是一样的。
中去，这就是上面的做法。
第三段：当n ,是极限函数x lim 1 0,而在分布函数中的第二段 n n
x 1 n 1,2... 包含了x 0的情况，所以
n
gx lim Fnx 1 n
所以其极限函数是：
g x
0 1
x0 x0
但是我们注意到在间断点处 x=0 不满足分布函数的右连续，因为：
2：定理， X n P X X n L X （或 Fn x W F (x) ）
证明：往证
F
x
0
lim
n
Fn
(x)
lim
n
Fn
(x)
F
x
0
：
先令 x' x
X x' X x'，X n x X n x X x'，X n x X x'，X n x
因此 PX x' PX x'，X n x X x'，X n x
n
n
F(x 0) lim Fn (x) n
同理可以证明
lim
n
Fn(x)F Nhomakorabeax
0
说明
P| X n X | n 0 ，称随机变量序列 X1,, X n ,依概率收敛于 X 。
即：
lim P Xn X 1
n
⑴依概率收敛的意义：
依概率收敛即依概率"1"收敛。随机变量序列{X n}依概率 收敛于x，说明对于任给的 0，当n很大时，事件“xn x ”的概率接近于"1"， 但正因为是概率，所以不排除小概率事件“xn x ”发生. 所以说依概率收敛是不确定现象中关于收敛的一种说法。
gX n P ga
二、切贝谢夫大数律
X1,, X n 独立同分布， EX i
a,Var( X i )
d2
，则
X1
n
Xn
P a
证明：
特殊情况：贝努里大数律
X1,, X n 独立同分布， PX i 0 1 p, PX i 1 p ，则
P
X1
n
Xn
p
n0
三、依分布收敛 1：背景和定义