依概率收敛的意义
随机变量序列的两种收敛
概率论与数理统计
2）、设 n ,n 是两个随机变量序列， a，b为常数，
若 n P a,n Pb 且在g(x,y)在点（a,b）处连续， 则 g(n ,n ) P g(a,b), (n ). 证明略，方法类似于1） 3）、若 n P ,n P,
则n n P , (n )
nn P , (n )
1）、若 n P ,n P, 则P ( ) 1
证： n n
0
，由
则 n
2
与
n
2
中至
少有一个成立，即
n
2
n
2
于是
P(
) P(n
2
)
P(
n
) 0(n )
2
即 0,有P（ ） 1，从而P（ ） 1
这表明，若将两个以概率为1相等的随机变量看作 相等时，依概率收敛的极限是唯一的。
概率论与数理统计
定理5.6 随机变量序列 n P c(c为常数）
的充要条件为 Fn (x) W F (x)
这里 F(x)是 c 的分布函数，也就是退化分布
1, x c F(x) 0, x c
即
n P c
Fn (x) W F (x)
在F(x)的连续点．
当n P, (n ) 时，它们的分布函数之间就有
lim
n
Fn
(
x)
F
(
x)
成立．
1.定义
定义5.3
概率论与数理统计
设 Fx, F1(x), F2 (x), 是一列分布函数，如果对
F(x)的每一个连续点x，
都有
lim
n
Fn (x)
F ( x)
成立，
则称分布函数列 Fn (x) 弱收敛于分布函数F（x），
依概率收敛与弱大数定律汇总
§2 依概率收敛与弱大数定律一、依概率收敛 二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义ξω(),,=⎧⎨⎩10 ωω∈∈[,.](.,]005051ηω(),,=⎧⎨⎩01 ωω∈∈[,.](.,]005051. (1) 则ξ和η具有相同的分布函数F(x)=⎪⎩⎪⎨⎧,1,2/1,0 .1,10,0≥<≤<x x x(2)如果定义ξξn =, n ≥1, 则ξηn d−→−, 但||ξηn -≡1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义1 设ξ和ξn 是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0,lim (||)n n P →∞-≥ξξε=0, (3)或lim (||)n n P →∞-<ξξε=1,')3(则称ξn 依概率收敛(convergence in probability)于ξ，记作ξn P−→−ξ. 注 定义1要求所有ξ和ξn 的定义域相同.ξn P−→−ξ可直观地理解为：除去极小的可能性，只要n 充分大，ξn 与ξ的取值就可以任意接近.从上面例子可以看出, 由ξn d −→−ξ并不能导出ξn P−→−ξ. 关于这两种收敛性之间的关系，我们有下面的定理.定理1 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列.1. 如果ξn P −→−ξ, 则 ξn d−→−ξ. 2. 如果ξn dc −→−, c 为常数，则ξn Pc −→−. 证 1. 设F 和F n 分别是ξ和ξn 的分布函数，x 表示F 的连续点. 任意给定ε>0,(ξεξεξξεξ≤-=≤-≤≤->x x x x x n n )(,)(,)⊆≤-≥()()ξξξεn n x ,因此F(x -≤+-≥εξξε)()()F x P n n .令n →∞, 由于ξn P−→−ξ, 故P P n n ()(||)ξξεξξε-≥≤-≥→0, 从而 F(x-≤→∞ε)lim ()n n F x . (4)类似地()(,)(,)ξξξεξξεn n n x x x x x ≤=≤≤+≤>+⊆≤+-≥()()ξεξξεx n ,从而F x F x P n n ()()()≤++-≥εξξε.令n →∞, 得lim ()()n n F x F x →∞≤+ε. (5)连接(4) (5)两式，对任意ε>0, 有F(x-≤→∞ε)lim ()n n F x ≤lim ()()n n F x F x →∞≤+ε.由于F 在x 点连续，令ε→0, 就得lim ()()n n F x F x →∞=, 即ξn d−→−ξ. 2. 如果ξn dc −→−，则 lim (),,n n F x →∞=⎧⎨⎩01 x cx c <≥.因此对任意ε>0,有)()(1)()()|(|εξεξεξεξεξ-≤++<-=-≤++≥=≥-c P c P c P c P c P n n n n n=1-+-+-→F c F c n n ()(),εε00 (n →∞).定理证毕.例1 设{ξn }独立同分布，都为[0, a]上的均匀分布, ηξξξn n =max{,,,}12 .求证ηn Pa −→−.证 由定理1, 只须证明ηn 的分布函数G x D x a n W()()−→−-, 其中D(x-a)是在a 点的退化分布函数.从第二章知道：若ξk 的分布函数为F(x), 则ηn 的分布函数为G x F x n n ()[()]=. 现在ξk 的分布函数为F(x)=⎪⎩⎪⎨⎧,1,/,0a x .,0,0a x a x x ≥<≤<故G x x a n n (),(/),,=⎧⎨⎪⎩⎪01 x x a x a <≤<≥00 → D(x-a)=01,,⎧⎨⎩x ax a <≥(n →∞).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.例2 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：1. 若ξn P −→−ξ，ξn P−→−η, 则P(ξ=η)=1. 2. 若ξn P −→−ξ, f 是 (-∞, ∞) 上的连续函数，则f (ξn )Pf −→−()ξ. 证 1. 任意给定ε>0，我们有(|ξηεξξεξηε-≥⊆-≥-≥|)(||/)(||/)n n 22 ,从而P(|ξηεξξεξηε-≥≤-≥+-≥|)(||/)(||/)P P n n 22.由ξn P −→−ξ,ξn P−→−η, 并注意到上式左方与n 无关, 得P(|ξηε-≥|)=0. 进一步, P(|ξηξηξη->=-≥≤-≥=∞=∞∑|)((||/))(||/)01111P n P n n n =0,即P(ξ=η)=1.2. 任意给定εε,'>0，存在M>0, 使得P(|ξ|≥≤M)P(|ξ|≥<'M /)/24ε.(6)由于ξn P−→−ξ, 故存在N 11≥, 当n ≥N 1时, P (||/)/ξξεn M -≥<'24, 因此2/4/4/)2/|(|)2/|(|)|(|εεεξξξξ'='+'<≥+≥-≤≥M P M P M P n n (7)又因f (x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|<δ时，|f (x)-f (y)|<ε. 这样P(|()()|)(||)(||)(||)f f P P M P M n n n ξξεξξδξξ-≥≤-≥+≥+≥. (8)对上面的δ, 存在N 21≥, 当n ≥N 2时,P (||)/ξξδεn -≥<'4.(9)结合(6) (7) (8) (9)式, 当n ≥max(,)N N 12时，P(|f f n ()()|)///ξξεεεεε-≥<'+'+'='424,从而 f (ξn )Pf −→−()ξ. 为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,P(|ξ| > x)≤Ef f x (||)()ξ.(10)证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|y f x |)()≥,从而⎰⎰>>≤=>xy xy y dF x f y f y dF x P ||||)()(|)(|)()|(|ξ⎰+∞∞-≤)(|)(|)(1y dF y f x f)(|)(|x f Ef ξ=.定理3 ξn P−→−ξ 当且仅当 E ||||ξξξξn n -+-221→0. 证 充分性：注意到f (x)=x x 221+在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2P(|ξξεεεξξξξn n n E ->≤+-+-|)||||112222→0,即ξnP−→−ξ.必要性：设ξn-ξ的分布函数是F xn(). 对任意ε>0,)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn⎰⎰⎰≥<∞∞-+++=+=-+-εεξξξξ≤++≥⎰εεε221dF xnx()|\=εεξξε221++-≥Pn(||). (11)由于ξnP−→−ξ, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||ξξξξnn-+-221→0.二、弱大数定律考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令ξi =⎧⎨⎩1,,次试验中不出现在第次试验中出现在第iAiA, 1≤≤i n.则P(ξi=1)=p, P(ξi=0)=1-p. S n iin==∑ξ1是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知E Snn=p. 在第一章§1中曾经指出: 当∞→n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大.首先应该意识到不可能期望对任意给定的0<ε<1, 当n充分大时, |Snn-p|≤ε对所有试验结果成立. 事实上，当0 < p <1,P(Snn=1)=P(ξ1=1,…,ξn=1)=pn,P(Snn=0)=P(ξ1=0,…,ξn=0)=(1-pn),它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取ε<p, 则有|Snn-p|= p >ε.然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|≥ε}的可能性可以任意地小. 这一事实最早由贝努里发现.定理4 （贝努里大数定律） 设{ξn }是一列独立同分布的随机变量，P(ξn =1)=p, P(ξn =0)=1-p,0 < p <1, 记S n ii n==∑ξ1, 则S nnP p −→−. 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义2 设{ξn }是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{a n }和{b n }使得101a b n k n Pk n ξ-−→−=∑, (n →∞)，(12)则称{ξn }服从弱大数定律( weak law of large numbers), 简称{ξn }服从大数定律.定理5 （切比雪夫大数定律） 设{ξn }是定义在概率空间 (Ω,F, P)上的独立随机变量序列，E ξn =μn , Var ξn =σn 2. 如果10221n k k n σ=∑→，则{ξn }服从弱大数定律，即11011n n k k n k Pk n ξμ-−→−==∑∑.证 考察随机变量11n k k n ξ=∑, 因E(11n k k n ξ=∑)=11n k k n μ=∑, Var(11n k k nξ=∑)=1221n kk n σ=∑，用第三章§2的切比雪夫不等式，得P(|11n k k k n ()|ξμ-=∑≥ε)≤12εVar(11n k k nξ=∑)=12ε(1221n k k n σ=∑)→0.此即所证.注1 贝努里大数定律是切比雪夫大数定律的特例.注2 如果条件“{ξn }独立”被“{ξn }两两不相关”所代替，定理5依然成立. 更一般地, 由该定理的证明容易看出：如果取消条件“{ξn }独立”，但条件“1221n k k n σ=∑→0”改为“12n Var(ξk k n =∑1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”.如果{ξn }不仅独立，而且同分布，则可以改进定理5如下：定理6（辛钦大数定律） 设{ξn }是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，E|ξ1|<∞. 记E ξ1=μ,S n kk n==∑ξ1, 则{ξn }服从弱大数定律，即 S n n P−→−μ.证 分别令)(t f 与)(t f n 为ξ1与S n / n 的特征函数. 既然{ξn }相互独立同分布，那么)(t f n =n n t f ))/((. 另外, E 1ξ=μ, 所以由泰勒展开式知)(t f =1+i )(t o t +μ,t →0.(13)对每个t ∈R,)/(n t f =1+i )/1(/n o n t +μ, n →∞,(14))(t f n =(1+i )/1(/n o n t +μ)n i t e →μ, n →∞.由于ei tμ恰好是集中单点μ的退化分布的特征函数，运用第一节的逆极限定理即可知道S n n d /−→−μ. 再根据定理1得S n n P/−→−μ. 定理证毕.例2 设ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505.., s<1 /2为常数，且{ξk }相互独立. 试证{ξk }服从弱大数定律. 证 已知ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505..，所以E ξk =0, Var ξk =k s 2. 当s<1/ 2时, 121n Var k k n ξ=∑=11022221211n k n n n s sk n s k n <=→=-=∑∑.另外, {ξk }又是相互独立的，所以{ξk }服从切比雪夫大数定律，即11n k k nξ=∑P−→−0. 例3 设{ξk }相互独立, 密度都为 p(x)=20113/,,x x x ⎧⎨⎩≥<，求证{ξk }服从大数定律.证 {ξk }独立同分布, E ξk =xp x dx()-∞∞⎰=2, 所以{ξk }服从辛钦大数定律.例4 设{ξk }独立同分布, E ξk =μ, Var ξk =σ2. 令ξξn k k n n ==∑11, S n n k n k n 2211=-=∑()ξξ.求证: S n P22−→−σ. 证S n nk n k n 2211=-=∑()ξξ=121n k n k n (()())ξμξμ---=∑=---=∑1221n k n k n()()ξμξμ.(15)由辛钦大数定律知 ξμn P −→−，从而()ξμn P -−→−20. 再因{(ξμk -)2)独立同分布，E(ξμk -)2=Var ξk =σ2, 故{(ξμk -)2)也服从辛钦大数定律，即∑μ-ξ=n 1k 2k )(n 12P σ−→−. 由(15)式与依概率收敛的性质（习题18），S n P 22−→−σ.注 在数理统计中，ξn 称为样本均值，nn S n -12称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.定义3 设ξ和n ξ, n ≥1, 是定义在同一概率空间(Ω,F, P)上的随机变量序列，E ||ξr<∞, E||ξn r<∞, n ≥1, 0 < r <∞. 如果 E ||ξξn r-→0，(16)则称{ξn } r-阶平均收敛(convergence in the mean of order r)于ξ，记作ξξn Lr−→−. 如果存在0< r <∞, ξξn L r −→−, 令rx x f ||)(=，并对ξξn -应用马尔科夫不等式，可推出ξξn P−→−. 然而下例说明其逆不成立. 例5 定义P(ξn =n) =13log()n +，P(ξn =0) =1-13log()n +, n=1,2,…. 易知，ξn P −→−0, 但对任何 0 < r<∞,E ||log()ξn rrn n =+→∞3, (n →∞).即0−→−rLn ξ不成立.。
概率论与数理统计第五章大数定律及中心极限定理
概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。
数学中研究大量的工具是极限。
因此这一章学习概率论中的极限定理。
第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。
意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。
大数定律解释了这一结论。
首先介绍切比雪夫不等式。
一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。
切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。
进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。
当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。
二、依概率收敛随机变量序列即由随机变量构成的一个序列。
不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。
只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。
依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。
注意这三个大数定律的条件有何异同。
定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。
定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。
伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。
伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。
概率论与数理统计学习指导
《概率论与数理统计》学习指导·内容提要·疑难分析·例题解析·自测试题安徽工业大学应用数学系编目录第一章随机事件及其概率.................... 错误!未定义书签。
第二章随机变量及其分布.................... 错误!未定义书签。
第三章多维随机变量及其分布................ 错误!未定义书签。
第四章随机变量的数字特征.................. 错误!未定义书签。
第五章大数定律和中心极限定理.............. 错误!未定义书签。
第六章数理统计的基本概念.................. 错误!未定义书签。
第七章参数估计............................ 错误!未定义书签。
第八章假设检验............................ 错误!未定义书签。
第五章 大数定律和中心极限定理内 容 提 要1、切贝雪夫不等式设随机变量X 的数学期望μ=)(X E ，方差2)(σ=X D ，则对任意正数ε，有不等式22{}P X σμεε-≥≤或22{}1P X σμεε-<>-成立.2、大数定律（1）切贝雪夫大数定理:设ΛΛ,,,,21n X X X 是相互独立的随机变量序列，数学期望)(i X E 和方差)(i X D 都存在，且C X D i <)(),2,1(Λ=i ，则对任意给定的0>ε，有1}|)]([1{|lim 1=<∑-=∞→εni i i n X E X n P . （2）贝努利大数定理:设A n 是n 次重复独立试验中事件A 发生的次数，p 是事件A 在一次试验中发生的概率，则对于任意给定的0>ε，有1}|{|lim =<-∞→εp nn P An . 贝努利大数定理给出了当n 很大时，A 发生的频率A n A /依概率收敛于A 的概率，证明了频率的稳定性.3、中心极限定律（1）独立同分布中心极限定理:设ΛΛ,,,,21n X X X 是独立同分布的随机变量序列，有有限的数学期望和方差，μ=)(i X E ，),2,1(0)(2Λ=≠=i X D i σ.则对任意实数x ，随机变量σμσμn n X n X Y ni i ni i n ∑-=∑-===11)(的分布函数)(x F n 满足⎰=≤=∞--∞→∞→xtn n n n dt e x Y P x F 2/221}{lim )(lim π.（2）李雅普诺夫定理:设ΛΛ,,,,21n X X X 是不同分布且相互独立的随机变量，它们分别有数学期望和方差：i i X E μ=)(,),2,1(0)(2Λ=≠=i X D i i σ .记 ∑==ni i nB 122σ,若存在正数δ，，使得当∞→n 时，有0}{1122→∑-=++ni ii nX E B δδμ, 则随机变量nni in i i ni i ni i n i i n B X X D X E X Z ∑-∑=∑∑-∑======11111)()(μ的分布函数)(x F n 对于任意的x ，满足⎰=⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧≤∑-∑=∞--==∞→∞→x t n n i i n i i n n n dt e x B X x F 2/11221lim )(lim πμ. 当n 很大时,),(~),1,0(~12.1.∑∑==ni n i ni i n B N X N Z μ.（3）德莫佛—拉普拉斯定理:设随机变量),2,1(Λ=n n η服从参数为)10(,<<p p n 的二项分布，则对于任意的x ，恒有⎰=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧≤--∞--∞→x t n n dt e x p np np P 2/221)1(lim πη.疑 难 分 析1、依概率收敛的意义是什么依概率收敛即依概率1收敛.随机变量序列}{n x 依概率收敛于a ，说明对于任给的0>ε，当n 很大时，事件“ε<-a x n ”的概率接近于1.但正因为是概率，所以不排除小概率事件“ε<-a x n ”发生.依概率收敛是不确定现象中关于收敛的一种说法. 2、大数定律在概率论中有何意义大数定律给出了在试验次数很大时频率和平均值的稳定性.从理论上肯定了用算术平均值代替均值，用频率代替概率的合理性，它既验证了概率论中一些假设的合理性，又为数理统计中用样本推断总体提供了理论依据.所以说，大数定律是概率论中最重要的基本定律. 3、中心极限定理有何实际意义许多随机变量本身并不属于正态分布，但它们的极限分布是正态分布.中心极限定理阐明了在什么条件下，原来不属于正态分布的一些随机变量其总和分布渐进地服从正态分布.为我们利用正态分布来解决这类随机变量的问题提供了理论依据. 4、大数定律与中心极限定理有何异同相同点：都是通过极限理论来研究概率问题，研究对象都是随机变量序列，解决的都是概率论中的基本问题，因而在概率论中有重要意义.不同点：大数定律研究当 时，概率或平均值的极限，而中心极限定理则研究随机变量总和的分布的极限.例 题 解 析例1．设X 为连续型随机变量，c 为常数，0>ε，求证εε||}|{|c X E c X P -≤≥-分析 此类概率不等式的证明，一般考虑用切比雪夫不等式或直接从定义用类似切比雪夫不等式的方法来证.证 设X 的密度函数为)(x f ，则⎰=≥-≥-εε||)(}|{|c x dx x f c X P||1)(||1)(||)(||||c X E dx x f c x dxx f c x dx x f c x c x -=⎰-=⎰-≤⎰-≤∞∞-∞∞-≥-εεεεε例2．设随机变量X 和Y 的数学期望都是2,方差分别为1和4,相关系数为,则根据切比雪夫不等式有≤≥-}6{Y X P .解121. 由于 ,0)(=-Y X E ,32)(=-+=-DXDY DY DX Y X D XY ρ 故≤≥-}6{Y X P 12/136/3=.例3．设在独立重复试验中，每次试验中事件A 发生的概率为1/4.问是否用的概率确信在1000次试验中A 发生的次数在200到300之间分析 在1000次试验中事件A 发生的次数)4/1,1000(~B X ,且2/375)4/11(4/11000,2504/11000=-⨯⨯==⨯=DX EX 而 }50250{}300200{≤-=≤≤X P X P 利用Chebychev 不等式得}50250{}300200{≤-=≤≤X P X P 925.050)(12=-≥X D所以可用的概率确信在1000次试验中A 发生的次数在200到300之间. 解 如分析所述，由Chebychev 不等式即可得例4．分布用切比雪夫不等式与隶美弗—拉普拉斯中心极限定理确定：当掷一枚硬币时，需要掷多少次，才能保证出现正面的频率在~之间的概率不小于90%．解 设X 为n 次掷硬币正面出现的次数，则),(~p n B X ，其中21=p （1）由切比雪夫不等式知{}n n X P n X P n X P 1.0|5.0|1.0|5.0|6.04.0≤-=⎭⎬⎫⎩⎨⎧≤-=⎭⎬⎫⎩⎨⎧≤≤n n n n X D 25101.0411)1.0()(122-=⋅⨯-=-≥ 令 %.90251≥-n则得250≥n ． （2） 由隶美弗-拉普拉斯的中心极限定理，得：}6.04.0{≤≤nXP.95.0)5(%901)5(21)5.01.0(225.05.06.025.05.025.05.04.0{}6.04.0{≥Φ⇒≥-Φ=-Φ≈-≤-≤-=≤≤=n n n n nn n nn X n n n P n X n P查表知：6.15≥n． 6864.67≥⇒≥n n例5． (1)一个复杂系统由100个相互独立的元件组成,在系统运行期间每个元件损坏的概率为,又知为使系统正常运行,至少必须有85个元件工作,求系统的可靠度;(2)上述系统假如由n 个相互独立的元件组成,而且又要求至少有80%的元件工作才能使整个系统正常运行,问n 至少为多大时才能保证系统的可靠度不小于.解 (1)设⎩⎨⎧=个元件损坏第个元件没有损坏第i i X i ,0,1,S 为系统正常运行时完好的元件个数,于是∑==1001i i X S 服从)9.0,100(b ,因而.91.09.0100,909.0100=⨯⨯===⨯=npq DS ES 故所求的概率为.952.0351990859901)85(1)85(=⎪⎭⎫⎝⎛-Φ-=⎭⎬⎫⎩⎨⎧-≤-==≤-=>S P S P S P(2)此时)9.0,(~n b S ,要求95.0)8.0(≥≥n S P ,而.3313.09.08.03.09.01)8.0(⎪⎪⎭⎫ ⎝⎛Φ=⎪⎪⎭⎫ ⎝⎛-Φ-=⎭⎬⎫⎩⎨⎧-≤--=≥n n n n n n n S P n S P 故95.03≥⎪⎪⎭⎫⎝⎛Φn ,查表得,5.24,65.13≥⇒≥n n 取n =25 例6． 一加法器同时收到20个噪声电压)20,,2,1(,Λ=i V i ，设它们是相互独立且都服从区间（0，10）上的均匀分布，求总和噪声电压超过计划105（伏）的概率.解 记∑==201i i V V ，因2021,,,V V V Λ是相互独立且都服从（0，10）上的均匀分布，且20,,2,1,12100)(,5)(Λ=====i V D V E i i i σμ 由独立同分布中心极限定理知),3500,100()1210020,520(201N N V V n i i =⨯⨯−−→−∑=∞→= 故.3483.0)39.0(1)3/500100105(1)105(1)105(=Φ-=-Φ-=≤-≈>V P V P例7．假设n X X X ,.,21Λ是来自总体X 的简单随机样本；已知),4,3,2,1(==k EX k k α证明当n 充分大时，随机变量∑==n i i n X n Z 121近似服从正态分布，并指出其分布参数.分析 此题主要考查对中心极限定理的理解与运用.解 依题意知n X X X ,,,21Λ独立同分布，从而其函数22221,,,n X X X Λ也是独立同分布，且)(11)1(,1,)(,224122122122242242222αααααα-=∑=∑==∑=-=-======n DX n X n D DZ EX n EZ EX EX DX EX EX n i i n i i n n i i n i i i i由中心极限定理nZ U n n /)(2242ααα--=的极限分布为标准正态分布，即当n 充分大时，n Z 近似地服从参数为),(2242nααα-的正态分布.例8．设随机变量,1,n i X i ≤≤独立同分布，且分布密度为)(x f ，记}{1x X P p n i i ≤∑==，当n 充分大时，则有A. p 可以根据)(x f 计算； B . p 不可以根据f (x)计算；C. p 一定可以用中心极限定理近似计算；D. p 一定不可以用中心极限定理近似计算解 由于,1,n i X i ≤≤独立同分布，它们的联合概率密度等于各边缘密度的乘积.因此p 可以如下计算：⎰⎰=≤++n n n xxx dx dx x f x f p n ΛΛΛΛ111)()(1由于不知道.1,n i X i ≤≤的期望和方差是否存在，故无法判断能否用中心极限定理. 综上所述，选A.测 试 题一、填空题１．随机变量X 的方差为2，则根据切比雪夫不等式估计≤≥-}2|{|）（X E X P ．２．设随机变量X 和Y 的期望都是２，方差分别为１和４，而其相关系数为，则根据切比雪夫不等式≤≥-}6|{|Y X P ．３．设n X 是n 重贝努里试验中事件A 出现的次数，又A 在每次实验中出现的概率为)10(<<p p ，则对任意的0>ε，有=⎪⎪⎭⎫⎝⎛≥-∞→εp n X P n n lim ． ４．设随机变量ΛΛ,,,1n X X 相互独立同分布，且具有有限的均值与方差，0)(,)(2≠==σμi i X D X E ，随机变量σμn n X Y ni i n -∑==1的分布函数)(x F n ，对任意的x ，满足P x F n n =∞→)(lim { }= ．５．设随机变量序列ΛΛ,,,,21n X X X 相互独立同分布，且0)(=n X E ，则=∑<=∞→)(lim 1ni i n n X P ．二、选择题６．设随机变量),(~211σμN X ，),(~222σμN Y ，且}1|{|}1|{|21<-><-μμY P X P ，则必有( )．(A)21σσ>； (B) 21σσ<； (C) 21μμ<； (D) 21μμ>．７．设随机变量序列}{n X 相互独立，],[~n n U X n -，Λ,2,1=n ，则对}{n X ( )．(A)可使用切比雪夫大数定律； (B) 不可使用切比雪夫大数定律； (C) 可使用辛钦大数定律； (D) 不可使用辛钦大数定律．８．设随机事件A 在第i 次独试验中发生的概率为i p ，n i ,,2,1Λ=．m 表示事件A 在n 次试验中发生的次数，则对于任意正数ε恒有=⎪⎪⎭⎫⎝⎛<∑-=∞→εni i n p n n mP 11lim ( )． (A)１； (B) ０； (C)21； (D)不可确定． ９．设ΛΛ,,,,21n X X X 相互独立且都服从参数为λ的指数分布，则下述选项中成立的是( )．(A) )(lim 1x x n X Pn i i n Φ=⎪⎪⎪⎪⎭⎫ ⎝⎛≤-∑=∞→λλ； (B) )(lim 1x x nn X P n i i n Φ=⎪⎪⎪⎪⎭⎫ ⎝⎛≤-∑=∞→； (C) )(lim 1x x nn X P n i i n Φ=⎪⎪⎪⎪⎭⎫⎝⎛≤-∑=∞→λ； (D) )(lim 1x x n X P n i i n Φ=⎪⎪⎪⎪⎭⎫ ⎝⎛≤-∑=∞→λλ． 10．设随机变量序列ΛΛ,,,,21n X X X 相互独立同分布， 0)(=i X E ，2)(σ=i X D ，且)(4i X E 存在，则对任意0>ε，下述选项中正确的是( )．(A) 11lim 21=⎪⎪⎭⎫ ⎝⎛<-∑=∞→εσni i n X n P ； (B) 11lim 212≤⎪⎪⎭⎫⎝⎛<-∑=∞→εσni i n X n P ； (C) 11lim 212=⎪⎪⎭⎫ ⎝⎛<-∑=∞→εσni i n X n P ； (D) 01lim 212=⎪⎪⎭⎫⎝⎛<-∑=∞→εσni i n X n P ． 三、解答题11．某年的统计资料表示，在索赔户中被盗索赔户占20%，以X 表示在随机抽查的100个索赔户中因盗窃而向保险公司索赔的户数． （1）写出X 的概率分布；（2）求被盗索赔户不少于14户且不多于30户的概率的近似值． 12．某单位设置一电话总机，共有200架分机．设每个电话分机是否使用外线通话是相互独立的．设每时刻每个分机有5%的概率要使用外线通话．问总机需要多少外线才能以不低于90%的概率保证每个分机要使用外线时可供使用13．设5021,,,X X X Λ是相互独立的随机变量，且都服从参数为03.0=λ的泊松分布，记∑==501i i X Y ，试计算}3{≥Y P ．14．一个复杂系统由100个相互独立的元件组成，在系统运行期间每个元件损坏的概率为，又知为使系统正常运行，至少必须有85个元件工作，求系统的可靠度．第六章 数理统计的基本概念内 容 提 要1、总体与样本在数理统计中，将研究对象的全体称为总体；组成总体的每个元素称为个体.从总体中抽取的一部分个体，称为总体的一个样本；样本中个体的个数称为样本的容量. 从分布函数为)(x F 的随机变量X 中随机地抽取的相互独立的n 个随机变量，具有与总体相同的分布，则n X X X ,,,21Λ称为从总体X 得到的容量为n 的随机样本.一次具体的抽取记录n x x x ,,,21Λ是随机变量n X X X ,,,21Λ的一个观察值，也用来表示这些随机变量.2、统计量设n X X X ,,,21Λ是总体X 的一个样本，则不含未知参数的样本的连续函数),,,(21n X X X f Λ称为统计量.统计量也是一个随机变量，常见的统计量有（1）样本均值（2）样本方差（3）样本标准差（4）样本k 阶原点矩（5）样本k 阶中心矩 2、经验分布函数设n x x x ,,,21Λ是总体X 的一组观察值将它们按大小顺序排列为：**2*1n x x x ≤≤≤Λ，称它为顺序统计量.则称⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧≥<≤<≤<=+**1**2*1*1,1,,1,0)(n k k n x x x x x nk x x x n x x x F ΛΛ为经验分布函数（或样本分布函数）.3、一些常用统计量的分布（1）2χ分布设)1,0(~N X ，n X X X ,,,21Λ是X 的一个样本，n 的2χ分布，记作)(~22n χχ.（2）t 分布设)1,0(~N X ，)(~2n Y χ，且YX ,n 的t 分布，记作)(~n t t .t 分布又称为学生分布.（3）F 分布设)(~12n X χ，)(~22n Y χ，且Y X ,),(21n n 的F 分布，记作),(~21n n F F .4、正态总体统计量的分布设),(~2σμN X ，n X X X ,,,21Λ是X 的一个样本，则 （1）样本均值X 服从正态分布，有),(~2nN X σμ（2）样本方差（3）统计量设),(~),,(~222211σμσμN Y N X ，1,,,21n X X X Λ是X 的一个样本， 2,,,21n Y Y Y Λ是Y 的一个样本，两者相互独立.则（1）统计量（2）当21σσ=时，统计量2)1()1(21222211-+-+-=n n S n Sn S w ；（3）统计量（4）统计量疑难分析1、数理统计的研究对象和目的是什么“数理统计学”是数学的一个分支，它的任务是研究怎样用有效的方法去收集和使用带随机性影响的数据，它的具体含义包括以下几层意思：1）能否假定数据有随机性，是区别数理统计方法与其他数据处理方法的根本点。
依均方收敛推出依概率收敛
依均方收敛推出依概率收敛在概率论中，依均方收敛和依概率收敛是两种经常被使用的概念。
依均方收敛指的是当随机变量趋近于某个确定值时，它们的平方差逐渐减小，并且在充分大的样本下，这个平方差几乎都趋近于零。
而依概率收敛指的是当样本充分大时，随机变量以一定的概率趋近于某个确定值。
这两者之间的关系十分密切，本文将围绕依均方收敛推出依概率收敛展开讨论。
第一步：确定均方收敛的条件首先，我们需要知道的是依均方收敛的条件。
依据定义，对于随机变量{X_n}和它的极限X而言，若在平均意义下，随着n的增加，X_n与X的平方差趋近于零，则X_n以均方收敛于X。
即：lim E{(|X_n - X|)^2} = 0 (n->+∞)第二步：推出依概率收敛的定义接下来，我们需要将依均方收敛的条件转化为依概率收敛的条件。
从均方收敛的定义可知，对于任意的正数ε，都必定有：P{|X_n - X|^2 >ε} → 0 (n->+∞)即当样本充分大时，随机变量的平方差逐渐趋近于零，即逐渐以一定的概率收敛于某个确定值。
第三步：证明那么，如何证明均方收敛蕴含着概率收敛呢？我们不妨从概率的角度来看待这个问题。
设C={w|lim X_n(w)=X(w)}，即C为X_n收敛于X的样本空间。
则可得出：P(|X_n - X|^2 >ε) = E(I_{|X_n - X|^2 > ε}) ≤ ε/E(|X_{n} - X|^2)其中I是指示函数，当|X_n - X|^2 >ε时，I_{|X_n - X|^2 > ε}=1，否则I_{|X_n - X|^2 > ε}=0。
根据Cauchy-Schwarz不等式，有：E(|X_n - X|^2)=E(|X_n - X|^2I_{C})+E(|X_n - X|^2I_{C^c})因为X_n以均方收敛于X，则有：E(|X_n - X|^2) → 0 (n->+∞)又因为对于所有的n,|X_n - X|^2I_{C^c} ≤ |X_n - X|^2所以可以得出以下不等式：E(|X_n - X|^2I_{C})≤E(|X_n - X|^2) → 0(n->+∞)同时有|X_{n} - X|^2I_{C^c} → 0(n->+∞)因此可以得出：P(|X_n - X|^2 >ε) ≤ E(|X_{n} - X|^2)/ε →0 (n->+∞)即对于任意给定的ε>0，都可以找到一个非常大的n，使得当n足够大时，P(|X_n - X|^2 >ε) 接近于0，即X_n以依概率收敛于X。
依概率收敛
2：定理， X n P X X n L X （或 Fn x W F (x) ）
证明：往证
F
x
0
lim
n
Fn
(x)
lim
n
Fn
(x)
F
x
0
：
先令 x' x
X x' X x'，X n x X n x X x'，X n x X x'，X n x
因此 PX x' PX x'，X n x X x'，X n x
对于随机变量序列X i ,i 1,2,...和某个随机变量 X ，假定 X 的 cdf 为 Fx ，
若，对于 Fx 得任何连续点 x ，都成立 PX i x n PX x，即
Fi x n F x ，则称随机变量序列 X i ,i 1,2,...依分布收敛到随机变量 X 。
也可以说，cdfs Fi x,i 1,2,....弱收敛到 Fx
P Xn 1 1, n
则他的分布函数：
n=1,2,3........
Fn
x
0
1
x1 n
x1 n
在点点都收敛的情况下 Fnx 的极限函数是：
注意极限函数后面限制中的 x 与分布函数是同等地位的 第一段：当n 时，即极限函数中x lim 1 0,而分布函数中的第一段
n n x 1 , (n 1,2) 包含了x 0的情形，所以：
F(x') PX x' PX x'，X n x PX x'，X n x Fn (x) PX x'，X n x
Fn (x) PX n X x x' Fn (x) P X n X x x'
依概率收敛但不几乎处处收敛的例子
依概率收敛但不几乎处处收敛的例子概率收敛和几乎处处收敛是概率论中两个不同的概念。
前者是指一个随机序列在概率意义下趋向于某个随机变量，而后者是指该序列几乎所有值都趋向于该随机变量。
举个例子，我们考虑以下随机序列：$X_n$等于$n$，当$n$为奇数时，$X_n$等于1，当$n$为偶数时。
这个序列显然不是在几乎所有情况下收敛，因为当$n$为奇数时，$X_n$不会趋向于1，而是永远等于$n$。
然而，我们可以证明它在概率意义下收敛于1。
具体来说，我们需要证明对于任意的$\epsilon>0$，当$n$趋向于无穷大时，$\operatorname{Pr}( |X_n-1| \geq \epsilon )\rightarrow 0$。
显然，当$\epsilon\geq1$时，概率为0。
当$0<\epsilon<1$时，我们有：$$\begin{aligned}\operatorname{Pr}( |X_n-1| \geq \epsilon ) &=\operatorname{Pr}( X_n\geq1+\epsilon\text{ 或 } X_n\leq1-\epsilon ) \\&=\operatorname{Pr}( X_n \text{为奇数} )\\&= \frac{1}{2}.\end{aligned}$$因此，对于任意的$\epsilon>0$，$\operatorname{Pr}( |X_n-1| \geq \epsilon )$始终等于1/2，不趋向于0。
这说明$X_n$在概率意义下收敛于1，但不几乎处处收敛。
这个例子告诉我们，在研究随机序列的收敛性时，我们需要仔细区分概率收敛和几乎处处收敛的概念，并根据具体问题选择合适的概念。
此外，还需要根据定义进行具体的计算，以验证一个序列是否收敛于某个随机变量，并给出该随机变量的性质。
第五章大数定律与中心极限定理
Note：1.X1+X2+…Xn~N(nu, na2)
2.和的期望等于期望之和；和的方方差等于方方差的和（独立立,同分布）
2.拉普拉斯中心心极限定理理
1.条件：服从二二项分布，结论
2.实际上是林林德伯格的中心心极限定理理的特殊情况
定义：Xn依概率收敛于a（概率上收敛，但概率推不不出事件）（类似于极限的定义）
2.切比比雪夫大大数定律律
1.条件：相ห้องสมุดไป่ตู้独立立，期望，方方差均存在，方方差有上界
2.结论：1／n（Xi）依概率收敛于1／n（EXi）（依概率收敛于期望）
3.特别的，若独立立，同分布，有EX，DX（存在）
Note：和的期望等于期望之和；和的方方差等于方方差的和（独立立）
第五章 大大数定律律与中心心极限定理理
一一 切比比雪夫不不等式 二二 大大数定律律 三 中心心极限定理理
一一 切比比雪夫不不等式（作估计）
1.公式形式（大大小小）
2.意义：EX很有用用，偏离的越多，概率越小小
3.有上限的，最多
4.“由切比比雪夫不不等式”才能用用
二二 大大数定律律
1.依概率收敛
3.辛辛钦大大数定律律
1.条件：独立立，同分布，期望存在等于u（3个）
2.结论：1／n（Xk）依概率收敛于u
4.伯努利利大大数定律律
1.条件：X为n重伯努利利发生生的次数，发生生概率为p
2.X／n依概率收敛于p
三 中心心极限大大数定律律
1.列列维——林林德伯格中心心极限定理理
1.条件：独立立，同分布，期望，方方差存在
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P{| fn ( A) 1 / 2 | } 0
E[ fn ( A)]
1n n i1 E( X i )
1; 2
D[ fn ( A)]
1 n2
n
D( X i )
i1
111 n22
1 4n
由切比雪夫不等式可得
0 P{| fn ( A) 1 / 2 |＞}
D[ fn (A)]
2
1
4n2
电子科技大学概率论与数理统计MOOC
第5 章
知识点名称：依概率收敛的意义 主讲人：龚丽莎
§5.1 依概率收敛的意义
回顾：微积分中数列收敛的定义 设{an}是一个数列，a是一个常数，若对任意ε＞ 0，存在正整数N,
使得n＞N时，有
| an a |＜
则称数列{an} 收敛于a，记为 an a 或 lniman a
| fn ( A) 1 / 2 | 一定不发生
显然有可能发生！
如：不管n值多大，都有可能抛出全是正面或反面的结果．此时fn(A) 等于1或0, 若给定ε = 0.2, 则
| fn ( A) 1 / 2 | 0.5 发生
但容易算出：
P{n次全是正面或反面}
1 2n1
0
更一般地，可用切比雪夫不等式从理论上证明
0
结论：对任意给定的ε＞ 0，n再大也不能保证
| Xn X | 一定不发生
但可减弱为：对任意给定的ε＞ 0，事件| Xn X | 虽有可能发生，
但只要 n 充分大，就可保证其发生 的概率充分小, 即
P{| Xn X |} 0.
定义：设{Xn}是一个随机变量序列，X 是一个随机变量或常数，若
对任意ε＞ 0，有
令A ={ 出现正面 }, fn(A)是事件A发生的频率
可否认为 fn(A)→P(A)? 但fn(A) 是数列吗？
事实上，令
X i
1, 0,
第i次出现正面 第i次出现反面
i 1, 2, n
n
故正面出现的总次数为
Xi
i 1
fn (
A)
1 n
i
n 1
X
i
fn(A) 是随机变量序列
如前猜想：对任意给定的ε＞ 0，只要n充分大，则
P(An ) pn 0
lim
n
P{|
Xn
X
|
}
0
或
lim
n
P{|
Xn
X
|
}
1
则称随机变量序列{Xn}依概率收敛于X
Xn
X,
(P)
n很大时，Xn 与 X 出现较大偏差的可能很小 n很大时，有很大把握保证 Xn 与 X 很接近
例5.1.1 将一枚均匀硬币连续独立抛掷 n 次，考察正面出现的频率 与概率之间的关系
理解：对任意给定的ε＞ 0，只要n充分大，则 | an a |＜ 一定成立
或 | an a | 一定不会发生
问题：能否类似定义随机变量序列的收敛性？
尝试： 设{Xn}是随机变量序列，X 是随机变量或常数， 对任意给定的ε＞ 0，只要n充分大，则
| Xn X | 一定不发生 可行吗？
抛硬币试验