概率论与数理统计总结之第五章
合集下载
概率论与数理统计第五章 大数定律及中心极限定理
解: 设Xk为第k次炮击炮弹命中的颗数(k=1,2,…,100),
在100次炮击中炮弹命中的总颗数
100
X = ∑ Xk k =1
相互独立地服从同一分布，
E(Xk)=2, D(Xk)=1.52 (k=1,2,…,100)
随机变量
∑ 1
100 × 1.5
100 k =1
(
X
k
−
2)
=
1 15
(
X
−
200)
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 （随机变量序列独立同分布且数学期望存在）
n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
§5.2 中心极限定理
望 E( Xk ) = µ (k = 1,2,"),则对于任意ε > 0,有
∑ lim
n→∞
P {|
1 n
n k =1
Xk
−
µ
|<
ε
}
=
1
说明
伯努利大数定理是辛钦定理的特殊情
况。n个随机变量的算术平均值以概率收敛于算
术平均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 算术平均值依概率收敛于数学期望
= 1 − P { V − 100 ≤ 0.387 } (10 12 ) 20
∫ 0.387
≈ 1−
1
e − t 2 dt
−∞ 2π
= 1 −Φ (0.387) = 0.348
所以 P{V > 105} ≈ 0.348
在100次炮击中炮弹命中的总颗数
100
X = ∑ Xk k =1
相互独立地服从同一分布，
E(Xk)=2, D(Xk)=1.52 (k=1,2,…,100)
随机变量
∑ 1
100 × 1.5
100 k =1
(
X
k
−
2)
=
1 15
(
X
−
200)
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 （随机变量序列独立同分布且数学期望存在）
n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
§5.2 中心极限定理
望 E( Xk ) = µ (k = 1,2,"),则对于任意ε > 0,有
∑ lim
n→∞
P {|
1 n
n k =1
Xk
−
µ
|<
ε
}
=
1
说明
伯努利大数定理是辛钦定理的特殊情
况。n个随机变量的算术平均值以概率收敛于算
术平均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 算术平均值依概率收敛于数学期望
= 1 − P { V − 100 ≤ 0.387 } (10 12 ) 20
∫ 0.387
≈ 1−
1
e − t 2 dt
−∞ 2π
= 1 −Φ (0.387) = 0.348
所以 P{V > 105} ≈ 0.348
数理统计第五章总结
x1 ,, xn .
(2).主要类型
(1).性质：二重性
随机性 确定性
完全样本 分组样本
第五章 知识点总结
x1 ,, xn ~ F ( x ), (3).简单随机样本：
(4).样本的联合分布函数： F ( x1 ,, xn )
0, k (5). 经验分布函数: Fn ( x ) , n 1, x x( 1 )
n 2 n ![ F ( z ) F ( y )] p( y ) p( z ) p1n ( y, z ) . (n 2)!
( y z)
第五章 知识点总结
(3). 次序统计量的函数及其分布
①. 样本中位数:
n 2k 1， x( n21 )， x n x n (2) ( 2 1) ， n 2k . 2
i 1 j i 1 n j n ![ F ( y )] [ F ( z ) F ( y )] [ 1 F ( z )] p( y ) p( z ) pij ( y, z ) . (i 1)!( j i 1)!(n j )!
( y z)
次序统计量 ( x(1) , x(n) ) 的联合密度函数为
若 X ~ 2 (n), 则 E ( X ) n, Var( X ) 2n. 若 X ~ 2 (m ), Y ~ 2 (n), 且 X 与 Y 独立， 则
X Y ~ 2 (m n).
2 2. 分布的分位数： P( 2 1 (n)) 1 .
第五章 知识点总结
第20页
6. 对来自总体N(2,4) 的样本 y1 , y2 ,, y25 , S 2 是样本方差， 若 2 b s 2 ~ 2 (24), 则b = ( ).
概率论与数理统计 第五章
Xn ⎯ ⎯→ X 2. 依概率收敛与依分布收敛的关系
依概率收敛 ⇒ 依分布收敛
L
3. 定义：中心极限定理 设随机变量 X ~ N(0,1)，{Xi }，i = 1, 2, … 相互独 立，且数学期望和方差都存在, 若标准化随机变量序列
∑
n
i =1
Xi −
∑ E(X
i =1
n
i
)
∑
n
i =1
D(X i)
所以结论成立。 由此有，若X ~ B( n, p )，对于足够大的n，有 ⎧ m1 − np X − np m2 − np ⎫ ⎪ ⎪ < ≤ P{m1 < X ≤ m2 }= P ⎨ ⎬ np(1 − p) np(1 − p) ⎪ ⎪ np(1 − p) ⎩ ⎭
⎧ Yn − np ⎫ ⎪ ⎪ ≤ x ⎬ = Φ( x ) lim P ⎨ n →∞ ⎪ np(1 − p ) ⎪ ⎩ ⎭
证明：对于任意正整数n，随机变量Yn 可表示为 证明：对于任意正整数n Yn = X1＋ X2＋…＋ Xn X1, X2,…, Xn 相互独立，Xi ~ B( 1, p )，且有 E( Xi ) = p , D( Xi ) = p(1-p) 所以随机变量序列{ Xi }, i =1,2,…满足独立同分布 中心极限定理条件。即有
切比雪夫不等式的应用 1）估计随机变量落在某个区间内的概率 (P125例5.5.2) 2）估计ε的值, 使 P(│X - E(X)│<ε) ≥ a (0<a<1) 3）证明大数定律。
二. 大数定律 定义： 依概率收敛 设{Xn}是一个随机变量序列，X 是一个随机变量 或常数，若对于任意的ε＞ 0，有 lim P{| X n − X |≥ ε } = 0
《概率论与数理统计》第五章
第五章 极限定理
‹#›
研究随机现象的大量观测， 常采用极限形式， 由此导致了极限定理的研究。 极限定理的内容很 广泛, 最重要的有两种:
“大数定律”和“中心极限定理”。
第五章 极限定理
‹#›
§1 大数定律
对随机现象进行大量重复观测，各种结果的出 现频率具有稳定性。
大量地掷硬币 正面出现频率
生产过程 中废品率
棣莫佛—拉普拉斯定理的内容是：当 n 很大时 ，二项分布可用正态分布近似。
总结/summary
第五章 极限定理
‹#›
切比雪夫不等式 理解切比雪夫不等式
大数定律
了解辛钦大数定理。
中心极限定理
掌握运用列维-林德伯格中心定理和棣 莫弗-拉普拉斯中心极限定理求解独立 随机变量之和的近似概率值
第五章 极限定理
字母使用频率
第五章 极限定理
‹#›
1. 切比雪夫不等式
定理1: 设随机变量X有期望μ和方
差σ2，则对任给的ε> 0, 有
P
X
2
1
2
或
P | X |
2 2
.
第五章 极限定理
‹#›
证明：只对X 是连续型情况加以证明。
设X 的概率密度函数为 f(x)，则有
P | X | f (x) dx
2.5
1
P
X
n 14 0.2
2.5
1 (2.5) 0.0062 ；
第五章 极限定理
‹#›
(2).
P{X n
14}
P
X
n
14
14 14
2 / 100 2 / 100
1
P
X
n 14 0.2
概率论与数理统计(第5章)
第5章 数理统计的基础知识
5.1 数理统计的基本概念
5.1.3 次序统计量和样本分布函数
例 3 在总体 N(12，4) 中抽出容量为 5 的样本 X1 ，X2 ，X3 ，X4 ，X5 ，求概率 P{X (5) 15} 和 P{X (1) 10} ．
因此
解 设总体 X 的分布函数为 F(x) ，则随机变量 X (5) 和 X(1) 的分布函数分别为 Fmax (x) [F(x)]5 和 Fmin (x) 1 [1 F (x)]5 ，
1，x …x(n) ．
（5-6）
Fn (x) 的图形就是累积频率曲线，它是跳跃式上升的一条 阶梯形曲线．若所有观测值都不相等，则每一跨度为 1 ；若某
n 个观测值有 m 次相等情形，则在该值处跳跃上升 m ．
n
第5章 数理统计的基础知识
5.1 数理统计的基本概念
5.1.3 次序统计量和样本分布函数
1，2 ，3，L
)
，
它的观测值记为 bk
1 n
n i 1
( xi
x )k
(k
1，2，3，L
)
．
显然，样本一阶中心矩恒等于零．
（5-4） （5-5）
第5章 数理统计的基础知识
5.1 数理统计的基本概念
5.1.2 参数与统计量
例 2 有一批钢管，从中抽取了 10 根进行长度测量，得数据如下（单位：cm）： 19.6，19.5，18.9，19.1，18.7，18.9，19.0，18.8，19.2，19.3．
i 1
所以，样本方差的观测值为
s2
1 10
1
10
i 1
xi2
10x 2
1 0.8 10 1
概率论 第五章汇总
1
t2
e 2 dt ( x).
n np(1 p) 2
证 由§4.2例知, n可以看成n个相互独立的服从同一(0-1)分
布的随机变量X1,...,Xn之和，即 近n 似X1 X2 Xn
np n
N (0,1) E(X i ) p, D(Xi ) p(1 p),
i 1,2,, n
➢ 伯努利大数定律是辛钦定理的特殊情况.
§5.2 中心极限定理
在客观实际中有许多随机变量,它们是由 大量的相互独立的随机因素的综合影响所 形成的,而其中每一个别因素在总的影响中 起到的作用都是微小的.这种随机变量往往 近似的服从正态分布.这种现象就是中心极 限定理的客观背景.
本节只介绍三个常用的中心极限定理.
lim
~ ~ n
Fn
(
X
xY) nnlim
P
nn
N i i11
XXi
i近n似 nx近
nnn
似 0x,N121(0e,1)t22
dt
( x). (证明略)
定理表明,当n充分大时,Yn近似服从标准正态分布.
例1 一盒同型号螺丝钉共100个，已知该型号的螺丝钉的重量是
一个随机变量，期望值是100g，标准差是10g ，求一盒螺丝钉 的重量超过10.2kg的概率.
第五章 大数定律及中心极限定理
§5.1 大数定律 §5.2 中心极限定理
第五章 大数定律及中心极限定理
概率论与数理统计是研究随机现象统计 规律性的学科. 随机现象的规律性只有在相 同的条件下进行大量重复试验时才会呈现出 来. 也就是说，要从随机现象中去寻求必然 的法则，应该研究大量随机现象.
研究大量的随机现象，常常采用极限 形式，由此导致对极限定理进行研究. 极 限定理的内容很广泛，其中最重要的有两 种:
概率论与数理统计 第五章
n →∞ n →∞
∑ X − ∑µ
k =1 k =1
k
Bn
≤ x} = ∫
ቤተ መጻሕፍቲ ባይዱ
x
1 2π
−∞
e
t2 − 2
dt＝Φ(x).
说明: 说明
在定理条件下, r.v. Zn =
∑ X − ∑µ
k =1 k k =1
n
n
k
Bn
当 n很 大
时, 近似地服从正态分布N(0, 1),由此当n很大时,
∑X
k =1 n
n
t2 2
（本定理 可以由独立同分布 的中心极限定理证 明）
说明: 说明 本定理不难看出 :若ηn
~ b(n,p), 有
t2 2
b ηn − np 1 lim P a < e dt = Φ(b) − Φ(a), ≤ b = ∫ a n →∞ npq 2π 因 而 当 n较 大 时 , 我 们 可 以 用 正 态 分 布 近 似 计 算 二 项 分布 的 概率 。
2. 切比雪夫大数定律: 设X1 , X 2 , L Xn , L 是由两两互 不相关的随机变量所构成的序列, 每一个随机变量都 有有限的方差, 并且它们有公共的上界 , D(X1 ) ≤ C, D(X 2 ) ≤ C, L , D(Xn ) ≤ C, L 则对∀ε > 0, 都有 1 n 1 n lim P ∑ Xk − ∑ E(Xk ) < ε = 1. n →∞ n k =1 n k =1
k
2 , k = 0,1, L ,90000. 3 ≤ 30500}
90000-k
显然直接计算十分麻烦, 我们利用德莫佛-拉普拉斯定理 来求它的近 似 值 即有P{29500 < X ≤ 30500} 29500-np = P < np(1-p ) 30500-np ≤ np(1-p ) np(1-p ) X-np
∑ X − ∑µ
k =1 k =1
k
Bn
≤ x} = ∫
ቤተ መጻሕፍቲ ባይዱ
x
1 2π
−∞
e
t2 − 2
dt＝Φ(x).
说明: 说明
在定理条件下, r.v. Zn =
∑ X − ∑µ
k =1 k k =1
n
n
k
Bn
当 n很 大
时, 近似地服从正态分布N(0, 1),由此当n很大时,
∑X
k =1 n
n
t2 2
（本定理 可以由独立同分布 的中心极限定理证 明）
说明: 说明 本定理不难看出 :若ηn
~ b(n,p), 有
t2 2
b ηn − np 1 lim P a < e dt = Φ(b) − Φ(a), ≤ b = ∫ a n →∞ npq 2π 因 而 当 n较 大 时 , 我 们 可 以 用 正 态 分 布 近 似 计 算 二 项 分布 的 概率 。
2. 切比雪夫大数定律: 设X1 , X 2 , L Xn , L 是由两两互 不相关的随机变量所构成的序列, 每一个随机变量都 有有限的方差, 并且它们有公共的上界 , D(X1 ) ≤ C, D(X 2 ) ≤ C, L , D(Xn ) ≤ C, L 则对∀ε > 0, 都有 1 n 1 n lim P ∑ Xk − ∑ E(Xk ) < ε = 1. n →∞ n k =1 n k =1
k
2 , k = 0,1, L ,90000. 3 ≤ 30500}
90000-k
显然直接计算十分麻烦, 我们利用德莫佛-拉普拉斯定理 来求它的近 似 值 即有P{29500 < X ≤ 30500} 29500-np = P < np(1-p ) 30500-np ≤ np(1-p ) np(1-p ) X-np
概率论与数理统计----第五章大数定律及中心极限定理
故
= 1 − Φ(3.54)
=0.0002
一箱味精净重大于20500的概率为 的概率为0.0002. 一箱味精净重大于 的概率为
推论:
特别，若X～Ｂ（n，p）,则当n充分大时， 特别， ～Ｂ（n 则当n充分大时，
Ｘ～Ｎ（np，npq） Ｘ～Ｎ（np，npq） np
若随机变量Ｘ～Ｂ（ Ｘ～Ｂ（n， ），则对任意实数x有 ），则对任意实数 即 若随机变量Ｘ～Ｂ（ ，p），则对任意实数 有
不等式证明 P{-1<X<2n+1}≥(2n+1)/(n+1)(n+1)
3. 设P{|X-E(X)|<ε}不小于 不小于0.9,D(X)=0.009.则用 不小于 则用
切比绍夫不等式估计ε的 最小值是( 切比绍夫不等式估计 的 最小值是
0.3 ).
4.(894) 设随机变量 的数学期望为 设随机变量X的数学期望为 的数学期望为µ, 标准差为σ,则由切比绍夫不等式 标准差为 则由切比绍夫不等式 P{|X-µ|≥3σ}≤( ). 1/9 5. 设随机变量X的分布律为 设随机变量 的分布律为 P{X=0.3}=0.2, P{X=0.6}=0.8, 用切比绍夫不等式估计 |X-E(X)|<0.2的概率 的概率. 的概率
1 n lim P ∑ Xi − µ < ε = 1 n→∞ n i =1
定理（贝努里利大数定律） 设每次实验中事件A发生的概率 定理（贝努里利大数定律） 设每次实验中事件A 为p，n次重复独立实验中事件A发生的次数为nA，则对任 次重复独立实验中事件A发生的次数为n 意的ε>0 意的ε>0 ，事件的频率 nA ，有 ε>
∫
+∞
−∞
= 1 − Φ(3.54)
=0.0002
一箱味精净重大于20500的概率为 的概率为0.0002. 一箱味精净重大于 的概率为
推论:
特别，若X～Ｂ（n，p）,则当n充分大时， 特别， ～Ｂ（n 则当n充分大时，
Ｘ～Ｎ（np，npq） Ｘ～Ｎ（np，npq） np
若随机变量Ｘ～Ｂ（ Ｘ～Ｂ（n， ），则对任意实数x有 ），则对任意实数 即 若随机变量Ｘ～Ｂ（ ，p），则对任意实数 有
不等式证明 P{-1<X<2n+1}≥(2n+1)/(n+1)(n+1)
3. 设P{|X-E(X)|<ε}不小于 不小于0.9,D(X)=0.009.则用 不小于 则用
切比绍夫不等式估计ε的 最小值是( 切比绍夫不等式估计 的 最小值是
0.3 ).
4.(894) 设随机变量 的数学期望为 设随机变量X的数学期望为 的数学期望为µ, 标准差为σ,则由切比绍夫不等式 标准差为 则由切比绍夫不等式 P{|X-µ|≥3σ}≤( ). 1/9 5. 设随机变量X的分布律为 设随机变量 的分布律为 P{X=0.3}=0.2, P{X=0.6}=0.8, 用切比绍夫不等式估计 |X-E(X)|<0.2的概率 的概率. 的概率
1 n lim P ∑ Xi − µ < ε = 1 n→∞ n i =1
定理（贝努里利大数定律） 设每次实验中事件A发生的概率 定理（贝努里利大数定律） 设每次实验中事件A 为p，n次重复独立实验中事件A发生的次数为nA，则对任 次重复独立实验中事件A发生的次数为n 意的ε>0 意的ε>0 ，事件的频率 nA ，有 ε>
∫
+∞
−∞
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
则称序列 … …依概率收敛与a，记为
设 ，又设g(x,y)在点（a,b)连续，则
上述定理一又可叙述为：
定理一
设随机变量 … …，相互独立，且具有相同的数学期望和方差： … ，则序列 依概率收敛于μ，即
定理二（伯努利大数定理）
设 是n次独立重复试验中事件A发生的次数。p是事件A在每次试验中发生的概率，则对于任意正数ε>0,有
定理六（棣莫弗-拉普拉斯定理）
设随机变量 服从参数为n,p（0<p<1)的二项分布，则对于任意x，有
证明：
将 分解成为n个相互独立、服从同一（0-1）分布的诸随机变量 … 之和，即有
= ，
其中 的分布律为
由于 由定理四得
这个定理表明，正态分布是二项分布的极限分布，当n充分大时，我们可以利用定理六中的式子来计算二项分布的概率
第五章
大数定律
定理一（契比雪夫定理的特殊情况）
设随机变量 … …相互独立（是指对于任意n>1， … …是相互独立），且具有相同的数学期望和方差： … 。作前n个随机变量的算术平均
则对于任意正数ε，有
证明：
由于
，
由契比雪夫不等式可得
在上式中令 并注意到概率不能大于1，即得
设 … …是一个随机变量序列，a是一个常数。若对于任意正数ε，有
设随机变量 … …相互独立，服从同一分布，且具有数学期望和方差： … ，则随机变量之和 的标准化变量：
的分布函数 对于任意x满足
对其的解释：
均值为μ，方差为 >0的独立同分布的随机变量之和 的标准化变量，当n充分大时，有 ～
将上式左端改写成 这样上述结果可写成：
当n充分大时，
～ 或 ～
这也就是说，均值为μ，方差为 的独立同分布的随机变量 … 的算术平均 ，当n充分大时近似地服从均值为μ，方差为 的正态分布
或
证明：
因为 ～ ，有
…
其中， … …相互独立，且都服从以p为参数的（0-1）分布，因而 … ，由定理一得
…
即
这个定理表明事件发生的频率的稳定性
定理三（辛钦定理）
设随机变量 … …相互独立，服从同一分布，且具有数学期望 … ，则对于任意正数ε，有
显然，伯努利大数定理是辛钦定理的特殊情况
中心极限定理
定理四（独立同分布的中心极限定理）
定理五（李雅普诺夫定理）
设随机变量 … …相互独立，它们具有数学期望和方差：
…，
记 ,
若存在正数δ，使得当 时，
则随机变量之和 的标准化变量：
的分布函数 对于任意x服从正态分布N(0,1)，因此，当n很大时， 近似服从正态分布
这就是说，无论各个随机变量 服从什么分布，只要满足定理的条件，那么它们的和 当n很大时，就近似服从正态分布
设 ，又设g(x,y)在点（a,b)连续，则
上述定理一又可叙述为：
定理一
设随机变量 … …，相互独立，且具有相同的数学期望和方差： … ，则序列 依概率收敛于μ，即
定理二（伯努利大数定理）
设 是n次独立重复试验中事件A发生的次数。p是事件A在每次试验中发生的概率，则对于任意正数ε>0,有
定理六（棣莫弗-拉普拉斯定理）
设随机变量 服从参数为n,p（0<p<1)的二项分布，则对于任意x，有
证明：
将 分解成为n个相互独立、服从同一（0-1）分布的诸随机变量 … 之和，即有
= ，
其中 的分布律为
由于 由定理四得
这个定理表明，正态分布是二项分布的极限分布，当n充分大时，我们可以利用定理六中的式子来计算二项分布的概率
第五章
大数定律
定理一（契比雪夫定理的特殊情况）
设随机变量 … …相互独立（是指对于任意n>1， … …是相互独立），且具有相同的数学期望和方差： … 。作前n个随机变量的算术平均
则对于任意正数ε，有
证明：
由于
，
由契比雪夫不等式可得
在上式中令 并注意到概率不能大于1，即得
设 … …是一个随机变量序列，a是一个常数。若对于任意正数ε，有
设随机变量 … …相互独立，服从同一分布，且具有数学期望和方差： … ，则随机变量之和 的标准化变量：
的分布函数 对于任意x满足
对其的解释：
均值为μ，方差为 >0的独立同分布的随机变量之和 的标准化变量，当n充分大时，有 ～
将上式左端改写成 这样上述结果可写成：
当n充分大时，
～ 或 ～
这也就是说，均值为μ，方差为 的独立同分布的随机变量 … 的算术平均 ，当n充分大时近似地服从均值为μ，方差为 的正态分布
或
证明：
因为 ～ ，有
…
其中， … …相互独立，且都服从以p为参数的（0-1）分布，因而 … ，由定理一得
…
即
这个定理表明事件发生的频率的稳定性
定理三（辛钦定理）
设随机变量 … …相互独立，服从同一分布，且具有数学期望 … ，则对于任意正数ε，有
显然，伯努利大数定理是辛钦定理的特殊情况
中心极限定理
定理四（独立同分布的中心极限定理）
定理五（李雅普诺夫定理）
设随机变量 … …相互独立，它们具有数学期望和方差：
…，
记 ,
若存在正数δ，使得当 时，
则随机变量之和 的标准化变量：
的分布函数 对于任意x服从正态分布N(0,1)，因此，当n很大时， 近似服从正态分布
这就是说，无论各个随机变量 服从什么分布，只要满足定理的条件，那么它们的和 当n很大时，就近似服从正态分布