概率论与数理统计知识点总结(详细)

《概率论与数理统计》

第一章概率论的基本概念 (2)

§2．样本空间、随机事件 (2)

§4等可能概型（古典概型） (3)

§5．条件概率 (4)

§6．独立性 (4)

第二章随机变量及其分布 (5)

§1随机变量 (5)

§2离散性随机变量及其分布律 (5)

§3随机变量的分布函数 (6)

§4连续性随机变量及其概率密度 (6)

§5随机变量的函数的分布 (7)

第三章多维随机变量 (7)

§1二维随机变量 (7)

§2边缘分布 (8)

§3条件分布 (8)

§4相互独立的随机变量 (9)

§5两个随机变量的函数的分布 (9)

第四章随机变量的数字特征 (10)

§1．数学期望 (10)

§2方差 (11)

§3协方差及相关系数 (11)

第五章 大数定律与中心极限定理 (13)

§1． 大数定律 ...................................................................................... 13 §2中心极限定理 . (13)

第一章 概率论的基本概念

§2．样本空间、随机事件

1．事件间的关系 B A ?则称事件B 包含事件A ，指事件A 发生必然导致事件B 发生 B }x x x { ∈∈=?或A B A 称为事件A 与事件B 的和事件，指当且仅当A ，B 中至少有一个发生时，事件B A ?发生

B }x x x { ∈∈=?且A B A 称为事件A 与事件B 的积事件，指当A ，B 同时发生时，事件B A ?发生

B }x x x { ?∈=且—A B A 称为事件A 与事件B 的差事件，指当且仅当A 发生、B 不发生时，事件B A —发生

φ=?B A ，则称事件A 与B 是互不相容的，或互斥的，指事件A 与事件B 不能同时发生，基本事件是两两互不相容的

且S =?B A φ=?B A ，则称事件A 与事件B 互为逆事件，又称事件A 与事件B 互为对立事件

2．运算规则 交换律A B B A A B B A ?=??=?

结合律)()( )()(C B A C B A C B A C B A ?=???=??

分配律 )()B (C A A C B A ???=??）（ ))(()( C A B A C B A ??=?? 徳摩根律B A B A A B A ?=??=? B —

§3．频率与概率

定义 在相同的条件下，进行了n 次试验，在这n 次试验中，事件A 发生的次数A n 称为事件A 发生的频数，比值n n A 称为事件A 发生的频率

概率：设E 是随机试验，S 是它的样本空间，对于E 的每一事件A 赋予一个实数，记为P （A ），

称为事件的概率

1．概率)(A P 满足下列条件：

（1）非负性：对于每一个事件A 1)(0≤≤A P （2）规范性：对于必然事件S 1)S (=P

（3）可列可加性：设n A A A ,,,21 是两两互不相容的事件，有∑===n

k k

n k k

A P A P 1

1

)()( （n 可

以取∞）

2．概率的一些重要性质： （i ） 0)(=φP

（ii ）若n A A A ,,,21 是两两互不相容的事件，则有∑===n

k k

n k k

A P A P 1

1

)()(

（n 可以取∞）

（iii ）设A ，B 是两个事件若B A ?，则)()()(A P B P A B P -=-，)A ()B (P P ≥ （iv ）对于任意事件A ，1)(≤A P

（v ）)(1)(A P A P -= （逆事件的概率）

（vi ）对于任意事件A ，B 有)()()()(AB P B P A P B A P -+=?

§4等可能概型（古典概型）

等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同 若事件

A

包含

k

个基本事件，即}{}{}{2]1k i i i e e e A =，里

个不同的数，则有

中某，是，，k k n 2,1i i i ,21 ()

中基本事件的总数

包含的基本事件数

S }{)(1

j A n k e P A P k

j i =

=

=∑= §5．条件概率

（1） 定义：设A,B 是两个事件，且0)(>A P ，称)

()

()|(A P AB P A B P =为事件A 发生的条件下事件B 发生的条件概率

（2） 条件概率符合概率定义中的三个条件

1。

非负性：对于某一事件B ，有0)|(≥A B P

2。规范性：对于必然事件S ，1)|(=A S P

3可列可加性：设 ,,21B B 是两两互不相容的事件，则有

∑∞

=∞==1

1

)()(i i i i A B P A B P

（3） 乘法定理 设0)(>A P ，则有)|()()(B A P B P AB P =称为乘法公式

（4） 全概率公式： ∑==

n

i i

i

B A P B P A P 1

)|()()(

贝叶斯公式： ∑==

n

i i

i

k k k B A P B P B A P B P A B P 1

)

|()()

|()()|(

§6．独立性

定义 设A ，B 是两事件，如果满足等式)()()(B P A P AB P =，则称事件A,B 相互独立 定理一 设A ，B 是两事件，且0)(>A P ，若A ，B 相互独立，则()B P A B P =)|( 定理二 若事件A 和B 相互独立，则下列各对事件也相互独立：A 与—

—

—

—

与，与，B A B A B

第二章 随机变量及其分布

§1随机变量

定义 设随机试验的样本空间为X(e)X {e}.S ==是定义在样本空间S 上的实值单值函数，称X(e)X =为随机变量

§2离散性随机变量及其分布律

1． 离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随

机变量称为离散型随机变量

k k )(p x X P ==满足如下两个条件（1）0k ≥p ，（2）∑∞

=1

k k P =1

2． 三种重要的离散型随机变量

（1）分布

设随机变量

X

只能取

与

1

两个值，它的分布律是

)101,0k p -1p )k (k

-1k <<===p X P （，）（，则称X 服从以p 为参数的

分布或两点

分布。

（2）伯努利实验、二项分布

设实验E 只有两个可能结果：A 与—

A ，则称E 为伯努利实验.设

1)p 0p P(A)<<=（，此时p -1)A P(=—

.将E 独立重复的进行n 次，则称这一串重复的

独立实验为n 重伯努利实验。

n 2,1,0k q p k n )k X (k

-n k ，

，=???

? ??==P 满足条件（1）0k ≥p ，（2）∑∞

=1k k P =1注意到k -n k q p k n ???

? ??是二项式

n

q p ）（+的展开式中出现k p 的那一项，我们称随机变量X 服从参数为

n ，p 的二项分布。 （3）泊松分布

设随机变量X 所有可能取的值为0,1,2…，而取各个值的概率为

,2,1,0,k!

e )k X (-k ==

=k P λ

λ其中0>λ是常数，则称X 服从参数为λ的泊松分布记为

）

（λπ~X §3随机变量的分布函数

定义 设X 是一个随机变量，x 是任意实数，函数∞<<∞≤=x -x},P{X )x (F 称为X 的分布函数

分布函数)()(x X P x F ≤=，具有以下性质(1) )(x F 是一个不减函数 （2）

1)(,0)(1)(0=∞=-∞≤≤F F x F ，且 （3）是右连续的即)(),()0(x F x F x F =+

§4连续性随机变量及其概率密度

连续随机变量：如果对于随机变量X 的分布函数F （x ），存在非负可积函数)(x f ，使对于任意函数x 有,

dt t f )x (F x

-?

∞

=

）（则称x 为连续性随机变量，其中函数f(x)称为X

的概率密度函数，简称概率密度

1 概率密度)(x f 具有以下性质，满足（1）1)(

(2) ,0)(-=≥?

+∞

∞

dx x f x f ；

（3）?

=

≤≤2

1

)()(21x x dx x f x X x P ；

（4）若)(x f 在点x 处连续，则有=)(F x ，

)(x f 2,三种重要的连续型随机变量

(1)均匀分布

若连续性随机变量X 具有概率密度?????<<=，其他

，0a a -b 1)(b

x x f ，则成X 在区间(a,b)上服从

均匀分布.记为），（b a U ~X

(2)指数分布

若连续性随机变量X 的概率密度为?????>=，其他

，0

0.e

1)(x -x x f θθ

其中0>θ为常数，则称X

服从参数为θ的指数分布。 （3）正态分布 若连续型随

机变量X 的概率密度为

，

，）

∞<<∞=

--

x e

x f x -21)(2

2

2(σμσ

πσμσσμ，服从参数为为常数，则称（，其中X )0>的正态分布或高斯分布，记为

）

，（2N ~X σμ 特别，当10==σμ，时称随机变量X 服从标准正态分布

§5随机变量的函数的分布

定理 设随机变量X 具有概率密度,-)(x ∞<<∞x x f ，又设函数)(x g 处处可导且恒有

0)(,>x g ，则

Y=)(X g 是连续型随机变量，其概率密度为

[]?

?

?<<=其他，0,)()()(,β

αy y h y h f y f X Y 第三章 多维随机变量

§1二维随机变量

定义 设E 是一个随机试验，它的样本空间是X(e)X {e}.S ==和Y(e)Y =是定义在S 上的随机变量，称X(e)X =为随机变量，由它们构成的一个向量（X ，Y ）叫做二维随机变量

设（X ，Y ）是二维随机变量，对于任意实数x ，y ，二元函数

y}Y x P{X y)}(Y x)P{(X y x F ≤≤≤?≤=，记成），（称为二维随机变量（X ，Y ）的

分布函数

如果二维随机变量（X ，Y ）全部可能取到的值是有限对或可列无限多对，则称（X ，Y ）是离散型的随机变量。

我们称 ，

，，，2,1j i )y Y (ij j i ====p x X P 为二维离散型随机变量（X ，Y ）的分布律。

对于二维随机变量（X ，Y ）的分布函数），（y x F ，如果存在非负可积函数f （x ，y ），

使对于任意x ，y 有，），（）

，（??

∞∞

=y -x

-dudv v u f y x F 则称（X ，Y ）是连续性的随机变量，

函数f （x ，y ）称为随机变量（X ，Y ）的概率密度，或称为随机变量X 和Y 的联合概率密

度。

§2边缘分布

二维随机变量（X ，Y ）作为一个整体，具有分布函数），（y x F .而X 和Y 都是随机变量，各自也有分布函数，将他们分别记为）（（y ),x F X Y F ，依次称为二维随机变量（X ，Y ）关于X 和关于Y 的边缘分布函数。

，，2,1i }x P{X p 1

j i ij i ====∑∞

=?p

，，2,1j }y P{Y p 1

i i ij ====∑∞

=?j p

分别称?i p j p ?为（X ，Y ）关于X 和关于Y 的边缘分布律。

?∞∞

-=dy y x f x f X ）,()( ?∞

∞

-=dx y x f y f Y ）,()(分别称)(x f X ，

)(y f Y 为X ，Y 关于X 和关于Y 的边缘概率密度。

§3条件分布

定义 设（X ，Y ）是二维离散型随机变量，对于固定的j ，若,0}{>=j y Y P 则称 ,2,1,}

{}

,{}{==

====

==?i p p y Y P y Y x X P y Y x X P j

ij j j i j i 为在j y Y =条件下随

机变量X 的条件分布律，同样 ,2,1,}

{}

,{}{==

======?

j p p x X P y Y x X P X X y Y P i ij i j i i j 为

在i x X =条件下随机变量X 的条件分布律。

设二维离散型随机变量（X ，Y ）的概率密度为),(y x f ，（X ，Y ）关于Y 的边缘概率密度为)(y f Y ，若对于固定的y ，)(y f Y 〉0，则称

)

()

,(y f y x f Y 为在Y=y 的条件下X 的条件概率密度，记为)(y x f Y X =

)

()

,(y f y x f Y

§4相互独立的随机变量

定义 设），（y x F 及)(F x X ，)(F y Y 分别是二维离散型随机变量（X ，Y ）的分布函数及边缘分布函数.若对于所有x,y 有y}}P{Y {},{≤≤===x X P y Y x X P ，即

(y))F (F },{F Y X x y x =，则称随机变量X 和Y 是相互独立的。

对于二维正态随机变量（X ，Y ），X 和Y 相互独立的充要条件是参数0=ρ

§5两个随机变量的函数的分布

1，Z=X+Y 的分布

设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f .则Z=X+Y 仍为连续性随机变量，其概率密度为?

∞

∞

-+-=

dy y y z f z f Y X ）,()(或?∞

∞

-+-=dx x z x f z f Y X ）,()(

又若X 和Y 相互独立，设（X ，Y ）关于X ，Y 的边缘密度分别为)(),(y f x f Y X 则

?∞∞

-+-=dy f y z f z f Y X Y X y)()(（） 和?

∞

∞

-+-=dx x z f x f z f Y X Y X )(()(）这两个公式称为Y X f f ,的卷积公式

有限个相互独立的正态随机变量的线性组合仍然服从正态分布 2，的分布的分布、XY Z X

Y

Z ==

设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f ，则XY Z X

Y

Z ==， 仍为连续性随机变量其概率密度分别为

dx xz x f x z f X Y ),()(?∞∞

-=dx x

z

x f x z f XY ),(1)(?

∞

∞

-=又若X 和Y 相互独立，设（X ，Y ）关于X ，Y 的边缘密度分别为)(),(y f x f Y X 则可化为dx xz f x f z f Y X X Y ?∞∞

-=)()()(

dx x

z

f x f x z f Y XY )()(1)(X ?

∞

∞

-= 3的分布及，},m in{N Y }{X m ax Y X M ==

设X ，Y 是两个相互独立的随机变量，它们的分布函数分别为)(),(y F x F Y X 由于

Y}{X max ，=M 不大于z 等价于X 和Y 都不大于z 故有z}Y z,P{X z}P{M ≤≤=≤又

由于X 和Y 相互独立，得到Y}{X max ，=M 的分布函数为)()()(max z F z F z F Y X =

},min{N Y X =的分布函数为[][])(1)(11)(min z F z F z F Y X ---=

第四章 随机变量的数字特征

§1．数学期望

定义 设离散型随机变量X 的分布律为k k p x X P ==}{，k=1,2，…若级数

∑∞

=1

k k k

p x

绝对

收敛，则称级数

∑∞

=1

k k k

p x

的和为随机变量X 的数学期望，记为)(X E ，即∑=i

k k p x X E )(

设连续型随机变量X 的概率密度为)(x f ，若积分

?

∞

∞

-dx x xf )(绝对收敛，则称积分

?

∞

∞

-dx x xf )(的值为随机变量X 的数学期望，记为)(X E ，即?+∞∞

-=dx x xf X E )()(

定理 设Y 是随机变量X 的函数Y=)(X g (g 是连续函数)

（i ）如果X 是离散型随机变量，它的分布律为k p X P ==}x {k ，k=1,2，…若

k

k k

p x g ∑∞

=1

(）

绝对收敛则有=)Y (E =

))((X g E k

k k

p x g ∑∞

=1

(）

（ii ）如果X 是连续型随机变量，它的分概率密度为)(x f ，若?

∞

∞

-dx x f x g )()(绝对收敛则

有=)Y (E =

))((X g E ?

∞

∞

-dx x f x g )()(

数学期望的几个重要性质 1设C 是常数，则有C C E =)(

2设X 是随机变量，C 是常数，则有)()(X CE CX E = 3设X,Y 是两个随机变量，则有)()()(Y E X E Y X E +=+；

4设X ，Y 是相互独立的随机变量，则有)()()(Y E X E XY E =

§2方差

定义 设X 是一个随机变量，若[]})({2

X E X E -存在，则称[]})({2

X E X E -为X 的方

差，记为D （x ）即D （x ）=[]})({2

X E X E -，在应用上还引入量)(x D ，记为)(x σ，

称为标准差或均方差。

222)()())(()(EX X E X E X E X D -=-=

方差的几个重要性质

1设C 是常数，则有 ,0)(=C D

2设X 是随机变量，C 是常数，则有)(C )(2

X D CX D =，D(X))(=+C X D

3设X,Y 是两个随机变量，则有E(Y))}-E(X))(Y -2E{(X D(Y)D(X))(++=+Y X D 特别，若X,Y 相互独立，则有)()()(Y D X D Y X D +=+

40)(=X D 的充要条件是X 以概率1取常数E(X)，即1)}({==X E X P

切比雪夫不等式：设随机变量X 具有数学期望2

)(σ=X E ，则对于任意正数ε，不等式

22

}-X P{ε

σεμ≤≥成立

§3协方差及相关系数

定义 量)]}()][({[Y E Y X E X E --称为随机变量X 与Y 的协方差为),(Y X Cov ，即

)()()())]())(([(),(Y E X E XY E Y E Y X E X E Y X Cov -=--=

而D(Y)

D(X)Y X (XY ），Cov =

ρ称为随机变量X 和Y 的相关系数

对于任意两个随机变量X 和Y ，),(2)()()_(Y X Cov Y D X D Y X D -

+

+=+ 协方差具有下述性质

1),(),( ),,(),(Y X abCov bY aX Cov X Y Cov Y X Cov == 2),(),(),(2121Y X Cov Y X Cov Y X X Cov +=+

定理 1 1≤XY ρ

2 1=XY ρ的充要条件是，存在常数a,b 使1}{=+=bx a Y P

当

=XY ρ0时，称X 和Y 不相关

第五章 大数定律与中心极限定理

§1． 大数定律

弱大数定理（辛欣大数定理） 设X 1，X 2…是相互独立，服从统一分布的随机变量序列，并

具有数学期望),2,1()( ==k X E k μ.作前n 个变量的算术平均∑=n

k k X n 1

1，则对于任意

0>ε，有1}1{lim 1

=<-∑=∞→εμn

k k n X n P

定义 设 n Y Y Y ,,21是一个随机变量序列，a 是一个常数，若对于任意正数ε，有

1}{lim =<-∞

→εa Y P n n ，则称序列 n Y Y Y ,,21依概率收敛于a ，记为a Y p

n ?→?

伯努利大数定理 设A f 是n 次独立重复试验中事件A 发生的次数，p 是事件A 在每次试验中发生的概率，则对于任意正数ε〉0，有1}{

lim =<-∞

→εp n

f P n

n 或0}{

lim =≥-∞

→εp n

f P n

n §2中心极限定理

定理一（独立同分布的中心极限定理） 设随机变量n X X X ,,,21 相互独立，服从同一分布，且具有数学期望和方差2)( ,)(σμ==k i X D X E （k=1,2，…），则随机变量之和

标准化变量∑=n

i k

X

1

， σ

μ

n n X

X D X E X

Y n

i k

n

k k n

k n

k k k

n ∑∑∑∑====-=

-=

1

1

1

1 )

()

(，

定理二（李雅普诺夫定理） 设随机变量n X X X ,,,21 …相互独立，它们具有数学期望和方差 2,1,0)( ,)(2

=>==k X D X E k k k k σμ记∑==

n

k k

n B 1

22

ε

定理三（棣莫弗-拉普拉斯定理）设随机变量10(,),2,1(<<=p p n n n 服从参数为 η）的

二项分布，则对任意x ，有)(21})

1({

lim 22

x dt e x p np np

P x

t n n Φ==≤--?

∞

--∞

→π

η