概率论与数理统计知识点总结(免费)

《概率论与数理统计》

第一章 概率论的基本概念

§2．样本空间、随机事件

1．事件间的关系 B A ?则称事件B 包含事件A ，指事件A 发生必然导致事件B 发生

B }x x x { ∈∈=?或A B A 称为事件A 与事件B 的和事件，指当且仅当A ，B 中至少有一个发生时，事件B A ?发生

B }x x x { ∈∈=?且A B A 称为事件A 与事件B 的积事件，指当A ，B 同时发生时，事件B A ?发生

B }x x x { ?∈=且—A B A 称为事件A 与事件B 的差事件，指当且仅当A 发生、B 不发生时，事件B A —发生

φ=?B A ，则称事件A 与B 是互不相容的，或互斥的，指事件A 与事件B 不能同时发生，基本事件是两两互不相容的

且S =?B A φ=?B A ，则称事件A 与事件B 互为逆事件，又称事件A 与事件B 互为对立事件

2．运算规则 交换律A B B A A B B A ?=??=?

结合律)()( )()(C B A C B A C B A C B A ?=???=?? 分配律 )()B (C A A C B A ???=??）（ ))(()( C A B A C B A ??=?? 徳摩根律B A B A A B A ?=??=? B —

§3．频率与概率

定义 在相同的条件下，进行了n 次试验，在这n 次试验中，事件A 发生的次数A n 称为事件A 发生的频数，比值n n A 称为事件A 发生的频率

概率：设E 是随机试验，S 是它的样本空间，对于E 的每一事件A 赋予一个实数，记为P （A ），

称为事件的概率

1．概率)(A P 满足下列条件：

（1）非负性：对于每一个事件A 1)(0≤≤A P （2）规范性：对于必然事件S 1)S (=P

（3）可列可加性：设n A A A ,,,21 是两两互不相容的事件，有∑===n

k k

n k k

A P A P 1

1

)()( （n 可

以取∞）

2．概率的一些重要性质： （i ） 0)(=φP

（ii ）若n A A A ,,,21 是两两互不相容的事件，则有∑===n

k k

n k k

A P A P 1

1

)()(

（n 可以取∞）

（iii ）设A ，B 是两个事件若B A ?，则)()()(A P B P A B P -=-，)A ()B (P P ≥ （iv ）对于任意事件A ，1)(≤A P

（v ）)(1)(A P A P -= （逆事件的概率）

（vi ）对于任意事件A ，B 有)()()()(AB P B P A P B A P -+=?

§4等可能概型（古典概型）

等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同 若事件

A

包含

k

个基本事件，即}{}{}{2]1k i i i e e e A =，里

个不同的数，则有

中某，是，，k k n 2,1i i i ,21 ()

中基本事件的总数

包含的基本事件数

S }{)(1

j A n k e P A P k

j i ==

=∑=

§5．条件概率

（1） 定义：设A,B 是两个事件，且0)(>A P ，称)

()

()|(A P AB P A B P =为事件A 发生的条件下事件B 发生的条件概率

（2） 条件概率符合概率定义中的三个条件

1。

非负性：对于某一事件B ，有0)|(≥A B P

2。规范性：对于必然事件S ，1)|(=A S P

3可列可加性：设 ,,21B B 是两两互不相容的事件，则有

∑∞

=∞==1

1

)()(i i i i A B P A B P

（3） 乘法定理 设0)(>A P ，则有)|()()(B A P B P AB P =称为乘法公式

（4） 全概率公式： ∑==

n

i i

i

B A P B P A P 1

)|()()(

贝叶斯公式： ∑==

n

i i

i

k k k B A P B P B A P B P A B P 1

)

|()()

|()()|(

§6．独立性

定义 设A ，B 是两事件，如果满足等式)()()(B P A P AB P =，则称事件A,B 相互独立 定理一 设A ，B 是两事件，且0)(>A P ，若A ，B 相互独立，则()B P A B P =)|( 定理二 若事件A 和B 相互独立，则下列各对事件也相互独立：A 与—

—

—

—

与，与，B A B A B

第二章 随机变量及其分布

§1随机变量

定义 设随机试验的样本空间为X(e)X {e}.S ==是定义在样本空间S 上的实值单值函数，称X(e)X =为随机变量

§2离散性随机变量及其分布律

1． 离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随

机变量称为离散型随机变量

k k )(p x X P ==满足如下两个条件（1）0k ≥p ，（2）∑∞

=1

k k P =1

2． 三种重要的离散型随机变量

（1） 分布

设随机变量X 只能取

0与1两个值，它的分布律是

)101,0k p -1p )k (k

-1k <<===p X P （，）（，则称X 服从以p 为参数的 分布或两

点分布。

（2）伯努利实验、二项分布

设实验E 只有两个可能结果：A 与—

A ，则称E 为伯努利实验.设1)p 0p P(A)<<=（，此时p -1)A P(=—

.将E 独立重复的进行n 次，则称这一串重复的独立实验为n 重伯努利实验。

n 2,1,0k q p k n )k X (k

-n k ，

，=???

? ??==P 满足条件（1）0k ≥p ，（2）∑∞

=1k k P =1注意

到k

-n k q p k n ???

?

??是二项式

n q p ）（+的展开式中出现k

p 的那一项，我们称随机变量X 服从参数为n ，p 的二项分布。 （3）泊松分布

设随机变量X 所有可能取的值为0,1,2…，而取各个值的概率为

,2,1,0,k!

e )k X (-k ==

=k P λ

λ其中0>λ是常数，则称X 服从参数为λ的泊松分布记为

）

（λπ~X §3随机变量的分布函数

定义 设X 是一个随机变量，x 是任意实数，函数∞<<∞≤=x -x},P{X )x (F 称为X 的分布函数

分布函数)()(x X P x F ≤=，具有以下性质(1) )(x F 是一个不减函数 （2）

1)(,0)(1)(0=∞=-∞≤≤F F x F ，且 （3）是右连续的即)(),()0(x F x F x F =+

§4连续性随机变量及其概率密度

连续随机变量：如果对于随机变量X 的分布函数F （x ），存在非负可积函数)(x f ，使对于任意函数x 有,dt t f )x (F x

-?

∞

=

）（则称x 为连续性随机变量，其中函数f(x)称为X

的概率密度函数，简称概率密度

1 概率密度)(x f 具有以下性质，满足（1）1)(

(2) ,0)(-=≥?

+∞

∞

dx x f x f ；

（3）?

=

≤≤2

1

)()(21x x dx x f x X x P ；

（4）若)(x f 在点x 处连续，则有=)(F x ，

)(x f 2,三种重要的连续型随机变量

(1)均匀分布

若连续性随机变量X 具有概率密度?????<<=，其他

，0a a -b 1)(b

x x f ，则成X 在区间(a,b)上服从

均匀分布.记为），（b a U ~X

(2)指数分布

若连续性随机变量X 的概率密度为?????>=，其他

，0

0.e

1)(x -x x f θθ

其中0>θ为常数，则称X

服从参数为θ的指数分布。

（3）正态分布

若连续型随机变量

X 的概率密度为，

，）

∞<<∞=

--

x e

x f x -21)(2

2

2(σμσ

πσμσσμ，服从参数为为常数，则称（，其中X )0>的正态分布或高斯分布，记为

）

，（2N ~X σμ 特别，当10==σμ，时称随机变量X 服从标准正态分布

§5随机变量的函数的分布

定理 设随机变量X 具有概率密度,-)(x ∞<<∞x x f ，又设函数)(x g 处处可导且恒有

0)(,>x g ，则

Y=)(X g 是连续型随机变量，其概率密度为

[]?

?

?<<=其他，0,)()()(,β

αy y h y h f y f X Y 第三章 多维随机变量

§1二维随机变量

定义 设E 是一个随机试验，它的样本空间是X(e)X {e}.S ==和Y(e)Y =是定义在S 上的随机变量，称X(e)X =为随机变量，由它们构成的一个向量（X ，Y ）叫做二维随机变量

设（X ，Y ）是二维随机变量，对于任意实数x ，y ，二元函数

y}Y x P{X y)}(Y x)P{(X y x F ≤≤≤?≤=，记成），（称为二维随机变量（X ，Y ）的

分布函数

如果二维随机变量（X ，Y ）全部可能取到的值是有限对或可列无限多对，则称（X ，Y ）是离散型的随机变量。

我们称 ，

，，，2,1j i )y Y (ij j i ====p x X P 为二维离散型随机变量（X ，Y ）的分布律。

对于二维随机变量（X ，Y ）的分布函数），（y x F ，如果存在非负可积函数f （x ，y ），

使对于任意x ，y 有，），（）

，（??

∞∞

=y

-x

-dudv v u f y x F 则称（X ，Y ）是连续性的随机变量，

函数f （x ，y ）称为随机变量（X ，Y ）的概率密度，或称为随机变量X 和Y 的联合概率密

度。

§2边缘分布

二维随机变量（X ，Y ）作为一个整体，具有分布函数），（y x F .而X 和Y 都是随机变量，各自也有分布函数，将他们分别记为）

（（y ),x F X Y F ，依次称为二维随机变量（X ，Y ）

关于X 和关于Y 的边缘分布函数。

，，2,1i }x P{X p 1

j i ij i ====∑∞

=?p

，，2,1j }y P{Y p 1

i i ij ====∑∞

=?j p

分别称?i p j p ?为（X ，Y ）关于X 和关于Y 的边缘分布律。

?∞∞

-=dy y x f x f X ）,()( ?∞

∞

-=dx y x f y f Y ）,()(分别称)(x f X ，

)(y f Y 为X ，Y 关于X 和关于Y 的边缘概率密度。

§3条件分布

定义 设（X ，Y ）是二维离散型随机变量，对于固定的j ，若,0}{>=j y Y P 则称 ,2,1,}

{}

,{}{==

====

==?i p p y Y P y Y x X P y Y x X P j

ij j j i j i 为在j y Y =条件下

随机变量X 的条件分布律，同样

,2,1,}

{},{}{==

======?

j p p x X P y Y x X P X X y Y P i ij i j i i j 为在i x X =条件下随机变量X 的条件分布律。

设二维离散型随机变量（X ，Y ）的概率密度为),(y x f ，（X ，Y ）关于Y 的边缘概率密度为)(y f Y ，若对于固定的y ，)(y f Y 〉0，则称

)

()

,(y f y x f Y 为在Y=y 的条件下X 的条件概率密度，记为)(y x f Y X =

)

()

,(y f y x f Y

§4相互独立的随机变量

定义 设），（y x F 及)(F x X ，)(F y Y 分别是二维离散型随机变量（X ，Y ）的分布函数及边缘分布函数.若对于所有x,y 有y}}P{Y {},{≤≤===x X P y Y x X P ，即

(y))F (F },{F Y X x y x =，则称随机变量X 和Y 是相互独立的。

对于二维正态随机变量（X ，Y ），X 和Y 相互独立的充要条件是参数0=ρ

§5两个随机变量的函数的分布

1，Z=X+Y 的分布

设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f .则Z=X+Y 仍为连续性随机变量，其概率密度为?

∞

∞

-+-=

dy y y z f z f Y X ）,()(或?∞

∞

-+-=dx x z x f z f Y X ）,()(

又若X 和Y 相互独立，设（X ，Y ）关于X ，Y 的边缘密度分别为)(),(y f x f Y X 则

?∞∞

-+-=dy f y z f z f Y X Y X y)()(（） 和?

∞

∞

-+-=dx x z f x f z f Y X Y X )(()(）这两个公式称为Y X f f ,的卷积公式

有限个相互独立的正态随机变量的线性组合仍然服从正态分布 2，的分布的分布、XY Z X

Y

Z ==

设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f ，则XY Z X

Y

Z ==， 仍为连续性随机变量其概率密度分别为dx

xz x f x z f X

Y

),()(?∞

∞

-=dx x

z

x f x z f XY ),(1)(?

∞

∞

-=又若X 和Y 相互独立，设（X ，Y ）关于X ，Y 的边缘密度分别为)(),(y f x f Y X 则可化为dx xz f x f z f Y X X Y

?

∞

∞

-=)()()( dx x

z f x f x z f Y XY )()(1)(X ?

∞

∞

-= 3的分布及，},m in{N Y }{X m ax Y X M ==

设X ，Y 是两个相互独立的随机变量，它们的分布函数分别为)(),(y F x F Y X 由于

Y}{X max ，=M 不大于z 等价于X 和Y 都不大于z 故有z}Y z,P{X z}P{M ≤≤=≤又

由于X 和Y 相互独立，得到Y}{X max ，=M 的分布函数为)()()(max z F z F z F Y X =

},min{N Y X =的分布函数为[][])(1)(11)(min z F z F z F Y X ---=

第四章 随机变量的数字特征

§1．数学期望

定义 设离散型随机变量X 的分布律为k k p x X P ==}{，k=1,2，…若级数

∑∞

=1

k k k

p x

绝对

收敛，则称级数

∑∞

=1

k k k

p x

的和为随机变量X 的数学期望，记为)(X E ，即∑=i

k k p x X E )(

设连续型随机变量X 的概率密度为)(x f ，若积分

?

∞

∞

-dx x xf )(绝对收敛，则称积分

?

∞

∞

-dx x xf )(的值为随机变量X 的数学期望，记为)(X E ，即?+∞

∞

-=dx x xf X E )()(

定理 设Y 是随机变量X 的函数Y=)(X g (g 是连续函数)

（i ）如果X 是离散型随机变量，它的分布律为k p X P ==}x {k ，k=1,2，…若

k

k k

p x g ∑∞

=1

(）

绝对收敛则有=)Y (E =

))((X g E k

k k

p x g ∑∞

=1

(）

（ii ）如果X 是连续型随机变量，它的分概率密度为)(x f ，若?

∞

∞

-dx x f x g )()(绝对收敛则

有=)Y (E =

))((X g E ?

∞

∞

-dx x f x g )()(

数学期望的几个重要性质 1设C 是常数，则有C C E =)(

2设X 是随机变量，C 是常数，则有)()(X CE CX E = 3设X,Y 是两个随机变量，则有)()()(Y E X E Y X E +=+； 4设X ，Y 是相互独立的随机变量，则有)()()(Y E X E XY E =

§2方差

定义 设X 是一个随机变量，若[]})({2

X E X E -存在，则称[]})({2

X E X E -为X 的方

差，记为D （x ）即D （x ）=[]})({2

X E X E -，在应用上还引入量)(x D ，记为)(x σ，

称为标准差或均方差。

222)()())(()(EX X E X E X E X D -=-=

方差的几个重要性质

1设C 是常数，则有 ,0)(=C D

2设X 是随机变量，C 是常数，则有)(C )(2

X D CX D =，D(X))(=+C X D

3设X,Y 是两个随机变量，则有E(Y))}-E(X))(Y -2E{(X D(Y)D(X))(++=+Y X D 特别，若X,Y 相互独立，则有)()()(Y D X D Y X D +=+

40)(=X D 的充要条件是X 以概率1取常数E(X)，即1)}({==X E X P

切比雪夫不等式：设随机变量X 具有数学期望2

)(σ=X E ，则对于任意正数ε，不等式

22

}-X P{εσεμ≤≥成立

§3协方差及相关系数

定义 量)]}()][({[Y E Y X E X E --称为随机变量X 与Y 的协方差为),(Y X Cov ，即

)()()())]())(([(),(Y E X E XY E Y E Y X E X E Y X Cov -=--=

而D(Y)

D(X)Y X (XY ），Cov =

ρ称为随机变量X 和Y 的相关系数

对于任意两个随机变量X 和Y ，),(2)()()_(Y X Cov Y D X D Y X D -

+

+=+

协方差具有下述性质

1),(),( ),,(),(Y X abCov bY aX Cov X Y Cov Y X Cov == 2),(),(),(2121Y X Cov Y X Cov Y X X Cov +=+ 定理 1 1≤XY ρ

2 1=XY ρ的充要条件是，存在常数a,b 使1}{=+=bx a Y P

当

=XY ρ0时，称X 和Y 不相关

附：几种常用的概率分布表

第五章 大数定律与中心极限定理

§1． 大数定律

弱大数定理（辛欣大数定理） 设X 1，X 2…是相互独立，服从统一分布的随机变量序列，并

具有数学期望),2,1()( ==k X E k μ.作前n 个变量的算术平均∑=n

k k X n 1

1，则对于任意

0>ε，有1}1{lim 1

=<-∑=∞→εμn

k k n X n P

定义 设 n Y Y Y ,,21是一个随机变量序列，a 是一个常数，若对于任意正数ε，有

1}{lim =<-∞

→εa Y P n n ，则称序列 n Y Y Y ,,21依概率收敛于a ，记为a Y p

n ?→?

伯努利大数定理 设A f 是n 次独立重复试验中事件A 发生的次数，p 是事件A 在每次试验中发生的概率，则对于任意正数ε〉0，有1}{

lim =<-∞

→εp n

f P n

n 或0}{

lim =≥-∞

→εp n

f P n

n §2中心极限定理

定理一（独立同分布的中心极限定理） 设随机变量n X X X ,,,21 相互独立，服从同一

分布，且具有数学期望和方差2

)( ,)(σμ==k i X D X E （k=1,2，…），则随机变量之和

标准化变量∑=n

i k

X

1

， σ

μ

n n X

X D X E X

Y n

i k

n

k k n

k n

k k k

n ∑∑∑∑====-=

-=

1

1

1

1 )

()

(，

定理二（李雅普诺夫定理） 设随机变量n X X X ,,,21 …相互独立，它们具有数学期望和方差 2,1,0)( ,)(2

=>==k X D X E k k k k σμ记∑==

n

k k n B 12

2

ε

定理三（棣莫弗-拉普拉斯定理）设随机变量10(,),2,1(<<=p p n n n 服从参数为 η）的二项分布，则对任意x ，有)(21})

1({

lim 2

2x dt e

x p np np

P x

t n n Φ==≤--?

∞

--∞

→π

η