概率论与数理统计知识点总结(详细)

《概率论与数理统计》

第一章概率论的基本概念 (2)

§2．样本空间、随机事件..................................... 2..

§4 等可能概型（古典概型）................................... 3..

§5．条件概率.............................................................. 4.. .

§6．独立性.............................................................. 4.. .

第二章随机变量及其分布 (5)

§1随机变量.............................................................. 5.. .

§2 离散性随机变量及其分布律................................. 5..§3 随机变量的分布函数....................................... 6..§4 连续性随机变量及其概率密度............................... 6..§5 随机变量的函数的分布..................................... 7..第三章多维随机变量. (7)

§1 二维随机变量............................................ 7...§2边缘分布................................................ 8...§3条件分布................................................ 8...§4 相互独立的随机变量....................................... 9..§5 两个随机变量的函数的分布................................. 9..第四章随机变量的数字特征.. (10)

§1．数学期望............................................................ 1..0 .

§2 方差............................................................ 1..1 .

§3协方差及相关系数 (11)

第五章大数定律与中心极限定理 (12)

§1.大数定律.............................................. 1.2§2中心极限定理 (13)

第一章概率论的基本概念

§ 2 .样本空间、随机事件

1?事件间的关系 A B 则称事件B包含事件A，指事件A发生必然导致事件B发生

A」B ={x|x E A或x € B}称为事件A与事件B的和事件，指当且仅当

A , B中至少有一个发生时，事件 A 一 B发生

Ac B ={x|x乏A且X乏B}称为事件A与事件B的积事件，指当A , B

同时发生时，事件A^B发生

A —

B ={x|x E A且x更B}称为事件A与事件B的差事件，指当且仅当

A发生、B不发生时，事件A —B发生

B =,则称事件A与B是互不相容的，或互斥的，指事件A与事件B不能同时发生，基本事件是两两互不相容的

A _?

B =S且 B =?，则称事件A与事件B互为逆事件，又称事件

A与事件B互为对立事件

2.运算规则交换律A -? B = B -? A AB = B - A

结合律(A B) C = A (B C) (A - B)C = A(B - C)

分配律A _( B - C) (A 一B) - (A 一C)

A - (

B C) =(A - B)(A - C)

徳摩根律A B = A - B A - B = A 一B

§ 3.频率与概率

定义在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数n A称为事

件A发生的频数，比值n A.. n称为事件A发生的频率

概率：设E是随机试验，S是它的样本空间，对于E的每一事件A赋予一个实数，记为P(A)，称为事件的概率

1.概率P(A)满足下列条件：

(1)非负性：对于每一个事件 A Q

(2)规范性：对于必然事件S P(S) =1

n n

(3)可列可加性：设A,A2,…，A n是两两互不相容的事件，有P( A k)=? P(A k) ( n可

k占kV

以取：：)

2.概率的一些重要性质：

(i)P( ) =0

n n

(ii)若A,A2,…，A n是两两互不相容的事件，则有

P( A k)八P(A k) ( n可以取：：)

(iii )设A, B 是两个事件若A B，贝U P(B - A)二P(B) - P( A) , P(B) _ P(A)

(iv)对于任意事件A, P(A)乞1

(v)p(A)=1-P(A) (逆事件的概率)

(vi)对于任意事件A, B 有P(A_. B)二P(A) P(B)-P(AB)

§ 4等可能概型(古典概型)

等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同

若事件 A 包含k 个基本事件，即A二6]｝｛勺｝…｛飢｝, 里

i“ i 2,…,i k 是1,2, n 中某k 个不同的数，则有 k

k A 包含的基本事件数

P(A) = 了纟卩貯卫二匚二s 中基本事件的总数

§ 5 .条件概率

(1) 定义：设A,B 是两个事件，且P(A) . 0，称P(B | A)二

P(AB)

为事件A 发生的条

P(A)

件下事件B 发生的条件概率

(2) 条件概率符合概率定义中的三个条件

1。非负性：对于某一事件 B ,有P(B | A) _ 0 2。规范性：对于必然事件 S ，P(S|A) =1 3可列可加性：设B 「B 2,…是两两互不相容的事件，则有

QO

QQ

P(U B i A )=瓦 P(B i A )

i 吕

i =1

设P(A) ■ 0,则有P(AB) =P(B)P(A| B)称为乘法公式

n

(4) 全概率公式：

P(A)=v P(B i )P(A| B i )

1

' P(B i )P(A|B i )

i A

§ 6 .独立性

定义 设A , B 是两事件，如果满足等式 P(AB)二P(A)P(B)，则称事件A,B 相互独立 定理一 设A , B 是两事件，且P(A) 0 ,若A , B 相互独立，则 P(B | A) = P B

定理二 若事件A 和B 相互独立，则下列各对事件也相互独立：

A 与

B ,A 与B ,A 与B

(3) 乘法定理

贝叶斯公式:

P(B k | A)二

P(BQP(A|B k )

n

第二章 随机变量及其分布

§ 1随机变量

定义

设随机试验的样本空间为

S ={e}. X =X(e)是定义在样本空间 S 上的实值单值函

数，称X =X(e)为随机变量

§ 2离散性随机变量及其分布律

1.离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随 机变量称为离

散型随机变量

□0

P(X =X k )二 P k 满足如下两个条件(1) P k - 0 , (2) v P k =1

k=1

2.三种重要的离散型随机变量

u

(1)

分布

P(A) -p (0 ：：： p <1)，此时P(A 1- p .将E 独立重复的进行

独立实验为n 重伯努利实验。

f

、

oO

!p

q ' , k =0,1,2,…n 满足条件(1) P k 兰0, (2)送P k =1

注意到

总丿

km

设随机变量 X

只能取 0 与

1 两个值，它的分布律是

P(X 二 k) =p k (1-p )1-k , k 分布。

(2)伯努利实验、二项分布

= 0,1 (0 2：1),

则称X 服从以 P 为参数的-分布或两点

设实验E 只有两个可能结果：A

与A ,则称

E 为伯努利实验.设 n 次，则称这一串重复的

P(X =k)=

k q n-k是二项式(p - q)n的展开式中出现p k的那一项，我们称随机变量X服从参数为

n , p 的二项分布。 (3 )泊松分布

设随机变量X 所有可能取的值为0,1,2…，而取各个值的概率为

P(X =k)

,k= 0,1,2…，其中，0是常数，则称

k!

§ 3随机变量的分布函数

定义 设X 是一个随机变量，x 是任意实数，函数 F(x) = P{X < x}, - ：： ::: x :：:::

称为X 的分布函数

分布函数F(x)二P(X 乞x),具有以下性质(1) F(x)是一个不减函数 (2 )

0< F(x)岂 1，且 F(-：：) =0,F(：：) =1 (3) F(x 0) = F(x),即F(x)是右连续的

§ 4连续性随机变量及其概率密度

连续随机变量：如果对于随机变量

X 的分布函数F (x ),存在非负可积函数

f (x)，使

x

对于任意函数 x 有F(x)二f (t ) dt,则称x 为连续性随机变量，其中函数 f(x)称为X

的概率密度函数，简称概率密度

1概率密度f (x)具有以下性质，满足(1) f(x)_0,(2)

__ f(x)dx = 1；

X 2

(3) P(x^i X < x 2^ J f (x)dx ； (4)若 f (x)在点 x 处连续，则有 F ，(x)二 f (x) x 1

2,三种重要的连续型随机变量 (1)均匀分布

均匀分布?记为X ~ U (a ， b ) (2)指数分布

I 1 -XV

若连续性随机变量 X 的概率密度为f (X )二丁:： e

i 0

X 服从参数为■的泊松分布记为

若连续性随机变量 X 具有概率密度

〔丄

f(x)二 b-a

I 0 a ￡ x ￡ b

■ ■，则成X 在区间(a,b)上服从 ，其他

，x. 0 ，其他

其中二0为常数，则称X

服从参数为V 的指数分布。 （3 ）正态分布

若 连 续 型 随 机 变 量 X 的 概 率 密 度 为

d （x-P 2

f （x ）： ----- e 匚，-:::::x ：：：:,

<'2ncr

其中」，二（二■ 0）为常数，则称X 服从参数为」，二的正态分布或 高斯分布，记 为

X ~ N （,二2）

特别，当-0, ；「=1时称随机变量X 服从标准正态分布

§ 5随机变量的函数的分布

h(y) !h '(y)^ a < y < P 0 ，其他

第三章 多维随机变量

§ 1二维随机变量

定义 设E 是一个随机试验，它的样本空间是 S 二｛e ｝. X =X （e ）和丫二丫（e ）是定义在S

上

的随机变量，称 X =X （e ）为随机变量，由它们构成的一个向量（ X ，Y ）叫做二维随机变量

设（X ， Y ）是二维随机变量，对于任意实数x ， y ，二元函数 F （x ，y ）二 P ｛（X

（Y ^y ）｝记成P ｛X 空 x ，Y < y ｝称为二维随机变量（X ，Y ）的 分布函数

如果二维随机变量（X ，Y ）全部可能取到的值是有限对或可列无限多对，则称（ X ， Y ）是离

散型的随机变量。

我们称p （x =X j ，丫 =y j ）二P j ，i ，j 二

1,2

,…为二维离散型随机变量（X ，Y ）的分 布

律。

（X ，Y ）的分布函数F （x ， y ），如果存在非负可积函数 f （x ，y ），

定理

设随机变量 X 具有概率密度

fx （ X ）, - ： ： : X ：：：,又设函数g （x ）处处可导且恒有

g (x) o

则 Y g （X ）是连续型随机变量

其概率密度为

f y (y)= “

对于二维随机变量

y x

使对于任意x, y有F (x, y) f (u, v) dudv,则称(X, Y)是连续性的随机变量，

-oO

函数f (x, y)称为随机变量(X , Y)的概率密度，或称为随机变量X和Y的联合概率密

度。

§ 2边缘分布

二维随机变量(X，Y )作为一个整体，具有分布函数F(x，y).而X和Y都是随机变量，各自也有分布函数，将他们分别记为F X(x), F Y(y)，依次称为二维随机变量(X，Y)

关于X和关于Y的边缘分布函数。

QO co

P i P ij = P{X = X i}, i = 1,2, P d = P ij = P{Y = y i}, j ~1,2, j=4 i 旦

分别称P i.P d为(X , Y)关于X和关于Y的边缘分布律。

f x(X)二匚f (x，y) dy f Y(y)二匚f(x, y) dx分别称f x(x),

f Y(y)为X, Y关于X和关于Y的边缘概率密度。

§ 3条件分布

定义设(X , Y)是二维离散型随机变量，对于固定的j，若p{Y二y j} ■ 0,

P{X = Y = vJ p i.

则称p{x =X i Y = y j}= -------- ----- =M-,i =1,2,… 为在Y = y j条件下随

P{Y = y j} p 制

P{X =x?Y = V.} Pij

机变量X的条件分布律，同样P{Y = y j X = X i}= ------------------- ------- =」，i = 1,2，… 为

P{X = X j} 叽」

在X = X i条件下随机变量X的条件分布律。

设二维离散型随机变量(X , Y )的概率密度为f (x, y), (X , Y)关于Y的边缘概

率密度为f Y(y),若对于固定的y , f Y(y) > o,则称f (x, y)为在Y=y的条件下X的条件

f y(y)

概率密度，记为f X Y (x y) = f (X, y)

f y(y)

§ 4相互独立的随机变量

定义设F (x, y)及F X(x) , F Y(y)分别是二维离散型随机变量(X , Y)的分布函

数及边缘分布函数若对于所有x,y有P{X =x,Y = y} = P{X岂X}P{Y

F{x, y} = F X (x)F Y (y)，则称随机变量X和Y是相互独立的。

对于二维正态随机变量(X，Y)，X和Y相互独立的充要条件是参数P = 0

§ 5两个随机变量的函数的分布

1，Z=X+Y的分布

设(X,Y)是二维连续型随机变量，它具有概率密度f(x, y).则Z=X+Y仍为连续性

随机变量，其概率密度为f XY(z)二._f(z-y,y) dy或f XY(z)二._f(x,z-x) dx

又若X和Y相互独立，设(X，Y )关于X，Y的边缘密度分别为f X (x), f Y(y)则

f x Y(z) = _」x(z-y) f Y(y)dy 和f x 丫⑵二._「f x(x) f Y(z-x)dx这两个公式称为f X , f Y的卷积公式

有限个相互独立的正态随机变量的线性组合仍然服从正态分布

Y

2，Z 的分布、Z = XY的分布

X

Y

设(X,Y)是二维连续型随机变量，它具有概率密度 f (x, y)，则Z ，Z二XY

X

仍为连续性随机变量其概率密度分别为

1 z

f y X (z) xf (x, xz)dx f xY(Z)=.

—f (x, )dx又若X和Y相互独立，设(X，Y)

x x

Q Q

关于X，Y的边缘密度分别为f X(x), f Y(y)则可化为f YX(z)二f X(x)f Y(xz)dx

°o 1 z

f Xv(z) = Kprf X (x)f y( )dx

-x x

3M =max{X，Y}及N 二min{X,Y}的分布

设X , Y是两个相互独立的随机变量，它们的分布函数分别为

F x(x),F y(y)由于

M =max{X，Y}不大于z等价于X和Y都不大于z故有P{M _ z}工P{X -乙丫_ z}又

由于X和Y相互独立，得到M二max{X，Y}的分布函数为F max(z) = F X (z)F Y(z)

N = min{X ,Y}的分布函数为F m m (z) =1 一H 一Fx (z)山 - F Y(Z) I

第四章随机变量的数字特征

§「数学期望

□0

定义设离散型随机变量X的分布律为PVX n x Jn p k, k=1,2，…若级数7 X k P k绝对

k 二

od

收敛，则称级数二X k P k的和为随机变量X的数学期望，记为E(X)，即E(X) =7 X k P k

k 1i

Q Q

设连续型随机变量X的概率密度为f (x)，若积分.；xf(x)dx绝对收敛，则称积分

OQ"bo

xf(x)dx的值为随机变量X的数学期望，记为E(X)，即E(X)二_xf (x)dx

_ **^0匚

定理设Y是随机变量X的函数Y= g(X ) (g是连续函数)

O0

(i)如果X是离散型随机变量，它的分布律为P{X =x k}二p k, k=1,2，…若a g(x k)p k

km

QO

绝对收敛则有E(Y)二E(g(X)) g(x k)p k

k=1

Q Q

(ii)如果X是连续型随机变量，它的分概率密度为f (x)，若.]]g(x)f(x)dx绝对收敛则

有E(YHE(g(X)H . 'g(x)f(x)dx

'J

数学期望的几个重要性质

1设C是常数，则有E(C)二C

2设X是随机变量，C是常数，则有E(CX)二CE(X)

3设X,Y是两个随机变量，则有E(X Y^ E(X) E(Y)；

4设X, Y是相互独立的随机变量，则有E(XY)二E(X)E(Y)

§ 2方差

定义设X是一个随机变量，若E{ X -E(X)12}存在，则称E{[X-E(X)f}为X的方

差，记为D(x)即D(x) =E{ X -E(X)12}，在应用上还引入量」D(x)，记为匚(x)，称为标准差或均方差。

D(X)二E(X - E(X))= E(X2) —(EX)2

方差的几个重要性质

1设C是常数，则有D(C) =0,

2设X是随机变量，C是常数，则有D(CX)=C2D(X)，D(X，C)=D(X)

3设X,Y 是两个随机变量，则有D(X ? Y)二D(X) D(Y) 2E{(X - E(X))(Y - E(Y))}特

别，若X,Y相互独立，则有D(X 百二D(X) D(Y)

4D(X) = 0的充要条件是X以概率1取常数E(X)，即P{ X = E(X )} = 1

切比雪夫不等式：设随机变量X具有数学期望E(X) = ；丁2，则对于任意正数；，不等式

_ 2

P{ X -円兰础兰笃成立

z

§ 3协方差及相关系数

定义量E{[ X -E(X)][Y-E(Y)]}称为随机变量X与Y的协方差为Cov(X,Y)，即

Cov(X,Y) =E[(X _E(X))(Y_E(Y))] =E(XY)_E(X)E(Y)

工& Cov(X，Y)

而:XY称为随机变量X和Y的相关系数

pb(x)J D(Y)

+ +

对于任意两个随机变量X和Y, D(X YH D(X) D(Y) 2Cov(X,Y)

协方差具有下述性质

1C OV(X,Y)二Cov(Y,X), Cov(aX,bY)二abCov(X,Y)

2C OV(X1X2,Y^C OV(X1,Y)C OV(X2,Y)

定理 1 ；\Y< 1

2 |,;'X Y =1的充要条件是，存在常数a,b使P{Y = a bx} = 1

当「XY =0时，称X和Y不相关

第五章大数定律与中心极限定理

§ 1 .大数定律

设X1>X2…是相互独立，服从统一分布的随机变量序列，并弱大数定理（辛欣大数定理）

具有数学期望 E(X k )工亠(k =1,2,…).作前n 个变量的算术平均 --X k ，则对于任意 n y

z>0，有 lim P{ —瓦 X

y n 7

定义

设丫

1

，丫2,…Y n … 是一个随机变量序列，

a 是一个常数，若对于任意正数 ■:，有

lim P{ Y n - a /} =1，则称序列￥,丫2,…Y n … 依概率收敛于a ,记为Y n —P

T a

n

§ 2中心极限定理

' X k - E(7 X k )

X k -n J

k

二

n

DC X k )

k 生

2 2 2

二;：k 0, k = 1,2 记 B n = k

kT

二项分布，则对任意 x ，有lim P{「-n “ _x}二 n Y &p(1 - p) '

定理一(独立同分布的中心极限定理 )

设随机变量 X , ,X 2/ ,X n 相互独立，服从同一

分布，且具有数学期望和方差

E(X i )二 < D(X k )

2

(k=1,2，…)，则随机变量之和

定理三 (棣莫弗-拉普拉斯定理 )设随机变量n (n =1,2,

)服从参数为n, p(0 ：： p ：

1)的 伯努利大数定理

设f A 是n 次独立重复试验中事件

A 发生的次数，p 是事件A 在每次试

验中发生的概率，则对于任意正数；〉

有 lim P{ n

n _)::

lim P{

n _,、

7 X k 标准化变量，Y n

kd 定理二 (李雅普诺夫定理)

设随机变量X 1 ,X 2/ ,X n …相互独立，它们具有数学期望

和方差 E(XQ 二 ％，D(Xk ) n —np

1

e° 2

dt 母(x)