《概率论》第4章矩、协方差矩阵

合集下载

概率论-4.4 矩和协方差矩阵

3
目录
上页
下页
返回
对n维随机变量来说，可作类似推广：
其中
c11 c12 L c1n
C
c21
c22
L
c2n
M M
M
Байду номын сангаас
cn1 cn2 L cnn
cij Cov(Xi , X j ) E Xi E(Xi ) X j E(X j ) ,i, j 1, 2,L , n
称C为n维随机变量 (X1, X 2,L , X n ) 的协方差矩阵。
2020年4月26日星期日
2
目录
上页
下页
返回
令
X1 X2
它的转置为
E( )
X1, X2 这时ξ的数学期望为
E(X1)
E
(
X
2
)
类似于一维随机变量，可以对ξ定义二阶中心矩：
E[
E(
)][
E(
)]
E
X1 X2
E(X1) E(X2)
(
X1
E(
X1),
X
2
E(
X
2
))
E
X
2020年4月26日星期日
1
目录
上页
下页
返回
注意到
D(X ) E X E(X )2
自然地推广到
E X E(X )k
称上式为X的k阶中心矩。
E(X kY l ), E X E(X )k Y E(Y )l
分别称为X的k+l阶混合矩和k+l阶混合中心矩。特别地，当k=1，l=1时，二阶混合中心矩就是协方差。
第四节矩和协方差矩阵
由于

协方差矩阵和概率分布

协方差矩阵和概率分布（实用版）目录1.协方差矩阵的定义与性质2.概率分布的定义与性质3.协方差矩阵与概率分布的关系4.协方差矩阵在实际应用中的例子正文1.协方差矩阵的定义与性质协方差矩阵是一个数学概念，它用于描述多个随机变量之间的关系。

协方差矩阵是由随机变量的方差和协方差构成的一个矩阵。

具体来说，如果 X 是一个 n 维随机向量，其协方差矩阵是一个 n×n 的矩阵，记作Σ，其中Σ[i,j] 表示随机向量 X 的第 i 个分量和第 j 个分量的协方差。

协方差矩阵具有以下性质：（1）协方差矩阵是对称矩阵，即Σ[i,j]=Σ[j,i]；（2）协方差矩阵的元素代表各个随机变量之间的相关程度，其中正值表示正相关，负值表示负相关，零表示无关。

2.概率分布的定义与性质概率分布是用来描述随机变量取值的概率分布情况。

概率分布可以分为离散型概率分布和连续型概率分布。

离散型概率分布可以用概率质量函数（PMF）表示，连续型概率分布可以用概率密度函数（PDF）表示。

概率分布具有以下性质：（1）概率分布的 PMF 或 PDF 必须满足归一性，即所有可能取值的概率之和为 1；（2）概率分布的 PMF 或 PDF 必须是非负的；（3）离散型概率分布的 PMF 只取有限个非负值，连续型概率分布的PDF 在定义域内处处非负。

3.协方差矩阵与概率分布的关系协方差矩阵与概率分布密切相关。

协方差矩阵可以用来描述多个随机变量的相关程度，而概率分布可以用来描述单个随机变量的取值情况。

在多元统计分析中，协方差矩阵和概率分布一起，可以为我们提供有关随机变量之间的相关性和分布特征的重要信息。

4.协方差矩阵在实际应用中的例子协方差矩阵在实际应用中有广泛的应用，例如在金融、保险、生物统计等领域。

以下是一个简单的例子：假设一个投资者持有三种投资产品 A、B、C，分别在第一天、第二天和第三天进行投资。

我们可以用协方差矩阵来描述这三种投资产品的收益情况。

4.3 协方差与相关系数及矩与协方差矩阵

2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )

概率论与数理统计第四章

上述定理还可以推广到两个或两个以上随机变量的函数的情况。
02
该公式的重要性在于: 当我们求E[g(X)]时, 不必知道g(X)的分布，而只需知道X的分布就可以了. 这给求随机变量函数的期望带来很大方便.
01
例6
例 7
解：
设(X,Y)在区域A上服从均匀分布，其中A为x轴，y轴和直线x+y+1=0所围成的区域。求EX，E(-3X+2Y)，EXY。
例5
若将这两个电子装置串联连接组成整机,求整机
寿命(以小时计) N 的数学期望.
的分布函数为
三、随机变量函数的数学期望
1. 问题的提出：
设已知随机变量X的分布，我们需要计算的不是X的期望，而是X的某个函数的期望，比如说g(X)的期望. 那么应该如何计算呢？
一种方法是，因为g(X)也是随机变量，故应有概率分布，它的分布可以由已知的X的分布求出来. 一旦我们知道了g(X)的分布，就可以按照期望的定义把E[g(X)]计算出来.
若设
i=1,2，…，n
则是n次试验中“成功” 的次数
解
X~B(n,p),
“成功” 次数 .
则X表示n重努里试验中的
于是
i=1,2，…，n
由于X1,X2,…, Xn 相互独立
= np(1- p)
E(Xi)= p,
D(Xi)=
p(1- p) ,
例7
解
1
展开
2
证：D(X)=E[X-E(X)]2
3
=E{X2-2XE(X)+[E(X)]2}
4
=E(X2)-2[E(X)]2+[E(X)]2
5
=E(X2)-[E(X)]2

概率论课件矩、协方差矩阵

中心矩
中心矩是相对于均值（期望值）的矩，用于描述随机变量分布的形状和离散程度。
标准化矩
标准化矩是对中心矩进行标准化处理后的矩，用于比较不同随机变量的分布特性。
样本矩与总体矩
பைடு நூலகம்样本矩
样本矩是从总体中抽取样本后计算得到的矩，用于估计总体矩。
总体矩
总体矩是描述总体分布特性的矩，是样本矩的极限值。
03 协方差矩阵
详细描述
分析矩和协方差矩阵需要使用相关的统计方法和技巧，如主成分分析、因子分析、聚类分析等。通过对矩和协方差矩阵的分析，可以提取数据集中的主要特征、发现变量之间的潜在关系、对数据进行分类或聚类等。
实例三：数据集的矩和协方差矩阵应用
总结词
数据集的矩和协方差矩阵在概率论中有着广泛的应用，如统计推断、假设检验、回归分析等。
THANKS FOR WATCHING
感谢您的观看
VS
第二阶原点矩（即方差）
协方差矩阵的对角线元素是各个随机变量的方差，非对角线元素是各个随机变量的协方差。
协方差矩阵与方差-协方差矩阵的关系
方差-协方差矩阵是一个包含各个随机变量的方差和协方差信息的矩阵，而协方差矩阵只包含各个随机变量的协方差信息。
方差-协方差矩阵是协方差矩阵的一个扩展，它同时包含了随机变量的方差信息，而协方差矩阵只包含随机变量的协方差信息。
详细描述
在统计推断中，矩和协方差矩阵可用于估计总体参数和进行假设检验。例如，利用样本矩估计总体矩，然后使用这些估计值进行假设检验或置信区间的计算。在回归分析中，矩和协方差矩阵可用于估计回归系数和进行模型诊断。通过分析回归模型的矩和协方差矩阵，可以检验模型的假设是否成立、诊断模型的问题等。此外，在时间序列分析和金融数据分析等领域，矩和协方差矩阵也具有重要的应用价值。

《概率论》第4章_矩、协方差矩阵

∆1 = c11 = D( X1) ≥ 0 ∆2 = | C | = c11c22 − c21c12 一阶顺序二阶顺序 = D( X1)D( X2 ) −[Cov( X1, X2 )]2 主子式 2 主子式 = D( X1)D( X2 )( − ρX X ) ≥ 0 1
c11 = E[( X1 − E( X1 ))2 ] = D( X1) c12 = E[( X1 − E( X1))( X2 − E( X2 ))] = Cov( X1, X2 ) c21 = E[( X2 − E( X2 ))( X1 − E( X1))] = Cov( X2 , X1) c22 = E[( X2 − E( X2 ))2 ] = D( X2 )
第四章随机变量的数字特征
§4 矩、协方差矩阵
6/8
设 ( X1, X2 ,⋅⋅⋅, Xn ) ~ N(µ, C), 则 µ1 E( X1) µ = µ2 = E( X2 ) ,称为 ( X1, X2 ,⋅⋅⋅, Xn )的均值向量 ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ E( X ) µn n
第四章随机变量的数字特征
§4 矩、协方差矩阵
7/8
( X1, X2 ,⋯, Xn ) ~ N(µ, C) X1, X2 ,⋅⋅⋅, Xn 的任一线性组合 l1X1 + l2 X2 +⋅⋅⋅+ln Xn 服从一维正态分布
正态r.v的线性变换不变性：正态r.v的线性变换不变性：设 r.v的线性变换不变性 ( X1, X2 ,⋅⋅⋅, Xn ) ~ N(µ, C) 令
§4 矩、协方差矩阵对于 r.v X ,Y, 称
E( X k ) ( k = 1 ⋅⋅⋅) ,2,
1/8
为 k阶原点矩，简称 k阶矩 .称为 k阶中心矩 .称

4-4协方差矩阵

矩与协方差矩阵
二、协方差矩阵
为二元随机变量，其有四个二阶中心矩设(X,Y)为二元随机变量，其有四个二阶中心矩. 为二元随机变量主要针对多维随机变量的中心矩与混合中心矩来以二元随机变量为例. 谈，以二元随机变量为例 ∆
E ( X − EX ) 2 = c11 = COV ( X , X )
2 ∆
E (Y − EY ) = c 22 = COV (Y ,Y ) E ( X − EX )(Y − EY ) = c12 = COV ( X ,Y )
∆
E (Y − EY )( X − EX ) = c 21 = COV (Y , X )
∆
c11 由c11,c12,c21,c22,有有 c 21 协方差矩阵
n 2
2 σ n n−1 n− 3 n− 3 = ⋅ ⋅ Γ 2 2 π 2 n 22σ n n−1 n− 3 1 1 = ⋅ ⋅ ⋅ ⋯ ⋅ Γ 2 2 2 2 π
= 2 σn
n 2
π
(n − 1)!! ⋅
因而，因而， E X n
( )
2
n 2
π
=σ
n
(n − 1)!!
σ n (n − 1)!! n为偶数, = n为奇数. 0
1 Γ = π 2
矩与协方差矩阵
E Xn 特别是,当X~N(0, 1),则有特别是, 则有
( )
σ n (n − 1)!! n为偶数, = 0 n为奇数.
EX
( )
n
(n − 1)!! n为偶数 = , n为奇数 0
c12 称此矩阵为(X,Y)的的称此矩阵为 c 22
矩与协方差矩阵

协方差和相关系数矩和协方差矩阵

-0.6630 (0.7850)2 -0.046
首页
上页
返回
下页
结束
4. 协方差的性质
（1） Cov(X,Y) = Cov(Y,X) （2） Cov(aX,bY) = ab Cov(X,Y), a,b 为常数（3） Cov(X1+X2，Y) = Cov(X1,Y) + Cov(X2,Y) （4）当X与Y相互独立时，有 Cov(X,Y) = 0
12 0 1/6
1/6 1/6 1/12 1/6
¼½
3 1/12 1/4 1/6 1/2
0 1/4
¼
求ρXY
解： E(X) = 2 , E(Y) = 2；
E(XY) =
i
j
xi y j
pij
23 6
Cov(X,Y) = 23/6 – 4 = - 1/6 ;
E(X2) = 9/2 , E(Y2) = 9/2； D(X) =1/2 D(Y) = 1/2 。
3.设Ｘ是随机变量，Ｙ=aX+b(a≠０),
证明
： XY
1 -1
a0 a0
４.设随机变量Ｘ的概率密度为 f (x) 1 e- x (- x ) 2
求Ｘ与|X|的协方差，问Ｘ和|X|是否不相关，是否相互独立．
首页
上页
返回
下页
结束
§4.4 矩和协方差矩阵
1．矩的概念设X、Y为随机变量，k,l为自然数，即(k,l=1，2，…) 若 E（Xk）存在，则称它为X的k 阶原点矩。
1
xf (x, y)dxdy xdx
1 1- x2 dy
- -
-1
- 1-x2
同样 E（Y）=0
2

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

为 k l 阶混合中心矩
E假(定X )其中各数学1 阶期原望点都矩存在
D“矩(X”) 是来自于2物阶理中学心中矩力矩的概念
Cov(X y,Y )
2 阶混合中心矩
y f (x)
O
x d第x 四章随机x变量的数字特征
§4 矩、协方差矩阵
2/8
对于二维r.v ( X1,，X记2 )
c11 E[( X1 E( X1))2 ] D( X1) c12 E[(X1 E(X1))(X2 E(X2 ))] Cov(X1, X 2 )
7/8
(X1, X2 ,L , Xn ) ~ N(,C) X1, X2,, Xn 的任一线性
组合 l1X1 l2 X2 ln Xn 服从一维正态分布正态r.v的线性变换不变性：设
(X1, X2 ,, Xn ) ~ N(,C) 令
Y1 a11 X1 a12 X2 a1n Xn
Y2
§4 矩、协方差矩阵
1/8
对于 r.v X ,Y , 称
E( X k ) ( k 1, 2,)
为 k阶原点矩，简称 k阶矩 .称
E[( X E( X ))k ] ( k 2,3,)
为 k阶中心矩 .称
E( X kY l ) (k,l 1, 2,)
为 k l 阶混合矩 .称
E[( X E(X ))k (Y E(Y ))l ] (k,l 1, 2,)
)e2 xp2{
12(x(X1)1( y)2TC21)(X
(y
)}2
2 2
)2
]}
与一维记再正记C态Xr.vcc12密11xyf度c(c,1x222)函数比11211较2, e2则xp{122(x2
)
2
}
|
C
|
12
2 2
(1
2
2)
2 2
此时
C
C
21怎|样2C1|1C定| |C[C义x1211nCC维11222y正态2 ]伴r.v随密矩221度阵2函数121
c21 E[(X2 E(X2 ))(X1 E(X1))] Cov(X 2 , X1)
c22 E[(X2 E(X2 ))2 ] D( X 2 )
写成矩阵的形式
C
Cov(
X
,
X
)
c11 c21
c12 c22
称矩阵 Cov(X , X ) 为 X (X1, X2 ) 的协方差矩阵.
CT C, 即 C为对称阵
§4 矩、协方差矩阵
8/8
26、27、29、30 END
第四章随机变量的数字特征
协方差矩阵 C为正定(非负定)对称阵,即
CT C
C0
第四章随机变量的数字特征
§4 矩、协方差矩阵
4/8
设
( X1,
X2
)
~
N (1 ,
2
,
12
,
2 2
,
),
其密度函数为指数部分
f (x, y)
1
exp{ 1
21 2 1 2
2(1 2 )
表达式
|
C|1(/ 22
)
[1(
2/2
1212(X22
1 (1
)T2C)
1(
2 2
X12)
1 2
2 1
第四章随机变量的数字特征
§4 矩、协方差矩阵
5/8
令
x1
1
c11 c12 c1n
X
x2
xn
,
2 n
,
C c21
cn1
c22
cn2
c2n
cnn
其中 C为 n阶正定矩阵
C 0, 即 C为正定(非负定)阵
1 c11 D( X1) 0
一阶顺序2 | C | c11c22 c21c12
二主阶子顺式序 D(X1)D(X 2 ) [Cov(X1, X 2 )]2
主子式
D( X1)D( X 2 )(1第四章X21X随2 机) 变0量的数字特征
§4 矩、协方差矩阵
a21 X1
a22 X2
a2n Xn
Ym am1 X1 am2 X2 amn Xn
则 (Y1,Y2,,Ym ) 仍服从多维正态分布设 (X1, X2,, Xn ) ~ N(,C), 则
X1, X2,, Xn 相互独立 X1, X2,, Xn 两两不相关第C四为章对随机角变阵量的数字特征
Xi ~ N(i,cii ),(i 1, 2,, n),反之,若 X1, X2,, Xn相互独立,
且
Xi
~
N
(i
,
2 i
),
(i
1,
2,
,
n),
则
(X1, X2 ,, Xn ) ~ N(,C)
其中 C为对角阵,且 [1 2 n ]T
C diag{12
2 2
n2}
第四章随机变量的数字特征
§4 矩、协方差矩阵
若 n维 r.v (X1, X2,, Xn ) 的密度函数为
f
(x1,
x2
, ,
xn
)
(2
1 )n / 2|C|1/2
exp{
1 2
(X
)T
C1( X
)}
则称 (X1, X2,, Xn )服从参数为 (,C)的 n维正态分布,记为
(X1, X2 ,, Xn ) ~ N(,C)
第四章随机变量的数字特征
§4 矩、协方差矩阵
6/8
设 (X1, X2 ,, Xn ) ~ N(,C), 则
1 E( X1)
n2
E
(
X
2
)
E( X n )
,称为
( X1 ,
X2 ,,
Xn )的均值向量
C [cij ]nn 是 (X1, X2,, Xn ) 的协方差阵,且
cii D(Xi ) , i 1, 2,, n
3/8
对于 n维 r.v ( X1, X2 ,, Xn ), 记
cij Cov( Xi , X j ) E[(Xi E(Xi ))(X j E(X j ))]
写成矩阵的形式
(i, j 1, 2,, n)
c11 c12 c1n
C
c21
c22
c2
n
cn1 cn2 cnn
称矩阵 C为 (X1 , X2 ,, Xn ) 的协方差矩阵