《概率论》第4章3-4协方差相关性协方差矩阵

合集下载

概率论课程第四章

第四章数字特征前面我们介绍了随机变量及其分布，对于一个随机变量，只要知道了它的分布（分布函数或分布律、分布密度），它取值的概率规律就全部掌握了。

但在实际问题中，一个随机变量的分布往往不易得到，且常常只需知道随机变量的某几个特征就够了。

例如检查棉花的质量时，我们关心的是棉花纤维的平均长度和纤维长度与平均长度的偏差大小，这些数字反映了随机变量的一些特性，我们称能够反映随机变量特征的数字为随机变量的数字特征。

本章将介绍几个最常用的数字特征：数学期望、方差、协方差和相关系数。

第一节数学期望一、离散型随机变量的数学期望数学期望反映的是随机变量取值的集中位置的特征，能够满足这一要求的自然是随机变量的平均取值，那么这个平均取值如何得到呢？怎样定义，我们先看一个例题例1：全班40名同学，其年龄与人数统计如下：该班同学的平均年龄为：4092115201519118⨯+⨯+⨯+⨯=a8.194092140152040151940118=⨯+⨯+⨯+⨯=若令X 表示从该班同学中任选一同学的年龄，则X 的分布律为于是，X 取值的平均值，即该班同学年龄的平均值为4092140152040151940118)(⨯+⨯+⨯+⨯==a X E8.19==∑ii i p x定义1：设X 为离散型随机变量，其分布律为i i p x X P ==}{， ,2,1=i如果级数绝对收敛，则此级数为X 的数学期望（或均值），记为 E(X)，即 ∑=ii i p x X E )(意义：E(X)表示X 取值的（加权）平均值。

如果级数不绝对收敛，则称数学期望不存在。

例2：甲、乙射手进行射击比赛，设甲中的环数为X1，乙中的环数为X2，已知 X1和X2的分布律分别为：问谁的平均击中环数高？解：甲的平均击中环数为 E(X1)=8 0.3+9 0.1+10 0.6=9.3 乙的平均击中环数为 E(X2)=8 0.2+9 0.5+10 0.3=9.1 可见E(X1)> E(X2)，即甲的平均击中环数高于乙的平均击中环数。

4.3 协方差与相关系数及矩与协方差矩阵

2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )

《概率论》第4章矩、协方差矩阵

为 k l 阶混合中心矩
E假(定X )其中各数学1 阶期原望点都矩存在
D“矩(X”) 是来自于2物阶理中学心中矩力矩的概念
Cov(X y,Y )
2 阶混合中心矩
y f (x)
O
x d第x 四章随机x变量的数字特征
§4 矩、协方差矩阵
2/8
对于二维r.v ( X1,，X记2 )
c11 E[( X1 E( X1))2 ] D( X1) c12 E[(X1 E(X1))(X2 E(X2 ))] Cov(X1, X 2 )
7/8
(X1, X2 ,L , Xn ) ~ N(,C) X1, X2,, Xn 的任一线性
组合 l1X1 l2 X2 ln Xn 服从一维正态分布正态r.v的线性变换不变性：设
(X1, X2 ,, Xn ) ~ N(,C) 令
Y1 a11 X1 a12 X2 a1n Xn
Y2
§4 矩、协方差矩阵
1/8
对于 r.v X ,Y , 称
E( X k ) ( k 1, 2,)
为 k阶原点矩，简称 k阶矩 .称
E[( X E( X ))k ] ( k 2,3,)
为 k阶中心矩 .称
E( X kY l ) (k,l 1, 2,)
为 k l 阶混合矩 .称
E[( X E(X ))k (Y E(Y ))l ] (k,l 1, 2,)
)e2 xp2{
12(x(X1)1( y)2TC21)(X
(y
)}2
2 2
)2
]}
与一维记再正记C态Xr.vcc12密11xyf度c(c,1x222)函数比11211较2, e2则xp{122(x2
)
2
}

第四章第三节协方差与相关系数

§4.3 协方差与相关系数还需要讨论X 与Y 之间相互关系的数字特征.本节我们讨论关于这方面的问题.1. 协方差及其性质定义4.3.1 对于二维随机变量(,)X Y ，称()()EX E X Y E Y --为,X Y 的协方差.记作cov (,)X Y 。

即cov (,)()()X Y E X EX Y EY =--.cov 2(,)()()()X X E X EX X EX E X EX DX =--=-=.当(,)X Y 为离散型时，有cov 11(,)()()ij ij i j X Y xEX y EY p ∞∞===--∑∑.当(,)X Y 为连续型时，有cov (,)()()(,)X Y x EX y EY p x y dxdy ∞∞-∞∞=--⎰⎰.计算协方差时，还常用公式cov (,)()()X Y EXY EX EY =-协方差等于乘积的期望减去期望的乘积例4. 3.1 已知二维随机变量(,)X Y 的联合分布如表 4.3.1所示.试求cov (,).X Y .表4.3.1解先求边缘分布，并记入表4.3.1中，.然后求数学期望与协方差.11523,222EX =⨯+⨯= 1111(4)(1)140,4444EY =-⨯+-⨯+⨯+⨯= 又 []12(4)243(1)310,4EXY =⨯-+⨯+⨯-+⨯=故 cov (,)()()0.X Y EXY EX EY =-=例4．3.2 已知二维随机变量(,)X Y 服从二维正态分布N （ρσσμμ,,,,222121）. 求cov (,).X Y解由例3.2.3知，221122(,),(,),XN Y N μσμσ故1,EX μ= 2.EY μ=于是，协方差为cov (,)X Y 12()()()()E X EX Y EY E X Y μμ=--=--=()()()()dxdyey x y y x x ⎰⎰∞∞-∞∞-⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫⎝⎛-+---⎪⎪⎭⎫ ⎝⎛------22221212112)1(2121221121σμσσμμρσμρμμρσπσ.引入变换u x =-11σμ，v y =-22σμ.于是 cov (,)X Y2222222122(1)u uv v v v uvedudv ρρρρ⎡⎤--++-∞∞⎣⎦--∞-∞⎰⎰=()()[]dudv uvev v u ⎰⎰∞∞-∞∞--+----2221)1(2122112ρρρρπσσ()2222(1)2u v v vedv uedu ρρ--∞∞---∞-∞⎧⎫⎪⎬⎪⎭，()222(1)2u v v vedv du ρρ--∞∞---∞-∞⎧⎫⎪⎪=⎨⎬⎪⎪⎩⎭⎰⎰上式大括号中的积分恰好是服从正态分布2(,1)N v ρρ-的随机变量的数学期望，cov (,)X Y =dv ev v ⎰∞∞--222122πσρσ =12ρσσ. ,X Y ρρ=协方差的性质（1）cov(,)cov(,),X Y Y X =（2） cov 1122((),())a X b a Y b ++=12a a cov (,)X Y ，（3）cov 12(,)X X Y +=cov 1(,)X Y +cov 2(,)X Y . （4） ()2cov(,),D X Y DX DY X Y ±=+±并且当X 与Y 相互独立时，cov (,)0.X Y = 2．相关系数及其性质定义4.3.2 对于二维随机变量(,)X Y ，如果0,0,DX DY ≠≠.则称,X Y ρ=为随机变量X 与Y 的相关系数.相关系数的性质（1）1.XY ρ≤（2）1XY ρ=的充要条件是{} 1.P Y aX b =+=其中,a b 为常数，且0.a ≠一般地，当|XY ρ|的值越来越大而接近于1时,表明X 与Y 的线性关系程度越密切. 反之，当|XY ρ|的值越来越小而接近于0时,表明X 与Y 的线性关系程度很微弱.特别地当XY ρ=0时, 称X 与Y 不相关.若X 与Y 相互独立，则cov(,)0,X Y =于是0,XY ρ=即X 与Y 不相关。

概率论第章协方差相关性协方差矩阵

D(Y b0 X ) D(Y ) b02D( X ) 2b0Cov( X ,Y )

D(Y
)

[Cov( X ,Y D(X )
)]2

(1

2 XY
)
D(Y
)
1.
由e(a0 , b0 ) 0

1

2 XY
0

XY
1
2. XY 1 E Y (a0 b0 X )2 0
1
协方差的性质：
1. Cov( X ,Y ) Cov(Y , X )，Cov(X , X ) D( X ) 2. Cov( X ,Y ) E( XY ) E( X )E(Y ) 3. Cov(aX ,bY ) abCov( X ,Y ) a,b是常数 4. Cov( X1 X 2 ,Y ) Cov( X1,Y ) Cov( X 2 ,Y )
特别的，XY 1时，b 0；XY 1时，b 0
证明：以X的线性函数a bX 来近似表示Y ,以均方误差e(a,b) E [Y (a bX )]2
来衡量以a bX 近似表达Y的好坏程度,e(a,b)越小，a bX 与Y的近似程度越好。
注：工程中常用均方误差(Mean-Square-Error, MSE) 来计算两个物理量（测量量）的相似性程度
若E [ X E( X )]k[Y E(Y )]l k,l 1, 2,存在，
则称它为X ,Y的k l 阶混合中心矩；
显然，最常用到的是一、二阶矩
E( X ), D( X ),Cov( X ,Y )分别对应于上述哪些原点矩？中心矩？混合矩？
9
定义：协方差矩阵

《概率论》第4章§3协方差及相关系数

2
0 0
第四章随机变量的数字特征
§3 协方差及相关系数
7/14
Cov( X ,Y) D(X ) 其中 a0 = E(Y) − b0E( X ) = E(Y) − E( X ) Cov( X ,Y) D(X )
b0 =
min E[(Y − (a + bX ))2 ] = E[(Y − (a0 + b0 X ))2 ] a,b 2 = D(Y)(1− ρXY )
E( X ) = ∫−∞ xfX (x)dx = 0 ∞ E(Y) = ∫−∞ yfY ( y)dy = 0
∞
又因为
1 E( XY) = ∫−∞ ∫−∞ xyf (x, y)dxdy= π ∫∫ xydxdy = 0
∞ ∞
∴ E[( X − E( X ))(Y − E(Y))] = E( XY) − E( X )E(Y) = 0 故 X ,Y 不相关第四章随机变量的数字特征
x2+ y2≤ 1
§3 协方差及相关系数
11/14 11/14
2 的相关系数. 设 ( X ,Y) ~ N(µ1, µ2,σ12 ,σ2 , ρ), 求 X ,Y 的相关系数. C ( X ,Y) = E[( X − µ1)(Y − µ2 )] ov
f (x, y) =
1 2(1− ρ2 ) 2πσ1σ2 1− ρ2 (x − µ1)2 (x − µ1)( y − µ2 ) ( y − µ2 )2 × [ − 2ρ + ]} 2 2 exp{−
1
2
2
1 ∞ ∞ (σ σ 1− ρ2tu + ρσ σ u2 )e−(t2 +u2 )/ 2dtdu = ∫−∞ ∫−∞ 1 2 1 2 2π

概率论--方差、协方差和相关系数

称为与的相关系数。
2021/5/23
26
一般地， ||1
若 | | 1 ,称与完全线性相关。若 0 ,称与不相关。若 0 | | 1 ,表明与近似有线性关系。 0 时 ,称与正相关， 0 时 ,称与负相关。当与独立时，由于 - E 与 - E 独立。
平均抗拉强度都是126
若最低抗拉强度要求为110，
第二批质量较差。
在平均值或期望值相同的情况下，
随机变量的离散程度也是分布的一个特征。
一般考虑随机变量对 E 的偏离程度。
2021/5/23
4
由此可见,研究随机变量与其均值的偏离程度是十分必要的.那么,用怎样的量去度量这个偏离程度呢?
求D() 解法一： 1 0 1
P 0.180.540.28
E ( ) ( 1 ) 0 . 1 8 0 0 . 5 4 1 0 . 2 8 0 . 1 E ( ) 2 ( 1 ) 2 0 . 1 8 0 2 0 . 5 4 1 2 0 . 2 8 0 . 4 6
2021/5/23
28
部分资料从网络收集整理而来，供大家参考，
感谢您的关注！
2 8.5 8.8 9 9.2 9.5 P 0.2 0.2 0.2 0.2 0.2 两者的平均长度是相同的，均为9 第二批零件更好。因为它的误差相对较小。
2021/5/23
2
例2，某零件的真实长度为a，现用甲、
乙两台仪器各测量10次，将测量结果X用坐
标上的点表示如图：
• • • •• a•• • • •
协方差和相关系数
2021/5/23

概率论与数理统计课件：4-3 协方差20121026

例4.3.3 设(X,Y)在圆域
{ D = (x, y); x2 + y2 ≤ r 2} (r > 0)
上服从均匀分布，判断X,Y是否不相关。
解：由例2知Cov(X,Y)=0
故 ρ XY = 0
即：X和Y不相关
例4.3.4 设(X, Y)服从二维正态分布
N
(µ1,σ
2 1
;
µ2,
,
σ
2 2
,
ρ
)
+2abE(X)-2aE(Y)
求a，b使e最小
令解得
∂e ∂a
=
2a
+
2bE( X ) −
2E(Y )
=
0
∂e
∂b
=
2bE( X
2
)
−
2E( XY
)
+
2aE( X
)
=
0
Cov( X ,Y ) b0 = D( X )
a0 = E(Y ) − b0 E( X )
将a0，b0代入e，用a0+b 0X来近似Y，则最小误
cov( X ,Y ) = E( XY ) − E( X ) ⋅ E(Y )
= p(λ2 + λ ) − λ ⋅ pλ = pλ
ρ XY
=
cov( X ,Y ) DX DY
=
pλ = λ pλ
p
3. 随机变量X, Y 独立与X, Y 相关的关系
(1) 假设ρXY 存在，若X, Y相互独立, 则 ρXY=0，即X, Y不相关。反之，若X, Y不
0
−r≤ x≤r 其他
所以
+∞
∫ EX = −∞ xfX (x)dx

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

已得：a0 E (Y ) b0 E ( X ), b0
Cov( X , Y ) D( X )
2
此时e(a0 , b0 ) E [Y (a0 b0 X )] D[Y (a0 b0 X )] E Y (a0 b0 X )
2 D(Y b0 X ) D(Y ) b0 D( X ) 2b0Cov( X , Y )
P Y (a0 b0 X ) 0 1
4
相关系数 XY 是一个用来表征X , Y 之间线性关系紧密程度的量
当 XY 较大时，e(a0 , b0 )较小，表明X , Y 线性关系的程度较好；当 XY 1 时， e(a0 , b0 ) 0，表明X , Y 之间以概率1存在线性关系；
9
定义：协方差矩阵设二维随即变量( X 1 , X 2 )的四个二阶中心矩存在，将它们 Cov( X 1 , X 2 ) D( X 1 ) 排成矩阵：，称为( X 1 , X 2 )的协方差矩阵。 D( X 2 ) Cov( X 2 , X 1 )
设 n 维随机变量( X 1 , X 2 , X n )，Cov( X i , X j ) 都存在，i, j 1, 2, n Cov( X 1 , X 2 ) D( X 1 ) Cov( X 2 , X 1 ) D( X 2 ) 称矩阵 Cov( X n , X 1 ) Cov( X n , X 2 ) Cov( X 1 , X n ) Cov( X 2 , X n ) D( X n )
则称它为X 和Y的k l阶混合矩；若E [ X E ( X )]k [Y E (Y )]l k , l 1, 2, 存在，则称它为X , Y的k l 阶混合中心矩；
显然，最常用到的是一、二阶矩
E ( X ), D( X ), Cov( X ,Y )分别对应于上述哪些原点矩？中心矩？混合矩？
T 1
于是( X 1 , X 2 )的概率密度可写成：f ( x1 , x2 )
1 2 (2 ) 2 C
1 2
exp 1 ( X )T C 1 ( X ) 2
11

上式容易推广到 n维正态变量 ( X 1 , X 2 , X n )的情况 X1 1 E ( X 1 ) X E ( X ) 2 , 引入列向量： X 2 = 2 Xn n E ( X n ) C是 ( X 1 , X 2 , X n )的协方差矩阵, ( X 1 , X 2 , X n )的概率密度定义为： 1 1 ( X )T C 1 ( X ) f ( x1 , x2 , xn ) ex p 1 n 2 2 ( 2 ) C 2
XY
Cov( X , Y ) D( X ) D (Y )
为随机变量X 与Y的相关系数. XY 是一个无量纲的量
1
协方差的性质：
1. Cov( X , Y ) Cov(Y , X )，Cov ( X , X ) D ( X ) 2. Cov( X , Y ) E ( XY ) E ( X ) E (Y )
2 X1 1 1 引入列向量：X ， , ( X , X )的协方差矩阵为：C 1 2 X2 2 1 2
]
1 2 2 2
2 它的行列式为 C 12 2 (1 2 )
8
§4 矩、协方差矩阵
定义：设X 和Y 是随机变量
若E ( X k ) k 1, 2, 存在，则称它为X 的k阶(原点)矩；
若E [ X E ( X )]k k 1, 2, 存在，则称它为X 的k阶中心矩；若E X k Y l 存在 k , l 1, 2, 存在，
6
例1：设X,Y服从同一分布，其分布律为： X -1 0 1 P 1/4 1/2 1/4
已知P(|X| = |Y| )=0,判断X和Y是否相关？是否独立？
解：先求X , Y的联合分布率： X Y 1 0 1 1 0 1 pi.
p. j 14 12 14
7
0
14
14
0
14
0
14 12
0
14
0
14
为n维随即变量( X 1 , X 2 , X n )的协方差矩阵，协方差矩阵是一个对称矩阵。
10
利用协方差矩阵，可由二维正态变量的概率密度推广，得到n维正态变量的概率密度。
已知( X 1 , X 2 )服从二维正态分布，其概率密度为： 1 ( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x2 2 ) 2 1 f ( x1 , x2 ) exp [ 2 2 2 2 2 1 2 1 2 2 1 2 1 2(1 )
随机变量X 与Y 不相关，即 XY 0的等价条件有：
1. Cov( X , Y ) 0
2. E ( XY ) E ( X ) E (Y ) 3. D( X Y ) D( X ) D(Y )
从而可知，当X 与Y 相互独立 X 与Y 一定不相关反之，若X 与Y 不相关，X 与Y 却不一定相互独立

12
§3 协方差及相关系数
对于二维随机变量(X,Y)，除了讨论X与Y的数学期望和方差外，还需讨论描述X与Y之间相互关系的数字特征。这就是本节的内容。
记为：Cov( X , Y )，即 Cov( X , Y ) E [ X E ( X )][Y E (Y )] . 称
定义：量E [ X E ( X )][Y E (Y )] 称为随机变量X 与Y的协方差，
注：工程中常用均方误差(Mean-Square-Error, MSE) 来计算两个物理量（测量量）的相似性程度
计算得: e(a, b) E (Y 2 ) b 2 E ( X 2 ) a 2 2bE ( XY ) 2abE ( X ) 2aE (Y ) e( a , b ) 下面来求最佳近似式：e(a0 , b0 ) min a ,b e(a, b) a0 E (Y ) b0 E ( X ) a 2a 2bE ( X ) 2 E (Y ) 0 Cov( X , Y ) e a b b ( , ) 0 2bE ( X 2 ) 2 E ( XY ) 2aE ( X ) 0 D( X ) b 3
2
[Cov( X , Y )]2 2 D(Y ) (1 XY ) D(Y ) D( X ) 2 0 XY 1 1. 由e(a0 , b0 ) 0 1 XY
2. XY 1 E Y (a0 b0 X )

2
0
D Y (a0 b0 X ) 0且E[Y (a0 b0 X )] 0
3. Cov(aX , bY ) abCov( X , Y ) a, b是常数
4. Cov( X 1 X 2 , Y ) Cov( X 1 , Y ) Cov( X 2 , Y )
思考题： Cov(aX bY , cX dY ) ?
D (aX bY ) ?
答案：acD ( X ) bdD (Y ) (ad bc)Cov( X , Y ) a 2 D( X ) b 2 D (Y ) 2abCov( X , Y )
当 XY 较小时，e(a0 , b0 )较大，表明X , Y 线性关系的程度较差；
定义： XY 0，称X 与Y 不相关
思考
Cov( X , aX b) ? 相关性如何？
5
相关性与独立性辨析（重点）
定义： XY 0，称X 与Y 不相关
注意，X 与Y 不相关，只是对于线性关系而言的 X 与Y 相互独立是就一般关系而言的
2
相关系数的性质：
1. XY 1
2. XY 1 存在常数a, b，使P (Y a bX ) 1 特别的， XY 1时，b 0； XY 1时，b 0
证明：以X 的线性函数a bX 来近似表示Y ,以均方误差e(a, b) E [Y (a bX )]2 来衡量以a bX 近似表达Y的好坏程度,e(a, b)越小，a bX 与Y的近似程度越好。
2 2 C的逆矩阵为C 1 C 1 2 1
1 2 12
1 2 1 1 2 1 1 2

1 2
2 2
1

( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x2 2 ) 2 1 经计算， (X ) C (X ) [ 2 ] 2 2 2 1 1 2 1 2
ห้องสมุดไป่ตู้
E ( X ) (1) 1 4 0 1 2 11 4 0 E ( XY ) 0
所以，Cov( X , Y ) 0, 即X 与Y 不相关.
P( X 1, Y 1) 0, P( X 1) P (Y 1) 1 4 1 4
P ( X 1, Y 1) P( X 1) P(Y 1) 所以，X 与Y 不独立。