随机变量的协方差和相关系数
协方差的大小在一定程度上反映了X和Y相互间 的关系，但它还受X与Y本身度量单位的影响.
为了克服这一缺点，对协方差进行标准化，这 就引入了相关系数 .
二、相关系数
定义: 设D(X)>0, D(Y)>0, 称
XY
cov(X,Y) D(X)D(Y)
为随机变量 X 和 Y 的相关系数 .
在不致引起混淆时，记 XY 为 .
注： X Y 反应了X与Y的线性关系密切程度；X与Y不相关
表明两者没有线性关系，但不等于说没有其他关系。
独立与不相关的关系： 若 X 与 Y 独立，则X与Y不相关， 但由X与Y不相关，不一定能推出X与Y独立.
但可以证明对下述情形，独立与不相关等价
若(X,Y)服从二维正态分布，则
X与Y独立 X与Y不相关
注:协方差cov(X,Y)是X和Y的二阶混合中心矩.
六、例题讲解
1、设 X ~ N (,2 )Y ,~ N (,2 )，X 且 ， Y 相 设 互
试Z求 1XY和 Z2XY的相关 (其系 中 ， 数
是不全为零的常数）。
1、解 D (X)D (Y)2
D ( Z 1 ) D ( X Y ) 2 D ( X ) 2 D ( Y ) ( 2 2 ) 2 D ( Z 2 ) D ( X Y ) 2 D ( X ) 2 D ( Y ) ( 2 2 ) 2
随机变量的协方差和相关系数
第三节 随机变量的协方差和相关系数
协方差
协方差矩阵 相关系数矩阵 原点矩、中心矩
前面我们介绍了随机变量的数学期望和方差， 对于二维随机变量（X，Y），我们除了讨论X与Y 的数学期望和方差以外，还要讨论描述X和Y之间 关系的数字特征，这就是本讲要讨论的
协方差和相关系数
一、协方差
这是一个非
排成矩阵的形式:
v v
Байду номын сангаас
11 21
v 12 v 22
负定对称矩阵
称此矩阵为（X1,X2）的协方差矩阵.
类似定义n 维随机变量(X1,X2, …,Xn) 的协方差矩阵.
若 vij co(X vi,Xj)E {X [i E (X i)] X j[ E (X j)]}
都存在, 则称
( i, j=1,2,…,n )
v11 v12
矩阵
V
v21 vn1
v22 vn2
v1n v2n vnn
为(X1,X2, …,Xn) 的协方差矩阵.
这是一个非 负定对称矩阵
四、相关系数矩阵
若
i j
cov(Xi, Xj )
D(Xi) D(Xj)
都存在, 则称
v ij
( i, j=1,2,…,n )
vii v jj
co X ,Y v ) ( (x E)X y ( E)fY (x ,y )dx .
2.简单性质
(1) cov(X,C)= 0, C为常数； (2) cov(X,X)= D(X) (3) cov(X,Y)= cov(Y,X) (4) cov(aX+b, Y) = a cov(X,Y) a, b 是常数 (5) cov(aX, bY) = ab cov(X,Y) a, b 是常数 (6) cov(X1+X2,Y)= cov(X1,Y) + cov(X2,Y) (7) D(X±Y)=D(X)+D(Y)±2cov(X,Y)
D(X)
D(Y)1[[co(vX,Y)]2] D(Y)1[2]
D(X)D(Y)
2. XY 1
存在常数 a,b(b≠0)， 使 P{Y= a + b X}=1，
即 X 和 Y 以概率 1 线性相关.
3. X和Y独立时，=0，但其逆不真 .
证: 由于当X和Y独立时，cov(X,Y)= 0, 故
cov(X,Y) = 0
三、协方差矩阵
将二维随机变量（X1,X2）的四个数量指标
v11 E {X [1E (X 1)2 ]}
v 1 2 E { X 1 [ E (X 1 )X ]2 [ E (X 2 )]}
v 2 1 E { X 2 [ E (X 2 )X ] 1 [ E (X 1 )]}
v22 E {X [2E (X 2)2} ]
1.定义 E[ X-EX][Y-EY]称为随机变量X和Y的协方 差,记为cov(X,Y) ，即
cov(X,Y)=E[X-EX][Y-EY]=EXY-EXEY
1) 当(X,Y)是离散型随机变量时,
co X ,Y v ) ( (x i E)(y X j E)p Y i,j
ij
2) 当(X,Y)是连续型随机变量时,
相关系数的性质：
1.| |1
由于方差D(Y)是正的,故必有
证: 由方差的性质和协方1 差 的2 ≥定0义, 所知,以 | | ≤1。 对任意实数 b, 有 0≤D(Y-bX)= b2D(X)+D(Y)-2b cov(X,Y )
令b cov(X,Y) ，则上式为 D(X)
D(Y- bX)= D(Y)[cov(X,Y)]2
存在，称它为X的k阶原点矩，简称 k阶矩.
若 E { X E [ ( X ) k } k ] 2 , 3 , 存在，称它为X的k阶中心矩.
注：均值 E(X)是X一阶原点矩,
方差D(X)是X的二阶中心矩.
设 X 和 Y 是随机变量，若
E(XkYl ) k,l=1,2,… 存在，
称它为 X 和 Y 的 k+l 阶混合原点矩. 若 E {X [E (X )k] [YE (Y )l} ]存在， 称它为X 和 Y 的 k+l 阶混合中心矩.
D(X)D(Y)
但由 0并不一定能推出X和Y 独立.
例1 设X~N(0,1), Y=X2, 求X和Y的相关系数。
4. 若 XY 0 ，则称X和Y（线性）不相关。
定理：若随机变量X与Y的数学期望和方差都存 在，且均不为零，则下列四个命题等价： （1） XY 0 ； （2）cov(X ,Y) = 0； （3）E(XY)=EXEY； （4）D(X ±Y)=DX+DY。
11 12
矩阵
R
21
n1
22
n2
1n
2n
nn
这是一个非 负定对称矩阵
为(X1,X2, …,Xn) 的相关系数矩阵。
由于 ii
co(vXi,Xi) 1, D(Xi) D(Xi)
故相关系数矩阵的主对角元素均为1.
五、 原点矩和中心矩
定义 设X和Y是随机变量，若 E (X k)k , 1 ,2 ,
合集下载
概率论与数理统计 5.3 协方差与相关系数
存在，称它为X的k阶中心矩
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
协方差及相关系数
所以X与Y不独立.
1/8 0 1/8 2/8 1/8 1/8 1/8 3/8 3/8 2/8 3/8 1
若(X,Y) ~ N(1,2 ,12, 22,)，即(X,Y)概率密度函数为
f
( x,
y)
1
2 1 2
1
2
exp{
1
2(1 2 ) [(
x 1 1
)2
2( x 1 )( y 2 ) ( y 2 )2 ]}
(1) 求 Z 的数学期望和方差. (2) 求 X 与 Z 的相关系数.
解 (1)由E( X ) 1, D( X ) 9, E(Y ) 0, D(Y ) 16.
得 E(Z ) E( X Y ) 1 E( X ) 1 E(Y )
32 3
2
1. 3
D(Z ) D( X ) D(Y ) 2Cov( X ,Y )
注：若Y aX b, 则 a<0时,ρXY=-1
例2 (X,Y)的联合分布为:
求相关系数ρXY,并判断X, Y是否相关,是否独立.
解：
E( X ) xi pi 0
i
E(Y ) y j p. j 0
j
X Y -1 0 1 -1 1/8 1/8 1/8 0 1/8 0 1/8 1 1/8 1/8 1/8
3
1
2
( z5)2
e 18 ,
z
契比雪夫不等式
定理 设随机变量 X 具有数学期望 E(X ) μ,
方差 D( X ) σ2,则对于任意正数ε, 不等式
P{
X
μ
ε}
σ2 ε2
成立.
证明 取连续型随机变量的情况来证明. 设 X 的概率密度为 f ( x),则有
随机变量的相关系数和相关性
3
18
O
1
x
E(XY )
xy f ( x, y)dxdy
1
dx
3x
2xy dy
5
，
0
2x
4
Cov( X , Y ) E( XY ) E( X ) E(Y ) 5 ，
36
XY
Cov( X ,Y )
5
0.9449 .
D( X )D(Y ) 2 7
i
j
E( X 2 )
x
2 i
pi
•
3.1，
i
D( X ) E( X 2 ) [E( X )]2 3.1 1.12 1.89，
E(Y 2 )
y
2 j
p •
j
0.4，D(Y ) 0.24 ,
j
E(XY )
xi y j pij
ij
0 0.2 (1) 0.1 0 0.4 2 0.3 0.5， 7
D( X ) b
b b
1 1
b0 b0
14
例3 已 知X与Y分 别服 从 正态 分 布N (1,32 )和N (0,42 ),
(1) 若 XY 0,求( X ,Y )的联合密度；
(2) 若 XY
1,Z 2
X 3
Y 2
,求E(Z ),D(Z )和 XZ .
解 (1) 由 XY 0，知X与Y相互独立，
证 D( X Y ) D( X ) D(Y ) 2Cov ( X , Y )
2 2 XY 0，
第14讲 协方差与相关系数
X 和 Y 独立时 X 和 Y 不相关， 反之不一定成立。 但对下述情形，独立与不相关是一回事： 若(X, Y )服从二维正态分布，则
X 与Y 独立的充分必要条件是X与Y不相关。 参见P70-例3.6.3： X与Y独立 XY=0
练习2 1) X ~ U (0,1), Y X 2 , 求 XY
2 1 x2 1 2 dy = 1 x -1 x 1 1 x2 f X ( x) 0, 其他 1 2 E( X ) x 1 x2 d y 0
1
E ( XY )
1
x 2 y 2 1 1 1
( xy/ ) dxdy
期望、方差、协方差的性质对比
期望
E(c)=C E(aX)=aE(X), E(X+Y) =E(X)+E(Y) 当X与Y独立时 E(XY)=E(X)E(Y)
方差
D(c)=0 D(aX)=a2D(X),
协方差
Cov(c,X)=0
Cov(aX,bY) =abCov(X,Y) D(X+Y)=D(X)+ Cov(X+Y,Z) D(Y)+2Cov(X,Y) =Cov(X,Z) +Cov(Y,Z)
y 1
1 y 2 1 y 2
xdx dy
1 0 dy 0.
所以，Cov(X, Y)= E(XY)-E(X) E(Y) = 0 . 此外，Var(X) > 0, Var(Y) > 0 . 所以，XY = 0，即 X 与 Y 不相关。 但是，在第三章已计算过: X与Y不独立。
第十四讲 协方差与相关系数
前面我们介绍了随机变量的数学期望 和方差，对于多维随机变量，反映分量之 间关系的数字特征中，最重要的，就是本 讲要讨论的 协方差和相关系数
协方差与相关系数
其余均方误差
e
D(Y
)(1
2 XY
).
从这个侧面也
能说明 XY 越接近1，e 越小. 反之， XY 越近于0，
e 就越大， Y与X的 线性相关性越小.
完
例3 设 ( X ,Y ) 的分布律为
X
Y
2 1 1 2 P{Y yi }
1
0 1/4 1/4 0
1/ 2
4
1/4 0 0 1/4 1/2
D(Y
)[1
2 XY
],
D(Y
)1
[cov( X ,Y )]2 D( X )D(Y )
D(Y
)[1
2 XY
],
由于方差
D(Y
)
是正的，
故必有
1
2 XY
0,
所以
XY 1.
性质2. 若 X 和 Y 相互独立，则 XY 0;
注意到此时 cov( X ,Y ) 0, 易见结论成立.
注： X 与Y 相互独立
完
例4 设 服从 [ , ] 上的均匀分布, 且
X sin , Y cos
判断 X 与 Y 是否不相关, 是否独立.
解
由于
E( X )
1
2
sind 0,
E(Y
)
1
2
cosd 0,
而
E(
XY
)
1
2
sin cosd 0.
2
因此
E( XY ) E( X )E(Y ),
从而 X 与 Y 不相关. 但由于 X 与 Y 满足关系:
完
例2 设连续型随机变量 ( X ,Y ) 的密度函数为
f
(
x,
随机变量的方差、协方差与相关系数4-2
Cov ( X , Y ) E ( XY ) E ( X ) E (Y )
从而, 作为协方差的特例，方差也应有
D ( X ) C o v ( X , X ) E ( X X ) E ( X ) E ( X ) E ( X ) [ E ( X )] .
2 2
又∵ X 与Y 相互独立时, 总有
D ( U ) 2 D ( X ) 3 D (Y ) 0
2 2
解 数学期望
E ( U ) 2 E ( X ) 3 E (Y ) 1
2 ( 5 ) 3 (1 1 ) 1 4 4 ;
E (V ) E (Y Z ) 4 E ( X ) E (Y ) E ( Z ) 4 E ( Z )
返回
退出
2. 协方差的具体计算公式与实际计算步骤
⑴ 对离散型变量
E ( X ) xi pij (或 xi pi ) ,
i 1 j 1 i 1
E (Y ) E ( XY )
x
i 1 j 1
y
i 1 j 1
j
pij (或 y j p j ) ,
j 1
i
y j pij ,
Cov ( X , Y ) E ( XY ) E ( X ) E (Y ) .
⑵ 对连续型变量
E( X ) E (Y ) E ( XY )
xf ( x , y )dxdy (或 yf ( x , y )dxdy (或
是 X 的方差. 是 X 与Y 的协方差.
返回
E[( X E ( X )(Y E (Y )]
随机变量的相关系数和相关性解析
3
4. D( X Y ) D( X ) D(Y ) 2Cov (X,Y )
2
E( X EX )2 E(Y EY )2 2E( X EX )(Y EY ) D( X ) D(Y ) 2 cov( X , Y ) ， (X,Y ) . 类似地有 D( X Y ) D( X ) D(Y ) 2Cov n n Cov ( X i , X j ) 推广：D Xi D( X i ) 2 i j i 1 i 1
X Y 1 1 C ov ( ， ) XY D( X ) D(Y ) 3 2 3 2 1 1 （ ） 3 2 4 2 1 ， 6 2
X Y 1 1 X Y D( Z ) D( ) D( X ) D(Y ) 2C ov( ， ) 3 . 3 2 9 4 3 2
因此，若X1,X2, …,Xn两两独立,，则有 n n D Xi D( X i ) i 1 i 1
D( X Y ) EX Y E( X Y ) 2 E( X EX ) (Y EY ) E ( X EX )2 (Y EY )2 2( X EX )(Y EY )
y
3
y 3x
y 2x
2
O
E( X ) E(Y )
2
19 . E(Y ) dx 2 y dy 0 2x 6
1 3x 2
2 xf ( x, y ) dxdy 0 dx 2 x 2 x dy ， 3 1 3x 5 yf ( x, y ) dxdy dx 2 y dy , 0 2x 3
性质2 若 Y a bX ，则 XY 1 (b 0) 证
4. D( X Y ) D( X ) D(Y ) 2Cov (X,Y )
2
E( X EX )2 E(Y EY )2 2E( X EX )(Y EY ) D( X ) D(Y ) 2 cov( X , Y ) ， (X,Y ) . 类似地有 D( X Y ) D( X ) D(Y ) 2Cov n n Cov ( X i , X j ) 推广：D Xi D( X i ) 2 i j i 1 i 1
X Y 1 1 C ov ( ， ) XY D( X ) D(Y ) 3 2 3 2 1 1 （ ） 3 2 4 2 1 ， 6 2
X Y 1 1 X Y D( Z ) D( ) D( X ) D(Y ) 2C ov( ， ) 3 . 3 2 9 4 3 2
因此，若X1,X2, …,Xn两两独立,，则有 n n D Xi D( X i ) i 1 i 1
D( X Y ) EX Y E( X Y ) 2 E( X EX ) (Y EY ) E ( X EX )2 (Y EY )2 2( X EX )(Y EY )
y
3
y 3x
y 2x
2
O
E( X ) E(Y )
2
19 . E(Y ) dx 2 y dy 0 2x 6
1 3x 2
2 xf ( x, y ) dxdy 0 dx 2 x 2 x dy ， 3 1 3x 5 yf ( x, y ) dxdy dx 2 y dy , 0 2x 3
性质2 若 Y a bX ，则 XY 1 (b 0) 证
协方差
1. 协方差与相关系数的定义 量 E{[ X E( X )][Y E(Y )]} 称为随机变量
X与Y的协方差, 记为 cov( X ,Y ),
covX ,Y EX EX Y EY
称ρXY
cov( X ,Y ) 为随机变量X与Y的 D( X ) D(Y )
相关系数.
2. 相关系数的意义 当 ρXY 接近1时,表明X ,Y的线性关系联系较紧密. 当 ρXY 接近0时, X ,Y线性相关的程度较差. ρXY 0, 则称X和Y不相关.
σ1n σ2n σnn
为n 维随机变量 ( X1, X2, , Xn ) 的协方差阵.
2. 二维随机变量的协方差矩阵
设X1, X2 为二维随机变量 , 其协方差矩阵为
σ11 σ12 , σ21 σ22 其中
σ11 E[ X1 E( X1)]2 DX1 ,
σ21 E{[ X2 E( X2 )][ X1 E( X1)]} σ12,
1
2πσ1σ 2 1 ρ2
( x μ1)( y μ2 )
e
x μ1 2σ12
2
e
2
1 1 ρ2
y
μ2 σ2
ρ
x
μ1 σ1
2
dydx
令 t 1 y μ2 ρ x μ1 , u x μ1 ,
1 ρ2 σ2
σ1
σ1
cov(X ,Y )
1
2π (σ1σ 2
σ12 E{[ X1 E( X1)][ X2 E( X2 )]},
σ22 E[ X2 E( X2 )]2 DX2 .
注10 由于cij = cji i, j 1,2, n,所以
协方差矩阵为对称的非负定矩阵. 注20 协方差矩阵的应用.
随机变量的方差、协方差与相关系数4-2讲解学习
⑵ 两随机变量X 与Y 对各自均值的偏差以差之乘积的形 式给出的平均波动，称为二者的协方差，记为 Cov(X,Y) ,
亦即 C o v ( X , Y ) E { [ X E ( X ) ] [ Y E ( Y ) ] } .
⑶ 两随机变量X 与Y 的协方差与该二变量标准差乘积的
比值，称为二者的相关系数，记为 X ,Y , 亦即
D (X Y ) D (X ) D (Y ).
返回
退出
方差与协方差（含相关系数）重要性质选证三 证
C o v ( X , Y ) C o v [ X E ( X ) , Y E ( Y ) ]
D (X ) D (Y)C ov[XE (X ),YE (Y)]D (X ) D (Y )C ov(X *,Y *) D (X ) D (Y)
XY
Cov(X,Y) .
D(X) D(Y)
返回
退出
2. 方差与协方差的理论计算公式
⑴ 对离散型变量
D(X) [xi E(X)]2pi 或 D(X) [xi E(X)]2pij ;
i1
j1i1
C o v(X ,Y ) [x iE (X )][yjE (Y )]p ij
i 1j 1
⑵ 对连续型变量
2) D(C) 0
DXCD(X)
2) Cov(C1,C2)0
Cov(C1,Y)0, Cov(X,C2)0
3) D(CX)C2D(X)
3) C o v (C 1 X ,C 2 Y ) C 1 C 2 C o v (X ,Y )
C o v(C X ,C Y ) C 2 C o v(X ,Y )
4) D (X Y ) D (X )D (Y )
Cov(X,Y) E (X Y )E (X )E (Y ) 从而, 作为协方差的特例，方差也应有
协方差
1
(2 )n 2 | C
|1
2
exp
1(X 2
)C1( X
),
则称X服从n元正态分布。
其中C是 (X1, X2, …, Xn) 的协方差阵，
|C|是C的行列式， C 1表示C的逆矩阵，
X和 是n维列向量，X 表示X的转置。
n元正态分布的几条重要性质： (1). X =(X1, X2, …, Xn) ' 服从 n 元正态分布
解: 由X~N(1,2), Y~N(0,1)，且X与Y相互独立, 知 Z=2X-Y+3 服从正态分布，且
E(Z) = 2E(X)-E(Y)+3 = 2-0+3=5 ， Var(Z) = 4Var(X)+Var(Y) = 8+1 = 9,
故，Z~N(5, 32) .
Z 的概率密度为
fZ (z) 3
当 X 和 Y 相互独立时，Cov(X, Y)=0； (5). Var(X+Y)=Var(X)+Var(Y)+2Cov(X, Y) .
性质(5)可推广到 n 个随机变量的情形：
n
n
Var( Xi ) Var(Xi ) 2 Cov(Xi , X j ) .
i1
i1
i j
若 X1, X2, …, Xn 两两独立，则
但是，在例3.6.2已计算过: X与Y不独立。
(3). |ρ|=1
存在常数a, b(b≠0)，
使 P{ Y = a+bX } = 1 ，即X和Y以概率1 线性相关。
前面, 我们已经看到： 若X 与Y 独立，则X 与Y 不相关；但由X
与Y 不相关，不一定能推出X与Y独立。