随机变量的协方差和相关系数

1.定义 E[ X-EX][Y-EY]称为随机变量X和Y的协方差,记为cov(X,Y) ，即
cov(X,Y)=E[X-EX][Y-EY]=EXY-EXEY
1) 当(X,Y)是离散型随机变量时,
co X ,Y v ) ( (x i E)(y X j E)p Y i,j
ij
2) 当(X,Y)是连续型随机变量时,
A
10
独立与不相关的关系：若 X 与 Y 独立，则X与Y不相关，但由X与Y不相关，不一定能推出X与Y独立.
但可以证明对下述情形，独立与不相关等价
若(X,Y)服从二维正态分布，则
X与Y独立 X与Y不相关
A
11
三、协方差矩阵
将二维随机变量（X1,X2）的四个数量指标
v11 E {X [1E (X 1)2 ]}
第三节随机变量的协方差和相关系数
协方差相关系数协方差矩阵相关系数矩阵原点矩、中心矩
A
1
前面我们介绍了随机变量的数学期望和方差，对于二维随机变量（X，Y），我们除了讨论X与Y 的数学期望和方差以外，还要讨论描述X和Y之间关系的数字特征，这就是本讲要讨论的
协方差和相关系数
A
2
一、协方差
为(X1,X2, …,Xn) 的协方差矩阵.
A
这是一个非负定对称矩阵
13
四、相关系数矩阵
若
i j
cov(Xi, Xj )
D(Xi) D(Xj)
都存在, 则称
v ij
( i, j=1,2,…,n )
vii v jj
11 12
矩阵
R
21
n1
22
n2
1n
2n
nn
这是一个非负定对称矩阵
定理：若随机变量X与Y的数学期望和方差都存在，且均不为零，则下列四个命题等价：（1） XY 0 ；（2）cov(X ,Y) = 0；（3）E(XY)=EXEY；（4）D(X ±Y)=DX+DY。
注： X Y 反应了X与Y的线性关系密切程度；X与Y不相关
表明两者没有线性关系，但不等于说没有其他关系。
注：均值 E(X)是X一阶原点矩,
方差D(X)是X的二阶中心矩.
A
16
设 X 和 Y 是随机变量，若
E(XkYl ) k,l=1,2,… 存在，
称它为 X 和 Y 的 k+l 阶混合原点矩. 若 E {X [E (X )k] [YE (Y )l} ]存在，称它为X 和 Y 的 k+l 阶混合中心矩.
(6) cov(X1+X2,Y)= cov(X1,Y) + cov(X2,Y) (7) D(X±Y)=D(X)+D(Y)±2cov(X,Y)
A
4
协方差的大小在一定程度上反映了X和Y相互间的关系，但它还受X与Y本身度量单位的影响.
为了克服这一缺点，对协方差进行标准化，这就引入了相关系数 .
A
5
二、相关系数
定义: 设D(X)>0, D(Y)>0, 称
XY
cov(X,Y) D(X)D(Y)
为随机变量 X 和 Y 的相关系数 .
在不致引起混淆时，记 XY 为 .
A
6
相关系数的性质：
1.| |1
由于方差D(Y)是正的,故必有
证: 由方差的性质和协方1 差的2 ≥定0义, 所知,以 | | ≤1。
对任意实数 b, 有
0≤D(Y-bX)= b2D(X)+D(Y)-2b cov(X,Y )
令b cov(X,Y) ，则上式为 D(X)
D(Y- bX)= D(Y)[cov(X,Y)]2
D(X)
D(Y)1[[co(vX,Y)]2] D(Y)1[2]
D(X)D(Y)
A
7
2. XY 1
存在常数 a,b(b≠0)，使 P{Y= a + b X}=1，
注:协方差cov(X,Y)是X和Y的二阶混合中心矩.

17
六、例题讲解
1、设 X ~ N (, 2 )Y ,~ N (, 2 )，X 且， Y 相设互
试Z求 1XY和 Z2XY的相关 (其系中，数
是不全为零的常数）。
A
18
1、解 D (X)D (Y)2
D ( Z 1 ) D ( X Y ) 2 D ( X ) 2 D ( Y ) ( 2 2 ) 2 D ( Z 2 ) D ( X Y ) 2 D ( X ) 2 D ( Y ) ( 2 2 ) 2
v 1 2 E { X 1 [ E (X 1 )X ]2 [ E (X 2 )]}
v 2 1 E { X 2 [ E (X 2 )X ] 1 [ E (X 1 )]}
v22 E {X [2E (X 2)2} ]
这是一个非
排成矩阵的形式:
v v
11 21
v 12 v 22
负定对称矩阵
称此矩阵为（X1,X2）的协方差矩阵.
即 X 和 Y 以概率 1 线性相关.
A
8
3. X和Y独立时，=0，但其逆不真 .
证: 由于当X和Y独立时，cov(X,Y)= 0, 故
cov(X,Y) = 0
D(X)D(Y)
但由 0并不一定能推出X和Y 独立.
例1 设X~N(0,1), Y=X2, 求X和Y的相关系数。
A
9
4. 若 XY 0 ，则称X和Y（线性）不相关。
A
12
类似定义n 维随机变量(X1,X2, …,Xn) 的协方差矩阵.
若 vij co(X vi,Xj)E {X [i E (X i)] X j[ E (X j)]}
都存在, 则称
( i, j=1,2,…,n )
v11 v12
矩阵
V
v21 vn1
v22 vn2
v1n v2n vnn
co X ,Y v ) ( (x E)X y ( E)fY (x ,y )dx .
A
3
2.简单性质
(1) cov(X,C)= 0, C为常数；
(2) cov(X,X)= D(X)
(3) cov(X,Y)= cov(Y,X) (4) cov(aX+b, Y) = a cov(X,Y) a, b 是常数 (5) cov(aX, bY) = ab cov(X,Y) a, b 是常数
为(X1,X2, …,Xn) 的相关系数矩阵。
A
14
由于 ii
co(vXi,Xi) 1, D(Xi) D(Xi)
故相关系数矩阵的主对角元素均为1.
A
15
五、原点矩和中心矩
定义设X和Y是随机变量，若 E(Xk)k, 1,2,
存在，称它为X的k阶原点矩，简称 k阶矩.
若 E { X [E (X )k } ]k ,2 ,3 , 存在，称它为X的k阶中心矩.

合集下载

协方差和相关系数的计算ppt(共24张PPT)

E(X 2) 2
D( X ) D(Y ) 2
E(Y 2 ) 2
cov(U ,V ) (a2 b2 ) 2
而 D(U ) a2D( X ) b2D(Y ) (a2 b2 ) 2
D(V ) a2D( X ) b2D(Y ) (a2 b2 ) 2
故
UV
a2 a2
b2 b2
XY 1 0 P pq
E(X ) p, E(Y ) p, D(X ) pq, D(Y ) pq, E(XY ) p, D(XY ) pq,
cov( X ,Y ) pq, XY 1
例2 设 ( X ，Y ) ~ N ( 1，12，2，22，)，求
XY ．
解
cov( X ,Y )
当D(X ) > 0， D(Y ) > 0 时，当且仅当
P(Y E(Y ) t0 ( X E( X ))) 1
时，等式成立 —Cauchy-Schwarz不等式．
证明令
g(t) E[(Y E(Y )) t( X E( X ))]2 D(Y ) 2t cov( X ,Y ) t2D( X )
在寒冷的年代里，母爱是温暖。
协方差和相关系数的计算
cov(U ,V ) 解在文明的年代里，母爱是道德。
继续讨论：a，b 取何值时，U，V 不相关？
E(UV
)
E(U
)E(V
)
为X，Y 的相关系数，记为
a E( X ) b E(Y ) 例2 设 ( X ，Y ) ~ N ( 1， 12， 2， 22，2 )，求 2XY ． 2
E( XY ) p, D( XY ) pq,
cov( X ,Y ) pq, XY 1
X X p ,Y Y p , P(X Y ) 1

概率论与数理统计课件协方差与相关系数

试求二维正态随机变量的边缘概率密度 .
p( x, y)
1
e 1 2(1 ρ2
)
(
x
μ1 σ12
)2
2
ρ(
x
μ1 )( σ1σ2
y
μ2
)
(
y
μ2 σ22
)2
2πσ1σ2 1 ρ2
pX (x) pY ( y)
1
e ,
(
x μ1 2 σ12
)2
2πσ1 1
e
(
y μ2 2σ22
)2
1
2πσ1σ2
1 ρ2
( x μ1 )( y μ2 )
e e d y d x.
(
x μ1 2σ12
)2
1 2(1
ρ2
)
y
μ2 σ2
ρ
x
μ1 σ1
2
令t
1 1
ρ2
y
μ2 σ2
ρ
x
μ1 σ1
,
u x μ1 , σ1
2019/4/24
4-3—协方差和相关系数
3 .不相关与相互独立的关系
相互独立不相关
2019/4/24
4-3—协方差和相关系数
10
例1 设 ( X ,Y ) 在圆域 x2 y2 1 上服从均匀分布, （1）问X与Y是否独立？（2）求相关系数
例2 X ~N(0,1),Y X 2, 证明X与Y不相关且不独立
解：E( XY ) E( XX 2 ) x3 ( x)dx 0 Cov( X ,Y ) E( XY ) E( X )E(Y ) 0 故X与Y不相关
2019/4/24
4-3—协方差和相关系数

协方差

由相关系数性质(2),ρXY并不是刻画X，Y之间的“一般” 关系，而只是刻画X，Y之间线性相关的程度。虽然X，Y不相关，但X，Y可以有关系。例如X～U(-1/2,1/2),Y=cosX, 则E(X)=0, Cov( X , Y ) E ( XY ) E ( X ) E (Y )
E ( X cos X )
x 2 y 2 1

x

dxdy

1
1 1
dx
xdy 0
E( X 2 )

0

x 2 f ( x , y )dxdy
1 2 2
x 2 y 2 1

x2

dxdy

1

2
1 dy r cos rdrd 0 4
所以 D(X)=1/4. 同样方法可得 E(Y)=0,D(Y)=1/4.
因为 E( X 2 ) 0, 则 2 2 [ E( XY )]2 4E( X 2 ) E(Y 2 ) 0 ，
即 E( XY ) E( X 2 ) E(Y 2 )
2
等号成立的充要条件是存在t0, 使g(t0)=0, 即：
而 E(Y t0 X )2 D(Y t0 X ) E(Y t0 X ) 0
X Y 则有 E X * E Y * 0, D X * D Y * 1。
令：X *

一般地，数学期望为0，方差为1的随机变量的分布称为标准分布，故ρXY又称为标准协方差。
2．关系公式: (1) 协方差与方差的关系：D(X+Y)=D(X)+D(Y)+2Cov(X，Y) (2) 协方差与数学期望的关系： Cov(X，Y)=E(XY)-E(X)E(Y) 我们常用这个公式计算协方差。 (3) 若X，Y独立，则Cov(X，Y)=0,但反之不成立。 3．协方差与相关系数的性质协方差具有下述性质： (1) Cov(X，Y)= Cov(Y，X)； (2) Cov(aX，bY)= abCov(X，Y)；

4.3协方差及相关系数及其性质

即P{Y aX aE( X ) E (Y )} 1.
P{Y aX b} 1.
取b aE( X ) E (Y )，
ρ XY 1 的充要条件是存在常数 a, b 使
意义 |ρXY|=1当且仅当Y跟X几乎有线性关系。这说明了相关系数的概率意义。 ρXY是刻画X，Y之间线性相关程度。
3. 协方差的计算公式法1.若 ( X ,Y ) 为离散型，已知pij
cov( X , Y ) [ xi E ( X )][ y j E (Y )]pij
i 1 j 1
若 ( X ,Y ) 为连续型，已知f(x,y)
cov( X , Y )

即 | Cov( X , Y ) | D( X ) D(Y )
所以|ρXY|≦1。
(2) ρ XY 1 的充要条件是存在常数 a, b 使 P{Y aX b} 1.
(2)证：由柯西一许瓦兹不等式中等号成立（ ρ XY 1 ）充要条件知存在常数 a 使 P{Y E (Y ) a( X E ( X ))} 1.
X Y 得 ( Z ) E E 3 2
1 1 1 E ( X ) E (Y ) . 3 3 2
X Y X Y 1 D( X ) 1 D(Y ) 1 Cov( X ,Y ) D( Z ) D D 2 Cov , 4 3 3 2 3 2 9
为随机变量 X 与 Y 的相关系数.
无量纲的量
若 XY 0, 称 X ,Y 不相关.
2. 说明
若随机变量 X 和 Y 相互独立 Cov( X ,Y ) E{[ X E ( X )][Y E (Y )]} E[ X E ( X )]E[Y E (Y )] 0.

数据相关分析

数据相关分析
相关分析是数据分析的一个基本方法，可以用于发现不同变量之间的关联性，关联是指数据之间变化的相似性，这可以通过相关系数来描述。

发现相关性可以帮助你预测未来，而发现因果关系意味着你可以改变世界。

协方差和相关系数如果随机变量X和Y是相互独立的，那么协方差Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}=0，这意味着当协方差Cov(X,Y)不等于0时，X和Y不相互独立，而是存在一定的关系，此时，称作X和Y相关。

在统计学上，使用协方差和相关系数来描述随机变量X和Y的相关性。

协方差：如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。

如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

从数值来看，协方差的数值越大，两个变量同向程度也就越大。

协方差和相关系数的计算

当D(X ) > 0， D(Y ) > 0 时，当且仅当
P(Y E(Y ) t0 ( X E( X ))) 1
时，等式成立—Cauchy-Schwarz不等式．
证明令
g(t) E[(Y E(Y )) t( X E( X ))]2 D(Y ) 2t cov( X ,Y ) t 2D( X )
若D (X) > 0， D (Y) > 0 ，称
E ( X E( X ))(Y E(Y ) cov( X ,Y ) D( X ) D(Y ) D( X ) D(Y )
为X，Y 的相关系数，记为
XY
cov( X ,Y ) D( X ) D(Y )
事实上， XY cov( X ,Y )．
D[(Y E(Y )) t0 ( X E( X ))] 0 P[(Y E(Y )) t0 ( X E( X )) 0] 1 P[(Y E(Y )) t0 ( X E( X )) 0] 1 即 P[(Y E(Y )) t0 ( X E( X ))] 1
即Y 与X 有线性关系的概率等于1，这种线性关系为
对任何实数 t ，g (t) 0
4 cov 2 ( X ,Y ) 4D( X )D(Y ) 0
即 | cov( X ,Y ) |2 D( X )D(Y )
等号成立
g (t) 0 有两个相等的实零点
t0
cov( X ,Y D(X )
)
g(t0 ) 0 即
D(Y ) D(X )
E[(Y E(Y )) t0 ( X E( X ))]2 0 又显然 E[(Y E(Y )) t0 ( X E( X ))] 0
解 cov(U ,V ) E(UV ) E(U )E(V ) a2E( X 2 ) b2E(Y 2 )

期望、方差、协方差及相关系数的基本运算

期望、⽅差、协⽅差及相关系数的基本运算转载位置：/articles/basic-statistics-calculate.html这篇⽂章总结了概率统计中期望、⽅差、协⽅差和相关系数的定义、性质和基本运算规则。

期望定义设P(x)P(x)是⼀个离散概率分布函数，⾃变量的取值范围为{x1,x2,⋯,xn}{x1,x2,⋯,xn}。

其期望被定义为：E(x)=∑k=1nxkP(xk)E(x)=∑k=1nxkP(xk)设p(x)p(x)是⼀个连续概率密度函数。

其期望为：E(x)=∫+∞−∞xp(x)dxE(x)=∫−∞+∞xp(x)dx性质1、线性运算规则期望服从线性性质（可以很容易从期望的定义公式中导出）。

因此线性运算的期望等于期望的线性运算：E(ax+by+c)=aE(x)+bE(y)+cE(ax+by+c)=aE(x)+bE(y)+c这个性质可以推⼴到任意⼀般情况：E(∑k=1naixi+c)=∑k=1naiE(xi)+cE(∑k=1naixi+c)=∑k=1naiE(xi)+c2、函数的期望设f(x)f(x)为x的函数，则f(x)f(x)的期望为：离散：E(f(x))=∑k=1nf(xk)P(xk)E(f(x))=∑k=1nf(xk)P(xk)连续：E(f(x))=∫+∞−∞f(x)p(x)dxE(f(x))=∫−∞+∞f(x)p(x)dx⼀定要注意，函数的期望不等于期望的函数，即E(f(x))≠f(E(x))E(f(x))≠f(E(x))！。

3、乘积的期望⼀般来说，乘积的期望不等于期望的乘积，除⾮变量相互独⽴。

因此，如果x和y相互独⽴，则E(xy)=E(x)E(y)E(xy)=E(x)E(y)。

期望的运算构成了统计量的运算基础，因为⽅差、协⽅差等统计量本质上是⼀种特殊的期望。

⽅差定义⽅差是⼀种特殊的期望，被定义为：Var(x)=E((x−E(x))2)Var(x)=E((x−E(x))2)性质1、展开表⽰反复利⽤期望的线性性质，可以算出⽅差的另⼀种表⽰形式：Var(x)=====E((x−E(x))2)E(x2−2xE(x)+(E(x))2)E(x2)−2E(x)E(x)+(E(x))2E(x2)−2(E(x))2+(E(x))2E(x2)−(E(x))2Var(x)=E((x−E(x))2)=E(x2−2xE(x)+ (E(x))2)=E(x2)−2E(x)E(x)+(E(x))2=E(x2)−2(E(x))2+(E(x))2=E(x2)−(E(x))22、常数的⽅差常数的⽅差为0，由⽅差的展开表⽰很容易推得。

协方差

∑∑ ( x EX )( y
i i j
j
EY ) pij
若(X,Y)是连续型随机向量，联合密度函数为f(x,y)，则 cov(X,Y)=
∫ ∫
+∞ +∞
∞ ∞
( x EX )( y EY ) f ( x, y )dxdy
注意：从协方差的定义，可以想象和理解求协方差的公式。注意：从协方差的定义，可以想象和理解求协方差的公式。
2 3 当0≤ y ≤ 1时. g Y ( y) = ∫0 8 xydx = 4 y[x ]0 = 4 y
4 x(1 x 2 ) 0 ≤ x ≤ 1 所以 g X ( x) = 0 其他
协方差和相关系数
解2：EX2=
x 2 g X ( x)dx = ∫∞
+∞
DX=EX2=(EX)2= EY2=
协方差和相关系数
2．协方差的一些基本性质： (1) cov(X,X)=DX；cov(Y,Y)=DY； (2) cov(X,Y)=cov(Y,X)； cov(X,Y)=E(XEX)(YEY)=EXYEXEY (3) cov(aX,bY)=ab cov(X,Y)； (4) cov(c,Y)=cov(X,c)=0，c为任意常数； (5) cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y)； (6) D(X+Y)=DX+DY+2cov(X,Y)； (7) 当X与Y相互独立，cov(X,Y)=0，故 D(X+Y)=DX+DY 证明：D(X+Y)=①=cov(X+Y,X+Y)=⑤=cov(X,X+Y)+cov(Y,X+Y) =⑤= = cov(X,X)+cov(X,Y)+cov(Y,X)+cov(Y+Y)=cov(X,X)+2cov(X,Y)+cov(Y,Y)= =①=DX+DY+2cov(X,Y)=DX+DY (8) D(aX1+bX2+cX3)=a2DX1+b2DX2+c2DX3+2ab cov(X1 X2)+2ac cov(X1 X3) +2bc cov (X2 X3) X1X2X3两两独立：D(aX1+bX2+cX3)= a2DX1+b2DX2+c2DX3

期望、方差、协方差、相关系数

期望、⽅差、协⽅差、相关系数
⼀、期望
在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。

它反映随机变量平均取值的⼤⼩。

线性运算：
推⼴形式：
函数期望：设f(x)为x的函数，则f(x)的期望为
离散函数：
连续函数：
注意：
函数的期望不等于期望的函数；
⼀般情况下，乘积的期望不等于期望的乘积；
如果X和Y相互独⽴，则E(xy)=E(x)E(y)。

⼆、⽅差
概率论中⽅差⽤来度量随机变量和其数学期望（即均值）之间的偏离程度。

⽅差是⼀种特殊的期望。

定义为：
⽅差性质：
1）
2）常数的⽅差为0；
3）⽅差不满⾜线性性质；
4）如果X和Y相互独⽴，则：
三、协⽅差
协⽅差衡量两个变量线性相关性强度及变量尺度。

两个随机变量的协⽅差定义为：
⽅差是⼀种特殊的协⽅差。

当X=Y时，
协⽅差性质：
1）独⽴变量的协⽅差为0。

2）协⽅差计算公式：
3）特殊情况：
四、相关系数
相关系数是研究变量之间线性相关程度的量。

两个随机变量的相关系数定义为：
相关系数的性质：
1）有界性。

相关系数的取值范围是，可以看成⽆量纲的协⽅差。

2）值越接近1，说明两个变量正相关性（线性）越强。

越接近-1，说明负相关性越强，当为0时，表⽰两个变量没有相关性。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。