随机变量的协方差与相关系数

11
协方差与相关系数的定义
期望、方差、协方差的性质对比
不相关与独立
12
期望、方差、协方差的性质对比
期望
E(c)=C E(aX)=aE(X), E(X+Y) =E(X)+E(Y) 当X与Y独立时 E(XY)=E(X)E(Y)
方差
D(c)=0 D(aX)=a2D(X),
协方差
Cov(c,X)=0
Cov(aX,bY) =abCov(X,Y) D(X+Y)=D(X)+ Cov(X+Y,Z) D(Y)+2Cov(X,Y) =Cov(X,Z) +Cov(Y,Z)
E ( XY ) E ( X ) E (Y ) a0 D( X ) E ( XY ) E ( X ) E (Y ) b0 E (Y ) E ( X ) D( X )
解得:
(2)
4
将(2)带入(1),得
min E Y (aX b)
a ,b

2
7
例1 设(X, Y)在D={(X, Y):x2+y21}上服从均匀 分布,求证:X与Y不相关,但不是相互独立的。
1
2 设 ( X , Y ) ~ N ( 1 , 2 , 12 , 2 , ),
求证 XY .
1 1
1
可见,若(X,Y)服从二维正态分布, 则X与Y独立的充分必要条件是X与Y不 相关。
概率与统计
随机变量的协方差与相关系数
1
如何描述两个随机变量之间的关系?
1 (a)
若(X,Y)的全部可能 取值坐标如图a,b,c, X 与Y的关系各是什 么?
(c) 2 1 0 0.00 -1
0 -1 0 1
-1
(b) 1.00
-1.50
-1.00
-0.50
0.50
1.00
1.50
0.00 -2 -1.50 -1.00 -0.50 0.00 0.50 1.00 1.50
数a0X+b0表示Y.
--------称
E ( XY ) E ( X ) E (Y ) D ( X ) D (Y )
为X与Y的相关系数.
5
3.3 协方差与相关系数
1. 定义 (p82) 若随机变量 X,Y的期望和方差 都存在, 且DX>0,DY>0,则称 Cov(X, Y)=E{[XE(X)][YE(Y)]}. 为X与Y的协方差. 易见 Cov(X, Y)=E(XY)-E(X)E(Y). 称(P85)
8
1) X ~ U (0,1), Y X 2 , 求 XY 2)X ~ U ( 1,1), Y X 2 , 求 XY
解1)
1 1 1 1 4 E ( X ) , E (Y ) , E ( XY ) , D( X ) , D(Y ) 2 3 4 12 45 1 2) E ( X ) 0, E ( XY ) 0 12 XY 0.968 1 4 XY 0 12 45
2
考虑用直线
Y aX b
逼近 (X,Y)的所有可能取值点. 1.参数a,b取什么值时,(X,Y)的所有可能取值点 与直线最接近?—如何定义(X,Y)与直线的距离? 2.在什么情况下, (X,Y)的所有可能取值落在一 条直线上?
3.在什么情况下, X与Y没有线性关系?
3
考虑Y与X的线性函数aX+b的”最小距离”:
以上EX的结果说明了什么?
9
3.协方差性质(p84) (1) Cov(X, Y)=Cov(Y, X);
(2) Cov(X,X)=D(X);Cov(X,c)=0
(3) Cov(aX, bY)=abCov(X, Y), 其中a, b为 常数
(4) Cov(X+Y,Z)=Cov(X, Z)+Cov(Y, Z);

(3)
E ( XY ) E ( X ) E (Y ) 2 D(Y ) 1 D( X ) D(Y )
) E (Y ) 2
D( X ) D(Y )
1
时, Y与X的线性函
数a0X+b0的” 距离”为0,说明此时可以用X的线性函
XY
Cov( X , Y ) DX DY
6
为X与Y的相关系数.
证明
2.相关系数的性质(p85) (1) |XY|1; 图示
(2) |XY|=1存在常数a, b 使P{Y= aX+b}=1;
定义:当 Cov(X,Y)=0时,称X与Y不相关.
?“X与Y独立”和“X与Y不相关” 有何关系?
(5) D(X+Y)=D(X)+D(Y)+2Cov(X, Y). 注:D(X-Y)=D[X+(-Y)]=D(X)+D(Y)-2Cov(X,Y)
10
设随机变量XB(12,0.5),Y N(0,1), Cov(X,Y)=-1,求 V=4X+3Y+1与W=-2X+4Y的方差与协方差
答 : E ( X ) 12 0.5 6, D( X ) 3, D(Y ) 1 D(V ) 16D( X ) 9 D(Y ) 24Cov( X , Y ) 33 D(W ) 4 D( X ) 16D(Y ) 16Cov( X , Y ) 44 Cov(V ,W ) Cov(4 X 3Y ,2 X 4Y ) 8 D( X ) 16Cov( X , Y ) 6Cov(Y , X ) 12D(Y ) 22
e E Y (aX b) E (Y ) a E ( X ) b 2aE ( XY ) 2abE( X ) 2bE (Y ) (1)
2 2 2 2


2
取a,b使e最小:

e 2aE( X 2 ) 2 E ( XY ) 2bE( X ) 0 a e 2b 2aE( X ) 2 E (Y ) 0 b
13
4.4 矩、协方差矩阵
1. K阶原点矩 Ak=E(Xk), k=1, 2, … Bk=E[X-E(X)]k, k=1, 2, …
而E(|X|k)称为X的K阶绝对原点矩;
2. K阶中心矩
而E|X-E(X)|k称为X的K阶绝对中心矩;
3. K+l阶混合原点矩 E(Xk Yl), k, l=0, 1, 2, …; 4. K+l阶混合中心矩 E{[XE(X)]k[YE(Y)]l}, k, l=0, 1, 2, … ;
合集下载

概率论与数理统计 5.3 协方差与相关系数

概率论与数理统计 5.3 协方差与相关系数
存在,称它为X的k阶中心矩
概率论
均值 EX是X一阶原点矩,方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量(X,Y)具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2),且设X,Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中,
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地, D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地,EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,

协方差及相关系数

协方差及相关系数

所以X与Y不独立.
1/8 0 1/8 2/8 1/8 1/8 1/8 3/8 3/8 2/8 3/8 1
若(X,Y) ~ N(1,2 ,12, 22,),即(X,Y)概率密度函数为
f
( x,
y)
1
2 1 2
1
2
exp{
1
2(1 2 ) [(
x 1 1
)2
2( x 1 )( y 2 ) ( y 2 )2 ]}
(1) 求 Z 的数学期望和方差. (2) 求 X 与 Z 的相关系数.
解 (1)由E( X ) 1, D( X ) 9, E(Y ) 0, D(Y ) 16.
得 E(Z ) E( X Y ) 1 E( X ) 1 E(Y )
32 3
2
1. 3
D(Z ) D( X ) D(Y ) 2Cov( X ,Y )
注:若Y aX b, 则 a<0时,ρXY=-1
例2 (X,Y)的联合分布为:
求相关系数ρXY,并判断X, Y是否相关,是否独立.
解:
E( X ) xi pi 0
i
E(Y ) y j p. j 0
j
X Y -1 0 1 -1 1/8 1/8 1/8 0 1/8 0 1/8 1 1/8 1/8 1/8
3
1
2
( z5)2
e 18 ,
z
契比雪夫不等式
定理 设随机变量 X 具有数学期望 E(X ) μ,
方差 D( X ) σ2,则对于任意正数ε, 不等式
P{
X
μ
ε}
σ2 ε2
成立.
证明 取连续型随机变量的情况来证明. 设 X 的概率密度为 f ( x),则有

随机变量的相关系数和相关性

随机变量的相关系数和相关性

3
18
O
1
x
E(XY )

xy f ( x, y)dxdy
1
dx
3x
2xy dy

5


0
2x
4
Cov( X , Y ) E( XY ) E( X ) E(Y ) 5 ,
36
XY
Cov( X ,Y )
5
0.9449 .
D( X )D(Y ) 2 7
i
j
E( X 2 )
x
2 i
pi


3.1,
i
D( X ) E( X 2 ) [E( X )]2 3.1 1.12 1.89,
E(Y 2 )
y
2 j
p •
j
0.4,D(Y ) 0.24 ,
j
E(XY )
xi y j pij
ij
0 0.2 (1) 0.1 0 0.4 2 0.3 0.5, 7
D( X ) b

b b


1 1
b0 b0
14
例3 已 知X与Y分 别服 从 正态 分 布N (1,32 )和N (0,42 ),
(1) 若 XY 0,求( X ,Y )的联合密度;
(2) 若 XY

1,Z 2

X 3
Y 2
,求E(Z ),D(Z )和 XZ .
解 (1) 由 XY 0,知X与Y相互独立,
证 D( X Y ) D( X ) D(Y ) 2Cov ( X , Y )
2 2 XY 0,

一、协方差与相关系数概念及性质

一、协方差与相关系数概念及性质

2aE(Y ).
将 e 分别关于 a,b 求偏导数,并令它们等于零, 得
e
a e
b
2a 2bE( X ) 2E(Y ) 0, 2bE( X 2 ) 2E( XY ) 2aE( X ) 0.
解得
b0
Cov( D(
X X
,Y )
)
,
a0
E
(Y
)
E(
X
)
Cov( X D( X
,Y )
3.说明
(1) X 和 Y 的相关系数又称为标准协方差, 它是一
个无量纲的量. (2) 若随机变量 X 和 Y 相互独立 Cov(X ,Y ) E{[X E( X )][Y E(Y )]}
E[X E( X )]E[Y E(Y )] 0. (3) 若随机变量 X 和 Y 相互独立 D( X Y ) D( X ) D(Y ) 2E{[X E( X )][Y E(Y )]}
y
μ2
)f
( x,
y)d
xd
y
1 2πσ1σ2 1 ρ2
(x
μ1 )(
y
μ2
)
e e d y d x.
(
x μ1 2σ12
)2
1 2(1
ρ2
)
y
μ2 σ2
ρ
x
μ1 σ1
2
令 t
1 1
ρ2
y
μ2 σ2
ρ
x
μ1 σ1
, u
x
μ1 , 则有 σ1
Cov(X ,Y )
1 2π
Cov( X ,Y ) .
D( X ) D(Y )
结论
(1) 二维正态分布密度函数中, 参数 ρ 代表了X

协方差与相关系数

协方差与相关系数

其余均方误差
e
D(Y
)(1
2 XY
).
从这个侧面也
能说明 XY 越接近1,e 越小. 反之, XY 越近于0,
e 就越大, Y与X的 线性相关性越小.

例3 设 ( X ,Y ) 的分布律为
X
Y
2 1 1 2 P{Y yi }
1
0 1/4 1/4 0
1/ 2
4
1/4 0 0 1/4 1/2
D(Y
)[1
2 XY
],
D(Y
)1
[cov( X ,Y )]2 D( X )D(Y )
D(Y
)[1
2 XY
],
由于方差
D(Y
)
是正的,
故必有
1
2 XY
0,
所以
XY 1.
性质2. 若 X 和 Y 相互独立,则 XY 0;
注意到此时 cov( X ,Y ) 0, 易见结论成立.
注: X 与Y 相互独立

例4 设 服从 [ , ] 上的均匀分布, 且
X sin , Y cos
判断 X 与 Y 是否不相关, 是否独立.

由于
E( X )
1
2
sind 0,
E(Y
)
1
2
cosd 0,

E(
XY
)
1
2
sin cosd 0.
2
因此
E( XY ) E( X )E(Y ),
从而 X 与 Y 不相关. 但由于 X 与 Y 满足关系:

例2 设连续型随机变量 ( X ,Y ) 的密度函数为
f
(
x,

协方差与相关系数

协方差与相关系数

D( X + Y ) = ? D( X + Y ) = E ( X + Y )2 − [ E ( X + Y )]2
= D( X ) + D(Y ) + 2 E {[ X − E ( X )][Y − E (Y )]}.
协方差
(2) 定义
称 E{[ X − E ( X )][Y − E (Y )]} 为随机变量 X 与 Y 的协方差. 记为 Cov( X , Y ), 即 C ov( X , Y ) = E{[ X − E ( X )][Y − E (Y )]}. 称 ρXY = Cov( X , Y ) D( X ) ⋅ D(Y ) ( D( X ) ≠ 0, D(Y ) ≠ 0)
G
O
x
D(Y ) = D( X ) = 153 / 2800,
Cov( X , Y ) = E ( XY ) − E ( X ) E (Y ) = 19 / 400 = 0.0475,
Cov( ,Y ) X ρXY = = 0.87, D( X ) ⋅ D(Y )
D( X + Y ) = D( X ) + D(Y ) + 2Cov( X ,Y ) = 0.2043.
a ,b
2 = E {[Y − (a0 + b0 X )]2 } = (1 − ρXY ) D(Y )
⇒ ρXY = 1.
(4) 不相关与相互独立的关系 若随机变量X, 相互独立 相互独立, 定理 若随机变量 ,Y相互独立, 则 ρ xy = 0 ,即X,Y不相关。 不相关。 , 不相关 不相关 注 1) 相互独立 如后面例2 如后面例2. 2) 不相关的充要条件
2) D( X +Y ) = D( X ) + D(Y ) + 2Cov( X ,Y ).

协方差与相关系数


= ρσ 1σ 2
ρ xy =
ρσ 1σ 2 = =ρ σ 1σ 2 D ( X ) D (Y )
Cov ( X , Y )
ρ=0, ,
从而说明二维正态分布随机变量X, 相互独立 从而说明二维正态分布随机变量 ,Y相互独立 相互独立与不相关是等价的. 即X,Y相互独立与不相关是等价的. , 相互独立与不相关是等价的
山东农业大学
概率论与数理统计
主讲人:程述汉 苏本堂
设二维( 例2 设二维(X,Y)随机变量的密度函数为
π π 1 cos( x + y ), 0 ≤ x ≤ , - ≤ y ≤ 0 f ( x, y ) =Y )
1 2 0 π 解 因为 E ( X ) = ∫ ∫ π x cos( x + y )dxdy = ≈ 0.7854, 2 0 -2 4 π 2 1 2 0 2 π π 2 D( X ) = ∫ ∫ π x cos( x + y)dxdy -[ E( X )] = + 2 ≈ 0.1876 2 0 -2 16 2 同理可得 E (Y ) ≈ 0.7854, D(Y ) ≈ 0.1876, 1 π 0 π 2 E ( XY ) = ∫ ∫ π xy × cos( x + y )dxdy1 ≈ -0.5708, 2 0 -2 2 cov( X , Y ) = E ( XY ) - E ( X ) E (Y )
2aE[Y E (Y )][ X E ( X )] + 2 E[Y E (Y )][ E (Y ) aE ( X ) b]
2 aE [ X E ( X )][ E (Y ) aE ( X ) b ]
= D(Y ) + a D( X ) + [ E (Y ) aE ( X ) b] 2a cov( X , Y )

随机变量的方差、协方差与相关系数4-2


Cov ( X , Y ) E ( XY ) E ( X ) E (Y )
从而, 作为协方差的特例,方差也应有
D ( X ) C o v ( X , X ) E ( X X ) E ( X ) E ( X ) E ( X ) [ E ( X )] .
2 2
又∵ X 与Y 相互独立时, 总有
D ( U ) 2 D ( X ) 3 D (Y ) 0
2 2
解 数学期望
E ( U ) 2 E ( X ) 3 E (Y ) 1
2 ( 5 ) 3 (1 1 ) 1 4 4 ;
E (V ) E (Y Z ) 4 E ( X ) E (Y ) E ( Z ) 4 E ( Z )
返回
退出
2. 协方差的具体计算公式与实际计算步骤
⑴ 对离散型变量
E ( X ) xi pij (或 xi pi ) ,
i 1 j 1 i 1
E (Y ) E ( XY )
x
i 1 j 1


y
i 1 j 1


j
pij (或 y j p j ) ,
j 1

i
y j pij ,
Cov ( X , Y ) E ( XY ) E ( X ) E (Y ) .
⑵ 对连续型变量
E( X ) E (Y ) E ( XY )





xf ( x , y )dxdy (或 yf ( x , y )dxdy (或
是 X 的方差. 是 X 与Y 的协方差.
返回
E[( X E ( X )(Y E (Y )]

随机变量的相关系数和相关性解析

3
4. D( X Y ) D( X ) D(Y ) 2Cov (X,Y )
2
E( X EX )2 E(Y EY )2 2E( X EX )(Y EY ) D( X ) D(Y ) 2 cov( X , Y ) , (X,Y ) . 类似地有 D( X Y ) D( X ) D(Y ) 2Cov n n Cov ( X i , X j ) 推广:D Xi D( X i ) 2 i j i 1 i 1
X Y 1 1 C ov ( , ) XY D( X ) D(Y ) 3 2 3 2 1 1 ( ) 3 2 4 2 1 , 6 2
X Y 1 1 X Y D( Z ) D( ) D( X ) D(Y ) 2C ov( , ) 3 . 3 2 9 4 3 2
因此,若X1,X2, …,Xn两两独立,,则有 n n D Xi D( X i ) i 1 i 1
D( X Y ) EX Y E( X Y ) 2 E( X EX ) (Y EY ) E ( X EX )2 (Y EY )2 2( X EX )(Y EY )
y
3
y 3x
y 2x
2
O
E( X ) E(Y )
2




19 . E(Y ) dx 2 y dy 0 2x 6
1 3x 2
2 xf ( x, y ) dxdy 0 dx 2 x 2 x dy , 3 1 3x 5 yf ( x, y ) dxdy dx 2 y dy , 0 2x 3
性质2 若 Y a bX ,则 XY 1 (b 0) 证

协方差相关系数公式推导

协方差相关系数公式推导一、协方差公式推导。

1. 定义。

- 设X和Y是两个随机变量,E(X)表示X的期望,E(Y)表示Y的期望。

- 协方差Cov(X,Y)=E[(X - E(X))(Y - E(Y))]。

2. 展开推导。

- 首先将(X - E(X))(Y - E(Y))展开得到XY - XE(Y)-YE(X)+E(X)E(Y)。

- 然后求期望E[(X - E(X))(Y - E(Y))]=E(XY - XE(Y)-YE(X)+E(X)E(Y))。

- 根据期望的线性性质E(A + B)=E(A)+E(B),可得:- E(XY - XE(Y)-YE(X)+E(X)E(Y))=E(XY)-E(XE(Y))-E(YE(X)) +E(E(X)E(Y))。

- 因为E(X)和E(Y)是常数,所以E(XE(Y)) = E(Y)E(X),E(YE(X))=E(X)E(Y),E(E(X)E(Y)) = E(X)E(Y)。

- 最终得到Cov(X,Y)=E(XY)-E(X)E(Y)。

3. 样本协方差推导(对于样本数据x_1,x_2,·s,x_n和y_1,y_2,·s,y_n)- 样本均值¯x=(1)/(n)∑_i = 1^nx_i,¯y=(1)/(n)∑_i = 1^ny_i。

- 样本协方差s_xy=(1)/(n - 1)∑_i = 1^n(x_i-¯x)(y_i - ¯y)。

- 展开(x_i-¯x)(y_i-¯y)=x_iy_i - x_i¯y-y_i¯x+¯x¯y。

- 对其求和并求期望类似前面的推导过程,最终得到样本协方差的表达式。

二、相关系数公式推导。

1. 定义。

- 相关系数ρ_XY=(Cov(X,Y))/(√(D(X))√(D(Y))),其中D(X)是X的方差,D(Y)是Y的方差。

- 方差D(X)=E[(X - E(X))^2]=E(X^2)-E^2(X),同理D(Y)=E[(Y -E(Y))^2]=E(Y^2)-E^2(Y)。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
相关文档
最新文档