概率论 第十三讲 协方差与相关系数

cov(aX ,bY ) = abcov( X ,Y)
cov( X +Y, Z) = cov( X , Z) + cov(Y, Z)
cov( X , X ) = D( X )
| cov( X ,Y) | ≤ D( X )D(Y)
2
当D(X ) > 0, D(Y ) > 0 时，当且仅当
P{Y − E(Y) = t0[ X − E( X )]} =1
设 X 为离散 r.v. 分布为 P( X = xk ) = pk , +∞ k k E( X ) = ∑x i pi X连续 r.v. ，d.f. 为 f (x) E(X ) = ∫ xk f (x)dx −∞
k
i=1
+∞
所以 E(X)是一阶原点矩，D(X)是二阶中心矩
二 协方差和相关系数
问题 对于二维随机变量(X ,Y ): 已知联合分布 边缘分布
2 2
1 , x2 + y2 ≤1, f (x, y) = π 0, 其 它
2 1− x2 , −1< x <1, f X (x) = π 0, 其 它 2 1− y2 , −1< y <1, fY ( y) = π 0, 其 它
f (x, y) ≠ f X (x) fY ( y)
但
E( X ) = ∫−1 x
E( XY) =
1
2 1− x
2
π
= 0;
∫∫
x2 + y2 ≤1
1 xy dxdy = 0;
π
cov( X ,Y) = E( XY) = E( X )E(Y) = 0
[附录2]
几个重要的 r.v. 函数的数学期望
E( X ) E(| X | )
k k k
—— X 的 k 阶原点矩 —— X 的 k 阶绝对原点矩
cov( X,Y) = E([X − E(X )][Y − E(Y)])
称
cov( X,Y) D( X ) D(Y) cov( X,Y)
为（X , Y ）的协方差矩阵 可以证明 协方差矩阵 为 半正定矩阵
若D (X ) > 0, D (Y ) > 0 ,称
( X − E( X ))(Y − E(Y) cov( X ,Y) E = D( X ) D(Y) D( X ) D(Y)
Cauchy-Schwarz不等式 的等号成立 即Y 与X 有线性关系的概率等于1， 这种线性关系为
P Y = ±X =1
X = (X − EX) / D(X), Y = (Y − EY) / D(Y) .
∗ ∗
(
∗
∗
)
ρXY =1
ρXY = −1
cov( X ,Y) > 0
P(Y = X ) =1
为X ,Y 的 相关系数，记为
ρXY =
cov( X ,Y) D( X ) D(Y)
无量纲 的量
ρXY = cov( X ∗,Y∗) 事实上，
若 ρXY = 0, 称 X ,Y 不相关.
协方差和相关系数的计算
cov( X ,Y) = E( XY) − E( X )E(Y)
为离散型， 若 ( X ,Y ) 为离散型，
D[(Y − E(Y)) −t0 ( X − E(X ))] = 0
P[(Y − E(Y)) −t0 (X − E(X )) = 0] =1
P[(Y − E(Y)) −t0 ( X − E( X )) = 0] =1
即
P[(Y − E(Y)) = t0 ( X − E( X ))] =1
即 Y 与 X 有线性关系的概率等于1, 这种 线性关系为
pi•
18 38
18
18
38
28
38
XY P
-1
0
1
28
48
28
E( X ) = E(Y) = 0; E( XY) = E( X )E(Y)
E( XY) = 0;
但
1 P( X = −1,Y = −1) = 8 2 3 ≠ P( X = −1)P(Y = −1) = 8
} 反例2 反例2 ( X ,Y) ~ U(D), D ={(x, y) x + y ≤1
2
即 | cov( X ,Y) | ≤ D( X )D(Y)
2
等号成立
g(t) = 0 有两个相等的实零点
g(t0 ) = 0 即 2 E[(Y − E(Y)) −t0 ( X − E( X ))] = 0 显然 E[(Y − E(Y)) −t0 ( X − E( X ))] = 0
cov( X ,Y) D(Y) t0 = = ± D( X ) wk.baidu.comD( X )
例3 设Θ~ U(0,2π) , X=cos Θ , Y=cos( Θ +α ), α 是给定的常数，求 ρXY 1 , 0 < t < 2π , 解 fΘ (t) = 2π 其 他
2π
1 1 E( XY) = ∫0 cos(t)cos(t +α) ⋅ dt = cosα 2π 2 1 cov( X ,Y) = cosα 2
返回主目录
1 例4假设一批种子的良种率为 6 ，从中任意选出600 粒，试用切比晓夫（Chebyshev）不等式估计：这 1 600粒种子中良种所占比例与 之差的绝对值不超过 6
1 解： 表示600粒种子中的良种数, 则 X ~ B(600, ). X 6 1 1 5
E(X) = 600 × , D(X) = 600 × × . 6 6 6 由切比晓夫不等式有
例1 已知 X ,Y 的联合分布为
pij X Y 1 0 p 0 0 q 1 0 0 < p <1 p+q=1
求 cov (X ,Y ), ρXY 解
X P 1 0 p q Y P 1 0 p q XY P 1 p 0 q
E( X ) = p, E(Y) = p, D( X ) = pq, D(Y) = pq,
1 1 1 E( X ) = ∫0 cos t ⋅ dt = , D( X ) = , 2π 2 2 2π 1 1 1 2 2 E(Y ) = ∫0 cos (t +α) ⋅ dt = , D(Y) = , 2 2π 2
2 2 2π
2π
ρXY = cosα
若 α = 0, ρXY =1 若 α = π , ρXY = −1
Y − E(Y) X − E( X ) P =± =1 D( X ) D(Y)
完全类似地可以证明
E ( XY) ≤ E( X )E(Y )
2 2 2
当E(X 2) > 0, E(Y 2 ) > 0 时,当且仅当
P(Y = t0 X ) =1
时, 等式成立.
相关系数的性质
| ρXY |≤1 | ρXY |=1
对二维随机变量,除每个随机变量各自 的概率特性外, 相互之间可能还有某种联系 问题是用一个怎样的数去反映这种联系. 数 E([ X − E( X )][Y − E(Y)]) 反映了随机变量 X , Y 之间的某种关系
协方差和相关系数的定义
定义 称 E([ X − E( X )][Y − E(Y)]) 为 X ,Y 的协方差. 记为
= ∫ xy ⋅ dx∫
0
5 1 2 x(1+ 3y )dy = 6 4
cov( X ,Y) = E( XY) − E( X )E(Y) = 0,
R( X , Y ) = 0
1 E( X ) = ∫0 cos t ⋅ dt = 0, 2π 2π 1 E(Y) = ∫0 cos(t +α) ⋅ dt = 0, 2π
P{| X − µ |< ε } ≥ 1 − σ / ε
证明： （只证 X 是连续型）
P{| X − µ |≥ ε } =
≤ 1
∞
| x − |≥
∫ fε ( x )dx ≤ ∫ µ
ε ε
|x−µ|
2
|x − µ |≥ε
ε
2
f ( x )dx
ε
2
−∞
DX σ 2 (x − µ)2 f (x)dx = 2 = 2 ∫
1 4 1 2 = ∫0 x ⋅ xdx∫0 (1+ 3y )dy = 3 4 +∞ +∞ E(Y) = ∫−∞ ∫−∞ yf (x, y)dxdy 5 21 1 2 = ∫0 xdx∫0 y(1+ 3y )dy = 8 4 2
+∞ +∞
E( XY) = ∫
2 0
+∞ −∞
∫
1
+∞ −∞
xyf (x, y)dxdy
0.02的概率。
1 5 600 × × DX 6 6 = 0.4213 = P{ X - 100 ≤ 12} ≥ 1 − 2 = 1 − 144 12
X 1 X-100 P{ − ≤ 0.02} = P{ ≤ 0.02} 600 6 600
[附录1]
性质 4 的逆命题不成立，即
若E (X Y ) = E (X )E (Y )，X ,Y 不一定独立 反例 1 pij X -1 0 1 p• j Y 18 18 18 38 -1 0 18 18 28 0 1
ρXY = 0
X , Y 不相关
cov( X ,Y) = 0 E( XY) = E( X )E(Y)
D( X ±Y) = D( X ) + D(Y)
X , Y 不相关
X ,Y 相互独立
三、切比晓夫不等式 定理：（切比晓夫不等式） (Chebyshev 不等式) 随机变量X有数学期望 E( X ) = µ, 方差D( X ) = σ对任意 , 2 ε >0, 不等式 P{| X − µ |≥ ε } ≤ σ 2 / ε 2 成立， 或 2 2
第十三讲 协方差与相关系数
教学目的： 教学目的 1.矩的概念. 2 .协方差与相关系数 3切贝谢夫不等式 教学内容： 教学内容 第三章， § 3.6 ～ 3.7 。
一矩
定义
若 E ( X k ) 存在，称之为 X 的 k 阶原点矩。
若 E ( X − EX ) k 存 在 ，称 之 为 X 的 k 阶中 心 矩。
E(( X − E( X )) ) —— X 的 k 阶中心矩 E(( X − E( X )) ) = D( X ) —— X 的 方差
2
E(( X − E( X )) (Y − E(Y)) ) —— X ,Y 的 k + l 阶混合中心矩 E(XY) —— X ,Y 的 二阶原点矩
k l
E( X Y ) —— X ,Y 的 k + l 阶混合原点矩
Y=X Y = −X
X,Y 有线性关系
| ρXY |=1
若 α = π , 3π , 2 2
ρXY = 0 X,Y 不相关，
但 X,Y 不独立，
2 2
X,Y 没有线性关系，但有函数关系
X +Y =1
协方差和相关系数的性质 协方差的性质
cov( X ,Y) = cov(Y, X ) = E( XY) − E( X )E(Y)
。
返回主目录
这个不等式给出了随机变量 X 的分布未知情 况下，事件{| X − µ |< ε } 的概率的一种估计方法。
例 如 ： 在上 面 不等 式 中， 取 ε = 3σ , 4σ ， 有 ：
P{| X − µ |< 3σ } ≥ 0.8889 P{| X − µ |< 4σ } ≥ 0.9375
E( XY) = p,
cov( X ,Y) = pq, ρXY =1
例2设二维 r.v. (X ,Y ) 的 d.f. 为
1 x(1+ 3y2 ), 0 < x < 2,0 < y <1, f (x, y) = 4 0, 其 它
求 cov( X ,Y), R( X , Y ) 解 E( X ) = ∫−∞ ∫−∞ xf (x, y)dxdy
时, 等式成立 — Cauchy-Schwarz不等式 证 令 g(t) = E{[Y − E(Y )] − t[ X − E( X )]}
2
2
= D(Y) − 2t cov( X ,Y) + t D( X )
对任何实数 t , g(t) ≥ 0
4cov ( X ,Y) − 4D( X )D(Y) ≤ 0
∞ ∞ i=1 j =1
1 = ± (D( X ±Y) − D( X ) − D(Y)) 2
cov( X,Y) = ∑∑[xi − E( X )][ yj − E(Y)]pij
为连续型， 若 ( X ,Y ) 为连续型，
cov( X,Y) = ∫
+∞ +∞
−∞ −∞
∫
[x − E( X )][ y − E(Y)] f (x, y)dxdy
∗ ∗
cov( X ,Y) < 0
P(Y = −X ) =1
∗ ∗
如例1中 X ,Y 的联合分布为 pij X 1 0 Y
1 0
已求得
∗
p 0
0 q
则必有
∗
0 < p <1 p+q=1
ρXY =1,
P( X = Y ) =1
其中 X ∗ = ( X − p) / pq, Y∗ = (Y − p) / pq .