协方差及相关系数分解
协方差与相关系数公式详解了解变量之间的关联程度
协方差与相关系数公式详解了解变量之间的关联程度协方差与相关系数公式详解：了解变量之间的关联程度在统计学中，协方差和相关系数是了解变量之间关联程度的重要指标。
它们能够帮助我们判断两个或多个变量之间的关系以及它们对彼此的影响程度。
本文将详细解释协方差和相关系数的公式以及如何使用它们来进行分析。
一、协方差协方差用于衡量两个变量的总体误差。
它的公式如下：协方差= Σ[(Xi- X均) * (Yi - Y均)] / N其中，Xi和Yi是样本的观测值，X均和Y均是样本的均值，N是样本量。
协方差具有以下几个性质：1. 如果两个变量的协方差大于0，则它们正相关；如果协方差小于0，则它们负相关；如果协方差等于0，则它们不相关。
2. 协方差的绝对值大小不能反映出变量之间的强度和方向。
3. 协方差受到变量单位的影响，不便于比较不同数据集之间的关联程度。
二、相关系数相关系数用于衡量两个变量之间的线性关系强度和方向，它可以消除变量单位的影响。
最常用的是皮尔逊相关系数，其计算公式如下：相关系数 = 协方差 / (X标准差 * Y标准差)其中，X标准差和Y标准差分别是X和Y的标准差。
相关系数取值范围在-1到1之间，具有以下特点：1. 相关系数为1时，表示两个变量完全正相关，即存在着线性关系。
2. 相关系数为-1时，表示两个变量完全负相关，即一个变量的增加与另一个变量的减小呈线性关系。
3. 相关系数接近0时，表示两个变量之间关系较弱，接近随机关系。
4. 若相关系数为0，表示两个变量之间不存在线性关系。
通过计算相关系数，我们可以了解到变量之间关联程度的强弱。
然而，需要注意的是相关系数只能衡量线性关系，若变量之间存在非线性关系，则相关系数可能无法准确刻画它们之间的关系。
三、协方差和相关系数的应用协方差和相关系数广泛应用于金融学、经济学、社会科学等领域。
它们能够提供关于变量之间关系的重要信息，有助于数据分析和决策制定。
在金融领域，协方差和相关系数可用于评估资产之间的风险和收益关系。
协方差与相关系数
= ρσ 1σ 2
ρ xy =
ρσ 1σ 2 = =ρ σ 1σ 2 D ( X ) D (Y )
Cov ( X , Y )
ρ=0, ,
从而说明二维正态分布随机变量X, 相互独立 从而说明二维正态分布随机变量 ,Y相互独立 相互独立与不相关是等价的. 即X,Y相互独立与不相关是等价的. , 相互独立与不相关是等价的
山东农业大学
概率论与数理统计
主讲人:程述汉 苏本堂
设二维( 例2 设二维(X,Y)随机变量的密度函数为
π π 1 cos( x + y ), 0 ≤ x ≤ , - ≤ y ≤ 0 f ( x, y ) =Y )
1 2 0 π 解 因为 E ( X ) = ∫ ∫ π x cos( x + y )dxdy = ≈ 0.7854, 2 0 -2 4 π 2 1 2 0 2 π π 2 D( X ) = ∫ ∫ π x cos( x + y)dxdy -[ E( X )] = + 2 ≈ 0.1876 2 0 -2 16 2 同理可得 E (Y ) ≈ 0.7854, D(Y ) ≈ 0.1876, 1 π 0 π 2 E ( XY ) = ∫ ∫ π xy × cos( x + y )dxdy1 ≈ -0.5708, 2 0 -2 2 cov( X , Y ) = E ( XY ) - E ( X ) E (Y )
2aE[Y E (Y )][ X E ( X )] + 2 E[Y E (Y )][ E (Y ) aE ( X ) b]
2 aE [ X E ( X )][ E (Y ) aE ( X ) b ]
= D(Y ) + a D( X ) + [ E (Y ) aE ( X ) b] 2a cov( X , Y )
协方差与相关系数
协⽅差与相关系数协⽅差与相关系数协⽅差⼆维随机变量（X，Y），X与Y之间的协⽅差定义为：Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}其中：E(X)为分量X的期望，E(Y)为分量Y的期望协⽅差Cov(X,Y)是描述随机变量相互关联程度的⼀个特征数。
从协⽅差的定义可以看出，它是X的偏差【X-E(X)】与Y的偏差【Y-E(Y)】的乘积的数学期望。
由于偏差可正可负，因此协⽅差也可正可负。
l 当协⽅差Cov(X,Y)>0时，称X与Y正相关l 当协⽅差Cov(X,Y)<0时，称X与Y负相关l 当协⽅差Cov(X,Y)=0时，称X与Y不相关举个例⼦⼆维随机变量（⾝⾼X，体重Y）（数据是⾃⼰编的）⾝⾼X（cm）体重Y（500g）X-E(X)Y-E(Y)[X-E(X)][Y-E(Y)]115292-19.4-39.7770.18218516213.630.3412.083169125-2.4-6.716.0841721180.6-13.7-8.225174122 2.6-9.7-25.226168135-3.4 3.3-11.2271801688.636.3312.18E(X) =171.4E(Y) =131.7E{[X-E(X)][Y-E(Y)]}=209.4根据直觉我们也会想到，⾝⾼和体重是有正相关性的，⾝⾼较⾼的体重⼀般会⽐较⼤，同样体重⼤的⾝⾼⼀般也⽐较⾼。
计算出来的结果也⾮常符合我们的直觉。
再来举⼀个反例⼆维随机变量（玩游戏的时间X，学习成绩Y）（数据是⾃⼰编的）游戏时间游戏时间X（h/天）学习成绩Y X-E(X)Y-E(Y)[X-E(X)][Y-E(Y)] 1095-1.3620.7-28.152 2165-0.36-9.3 3.348 3370 1.64-4.3-7.052 42550.64-19.3-12.3525 2.565 1.14-9.3-10.602 60.580-0.86 5.7-4.902 70.590-0.8615.7-13.502E(X) =1.36E(Y) =74.3E{[X-E(X)][Y-E(Y)]}= -10.5同样根据直觉我们也会觉得，⼩朋友玩游戏的时间越长，学习成绩越差的可能性就越⼤，计算结果也很好的符合我们的直觉。
协方差与相关系数深度剖析
协方差与相关系数深度剖析在统计学和数据分析领域，协方差和相关系数是描述随机变量之间关系的重要工具。
虽然它们可能被新手混淆，但它们有着各自独特的定义和用途。
在本文中，我们将对协方差和相关系数进行深度剖析，讨论它们的计算方法、性质、应用场合及其相互关系。
一、协方差的定义及计算协方差是用来衡量两个随机变量之间的共同变化程度的指标。
它可以告诉我们当一个随机变量增加时，另一个随机变量是增加还是减少。
1.1. 协方差的数学表达对于两个随机变量 (X) 和 (Y)，它们的协方差 ((X, Y)) 可以用以下公式计算：[ (X, Y) = E[(X - _X)(Y - _Y)] ]其中，(E) 表示期望，(_X) 和 (_Y) 分别是随机变量 (X) 和(Y) 的期望值。
1.2. 协方差的性质正协方差：如果((X, Y) > 0)，说明 (X) 和 (Y) 同向变化，即一个增加时另一个也增加。
负协方差：如果((X, Y) < 0)，那么 (X) 和 (Y) 反向变化，即一个增加时另一个减少。
零协方差：如果 ((X, Y) = 0)，表示两个变量之间没有线性关系。
二、相关系数的定义及计算相关系数是标准化的协方差，用以衡量两个变量之间线性关系强度的度量。
相关系数的取值范围在 -1 到 1 之间。
2.1. 相关系数的数学表达皮尔逊相关系数（Pearson correlation coefficient）通常用字母 (r) 表示，可以通过以下公式计算：[ r = ]其中，(_X) 和 (_Y) 分别是随机变量 (X) 和 (Y) 的标准差。
2.2. 相关系数的性质取值范围：当 (r = 1)，表示完全正相关。
当 (r = -1)，表示完全负相关。
当 (r = 0)，表示没有线性关系。
无量纲性：因为相关系数是标准化的，所以它不依赖于数据的尺度或单位。
三、协方差与相关系数的关系尽管协方差和相关系数都有助于理解两个随机变量之间的关系，但二者之间存在重要区别。
协方差公式 相关系数
协方差公式相关系数
协方差(covariance)定义为：
cov（x,x）=var（x）协方差是对x与y之间联动关系的一种测度，即测量x与y的同步性。
当x与y同时出现较大值或者较小值时，cov>0,二者正相关。
若x出现较大值时y出现较小值，cov<0，二者负相关。
该相关关系并不意味着因果关系
计算方式：
e为期望算子，\mu 为总体平均值。
从该式中我们可以发现，cov的大小与x、y的大小有关。
为
了无量纲化，要对其进行标准化。
就有了相关系数的概念。
相关系数定义为：
就是协方差除了xy各自的标准差，这样才能刻画xy之间联动性的强弱。
这里需要注意的是，相关系数应该叫线性相关系数，它只能反映线性关系。
为何只能是线性关系的测度？
证明：
给出一个线性函数，y=a+bx (b \ne0 ,x的方差存在）
则，
所以，当x与y完全线性的时候，总有相关系数为1或者为-1.
扩展到一般线性模型：y=a+bx+ \varepsilon
其中， \varepsilon满足e（\varepsilon）=0，var （\varepsilon）=\sigma^{2}
同理可证，
这里，相关系数与1之间的偏离程度就受
\sigma_{\varepsilon}^{2}/\sigma_{x}^{2} 的影响。
所以它衡量的只是线性关系，绝对值不会超过1。
第3节协方差与相关系数
因为 DY * X * 2 2XY 0 ,
所以由方差性质,存在 C,使得
P Y * X* C 1,
即
P
Y
DY DXX
DY C EY
DY DX
EX
1
令a
DY D X 0,b C
DY E Y
X,Y
不相关.
例:设 ~ U , ,又 X sin ,Y cos ,试求 X 与 Y 间的相关系数.
解: EX sin 1 d 0, EY 1 cos d 0 ,
2
2
E XY
sin cos
1.定义:设(X,Y)为二维随机向量,若 D(X)>0,D(Y)>0,则称
COV
DX
X ,Y DY
为
X
与
Y
的相关系数,记为
XY
(或
),即
COV X ,Y
XY = DX DY
注:令 X*
X
EX DX
,Y*
Y
EY DY
，则 XY
COV X*,Y * .
协方差及相关系数
，X )
1 Cov(X 2
，Y )
1 3
D(
X
)
1 2
XY
D(X )
D(Y )
1 3
9
1 2
1 2
3
4
3
3
0
，
故 X 与 Z 的相关系数为 XZ
Cov( X ，Z) 0 ． D(X ) D(Z)
（3）由 X ，Y 服从正态分布知 Z X Y 也服从正态分布，而两个正态随机变量相互独 32
立与不相关是等价的，所以由 XZ 0 即 X 与 Z 不相关，可推出 X 与 Z 相互独立．
概率论与数理统计
XY 1， 当 a 0 时．
（4-16）
1.3 随机变量的相关性
定义 4.6 随机变量 X 与Y 的相关系数为 XY ，若 XY 0 ，则称 X 与 Y 不相关，若 XY 0 ，则称 X 与Y 相关．
X与Y不相关
XY 0
Cov(X,Y)=0
E(XY)=E(X)E(Y)
D(X±Y)=D(X)+D(Y)
定义 4.5 设随机变量 X 与Y 的方差存在，且均不为零，则称
Cov(X ，Y ) D(X ) D(Y )
为 X 与Y 的相关系数，记作 XY ，或简记为 ，即
XY
Cov(X ，Y) E{[ X E(X)][Y E(Y)]} ．
D(X ) D(Y )
D(X ) D(Y)
定理 4.3 若随机变量Y 是 X 的线性函数，即Y aX b (a 0) ，则 1， 当 a 0 时，
定理 4.5 设随机变量 (X ，Y ) 服从二维正态分布，则 X 与Y 不相关的充要条件是 X 与Y
相互独立．
1.3 随机变量的相关性
43 协方差与相关系数分解
Cov( X ,Y ) D( X ) D(Y )
Y nX
D(Y ) D(n X) D(X)
Cov( X ,Y ) Cov( X , n X) D( X )
选择题
1.下列各式中哪个是错的（ ( C ) ）
A XY 1
B cov(X ,Y ) D( X ) D(Y )
C 0 f X ( x) 1 D 0 FX ( x) 1
相关系数是衡量x与y之间线性相关 程度的量
e=E{[Y-(a+bX)]2}
e的值越小，说明a+bX？与Y的近似程度越好。
怎样使e的值越小？
方法：将e看作a,b的函数，可取a,b使e达到最小。
e最小 min E{[Y (a bX )]2 }
a,b
e=E{[Y-(a+bX)]2}
=E(Y2)+b2E(X2)+a2 -2bE(XY)+2abE(X)-2aE(Y)
则X与Y必然不独立
covX ,Y E{[ X E( X )][Y E(Y )]}
是刻划X与Y间取值的相互关系的数字特征
特殊情况
Cov(X,X)=D(X), Cov(Y,Y)=D(Y)
协方差与独立的关系：
若X、Y相互独立
Cov(X,Y)=0,
若Cov(X,Y) ≠0,则X与Y就不独立， 也即X与Y之间存在一定关系。
怎样引入描述X与Y之间联系？
当X,Y相互独立时，
E (X Y ) - E (X )E (Y )=0 .
逆否命题：
若 EXY EX EY 0
则X,Y相互不独立
推出：X,Y存在某种关系
两个随机变量 X 与 Y 之间相互关系
1 X 越大 Y 也越大， X 越小 Y 也越小
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P pq
0 <Байду номын сангаасp <1 p + q =1
XY 1 0 P pq
E( X ) p, E(Y ) p, D( X ) pq, D(Y ) pq,
E( XY ) p, D( XY ) pq,
cov( X ,Y ) pq, XY 1
例2
设( X ,Y )
~
N
(
μ1
,
μ2
,
σ12
,
σ
2 2
32 3
2
1. 3
D(Z ) D( X ) D(Y ) 2Cov( X ,Y )
3
2
32
1 D( X ) 1 D(Y ) 1 Cov( X ,Y )
9
4
3
1 9
D(
X
)
1 4
D(Y
)
1 3
ρXY
D( X )
D(Y )
1 4 2 3.
(2) Cov( X , Z ) Cov( X , X Y ) 32
2
σ
2 2
)2
y
.
2πσ2
E( X ) μ1, E(Y ) μ2, D( X ) σ12, D(Y ) σ22. 而
Cov( X ,Y )
(
x
μ1 )(
y
μ2
)
f
(
x,
y)d
x
d
y
1
2πσ1σ2 1 ρ2
(x
μ1 )(
y
μ2 )
e e d y d x.
(
x μ1 2σ12
D( X ) D(Y ) 2E{[X E( X )][Y E(Y )]}. 协方差
2. 定义
量 E{[X E( X )][Y E(Y )]} 称为随机变量 X 与 Y 的协方差. 记为 Cov( X ,Y ), 即
Cov( X ,Y ) E{[X E( X )][Y E(Y )]}.
例 3 已知随机变量X ,Y分别服从N (1,32 ), N (0,42 ), ρXY 1 2,设 Z X 3 Y 2.
(1) 求 Z 的数学期望和方差. (2) 求 X 与 Z 的相关系数.
解 (1)由E( X ) 1, D( X ) 9, E(Y ) 0, D(Y ) 16.
得 E(Z ) E( X Y ) 1 E( X ) 1 E(Y )
将 e 分别关于 a,b 求偏导数,并令它们等于零,得
e ae
2a 2bE( X ) 2E(Y ) 2bE( X 2 ) 2E( XY )
,
ρ),
试求
X
与Y
的
相关系数.
解 由 f (x, y)
1
2πσ1σ2 1 ρ2
1
exp
2(1
ρ2
)
( x
μ1 )2 σ12
2ρ
(
x
μ1)( y σ1σ2
μ2 )
(
y
μ2 )2
σ
2 2
fX (x)
1
e ,
(
x μ1 2σ12
)2
x
,
2πσ1
fY ( y)
1
e ,
(
y μ2
设 e E[(Y (a bX ))2]
则 e 可用来衡量 a bX 近似表达 Y 的好坏程度. 当 e 的值越小,表示 a bX 与 Y 的近似程度越好.
确定 a,b 的值,使 e 达到最小.
e E[(Y (a bX ))2]
E(Y 2 ) b2E( X 2 ) a2 2bE( XY ) 2abE( X ) 2aE(Y ).
( 2) 二维正态随机变量 X 与Y 相关系数为零 等价于 X 与Y 相互独立.
5. 性质
(1) Cov(X ,Y ) Cov(Y , X ); (2) Cov( aX ,bY ) abCov( X ,Y ) , a, b 为常数; (3) Cov( X1 X2 ,Y ) Cov( X1,Y ) Cov( X2 ,Y ).
4. 协方差的计算
1). 利用定义计算
若 ( X ,Y ) 为离散型，
cov( X ,Y ) (xi E( X ))( y j E(Y ))pij
i1 j1
若 ( X ,Y ) 为连续型，
cov( X ,Y ) (x E(X ))( y E(Y )) f (x, y)dxdy
)2
1 2(1
ρ2
)
y μ2 σ2
ρ
x
μ1 σ1
2
令 t 1 y μ2 ρ x μ1 , u x μ1 ,
1 ρ2 σ2
σ1
σ1
Cov(X ,Y )
1
2π
(σ1σ2
1
ρ2 tu
ρσ1σ
2u2
)e
u2 2
t2 2
dtdu
ρσ1σ2 2π
u2e
u2 2
d
2). 利用计算公式
(1) Cov(X ,Y ) E( XY ) E( X )E(Y );
(2) D( X Y ) D( X ) D(Y ) 2Cov( X ,Y ).
例1 已知 X ,Y 的联合分布为
pij X
1
0
Y
1
p
0
0
0
q
求 cov (X ,Y ), XY
解
X 10
Y 10
P pq
1 Cov( X , X ) 1 Cov( X ,Y )
3
2
1 3
D(
X
)
1 2
ρXY
D( X )
D(Y ) 3 3 0.
故 ρXZ Cov( X , Z) ( D( X ) D(Z)) 0.
二、相关系数的意义
1. 问题的提出
问 a,b 应如何选择 ,可使 a bX 最接近 Y ? 接近的程度又应如何来 衡量 ?
而
Cov(X ,Y ) ρXY D( X ) D(Y )
称为随机变量 X 与 Y 的相关系数.
3. 说明
(1) X 和 Y 的相关系数又称为标准协方差,它是一 个无量纲的量.
(2) 若随机变量 X 和 Y 相互独立 Cov(X ,Y ) E{[X E( X )][Y E(Y )]}
E[X E( X )]E[Y E(Y )] 0.
第三节 协方差及相关系数
一、协方差与相关系数的概念及性质 二、相关系数的意义 三、小结
一、协方差与相关系数的概念及性质
1. 问题的提出
若随机变量 X 和 Y 相互独立,那么
D( X Y ) D( X ) D(Y ). 若随机变量 X 和 Y 不相互独立
D( X Y ) ?
D( X Y ) E[( X Y ) E( X Y )]2
u
t2
e2
d
t
ρσ1σ2 2
σ1σ2
1 2π
ρ2
u2
ue 2
d
u
t2
te 2
d
t
2 2,
故有Cov( X ,Y ) ρσ1σ2 .
于是 XY
Cov( X ,Y ) .
D( X ) D(Y )
结论
( 1) 二维正态分布密度函数中,参数 ρ 代表了X 与Y 的相关系数;