4.3协方差 相关系数
合集下载
4.3协方差相关系数
解 由题意可知，X ~ B(n, 1), Y ~ B(n, 1), X Y n
2
2
E(X ) 1 n, E(Y ) 1 n, D(X ) D(Y ) 1 n
2
2
4
cov(X ,Y ) E[X E(X )][Y E(Y )]
E{[X E(X )][(n X ) E(n X )]}
一、协方差
定 义 1 ： 称 数 值 E{[X-E(X)][Y-E(Y)]} 为 X,Y 的 协 方 差 ， 记 为
Cov(X,Y)(Covariance)或σxy，即：
σxy＝Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]}
(1)
说明： 1) 由定义1，若(X,Y)是离散型的，则
xy Cov(X ,Y )
D(X ) 4D(Y ) 4( D(X ) D(Y )XY ) 3
四、矩
定义3 设X是随机变量，若E(Xk) ，k=1,2,…存在，称它为X
的k阶原点矩，简称k阶矩
首页
上页
返回
下页
结束
铃
定义3 设X是随机变量，若E(Xk) ，k=1,2,…存在，称它为X
的k阶原点矩，简称k阶矩 若E[X-E(X)]k , k=1,2,…存在，称它为X的k阶中心矩
σXX=σYY=1/4 ，σXY＝0
fX (x) fY ( y) f (x, y) 故X与Y不相互独立
可见σXY＝0是随机变量X与Y独立的必要条件而非充分条件.
首页
上页
返回
下页
结束
铃
注:对二维正态向量而言，σXY＝0是X,Y相互独立的充要条件。 §3.4例2曾证明X,Y独立的充要条件是ρ＝0，以下例题将证明
2 1 2
协方差与相关系数
其余均方误差
e
D(Y
)(1
2 XY
).
从这个侧面也
能说明 XY 越接近1，e 越小. 反之， XY 越近于0，
e 就越大， Y与X的 线性相关性越小.
完
例3 设 ( X ,Y ) 的分布律为
X
Y
2 1 1 2 P{Y yi }
1
0 1/4 1/4 0
1/ 2
4
1/4 0 0 1/4 1/2
D(Y
)[1
2 XY
],
D(Y
)1
[cov( X ,Y )]2 D( X )D(Y )
D(Y
)[1
2 XY
],
由于方差
D(Y
)
是正的，
故必有
1
2 XY
0,
所以
XY 1.
性质2. 若 X 和 Y 相互独立，则 XY 0;
注意到此时 cov( X ,Y ) 0, 易见结论成立.
注： X 与Y 相互独立
完
例4 设 服从 [ , ] 上的均匀分布, 且
X sin , Y cos
判断 X 与 Y 是否不相关, 是否独立.
解
由于
E( X )
1
2
sind 0,
E(Y
)
1
2
cosd 0,
而
E(
XY
)
1
2
sin cosd 0.
2
因此
E( XY ) E( X )E(Y ),
从而 X 与 Y 不相关. 但由于 X 与 Y 满足关系:
完
例2 设连续型随机变量 ( X ,Y ) 的密度函数为
f
(
x,
协方差与相关系数
D( X + Y ) = ? D( X + Y ) = E ( X + Y )2 − [ E ( X + Y )]2
= D( X ) + D(Y ) + 2 E {[ X − E ( X )][Y − E (Y )]}.
协方差
(2) 定义
称 E{[ X − E ( X )][Y − E (Y )]} 为随机变量 X 与 Y 的协方差. 记为 Cov( X , Y ), 即 C ov( X , Y ) = E{[ X − E ( X )][Y − E (Y )]}. 称 ρXY = Cov( X , Y ) D( X ) ⋅ D(Y ) ( D( X ) ≠ 0, D(Y ) ≠ 0)
G
O
x
D(Y ) = D( X ) = 153 / 2800,
Cov( X , Y ) = E ( XY ) − E ( X ) E (Y ) = 19 / 400 = 0.0475,
Cov( ,Y ) X ρXY = = 0.87, D( X ) ⋅ D(Y )
D( X + Y ) = D( X ) + D(Y ) + 2Cov( X ,Y ) = 0.2043.
a ,b
2 = E {[Y − (a0 + b0 X )]2 } = (1 − ρXY ) D(Y )
⇒ ρXY = 1.
(4) 不相关与相互独立的关系 若随机变量X， 相互独立 相互独立， 定理 若随机变量 ，Y相互独立， 则 ρ xy = 0 ,即X，Y不相关。 不相关。 ， 不相关 不相关 注 1) 相互独立 如后面例２ 如后面例２． 2) 不相关的充要条件
2) D( X +Y ) = D( X ) + D(Y ) + 2Cov( X ,Y ).
协方差和相关系数公式_相关系数与协方差的关系
·若Corr(X,Y)=0，则称X与Y不相关。不相关是指X与Y没有线性关系，但也有可能有其他关系，比如平方关系、立方关系等。
·若Corr(X,Y)=1，则称X与Y完全正相关；若Corr(X,Y)=-1，则称X与Y完全,负相关。
·若0
2协方差与相关系数的一致性
从协方差与相关系数的定义和性质我们不难发现，协方差与相关系数都是反映X与Y相关程度的量。也就是说，他们有异曲同工之效。在刻画二维随机变量两个分量间相互关联程度时，他们保持了一致性。这一点我可以给出以下两个例子来说明。
又由于Corr(X,Y)=－1，表明X与Y间是完全负相关的。其实，这个结论早就蕴含在线性关系式X+Y=n之中了。
综上，就说明：在某种情况下，协方差和相关系数在反映X与Y间的关联程度时保持
一致性。若是这样的话，研究相关系数似乎有点多余了。因为，我们已经有一个可以反映X与Y间的关联程度的量了（即协方差），那我们能否找出相关系数更的地方呢？3协方差与相关系数的“矛盾性”
解：因为X+Y=n，且X～b（n，1/2），Y～b（n，1/2），所以
n Var(X) =Var(Y)=，4
n Cov(X,Y)=Cov(X ,n－X)=－Cov(X,X)=－4
Corr(X,Y)= Cov(X,Y)
(X)(Y)=-n
n=－1
4
我们假定n=1，Cov(X,Y)=-1
4
我们可以得出，随着n的增大，协方差Cov(X,Y)就越来越小，随之X与Y的负相关性就表；n=100，Cov(X,Y)=－25；n=*****，Cov(X,Y)=－2500„„现得越来越强烈。就有limCov(X,Y)=-∞，X与Y间是完全负相关的。n→∞
协方差和相关系数公式
1协方差、相关系数的定义及性质
·若Corr(X,Y)=1，则称X与Y完全正相关；若Corr(X,Y)=-1，则称X与Y完全,负相关。
·若0
2协方差与相关系数的一致性
从协方差与相关系数的定义和性质我们不难发现，协方差与相关系数都是反映X与Y相关程度的量。也就是说，他们有异曲同工之效。在刻画二维随机变量两个分量间相互关联程度时，他们保持了一致性。这一点我可以给出以下两个例子来说明。
又由于Corr(X,Y)=－1，表明X与Y间是完全负相关的。其实，这个结论早就蕴含在线性关系式X+Y=n之中了。
综上，就说明：在某种情况下，协方差和相关系数在反映X与Y间的关联程度时保持
一致性。若是这样的话，研究相关系数似乎有点多余了。因为，我们已经有一个可以反映X与Y间的关联程度的量了（即协方差），那我们能否找出相关系数更的地方呢？3协方差与相关系数的“矛盾性”
解：因为X+Y=n，且X～b（n，1/2），Y～b（n，1/2），所以
n Var(X) =Var(Y)=，4
n Cov(X,Y)=Cov(X ,n－X)=－Cov(X,X)=－4
Corr(X,Y)= Cov(X,Y)
(X)(Y)=-n
n=－1
4
我们假定n=1，Cov(X,Y)=-1
4
我们可以得出，随着n的增大，协方差Cov(X,Y)就越来越小，随之X与Y的负相关性就表；n=100，Cov(X,Y)=－25；n=*****，Cov(X,Y)=－2500„„现得越来越强烈。就有limCov(X,Y)=-∞，X与Y间是完全负相关的。n→∞
协方差和相关系数公式
1协方差、相关系数的定义及性质
协方差与相关系数
= ρσ 1σ 2
ρ xy =
ρσ 1σ 2 = =ρ σ 1σ 2 D ( X ) D (Y )
Cov ( X , Y )
ρ=0, ,
从而说明二维正态分布随机变量X, 相互独立 从而说明二维正态分布随机变量 ,Y相互独立 相互独立与不相关是等价的. 即X,Y相互独立与不相关是等价的. , 相互独立与不相关是等价的
山东农业大学
概率论与数理统计
主讲人:程述汉 苏本堂
设二维( 例2 设二维(X,Y)随机变量的密度函数为
π π 1 cos( x + y ), 0 ≤ x ≤ , - ≤ y ≤ 0 f ( x, y ) =Y )
1 2 0 π 解 因为 E ( X ) = ∫ ∫ π x cos( x + y )dxdy = ≈ 0.7854, 2 0 -2 4 π 2 1 2 0 2 π π 2 D( X ) = ∫ ∫ π x cos( x + y)dxdy -[ E( X )] = + 2 ≈ 0.1876 2 0 -2 16 2 同理可得 E (Y ) ≈ 0.7854, D(Y ) ≈ 0.1876, 1 π 0 π 2 E ( XY ) = ∫ ∫ π xy × cos( x + y )dxdy1 ≈ -0.5708, 2 0 -2 2 cov( X , Y ) = E ( XY ) - E ( X ) E (Y )
2aE[Y E (Y )][ X E ( X )] + 2 E[Y E (Y )][ E (Y ) aE ( X ) b]
2 aE [ X E ( X )][ E (Y ) aE ( X ) b ]
= D(Y ) + a D( X ) + [ E (Y ) aE ( X ) b] 2a cov( X , Y )
协方差和相关系数的计算公式
协方差和相关系数的计算公式一、协方差：协方差是用来衡量两个变量之间的关系的统计量。
具体来说，它描述了两个变量的变动趋势是否一致。
协方差的计算公式如下：Cov(X, Y) = Σ((Xi - Xavg) * (Yi - Yavg)) / (n - 1)其中，Cov(X, Y)表示X和Y的协方差，Xi和Yi分别表示第i个观测值，Xavg和Yavg分别表示X和Y的平均值，n表示总观测次数。
协方差的计算方法如下：1. 计算X和Y的平均值：Xavg = ΣXi / n，Yavg = ΣYi / n2. 计算每个观测值与平均值的差：(Xi - Xavg)和(Yi - Yavg)3. 将每个差值相乘：(Xi - Xavg) * (Yi - Yavg)4. 对所有的乘积求和：Σ((Xi - Xavg) * (Yi - Yavg))5.最后将求和结果除以(n-1)即可得到协方差。
协方差的取值范围为负无穷到正无穷。
如果协方差为正值，表示X和Y之间存在正相关关系，即当X增大时，Y也增大；如果协方差为负值，表示X和Y之间存在负相关关系，即当X增大时，Y减小；如果协方差接近于零，则表示X和Y之间没有线性相关关系。
二、相关系数：相关系数是用来衡量两个变量之间线性相关程度的统计量。
具体来说，它描述了两个变量之间的线性关系的强度和方向。
相关系数的计算公式如下：ρ(X, Y) = Cov(X, Y) / (σ(X) * σ(Y))其中，ρ(X, Y)表示X和Y的相关系数，Cov(X, Y)表示X和Y的协方差，σ(X)和σ(Y)分别表示X和Y的标准差。
相关系数的计算方法如下：1. 首先计算X和Y的协方差Cov(X, Y)2. 然后计算X和Y的标准差σ(X)和σ(Y)，标准差是方差的平方根，方差的计算公式为Va r(X) = Σ((Xi - Xavg)^2) / (n - 1)3.最后将协方差除以标准差的乘积，即可得到相关系数ρ(X,Y)。
4_3_协方差与相关系数
为(X1,X2, …,Xn) 的协方差矩阵.
《概率统计》
返回
下页
结束
返回
下页
结束
例2. 设随机变量X的方差D(X)≠0, 且Y=aX+b(a≠0), 求X和Y的相关系数ρXY .
解：D(Y ) D(aX b) a2D(X ) .
Cov(X ,Y ) E{[X E(X )][Y E(Y )]}
E{[X E(X )][aX b E(aX b)]} aE[X E(X )]2 aD(X ).
《概率统计》
返回
下页
结束
1）相关系数的计算 X
1 例1. 设(X,Y)的联合分布 2
如右表，求Cov(X,Y) ,ρXY . 3
Y1 2 0 1/6
1/6 1/6 1/12 1/6
1/4 1/2
解：计算得 E(X) = 2 , E(Y) = 2 ,
3 1/12 1/4 1/6 1/2
0 1/4
1/4
1
1x2
1
同理 E(Y) = 0 .
Cov(X ,Y ) E(XY ) E(X )E(Y ) E(XY )
11
1 x2
xyf (x, y)dxdy xdx
ydy 0 ,
1
1x2
于是 ρXY= 0 ，所以 X与Y不相关.
《概率统计》
返回
下页
结束
例5．设随机向量(X,Y)的概率密度如下,试证X与Y既不相关
§4.3 协方差和相关系数
前面我们介绍了随机变量的数学期望和方差,对 于多维随机变量，反映分量之间关系的数字特征中， 最重要的，就是本讲要讨论的“协方差和相关系数”.
1. 协方差 2. 相关系数 §4.4 矩和协方差矩阵
4-3协方差
2 = (1 − ρ XY ) DY = min E[Y − ( a + bX )]2
= DY + DX ⋅
COV 2 ( X , Y )
− 2COV ( X , Y ) ⋅
COV ( X , Y ) DX
即
2 m E Y −(a+bX)] = (1− ρX )D in [ Y Y a,b
2
a ,b
= EY + b EX + a − 2aEY − 2bEXY + 2abEX 达到最小。 求a，b 使 e 达到最小。 ，
2 2 2 2
∂e Y X ∂a = 2a + 2bEX − 2 EY = 0 ⇒a = E −bE 令： ∂ e = 2bEX 2 − 2 EXY + 2aEX = 0 ∂b
协方差与相关系数
(
)
可以证明： 可以证明：X,Y相互独立的充要条件是 相互独立的充要条件是 已证： 已证：
fX ( x) = 1 2π σ 1 e
( x − µ1 ) 2 − 2 2σ 1
ρXY = ρ = 0
e
( y− µ 2 ) 2 − 2 2σ 2
, fY ( y ) =
1 2π σ 2
2 2 则：EX = µ1 , DX = σ 1 , EY = µ 2 , DY = σ 2 ,
a,b ,b
COV ( X ,Y ) ; ⇒ b0 = DX
= E (Y − EY + EX
COV ( X , Y ) COV ( X , Y ) 2 −X⋅ ) DX DX
COV ( X , Y ) 2 ) = E ((Y − EY ) − ( X − EX ) ⋅ DX
= DY + DX ⋅
COV 2 ( X , Y )
− 2COV ( X , Y ) ⋅
COV ( X , Y ) DX
即
2 m E Y −(a+bX)] = (1− ρX )D in [ Y Y a,b
2
a ,b
= EY + b EX + a − 2aEY − 2bEXY + 2abEX 达到最小。 求a，b 使 e 达到最小。 ，
2 2 2 2
∂e Y X ∂a = 2a + 2bEX − 2 EY = 0 ⇒a = E −bE 令： ∂ e = 2bEX 2 − 2 EXY + 2aEX = 0 ∂b
协方差与相关系数
(
)
可以证明： 可以证明：X,Y相互独立的充要条件是 相互独立的充要条件是 已证： 已证：
fX ( x) = 1 2π σ 1 e
( x − µ1 ) 2 − 2 2σ 1
ρXY = ρ = 0
e
( y− µ 2 ) 2 − 2 2σ 2
, fY ( y ) =
1 2π σ 2
2 2 则：EX = µ1 , DX = σ 1 , EY = µ 2 , DY = σ 2 ,
a,b ,b
COV ( X ,Y ) ; ⇒ b0 = DX
= E (Y − EY + EX
COV ( X , Y ) COV ( X , Y ) 2 −X⋅ ) DX DX
COV ( X , Y ) 2 ) = E ((Y − EY ) − ( X − EX ) ⋅ DX
43 协方差与相关系数分解
Cov( X ,Y ) D( X ) D(Y )
Y nX
D(Y ) D(n X) D(X)
Cov( X ,Y ) Cov( X , n X) D( X )
选择题
1.下列各式中哪个是错的（ ( C ) ）
A XY 1
B cov(X ,Y ) D( X ) D(Y )
C 0 f X ( x) 1 D 0 FX ( x) 1
相关系数是衡量x与y之间线性相关 程度的量
e=E{[Y-(a+bX)]2}
e的值越小，说明a+bX？与Y的近似程度越好。
怎样使e的值越小？
方法：将e看作a,b的函数，可取a,b使e达到最小。
e最小 min E{[Y (a bX )]2 }
a,b
e=E{[Y-(a+bX)]2}
=E(Y2)+b2E(X2)+a2 -2bE(XY)+2abE(X)-2aE(Y)
则X与Y必然不独立
covX ,Y E{[ X E( X )][Y E(Y )]}
是刻划X与Y间取值的相互关系的数字特征
特殊情况
Cov(X,X)=D(X), Cov(Y,Y)=D(Y)
协方差与独立的关系：
若X、Y相互独立
Cov(X,Y)=0,
若Cov(X,Y) ≠0,则X与Y就不独立， 也即X与Y之间存在一定关系。
怎样引入描述X与Y之间联系？
当X,Y相互独立时，
E (X Y ) - E (X )E (Y )=0 .
逆否命题：
若 EXY EX EY 0
则X,Y相互不独立
推出：X,Y存在某种关系
两个随机变量 X 与 Y 之间相互关系
1 X 越大 Y 也越大， X 越小 Y 也越小
协方差和相关系数
§4.4 协方差和相关系数随机变量的数字特征，包括数学期望、方差、协方差和相关系数等。
协方差和相关系数是考虑两个随机变量之间的某种关系。
协方差的意义不太直观，它考察两个随机变量(随机向量)与各自均值之差的加权平均值，相关系数则是考虑两个随机变量取值之间的关系。
1. 协方差定义：对两个随机变量X 、Y ，称E X EX Y EY [()()]--为X 与Y 的协方差，记为Cov (X , Y )，即 C o vX Y E X EX Y EY (,)[()()]=-- 2. 相关系数定义：对两个随机变量X 、Y ，称C o vX YD X D Y (,)()()为X 与Y 的相关系数或标准协方差，记为ρXY ，即ρXY Cov X Y D X D Y =(,)()()3. 方差、协方差的运算性质(1) D X Y D X D Y Cov X Y ()()()(,)+=++2 (2) Cov X Y E XY E X E Y (,)()()()=-⋅ 推论：若随机变量X 、Y 独立，则 Cov X Y XY (,)==ρ0Problem ：若Cov X Y XY (,)==ρ0，则X 、Y 是否独立？ (3) Cov X Y Cov Y X (,)(,)= (4) Cov aX bY abCov X Y (,)(,)=(5) Cov X X Y Cov X Y Cov X Y (,)(,)(,)1212+=+Cov X X Y Cov X Y Cov X Y (,)(,)(,)1212-=-4. 相关系数的性质(1) 柯西-许瓦兹(Cauchy-Schwarz)不等式：对任意两个随机变量X 、Y ，若E X E Y ()()22<∞<∞ , ，则 (())()()E XY E X E Y 222≤⋅ 证明：对任意实数t ，有q t E X tY E X t E Y tE XY ()(())()()()=+=++≥222220 因此，二次方程q t ()=0的判别式 440222(())()()E XY E X E Y -⋅≤即(())()()E XY E X E Y 222≤⋅ 证毕。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3 1 7 1 4 2 4 8
（9）
cov( , ) D D
1 8 1 . 3 3 3 4 16
例2、 设 D( ) 25, D( ) 36,
0.4,
求 D(3 2 ) 。
解： D (3 2 ) D (3 ) D (2 ) 2 cov(3 , 2 )
-1 1
1 0 1/4 1/4
2 1/4 1/2 3/4
2
pi
1/4 3/4
p j
3 1 (5) D E ( E ) 1 ； 4 2
2 2
13 7 3 (6) D E ( E ) ； 4 4 16
D( i ) D(i ) 2 Cov(i , j )
i 1 i 1 i j
n
n
当i 相互独立时：D(
) D( )
i 1 i i 1 i
n
n
(6) | cov( ,) | „
证明: 因
D D .
2 2 2
cov( , ) E ( E )( E )
.
事实上，相关系数实质上是
,
标准化后，
E E 的协方差。 与 D D
例1、 设 ( ,) 的概率分布为
-1 1
1 0 1/4
2 1/4 1/2
求 .
解:
-1 1
1 0 1/4 1/4
2 1/4 1/2 3/4
pi
1/4 3/4
p j
E ( E )[( E ) ( E )] E ( E )( E ) E ( E )( E ) cov( , ) cov( , ) .
(4) cov( ,) E( ) E E .
协方差的一个 简洁计算公式
2、性质 (1) cov( , ) cov( , ) .
(2) cov(k , l ) kl cov( , ) , k , l 为常数. (3) cov( , ) cov( , ) cov( , ) .
证明: cov( , ) E ( E )[( ) E ( )]
(5) D( ) D D 2 cov( , ) .
即： D( ) D D 2 E ( E )( E )
若 与 独立，则 Cov( , ) 0 ，反之不一定。
由此：若 与 独立，则
推广：
E E E 。
为了克服这一缺点，对协方差进行标准化， 引入相关系数的概念.
二、相关系数
1、定义： 设 ( , ) 存在有 cov( , ) ，且 D 0 , D 0 ,
cov( , ) 称 为 与 的相关系数,记作 . D D cov( , ) 即 . D D
(3) E ( )
(2) E ( )
yp( x, y)dxdy dx ydy 0 ；
0 x
1
x
xyp( x, y)dxdy dx xydy 0 ；
0 x
1
x
(4) cov( , )
E ( ) E E 0 ；
所以 0 .
例4、 设 与 的密度函数为：
-1 1
1 0 1/4 1/4
2 1/4 1/2 3/4
pi
1/4 3/4
p j
1 3 1 (1) E xi pi (1) 1 ； 4 4 2 i 1 3 7 (2) E y j p j 1 2 ； 4 4 4 j 3 2 1 2 2 2 （3） E xi pi ( 1) 1 1 4 4 i 1 3 13 2 2 2 2 (4) E y j p j 1 2 ； 4 4 4 j
2 2
2
1 0 1/4 1/4
2 1/4 1/2 3/4
pi
1/4 3/4
（7） E ( )
x y p
i j i, j
ij
-1 1
p j
1 1 1 3 ( 1) 0 (2) 1 2 4 4 2 4
（8） cov( , ) E ( ) E E
2
„ E ( E ) E ( E ) D D ,
所以 | cov( , ) | „
D D .
注意到
2 2 E ( ) „ E E 2
协方差的大小在一定程度上反映了X和Y相 互间的关系，但它还受本身度量单位的影响.( , )
第三节 协方差 相关系数
一、协方差 1、定义：设 ( , ) 为 上的二维随机变量,若 E 、 E 及 E ( ) 均存在，称： E ( E )( E ) 为 与 的协方差,记作 cov( , ) ,即
cov( , ) E ( E )( E ) .
9 D( ) 4 D( ) 12 cov( , ) 9 D( ) 4 D( ) 12 D( ) D( ) 225 144 144 225 。
1， |y| x 1, 例 3、 设 ( , ) ~ p( x, y ) ,求 . 0, 其他. 解:(1) 1 x 1 2 2 E ( ) xp( x, y )dxdy dx xdy 2 x dx 0 x 0 3