概率论与数理统计协方差和相关系数
特
⑵ ρXY 没有单位，只与两个r.v有关，能更好地反映X与Y 之间的关系。
征2、性质：
1） XY 1; 2) XY 1 a,b(b 0),使P{Y a bX } 1
=相关系数刻划了X和Y间“线性相关”的程度.
=
7
证： 对任意的a,b,令
刻画了Y与a+bX的偏离程度
e=E{[Y-(a+bX)]2}=E(Y2)+b2E(X2)+a2 -2bE(XY)+2abE(X)-2aE(Y)
= (5) 切比雪夫不等式
D(X)= 2
(b a)2 D(X)=
12
1
D( X ) 2
设r.vX具有均值E(X)= ,方差D(X)=2，则对 >0 ,有不等式
=
P
X
2 2
P
X
2
1 2
.
1
P99T10： 设E(X),D(X)均存在,且D(X) ≠0
数
令Y
X
E(X ) ,
D( X )
说明 ①对于r. vX,Y， E(XY)=E(X)E(Y)+Cov(X,Y)
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
② Cov(X,X)=D(X); Cov(X,k)=0.
若X、Y相互独立
Cov(X,Y)=0,
2、计算方法
1)用定义式 Cov(X,Y)= E{[X-E(X)][Y-E(Y)]}
( 2)2
1 81
0
0
0
P1{X101,Y
0
0}1P1{X1
8 16
0}0 P{Y
0}
88 88
∴ Cov(X,Y)=0-0=0 即X与Y不独立。
3、性质ⅰ) Cov(X,Y)=Cov(Y,X);(对称性)
ⅱ) Cov(aX,bY)=abCov(X,Y), a,b是任意常数；
数
ⅲ) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
注：协方差的大小在一定程度上反映了X和Y相互间的关系，
字
但它还受X与Y本身的系数影响. 例如：
Cov(10X, 10Y)=100Cov(X,Y) 标准化的协方差称为 特 实际上，10X与10Y之间的关系和X与Y之X间，的Y关的系相应关一系致数。
为了克服这一缺点，在计算协方差时，先对X与Y进行标准化.即:
2)用简单公式 Cov(X,Y)=E(XY)-E(X)E(Y)
例1 设r.vX和Y的联合分布律为
X Y -1 0 1
-1 1 8 1 8 1 8
求Cov(X,Y)
解：用公式 Cov(X,Y)=E(XY)-
①E可(X求)E出(Y(X) ,Y)关于X，Y的边缘分布律
0
1
18 18
0
18
18 18
X -1 0 1
（4）常见分布的方差：
(1)(0-1)分布: E(X ) p
数 (2) 二项分布: E(X ) np
D(X)=p (1-p ) D(X)=np(1-p)
字 (3)泊松分布: E(X )
D(X)=
(4)正态分布: E(X )
特
(5)均匀分布:
E(X) a b 2
征 (6) 指数分布
E(X) 1
注意:更重要的是要知道如何将一个随机变量标准化.
=
2
§3 协方差和相关系数 Covariance and
correlation coefficient
Байду номын сангаас
一、协方差
1、定对于义向: 量设X(X和,YY)，是期一望随和机方向差量只，反称映E{了[X变-E量(X各)]自[Y的-E情(Y况)]}，没
有相互之间的关系。若X、Y相互独立, E{[X-E(X)][Y-E(Y)]}=0， 因此为EX{与[XY-E的(X协)]方[Y差-E,(记Y)作]} C在ov一（定X，程Y度）上，反即映了X与Y之间的关系，称 为X与Y的协方差C。ov(X,Y)= E{[X-E(X)][Y-E(Y)]}
D( X ) D(Y )
6
二、相关系数 (correlation coefficient)
数 1、定义:设(X,Y)是一随机向量，当D(X)>0, D(Y)>0,则称数值
记作 XY
COV ( X ,Y )
D( X ) D(Y )
为X,Y的线性相关系数，简称相关系数.
字注：⑴ 相关系数是标准化的随机变量X*，Y*的协方差。
征 X X E( X ) ,Y Y E(Y ) ,
D( X )
D(Y )
E( X ) 0, E(Y ) 0,
= Cov( X ,Y ) E( X Y ) E( X ) E(Y ) E( X Y )
=
X E
E(
X
)Y
E(Y
)
D( X )
D( Y )
Cov( X ,Y ) .
数 要使Y与某个a+bX最为接近,就是要找a,b使得误差平方e值最小. 将e视为关于a,b的二元函数，求驻点：
字 特
e
a e
2a 2bE(X ) 2E(Y ) 2bE( X 2 ) 2E( XY )
0 2aE
(
X
)
解得 0
b
b0
Cov( X ,Y D( X )
)
a0
E(Y
)
E(
X
) Cov( X ,Y D( X )
=
Cov(X ,a) bCov(X , X )
b D(X )
b b
1
XY 1
2）成立。
8
说明：由（*）式知， ρXY 的含义
数
若0<| |<1,
| |越接近于1,e的值越小,则 Y与X的线性相关程度越高;
字
)
征
e(a0 , b0
)
E{[Y
(a0
b0 X
)]2
}
(1
2 XY
)D(Y
)
0
（*） 1）成立。
=
XY 1 E{[Y (a0 b0X )]2} 0 P{Y a0 b0 X } 1
若存在a,b使 P{Y a bX} 1
则 XY
Cov( X ,a bX ) DX D(a bX )
pk 3/8 2/8 3/8
Y -1 0 1
pk 3/8 2/8 3/8
E( X ) (1) 3 0 2 1 3 0 同理 E(Y ) 0
8
8
8
②说明E(：XY虽)然 iC,io1v1(xXi y,Yj p)=ij 0P，1{X但81P0{}X0
10,Y101} P{8Y 0} 8
00
证明E(Y)=0,D(Y)=1
字 证明:根据数学期望与方差的性质:
特
E(Y
)
E
X
E(
X
)
EX
E(X
)
E( X )
E(X
)
0
D( X )
D( X )
D(X )
征
D(Y
)
D
X
E(
X
)
DX E(X )
D( X ) 1
D( X )
D(X )
D( X )
=
通常把由 r.v X 构造r.v Y的过程叫做对r.v X 标准化。
第13讲 协方差与相关系数 太原理工大学工程硕士概率论与数理统计
22
[例] 已知 解
X 服从 0, 2π
上的均匀分布，求 E ( X 2 ), E (sin X )
X 的概率密度
1 ， 0 ≤ x ≤ 2π， f ( x) 2 π 其他， 0，
E( X 2 )
1 2 x f ( x)dx 2π
2π 0
3 2 2 π 1 x 4 π x 2 dx 2π 3 0 3
则： 2 X Y ~ N (0,25)
( 2) D(2 X Y ) 4 DX DY 2 2COV ( X , Y ) 1 25 - 4 XY DX DY 25 4 2 3 13 2
则： 2 X Y ~ N (0,13)
20
小结
本讲首先介绍二维随机向量 (X,Y) 的分量 X与Y 的协方差及相关系数的概念、性质和计 算；然后介绍随机变量的各种矩(k 阶原点矩、 k 阶中心矩、k+m 阶混合原点矩、k+m 阶混 合中心矩)，n 维随机向量的协方差阵的概念、 性质和计算；最后简单介绍了n 元正态分布 的概念和三条重要性质。
则(Y1,Y2, …, Yk)'服从k 元正态分布。
这一性质称为正态变量的线性变换不变性。
17
(3) 设(X1,X2, …,Xn)服从n元正态分布，则 “X1, X2, …, Xn 相互独立” 等价于 “X1,X2, …,Xn两两不相关”。
18
例2 设X和Y相互独立，且X~N(1, 2), Y~N(0, 1)。 求 Z = 2X-Y+3 的概率密度。 解: 由X~N(1,2), Y~N(0,1)，且X与Y相互独立,
c22 E{[ X 2 E ( X 2 )]2 } c11 c12 排成一个2×2矩阵 ， c 21 c 22
概率论与数理统计-协方差和相关系数01
=
9
证： 对任意的 对任意的a,b,令 令
刻画了Y与 刻画了 与a+bX的偏离程度 的偏离程度 e=E{[Y-(a+bX)]2}=E(Y2)+b2E(X2)+a2 -2bE(XY)+2abE(X)-2aE(Y)
要使 与 的某个线性函数 最为接近 就是要找a,b使得误差 最为接近 就是要找 数 要使Y与X的某个线性函数a+bX最为接近,就是要找 使得误差 视为关于a,b的二元函数 视为关于 的二元函数，求驻点： 平方e值最 值最小 平方 值最小. 将e视为关于 的二元函数，求驻点： 字 特 征 解得
X与Y不相关 只说明 与Y之间没有线性关系，但可以有 与 不相关 只说明X与 之间没有线性关系 不相关,只说明 之间没有线性关系， 非线性关系； 非线性关系； 而X与Y独立是指 独立是指X,Y之间既无线性关系， 之间既无线性关系， 与 独立是指 之间既无线性关系 也无非线性关系， 也无非线性关系，故“独立”必然不相关，但反之不然。 独立”必然不相关，但反之不然。 不相关 但是，对于二维正态分布，独立与不相关等价。 但是，对于二维正态分布，独立与不相关等价。 与不相关等价 2 若二维r.v ( X , Y ) ~ N ( µ 1 , µ 2 ; σ 12 , σ 2 ; ρ ) 即：若二维 则X与Y相互独立 与 相互独立
D(X)=p (1-p ) D(X)=np(1-p) D(X)=
E(X) = µ
a +b E(X) = 2 1 E(X) =
D(X)= σ
λ
2
(b − a)2 D(X)= 12
(5) 切比雪夫不等式 =
概率论与数理统计 5.3 协方差与相关系数
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
概率论与数理统计课件 协方差与相关系数
试求二维正态随机变量的边缘概率密度 .
p( x, y)
1
e 1 2(1 ρ2
)
(
x
μ1 σ12
)2
2
ρ(
x
μ1 )( σ1σ2
y
μ2
)
(
y
μ2 σ22
)2
2πσ1σ2 1 ρ2
pX (x) pY ( y)
1
e ,
(
x μ1 2 σ12
)2
2πσ1 1
e
(
y μ2 2σ22
)2
1
2πσ1σ2
1 ρ2
( x μ1 )( y μ2 )
e e d y d x.
(
x μ1 2σ12
)2
1 2(1
ρ2
)
y
μ2 σ2
ρ
x
μ1 σ1
2
令t
1 1
ρ2
y
μ2 σ2
ρ
x
μ1 σ1
,
u x μ1 , σ1
2019/4/24
4-3—协方差和相关系数
3 .不相关与相互独立的关系
相互独立 不相关
2019/4/24
4-3—协方差和相关系数
10
例1 设 ( X ,Y ) 在圆域 x2 y2 1 上服从均匀分布, （1）问X与Y是否独立？ （2）求相关系数
例2 X ~N(0,1),Y X 2, 证明X与Y不相关且不独立
解：E( XY ) E( XX 2 ) x3 ( x)dx 0 Cov( X ,Y ) E( XY ) E( X )E(Y ) 0 故X与Y不相关
2019/4/24
4-3—协方差和相关系数
协方差公式性质证明过程_期望方差协方差及相关系数的基本运算
协方差公式性质证明过程_期望方差协方差及相关系数的基本运算期望（Expected Value）是概率论与数理统计中的重要概念之一，表示随机变量的平均值。
设X是一个随机变量，其概率密度函数为f(x)，则X的期望定义为：E(X) = ∫xf(x)dx方差（Variance）是测量随机变量离其期望的平均距离的指标。
设X是一个随机变量，其期望为μ，则X的方差定义为：Var(X) = E((X-μ)²) = E(X²) - (E(X))²协方差（Covariance）衡量两个随机变量之间的线性相关性。
设X和Y为两个随机变量，其期望分别为μX和μY，则X和Y的协方差定义为：Cov(X, Y) = E((X-μX)(Y-μY)) = E(XY)-μXμY相关系数（Correlation Coefficient）是用来刻画两个随机变量之间相关关系的指标，它是协方差标准化的结果。
设X和Y为两个随机变量，其协方差为Cov(X, Y)，则X和Y的相关系数定义为：ρ(X, Y) = Cov(X, Y) / (√(Var(X)) * √(Var(Y)))现在我们来证明协方差的一些性质。
性质1：Cov(X, X) = Var(X)证明：Cov(X, X) = E((X-μX)(X-μX)) = E((X-μX)²) = Var(X)性质2：Cov(X, Y) = Cov(Y, X)证明：Cov(X, Y) = E((X-μX)(Y-μY)) = E((Y-μY)(X-μX)) = Cov(Y, X)性质3：Cov(aX, Y) = aCov(X, Y)，其中a为常数证明：Cov(aX, Y) = E((aX-μ(aX))(Y-μY)) = E(a(X-μX)(Y-μY)) =aE((X-μX)(Y-μY)) = aCov(X, Y)性质4：Cov(X, Y + Z) = Cov(X, Y) + Cov(X, Z)证明：Cov(X, Y + Z) = E((X-μX)(Y+Z-μ(Y+Z))) = E((X-μX)(Y-μY+Z-μZ))=E((X-μX)(Y-μY))+E((X-μX)(Z-μZ))= Cov(X, Y) + Cov(X, Z)性质5：Cov(aX + b, Y) = aCov(X, Y)，其中a和b为常数证明：Cov(aX + b, Y) = E((aX + b - μ(aX + b))(Y-μY)) = aE((X-μX)(Y-μY)) = aCov(X, Y)性质6：Cov(X + Y, Z) = Cov(X, Z) + Cov(Y, Z)证明：Cov(X + Y, Z) = E(((X + Y)-μ(X + Y))(Z-μZ)) = E((X-μX)(Z-μZ) + (Y-μY)(Z-μZ))=E((X-μX)(Z-μZ))+E((Y-μY)(Z-μZ))= Cov(X, Z) + Cov(Y, Z)以上就是协方差的一些性质的证明过程。
概率论与数理统计复习4-5章
∑ g ( x ) p 绝对收敛,则Y的期望为 ∞
k =1 k k
∑ g(x
k =1
k
) pk
(2) 设X是连续型随机变量,概率密度为 f ( x) , 如果积分 ∫−∞ g ( x) f ( x)dx 绝对收敛,则Y的期望为
E (Y ) = E[ g ( X )] = ∫ g ( x ) f ( x )dx
例 设X的概率分布律为
X −1
0 12
1
2
p 1 3 1 6 1 6 1 12 1 4
试求Y=－X+1及 Z = X 2 的期望和方差。 X －1 0 1/2 解 由于 P 1/3 1/6 1/6 Y =－X+1 2 1 1/2 Z = X2 1 0 1/4
1 1 1 1 1 1 2 E (Y ) = ( −1) ⋅ + 0 ⋅ + ⋅ + 1⋅ + 2 ⋅ = 4 12 2 6 6 3 3
2 2
D( Z ) = E ( Z 2 ) + [ E ( Z )]2 = 2.23264
1 + x − 1 < x < 0 例 设随机变量X的概率密度为 f ( x ) = 1 − x 0 ≤ x < 1 1)求D(X）, 2)求 D ( X 2 )
解 (1) E ( X ) = ∫ x(1 + x)dx + ∫ x(1 − x)dx
第四章 随机变量的数字特征
离散型随机变量的数学期望 连续型随机变量的数学期望 数学期望的性质及随机变量函数的期望 方差及其性质
4.1数学期望 数学期望
数学期望——描述随机变量取值的平均特征 数学期望——描述随机变量取值的平均特征 一、离散型随机变量的数学期望 定义 设离散型随机变量X的概率分布为
概率论与数理统计计算公式
概率论与数理统计计算公式概率论和数理统计是数学中的两个重要分支，广泛应用于自然科学、社会科学和工程技术等领域。
在实际中，我们经常需要计算各种概率和统计量，因此理解和掌握概率论和数理统计中的计算公式是十分重要的。
接下来，我将给出概率论和数理统计中一些常用的计算公式。
一、概率计算公式：1.加法原理：如果A和B是两个事件，那么它们的和事件(A∪B)的概率可以由如下公式计算：P(A∪B)=P(A)+P(B)-P(A∩B)2.条件概率：如果A和B是两个事件，且P(A)>0，那么事件B在已知事件A发生的条件下发生的概率可以由如下公式计算：P(B，A)=P(A∩B)/P(A)3.全概率公式：如果{B1,B2,...,Bn}是一个对样本空间Ω的一个划分，那么对于任意事件A，我们有：P(A)=ΣP(A，Bi)P(Bi)，其中i取1到n。
4.贝叶斯公式：如果{B1,B2,...,Bn}是一个对样本空间Ω的一个划分，那么对于任意事件A和i取1到n，我们有：P(Bi，A)=P(A，Bi)P(Bi)/ΣP(A，Bj)P(Bj)，其中j取1到n。
5.乘法定理：如果A和B是两个事件，那么它们的交事件的概率可以由如下公式计算：P(A∩B)=P(A)P(B，A)=P(B)P(A，B)二、统计量计算公式：1.样本均值：对于由n个观测值组成的样本，样本的均值可以由如下公式计算：\(\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n x_i\)2.样本方差：对于由n个观测值组成的样本，样本的方差可以由如下公式计算：\(S^2 = \frac{1}{n-1} \sum\limits_{i=1}^n (x_i - \bar{X})^2\) 3.标准差：样本的标准差是样本方差的平方根\(S = \sqrt{S^2}\)4.相关系数：对于两个随机变量X和Y，它们的相关系数可以由如下公式计算：\(\rho_{XY} = \frac{Cov(X,Y)}{\sigma_X \sigma_Y}\)5.协方差：样本的协方差可以由如下公式计算：\(Cov(X,Y) = \frac{1}{n-1} \sum\limits_{i=1}^n (X_i-\bar{X})(Y_i-\bar{Y})\)以上只是概率论和数理统计中的一些常用计算公式，实际应用中还有很多其他的公式和方法。
关于协方差、相关系数与相关性的关系
在实际中，人们为什么总是用（线性）相关系数 XY ，而不是用协方差 CovX ,Y 来判断两个随机变量
X 与Y 的线性相关程度呢？关于这个问题，只要我们注意 CovX ,Y EX EX Y EY 与
XY
CovX DX
,Y DY
的单位，就不难发现：
XY
是一个无量纲的量，用它来描述
X
于是 XY 是一个可以用来表征 X ，Y 之间线性关系紧密程度的量，当 XY 较大时，我们通常说 X ，Y
线性相关的程度较好；当 XY 较小时，我们通常说 X ，Y 线性相关的程度较差；当 XY 0 时，称 X ，
Y 不相关（实际上，按照严格的线性相关的定义，只有在 XY 1时，X 与Y 才是线性相关的， XY 1
概率论与数理统计
关于协方差、相关系数与相关性的关系
前言
z
y x
（概率论与数理统计(茆诗松)，Page 147）
高等学校教科书中，关于协方差、相关系数的概念，都是直接给出定义，再由定义导出几个基本
性质，然后是一些关于相关系数的计算或相关性的判断，至于定义这两个量的根据是什么，为什么它
们就是衡量随机变量 X ，Y 的线性相关程度的两把尺子？代数学与概率论中两个变量存在线性关系的
---------------------------------------------------------------------------------------------------------------------------------
Reproduction Forbidden
时二者是线性无关的，不过为了研究 XY 的不同取值下， X ，Y 的关系，我们分为严格线性相关和线 性相关（一定程度）来讨论。）（注意：这里指的是线性不相关，但它们还会存在其他的相关关系，否 则如果什么关系都不存在，那就是 X ，Y 相互独立的情况了。）
概率论与数理统计(第三版)第三章4协方差与相关系数-PPT精品文档
o 3 X , Y 不相关 E ( XY ) E ( X ) E ( Y ).
3. 相关系数的性质
是一个用来表征 X ,Y之间线性关系紧密 XY
程度的量 .
1 . 1 ρ XY
a , b使 1 的充要条件是 :存在常数 2 ρ XY
P { Y a bX } 1 .
0.3 0.7
0 . 3 0 0 . 7 1 0 . 7
0 . 6 1 0 . 4 2 1 . 4
0 . 9 50 . 7 1 . 4 0.03
c o v (,) X Y E X Y E X E Y
三、 相关系数的意义
1 . 当 ρ 表明 X,Y的线性关系联 XY 较大时
例1 已知 (X,Y)的分布律求Cov(X，Y)
x 0 1 y 1 2 0.15 0.15 0.45 0.25
解: c o v (,) X Y E X Y E X E Y
EX ( Y ) 0 .9 5
x 0 1
EX ( ) EY ( )
y 1 0.15 0.45 0.6
2 0.15 0.25 0.4
3.设X和Y是随机变量，若
E(XkYL)
k, L=1,2,…
存在，
称它为X和Y的k+L阶混合（原点）矩.
k L 4.若 E {[ X E ( X )] [ Y E ( Y )] } 存在，
称它为X和Y的k+L阶混合中心矩.
二、协方差与相关系数的概念及性质
1. 问题的提出
若随机变量 X 和 Y 相ቤተ መጻሕፍቲ ባይዱ独立 ,那么
3 Cov( X X , Y ) Cov( X , Y ) Co X , Y ). 1 2 1 2
概率论与数理统计协方差和相关系数
X -1 0 1
pk 3/8 2/8 3/8
Y -1 0 1
pk 3/8 2/8 3/8
E( X ) (1) 3 0 2 1 3 0 同理 E(Y ) 0
8
8
8
1
②说明E(：XY虽)然 Cov(Xx,iYy)=j p0i，j 但1
i,i1
P{ X
1P{ X0 8 0}
10,Y101} P{8Y 0} 8
=相关系数刻划了X和Y间“线性相关”的程度.
=
2021/4/4
8
8
皮肌炎图片——皮肌炎的症状表现
数
• 皮肌炎是一种引起皮肤、肌肉、
字
心、肺、肾等多脏器严重损害的， 全身性疾病，而且不少患者同时
伴有恶性肿瘤。它的1症状表现如 特 下：
• 1、早期皮肌炎患者，还往往伴 征 有全身不适症状，如-全身肌肉酸
=ቤተ መጻሕፍቲ ባይዱ
2021/4/4
3
3
§3 协方差和相关系数 Covariance and
correlation coefficient
2021/4/4
4
一、协方差
1、定对于义向: 量设X(和X,YY，)是期一望随和机方向差量只，反称映E{了[X变-E(量X)各][Y自-E(的Y)情]} 况，没有
相互之间的关系。 若X、Y相互独立, E{[X-E(X)][Y-E(Y)]}=0， 因此为EX{[与X-YE的(X)协][Y方-E差(Y,)记]} 作在C一ov定（程X，度Y上）反，映即了X与Y之间的关系，称为X 与Y的协方差。 Cov(X,Y)= E{[X-E(X)][Y-E(Y)]}
② 若 E X E( X ) k 存在，则称之为X的 k阶中心矩