协方差矩阵和相关矩阵(20200930060627)

、协方差矩阵变量说明：

设为一组随机变量，这些随机变量构成随机向量每个随机变量有m个样本，则有样本矩阵乳鸟严•点］J［瓦禺…直］

X11 X]2 ・・X1m

X21・・・X2m

X n1 人2・・x nm

其中色…冏对应着每个随机向量X的样本向量，報对应着第i个

随机单变量的所有样本值构成的向量。

单随机变量间的协方差：

X Y

随机变量“之间的协方差可以表示为

句二矶兀-&（疋）］*厂凤七）］｝

根据已知的样本值可以得到协方差的估计值如下：

1 « 1 1 »

创=一乞［血比- 一为甌』巫小-一2^）1 用 i W a_i

酬J-1

可以进一步地简化为：

% 二一£ %叫 - -7才呱£

喘E-i 初7 M

-I 1 W M

-—迸爲刀她远2L "N

朋用苗几1

协方差矩阵:

^11 C12 …^lM ~ 1 1 M M 1 ［雋

—輕爲-一鮭■■■—聲兔工城

1

乩1

f 21 如■" 如

1 ［罰睥-I| ［M8

—硏-兔-一^2皿如迟血…—鳄爲-一^£码

工g

■■ B 4 1 ■ ■ ■m tn pi ”】m m

■I ■

#-1

°讥% ■■■

c JtJt

■■s

i [ 科就I i m

L幡

朋x z w 旳山L1 _

sy 丽1

W<

.a^l

=丄1瓦爲，…怎］［瓦爲•…恳］F［鸟十直十…+瓦］［鸟十為+…十風F

m翊

1獨

= -2（A-A］［^-A］

梯U

(5)

1 ^M1 nfa

其中;■.-■ + ;+"---，从而得到了协方差矩阵表达式。

如果所有样本的均值为一个零向量，则式（5）可以表达成:

补充说明：

1协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同

样本之间的协方差，如元素C j就是反映的随机变量x,x j的协方差。

2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，

则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长

度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，

之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。

3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，贝U 所得的协方差矩阵越可靠。

4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分

量之间的相关性究竟有多大，还会引入相关系数矩阵。

5、协方差作为描述X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两

个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。由此引入相关系数。

COV（x,y）

Xy. D（xh.D（y）

二、相关矩阵（相关系数矩阵）

相关系数：

著名统计学家卡尔•皮尔逊设计了统计指标一一相关系数。相关系数是用以

反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的

单相关系数。

依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变

量间线性相关关系的统计指标称为相关系数（相关系数的平方称为判定系数）；将反映两变

量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数；将反映多元线性相关

关系的统计指标称为复相关系数、复判定系数等。

相关系数用r表示，它的基本公式（formula ）为：

陀刀乂以一工8刀期

血2工2 _ （力£凤■工护 _ （刀汗

相关系数的值介于-1与+1之间，即-K r < +1。其性质如下：

当r>0时，表示两变量正相关，r<0时，两变量为负相关。

当|r|=1时，表示两变量为完全线性相关，即为函数关系。

当r=0时，表示两变量间无线性相关关系。

当0<|r|<1 时，表示两变量存在一定程度的线性相关。且|r|越接近1,两变量

间线性关系越密切；|r|越接近于0,表示两变量的线性相关越弱。

一般可按三级划分：|r|<为低度线性相关；w |r|<为显著性相关；w |r|<1为高度线性相关。

相关矩阵也叫相关系数矩阵，是由矩阵各列间的相关系数构成的。也就是说，

相关矩阵第i行第j列的元素是原矩阵第i列和第j列的相关系数。

3、协方差矩阵和相关矩阵的关系

由二者的定义公式可知，经标准化的样本数据的协方差矩阵就是原始样本数据的相

关矩阵。这里所说的标准化指正态化，即将原始数据处理成均值为0,方差为1的标准数据。即:

X'=（X- EX）/DX