方差与协方差理解
统计学中的方差分析与协方差分析的比较
统计学中的方差分析与协方差分析的比较统计学是研究数据收集、分析和解释的一门学科，方差分析和协方差分析是其中两个重要的统计方法。
在本文中，我们将比较这两个方法的基本原理、适用范围和使用方法。
一、基本原理1. 方差分析方差分析（ANOVA）是一种用于比较两个或更多组之间的差异的统计方法。
它通过将总体方差分解为组内差异和组间差异，并通过检验组间差异是否显著来判断组间是否存在统计学上的差异。
2. 协方差分析协方差分析（ANCOVA）是一种结合方差分析和线性回归分析的统计方法。
它通过在方差分析中添加一个或多个协变量来控制实验组间潜在的混杂因素，并进一步检验组间差异的统计学意义。
二、适用范围1. 方差分析方差分析广泛应用于实验设计和观察研究中，特别适用于比较多个组的均值是否有显著差异。
例如，一个研究人员想要比较不同教育水平的人在某项测试中的平均得分是否有差异，方差分析可以被用来解决这个问题。
2. 协方差分析协方差分析主要针对一些协变量对实验结果的影响进行调整。
它适用于那些存在其他可能影响结果的潜在因素的研究，如年龄、性别、教育水平等。
通过添加这些协变量作为回归分析的自变量，可以更准确地评估组间差异的统计学显著性。
三、使用方法1. 方差分析方差分析通常包括以下几个步骤：a. 界定研究对象和问题；b. 选择合适的方差分析模型；c. 收集所需的数据；d. 进行方差分析，计算组间和组内的方差；e. 利用统计方法检验组间差异的显著性；f. 根据结果进行结论和解释。
2. 协方差分析协方差分析的步骤包括：a. 选择适当的协方差模型，并确定潜在的影响因素；b. 收集数据，并测量协变量和实验结果；c. 进行协方差分析，控制协变量的影响；d. 利用统计方法检验组间差异的显著性；e. 根据结果进行解释并得出结论。
四、总结方差分析和协方差分析是统计学中常用的两种方法，其应用范围和使用方法存在差异。
方差分析适用于比较多个组之间的差异，而协方差分析则主要用于控制潜在的混杂因素。
方差和协方差
⽅差和协⽅差1.⽅差⽅差是各个数据与平均数之差的平⽅和的平均数。
（⽅差⽅差，就是平⽅了数据与平均数之差）在中，⽅差（英⽂Variance）⽤来度量和其数学期望（即）之间的偏离程度。
例⼦：1， 5 ，9 ⽅差⼤ 4，5，6⽅差就⼩。
2.协⽅差在和中，协⽅差⽤于衡量两个变量的总体误差。
⽽是协⽅差的⼀种特殊情况，即当两个变量是相同的情况。
期望值分别为E(X) = µ 与E(Y) = ν的两个实数随机变量X与Y之间的协⽅差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))]=EXY-EX*EY直观上来看，协⽅差表⽰的是两个变量总体误差的⽅差，这与只表⽰⼀个变量误差的⽅差不同。
如果两个变量的变化趋势⼀致，也就是说如果其中⼀个⼤于⾃⾝的期望值，另外⼀个也⼤于⾃⾝的期望值，那么两个变量之间的协⽅差就是正值。
如果两个变量的变化趋势相反，即其中⼀个⼤于⾃⾝的期望值，另外⼀个却⼩于⾃⾝的期望值，那么两个变量之间的协⽅差就是负值。
如果X与Y是统计独⽴的，那么⼆者之间的协⽅差就是0，因为两个独⽴的随机变量满⾜EXY=EXEY。
但是，反过来并不成⽴。
即如果X与Y的协⽅差为0，⼆者并不⼀定是统计独⽴的。
（⽐如Y是X的绝对值并且E（X)=0的情况，如果X的正负分布⾜够“均匀”,那么就有可能EXY=EX*EY=0；换句话说，Y和X的变化趋势没关系，但是Y和X绝对值的变化趋势⼀样。
总结：协⽅差描述了”Y和X的步调⼀致性“的⼤⼩？）协⽅差cov(X,Y)的度量单位是X的协⽅差乘以Y的协⽅差。
⽽取决于协⽅差的相关性，是⼀个衡量的的数。
协⽅差为0的两个称为是不相关的。
统计学中的方差分析与协方差分析的应用场景
统计学中的方差分析与协方差分析的应用场景方差分析和协方差分析是统计学中常用的两种分析方法，它们在不同领域中有着广泛的应用场景。
本文将重点介绍方差分析和协方差分析的定义、基本原理以及各自的应用场景，帮助读者更好地理解这两种重要的统计分析方法。
一、方差分析的应用场景方差分析（Analysis of Variance，ANOVA）是一种用于比较两个或多个样本均值差异是否显著的统计方法。
它通过分析总平方和、组内平方和和组间平方和的比值来判断不同样本间的差异是否由随机因素引起。
方差分析广泛应用于以下几个领域：1.实验设计领域：方差分析可以用于评估和比较不同处理组之间的差异是否显著。
例如，在药物研发过程中，可以使用方差分析来比较不同剂量组的治疗效果是否有显著差异。
2.教育研究领域：方差分析也常用于教育研究中，例如比较不同教学方法对学生成绩的影响是否显著。
3.社会科学研究领域：方差分析可以分析和比较不同社会群体或不同治疗方法对人们行为和心理状态的影响。
4.工程领域：方差分析可以用于评估不同工艺参数对产品性能的影响是否显著。
例如在制造业中，可以使用方差分析来确定不同生产线上产品的质量差异是否显著。
二、协方差分析的应用场景协方差分析（Analysis of Covariance，ANCOVA）是一种结合了方差分析和线性回归分析的方法，用于比较不同样本间对其他自变量的反应是否存在显著差异。
协方差分析常见的应用场景包括：1.医学研究领域：协方差分析可以用于控制和调整影响变量对响应变量的影响。
例如，在研究两种药物疗效时，协方差分析可以用于从各自的基线水平（协变量）出发，调整患者的其他因素，对疗效进行比较。
2.心理学研究领域：协方差分析可以用于研究心理因素对人类行为的影响。
例如，调查某种新的心理干预措施是否对抑郁症患者的恢复有帮助。
3.教育评估领域：协方差分析可以用于评估不同教育干预措施对学生成绩的影响是否显著。
例如，在一所学校中，可以使用协方差分析来比较不同教学方法对学生成绩发展的影响。
方差、标准差、协方差和Pearson相关系数及其间的关系
方差、标准差、协方差和Pearson相关系数及其间的关系方差、协方差和Pearson相关系数在机器学习的理论概念中经常出现，本文主要理一下这几个概念及其相互间的关系。
（一）方差：方差是每个样本值与全体样本值的平均数之差的平方值的平均数，公式如下：上式中mui为样本均值。
方差可以反应样本数据的离散程度，由上式可以看出，方差越大，样本离散程度也越大。
机器学习中，如果某一特征值的离散程度很小，即表示该特征取值很少，可以认为样本在这个特征上基本没有差异，那这个特征对于样本区分没有什么作用，可以将这个特征去除，从而做到特征选择。
（二）标准差：标准差即方差的开平方，不展开了，下面是公式：（三）协方差：协方差描述的是两个变量间的相关性，计算公式如下：也可以用以下公式表示，两者是等价的：cov(X, Y) = E[(X-E[X])(Y-E[Y])]上式中E[ ]表示求期望，其中E[X]为X特征期望或均值，E[Y]为Y 特征期望或均值。
对比方差和协方差的公式可以看出两者很像，但方差的结果是大于等于0的，当等于0时，说明样本的x特征取值唯一，反应的样本的x特征的离散程度；协方差的取值则可以大于零也可以小于零，当大于零时，说明对应的两个变量x和y与其均值相比都同大于或同小于，即两个变量的变化趋势相同（正相关）；当小于零时，说明对应的两个变量x和y不同时大于或小于其均值，即两个变量的变化趋势相反（负相关）；而当均方根接近零时，说明两个变量基本没有相关性，接近相互独立。
从以上描述可以看出，协方差可以衡量两个变量相关性大小，绝对值越大，说明越相关。
但是，却不好比较多个变量与另外同一个变量间相关性的相对大小，因为量纲没有统一。
为了便于比较不同变量与另外同一个变量间相关性的相对大小，Pearson相关系数被提出了。
Pearson相关系数：如上所述，Pearson相关性系数是为了比较不同变量与另外同一变量间相关性的相对大小，这里要注意的是：Pearson相关性系数衡量的是定距变量间的线性关系，可以用Pearson相关系数来进行特征特征选择。
随机变量的方差、协方差与相关系数4-2
Cov ( X , Y ) E ( XY ) E ( X ) E (Y )
从而, 作为协方差的特例，方差也应有
D ( X ) C o v ( X , X ) E ( X X ) E ( X ) E ( X ) E ( X ) [ E ( X )] .
2 2
又∵ X 与Y 相互独立时, 总有
D ( U ) 2 D ( X ) 3 D (Y ) 0
2 2
解 数学期望
E ( U ) 2 E ( X ) 3 E (Y ) 1
2 ( 5 ) 3 (1 1 ) 1 4 4 ;
E (V ) E (Y Z ) 4 E ( X ) E (Y ) E ( Z ) 4 E ( Z )
返回
退出
2. 协方差的具体计算公式与实际计算步骤
⑴ 对离散型变量
E ( X ) xi pij (或 xi pi ) ,
i 1 j 1 i 1
E (Y ) E ( XY )
x
i 1 j 1
y
i 1 j 1
j
pij (或 y j p j ) ,
j 1
i
y j pij ,
Cov ( X , Y ) E ( XY ) E ( X ) E (Y ) .
⑵ 对连续型变量
E( X ) E (Y ) E ( XY )
xf ( x , y )dxdy (或 yf ( x , y )dxdy (或
是 X 的方差. 是 X 与Y 的协方差.
返回
E[( X E ( X )(Y E (Y )]
方差分析和协方差分析协变量和控制变量
方差分析和协方差分析协变量和控制变量方差分析（Analysis of Variance，简称ANOVA）是用于比较两个或多个组之间差异的一种统计方法。
它常用于实验设计中，特别是当研究者希望判断不同组别对其中一变量的均值是否存在显著差异时。
方差分析的基本思想是通过分析组间变异和组内变异的差异性，来评估不同组别之间的差异是否超出了随机误差的范围。
在执行方差分析时，我们需要计算组间平方和（Sums of Squares Between Groups, SSBG）和组内平方和（Sums of Squares Within Groups, SSWG），并以此计算F值来进行假设检验。
协方差分析（Analysis of Covariance，简称ANCOVA）则是在方差分析基础上引入了协变量（covariate）的一种分析方法。
协变量是指与主要变量（研究变量）相关的、可能对变量之间关系产生影响的另一个变量。
协方差分析旨在通过控制协变量的影响，更准确地评估主要变量对因变量的影响。
具体而言，协方差分析会使用协变量与因变量的相关性来对因变量进行线性调整，将其影响减少到最低限度。
这样可以消除协变量对因变量的干扰，使比较组之间的差异更为准确。
在研究设计中，协变量和控制变量是常用的两种概念，用于控制和修正分析过程中的干扰因素。
在实验设计中，控制变量是指研究者通过依据主要变量的研究设计，将一些可能导致干扰的因素保持恒定。
例如，在比较两种不同药物对疾病治疗效果时，研究者可以将患者的性别、年龄、体重等因素作为控制变量，确保不同组别之间的差异主要来自于药物本身的影响。
而协变量则是在非实验研究中常用的，在测量研究变量之前，研究者会对协变量进行测量和记录，并在分析过程中加以控制。
例如，研究人员可能关注不同年龄组中学生的学业成就，但同时也要控制其他因素，如家庭背景、社会经济地位等，这些因素可能会干扰到学业成就与年龄之间的关系。
总之，方差分析和协方差分析是两种常用的统计分析方法，在不同的情境下用于数据的比较和解释。
方差与协方差
n
n
从而 E( X ) E( X i ) np, D( X ) D( X i ) npq.
E(Y 2)
1
dx
1 y2 8x ydy 2 ,
0x
3
D(Y ) E(Y 2 ) [E(Y )]2 2 .
75
结 束
7
三. 常见分布的期望与方差
(1) X ~ B(n, p) , 则 E( X ) n p , D( X ) n pq .
(2) X ~ P( ) , 则 E( X ) , D( X ) .
2 2b b2 令 1
4 3 3 2
, 解得 b = 0, a = 2, E( X ) = 2/3
36
18 或b = 2, a = −2, E( X ) = 1/3 .
结 束
6
例:
设 (X, Y) 的概率密度为 试求 D( X ), D( Y ) .
f
( x,
y)
8x 0,
y, 0 x 其它.
(2) 设 X 与 Y 相互独立, 则
D(X+Y) = D(X) + D(Y), D(X−Y) = D(X) + D(Y).
进一步, 若 X1 ,… , Xn 相互独立, 则对任意常数
c1 ,…, cn 有: D( c1 X1+ … + cn Xn ) = c12 D( X1 ) + … + cn2 D( Xn ).
(3) D(X) = 0 的充要条件是 X 以概率 1 取常数 C , 即 P{X = C } = 1 .
结 束
9
例: X ~ B(n, p) , 则 E( X ) n p , D( X ) n pq .
方差分析及协方差分析
方差分析及协方差分析方差分析和协方差分析是统计学中常用的两种分析方法，用于研究变量之间的关系和差异。
本文将分别介绍方差分析和协方差分析的基本概念、原理和应用。
一、方差分析（Analysis of Variance）1.基本概念：方差分析是一种通过对不同组之间的差异进行分析，来揭示组间差异是否非随机的统计方法。
它可以用于比较两个或更多个组的均值是否有显著差异。
2.原理：方差分析的原理基于对总体变异的分解。
总体变异可以分解为组间变异和组内变异。
组间变异表示不同组之间的差异，而组内变异表示组内个体之间的差异。
方差分析通过计算组间变异与组内变异之间的比值来判断组间差异是否显著。
3.适用场景：方差分析适用于有一个自变量和一个或多个因变量的情况。
常见的应用场景包括：比较不同药物对疾病影响的效果、比较不同教学方法对学生成绩的影响等。
4.步骤：方差分析的步骤包括：确定研究目的和假设、选择适当的方差分析模型、计算方差分析统计量和p值、进行结果解释。
二、协方差分析（Analysis of Covariance）1.基本概念：协方差分析是一种结合方差分析和线性回归分析的方法。
它通过控制一个或多个连续变量（协变量）对组间差异进行调整，来比较不同组之间的差异。
协方差分析不仅考虑到组间差异，还考虑到了协变量的影响。
2.原理：协方差分析的基本原理是通过线性回归模型来估计组间均值的差异，同时考虑协变量的影响。
通过计算协方差矩阵和相关系数，可以得到组间差异的调整后的统计结果。
3.适用场景：协方差分析适用于有一个自变量、一个或多个因变量，以及一个或多个连续变量的情况。
常见的应用场景包括：比较不同药物对疾病影响的效果，并控制患者年龄和性别等协变量。
4.步骤：协方差分析的步骤包括：确定研究目的和假设、选择适当的协方差分析模型、建立回归模型、计算协方差分析统计量和p值、进行结果解释。
总结：方差分析和协方差分析都是常用的统计分析方法，用于研究组间差异和变量之间的关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§2 方差、协方差与相关系数 方差例1比较甲乙两人的射击技术，已知两人每次击中环数分布为：ξ：789010601...⎛⎝ ⎫⎭⎪ η：6789100102040201.....⎛⎝ ⎫⎭⎪. 问哪一个技术较好首先看两人平均击中环数，此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好. 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度.称ξ-E ξ为随机变量ξ对于均值E ξ的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用()E E ξξ-，但由于()E E ξξ-=E E ξξ-=0对一切随机变量均成立，即ξ的离差正负相消，因此用()E E ξξ-是不恰当的. 我们改用()2E E ξξ-描述取值ξ的离散程度，这就是方差.定义 1 若()2E E ξξ-存在，为有限值，就称它是随机变量ξ的方差(variance)，记作Var ξ,Var ξ=()2E E ξξ- (1)但Var ξ的量纲与ξξ的标准差(standard deviation).方差是随机变量函数()2E ξξ-的数学期望，由§1的(5)式，即可写出方差的计算公式Var ξ=2()d ()x E F x ξξ+∞-∞-⎰=22()(),,()()d .i i i x E P x x E p x x ξξξξ+∞-∞⎧-=⎪⎨⎪-⎩∑⎰离散型，连续型 (2)进一步，注意到()2E E ξξ-=()222E E E ξξξξ⎡⎤-+⎣⎦=()22E E ξξ- 即有Var ξ=()22E E ξξ-.(3)许多情况，用(3)式计算方差较方便些. 例1(续) 计算例1中的方差Var ξ与Var η. 解 利用(3)式2E ξ=∑=ii i x P x)(2ξ=72×+82×+92×=,Var ξ=()22E E ξξ-=82=. 同理, Var η=()22E E ηη-= = > Var ξ, 所以η取值较ξ分散. 这说明甲的射击技术较好.例2 试计算泊松分布P(λ)的方差.解2201!(1)!kkk k E keke k k λλλλξ∞∞--====-∑∑11(1)(1)!(1)!kkk k k ee k k λλλλ∞∞--===-+--∑∑2!!jjj j jee j j λλλλλλ∞∞--===+∑∑2λλ=+所以Var ξ=22λλλλ+-=.例3 设ξ服从[ a, b ]上的均匀分布U [a, b]，求Var ξ.解()222211d 3baE x x a ab b b a ξ==++-⎰,Var ξ()()2221132a ab b a b ⎡⎤=++-+⎢⎥⎣⎦()2112b a =-. 例4 设ξ服从正态分布()2,N a σ，求Var ξ.解 此时用公式(2)，由于E a ξ=,Var ξ2()E a ξ=-222()/2()d x a x a x σ+∞---∞=-⎰222/2d z z e z∞--∞=222/2/2z z ze e dz +∞+∞---∞-∞⎫=-+⎪⎭⎰222πσ==.可见正态分布中参数2σ就是它的方差, σ就是标准差. 方差也有若干简单而重要的性质. 先介绍一个不等式.切贝雪夫(Chebyshev)不等式 若随机变量的方差存在，则对任意给定的正数ε，恒有()2Var P E ξξεξε-≥≤. (4)证 设ξ的分布函数为()F x ，则()P E ξξε-≥=⎰≥-εξ||)(E x x dF 22||()d ()x E x E F x ξεξε-≥-≤⎰221()d ()x E F x ξε+∞-∞≤-⎰=Var ξ/2ε.这就得(4)式.切贝雪夫不等式无论从证明方法上还是从结论上都有一定意义. 事实上，该式断言ξ落在(),E ξε-∞-与(),E ξε++∞内的概率小于等于Var ξ/2ε，或者说，ξ落在区间(),E E ξεξε-+内的概率大于1-Var ξ/ε2，从而只用数学期望和方差就可对上述概率进行估计. 例如，取ε=3((21Var P E ξξξ-≤≥-≈.当然这个估计还是比较粗糙的（当ξ～()2,N a σ时，在第二章曾经指出,P(|ξ-E ξ|≤ξ-a |≤3σ)≈ ）.性质1 Var ξ=0的充要条件是P(ξ=c) =1，其中c 是常数.证 显然条件充分. 反之，如果Var ξ= 0，记E ξ= c, 由切贝雪夫不等式, P(|ξ- E ξ|≥ε)=0 对一切正数ε成立. 从而()P c ξ=()10P c ξ=-->()1lim 11n P c n ξ→∞=--≥=.性质2 设c ,b 都是常数，则Var(c ξ+b )=2c Var ξ.(5)证 Var(c ξ+b )=E (c ξ+b -E (c ξ+b ))2=E (c ξ+b -c E ξ-b )2=2c 2()E E ξξ-=c 2Var ξ.性质3 若c E ξ≠, 则()2Var E c ξξ<-.证 因 Var ξ=E 2ξ-2)(ξE , 而E (ξ-c )2=E ξ2-2c E ξ+2c ,两边相减得()2Var E c ξξ--()20E c ξ=--<.这说明随机变量ξ对数学期望E ξ的离散度最小.性质41Var()ni i ξ=∑=1Var nii ξ=∑+2∑≤<≤--nj i j j i iE E E 1))((ξξξξ(6)特别若1,,n ξξ两两独立，则1Var()ni i ξ=∑=1Var nii ξ=∑. (7)证 Var()1∑=ni iξ=E (∑=ni i1ξ-E ()1∑=ni iξ)2=E∑=-ni i i E 12))((ξξ= E∑∑=≤<≤--+-ni nj i j j i ii i E E E 112)))((2)((ξξξξξξ=1Var nii ξ=∑+2∑≤<≤--nj i j j i iE E E 1))((ξξξξ,得证(6)式成立. 当1,,n ξξ两两独立时，对任何1,i j n ≤≤有i j i j E E E ξξξξ=， 故E ))((j j i i E E ξξξξ--=E()j i i j j i j i E E E E ξξξξξξξξ+--=E j i j i E E ξξξξ-=0, 这就得证(7)式成立.利用这些性质，可简化某些随机变量方差的计算. 例5 设ξ服从二项分布B (n , p ), 求Var ξ.解 如§1例12构造i ξ,1,,i n =, 它们相互独立同分布，此时Var 2222201)(p q p E E i i i -⋅+⋅=-=ξξξ=pq.由于相互独立必是两两独立的，由性质4Var ξ1Var()ni i ξ==∑1nii Var ξ==∑npq =.例6????????? 设随机变量1,,n ξξ相互独立同分布, i E a ξ=, Var i ξ=2σ,(1,,i n =). 记ξ=∑=ni i n 11ξ, 求E ξ,Var ξ.解 由§1性质2和本节性质2和4有E ξ11ni i E n ξ==∑a =, Var ξ211Var ni i nξ==∑221n n σ=2n σ=. 这说明在独立同分布时，ξ作为各i ξ的算术平均，它的数学期望与各i ξ的数学期望相同，但方差只有i ξ的1/ n 倍. 这一事实在数理统计中有重要意义.例7 设随机变量ξ的期望与方差都存在,Var 0ξ>. 令*ξ=,称它为随机变量ξ的标准化. 求*E ξ与Var *ξ.解 由均值与方差的性质可知*0E ξ==,*Var()Var Var E ξξξξ-=1Var Var ξξ==.协方差数学期望和方差反映了随机变量的分布特征. 对于随机向量1(,,)n ξξ', 除去各分量的期望和方差外，还有表示各分量间相互关系的数字特征—协方差.定义2 记i ξ和j ξ的联合分布函数为),(y x F ij . 若()()i i j j E E E ξξξξ--<+∞，就称()()i i j j E E E ξξξξ--()()d (,)i j ij x E y E F x y ξξ+∞+∞-∞-∞=--⎰⎰(8)为,i j ξξ的协方差( covariance)，记作Cov(,i j ξξ).显然，()Cov ,i j ξξVar iξ=.公式(6)可改写为Var(∑=ni i1ξ)=∑=ni iVar 1ξ+2∑≤<≤nj i jiCov 1),(ξξ.')6(容易验证，协方差有如下性质：性质1 Cov(,ξη) = Cov(,ηξ)E E E ξηξη=-.性质2 设,a b 是常数，则Cov(,)a b ξηCov(,)ab ξη=.性质311Cov(,)Cov(,)nni i i i ξηξη===∑∑.对于n 维随机向量ξ=1(,,)n ξξ'，可写出它的协方差阵()()B E E E ξξξξ'=--=⎪⎪⎪⎪⎪⎭⎫⎝⎛nn n n n n b b b b b b b b b 212222111211, (9)其中Cov(,)ij i j b ξξ=.由性质1可知B 是一个对称阵，且对任何实数j t ,1,,j n =, 二次型∑=nk j kj jk t t b1,,1()()nj kjj k k j k t t E E E ξξξξ==--∑21(())0nj j j j E t E ξξ==-≥∑,即随机向量ξ的协方差阵B 是非负定的. 性质4 设ξ=1(,,)n ξξ' ,C =c c c c n m mn 1111⎛⎝ ⎫⎭⎪⎪,则C ξ的协方差阵为CBC '，其中B 是ξ的协方差阵.因为''''')(C CE C EC C EC ξξξξξξ==，所以CBC '的第(),i j 元素就是C ξ的第i元素与第j 元素的协方差.相关系数协方差虽在某种意义上表示了两个随机变量间的关系，但()Cov ,ξη的取值大小与ξ,η的量纲有关. 为避免这一点，用ξ,η的标准化随机变量（见例7）来讨论. 定义3 称r ξη=Cov(,)ξη**=(10)为ξ, η的相关系数(correlation coefficient). 为了讨论相关系数的意义，先看一个重要的不等式.柯西—许瓦茨(Cauchy —Schwarz)不等式 对任意随机变量ξ, η有222E E E ξηξη≤.(11)等式成立当且仅当存在常数0t 使()01P t ηξ==.(12)证 对任意实数t2222 ()()2u t E t t E tE E ξηξξηη=-=-+是t 的二次非负多项式，所以它的判别式222()0E E E ξηξη-≤,证得(11)式成立. (11)式中等式成立当且仅当多项式 ()u t 有重根0t ，即()200()0u t E t ξη=-=.又由(3)()()200Var t E t ξηξη-≤-,故得()0Var 0t ξη-=,同时有()00E t ξη-=. 所以由方差的性质1就证得()001P t ξη-==，此即 (12)式.由此即可得相关系数的一个重要性质. 性质1 对相关系数ξηr 有1r ξη≤. (13)ξηr =1当且仅当1P ⎧⎫==;ξηr =-1当且仅当1P ⎧⎫==-.(14)证 由(11)式得1r E ξηξη**=≤==,证得(13)式成立. 证明第二个结论. 由定义****ηξηξξηE r r ==. 由柯西-许瓦兹不等式的证明可知,1||=ξηr 等价于)(t u =2***2*22ηηξξE tE E t +-有重根)2/(22***0ξηξe E t ==.**ηξE 因此由(12)式得1=ξηr 当且仅当1)(**==P ηξ；1-=ξηr 当且仅当**()1ξηP -=. 注 性质1表明相关系数1r ξη=±时，ξ与η以概率1存在着线性关系. 另一个极端是ξηr = 0，此时我们称ξ与η不相关(uncorrected). 性质2 对随机变量ξ和η, 下列事实等价： (1) Cov(ξ,η)=0;(2) ξ与η不相关;(3) E E E ξηξη=;(4) ()Var Var Var ξηξη+=+.证 显然(1)与(2)等价. 又由协方差的性质1得(1)与(3)等价. 再由')6(式，得(1)与(4)等价.性质3 若ξ与η独立，则ξ与η不相关.显然, 由ξ与η独立知(3)成立，从而ξ与η不相关. 但其逆不真.例8 设随机变量θ服从均匀分布U [0, 2π]，ξ=cos θ,sin ηθ=,显然221ξη+=, 故ξ与η不独立. 但cosE E ξθ=201cos d 02πϕϕπ==⎰,201sin =sin d 02E E πηθϕϕπ==⎰,201cos sin =cos sin d 02E E πξηθθϕϕϕπ=⋅=⎰,故()Cov ,=0 E E E ξηξηξη-=，即ξ与η不相关.注 性质2不能推广到()3n ≥个随机变量情形. 事实上从()3n ≥个随机变量两两不相关只能推得11Var()Var nni ii i ξξ===∑∑,不能推得11n n E E E ξξξξ=.反之，从这两个等式也不能推得1,,n ξξ两两不相关. 具体例子不列出了. 对于性质3, 在正态分布情形，独立与不相关是一致的，这将在下面进行讨论.例9 设(ξ,η)服从二元正态分布()2212,;,,N a b r σσ, 试求()Cov ,ξη和ξηr .解()Cov ,()()(,)d d x a y b p x y x yξη+∞+∞-∞-∞=--⎰⎰22221221()()()exp d d 2(1)2x a y b y b x a y b r x y r σσσ∞∞-∞-∞⎧⎫⎛⎫---⎪⎪--⋅---⎨⎬ ⎪-⎝⎭⎪⎪⎩⎭⎰,令12x ay bz rσσ--=-,2y b t σ-=, 则1x az rtσ-=+,12(,)(,)x y J z t ∂σσ∂==,于是()Cov ,ξη222/2(1)2/2()d d z r t zt rt ee z t--∞∞--∞-∞=+⋅⎰=2/212d t te tσσ∞--∞⋅22/2(1)d zr z e z∞---∞⋅⎰2222/2/2(1)d d t zr t e t e z∞∞----∞-∞⋅= 0+r 21σσ. 故得r rξη==.这就是说二元正态分布中参数r 就是ξ,η的相关系数. 所以对二元正态分布，ξ、η不相关等价于r = 0. 但在第二章已证ξ与η相互独立等价于r = 0. 这样我们有性质4 对二元正态分布，两个分量不相关与相互独立是等价的. 矩矩(moment)是最广泛的一种数字特征，常用的矩有两种，一种是原点矩, 对正整数k ,k k E m ξ=称为ξ的k 阶原点矩. 数学期望就是一阶原点矩. 另一种是中心矩, 对正整数k ，称k k E E c )(ξξ-=为ξ的k 阶中心矩. 方差是二阶中心矩.除此以外，三阶与四阶中心矩也是常用的，它们分别表示随机变量的性状. 往往用他们的相对值.峭.例10 设ξ为服从正态分布N (02,σ)的随机变量，此时0E ξ=，且222d x nn n m c x exσ-+∞-∞==⎰0,13(1),n n σ⎧=⎨⨯⨯⨯-⎩.2,12k n k n =+=特别 4443σ==c m .故不论σ为多少，正态分布的偏态系数与峰态系数都为0.我们可以用原点矩来表示中心矩：;)1(10r k r rkr k m m r k c -=-⎪⎪⎭⎫ ⎝⎛=∑反过来，我们也可以用中心矩来表示原点矩：.)1(10r k r rkr k c m r k m -=-⎪⎪⎭⎫ ⎝⎛=∑我们也定义α阶绝对矩,||αξE M k= 其中α是实数.对于例10中的随机变量ξ21!,21||13(1),2kk nn k n k E n n k σξσ+=+=⨯⨯⨯-=⎩利用上述结果，可以求出其他某些分布的矩. 如瑞利分布, 具有密度2222(),0xx R x e x ααα-=>，那么2222122221d ||d 2xxnnx xE xe x x exααξαα+∞+∞--+-∞==⎰⎰.因此，⎪⎩⎪⎨⎧⋅=k k nnk n E 2!2,312ααπξ .2,12k n k n =+=特别，2παξ=E ，222αξ=E . 因此，方差22)22(απσξ-=.再如，马克斯威尔分布具有密度2222(),0xp x x ex σ-=>，那么222222220d ||d xxnn n E xex x exσσξ+∞+∞--++-∞==⎰因此，2113(1),(1)!,n n kk n E k σξσ+⎧⨯⨯⨯+=+ .12,2+==k n k n特别，,22πσξ=E 223σξ=E .例11. 如果ξ服从参数为λ的指数分布，那么 对于1≥k ，d kk xE x ex λξλ+∞-=⎰1k kE ξλ-=.根据递推关系得!k k k E ξλ=.即指数分布的任意阶矩存在.。