协方差定义
协方差（Covariance）定义
在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
期望值分别为E(X) = μ 与E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))]=EXY-EX*EY
其中，E是期望值。它也可以表示为：
直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。
如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。
如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足EXY=EXEY。
但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。
协方差cov(X,Y)的度量单位是X的协方差乘以Y的协方差。而取决于协方差的相关性，是一个衡量线性独立的无量纲的数。
协方差为0的两个随机变量称为是不相关的。
2协方差属性
两个不同参数之间的方差就是协方差若两个随机变量X和Y相互独立，则
E[(X-E(X))(Y-E(Y))]=0，因而若上述数学期望不为零，则X和Y必不是相互独立的，亦即它们之间存在着一定的关系。
定义
E[(X-E(X))(Y-E(Y))]称为随机变量X和Y的协方差，记作COV(X，Y)，即COV(X，Y)=E[(X-E(X))(Y-E(Y))]。
协方差与方差之间有如下关系：
D(X+Y)=D(X)+D(Y)+2COV(X，Y)
D(X-Y)=D(X)+D(Y)-2COV(X，Y)
协方差与期望值有如下关系：
COV(X，Y)=E(XY)-E(X)E(Y)。
协方差的性质：
（1）COV(X，Y)=COV(Y，X)；
（2）COV(aX，bY)=abCOV(X，Y)，（a，b是常数）；
（3）COV(X1+X2，Y)=COV(X1，Y)+COV(X2，Y)。
由协方差定义，可以看出COV(X，X)=D(X)，COV(Y，Y)=D(Y)。
协方差作为描述X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。为此引入如下概念：定义
ρXY=COV(X，Y)/√D(X)√D(Y)，称为随机变量X和Y的相关系数。
定义
若ρXY=0，则称X与Y不相关。
即ρXY=0的充分必要条件是COV(X，Y)=0，亦即不相关和协方差为零是等价的。
定理
设ρXY是随机变量X和Y的相关系数，则有
（1）∣ρXY∣≤1；
（2）∣ρXY∣=1充分必要条件为P{Y=aX+b}=1，（a，b为常数，a≠0）
定义
设X和Y是随机变量，若E(X^k)，k=1，2，...存在，则称它为X的k阶原点矩，简称k阶矩。
若E{[X-E(X)]^k}，k=1，2，...存在，则称它为X的k阶中心矩。
若E(X^kY^l)，k、l=1，2，...存在，则称它为X和Y的k+l阶混合原点矩。
若E{[X-E(X)]^k[Y-E(Y)]^l}，k、l=1，2，...存在，则称它为X和Y的k+l阶混合中心矩。
显然，X的数学期望E(X)是X的一阶原点矩，方差D(X)是X的二阶中心矩，协方差COV(X，Y)是X和Y的二阶混合中心矩。
3协方差矩阵
分别为m与n个标量元素的列向量随机变量X与Y，二者对应的期望值分别为μ与ν，这两个变量之间的协方差定义为m×n矩阵。
两个向量变量的协方差cov(X,Y)与cov(Y,X)互为转置矩阵。
协方差有时也称为是两个随机变量之间“线性独立性”的度量，但是这个含义与线性代数中严格的线性独立性线性独立不同。
4在农业上应用
协方差在农业上的应用
农业科学实验中，经常会出现可以控制的质量因子和不可以控制的数量因子同时影响实验结果的情况，这时就需要采用协方差分析的统计处理方法，将质量因子与数量因子(也称协变量)综合起来加以考虑。
比如，要研究3种肥料对苹果产量的实际效应，而各棵苹果树头年的“基础产量”不一致，但对试验结果又有一定的影响。要消除这一因素带来的影响，就需将各棵苹果树第1年年产量这一因素作为协变量进行协方差分析，才能得到正确的实验结果。
当两个变量相关时，用于评估它们因相关而产生的对应变量的影响。
当多个变量独立时，用方差来评估这种影响的差异。
当多个变量相关时，用协方差来评估这种影响的差异
协方差分析
第十一节协方差分析 (analysis of covariance) 在各种试验设计中，对应变量（dependent variable）Y 研究时，常希望其他可能影响Y的变量在各组间保持基本一致，以达到均衡可比。例如：比较几种药物的降压作用，各试验组在原始血压、性别、年龄等指标应无差异。
第十一节协方差分析 有时这些变量不能控制，须在统计分析时，通过一定方法来消除这些变量的影响后，再对应变量y作出统计推断。称这些影响变量为协变量（Covariate）。 如果所控制的变量是分类变量时，可用多因素的方差分析； 当要控制的变量是连续型变量时，可用协方差分析，以消除协变量的影响，或将协变量化成相等后，对y的修正均数进行方差分析。
第十一节协方差分析 例如：比较几种不同饲料对动物体重增加的作用，可把动物的进食量作为协变量。 比较大学生和运动员的肺活量时，可把身高作为协变量。 比较治疗后二组舒张压的大小，可把治疗前的舒张压作为协变量。
第十一节协方差分析 协方差分析的基本原理： 协方差分析是把直线回归和方差分析结合起来的一种统计分析方法。当不同处理结果的y值受协变量x的影响时，先找出y与x的直线关系，求出把x值化为相等后y的修正均数，然后进行比较，这样就能消除x对y的影响，更恰当地评价各种处理的作用。
协方差分析的步骤 ±观察指标服从正态分布、方差齐性、各观察相互独立H检验分组因素与协变量x是否有交互作用。对上例，即是否雌雄羔羊进食量相同，它们的体重增加量却不相同。如检验结果分组因素与协变量x间没有交互作用，即说明雌雄羔羊进食量相同的情况下，它们的体重增加量是相同的。进行第二项检验： H检验协变量与应变量之间是否存在线性关系。如果不存在线性关系，则不能简单地运用协方差分析，因为协方差分析是利用协变量x与应变量y之间的线性回归关系扣除协变量x对y的影响。必要时可考虑进行变量转换。如果检验结果协变量与应变量之间存在线性关系，则进行第三项检验： H进一步扣除x对y影响的前提下，检验各组的修正均数差别是否有统计学意义。
期望、方差协方差
随机变量的数字特征 一、数学期望E（x)的性质： 性质一：常数C，E（C)=C; 性质二：X为随机变量，C为常数，则E(CX）=CE（X)； 性质三：X，Y为随机变量，则E(X+Y)=E(X)+E(Y)； 性质三：X,Y为相互独立的随机变量时，E（XY）=E（Ｘ）Ｅ（Ｙ） 二、方差的性质：D(X)=E(X2）-[E(X)]2 性质一：C为常数，则D(C)=0； 性质二：X为随机变量，C为常数，则 D(CX)=C2D(X) D(X±C)=D(X) 性质三：X，Y为相互独立随机变量 Ｄ（X±Y)=D(X)+D(Y) 当X，Y不相互独立时： D(X±Y）=D(X)+D(Y)±2COV(X,Y); 关于协方差COV（X+Y，X-Y)=D(X)-D(Y)的证明？ 证：由COV（X，Y）=E（XY）-E(X)E(Y) 得 COV（Ｘ＋Ｙ，Ｘ－Ｙ）＝E[(X+Y)（X-Y)]-E（X+Y)E(X-Y) =E（X^2-Y^2）-{[E(X)+E(Y)][E(X)-E(Y)]} =E(X^2)-E(Y^2)-E(X)E(X)+E(Y)E(Y) =E(X^2)-E(X)E(X)-[E(Y^2)-E(Y)(Y)]
=D(X)-D(Y) 三、常用函数期望与方差： ⑴（0-1）分布： ①分布律：P{X=K}=p^k(1-p)^1-k,k=0,1,2...(0
方差与协方差理解
§2 方差、协方差与相关系数 方差 例1 比较甲乙两人的射击技术，已知两人每次击中环数分布为： ξ：7 8901 0601...?? ??? η：67891001 02040201.....?? ???. 问哪一个技术较好 首先看两人平均击中环数，此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好. 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度. 称ξ-E ξ为随机变量ξ对于均值E ξ的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用()E E ξξ-，但由于 ()E E ξξ-=E E ξξ-=0对一切随机变量均成立，即ξ的离差正负相消，因此 用()E E ξξ-是不恰当的. 我们改用()2 E E ξξ-描述取值ξ的离散程度，这 就是方差. 定义 1 若()2 E E ξξ-存在，为有限值，就称它是随机变量ξ的方差(variance)，记作Var ξ, Var ξ=()2E E ξξ- (1) 但Var ξ的量纲与ξξ的标准差(standard deviation). 方差是随机变量函数()2 E ξξ-的数学期望，由§1的(5)式，即可写出方差的计算公式
Var ξ=2()d ()x E F x ξ ξ+∞ -∞-?=22()(),,()()d .i i i x E P x x E p x x ξξξξ+∞ -∞?-=???-?∑?离散型，连续型 (2) 进一步，注意到 ()2 E E ξξ-= ()222E E E ξξξξ??-+??=()22E E ξξ- 即有 Var ξ=()2 2 E E ξξ-. (3) 许多情况，用(3)式计算方差较方便些. 例1(续) 计算例1中的方差Var ξ与Var η. 解 利用(3)式 2 E ξ= ∑=i i i x P x ) (2 ξ=72×+82×+92×=, Var ξ= ()2 2E E ξξ-=82=. 同理, Var η= ()2 2 E E ηη-= = > Var ξ, 所以η取值较ξ分散. 这说明甲的射击技术较好. 例2 试计算泊松分布P(λ)的方差. 解 2 2 01 ! (1)!k k k k E k e k e k k λ λ λλξ∞ ∞ --====-∑∑ 1 1(1) (1)! (1)!k k k k k e e k k λ λ λλ∞ ∞ --===-+--∑∑ 2 ! ! j j j j j e e j j λ λ λλλ λ∞ ∞ --===+∑∑ 2 λλ=+ 所以Var ξ=22 λλλλ+-=. 例3 设ξ服从[ a, b ]上的均匀分布U [a, b]，求Var ξ.
协方差分析
协方差分析 某城市教育局在一次对全市初中一年级至高中三年级学生的调查研究中想要考察身心发展对学习成绩的影响，研究者手机了各学校初一年级至高三年级学生的学业成绩以及相关身心发展量表得分，在分析时以学生所在年级来代表年龄差异，但是由于男同学与女同学的身心发展存在差异，因此需要在结果中排除性别因素，然而无法在收集数据时只收集男同学的数据或收集女同学的数据，那么该如何排除性别因素对结果的影响呢？ 在实验设计中，考虑到实际的实验情形，无法一一排除某些会影响实验结果的无关变量（干扰变量），为了排除这些不能在实验处理中所操作的变量，而其结果又会影响因变量，可以通过“统计控制”的方法来弥补实验控制的不足，为了提高实验研究的内在效率，必须将可能干扰实验结果的无关变量加以控制，不致产生严重的系统性误差。控制系统误差的方法有很多，例如以随机的方式将被试分配至不同群体；将系统误差加入实验设计，使其变成一个自变量；尽可能控制可控制的系统误差如光纤亮度、噪音等。 实验研究的优点众所周知，即其严密的逻辑性以及可以良好的控制误差，但是让一个标准的实验设计走出实验室，在社会科学领域实施通常比较困难。因此在社会科学领域中经常实施的是准实验设计，在准实验设计中无法使用实验控制法来完全控制无关的干扰变量，故经常增加实验内在效度的方法——统计控制法，最常用的便是协方差分析（analysis of covariance，ANCOV A）。 顾名思义，协方差分析是方差分析的一种，它也包括自变量与因变量，同方差分析，因变量为连续变量且需要满足方差分析关于因变量的假设条件，自变量为分类变量。不同的是，并不是实验所关注的自变量却为研究者进行控制的一类变量被加入分析，它们被称为“协变量”（covariate），要注意，协变量是连续变量。 1.协方差分析的假设 协方差分析的基本假设与方差分析相同，包括变量的正态性、观测值独立、方差齐性等，此外还有三个重要的假设： 1)因变量与协方差之间直线关系； 2)所测量的协变量不应有误差，如果选用的是多项的量表，应有高的内部一致性信度或重 测信度，α系数最好大于0.80。这一假设若被违反会造成犯一类错误的概率上升，降低统计检验力。 3)“组内回归系数同质性”（homogeneity of with in rgression），各实验处理组中一举 协变量（X）预测因变量（Y）的回归线的回归系数要相等，即斜率相等，各条回归线平行。如果斜率不等则不宜直接进行协方差分析。 2.协方差分析的方差分解 方差分析的原理是将因变量的总方差分解成自变量效果（组间）与误差效果（组内）两个部分，再进行F检验。协方差使用的也是这样的方差分析思路，将因变量的总方差先行分割为协变量可解释部分与不可解释部分，不可解释的部分再由方差分析原理进行拆解。协方差分析的方差拆解如下： 3.协方差分析的步骤 协方差分析结合了回归分析与方差分析的方法，计算方法比较复杂，由于涉及回归分析的基本思路，因此一下内容也许需要在阅读了本章第六部分“一元线性回归分析”后理解得更加透彻。 以单因素协方差分析为例说明协方差分析的步骤： 1)协方差分析的准备 （B：组间；W：组内；T：总和；n：组内样本容量；k：组间容量；x：协变量；y：因变量）
23. 协方差分析
23. 协方差分析 一、基本原理 1. 基本思想 在实际问题中，有些随机因素是很难人为控制的，但它们又会对结果产生显著影响。如果忽略这些因素的影响，则有可能得到不正确的结论。这种影响的变量称为协变量（一般是连续变量）。 例如，研究3种不同的教学方法的教学效果的好坏。检查教学效果是通过学生的考试成绩来反映的，而学生现在考试成绩是受到他们自身知识基础的影响，在考察的时候必须排除这种影响。 协方差分析将那些难以控制的随机变量作为协变量，在分析中将其排除，然后再分析控制变量对于观察变量的影响，从而实现对控制变量效果的准确评价。 协方差分析要求协变量应是连续数值型，多个协变量间互相独立，且与控制变量之间没有交互影响。前面单因素方差分析和多因素方差分析中的控制变量都是一些定性变量，而协方差分析中既包含了定性变量（控制变量），又包含了定量变量（协变量）。 协方差分析在扣除协变量的影响后再对修正后的主效应进行方差分析，是一种把直线回归或多元线性回归与方差分析结合起来的方法，其中的协变量一般是连续性变量，并假设协变量与因变量间存在线性关系，且这种线性关系在各组一致，即各组协变量与因变量所建立的回归直线基本平行。 当有一个协变量时，称为一元协方差分析，当有两个或两个以上
的协变量时，称为多元协方差分析。 2. 协方差分析需要满足的条件 （1）自变量是分类变量，协变量是定距变量，因变量是连续变量；对连续变量或定距变量的协变量的测量不能有误差； （2）协变量与因变量之间的关系是线性关系，可以用协变量和因变量的散点图来检验是否违背这一假设；协变量的回归系数（即各回归线的斜率）是相同的，且不等于0，即各组的回归线是非水平的平行线。否则，就有可能犯第一类错误，即错误地接受虚无假设； （3） 自变量与协变量相互独立，若协方差受自变量的影响，那么协方差分析在检验自变量的效应之前对因变量所作的控制调整将是偏倚的，自变量对因变量的间接效应就会被排除； （4）各样本来自具有相同方差σ2的正态分布总体，即要求各组方差齐性。 二、协方差理论 1. 观测值=均值+分组变量影响+协变量影响+随机误差. 即 ()ij i ij ij y u t x x βε=++-+ （1） 其中，X 为所有协变量的平均值。 注：在方差分析中，协变量影响是包含在随机误差中的，在协方差分析中需要分离出来。 用协变量进行修正，得到修正后的y ij (adj)为 (adj)()ij ij ij i ij y y x x u t βε=--=++
协方差分析理论与案例
协方差分析理论与案例 假设我们有N 个个体的K 个属性在T 个不同时期的样本观测值，用it y ,it x ，…，N,t=1，…，T,k=1，…，K 表示。一般假定y 的观测值是某随机实验的结果，该实验结果在属性向量x 和参数向量θ下的条件概率分布为(,)f y x θ。使用面板数据的最终目标之一就是利用获取的信息对参数θ进行统计推断，譬如常假设假定的y 是关于x 的线性函数的简单模型。协方差分析检验是识别样本波动源时广泛采用的方法。 方差分析：常指一类特殊的线性假设，这类假设假定随机变量y 的期望值仅与所考察个体所属的类（该类由一个或多个因素决定）有关，但不包括与回归有关的检验。而协方差分析模型具有混合特征，既像回归模型一样包含真正的外生变量，同时又像通常的方差一样允许每个个体的真实关系依赖个体所属的类。 常用来分析定量因素和定性因素影响的线性模型为： *,1,,,1,,it it it it it y x u i N t T αβ'=++=???=??? 从两个方面对回归系数估计量进行检验：首先，回归斜率系数的同质性；其 次，回归截距系数的同质性。检验过程主要有三步： (1) 检验各个个体在不同时期的斜率和截距是否都相等； (2) 检验（各个体或各时期的）回归斜率（向量）是否都相等； (3) 检验各回归截距是否都相等。 显然，如果接受完全同同质性假设（1），则检验步骤中止。但如果拒绝了完全同质性性假设，则（2）将确定回归斜率是否相同。如果没有拒绝斜率系数的同质性假设，则（3）确定回归截距是否相等。（1）是从（2）、（3）分离出来的。 基本思想：在作两组或多组均数1y ，2y ，…，k y 的假设检验前，用线性回归分析方法找出协变量X 与各组Y 之间的数量关系，求得在假定X 相等时修定均数1y '，2y '，…，k y '然后用方差分析比较修正均数间的差别，这就是协方差分析的基本思想。 协方差分析的应用条件：⑴要求各组资料都来自正态总体，且各组的方差相等；（t 检验或方差分析的条件）⑵各组的总体回归系数i β相等，且都不等于0（回归方程检验）。因此，应用协方差分析前，要对资料进行方差齐性检验和回归系数的假设检验（斜率同质性检验），只有满足上述两个条件之后才能应用，否则不宜使用。 ⑴各比较组协变量X 与分析指标Y 存在线性关系（按直线回归分析方法进行判断）。 ⑵各比较组的总体回归系数i β相等，即各直线平行(绘出回归直线，看是否
相关系数与协方差的关系
探究协方差与相关系数 罗燕 摘要：协方差),(Y X Cov 是描述二维随机变量两个分量间相互关联程度的一个特征数，如果将协方差相应标准化变量就得到相关系数),(Y X Corr 。从而可以引进相关系数),(Y X Corr 去刻画二维随机变量两个分量间相互关联程度。且事实表明，相关系数明显被广泛应用。本文的目的在于从协方差与相关系数的关系的角度去探讨协方差与相关系数的优缺点，并具体介绍协方差和相关系数这两个描述二维随机变量间相关性的特征数。 关键字：协方差),(Y X Cov 相关系数),(Y X Corr 相互关联程度 1 协方差、相关系数的定义及性质 设（X ，Y ）是一个二维随机变量，若E{ [ X-E(X) ] [ Y -E(Y) ] }存在，则称此数学期望为X 与Y 的协方差，并记为Cov(X,Y)=E{ [ X-E(X) ] [ Y -E(Y) ] }，特别有Cov(X,X)=)(X Var 。 从协方差的定义可以看出，它是X 的偏差“X-E(X) ”与Y 的偏差“Y -E(Y)”的乘积的数学期望。由于偏差可正可负，故协方差也可正可负，也可为零，其具体表现如下： ·当Cov(X,Y)>0时，称X 与Y 正相关，这时两个偏差 [ X-E(X) ] 与[ Y -E(Y) ] 同时增加或同时减少，由于E(X)与E(Y)都是常数，故等价于X 与Y 同时增加或同时减少，这就是正相关的含义。 ·当Cov(X,Y)<0时，称X 与Y 负相关，这时X 增加而Y 减少，或Y 增加而X 减少，这就是负相关的含义。 ·当Cov(X,Y)=0时，称X 与Y 不相关。 也就是说，协方差就是用来描述二维随机变量X 与Y 相互关联程度的一个特征数。协方差Cov(X,Y)是有量纲的量，譬如X 表示人的身高，单位是米(m )，Y 表示人的体重，单位是公斤(k g )，则Cov(X,Y)带有量纲(m ·kg )。为了消除量纲的影响，对协方差除以相同量纲的量，就得到一个新的概念—相关系数，它的定义如下： 设（X ，Y ）是一个二维随机变量，且)(X Var >0,)(Y Var >0.则称 ),(Y X C o r r =)()() ,(Y Var X Var Y X Cov =y x Y X Cov σσ),( 为X 与Y 的（线性）相关系数。 利用施瓦茨不等式我们不难得到-1≤),(Y X Corr ≤1.也就是说相关系数是介于-1到1之间的，并且可以对它作以下几点说明： ·若),(Y X Corr =0，则称X 与Y 不相关。不相关是指X 与Y 没有线性关系，但也有可能有其他关系，比如平方关系、立方关系等。 ·若),(Y X Corr =1，则称X 与Y 完全正相关；若),(Y X Corr =-1，则称X 与Y 完全,负相关。
方差分析和协方差分析,协变量和控制变量
方差分析和协方差分析,协变量和控制变量 方差分析 方差分析(Analysis of Variance，简称ANOVA)，又称“变异数分析”或“F检验”，是发明的，用于两个及两个以上样本均数差别的显著性检验。由于各种因素的影响，研究所得的数据呈现波动状。造成波动的原因可分成两类，一是不可控的随机因素，另一是研究中施加的对结果形成影响的可控因素。 方差分析是从观测变量的方差入手，研究诸多控制变量中哪些变量是对观测变量有显著影响的变量。 假定条件和假设检验 1. 方差分析的假定条件为：（1）各处理条件下的样本是随机的。（2）各处理条件下的样本是相互独立的，否则可能出现无法解析的输出结果。（3）各处理条件下的样本分别来自正态分布总体，否则使用非参数分析。（4）各处理条件下的样本方差相同，即具有齐效性。 2. 方差分析的假设检验假设有K个样本，如果原假设H0样本均数都相同，K个样本有共同的方差σ，则K个样本来自具有共同方差σ和相同均值的总体。如果经过计算，组间均方远远大于组内均方，则推翻原假设，说明样本来自不同的正态总体，说明处理造成均值的差异有统计意义。否则承认原假设，样本来自相同总体，处理间无差异。 作用 一个复杂的事物，其中往往有许多因素互相制约又互相依存。方差分析的目的是通过数据分析找出对该事物有显著影响的因素，各因素之间的交互作用，以及显著影响因素的最佳水平等。方差分析是在可比较的数组中，把数据间的总的“变差”按各指定的变差来源进行分解的一种技术。对变差的度量，采用离差平
方和。方差分析方法就是从总离差平方和分解出可追溯到指定来源的部分离差平方和，这是一个很重要的思想。经过方差分析若拒绝了检验假设，只能说明多个样本总体均值不相等或不全相等。若要得到各组均值间更详细的信息，应在方差分析的基础上进行多个样本均值的两两比较。多个样本均值间两两比较多个样本均值间两两比较常用q检验的方法，即Newman-kueuls法，其基本步骤为：建立检验假设-->样本均值排序-->计算q值-->查q界值表判断结果。多个实验组与一个对照组均值间两两比较多个实验组与一个对照组均值间两两比较，若目的是减小第II类错误，最好选用最小显著差法（LSD法）；若目的是减小第I类错误，最好选用新复极差法，前者查t界值表，后者查q'界值表。 基本思想 基本思想 通过分析研究中不同来源的变异对总变异的贡献大小，从而确定可控因素对研究结果影响力的大小。 举例分析 下面我们用一个简单的例子来说明方差分析的基本思想：如某克山病区测得11例克山病患者和13名健康人的血磷值（mmol/L）如下：患者：健康人：问该地克山病患者与健康人的血磷值是否不同 从以上资料可以看出，24个患者与健康人的血磷值各不相同，如果用离均差平方和（SS）描述其围绕总均值的变异情况，则总变异有以下两个来源：组内变异，即由于随机误差的原因使得各组内部的血磷值各不相等；组间变异，即由于克山病的影响使得患者与健康人组的血磷值均值大小不等。而且：SS总=SS组间+SS组内v总=v组间+v组内如果用均方（离差平方和除以自由度）代替离差平方和以消除各组样本数不同的影响，则方差分析就是用组
方差与协方差理解
§2方差、协方差与相关系数 2.1方差 例1 比较甲乙两人的射击技术，已知两人每次击中环数分布为 p 8 9<6 7 8 9 10^ 巴.Q1 0.6 01 丿 ” :vQ1 0.2 0.4 0.2 01 丿 问哪一个技术较好？ 首先看两人平均击中环数，此时 E =E =8，从均值来看无法分辩孰优孰劣 ?但从直观上 看，甲基本上稳定在 8环左右，而乙却一会儿击中 10环，一会儿击中6环，较不稳定.因此 从直观上可以讲甲的射击技术较好 . 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的 离散程度. 称-E 为随机变量 对于均值 E 的离差（deviation ），它是一随机变量.为了给出一个描述 离散程度的数值，考虑用 E -E ，但由于E -E = ^ - E =0对一切随机变量均 成立，即' 2 的离差正负相消，因此用 E -E 是不恰当的.我们改用 E E 描述取 值的离散程度，这就是方差 Vat=EZ 叮 deviatio n ）. 2 方差是随机变量函数（一 一E 」）的数学期望，由§的⑸式，即可写出方差的计算公式 (x 「E )2P 「二 xj,离散型， 巴 产(x-E?2 dFKx) f 「(x-E?2 pKx)dx ,连续型. Var - ■ = a - = L -°0 进一步，注意到 E G —E ? 2 = E F -2春 +(E ： )2] = E ?2 -(E ? )2 即有 许多情况，用（3）式计算方差较方便些 例1（续）计算例1中的方差Var 与Var . 定义1 2 存在，为有限值, 就称它是随机变量 ■的方差(varianee)，记作 Var -, 但Var ?的量纲与 不同，为了统一量纲，有时用 Var ，称为 的标准差（standard (1) Var _E 2_ E
03 第三节 协方差及相关系数
第三节 协方差及相关系数 对多维随机变量, 随机变量的数学期望和方差只反映了各自的平均值与偏离程度，并没能反映随机变量之间的关系. 本节将要讨论的协方差是反映随机变量之间依赖关系的一个数字特征. 内容分布图示 ★ 引言 ★ 协方差的定义 ★ 协方差的性质 ★ 例1 ★ 例2 ★ 相关系数的定义 ★ 相关系数的性质 ★ 例3 ★ 例4 ★ 例5 ★ 例6 ★ 矩的概念 ★ 协方差矩阵 ★ n 维正态分布的概率密度 ★ n 维正态分布的几个重要性质 ★ 例7 ★ 内容小结 ★ 课堂练习 ★ 习题4-3 内容要点： 一、 协方差的定义 定义 设),(Y X 为二维随机向量,若 )]}()][({[Y E Y X E X E -- 存在, 则称其为随机变量X 和Y 的协方差, 记为),(Y X Cov ,即 )]}.()][({[),cov(Y E Y X E X E Y X --= 按定义, 若),(Y X 为离散型随机向量,其概率分布为 ),2,1,(},{ ====j i p y Y x X P ij j i 则 ∑--=j i j i Y E y X E x E Y X ,)]}.()][({[),cov( 若),(Y X 为连续型随机向量, 其概率分布为),,(y x f 则 ? ? +∞∞-+∞∞ ---=dxdy y x f Y E y X E x E Y X ),()]}()][({[),cov(. 此外, 利用数学期望的性质, 易将协方差的计算化简. ). ()()()()()()()()()()]} ()][({[),cov(Y E X E XY E Y E X E X E Y E Y E X E XY E Y E Y X E X E Y X -=+--=--= 特别地, 当X 与Y 独立时, 有 .0),cov(=Y X 二、协方差的性质 1. 协方差的基本性质 );(),cov()1(X D X X = );,cov(),cov()2(X Y Y X = ),cov(),cov()3(Y X ab bY aX =,其中b a ,是常数;
协方差和相关系数
二维随机变量的期望与方差 对于二维随机变量，如果存在，则 称为二维随机变量的数学期望。 1 、当( X ，Y ) 为二维离散型随机变量时 2 、当( X ，Y ) 为二维连续型随机变量时 例题 2.39 设，求。与一维随机变量函数的期望一样，可求出二维随机变量函数的期望。 对二维离散型随机变量( X ，Y ) ，其函数的期望为 对二维连续型随机变量( X ，Y ) ，其函数的期望为
例题 2.40 设，求 2.41 设( X ，Y ) 服从区域A 上的均匀分布，其中A 为x 轴、y 轴及直线 围成的三角形区域，如图2-10 所示。求函数的数学期望。 随机变量的数学期望和方差的三个重要性质： 1 、 推广： 2 、设X 与Y 相互独立，则 推广：设相互独立，则 3 、设X 与Y 相互独立，则 推广：设相互独立，则 仅对性质 3 就连续型随机变量加以证明 证明3
由于X 与Y 相互独立，所以与相互独立，利用性质 2 、知道 从而有， 可以证明：相互独立的随机变量其各自的函数间，仍然相互独立。 例题 2.42 某学校流行某种传染病，患者约占，为此学校决定对全校1000 名师生进 行抽血化验。现有两个方案：①逐个化验；②按四个人一组分组，并把四个人抽到的血混合在一起化验，若发现有问题再对四个人逐个化验。问那种方案好？ 2.10.2 协方差与相关系数 分析协方差与相关系数反映随机变量各分量间的关系；结合上面性质 3 的证明，可以得到以下结论： 若X 与Y 相互独立，则 可以用来刻划X 与Y 之间的某种关系。 定义设( X ，Y ) 为二维随机变量，若 存在，则称它为随机变量X 与Y 的协方差，记作或，即 特别地 故方差，是协方差的特例。计算协方差通常采用如下公式：
协方差分析
协方差分析 一、基本思想： 在作两组和多组均数之间的比较前，用直线回归的方法找出各组Y与协变量X 之间的数量关系，求得在假定X相等时的修正均数，然后用方差分析比较修正均数之间的差别。 与回归过程区别：重点求修正均数，其次才是比较。 二、要求条件： ◆X与Y的线性关系在各组均成立，且各组间回归系数近似相等； ◆X的取值范围不宜过大。否则修正均数的差值在回归直线的延长线上，不能确定是否仍然满足平行性和线性关系的条件，协方差分析的结论可能不正确。 三、步骤： 1、用“线性回归”检验各组回归系数是否近似相等（先拆分数据）； 2、协方差分析。 方差分析要求条件： 单因素方差分析：各样本的独立性、正态性、方差齐 两因素、多因素方差分析：各样本的独立性、正态性 （配伍设计、交叉设计、正交设计、有重复设计的多因素方差分析） 常用实验设计及分析方法： 完全随机设计： 涉及一个处理因素，采用单因素方差分析。 要求数据正态性、方差齐性。若经变量变换仍达不到要求，采用非参数方法进行检验。 如果分析结果显示该因素有统计学意义，应当继续进行各组均数间的两两比较。如果不存在明确的对照组，进行的是验证性研究，宜用LSD 法；若进行多个均数的两两比较（探索性研究），且各组人数相等，宜用Tukey法；其他情况宜用Scheffe法。
配伍设计（随机区组设计）： 当只有两个配伍组时，就是配对设计。由于单元格内无重复数据，交互作用和方差齐性不考察。 方法：两因素方差分析。（一应变量，两自变量） 交叉设计：交互作用和方差齐性不考察。 拉丁方设计：交互作用和方差齐性不考察。 正交设计：考查交互作用，方差齐性不考察。 析因设计：考查交互作用，方差齐性不考察。
SPSS学习系列23. 协方差分析
23. 协方差分析 （一）原理 一、基本思想 在实际问题中，有些随机因素是很难人为控制的，但它们又会对结果产生显著影响。如果忽略这些因素的影响，则有可能得到不正确的结论。这种影响的变量称为协变量（一般是连续变量）。 例如，研究3种不同的教学方法的教学效果的好坏。检查教学效果是通过学生的考试成绩来反映的，而学生现在考试成绩是受到他们自身知识基础的影响，在考察的时候必须排除这种影响。 协方差分析将那些难以控制的随机变量作为协变量，在分析中将其排除，然后再分析控制变量对于观察变量的影响，从而实现对控制变量效果的准确评价。 协方差分析要求协变量应是连续数值型，多个协变量间互相独立，且与控制变量之间没有交互影响。前面单因素方差分析和多因素方差分析中的控制变量都是一些定性变量，而协方差分析中既包含了定性变量（控制变量），又包含了定量变量（协变量）。 协方差分析在扣除协变量的影响后再对修正后的主效应进行方差分析，是一种把直线回归或多元线性回归与方差分析结合起来的方法，其中的协变量一般是连续性变量，并假设协变量与因变量间存在线性关系，且这种线性关系在各组一致，即各组协变量与因变量所建立的回归直线基本平行。 当有一个协变量时，称为一元协方差分析，当有两个或两个以上
的协变量时，称为多元协方差分析。 二、协方差分析需要满足的条件 （1）自变量是分类变量，协变量是定距变量，因变量是连续变量；对连续变量或定距变量的协变量的测量不能有误差； （2）协变量与因变量之间的关系是线性关系，可以用协变量和因变量的散点图来检验是否违背这一假设；协变量的回归系数（即各回归线的斜率）是相同的，且不等于0，即各组的回归线是非水平的平行线。否则，就有可能犯第一类错误，即错误地接受虚无假设； （3）自变量与协变量相互独立，若协方差受自变量的影响，那么协方差分析在检验自变量的效应之前对因变量所作的控制调整将是偏倚的，自变量对因变量的间接效应就会被排除； （4）各样本来自具有相同方差σ2的正态分布总体，即要求各组方差齐性。 三、基本理论 1. 观测值=均值+分组变量影响+协变量影响+随机误差. 即 ()ij i ij ij y u t x x βε=++-+（1） 其中，X 为所有协变量的平均值。 注：在方差分析中，协变量影响是包含在随机误差中的，在协方差分析中需要分离出来。 用协变量进行修正，得到修正后的y ij (adj)为 (adj)()ij ij ij i ij y y x x u t βε=--=++ 就可以对y ij (adj)做方差分析了。关键问题是求出回归系数β.
方差协方差和相关系数
§2 方差、协方差与相关系数 一、方差 二、协方差 三、相关系数 四、矩 一、方差 例1 例1 比较甲乙两人的射击技术，已知两人每次击中环数ξ分 布为 ξ： 789010601...?? ??? η：67 891001 02040201.....?? ???. 问哪一个技术较好？ 首先看两人平均击中环数，此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好. 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度. 称ξ-E ξ为随机变量ξ对于均值E ξ的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用()E E ξξ-，但由于 ()E E ξξ-=E E ξξ-=0对一切随机变量均成立，即ξ的离差正负相消，因此用 ()E E ξξ-是不恰当的. 我们改用()2 E E ξξ-描述取值ξ的离散程度，这就是方差. 定义1 若 () 2 E E ξξ-存在，为有限值，就称它是随机变量ξ的方差 (variance)，记作Var ξ, Var ξ=()2 E E ξξ- (1) 但Var ξ的量纲与ξ ξ的标准差
(standard deviation). 方差是随机变量函数()2 E ξξ-的数学期望，由§1的(5)式，即可写出方差的 计算公式 Var ξ=2()d ()x E F x ξ ξ+∞-∞-?=22()(),, ()()d .i i i x E P x x E p x x ξξξξ+∞ -∞?-=???-?∑?离散型，连续型 (2) 进一步，注意到 ()2 E E ξξ-=()222E E E ξξξξ??-+??=()22E E ξξ- 即有 Var ξ=()2 2E E ξξ-. (3) 许多情况，用(3)式计算方差较方便些. 例1(续) 计算例1中的方差Var ξ与Var η. 解 利用(3)式 2 E ξ= ∑=i i i x P x ) (2 ξ=72×0.1+82×0.8+92 ×0.1=64.2, Var ξ=()2 2E E ξξ-=64.2--82=0.2. 同理, Var η=()2 2E E ηη-= 65.2-64 = 1.2 > Var ξ, 所以η取值较ξ分散. 这说 明甲的射击技术较好. 例2 试计算泊松分布P(λ)的方差. 解 2 2 01 ! (1)!k k k k E k e k e k k λ λ λλξ∞ ∞ --====-∑∑ 1 1(1) (1)!(1)!k k k k k e e k k λ λ λλ∞ ∞ --===-+--∑∑ 2 ! ! j j j j j e e j j λ λ λλλ λ∞ ∞ --===+∑∑ 2 λλ=+ 所以Var ξ=22 λλλλ+-=. 例3 设ξ服从[ a, b ]上的均匀分布U [a, b]，求Var ξ.
方差与协方差理解
§2 方差、协方差与相关系数 2.1方差 例1 比较甲乙两人的射击技术，已知两人每次击中环数分布为： ξ：78901 0601...?? ??? η：67 891001 02040201.....?? ???. 问哪一个技术较好？ 首先看两人平均击中环数，此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好. 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度. 称ξ-E ξ为随机变量ξ对于均值E ξ的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用()E E ξξ-，但由于()E E ξξ-=E E ξξ-=0对一切随机变量均 成立，即ξ的离差正负相消，因此用()E E ξξ-是不恰当的. 我们改用( )2 E E ξξ-描述取 值ξ的离散程度，这就是方差. 定义1 若()2 E E ξξ-存在， 为有限值，就称它是随机变量ξ的方差(variance)，记作Var ξ, Var ξ=( )2 E E ξξ- (1) 但Var ξ的量纲与ξ 不同，为了统一量纲，有时用ξ的标准差(standard deviation). 方差是随机变量函数( )2 E ξξ-的数学期望，由§1的(5)式，即可写出方差的计算公式 Var ξ=2()d ()x E F x ξ ξ+∞ -∞-?=22()(),, ()()d .i i i x E P x x E p x x ξξξξ+∞ -∞?-=???-?∑?离散型，连续型 (2) 进一步，注意到 ()2 E E ξξ-=()222E E E ξξξξ??-+??=()22E E ξξ- 即有 Var ξ= ()2 2 E E ξξ-. (3) 许多情况，用(3)式计算方差较方便些. 例1(续) 计算例1中的方差Var ξ与Var η.
协方差矩阵和相关矩阵
一、协方差矩阵 变量说明： 设为一组随机变量，这些随机变量构成随机向量，每个随机变量有m个样本，则有样本矩阵 （1） 其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。 单随机变量间的协方差： 随机变量之间的协方差可以表示为 （2） 根据已知的样本值可以得到协方差的估计值如下： （3） 可以进一步地简化为： （4） 协方差矩阵：
（5）其中，从而得到了协方差矩阵表达式。 如果所有样本的均值为一个零向量，则式（5）可以表达成： （6） 补充说明： 1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素C ij就是反映的随机变量X i, X j的协方差。
2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。 3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。 4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。 二、相关矩阵 相关系数： 著名统计学家卡尔·皮尔逊设计了统计指标——相关系数。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。 依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性相关关系的统计指标称为相关系数（相关系数的平方称为判定系数）；将反映两变量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数；将反映多元线性相关关系的统计指标称为复相关系数、复判定系数等。 相关系数用r表示，它的基本公式（formula）为： 相关系数的值介于–1与+1之间，即–1≤r≤+1。其性质如下：
方差分析与协方差分析
方差分析 方差分析(Analysis of Variance，简称ANOVA)，又称“变异数分析”或“F检验”，是R.A.Fisher发明的，用于两个及两个以上样本均数差别的显著性检验。由于各种因素的影响，研究所得的数据呈现波动状。造成波动的原因可分成两类，一是不可控的随机因素，另一是研究中施加的对结果形成影响的可控因素。 方差分析是从观测变量的方差入手，研究诸多控制变量中哪些变量是对观测变量有显著影响的变量。 方差分析的作用 一个复杂的事物，其中往往有许多因素互相制约又互相依存。方差分析的目的是通过数据分析找出对该事物有显著影响的因素，各因素之间的交互作用，以及显著影响因素的最佳水平等。方差分析是在可比较的数组中，把数据间的总的“变差”按各指定的变差来源进行分解的一种技术。对变差的度量，采用离差平方和。方差分析方法就是从总离差平方和分解出可追溯到指定来源的部分离差平方和，这是一个很重要的思想。 经过方差分析若拒绝了检验假设，只能说明多个样本总体均数不相等或不全相等。若要得到各组均数间更详细的信息，应在方差分析的基础上进行多个样本均数的两两比较。 方差分析的分类及举例
一、单因素方差分析 （一）单因素方差分析概念理解步骤 是用来研究一个控制变量的不同水平是否对观测变量产生 了显著影响。这里，由于仅研究单个因素对观测变量的影响，因此称为单因素方差分析。 例如，分析不同施肥量是否给农作物产量带来显著影响，考察地区差异是否影响妇女的生育率，研究学历对工资收入的影响等。这些问题都可以通过单因素方差分析得到答案。 单因素方差分析的第一步是明确观测变量和控制变量。例如，上述问题中的观测变量分别是农作物产量、妇女生育率、工资收入；控制变量分别为施肥量、地区、学历。 单因素方差分析的第二步是剖析观测变量的方差。方差分析认为：观测变量值的变动会受控制变量和随机变量两方面的影响。据此，单因素方差分析将观测变量总的离差平方和分解为组间离差平方和和组内离差平方和两部分，用数学形式表述为：SST=S SA+SSE。 单因素方差分析的第三步是通过比较观测变量总离差平方和各部分所占的比例，推断控制变量是否给观测变量带来了显著影响。 （二）单因素方差分析原理总结 容易理解：在观测变量总离差平方和中，如果组间离差平方和所占比例较大，则说明观测变量的变动主要是由控制变量引起
协方差分析及协变量
残差平方和 概念： 为了明确解释变量和随机误差各产生的效应是多少，统计学上把数据点与它在回归直线上相应位置的差异称残差，把每个残差的平方后加起来称为残差平方和，它表示随机误差的效应。 意义： 每一点的y值的估计值和实际值的差的平方之和称为残差平方和,而y 的实际值和平均值的差的平方之和称为总平方和。 定义： 协方差是关于如何调节协变量对因变量的影响效应，从而更加有效地分析实验处理效应的一种统计技术，也是对实验进行统计控制的一种综合方差分析和回归分析的方法。 意义 当研究者知道有些协变量会影响因变量，却不能够控制和不感兴趣时（当研究学习时间对学习绩效的影响，学生原来的学习基础、智力学习兴趣就是协变量），可以在实验处理前予以观测，然后在统计时运用协方差分析来处理。 将协变量对因变量的影响从自变量中分离出去，可以进一步提高实验精确度和统计检验灵敏度。 方差是用来度量单个变量“自身变异”大小的总体参数，方差越大，该变量的变异越大； 协方差是用来度量两个变量之间“协同变异”大小的总体参数，即二个变量相互影响大小的参数，协方差的绝对值越大，二个变量相互影响越大。
对于仅涉及单个变量的试验资料，由于其总变异仅为“自身变异”（如单因素完全随机设计试验资料，“自身变异”是指由处理和随机误差所引起的变异），因而可以用方差分析法进行分析； 对于涉及两个变量的试验资料，由于每个变量的总变异既包含了“自身变异”又包含了“协同变异”（是指由另一个变量所引起的变异），须采用协方差分析法来进行分析，才能得到正确结论。 方法 （一）回归模型的协方差分析 如果那些不能很好地进行试验控制的因素是可量测的，且又和试验结果之间存在直线回归关系，就可利用这种直线回归关系将各处理的观测值都矫正到初始条件相同时的结果，使得处理间的比较能在相同基础上进行，而得出正确结论。这一做法在统计上称为统计控制。 这时所进行的协方差分析是将回归分析和方差分析结合起来的一种统计分析方法，这种协方差分析称为回归模型的协方差分析。 （二）相关模型的协方差分析 方差分析中根据均方MS与期望均方EMS间的关系，可获得不同变异来源的方差分量估计值；在协方差分析中，根据均积MP与期望均积EMP间的关系，可获得不同变异来源的协方差分量估计值。 这种协方差分析称为相关模型的协方差分析。 残差平方和： 为了明确解释变量和随机误差各产生的效应是多少，统计学上把数据点与它在回归直线上相应位置的差异称残差，把每个残差的平方后加起来称为残差平方和，它表示随机误差的效应。 回归平方和 总偏差平方和=回归平方和+ 残差平方和。 残差平方和与总平方和的比值越小，判定系数 r2 的值就越大。 协变量：在实验的设计中，协变量是一个独立变量（解释变量），不为实验者所操纵，但仍影响实验结果。