线性模型(1)——方差分析模型
混合效应线性模型与单因素方差分析在重复测量数据中的应用比较(一)
混合效应线性模型与单因素方差分析在重复测量数据中的应用比较(一)【关键词】重复测量；混合效应线性模型；单因素方差分析；摘要：目的：通过混合效应线性模型与单因素方差分析在重复测量资料中的应用比较，旨在说明两方法在处理重复测量资料时的应用特点。
方法：用混合效应线性模型和单因素方差分析处理重复测量资料并比较。
结果：混合效应线性模型和单因素方差分析都是处理重复测量资料的重要统计方法，前者在选择协方差结构下可对重复测量资料的固定效应和随机效应参数及协方差矩阵进行参数估计和统计检验，后者可对重复测量资料的固定效应做出统计推断。
结论：混合效应线性模型是处理重复测量资料的有力方法，它对资料的协方差结构要求宽松，且结论可靠；单因素方差分析对资料的协方差结构有严格的限定。
关键词：重复测量；混合效应线性模型；单因素方差分析；统计方法特点重复测量数据（repeatedmeasuresdata）是医学领域中常见的一种数据资料。
所谓重复测量是指对同一个观察对象在不同时间点上进行的多次测量〔1〕。
由于重复测量资料是对同一受试对象的某一观察指标进行的重复观察所得的数据，同一受试者的观察数据间可能存在相关性，一些传统的统计学方法如t检验等就不能充分揭示这一内在特点，有时甚至会导致错误的结论。
对重复测量资料的分析方法大致可分为两类，即单变量统计分析方法和多变量统计分析方法〔2〕。
本研究通过选用多变量统计分析方法中的混合线性效应模型对一例题的分析，并与单因素方差分析进行比较，来说明两种方法在处理重复测量资料中的应用特点。
1方法简介简单说，混合效应线性模型就是所拟和的模型中既包含固定效应又包含随机效应，特别是个体内的数据结构的选择将对各因素的评价产生直接影响〔3〕。
混合效应线性模型是一般线性模型的扩展，其表达式为：Y=Xβ+Zγ+ε(1)X为已知设计矩阵，β为固定效应参数构成的未知向量，ε是未知的随机误差向量，其元素不必为同独立分布了。
7方差分析和一般线性模型
Sig. .000 .000 .000
• 促 销 (promot) 的 F 检 验 统 计 量 ( 其 自 由 度 来 自 promot 和
error的自由度:2,20)取值为13.880,p-值为0.000(更精确
些是0.0001658).而售后服务的F检验统计量为25.497，
Sig. .000
[PROMOT=1.00]
32.708
1.865
17.539
.000
[PROMOT=2.00]
40.333
1.865
21.628
.000
[SERVICE=.00]
-9.417
1.865
-5.049
.000
[SERVICE=1.00]
0a
.
.
.
a. This parameter is set to zero because it is redundant.
度 n-p,在正态分布的假设下, 如果各组增重均值相等(零
假设), 则
F MSB SSB /( p 1) MSE SSE /(n p)
有自由度为 p-1 和n-p 的F 分布.
10
由SPSS可以得到方差分析表:
(比较一元总体的) ANOVA
WEIGHT(重量)
Sum of Squares(平 方和)
Between Groups(处 理)
SSB
Within Groups
SSE
(误差)
Total(总和)
SST
Df
自由度
P-1
n-p
n-1
Mean Square(均 方)
MSB=SSB/(p-1)
方差分析简介
方差分析简介1. 引言方差分析（analysis of variance，简称ANOV A）是一种假设检验方法，即基本思想可概述为：把全部数据的总方差分解成几部分，每一部分表示某一影响因素或各影响因素之间的交互作用所产生的效应，将各部分方差与随机误差的方差相比较,依据F分布作出统计推断，从而确定各因素或交互作用的效应是否显著。
因为分析是通过计算方差的估计值进行的，所以称为方差分析。
方差分析的主要目标是检验均值间的差别是否在统计意义上显著。
如果只比较两个均值，事实上方差分析的结果和t检验完全相同。
只所以很多情况下采用方差分析，是因为它具有如下两个优点：（1）方差分析可以在一次分析中同时考察多个因素的显著性，比t检验所需的观测值少；（2）方差分析可以考察多个因素的交互作用。
方差分析的缺点是条件有些苛刻，需要满足如下条件：（1）各样本是相互独立的；（2）各样本数据来自正态总体（正态性：normality）；（3）各处理组总体方差相等（方差齐性：homogeneity of variance）。
因此在作方差分析之前，要作正态性检验和方差齐性检验，如不满足上述要求，可考虑作变量变换。
常用的变量变换方法有平方根变换，平方根反正弦变换、对数变换及倒数变换等。
方差分析在医药、制造业、农业等领域有重要应用，多用于试验优化和效果分析中。
2. 单因素方差分析2.1 基本概念（1）试验指标：在一项试验中，用来衡量试验效果的特征量称为试验指标，有时简称指标，也称试验结果，通常用y表示。
它类似于数学中的因变量或目标函数。
试验指标用数量表示称为定量指标，如速度、温度、压力、重量、尺寸、寿命、硬度、强度、产量和成本等。
不能直接用数量表示的指标称为定性指标。
如颜色，人的性别等。
定性指标也可以转化为定量指标，方法是用不同的数表示不同的指标值。
（2）试验因素：试验中，凡对试验指标可能产生影响的原因都称为因素(factor)，也称因子或元，类似于数学中的自变量。
SPSS学习系列22.方差分析
22.方差分析一、方差分析原理1.方差分析概述方差分析可用来研究多个分组的均值有无差异，其中分组是按影响因素的不同水平值组合进行划分的。
方差分析是对总变异进行分析。
看总变异是由哪些部分组成的，这些部分间的关系如何。
方差分析，是用来检验两个或两个以上均值间差别显著性（影响观察结果的因素：原因变量（列变量）的个数大于2,或分组变量（行变量）的个数大于1）。
一元时常用F检验（也称一元方差分析），多元时用多元方差分析（最常用Wilks' A检验）。
方差分析可用于：（1）完全随机设计（单因素）、随机区组设计（双因素）、析因设计、拉丁方设计和正交设计等资料；（2）可对两因素间交互作用差异进行显著性检验；（3）进行方差齐性检验。
要比较几组均值时，理论上抽得的几个样本，都假定来白正态总体，且有一个相同的方差，仅仅均值可以不相同。
还需假定每一个观察值都由若干部分累加而成，也即总的效果可分成若干部分，而每一部分都有一个特定的含义，称之谓效应的可加性。
所谓的方差是离均差平方和除以白由度，在方差分析中常简称为均方（Mean Square）。
2.基本思想基本思想是，将所有测量值上的总变异按照其变异的来源分解为多个部份，然后进行比较，评价由某种因素所引起的变异是否具有统计学意义。
根据效应的可加性，将总的离均差平方和分解成若干部分，每一部分都与某一种效应相对应，总白由度也被分成相应的各个部分，各部分的离均差平方除以各白的白由度得出各部分的均方，然后列出方差分析表算出F检验值，作出统计推断。
方差分析的关键是总离均差平方和的分解，分解越细致，各部分的含义就越明确，对各种效应的作用就越了解，统计推断就越准确。
效应项与试验设计或统计分析的目的有关，一般有：主效应（包括各种因素），交互影响项（因素间的多级交互影响），协变量（来白回归的变异项），等等。
当分析和确定了各个效应项S后，根据原始观察资料可计算出各个离均差平方和SS再根据相应的白由度df,由公式MS=SSdf,求出均方MS,最后由相应的均方，求出各个变异项的F值，F值实际上是两个均方之比值，通常情况下，分母的均方是误差项的均方。
线性回归分析与方差分析.ppt
若假设Y=a+bx+ 符合实际，则b不应为零 因为如果b=0，则Y=a+ 意味着Y与x无关
所以Y=a+bx是否合理，归结为对假设：
H0: b=0 H1 : b 0
进行检验
下面介绍检验假设H0的二种常用方法.
1．t检验法
若H0成立，即b=0，由定理7.1知，
bˆ
~ N (0,1)
yˆ0 aˆ bˆx0
作为y0的预测值.可以证明
T
y0 yˆ0
~ t(n 2)
n ˆ
n2
1 1 n
(x0 x)2
n
(xi x)2
i1
从而可得
P | T | t (n 2) 1
2
所以，给定置信概率 1 ，Y0的置信区间为
( y0 (x0 ), y0 (x0 ))
其中
第九章 线性回归分析与方差分析
第一节 一元线性回归分析 第二节 可线性化的非线性回归 第三节 多元线性回归简介 第四节 方差分析
第一节 一元线性回归分析
在许多实际问题中，我们常常需要研究多 个变量之间的相互关系。 一般来说，变量之间的关系可分为两类： 一类是确定性关系，确定性关系是指变量之间的关 系可以用函数关系来表达，例如电流I电压V电 阻R之间有关系式V=IR。 另一类是非确定性关系，有些变量之间的关系是非 确定性的关系，这种关系无法用一个精确的函数 式来表示。
直线附近.但各点不完全在一条直线上，这是由于Y
还受到其他一些随机因素的影响.
这样，Y可以看成是由两部分叠加而成，一部
分是x的线性函数a+bx，另一部分是随机因素引起的
误差 ，即
y
Y=a+bx+
数学建模四大模型归纳
四类基本模型1优化模型1.1数学规划模型线性规划、整数线性规划、非线性规划、多目标规划、动态规划。
1.2微分方程组模型阻滞增长模型、SARS传播模型。
1.3图论与网络优化问题最短路径问题、网络最大流问题、最小费用最大流问题、最小生成树问题（MST）、旅行商问题（TSP）、图的着色问题。
1.4概率模型决策模型、随机存储模型、随机人口模型、报童问题、Markov链模型。
1.5组合优化经典问题多维背包问题（MKP）背包问题：n个物品，对物品i，体积为W i，背包容量为W。
如何将尽可能多的物品装入背包。
多维背包问题：n个物品，对物品i，价值为P i，体积为W i，背包容量为W。
如何选取物品装入背包，是背包中物品的总价值最大。
多维背包问题在实际中的应用有：资源分配、货物装载和存储分配等问题。
该问题属于NP难问题。
二维指派问题（QAP）工作指派问题：n个工作可以由n个工人分别完成。
工人i完成工作j的时间为d j。
如何安排使总工作时间最小。
二维指派问题（常以机器布局问题为例）：n台机器要布置在n个地方，机器i 与k之间的物流量为f ik，位置j与l之间的距离为d jl，如何布置使费用最小。
二维指派问题在实际中的应用有：校园建筑物的布局、医院科室的安排、成组技术中加工中心的组成问题等。
旅行商问题（TSP）旅行商问题：有n个城市，城市i与j之间的距离为d ij，找一条经过n个城市的巡回（每个城市经过且只经过一次，最后回到出发点），使得总路程最小。
车辆路径问题（VRP）车辆路径问题（也称车辆计划）：已知n个客户的位置坐标和货物需求，在可供使用车辆数量及运载能力条件的约束下，每辆车都从起点出发，完成若干客户点的运送任务后再回到起点，要求以最少的车辆数、最小的车辆总行程完成货物的派送任务。
TSP问题是VRP问题的特例。
车间作业调度问题（JSP）车间调度问题：存在j个工作和m台机器，每个工作由一系列操作组成，操作的执行次序遵循严格的串行顺序，在特定的时间每个操作需要一台特定的机器完成，每台机器在同一时刻不能同时完成不同的工作，同一时刻同一工作的各个操作不能并发执行。
【生物统计】第六章 方差分析
722 922 562 1162 SSt C 7056 504 n 4
Ti 2
dft k 1 4 1 3
SSe SST SSt 602 504 98
dfe dfT dft k (n 1) 4 (4 1) 12
yij y
Ｃ
试 验 误 差
yi y
Ａ ＢLeabharlann yij yiＡ Ｂ Ｃ
Ａ
Ｂ
Ｃ
-2 -2 -2 -2
0 0 0 0
2 2 2 2
-3 -2 -2 -1
-1 0 0 1
0 1 2 5
-1 0 0 1
-1 0 0 1
-2 -1 0 3
SSt n( yi y )2 32
SST ( yij y )2 50
2 2
因为
SST ( yij y ) ( yij yi yi y )
2
( y y ) 0
i
所以 SST SSt SSe
第一节 方差分析的基本原理
自由度的分解 总自由度： 处理项自由度： 误差项自由度：
dfT nk 1
dft k 1
dfe dfT dft k (n 1)
SSe ( yij yi )2 18
第一节 方差分析的基本原理
通过前面的平方和的直观分解可以看出： SSe SSt
SST SSt SSe
2
当然也可以由公式推导出来：
( yij yi ) ( yi y ) 2 (yij yi ) ( yi y )
18 23 14 29
y 21
第一节 方差分析的基本原理
一般线性模型的几种常见形式及应用
一般线性模型的几种常见形式及其合理选用中国卫生统计 1999年第5期第16卷论著作者：胡良平单位：军事医学科学院医学统计教研室（100850)关键词：一般线性模型；设计矩阵；协方差矩阵；多水平模型【提要】目的展示一般线性模型（GLM）的常见形式及其特点，便于人们合理选用。
方法通过改变设计矩阵X和误差的协方差矩阵Ω的结构以及分析设计矩阵X的变量性质，将GLM演绎成一个个简单明了的具体表达式。
结果将GLM简化成适用于回归分析、方差和协方差分析、多水平模型等具体的统计模型。
结论合理选用统计模型的关键在于弄清资料所取自的设计类型，影响因素和反应变量的性质,有无协变量以及各种统计模型的适用范围。
Common Patterns and Rational Applications of the General Linear ModelHu Liangping，Department of Medical Statistics，Academy of Military Medical Sciences(100850）,Beijng 【Abstract】Objective Presenting the common patterns and their characteristics of the general linear model(GLM）for the convenient and rational application。
Methods By changing the structures of design matrix（X）and covariance matrix of error（Ω) and analyzing the characters of variables in the design matrix(X)，some concise and concrete expressions are deduced from GLM respectively。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在方差分析中，我们初步介绍了线性模型的思想，实际上，线性模型只是方差分析的模型化，其统计检验仍然是依照方差分解原理进行F检验。
线性模型作为一种非常重要的数学模型，通常可以分为方差分析模型、协方差分析模型、线性回归模型、方差分量模型等，根据表现形式又可以分为一般线性模型、广义线性模型、一般线性混合模型、广义线性混合模型。
下面我们就根据分析目的来介绍线性模型一、方差分析模型：使用线性模型进行方差分析的时候涉及一些基本概念：===============================================(1)因素与水平因素也称为因子，在实际分析中，因素就是会对结果产生影响的变量，通常因素都是分类变量，如果用自变量和因变量来解释，那么因素就是自变量，结果就是因变量。
一个因素下面往往具有不同的指标，称为水平，表现在分类变量上就是不同类别或取值范围，例如性别因素有男、女两个水平，有时取值范围是人为划分的。
(2)单元因素各水平之间的组合，表现在列联表中就是某个单元格，有些实验设计如拉丁方设计，单元格为空或无。
(3)元素指用于测量因变量值的最小单位，其实也就是具体的测量值。
根据具体的实验设计，列联表的一个单元格内可以有一个或多个元素，也可能没有元素。
(4)均衡如果一个实验设计中任一因素的各水平在所有单元格中出现的次数相同，且每个单元格内的元素数也相同，那么该实验就是均衡的。
不均衡的实验设计在分析时较为复杂，需要对方差分析模型作特别的设置才行。
(5)协变量有时，我们在分析某些因素的影响时，需要排除某个因素对因变量的影响，这个被排除的因素被称为协变量，(6)交互作用如果一个因素的效应大小在另一个因素的不同水平下表现的明显不同，则说明这两个因素之间存在交互作用。
交互作用是多因素分析时必须要做的，这样分析的结果才会全面。
(7)固定因素和随机因素是因素的两个种类，固定因素是指该因素的所有水平，在本次分析中全部出现，从分析结果就可以获知全部水平的情况。
而随机因素相反，指该因素的所有水平在本次分析中并没有全部出现，如果重复本次分析，可能得到的因素水平完全不同。
这样的因素称为随机因素。
固定因素和随机因素并没有严格区别，而是需要根据分析目的进行指定，一个因素有可能是固定因素也有可能是随机因素，如果将某个因素指定为固定因素，那么结论就不应该“泛化”到全部水平，否则，就应该将其指定为随机因素。
固定因素和随机因素的处理方法是不一样的，显然，如果把随机因素误当做固定因素来处理，结果肯定也会是错的。
====================================================方差分析的适用条件：(1)独立性：要求样本中的各元素相互独立，之间没有相关性，来自真正的随机抽样，只有这样才能保证差异具有可分解性，但是对于重复测量的实验设计，由于测量数据来自同一个体，因此元素之间存在相关性，需要使用专门的重复测量方差分析模型。
(2)正态性由于各组的随机误差项被设定服从均值为0，标准差为某个定值的正态分布，因此模型要求各单元格的残差也要服从正态分布(3)方差齐性由于各组的随机误差项被设定为服从正态分布，因此模型要求各单元格要满足方差齐，也就是变异程度相同，这样才具有可比性。
(4)各组协变量与因变量关系是线性的这是在协变量分析中要求的假定(5)各分组回归斜率相等这是在协变量分析中要求的假定==================================================方差分析按处理因素(也可简单称为自变量)个数的多少，分为单因素方差分析、双因素方差分析、多因素方差分析等方差分析按分析指标(也可简单称为因变量)的个数多少，分为一元方差分析（ANOVOA）、多元方差分析（MANOVOA）多自变量多因变量的方差分析也可以简单称为多元方差分析，当然更精确的称为“X因素Y元方差分析”，如二因素二元方差分析。
====================================================1.单因素方差分析单因素方差分析指的是只有一种处理因素在影响结果，或者说只有一个自变量在影响因变量的情况，单因素方差分析比较简单，我们在方差分析中已经有过详细介绍。
在此，只做回顾：设任何一次实验结果都可以表示成如下形式:Yi=μ+εi其中Yi是第i次实验的实际结果，μ是该结果的最佳估计值，其实就是总体均值，εi是均值和实际结果的偏差也就是随机误差，为了方便推导，我们假定εi 服从均值为0，标准差为某个定值的正态分布，这也是前面讲到的方差分析的适用条件之一。
我们把以上形式按照方差分析进行推广，假设我们要研究几种水平之间的差异，每种水平抽取一定样本并收集相关数据，那么模型公式可以表示为：Yij=μi+εij其中Yij是第i组水平的第j个样本的实际结果，μi是第i组的均值，εij是第i组第j个样本相对于实际结果的偏差。
我们同样假定εi服从均值为0，标准差为某个定值的正态分布，如果这i组水平没有差异，则Yij应等于总体均值加上随机误差项。
为了方便统计推断，我们又把模型公式改为如下形式：Yij=μ+αi+εij其中μ表示不考虑分组时的总体均值，αi表示第i组的附加效应，即在第i 组时的均值改变情况，例如αi=10，表示第i组的均值要比总体均值多10，如果这i组均值并无差异，那么α1=α2=α3=.....=αi，反之则不等，据此我们可以建立假设：H0：i取任意值时，αi=0H1：i取任意值时，至少有一个αi<>0结合差异分解的方差分析思路，我们发现αi实际上就是处理因素导致的差异。
2.两因素及多因素方差分析当处理因素多于1个的时候，我们不但要考虑某个因素的影响，还要考虑多个因素之间的交互作用，因此模型公式还需要扩展，以两因素方差为例，模型公式为：Yij=μ+αi+βj+γij+εijk其中μ表示不考虑分组时的总体均值，αi表示第i组的附加效应βj表示第j组的附加效应γij表示两个因素的交互作用产生的效应如果我们要分析αi对均值有无影响，需要以αi建立假设，即H0：i取任意值时，αi=0H1：i取任意值时，至少有一个αi≠0如果我们要分析βj对均值有无影响，需要以βj建立假设，即H0：i取任意值时，βj=0H1：i取任意值时，至少有一个βj≠03.协方差分析有时我们在进行方差分析的时候，遇到某些因素会对实验结果产生影响，但是这些因素在实验设计阶段无法避免，只有在分析阶段加以控制，这种需要控制的因素称为协变量，需要分析带有协变量的方差分析称为协方差分析。
协方差分析的基本思想是：在做多组均值比较之前，用直线回归方法找出各组均值与协变量之间的数量关系，求出当各组协变量相等的时候的均值，即修正均值，然后利用方差分析比较修正均值之间的差别，从而达到排除协变量对结果的影响的目的。
协方差分析的适用条件除了基本的独立性、正态性、方差齐性之外，还增了两点是：(1)各组协变量与因变量关系是线性的(2)各分组回归斜率相等由上我们看出，协方差分析需要借助线性回归才能进行分析。
4.多元方差分析(MANOVOA)多元方差分析，这里的多元指的是多个因变量，多个因变量的方差分析不能简单的拆分成多个单因变量，对于此类多因变量资料的分析，一般有两种方法：一种是因子分析，另一种就是多元方差分析。
单因素方差分析不能分析出因素对多个因变量的协方差的影响。
在考虑多个因变量时，多元方差分析将多个因变量看做一个整体(联合分布)，从因变量的任意线性组合，发现不同总体的最大组间差异，即自变量对多个因变量整体的影响。
多元方差分析也是基于变异分解的思路，但是和一元方差分析所不同的是：一元方差分析是对组间均方与组内均方进行比较，而多元方差分析则是组间方差协方差矩阵和组内方差协方差矩阵进行比较。
换句话说：一元方差分析是对方差(离均差平方和)的分解，多元方差分析是对方差-协方差(离均差平方和-离均差积和)的分解。
多元方差分析也有一些适用条件，总的来说和一元方差分析类似，但是有些略有不同(1)各因变量的联合分布服从多元正态分布。
对于这一点，要求并不高，实际上可以近似为各因变量分别服从正态分布即可，当各因变量服从多元正态分布时，每个因变量也必然服从正态分布，但是只要有一个因变量不服从正态分布，那么这几个因变量的联合分布肯定不服从多元正态分布。
(2)各观察对象间相互独立(3)各组观察对象因变量的方差协方差矩阵相等，也就是方差齐性要求(4)各因变量间存在一定的关联，这可以从专业或研究目的的角度进行判断。
以上四点中，对于第三点方差齐性要求较高，并且对样本量也有一定要求，不仅总样本量要大，而且各个单元格中的样本量也应较大。
多元方差分析中，如果自变量的个数多于两个，也可以进一步对自变量间的交互作用进行分析，这和一元方差分析相同。
如果还想分析处理因素对哪些因变量有影响或影响程度如何，则可以通过对每个因变量分别进行单因素方差分析来进行处理。
并且，当某个处理因素有统计学意义的时候，还可以进行两两比较进一步分析是那几个水平间的哪几个因变量差别有统计学意义，这和单因素方差分析一样。
多元方差分析有一些自己的统计量(1)SSCP:离差平方和与离均差积和矩阵(2)W=每个因变量的离差矩阵之和（多元方差的组内变异）(3)T=总离差矩阵(4)B=T-W=组间离差矩阵多元方差的检验方法主要有以下几种：(1)Roy 检验: Roy检验基于HE-1的最大特征根。
(2)Lawley和Hotelling's trace检验：统计量为 T=trace(BW-1)(3)Pillai's trace检验：统计量为V=trace[B(B+W)-1](4)Roy's第二检验：Roy的另一个依靠U=|B(B+W)-1|的统计量(5)Wilks似然比检验：由Wilks依据Λ=|W|/|B+W|导出的统计量以上检验中：<1>当四种检验结果不同时，需要进一步找出原因<2>当四种检验结果相同时，推荐使用Wilks似然比检验，通常情况下，Wilks似然比检验表现最好<3>Wilks似然比检验、Lawley和Hotelling's trace检验、Pillai's trace检验的功效是近似的，而Roy's检验只有在处理差异非常大的时候功效较高，其余时候比前三种方法功效低。
<4>当模型建立的前提条件不满足时（如轻微偏离多元正态），Pillai's trace 检验最为稳健。
5.重复测量资料的方差分析我们之前介绍过重复测量实验设计，重复测量是指对一个观察对象进行多次观测，从而获得实验数据。