混合OLS、固定模型与随机模型的区别
方差分析(写成英文我就认识了。。analysis of variance (ANOVA) )主要有三种模型：即固定效应模型（fixed effects model），随机效应模型（random effects model），混合效应模型（mixed effects model）。
所谓的固定、随机、混合，主要是针对分组变量而言的。
固定效应模型，表示你打算比较的就是你现在选中的这几组。例如，我想比较3种药物的疗效，我的目的就是为了比较这三种药的差别，不想往外推广。这三种药不是从很多种药中抽样出来的，不想推广到其他的药物，结论仅限于这三种药。“固定”的含义正在于此，这三种药是固定的，不是随机选择的。
随机效应模型，表示你打算比较的不仅是你的设计中的这几组，而是想通过对这几组的比较，推广到他们所能代表的总体中去。例如，你想知道是否名牌大学的就业率高于普通大学，你选择了北大、清华、北京工商大学、北京科技大学4所学校进行比较，你的目的不是为了比较这4所学校之间的就业率差异，而是为了说明他们所代表的名牌和普通大学之间的差异。你的结论不会仅限于这4所大学，而是要推广到名牌和普通这样的一个更广泛的范围。“随机”的含义就在于此，这4所学校是从名牌和普通大学中随机挑选出来的。混合效应模型就比较好理解了，就是既有固定的因素，也有随机的因素。
一般来说，只有固定效应模型，才有必要进行两两比较，随机效应模型没有必要进行两两比较，因为研究的目的不是为了比较随机选中的这些组别。
固定效应和随机效应的选择是大家做面板数据常常要遇到的问题，一个常见的方法是做huasman检验，即先估计一个随机效应，然后做检验，如果拒绝零假设，则可以使用固定效应，反之如果接受零假设，则使用随机效应。但
这种方法往往得到事与愿违的结果。另一个想法是在建立模型前根据数据性质确定使用那种模型，比如数据是从总体中抽样得到的，则可以使用随机效应，比如从N个家庭中抽出了M个样本，则由于存在随机抽样，则建议使用随机效应，反之如果数据是总体数据，比如31个省市的Gdp，则不存在随机抽样问题，可以使用固定效应。同时，从估计自由度角度看，由于固定效应模型要估计每个截面的参数，因此随机效应比固定效应有较大的自由度.
固定效应模型
固定效应模型（fixed effects model）的应用前提是假定全部研究结果的方向与效应大小基本相同，即各独立研究的结果趋于一致，一致性检验差异无显著性。因此固定效应模型适用于各独立研究间无差异，或差异较小的研究。
固定效应模型是指实验结果只想比较每一自变项之特定类目或类别间的差异及其与其他自变项之特定类目或类别间交互作用效果，而不想依此推论到同一自变项未包含在内的其他类目或类别的实验设计。例如：研究者想知道教师的认知类型在不同教学方法情境中，对儿童学习数学的效果有何不同，其中教师和学生的认知类型，均指场地依赖型和场地独立型，而不同的教学方法，则指启发式、讲演式、编序式。当实验结束时，研究者仅就两种类型间的交互作用效果及类型间的差异进行说明，而未推论到其他认知类型，或第四种教学方法。象此种实验研究模式，即称为固定效果模式。与本词相对者是随机效应模型（random effect model）、混合效应模型（mixed effect model）。
随机效应模型 random effects models
随机效应模型(random effects models)是经典的线性模型的一种推广，就是把原来（固定）的回归系数看作是随机变量，一般都是假设是来自正态分布。如果模型里一部分系数是随机的，另外一些是固定的，一般就叫做混合模型（mixed models）。
虽然定义很简单，对线性混合模型的研究与应用也已经比较成熟了，但
是如果从不同的侧面来看，可以把很多的统计思想方法综合联系起来。概括地来说，这个模型是频率派和贝叶斯模型的结合，是经典的参数统计到高维数据分析的先驱，是拟合具有一定相关结构的观测的典型工具。
随机效应最直观的用处就是把固定效应推广到随机效应。注意，这时随机效应是一个群体概念，代表了一个分布的信息 or 特征，而对固定效应而言，我们所做的推断仅限于那几个固定的（未知的）参数。例如，如果要研究一些水稻的品种是否与产量有影响，如果用于分析的品种是从一个很大的品种集合里随机选取的，那么这时用随机效应模型分析就可以推断所有品种构成的整体的一些信息。这里，就体现了经典的频率派的思想-任何样本都来源于一个无限的群体(population)。
同时，引入随机效应就可以使个体观测之间就有一定的相关性，所以就可以用来拟合非独立观测的数据。经典的就有重复观测的数据，多时间点的记录等等，很多时候就叫做纵向数据(longitudinal data)，已经成为很大的一个统计分支。
混合效应线性模型与单因素方差分析在重复测量数据中的应用比较(一)
混合效应线性模型与单因素方差分析在重复测量数据中的应用比较(一) 【关键词】重复测量；混合效应线性模型；单因素方差分析； 摘要：目的：通过混合效应线性模型与单因素方差分析在重复测量资料中的应用比较，旨在说明两方法在处理重复测量资料时的应用特点。方法：用混合效应线性模型和单因素方差分析处理重复测量资料并比较。结果：混合效应线性模型和单因素方差分析都是处理重复测量资料的重要统计方法，前者在选择协方差结构下可对重复测量资料的固定效应和随机效应参数及协方差矩阵进行参数估计和统计检验，后者可对重复测量资料的固定效应做出统计推断。结论：混合效应线性模型是处理重复测量资料的有力方法，它对资料的协方差结构要求宽松，且结论可靠；单因素方差分析对资料的协方差结构有严格的限定。 关键词：重复测量；混合效应线性模型；单因素方差分析； 统计方法特点重复测量数据（repeatedmeasuresdata）是医学领域中常见的一种数据资料。所谓重复测量是指对同一个观察对象在不同时间点上进行的多次测量〔1〕。由于重复测量资料是对同一受试对象的某一观察指标进行的重复观察所得的数据，同一受试者的观察数据间可能存在相关性，一些传统的统计学方法如t检验等就不能充分揭示这一内在特点，有时甚至会导致错误的结论。 对重复测量资料的分析方法大致可分为两类，即单变量统计分析方法和多变量统计分析方法〔2〕。本研究通过选用多变量统计分析方法中的混合线性效应模型对一例题的分析，并与单因素方差分析进行比较，来说明两种方法在处理重复测量资料中的应用特点。 1方法简介 简单说，混合效应线性模型就是所拟和的模型中既包含固定效应又包含随机效应，特别是个体内的数据结构的选择将对各因素的评价产生直接影响〔3〕。 混合效应线性模型是一般线性模型的扩展，其表达式为： Y=Xβ+Zγ+ε(1) X为已知设计矩阵，β为固定效应参数构成的未知向量，ε是未知的随机误差向量，其元素不必为同独立分布了。在式（1）中Y，γ都是正态随机向量，其均值为0，方差阵分别为G 与R，二者之间不相关，因此Y的方差表达式为： V=ZGZ+R(2) 当R=σ2I,Z=0时，混合线性模型退化为一般线性模型。对G和R必须选择其协方差结构，常用的结构有无结构(一般为协方差)、自回归(常用一阶)、复合对称(共同协方差加一对角元)等〔4〕。选择协方差矩阵的方法是在相同的结构模型下，选择几个不同结构的协方差矩阵，从中选取似然比统计量（－2LogLikelihood）、Akaikes信息量标准（AkaikesInformationCriterion，AIC）及SchwartsBayesian标准（SchwartsBayesianCriterion，BIC）较小的一个，当这些统计量较接近时，则选取含参数个数最少的一个。通常以AIC为主要判断指标。 2实例分析 下面用一实例比较两种方法对处理重复测量资料时的特点：某药有新旧两种剂型，为了比较这两种剂型的代谢情况，对16例病人服药后分别在0、4、8、12小时测得血药浓度(表1），问该药新旧剂型的血药浓度随时间变化的趋势是否一致。表1四个时间点某药新旧剂型血药浓度1用SAS软件的MIXED过程对固定效应和随机效应参数β、γ及协方差矩阵G、R进行估计和统计检验。在本例中因变量为血药浓度，药物剂型、测量时间为固定效应，受试者为随机效应，同时选择合适的协方差结构以便在控制随机误差的基础上分析处理因素（药物剂型）对反应变量（血药浓度）的关系。本例指定为常用的无结构协方差（UN）和复合对称性协方差（CS）。 模型拟合情况见表2。表2模型配合统计量由表2可见，在UN结构下协方差配合的似然比统计量－2LogLikelihood=398.0(表2),对无效模型的似然比检验，χ2=134.43，ν＝9，P＜0.0001,
meta分析中固定效应模型、随机效应模型和混合OLS模型的选择
meta分析中固定效应模型、随机效应模型和混合OLS模型的选择
meta分析中固定效应模型、随机效应模型和混合OLS模型的选择 在Meta分析中最常用的是固定效应模型、随机效应模型。怎样理解这两种模型呢？举个简单的例子：让十个学生去测量操场中的同一根旗杆，旗杆长度的测量值可以看作是一个固定效应模型；然而如果让一个学生去测量操场上长度不同的十根旗杆，旗杆长度的测量值则是随机效应模型。 一般来说，随机效应模型得出的结论偏向于保守，置信区间较大，更难以发现差异，带给我们的信息是如果各个试验的结果差异很大的时候，是否需要把各个试验合并需要慎重考虑，作出结论的时候就要更加小心。从另一个角度来说，Meta分析本来就是用来分析结论不一致甚至是相反的临床试验，通过Meta分析提供一个可靠的综合的答案，如果每个试验的结果都一模一样，根本就没有必要作Meta分析，因此要通过齐性检验来解决这对矛盾。 一般来说判断方法是根据I2来确定。 1.就是根据I2值来决定模型的使用，大部分
认为＞50%，存在异质性，使用随机效应模型，≤50%，用固定效应模型，有了异质性，通过敏感性分析，或者亚亚组分析，去探求异质性的来源，但是这两者都是定性的，不一定能找到，即使你做了，研究数目多的话，可以做个meta 回归来找异质性的来源 2.在任何情况下都使用随机效应模型，因为如果异质性很小，那么随即和固定效应模型最终合并结果不会有很大差别，当异质性很大时，就只能使用随机效应模型，所以可以说，在任何情况下都使用随机效应模型 3.还有一种，看P值，一般推荐P的界值是0.1，但现在大部分使用0.05，就是说P＞0.05，用固定，≤0.05用随机效应模型。 但是这些都没有统一的说法，存在争议，如果你的审稿人是其中一种，你和他相冲突了，你只能按照他说的去修改，因为没有谁对谁错，但是现在你的文章在人家手里，如果模型不影响你的结果，你就遵照他们的建议 但是，也不必过度强调哪种方法，更重要的是找到异质性根源。meta分析中，异质性是天然存在的。如果异质性较小，选择固定效应模型
混合效应线性模型与单因素方差分析在重复测量数据中的应用比较
【关键词】重复测量；混合效应线性模型；单因素方差分析； 摘要：目的：通过混合效应线性模型与单因素方差分析在重复测量资料中的应用比较，旨在说明两方法在处理重复测量资料时的应用特点。方法：用混合效应线性模型和单因素方差分析处理重复测量资料并比较。结果：混合效应线性模型和单因素方差分析都是处理重复测量资料的重要统计方法，前者在选择协方差结构下可对重复测量资料的固定效应和随机效应参数及协方差矩阵进行参数估计和统计检验，后者可对重复测量资料的固定效应做出统计推断。结论：混合效应线性模型是处理重复测量资料的有力方法，它对资料的协方差结构要求宽松，且结论可靠；单因素方差分析对资料的协方差结构有严格的限定。 关键词：重复测量；混合效应线性模型；单因素方差分析； 统计方法特点重复测量数据（repeated measures data）是医学领域中常见的一种数据资料。所谓重复测量是指对同一个观察对象在不同时间点上进行的多次测量［1］。由于重复测量资料是对同一受试对象的某一观察指标进行的重复观察所得的数据，同一受试者的观察数据间可能存在相关性，一些传统的统计学方法如t检验等就不能充分揭示这一内在特点，有时甚至会导致错误的结论。 对重复测量资料的分析方法大致可分为两类，即单变量统计分析方法和多变量统计分析方法［2］。本研究通过选用多变量统计分析方法中的混合线性效应模型对一例题的分析，并与单因素方差分析进行比较，来说明两种方法在处理重复测量资料中的应用特点。 1方法简介 简单说，混合效应线性模型就是所拟和的模型中既包含固定效应又包含随机效应，特别是个体内的数据结构的选择将对各因素的评价产生直接影响［3］。 混合效应线性模型是一般线性模型的扩展，其表达式为： y=xβ+zγ+ε(1) x为已知设计矩阵，β为固定效应参数构成的未知向量，ε是未知的随机误差向量，其元素不必为同独立分布了。在式（1）中y，γ都是正态随机向量，其均值为0，方差阵分别为g 与r，二者之间不相关，因此y的方差表达式为： v=zgz+r(2) 2实例分析 下面用一实例比较两种方法对处理重复测量资料时的特点：某药有新旧两种剂型，为了比较这两种剂型的代谢情况，对16例病人服药后分别在0、4、8、12小时测得血药浓度(表1），问该药新旧剂型的血药浓度随时间变化的趋势是否一致。表1四个时间点某药新旧剂型血药浓度1用sas软件的mixed过程对固定效应和随机效应参数β、γ及协方差矩阵g、r进行估计和统计检验。在本例中因变量为血药浓度，药物剂型、测量时间为固定效应，受试者为随机效应，同时选择合适的协方差结构以便在控制随机误差的基础上分析处理因素（药物剂型）对反应变量（血药浓度）的关系。本例指定为常用的无结构协方差（un）和复合对称性协方差（cs）。 模型拟合情况见表2。表2模型配合统计量由表2可见，在un结构下协方差配合的似然比统计量－2log likelihood=398.0(表2),对无效模型的似然比检验，χ2=134.43，ν＝9， p ＜0.0001,说明模型拟合效果显著，模型较好地拟和了资料。在cs结构下，似然比统计量－2log likelihood＝506.4，aic、aicc、bic三个值都是un模型小于cs模型，故本例选用un 结构作模型拟合。 在un结构下的固定效应参数估计值及假设检验结果见表3、4。 由表4可知，在un结构下，不同处理组之间的差别无统计学意义（p=0.07551），不同测量时间点的血药浓度及处理组×时间点的交互作用的差别有统计学意义(p＜0.0001)，且这种交互作用主要体现在新剂型组。
条件随机场模型和训练方法
条件随机场模型和训练方法 条件随机场模型是由[7]首先提出的，这个模型在自然语言处理和生物信息学中得到了广泛的应用，这一章我们简要介绍了条件随机场模型极其训练方法。更详尽的介绍参见[2],[3],[4]。 2.1训练的定义 考虑这样一个问题：给定一个模型，这个模型有很多参数，如何找出模型的最佳参数？训练是解决这个问题的一个方法。给定一组训练数据和一组模型，按照某个衡量标准，选出最符合训练数据的模型，这个过程叫做训练。只有选取的训练数据符合现实情况时，选择的模型才能符合现实，因此训练数据的选取是一个重要的问题。衡量模型的标准有许多个，下面介绍两个衡量标准。 2.1.1极大似然估计 (x;)P ω是随机变量X 的概率密度分布函数，ω是其中的参数。 12{x ,x ,...,x }n 是一组随机变量12,,...,X n X X 的观测值，12,,...,X n X X 是一组独立同分布的随机变量，分布与X 相同。 极大似然估计： 12'arg max (x ,x ,...,x ;)arg max (x ;)n i i P P ωωωωω==∏ 极大似然估计是一个非常自然的想法，就是选择使训练数据发生概率最大的参数，但极大似然估计的一个缺点是对训练数据的假设太强，不容易满足。下面介绍的条件似然估计可以克服这个缺点。 2.1.2条件似然估计 假设每一个训练数据由两部分组成，形如(x,y)；其中x 是已知的观测值，y 的概率分布由x 和ω唯一确定。为了判断y 的取值，我们只需要刻画条件概率分布(y |x;)ωP 。我们不用联合概率分布(y,x;)ωP 的原因是x 的取值是已知的，我们不需要刻画x 的概率分布，何况我们很难准确的刻画x 的概率分布。 假设给定一组训练集：1122{(x ,y ),(x ,y ),...,(x ,y )}n n 。 条件似然估计： 1212'arg max (y ,y ,...,y |x ,x ,...,x ;)arg max (y |x ;)n n i i i P P ωωωωω==∏ 这里所做的假设是y i 的概率分布仅由x i 和ω决定，即： 111(y |x ,...,x ,y ,...,y ;)(y |x ;)i n i i i P P ωω-=
混合OLS、固定模型与随机模型的区别
方差分析(写成英文我就认识了。。analysis of variance (ANOVA) )主要有三种模型：即固定效应模型（fixed effects model），随机效应模型（random effects model），混合效应模型（mixed effects model）。 所谓的固定、随机、混合，主要是针对分组变量而言的。 固定效应模型，表示你打算比较的就是你现在选中的这几组。例如，我想比较3种药物的疗效，我的目的就是为了比较这三种药的差别，不想往外推广。这三种药不是从很多种药中抽样出来的，不想推广到其他的药物，结论仅限于这三种药。“固定”的含义正在于此，这三种药是固定的，不是随机选择的。 随机效应模型，表示你打算比较的不仅是你的设计中的这几组，而是想通过对这几组的比较，推广到他们所能代表的总体中去。例如，你想知道是否名牌大学的就业率高于普通大学，你选择了北大、清华、北京工商大学、北京科技大学4所学校进行比较，你的目的不是为了比较这4所学校之间的就业率差异，而是为了说明他们所代表的名牌和普通大学之间的差异。你的结论不会仅限于这4所大学，而是要推广到名牌和普通这样的一个更广泛的范围。“随机”的含义就在于此，这4所学校是从名牌和普通大学中随机挑选出来的。混合效应模型就比较好理解了，就是既有固定的因素，也有随机的因素。 一般来说，只有固定效应模型，才有必要进行两两比较，随机效应模型没有必要进行两两比较，因为研究的目的不是为了比较随机选中的这些组别。 固定效应和随机效应的选择是大家做面板数据常常要遇到的问题，一个常见的方法是做huasman检验，即先估计一个随机效应，然后做检验，如果拒绝零假设，则可以使用固定效应，反之如果接受零假设，则使用随机效应。但
方差分析 固定效应模型 随机效应模型 混合效应模型
随机效应与固定效应 2009年05月15日星期五21:01 方差分析主要有三种模型：即固定效应模型（fixed effects model），随机效应模型（random effects model），混合效应模型（mixed effects model）。 所谓的固定、随机、混合，主要是针对分组变量而言的。 固定效应模型，表示你打算比较的就是你现在选中的这几组。例如，我想比较3种药物的疗效，我的目的就是为了比较这三种药的差别，不想往外推广。这三种药不是从很多种药中抽样出来的，不想推广到其他的药物，结论仅限于这三种药。“固定” 的含义正在于此，这三种药是固定的，不是随机选择的。 随机效应模型，表示你打算比较的不仅是你的设计中的这几组，而是想通过对这几组的比较，推广到他们所能代表的总体中去。例如，你想知道是否名牌大学的就业率高于普通大学，你选择了北大、清华、北京工商大学、北京科技大学4所学校进行比较，你的目的不是为了比较这4所学校之间的就业率差异，而是为了说明他们所代表的名牌和普通大学之间的差异。你的结论不会仅限于这4所大学，而是要推广到名牌和普通这样的一个更广泛的范围。“随机”的含义就在于此，这4所学校是从名牌和普通大学中随机挑选出来的。 混合效应模型就比较好理解了，就是既有固定的因素，也有随机的因素。 一般来说，只有固定效应模型，才有必要进行两两比较，随机效应模型没有必要进行两两比较，因为研究的目的不是为了比较随机选中的这些组别。 固定效应和随机效应的选择是大家做面板数据常常要遇到的问题，一个常见的方法是做huasman检验，即先估计一个随机效应，然后做检验，如果拒绝零假设，则可以使用固定效应，反之如果接受零假设，则使用随机效应。但这种方法往往得到事与愿违的结果。另一个想法是在建立模型前根据数据性质确定使用那种模型，比如数据是从总体中抽样得到的，则可以使用随机效应，比如从N个家庭中抽出了M个样本，则由于存在随机抽样，则建议使用随机效应，反之如果数据是总体数据，比如31个省市的Gdp，则不存在随机抽样问题，可以使用固定效应。同时，从估计自由度角度看，由于固定效应模型要估计每个截面的参数，因此随机效应比固定效应有较大的自由度.