基于面板数据模型及其固定效应的模型分析
基于面板数据模型及其固定效应的模型分析
在20世纪80年代及以前,还只有很少的研究面板数据模型及其应用的文献,而20世纪80年代之后一直到现在,已经有大量的文献使用同时具有横截面和时间序列信息的面板数据来进行经验研究(Hsiao,20XX)。同时,大量的面板数据计量经济学方法和技巧已经被开发了出来,并成为现在中级以上的计量经济学教科书的必备内容,面板数据计量经济学的理论研究也是现在理论计量经济学最热的领域之一。
面板数据同时包含了许多横截面在时间序列上的样本信息,不同于只有一个维度的纯粹横截面数据和时间序列数据,面板数据是同时有横截面和时序二维的。使用二维的面板数据相对于只使用横截面数据或时序数据,在理论上被认为有一些优点,其中一个重要的优点是面板数据被认为能够控制个体的异质性。在面板数据中,人们认为不同的横截面很可能具有异质性,这个异质性被认为是无法用已知的回归元观测的,同时异质性被假定为依横截面不同而不同,但在不同时点却是稳定的,因此可以用横截面虚拟变量来控制横截面的异质性,如果异质性是发生在不同时期的,那么则用时期虚拟变量来控制。而这些工作在只有横截面数据或时序数据时是无法完成的。
然而,实际上绝大多数时候我们并不关心这个异质性究竟是多少,我们关心的仍然是回归元参数的估计结果。使用面板数据做过实际研究的人可能会发现,使用的效应①不同,对回归元的估计结果经常有十分巨大的影响,在某个固定效应设定下回归系数为正显着,而另外一个效应则变为负显着,这种事情经常可以碰到,让人十分困惑。大多数的研究文献都将这种影响解释为控制了固定效应后的结果,因为不可观测的异质性(固定效应)很可能和回归元是相关的,在控制了这个效应后,由于变量之间的相关性,自然会对回归元的估计结果产生影响,因而使用的效应不同,估计的结果一般也就会有显着变化。
然而,这个被广泛接受的理论假说,本质上来讲是有问题的。我们认为,估计的效应不同,对应的自变量估计系数的含义也不同,而导致估计结果有显着变化的可能重要原因是由于面板数据是二维的数据,而在这两个不同维度上,以及将两个维度的信息放到一起时,样本信息所显现出来的自变量和因变量之间的相关关系可能是不同的。因此,我们这里提出另外一种异质性,即样本在不同维度上的相关关系是不同的,是异质的,这个异质性是发生在回归元的回归系数上,而
不是截距项。我们试图从面板数据的横截面维度和时间序列维度的样本相关异质性角度来解释为什么使用的效应不同会使估计结果产生如此巨大的差异,而这很有可能正是由于异质性导致了在使用不同效应时,使估计的结果有显着的差异。
另外,所谓的不可观测的异质性(Unobserved Heterogeneity)在理论上被假定是无法用回归元观测的,同时,一般认为面板模型的固定效应与回归元可能是相关的,而且这个效应与回归元是否正交(相关)实际上也是判断应该使用固定效应还是随机效应的标准之一(Greene,20XX;Mundlak,1978)。而所谓的不可观测的异质性,实际上至少并不是完全不可观测的,通过适当的模型设定,把固定效应再进行分解,就得到可观测的和真正不可观测的异质性,并且模型的估计将在国家效应和随机效应之间获得融合,在这点上,我们与Mundlak(1978)的结论是一致的。
面板模型的很多方法和解释通过教科书的广泛传播和人们的应用,已经形成了面板计量技术的使用者和研究者头脑中标准的理解,而这种已经在人们脑海中形成规范解释的东西则可能是较难以改变的,因此为了说明问题,我们在文中尽量使用直观的例子来进行解释,并对我们的想法给予简要而直接的证明,来加强论文的理论性。
一、横截面和时间序列,哪一个维度?一个有其他遗漏变量的例子
读者可能会对这个问题稍微感到奇隆,并回答面板数据由于是二维数据,那么其回归结果也应该同时来自于两个维度,这正是面板数据的长处,并且直觉上两个维度上的相关关系应该是一致的,这应该是个不言自明的问题。
这个回答表面上看似正确的,然而真实的答案却不是那么简单,面板数据的回归结果并不真的一定同时来自两个维度,关于哪个维度占主要的问题在面板数据的分析中是至关重要的,尤其当我们有横截面和时间序列的维度相关异质性问题时。
这里我们所说的异质性不同于传统的面板异质性。传统的面板异质性宣称异质性来自于依横截面和时点不同而变化的截距项,并通过横截面和时点的虚拟变量捕捉;而这个论点可能是武断的,异质性可能并不来自于截距项,而是来自于回归元的系数,尤其是在数据中经常有这样的现象,即自变量与因变量在横截面上的相关关系与时间序列上的相关关系是不同的②,这是我们所探讨的异质性,导致这种异质性的原因可能有很多,遗漏变量是一个可能的重要原因。另外自变量在不同维度上对因变量本身就具有不同的作用,这也是一种可能。图1为有其他变量遗漏的情况。
图1的面板数据样本具有4个截面,6个时期,数据由如下过程生成:
然而,如果是不可观测的,那么模型就会产生遗漏变量偏差。在实际面板
数据模型的应用中,经常采用的步骤是先做混合回归,然后做横截面固定效应回归,然后做时间固定效应回归(或与横截面固定效应同时使用)。如果看图1,很可能研究者就会采用横截面固定效应或者双固定效应,而在上面的案例中,采用混合回归与横截面固定效应回归都会得到完全错误的结果,其中横截面固定效应的估计结果偏差最高,双固定效应的估计稍好,但是也经常产生有偏的结果,只有时期固定效应会产生最无偏有效的估计结果。
图2给出了使用各种效应得到的回归拟合线,每个回归的截距项已经取平均从而使得回归线落在样本点的中央,从图2中可以看到,不同的模型设定对估计系数产生明显的影响。很明显,只有时间固定效应得到了x与y的真实的相关关系,偏差最小;横截面固定效应则显示了x与y在时序上的相关关系,是偏差最大的估计;混合回归也基本显示了时序的信息;而双固定效应在这里凑巧也有较大的估计偏误,这是因为双固定效应的双向组内均值离差操作损失了许多有用的样本信息,并且在我们模拟中的一个相对大的干扰项方差也降低了估计的效率。
那么,为什么以上结果会发生呢?为了解决这个问题,我们需要探讨面板数据模型固定效应估计的本质。
1.横截面和时间固定效应的本质
如果我们有一个截面个体的时间序列样本y和X,我们可以对y和X做回归得到截距项α和系数向量β,这反映了样本在时序上的相关关系,如果我们把每个截面都做回归,就得到一个方程系统:
从式(5)和式(6)中,很容易发现,拟合准则对于β和α的一阶条件产生了同样的估计条件,也即是横截面固定效应估计量的估计条件:
Xβ+Dα=y (7)
这个估计量即是有一个线性约束=β的每个截面个体的时间序列回归的估计量,同时我们知道这也是横截面固定效应的估计量。因此,我们有推论1: 推论 1 横截面固定效应估计本质上是在做一个有线性约束的时间序列回归,约束则是每个横截面个体具有相同的回归系数。同样,容易证明,时间固定效应估计量本质上是在做一个有线性约束的横截面回归,约束则是每个时期的横截面回归具有相同的回归系数。而回忆固定效应的算法,我们知道,横截面固定效应(时期固定效应),或者说不可观测的异质性,实际上是约束每个横截面(每个时期)的误差项的均值为0的结果,因此,固定效应,或者说不可观测的异质性实际是估计的结果而不是原因。
2.每个横截面的和总的β的关系
给定横截面个体i,我们知道该横截面的时间序列回归的估计量包含在
式(10)中:
可以看到,每个截面的时序回归实际上是把估计横截面固定效应的样本按横截面分成n份,或者反过来说横截面固定效应的估计实际上是把每一个截面的时序回归的样本放到一起形成一个大样本,那么,每个截面的回归系数与固定效应的回归系数β有什么样的关系呢?
我们通过假设只有一个回归元x来给出直接的例证,若只有一个x,则对于某截面i有:
如果现在有多于1个的回归元,并且回归元之间理论上是无关的,那么这时式(13)仍然成立,但如果回归元之间是相关的,问题就会复杂很多,不过如果使用偏回归方法,先排除其他变量的干扰,我们仍然可以得到类似的结论,我们自己所做的一些数值模拟和估计也显示了这点,细节不在这里补充。由以上的讨论,可得到推论2。
推论 2 横截面固定效应估计本质上是在做一个有线性约束的时间序列回归,其估计结果等于对每一个横截面进行时序回归得到的系数的加权平均。同样的结论可以推广到时间固定效应的估计,即时间固定效应的估计结果等于每个时期横截面回归估计结果的加权平均。
现在我们知道图1和图2所示的例子中为什么使用混合效应,横截面固定效应会出现明显的偏误,而时期固定效应的结果则是正确的。因为和由于非平稳性导致在时序上两者是相关的,但是因为是随机生成的,并且和的生成过程是独立的,因此和在横截面维度上是不相关的。而使用混合回归不区分样本信息究竟来自哪个维度,它合并了时间序列和横截面二维的样本信息进行回归,因此导致的估计产生向上的偏误(因为被遗漏了),但混合回归的结果并不是偏误最严重的,因为至少在横截面方向上和是无关的;横截面固定效应估计则有最严重的偏误,因为如前所述,横截面固定效应是做一个有线性约束的时序回归,其结果等于每个截面的回归结果的加权平均,而这里和在时间序列上相关性明显,导致估计结果有很大偏误;只有时期固定效应产生了最准确的估计,因为时期固定效应做的是横截面方向的回归,而这里由于在横截面方向上和是无关的,因此即使缺失,也不会对的估计结果产生干扰,时期固定效应在以上我们所模拟的数据中是最好的估计量③。
上面的例子中所做的模拟数据是一个有着大T小N的数据集,而面板数据一般是有着大N小T的数据集,因此我们的模拟可能会由于其特定的T和N而受到质疑,而实际上,理论结果并不受到样本尺寸的明显影响。图3和图4展示了另一个有着相对大N和小T的模拟数据,其中N=6,T=3。
3.四个估计量之间的关系
前面我们说明了横截面固定效应和时间固定效应的本质,即横截面固定效应估计得到的更多是样本时间维上的相关关系,时间固定效应估计得到的更多是样本横截面维度上的相关关系;而混合效应的本质则十分容易理解,它不区分这两个维度,把所有样本当成一个维度来估计,合并了样本截面维和时间
维上的信息;而双向固定效应的估计量我们知道为,下面我们要继续深入问下一个问题:混合效应、截面固定效应、时间固定效应和双向固定效应之间的关系是什么?同时,双向固定效应的本质又是什么?
由式(17),我们得到:
总之,我们有推论3。
推论3 混合效应、截面固定效应、时期固定效应以及双向固定效应的估计量有式(20)和式(21)所示的理论关系,双向固定效应估计量可以表示为其他三个估计量的(正定)矩阵加权平均形式,在只有一个自变量时,关系可简化为式
(27),权重为相应估计量的自变量方差之比。
二、所谓的不可观测的异质性真的是不可观测的吗?另一个遗漏变量的例子
以上讨论的面板数据中横截面和时间序列的相关异质性是由于另外一个遗漏变量导致的,下面我们再看另外一个有着截面和时序异质的例子,见图5。
图5的虚线和实线与图1有着同样的含义,与图1不同的是,这里我们模拟的数据令x与y在截面维度上是正相关的(虚线),而在时间维度两者是负相关的(实线)。只看样本散点图,可能直接使用横截面固定效应和双向固定是合理的选择,然而,直接这样做仍然是有问题的。数据生成过程如下:
上面的数据生成过程导致了如图5所显示的横截面和时序相关异质的现象,我们还可以有其他类似数据生成过程来产生这种异质性,如式(32)⑦。
读者可能对我们的数据生成过程稍感疑惑,实际上,我们的数据生成过程有很强的经济学意义,体现了一种变量自身所有的横截面与时间序列上的效应不一致。下面用直观的例子讨论这种现象,尤其是式(30)和式(31)所示的数据生成过程出现的可能原因和经济含义。
1.相对性
2.集体行为(利益)与个体行为(利益)的不一致
3.自选择问题
自选择问题同样能够导致横截面和时序相关关系的不一致。有一个经典
的关于自选择问题的案例,即医疗和健康的问题。去医院看病预期会提高人们的身体健康水平,而一个很自然的考察医院治疗效果的经验方法是比较去医院多的人与去医院少的人的健康水平,然而,如Angrist和Pischke(20XX)所示,截面的比较反而表明去医院治疗意味着更差的健康水平,这意味着医院的治疗使人们的健康水平降低么?当然不是。这个问题就有着自选择和反向因果的原因,去医院看病多的人可能本来就有着较差的身体素质,这导致即使接受治疗他们也会比其他的人身体差,所以在横截面上看,医院治疗与更差的身体状况相关,然而在时序方向上看,医院的治疗还是能够提高人们的身体状况的。如果能够较好的度量个体的本身内在的身体素质,那么我们可以预期式(32)中的为负,而为正。这里我们只拿自选择问题做一个简单的例子来说明可能横截面和时序的相关异质性,实际中处理自选择问题一般采用随机分配、固定效应或DID方法。
这时,时间固定效应才是需要的。同样的结论可以推广到截面固定效应和双向固定效应的情况。因此,我们有推论4:
推论 4 在面板模型的估计中,在一般的模型设定下,所谓不可观测的异质性(固定效应)并不是完全不可观测的;固定效应与回归元之间的相关是因为模型设定的遗漏变量导致的本可观测的元素被假定为不可观测而被放到了固定效应中,使得与回归元相关,是遗漏变量导致的结果;我们认为在估计固定效应时正确的模型形式应如式(34)所示的形式,在时间固定效应时加入项估计,在截面固定效应时加入项估计,在双向固定时两者都加入,否则,模型就会有遗漏解释变量的问题,研究者会面临着损失重要的解释变量的危险。
前面我们只是在有一个解释变量的情况下做出了直觉的说明,下面以时间固定效应为例,我们给出推论4的一般情况下的证明。
传统的时间固定效应模型如下:
另外,上面的讨论是用时期固定效应的情况做出的,而同样的结论可以推广到横截面固定效应和双向固定效应的情况,这里不再补充。
三、结论
面板数据模型的研究和应用,最早可追溯到Kuh(1959)、Mundlak(1961)、Hock(1962)、Balestra和Nerlove(1966)、Wallace和Hussain(1969)等,他们发展了最早的面板模型组间估计、组内估计、GLS及ML估计等方法。其中,早在Kuh(1959)的论文中就已经用组间估计发现了横截面样本与时间序列样本可能存在的相关关系不一致的问题,Kuh将这个不一致性解释为时序样本反应了变量的短期关系,而截面样本反应的是均衡的长期关系。但在之后的研究中,横截面维度与时序维度的样本相关异质问题却一直被忽略了,经典的面板模型设定成为标准的形式,即暗含假设自变量与因变量在不同维度的相关关系是同质的。在
Balestra和Nerlove(1966)、Wallace和Hussain(1969)之后,研究者们更多地关心面板的估计是应该用组内估计还是考虑协方差矩阵加权的GLS估计,是用固定效应估计还是随机效应估计。其中,Maddala(1971)已经注意到,固定效应估计量的使用导致模型消除了组间样本的信息,而如果组间样本的变异程度相对于样本总的变异程度很大的话,模型是不够恰当的,他损失了大量的样本信息,但Maddala的对策则是转向了随机效应的研究。而随机效应的问题是其效应的随机性假定常常是不成立的,其估计方法忽视了可能存在的效应与解释变量之间的相关导致结果可能有偏误。Mundlak(1978)则通过再将固定效应做辅助回归进行分解,得到了与本文推论4类似的结论,但是他忽视了这个表面的模型估计问题背后隐藏的横截面与时序的相关异质问题,而这是我们更关心的。
混合效应、横截面固定效应、时间固定效应以及双向固定效应,一步步地,几乎已经成为了使用面板数据模型的标准步骤。面板数据的使用者可能经常会碰到不同效应的使用对回归元的估计结果有很大的影响的情况,这经常被解释为是因为固定效应控制了所谓的不可观测的异质性,而这个固定效应可能是跟回归元相关的,这导致了使用的效应不同,估计结果就会有变化。实际上,严格来讲,我们认为这种解释是不准确的。我们在文中证明,横截面固定效应估计实际上做的是有线性约束的时间序列回归,其估计结果是用时序上的样本信息得出的,回归系数等于每个横截面的时间序列回归系数的加权平均,而时间固定效应估计实际上做的是有线性约束的横截面回归,回归的系数等于每个时点的横截面回归的系数的加权平均;而所谓的横截面固定效应(时期固定效应),或者说不可观测的异质性,实际上是约束每个横截面(每个时期)的误差项的均值为0的结果。而双向固定效应的估计量则是混合效应、截面固定效应和时间固定效应估计量的加权平均。
因此,在使用不同的效应时估计结果经常有很大变化的原因有可能是因为在面板数据中自变量与因变量之间的相关关系在横截面维度和时间维度有本身就有显着不同导致的,我们称这种现象为面板数据的横截面维度和时间维度的相关异质,在图1和图5里我们用模拟生成的数据清晰地显示了这种现象。基于此,我们认为,在使用面板数据时,研究者需要十分清楚自己要研究的变量之间的相关关系是存在于哪个维度上的,或者说在哪个维度方向上结果才是真实的,依据逻辑和经济的理论来判断需要使用什么样的模型(14),而不是依靠固定效应是否显着的统计检验。
进一步地,本文除探讨了因为其他变量的干扰导致的横截面和时间序列的相关异质性,还讨论了变量自身就可能存在的相关异质性,并解释了三种可能的原因,即相对性,集体行为与个体行为的不一致以及自选择问题。我们展示了经
典的面板模型中所谓的不可观测的异质性,实际上可能并不是完全不可观测的,只不过是由于传统的面板模型设置把本来可以观测的部分假定为无法观测而放入了固定效应中造成的,即本来可观测的项被遗漏而进入时间固定效应,项被遗漏而进入截面固定效应,而我们所熟知的固定效应与回归元之间的相关性,其实是由这个问题导致的,是遗漏变量的结果,这部分结论与Mundlak(1978)基本是一致的。并且,除了遗漏和项导致固定效应与回归元之间的相关问题,(和)也不应该被遗弃,即使其加入对(-)或者说的估计没有影响,因为非常有价值的样本信息可能隐藏在其中,尤其当样本有我们所说的横截面和时序的相关异质性时。因此,我们建议研究者在做有时间固定效应的回归时,可以考虑加入项,如文中的式(35)所示,在做有截面固定效应的回归时,可以加入项(15),双向固定效应时侧两者都加入,来看看结果的差异,否则研究者在研究中可能会耐性遗漏重要的解释变量的危险。
注释:
①可以分为混合效应、截面固定效应、时期固定效应和双向固定效应。
②这里所说的不同并不是面板模型中变系数模型所说的不同,而是横截面与时序上的不同,但是各个横截面(和时序)内部的系数仍然假定为是相同的。
③有学者以“由于我们的数据生成过程中x和z均为I(1)的过程,不可避免地陷入了时间序列上的伪回归问题”为由对我们提出质疑,这里我们想说明的是:我们知道自变量和因变量的非平稳性会导致时序上的伪回归问题,但注意x和z均为自变量而不是一个自变量一个因变量,没有拿x对z做回归;并且本文讨论的是为什么在样本非平稳和遗漏变量z的情况下,时间固定效应却能得到准确的估计,而其他效应,尤其是横截面固定效应和混合回归却得到完全错误的结果。这种回归元的设定是我们故意为之从而讨论这个问题,而不是违背基本的计量经济学的常识。进一步地,如果这里是一个独立的平稳过程,那么无论哪种效应设定理论上都不会对的估计结果产生明显影响(不管是否平稳),因为这时无论是在哪个维度,与都是无关的。
(12)Mundlak主要探讨了横截面固定效应时的情况,不过本质上与时间固定效应是一样的。
(13)针对其他任何类似于这样仅在不同时期有变化的变量也一样。
(14)举个例子,现在我们有各个省份的房价增长率y和解释变量x,如果我们研究的问题是房价增长率在时序上的波动,比如为什么现在的房价增长率比过去高了,这很明显是时序上的问题,因此使用横截面固定效应在逻辑上是更合理的选择;而如果我们研究的问题是房价增长率在地区间的差异,比如为什么北京、上海等省区市的房价增长率比别的省区市高,这明显是横截面上的比较问题,
因此这里使用时期固定效应更有可能是合理的选择
STATA面板数据模型操作命令要点
STATA 面板数据模型估计命令一览表 一、静态面板数据的STATA 处理命令 εαβit ++=x y it i it 固定效应模型 μβit +=x y it it ε αμit +=it it 随机效应模型 （一）数据处理 输入数据 ●tsset code year 该命令是将数据定义为“面板”形式 ●xtdes 该命令是了解面板数据结构 ●summarize sq cpi unem g se5 ln 各变量的描述性统计（统计分析） ●gen lag_y=L.y /////// 产生一个滞后一期的新变量
gen F_y=F.y /////// 产生一个超前项的新变量 gen D_y=D.y /////// 产生一个一阶差分的新变量 gen D2_y=D2.y /////// 产生一个二阶差分的新变量 （二）模型的筛选和检验 ●1、检验个体效应（混合效应还是固定效应）（原假设：使用OLS混合模型）●xtreg sq cpi unem g se5 ln,fe 对于固定效应模型而言，回归结果中最后一行汇报的F统计量便在于检验所有的个体效应整体上显著。在我们这个例子中发现F统计量的概率为0.0000，检验结果表明固定效应模型优于混合OLS模型。 ●2、检验时间效应（混合效应还是随机效应）（检验方法：LM统计量） （原假设：使用OLS混合模型） ●qui xtreg sq cpi unem g se5 ln,re (加上“qui”之后第一幅图将不会呈现) xttest0
可以看出，LM检验得到的P值为0.0000，表明随机效应非常显著。可见，随机效应模型也优于混合OLS模型。 ●3、检验固定效应模型or随机效应模型（检验方法：Hausman检验） 原假设：使用随机效应模型（个体效应与解释变量无关） 通过上面分析，可以发现当模型加入了个体效应的时候，将显著优于截距项为常数假设条件下的混合OLS模型。但是无法明确区分FE or RE的优劣，这需要进行接下来的检验，如下： Step1：估计固定效应模型，存储估计结果 Step2：估计随机效应模型，存储估计结果 Step3：进行Hausman检验 ●qui xtreg sq cpi unem g se5 ln,fe est store fe qui xtreg sq cpi unem g se5 ln,re est store re hausman fe (或者更优的是hausman fe,sigmamore/ sigmaless) 可以看出，hausman检验的P值为0.0000，拒绝了原假设，认为随机效应模型的基本假设得不到满足。此时，需要采用工具变量法和是使用固定效应模型。
面板数据的F检验固定效应检验
面板数据的F检验固定 效应检验 标准化工作室编码[XX968T-XX89628-XJ668-XT689N]
面板数据模型(P A N E L D A T A)F检验,固定效应检验1．面板数据定义。 时间序列数据或截面数据都是一维数据。例如时间序列数据是变量按时间得到的数据；截面数据是变量在截面空间上的数据。面板数据（panel data）也称时间序列截面数据（time series and cross section data）或混合数据（pool data）。面板数据是同时在时间和截面空间上取得的二维数据。面板数据示意图见图1。面板数据从横截面（cross section）上看，是由若干个体（entity, unit, individual）在某一时刻构成的截面观测值，从纵剖面（longitudinal section）上看是一个时间序列。 面板数据用双下标变量表示。例如 y , i= 1, 2, …, N; t= 1, 2, …, T i t N表示面板数据中含有N个个体。T表示时间序列的最大长度。若固定t不变，y , ( i i . = 1, 2, …, N)是横截面上的N个随机变量；若固定i不变，y. t, (t= 1, 2, …, T)是纵剖面上的一个时间序列（个体）。 图1 N=7，T=50的面板数据示意图 例如1990-2000年30个省份的农业总产值数据。固定在某一年份上，它是由30个农业总产总值数字组成的截面数据；固定在某一省份上，它是由11年农业总产值数据组成的一个时间序列。面板数据由30个个体组成。共有330个观测值。 对于面板数据y i t, i = 1, 2, …, N; t= 1, 2, …, T来说，如果从横截面上看，每个变量都有观测值，从纵剖面上看，每一期都有观测值，则称此面板数据为平衡面板数据（balanced panel data）。若在面板数据中丢失若干个观测值，则称此面板数据为非平衡面板数据（unbalanced panel data）。 注意：EViwes 、、既允许用平衡面板数据也允许用非平衡面板数据估计模型。
固定效应模型的估计原理说明教学总结
固定效应模型的估计原理说明 在面板数据线性回归模型中，如果对于不同的截面或不同的时间序列，只是模型的截距项是不同的，而模型的斜率系数是相同的，则称此模型为固定效应模型。固定效应模型分为三类： 1.个体固定效应模型 个体固定效应模型是对于不同的纵剖面时间序列（个体）只有截距项不同的模型： 2 K it i k kit it k y x u λβ==++∑ (1) 从时间和个体上看，面板数据回归模型的解释变量对被解释变量的边际影响均是相同的，而且除模型的解释变量之外，影响被解释变量的其他所有（未包括在回归模型或不可观测的）确定性变量的效应只是随个体变化而不随时间变化时。 检验：采用无约束模型和有约束模型的回归残差平方和之比构造F 统计量，以检验设定个体固定效应模型的合理性。F 模型的零假设： 01231:0N H λλλλ-===???== () 1(1,(1)1)(1) RRSS URSS N F F N N T K URSS NT N K --= ---+--+: RRSS 是有约束模型（即混合数据回归模型）的残差平方和，URSS 是无约束模型ANCOV A 估计的残差平方和或者LSDV 估计的残差平方和。 实践： 一、数据：已知1996—2002年中国东北、华北、华东15个省级地区的居民家庭人均消费（cp ，不变价格）和人均收入（ip ，不变价格）居民，利用数据（1）建立面板数据（panel data ）工作文件；（2）定义序列名并输入数据；（3）估计选择面板模型；（4）面板单位根检验。年人均消费（consume ）和人均收入（income ）数据以及消费者价格指数（p ）分别见表1，2和3。 表1 1996—2002年中国东北、华北、华东15个省级地区的居民家庭人均消费（元）数据 人均消费 1996 1997 1998 1999 2000 2001 2002 CONSUMEAH 3607.43 3693.55 3777.41 3901.81 4232.98 4517.65 4736.52 CONSUMEBJ 5729.52 6531.81 6970.83 7498.48 8493.49 8922.72 10284.6 CONSUMEFJ 4248.47 4935.95 5181.45 5266.69 5638.74 6015.11 6631.68 CONSUMEHB 3424.35 4003.71 3834.43 4026.3 4348.47 4479.75 5069.28 CONSUMEHLJ 3110.92 3213.42 3303.15 3481.74 3824.44 4192.36 4462.08 CONSUMEJL 3037.32 3408.03 3449.74 3661.68 4020.87 4337.22 4973.88 CONSUMEJS 4057.5 4533.57 4889.43 5010.91 5323.18 5532.74 6042.6 CONSUMEJX 2942.11 3199.61 3266.81 3482.33 3623.56 3894.51 4549.32 CONSUMELN 3493.02 3719.91 3890.74 3989.93 4356.06 4654.42 5342.64 CONSUMENMG 2767.84 3032.3 3105.74 3468.99 3927.75 4195.62 4859.88
16种常用数据分析方法
一、描述统计描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。 1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策 树法。 2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W 检验、动差法。 二、假设检验 1、参数检验 参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数（如均值、百分数、方差、相关系数等）进行的检验。 1）U验使用条件：当样本含量n较大时，样本值符合正态分布 2）T检验使用条件：当样本含量n较小时，样本值符合正态分布 A 单样本t检验：推断该样本来自的总体均数卩与已知的某一总体均数卩0 （常为理论值或标准值）有无差别； B 配对样本t 检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相似； C 两独立样本t 检验：无法找到在各方面极为相似的两样本作配对比较时使用。 2、非参数检验 非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。 适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。 A 虽然是连续数据，但总体分布形态未知或者非正态； B 体分布虽然正态，数据也是连续类型，但样本容量极小，如10 以下； 主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。 三、信度分析检査测量的可信度，例如调查问卷的真实性。 分类： 1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度 2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何，常用方法分半信度。 四、列联表分析用于分析离散变量或定型变量之间是否存在相关。对于二维表，可进行卡 方检验，对于三维表，可作Mentel-Hanszel 分层分析列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。 五、相关分析 研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。 1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量； 2、复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以
基于面板数据模型及其固定效应的模型分析
基于面板数据模型及其固定效应的模型分析 在20世纪80年代及以前，还只有很少的研究面板数据模型及其应用的文献,而20世纪80年代之后一直到现在,已经有大量的文献使用同时具有横截面和时间序列信息的面板数据来进行经验研究(Hsiao,20XX)。同时,大量的面板数据计量经济学方法和技巧已经被开发了出来，并成为现在中级以上的计量经济学教科书的必备内容，面板数据计量经济学的理论研究也是现在理论计量经济学最热的领域之一。 面板数据同时包含了许多横截面在时间序列上的样本信息，不同于只有一个维度的纯粹横截面数据和时间序列数据，面板数据是同时有横截面和时序二维的。使用二维的面板数据相对于只使用横截面数据或时序数据，在理论上被认为有一些优点，其中一个重要的优点是面板数据被认为能够控制个体的异质性。在面板数据中，人们认为不同的横截面很可能具有异质性，这个异质性被认为是无法用已知的回归元观测的，同时异质性被假定为依横截面不同而不同，但在不同时点却是稳定的，因此可以用横截面虚拟变量来控制横截面的异质性，如果异质性是发生在不同时期的，那么则用时期虚拟变量来控制。而这些工作在只有横截面数据或时序数据时是无法完成的。 然而,实际上绝大多数时候我们并不关心这个异质性究竟是多少，我们关心的仍然是回归元参数的估计结果。使用面板数据做过实际研究的人可能会发现使用的效应①不同，对回归元的估计结果经常有十分巨大的影响，在某个固定效应设定下回归系数为正显着，而另外一个效应则变为负显着，这种事情经常可以碰到,让人十分困惑。大多数的研究文献都将这种影响解释为控制了固定效应后的结果，因为不可观测的异质性(固定效应)很可能和回归元是相关的，在控制了这个效应后，由于变量之间的相关性，自然会对回归元的估计结果产生影响，因而使用的效应不同，估计的结果一般也就会有显着变化。 然而,这个被广泛接受的理论假说，本质上来讲是有问题的。我们认为，估计的效应不同，对应的自变量估计系数的含义也不同，而导致估计结果有显着变化的可能重要原因是由于面板数据是二维的数据，而在这两个不同维度上，以及将两个维度的信息放到一起时，样本信息所显现出来的自变量和因变量之间的相关关系可能是不同的。因此，我们这里提出另外一种异质性，即样本在不同维度上的相关关系是不同的，是异质的，这个异质性是发生在回归元的回归系数上，而 不是截距项。我们试图从面板数据的横截面维度和时间序列维度的样本相关异质性角
Eviews面板大数据之固定效应模型
Eviews 面板数据之固定效应模型 在面板数据线性回归模型中，如果对于不同的截面或不同的时间序列，只是模型的截距项是不同的，而模型的斜率系数是相同的，则称此模型为固定效应模型。固定效应模型分为三类： 1.个体固定效应模型 个体固定效应模型是对于不同的纵剖面时间序列（个体）只有截距项不同的模型： 2 K it i k kit it k y x u λβ==++∑ (1) 从时间和个体上看，面板数据回归模型的解释变量对被解释变量的边际影响均是相同的，而且除模型的解释变量之外，影响被解释变量的其他所有（未包括在回归模型或不可观测的）确定性变量的效应只是随个体变化而不随时间变化时。 检验：采用无约束模型和有约束模型的回归残差平方和之比构造F 统计量，以检验设定个体固定效应模型的合理性。F 模型的零假设： 01231:0N H λλλλ-===???== ()1 (1,(1)1)(1) RRSS URSS N F F N N T K URSS NT N K --= ---+--+ RRSS 是有约束模型（即混合数据回归模型）的残差平方和，URSS 是无约束模型ANCOVA 估计的残差平方和或者LSDV 估计的残差平方和。 实践： 一、数据：已知1996—2002年中国东北、华北、华东15个省级地区的居民家庭人均消费（cp ，不变价格）和人均收入（ip ，不变价格）居民，利用数据（1）建立面板数据（panel data ）工作文件；（2）定义序列名并输入数据；（3）估计选择面板模型；（4）面板单位根检验。年人均消费（consume ）和人均收入（income ）数据以及消费者价格指数（p ）分别见表1，2和3。 表1 1996—2002年中国东北、华北、华东15个省级地区的居民家庭人均消费（元）数据
剖析大数据分析方法论的几种理论模型
剖析大数据分析方法论的几种理论模型 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 作者：佚名来源：博易股份|2016-12-01 19:10 收藏 分享 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 利用大数据分析的应用案例更加细化的说明做大数据分析方法中经常用到的几种理论模型。 以营销、管理等理论为指导，结合实际业务情况，搭建分析框架，这是进行大数据分析的首要因素。大数据分析方法论中经常用到的理论模型分为营销方面的理论模型和管理方面的理论模型。 管理方面的理论模型： ?PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等?PEST：主要用于行业分析 ?PEST：政治(Political)、经济(Economic)、社会(Social)和技术(Technological) ?P：构成政治环境的关键指标有，政治体制、经济体制、财政政策、税收政策、产业政策、投资政策、国防开支水平政府补贴水平、民众对政治的参与度等。?E：构成经济环境的关键指标有，GDP及增长率、进出口总额及增长率、利率、汇率、通货膨胀率、消费价格指数、居民可支配收入、失业率、劳动生产率等。?S：构成社会文化环境的关键指标有：人口规模、性别比例、年龄结构、出生率、死亡率、种族结构、妇女生育率、生活方式、购买习惯、教育状况、城市特点、宗教信仰状况等因素。
?T：构成技术环境的关键指标有：新技术的发明和进展、折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度、国家重点支持项目、国家投入的研发费用、专利个数、专利保护情况等因素。 大数据分析的应用案例：吉利收购沃尔沃 大数据分析应用案例 5W2H分析法 何因(Why)、何事(What)、何人(Who)、何时(When)、何地(Where)、如何做(How)、何价(How much) 网游用户的购买行为： 逻辑树：可用于业务问题专题分析
面板数据的F检验固定效应检验
面板数据模型(P A N E L D A T A)F检验,固定效应检验1．面板数据定义。 时间序列数据或截面数据都是一维数据。例如时间序列数据是变量按时间得到的数据；截面数据是变量在截面空间上的数据。面板数据（panel data）也称时间序列截面数据（time series and cross section data）或混合数据（pool data）。面板数据是同时在时间和截面空间上取得的二维数据。面板数据示意图见图1。面板数据从横截面（cross section）上看，是由若干个体（entity, unit, individual）在某一时刻构成的截面观测值，从纵剖面（longitudinal section）上看是一个时间序列。 面板数据用双下标变量表示。例如 y i t, i= 1, 2, …, N; t= 1, 2, …, T N表示面板数据中含有N个个体。T表示时间序列的最大长度。若固定t不变，y i ., ( i= 1, 2, …, N)是横截面上的N个随机变量；若固定i不变，y. t, (t= 1, 2, …, T)是纵剖面上的一个时间序列（个体）。 图1 N=7，T=50的面板数据示意图 例如1990-2000年30个省份的农业总产值数据。固定在某一年份上，它是由30个农业总产总值数字组成的截面数据；固定在某一省份上，它是由11年农业总产值数据组成的一个时间序列。面板数据由30个个体组成。共有330个观测值。
对于面板数据y i t, i= 1, 2, …, N; t= 1, 2, …, T来说，如果从横截面上看，每个变量都有观测值，从纵剖面上看，每一期都有观测值，则称此面板数据为平衡面板数据（balanced panel data）。若在面板数据中丢失 若干个观测值，则称此面板数据为非平衡面板数据（unbalanced panel data）。注意：EViwes 、、既允许用平衡面板数据也允许用非平衡面板数据估计模型。 例1（file:panel02）：1996-2002年中国东北、华北、华东15个省级地区的居民家庭人均消费（不变价格）和人均收入数据见表1和表2。数据是7 年的，每一年都有15个数据，共105组观测值。 人均消费和收入两个面板数据都是平衡面板数据，各有15个个体。人均消 费和收入的面板数据从纵剖面观察分别见图2和图3。从横截面观察分别见图4和图5。横截面数据散点图的表现与观测值顺序有关。图4和图5中人均消费和收入观测值顺序是按地区名的汉语拼音字母顺序排序的。 表1 1999-2002年中国东北、华北、华东15个省级地区的居民家庭人均消 费数据（不变价格） 地区人均消费1996 1997 1998 1999 2000 2001 2002 CP-AH（安徽） CP-BJ（北京） CP-FJ（福建） CP-HB（河北）
固定效应和随机效应
方差分析(写成英文我就认识了。。analysis of variance (ANOVA) )主要有三种模型：即固定效应模型（fixed effects model），随机效应模型（random effects model），混合效应模型（mixed effects model）。 所谓的固定、随机、混合，主要是针对分组变量而言的。 固定效应模型，表示你打算比较的就是你现在选中的这几组。例如，我想比较3种药物的疗效，我的目的就是为了比较这三种药的差别，不想往外推广。这三种药不是从很多种药中抽样出来的，不想推广到其他的药物，结论仅限于这三种药。“固定”的含义正在于此，这三种药是固定的，不是随机选择的。 随机效应模型，表示你打算比较的不仅是你的设计中的这几组，而是想通过对这几组的比较，推广到他们所能代表的总体中去。例如，你想知道是否名牌大学的就业率高于普通大学，你选择了北大、清华、北京工商大学、北京科技大学4所学校进行比较，你的目的不是为了比较这4所学校之间的就业率差异，而是为了说明他们所代表的名牌和普通大学之间的差异。你的结论不会仅限于这4所大学，而是要推广到名牌和普通这样的一个更广泛的范围。“随机”的含义就在于此，这4所学校是从名牌和普通大学中随机挑选出来的。 混合效应模型就比较好理解了，就是既有固定的因素，也有随机的因素。 一般来说，只有固定效应模型，才有必要进行两两比较，随机效应模型没有必要进行两两比较，因为研究的目的不是为了比较随机选中的这些组别。 固定效应和随机效应的选择是大家做面板数据常常要遇到的问题，一个常见的方法是做huasman检验，即先估计一个随机效应，然后做检验，如果拒绝零假设，则可以使用固定效应，反之如果接受零假设，则使用随机效应。但这种方法往往得到事与愿违的结果。另一个想法是在建立模型前根据数据性质确定使用那种模型，比如数据是从总体中抽样得到的，则可以使用随机效应，比如从N个家庭中抽出了M个样本，则由于存在随机抽样，则建议使用随机效应，反之如果数据是总体数据，比如31个省市的Gdp，则不存在随机抽样问题，可以使用固定效应。同时，从估计自由度角度看，由于固定效应模型要估计每个截面的参数，因此随机效应比固定效应有较大的自由度. 固定效应模型 固定效应模型（fixed effects model）的应用前提是假定全部研究结果的方向与效应大小基本相同，即各独立研究的结果趋于一致，一致性检验差异无显
基于统计学角度：解读固定效应模型和随机效应模型
中国循证心血管医学杂志2017年3月第9卷第3期 Chin J Evid Based Cardiovasc Med,March,2017,Vol.9,No.3? 261 ? ? 循证理论与实践 ? 基于统计学角度：解读固定效应模型和随机效应模型 程里礼1,2，雷鹏2，陶园3，古辉云3，张超4，赵国忠2 基金项目：2014年度宁夏自然科学基金(NZ14122) 作者单位：1 750000 银川,宁夏医科大学;2 750000 银川,宁夏医科大学总医院肝胆外科;3 442000 十堰,湖北医药学院;4 442000 十堰,湖北省十堰市太和医院循证医学与临床研究中心 通讯作者：赵国忠,E-mail:Zhaogzh1220@https://www.360docs.net/doc/2615166702.html, doi：10.3969/j.issn.1674-4055.2017.03.02 【摘要】大多数的Meta分析都会用到固定效应模型和随机效应模型中的一种，固定效应模型假设所有的纳入研究拥有共同的真实效应量，而随机效应模型中的真实效应随纳入研究的不同而改变。运用的模型不同，所得到的合并后的效应量均数值也不相同，这不仅体现在效应量的均值上，更多的体现在每个纳入研究权重的分配上，本文主要目的是深度解剖两种模型以及两种模型的假设，区分其共同点和不同点，并通过两种模型计算每个研究所占的权重和合并后效应量的均数值，最后指出并比较其优缺点。 【关键词】随机效应模型；固定效应模型；效应量；统计学 【中图分类号】R4 【文献标志码】 A 【文章编号】1674-4055(2017)03-0261-04Based on statistics: interpret fixed effect model and random effect model CHENG Li-li *, LEI Peng, TAO Yuan, GU Hui-yun, ZHANG Chao, ZHAO Guo-zhong. *Ningxia Medical University, Yinchuan 750000, China.Corresponding author: ZHAO Guo-zhong, E-mail: Zhaogzh1220@https://www.360docs.net/doc/2615166702.html, [Abstract ] Most of Meta-analysis will use fixed effect model (FEM) or random effect model (REM), and FEM assumes that there is common true effect size in all included studies, while true effect size in REM will change according to different included studies. The mean of pooled effect size will be different as different models are used, which is not only reflected on the average, but also much on the weight distribution of each included study. Main purpose of this article is to deeply analyze these two models and their assumptions, distinguish their similarities and difference, calculate each study’s weight and pooled effect size by these two models, and finally point out and compare their advantages and disadvantages. [Key words ] Random effect model; Fixed effect model; Effect size; Statistics 系统评价/Meta分析是针对某一具体临床问题，系统、全面地收集全世界所有已发表或未发表的临床研究，采用临床流行病学的原则和方法对研究进行严格的评价，筛选出符合纳入标准的研究，进行定性或定量合成，从而得出可靠的结论[1]。1976年，Glass首次提出Meta分析是采用统计学方法总结独立研究的结果。与单个研究的评价相比，Meta分析通过整合所有相关研究，可更精准的估计卫生保健的效果，并有利于探索各研究证据的一致性及研究间的差异性[2]。 目前，很多统计方法模型被用于Meta分析中，最常见的两种模型为固定效应模型（FEM）和随机效应模型（REM）。FEM假设所有的纳入研究拥有共同的真实效应量，而REM中的真实效应随研究的不同而改变。基于不同模型的运算，所得到的合并后的效应量均数值也不相同[3]。早在1976年，第一篇Meta分析就使用FEM进行了数据合并，基于其统计简洁性及异质性认知，致使FEM广泛使用，直到2006年仍然有四分之三的Meta分析的文章在使用[4]。然而，随着方法学不 断更新及异质性理解，方法学家们对于证据合并内在结构理解与剖析，已开始逐渐对“理想”状态的FEM产生疑问。随后，REM逐渐被使用，并替代部分FEM，但至今对两种模型理解错误与使用不当的现象仍层出不穷，严重影响结果真实性与可靠性。 在很多系统评价/Meta分析中，FEM的假设是不合理的，当纳入一组研究进行Meta分析时，假设所有研究拥有足够多的共同点从而使得合并后的效应量均数有意义，然而就相同的真实效应量而言，并没有充分的理由假设所有研究是完全相同的[5]。有证据显示，由于系统评价/Meta分析制作者水平良莠不齐，致使当前已发表的系统评价/Meta分析文章并没有考虑到这方面[6]。为了进一步探讨两种模型间差别及正确使用，本研究基于三个方面来解读REM和FEM及如何正确择选两种模型。1 从定义的角度 1.1 FEM 假设所有纳入的研究拥有共同的真实效应量，或者除了随机误差外，所观察效应量均为真实效应量。如比较对糖尿病黄斑水肿（DME）的抗血管内皮生长因子（Anti-VEGF）药物中aflibercept与bevacizumab疗效，除了药物自身疗效外，其他患者背景、药物使用情况及测量结局的工具等均“一致”，每个研究的观察效应量差
16种常用数据分析方法66337
一、描述统计 描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。 1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策树法。 2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。 二、假设检验 1、参数检验 参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验。 1）U验使用条件：当样本含量n较大时，样本值符合正态分布 2）T检验使用条件：当样本含量n较小时，样本值符合正态分布 A 单样本t检验：推断该样本来自的总体均数μ与已知的某一总体均数μ0 (常为理论值或标准值)有无差别； B 配对样本t检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相似； C 两独立样本t检验：无法找到在各方面极为相似的两样本作配对比较时使用。 2、非参数检验 非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。 适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。
A 虽然是连续数据，但总体分布形态未知或者非正态； B 体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下； 主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。 三、信度分析 检査测量的可信度，例如调查问卷的真实性。 分类： 1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度 2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如 何，常用方法分半信度。 四、列联表分析 用于分析离散变量或定型变量之间是否存在相关。 对于二维表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析。列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。 五、相关分析 研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。 1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量； 2、复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的自变量和因变量相关； 3、偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关。 六、方差分析
meta分析中固定效应模型、随机效应模型和混合OLS模型的选择
meta分析中固定效应模型、随机效应模型和混合OLS模型的选择
meta分析中固定效应模型、随机效应模型和混合OLS模型的选择 在Meta分析中最常用的是固定效应模型、随机效应模型。怎样理解这两种模型呢？举个简单的例子：让十个学生去测量操场中的同一根旗杆，旗杆长度的测量值可以看作是一个固定效应模型；然而如果让一个学生去测量操场上长度不同的十根旗杆，旗杆长度的测量值则是随机效应模型。 一般来说，随机效应模型得出的结论偏向于保守，置信区间较大，更难以发现差异，带给我们的信息是如果各个试验的结果差异很大的时候，是否需要把各个试验合并需要慎重考虑，作出结论的时候就要更加小心。从另一个角度来说，Meta分析本来就是用来分析结论不一致甚至是相反的临床试验，通过Meta分析提供一个可靠的综合的答案，如果每个试验的结果都一模一样，根本就没有必要作Meta分析，因此要通过齐性检验来解决这对矛盾。 一般来说判断方法是根据I2来确定。 1.就是根据I2值来决定模型的使用，大部分
认为＞50%，存在异质性，使用随机效应模型，≤50%，用固定效应模型，有了异质性，通过敏感性分析，或者亚亚组分析，去探求异质性的来源，但是这两者都是定性的，不一定能找到，即使你做了，研究数目多的话，可以做个meta 回归来找异质性的来源 2.在任何情况下都使用随机效应模型，因为如果异质性很小，那么随即和固定效应模型最终合并结果不会有很大差别，当异质性很大时，就只能使用随机效应模型，所以可以说，在任何情况下都使用随机效应模型 3.还有一种，看P值，一般推荐P的界值是0.1，但现在大部分使用0.05，就是说P＞0.05，用固定，≤0.05用随机效应模型。 但是这些都没有统一的说法，存在争议，如果你的审稿人是其中一种，你和他相冲突了，你只能按照他说的去修改，因为没有谁对谁错，但是现在你的文章在人家手里，如果模型不影响你的结果，你就遵照他们的建议 但是，也不必过度强调哪种方法，更重要的是找到异质性根源。meta分析中，异质性是天然存在的。如果异质性较小，选择固定效应模型
常用数据分析方法
常用数据分析方法 常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析；问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach’a信度系数分析、结构方程模型分析(structural equations modeling) 。 数据分析常用的图表方法：柏拉图(排列图)、直方图(Histogram)、散点图(scatter diagram)、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。 数据分析统计工具：SPSS、minitab、JMP。 常用数据分析方法: 1、聚类分析（Cluster Analysis） 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析（Factor Analysis） 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。 因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。 3、相关分析（Correlation Analysis） 相关分析（correlation analysis），相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X 与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析（Correspondence Analysis） 对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。 5、回归分析 研究一个随机变量Y对另一个(X)或一组(X1，X2，…，Xk)变量的相依关系的统计分析方法。回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。 6、方差分析(ANOVA/Analysis of Variance) 又称“变异数分析”或“F检验”，是R.A.Fisher发明的，用于两个及两个以上样本均数差
面板数据模型入门讲解
第十四章 面板数据模型 在第五章，当我们分析城镇居民的消费特征时，我们使用的是城镇居民的时间序列数据；而当分析农村居民的消费特征时，我们使用农村居民的时间序列数据。如果我们想要分析全体中国居民的消费特征呢？我们有两种选择：一是使用中国居民的时间序列数据进行分析，二是把城镇居民和农村居民的样本合并，实际上就是两个时间序列的样本合并为一个样本。 多个观测对象的时间序列数据所组成的样本数据，被称为面板数据（Panel Data ）。通常也被称为综列数据，意即综合了多个时间序列的数据。当然，面板数据也可以看成多个横截面数据的综合。在面板数据中，每一个观测对象，我们称之为一个个体（Individual ）。例如城镇居民是一个观测个体，农村居民是另一个观测个体。 如果面板数据中各观测个体的观测区间是相同的，我们称其为平衡的面板数据，反之，则为非平衡的面板数据。基于面板数据所建立的计量经济学模型则被称为面板数据模型。例如，表5.3.1中城镇居民和农村居民的样本数据具有相同的采样区间，所以，它是一个平衡的面板数据。 §14.1 面板数据模型 一、两个例子 1. 居民消费行为的面板数据分析 让我们重新回到居民消费的例子。在表5.1.1中，如果我们将城镇居民和农村居民的时间序列数据作为一个样本，以分析中国居民的消费特征。那么，此时模型（5.1.1）的凯恩斯消费函数就可以表述为： it it it Y C εββ++=10 （14.1.1） it t i it u ++=λμε （14.1.2） 其中：it C 和it Y 分别表示第i 个观测个体在第t 期的消费和收入。i =1、2分别表示城镇居民和农村居民两个观测个体，t ＝1980、…、2008表示不同年度。it u 为经典误差项。 在（14.1.2）中，i μ随观测个体的变化，而不随时间变化，它反映个体之间不随时间变化的差异性，被称为个体效应。t λ反映不随个体变化的时间上的差异性，被称为时间效应。在本例中，城镇居民和农村居民的消费差异一部分来自收入差异和随机扰动，还有一部分差
固定效应与随机效应的比较
方差分析主要有三种模型：即固定效应模型（fixed effects model），随机效应模型（random effects model），混合效应模型（mixed effects model）。 所谓的固定、随机、混合，主要是针对分组变量而言的。 固定效应模型，表示你打算比较的就是你现在选中的这几组。例如，我想比较3种药物的疗效，我的目的就是为了比较这三种药的差别，不想往外推广。这三种药不是从很多种药中抽样出来的，不想推广到其他的药物，结论仅限于这三种药。“固定”的含义正在于此，这三种药是固定的，不是随机选择的。 随机效应模型，表示你打算比较的不仅是你的设计中的这几组，而是想通过对这几组的比较，推广到他们所能代表的总体中去。例如，你想知道是否名牌大学的就业率高于普通大学，你选择了北大、清华、北京工商大学、北京科技大学4所学校进行比较，你的目的不是为了比较这4所学校之间的就业率差异，而是为了说明他们所代表的名牌和普通大学之间的差异。你的结论不会仅限于这4所大学，而是要推广到名牌和普通这样的一个更广泛的范围。“随机”的含义就在于此，这4所学校是从名牌和普通大学中随机挑选出来的。 混合效应模型就比较好理解了，就是既有固定的因素，也有随机的因素。一般来说，只有固定效应模型，才有必要进行两两比较，随机效应模型没有必要进行两两比较，因为研究的目的不是为了比较随机选中的这些组别。 固定效应和随机效应的选择是大家做面板数据常常要遇到的问题，一个常见的方法是做huasman检验，即先估计一个随机效应，然后做检验，如果拒绝零假设，则可以使用固定效应，反之如果接受零假设，则使用随机效应。但这种方法往往得到事与愿违的结果。另一个想法是在建立模型前根据数据性质确定使用那种模型，比如数据是从总体中抽样得到的，则可以使用随机效应，比如从N个家庭中抽出了M个样本，则由于存在随机抽样，则建议使用随机效应，反之如果数据是总体数据，比如31个省市的Gdp，则不存在随机抽样问题，可以使用固定效应。同时，从估计自由度角度看，由于固定效应模型要估计每个截面的参数，因此随机效应比固定效应有较大的自由度. 固定效应模型 固定效应模型（fixed effects model）的应用前提是假定全部研究结果的方向与效应大小基本相同，即各独立研究的结果趋于一致，一致性检验差异无显著性。因此固定效应模型适用于各独立研究间无差异，或差异较小的研究。 固定效应模型是指实验结果只想比较每一自变项之特定类目或类别间的差异及其与其他自变项之特定类目或类别间交互作用效果，而不想依此推论到同一自变项未包含在内的其他类目或类别的实验设计。例如：研究者想知道教师的认知类型在不同教学方法情境中，对儿童学习数学的效果有何不同，其中教师和学生的认知类型，均指场地依赖型和场地独立型，而不同的教学方法，则指启发式、讲演式、编序式。当实验结束时，研究者仅就两种类型间的交互作用效果及类型间的差异进行说明，而未推论到其他认知类型，或第四种教学方法。象此种实验研究模式，即称为固定效果模式。与本词相对者是随机效应模型（random effect model）、混合效应模型（mixed effect model）。 随机效应模型 random effects models 随机效应模型(random effects models)是经典的线性模型的一种推广，
大数据数据分析方法 数据处理流程实战案例
方法、数据处理流程实战案例时代，我们人人都逐渐开始用数据的眼光来看待每一个事情、事物。确实，数据的直观明了传达出来的信息让人一下子就能领略且毫无疑点，不过前提是数据本身的真实性和准确度要有保证。今天就来和大家分享一下关于方法、数据处理流程的实战案例，让大家对于这个岗位的工作内容有更多的理解和认识，让可以趁机了解了解咱们平时看似轻松便捷的数据可视化的背后都是有多专业的流程在支撑着。 一、大数据思维 在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。 那么大数据思维是怎么回事？我们来看两个例子： 案例1：输入法 首先，我们来看一下输入法的例子。 我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调整才能把这个字打出来，效率是非常低的。 到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有按下去字就已经跳出来了。但是，后来很快发现紫光拼音输入法也有它的问题，比如当时互联网发展已经比较快了，会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难敲出来这个词。
在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。 比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一个重新构造的词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而，在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，但是我们发现有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。 案例2：地图 再来看一个地图的案例，在这种电脑地图、手机地图出现之前，我们都是用纸质的地图。这种地图差不多就是一年要换一版，因为许多地址可能变了，并且在纸质地图上肯定是看不出来，从一个地方到另外一个地方怎么走是最好的？中间是不是堵车？这些都是有需要有经验的各种司机才能判断出来。 在有了百度地图这样的产品就要好很多，比如：它能告诉你这条路当前是不是堵的？或者说能告诉你半个小时之后它是不是堵的？它是不是可以预测路况情况？ 此外，你去一个地方它可以给你规划另一条路线，这些就是因为它采集到许多数据。比如：大家在用百度地图的时候，有GPS地位信息，基于你这个位置的移动信息，就可以知道路的拥堵情况。另外，他可以收集到很多