统计显著性检验_问题与思考_鲍贵

第10卷　第4期

2010年12月

南京工程学院学报(社会科学版)

J o u r n a l o f N a n j i n g I n s t i t u t e o f T e c h n o l o g y (S o c i a l S c i e n c e E d i t i o n )

V o l .10,N o .4

D e c .,2010

文章编号:1671-3753(2010)04-0027-06

统计显著性检验:问题与思考

收稿日期:2010-12-03

基金项目:教育部人文社会科学研究基金项目(09Y J A Z H 044);江苏省社会科学基金项目(09Y Y B 010);江苏省高校哲学社会科学研究基金

项目(09S J B 740009);江苏省高校“青蓝工程”中青年学术带头人培养对象[苏教师(2010)27号]。

作者简介:鲍贵,博士,教授,研究方向为语言学及应用语言学。E-m a i l :b o g g y 2008@126.c o m

鲍　贵,席　雁

(南京工业大学英语系,江苏　南京,210009)

摘　要:统计显著性检验是统计推理中普遍使用的手段。但是,长期以来,对统计显著性检验热情过度,认识上夸大其在研究中的作用,造成该手段被滥用和误用的现象相当普遍,削弱了其本身应有的有效性。在定义统计显著性检验中关于样本与总体等几对基本概念的基础上认为,基于统计显著性和无显著性进行统计推理存在认识误区、重复性谬误以及统计显著性与重要性的混同现象,应使用效应量检验、统计效力检验、置信区间估计或重复性研究等手段弥补统计显著性检验之不足。

关键词:统计显著性检验;效应量;置信区间;统计效力中图分类号:O 212.1

统计显著性检验(s t a t i s t i c a l s i g n i f i c a n c e t e s t i n g ,

S S T )又称零假设显著性检验(n u l l h y p o t h e s i s s i g n i f i -c a n c e t e s t i n g ,N H S T )或假设检验(h y p o t h e s i st e s -t i n g )。J o h n A r b u t h n o t 1710年首次使用零假设显著性检验尝试证明上帝的存在,迄今为止已历时300年。在此期间,零假设显著性检验一直是科学家们使用的重要工具。20世纪初,F i s h e r 、N e y m a n 和P e a r s o n 等现代统计学的开创者论证了如何在各种各样的环境中使用这一工具[1]

。F i s h e r 研究方法是判定试验发现是否由于随机或取样误差。F i s h e r 对这一问题的处理方法是检验零假设。N e y m a n-P e a r s o n 研究方法对显著性的解释面更宽———研究者可以在零假设和备择假设(a l t e r n a t i v e h y p o t h e s i s )之间做选择,并注意第一类错误(t y p e I e r r o r )和第二类错误(t y p e I I e r r o r )[2]369

。在后来的统计学发展中,这两种方法逐渐融合到一起。但是,随着统计显著性检验的广泛使用,对统计显著性检验的滥用和误用也随之出现。不少研究者未能正确理解统计显著性检验,在本不需要该检验的研究中也生搬硬套或赋予该检验以它并不具备的特质,为统计而统计。在很多场合,统计显著性检验不是为了研究本身的需要,而是为了形式的需要,是表面上的迫不得已。N e s t e r 推测,这种“形式”上的需要有以下原因:(1)统计显著性检验似乎很客观、很准确;(2)使用统计软件进行检验,操作起来容易;(3)大家都在使用该检验,“我”也要入流;(4)学生、统计学家和科学家使用这种检验是教育使然;(5)有些期刊

的编辑和论文指导教师要求使用统计显著性检验。

为形式而形式的统计显著性检验只不过是为研究的所谓科学性披上一件伪装,不仅没有必要,而且

还抹杀了统计显著性检验的真正价值[3]

。学者们对误用和滥用统计显著性检验这一现象的批评不仅有利于我们还原该检验的本来面目,为正确使用提供指引,而且还有助于我们去探索更好、更合理的统计分析方法。

关于统计显著性检验问题的探讨有一点值得注意:统计学、心理学和社会学等学科中对这一问题开展了激烈的讨论,并提出了一些合理的建议,但在应用语言学领域,统计显著性检验似乎已不是一个问题,而是一个科学的例行程序。对这一问题不开展讨论,不形成正确的认识,不利于研究的开展和深入,也必然会给研究的结论打上一个大大的问号。

在决定使用统计显著性检验之前,需要了解该检验的使用条件和局限性。针对统计显著性检验结果,要尽说其能事,避免妄加解释,而且有必要采取其他手段弥补统计显著性检验本身之不足。这便是研究者应该采取的科学态度。

一、统计显著性检验的本质

统计显著性检验是一个系统的程序,用于判定基于样本(s a m p l e )的某项研究的结果是否支持针

对总体(p o p u l a t i o n )的某个理论或实践创新[4]115

。这是比较笼统的解释。更为准确的理解是,统计显

DOI :10.13960/j .issn .1671-3753.2010.04.006

著性检验指以随机化(包括随机取样和随机分配)为前提、在零假设为真的情况下,根据给定的样本确定出现某个结果的概率的程序[5]294。该定义涉及以下要素:(1)统计显著性检验结果是概率描述,时常根据概率是否大于或小于某个水平而表现为二元对立;(2)检验的基础是假定零假设为真;(3)随机化(r a n d o m i z a t i o n)是使用显著性检验的基本前提;(4)样本容量是关键因素,因为研究结果的统计显著性取决于它所依据的个案数[5]294-295。在最简单的意义上,统计显著性检验用于检验在零假设为真的情况下出现某个结果或更极端结果的概率。显著性检验中要用到4对基本的概念:样本与总体,零假设与备择假设,显著性水平(水平)与显著性概率(p值),第一类错误与第二类错误。

1.样本与总体

统计显著性检验的必要条件(a s s u m p t i o n,又译假设)是样本的随机性。随机性是比较研究结果所参照的取样分布的基础[5]294。如果样本不是从总体中随机取样,显著性检验也许会夸大结果的精确性,因为它没有考虑到由非随机误差(即样本选择不恰当)引起的估计偏差(b i a s)。当然,统计显著性检验不能用来评价样本对总体的代表性:样本代表性的唯一估计方法是合理选择样本。统计显著性检验只能回答:如果样本代表总体,所获结果的可能性有多大[6]。

2.零假设与备择假设

关于统计,有两大类别:一是描述性统计(d e-s c r i p t i v e s t a t i s t i c s),二是推理统计(i n f e r e n t i a l s t a t i s-t i c s)。描述性统计对数据本身进行描述,其目的是概括样本数据本身的特征,主要分析样本数据分布的集中与离散趋势,因而它不需要任何假设。描述性统计的一个主要局限在于它不能提供样本来自的总体的信息,而研究者所关心的往往是总体的特征。基于样本对总体特征进行推断是推理统计的范畴。推理统计利用描述性统计推算概率(p值),将之向前推进了一步[7]。在推理统计中,通常要确立两类假设:零假设与备择假设。零假设又称虚无假设,意为两个或多个总体之间在某个(些)变量上没有差异或在总体中两个或多个变量之间没有关系。如果样本平均数之间有差异或变量之间有关系,那只是由于取样误差(s a m p l i n g e r r o r)或随机误差。取样误差意味着,由于我们不能检查总体中的每个对象,因而我们不能十分确信选取的个体有典型性[7]。与零假设对立的是备择假设,也称研究假设(r e s e a r c h h y p o t h e s i s)。如果样本平均数差异或变量之间的关系不仅仅是由取样误差引起的,那么在其他变量和实验条件严格控制的情况下研究假设可能成立。

3.显著性水平和显著性概率

数α称为显著性水平(s i g n i f i c a n c e l e v e l);p值是显著性概率(s i g n i f i c a n c e p r o b a b i l i t y)。从历史上看,α与N e y m a n-P e a r s o n的假设检验理论相关联, p与F i s h e r的显著性检验理论相联系[8]。α水平是事先确定的、错误地拒绝零假设所承担的风险。p 值是在零假设为真的情况下,得到本研究之值或更极端之值的概率。S i g n i f i c a n t一词的常见意思是“有意义的”(m e a n i n g f u l)和“重要的”(i m p o r t a n t),但是在统计学中,s i g n i f i c a n t常译为“显著性的”或“有显著意义的”,意为“可能为真”、“非随机的”。统计量的显著性仅仅表明你对某个差异或关系的把握性程度。显著性差异可大可小,显著性关系可强可弱。它取决于样本容量的大小等因素。在研究报告中,α和p通常是并用的。假定α=0.05,p =0.04,常用的标准表述形式是,在0.05的显著性水平上,零假设被拒绝,或是p=0.04<0.05。请注意,α和p的主要区别在于,α是一个固定值,而p 值是随机变量的取值,因样本而异。因此,比较两个不同试验的p值大小,或比较同一个试验中两个变量检验的p值大小,依此判定一个结果比另一个结果更有显著意义,这是不适当的[9]。以独立样本t检验为例。两项研究的p值差异只是表明,通过测量可以得出一项研究在某对样本中发现的差异性(p值小)比另一项研究在另一对样本中发现的差异性(p值大)更极端。

4.第一类错误和第二类错误

通常情况下,α水平就是第一类错误。第一类错误是零假设为真却被错误拒绝的概率。第二类错误(β)是零假设为误却被错误接受的概率或是研究假设为真却被拒绝的概率。如果p值小于某个事先确定的α水平,理论上则拒绝零假设,反之,如果p值大于某个事先确定的水平,理论上则不拒绝零假设。常用的显著性水平是0.05,0.01和0.001。不同的水平各有优缺点。α水平越小,判定显著性的证据就越充分,但是不拒绝错误零假设的风险———犯第二类错误的可能性就越大,统计效力(s t a t i s t i c a l p o w e r)就越低。选择α水平不可避免地要在第一类错误和第二类错误之间做出权衡。如果犯第一类错误造成的后果不严重,比如在试探性研究中,我们可以将α水平定得高一些,如0.05或0.1。如果研究样本很小,为了提高统计效力,我们

28 南京工程学院学报(社会科学版) 2010年12月

在某些研究中也不妨提高α水平。但是,如果犯第一类错误造成的后果很严重,比如我们要基于某项研究发现决定是否在全国推行某项教学改革,我们则需要将α水平定得低一些,如0.01或0.001。

二、统计显著性检验的认识误区

1.统计显著性与假设判断

在统计显著性检验中,我们假定零假设为真,并以之为前提得出出现研究之值或更极端之值的概率(p),再根据概率值的大小对零假设进行反推。如果p值小于显著性水平(α),我们就有足够的证据拒绝零假设。p值反映拒绝或不拒绝零假设证据的充分程度。在统计显著性检验中,p值是反对零假设的归纳性证据(i n d u c t i v e e v i d e n c e)。小的值表示研究发现不可能是随机性的结果,表示有证据拒绝零假设。举例:假设你用一个实验组和一个对照组做一次教改试验,各组人数均为30人。经过一段时间后,你对两个组的成绩进行独立样本t检验,得到以下结果:t=2.5,d f=58,p=0.015。如果以α=0.05为统计显著性水平,你是不能得出以下结论的:

(1)你证明了零假设(即总体平均数之间没有差异)为误。

(2)你证明了备择假设(即总体平均数之间有差异)。

(3)你发现了零假设为真的概率是0.015。

(4)你可以推断出备择假设为真的概率为0.985 (1-0.015)。

(1)和(2)的错误在于显著性检验只提供统计量检验的概率信息,不能证明某个假设为真或为误。零假设要么为真,要么不为真。它不是随机的,不存在概率[10]12。对于研究假设也一样。从本质上讲,显著性检验只是表示在零假设为真的情况下,通过无数次取样某研究证据出现的可能性[2]362-363,不能给任何假设提供成立的概率,所以(3)和(4)都是错误的。H a l l e r＆K r a u s s认为对显著性检验的误解可能有两个来源:一是统计学教材;二是统计学教师[11]3-4。以上错误实际上是将显著性检验(F i s h e r范式)与贝叶斯(B a y e s)统计混淆了。在F i s h e r范式中,D表示当前数据或更极端的数据,H代表零假设。根据条件概率的定义,显著性检验的结果表示为p(D H0)。该表达式表明,所指概率为数据出现的概率,是给定前提,是判定有无显著性结果必须参照的条件[11]10。只有在贝叶斯统计学中才能对假设的概率做出陈述,概率公式为p(H D),即以数据为条件,假设的概率是结果。上面提到的4个结论违背了显著性检验的前提条件———零假设为真。针对本例,可以认为,鉴于在零假设为真的情况下,出现本研究结果或更极端结果的概率很低(p=0.015<0.05),因而有充分的证据拒绝零假设。即便如此,我们仍有约0.05 (α=0.05)的概率错误地拒绝零假设。

2.统计无显著性与假设判断

如果p值大于设定的显著性水平(α),我们就没有足够的证据拒绝零假设。这里有两个认识上的误区。第一个误区是,没有足够的证据拒绝零假设等于接受零假设。其实,没有足够的证据拒绝零假设只表明零假设中的参数具有存在的合理性,不排除其他参数存在的可能性。“一次检验仅仅表明某个参数值是否合理。置信区间(c o n f i d e n c e i n t e r-v a l)显示有一系列合理之值,而不仅仅是一个”[12]449。比较妥当的说法是本研究“没有拒绝零假设”。第二个误区是,没有足够的证据拒绝零假设必然表现为对备择假设的拒绝。没有证据不是没有的证据(A b s e n c e o f e v i d e n c e i s n o t e v i d e n c e o f a b s e n c e)。在拒绝备择假设之前,需要考虑第二类错误。如果第二类错误很严重,即使备择假设实际为真,也有可能由于样本量小等原因导致基于样本的统计证据没有发现它。如果是这样,那么就不能轻易地认为零假设是合理的。

3.重复谬误

在“统计显著性与假设判断”节所举的例子中,如果该试验多次重复(r e p l i c a t i o n),认为在0.985 (1-0.015)的场合都会得到统计显著性的结果,那就犯了重复谬误(r e p l i c a t i o nf a l l a c y)。持重复谬误观点的人认为,如果某项研究重复,那么在1-p的场合会得到统计显著性的结果,或者说,研究者有1-p 的自信可以断定,如果研究重复,该结果有显著性意义。产生重复谬误的根源是把p当作零假设为真的概率。上面已经提到,p值只表示在零假设为真的条件下得到某个值或更极端值的概率,是有条件的概率。在一项研究中拒绝虚无假设的结果并不能使我们对另一项重复性研究也会得出拒绝虚无假设的结果做出任何概率推断。

4.显著性与重要性的混淆

显著性检验的一个认识误区是统计上显著性的结果总是有实际意义(i m p o r t a n c e)或在总体中有很大的效应。对于一个非常大的样本量而言,很小的差异也可能有统计上的显著意义,但是统计上的显著意义不能等同于实际意义。统计意义和实际

29

第10卷第4期 鲍　贵,等:统计显著性检验:问题与思考

意义是两个不同的概念。下面举例说明[12]447-448

。2006年美国开展了一项社会普查。调查的问题是:美国人的政治立场总体上倾向于开放还是倾向于

保守?调查采用问卷形式,为7点式量表:非常开放(1分),开放(2分),有些开放(3分),折中(4分),有些保守(5分),保守(6分)和非常保守(7分),共收集问卷4333份。描述性统计量为:x =4.12,s =1.41。本研究的零假设是美国人持中间立场(均分为4分),即H 0:μ=4。备择假设是:H a :μ瓪4。总体参数值μ<4表示美国人倾向于开放;μ>4表示美国人倾向于保守。根据公式t =x -μ0s /n

,求

得t =5.6。该统计量的双侧p 值为0.00000002,构成拒绝零假设的有力证据。如以此判断,便可得出美国人倾向于保守的结论。但是,鉴于样本平均数与零假设中的平均数差异很小,我们实际上会把平均数4.12看作是“折中的”

[12]448

!

三、统计显著性检验的不足及补充手段

统计显著性检验仅用于发现在零假设前提下出现某个统计值或更极端值的概率,并以此为证据做出拒绝或不拒绝零假设的判断。它不能回答研究发现的实际意义等其他问题。因此,在研究中,仅仅依靠显著性检验结果做出决策是有危险的。本节在指出显著性检验不足的同时,建议研究中利用效应量(e f f e c t s i z e )检验、统计效力检验、置信区间估计或重复试验等补充手段。

1.效应量检验以t 检验为例。统计显著性只能说明真正的参数值与零假设中的参数值有差异,却不能明示差异的实际意义。一个小的p 值,比如0.01,构成拒绝零假设的有力证据(α=0.05)。但是,它绝不意味着在实际意义上有一个重要的发现。尤其在样本容量很大的情况下,即便点估计值(p o i n t e s t i m a t e )接近零假设中的参数值,也有可能达到小的p 值。从“显著性与重要性的混淆”节t 检验的计算公式中可以看出,即使样本平均数x 与零假设的参数值μ0很小,如果样本容量(n )很大,t 统计量也会很大,极易达到统计上的显著性。

统计显著性只表示有效应存在。在研究中,当研究结果具有统计上的显著意义时,建议利用总体效应量(p o p u l a t i o n e f f e c t s i z e ,简称E S )来辅助判断结果的实际意义。效应量是对总体平均数差异的测量,有助于决定统计上具有显著性的差异是否具

有实际意义或重要性。在两个独立样本平均数差异检验中,估计效应量的计算公式为:d =M 1-M 2

S p o o l e d 。式中,d 是估计效应量,M 1和M 2是样本的平均数,

S p o o l e d 是总体标准差合并估计。总体标准差合并估计是总体方差合并估计(S 2

p o o l e d )的平方根。总体方差合并估计的计算公式为:S 2

p o o l e d

=

d f 1d f t o t a l

(S 2

1)+d f 2d f t o t a l (S 2

2),式中d f 1和d f 2是两个样本的自由度,d f t o t a l 是两个样本的总自由度(d f 1+d f 2),S 2

1和S 2

2

是两个样本的方差。当两个样本容量相等时,总体

方差合并估计的计算公式可简化为:S 2

p o o l e d =12

(S 21+S 2

2)。从效应量的计算公式中可以看出,样本平均数差异越大,效应就越大;总体标准差越小,效应就越大。C o h e n 提供了在独立样本平均数差异比较时检验效应量的常用操作标准:效应值为0.20时表示效应量小(s m a l l ),效应值为0.50时表示效应量适中(m e d i u m ),效应值为0.80时表示效应量大[13]157,[4]193-194

。效应量反映不同总体分布的不重合率(p e r c e n t n o n o v e r l a p )。效应值0.20、0.50和0.80意味着不同总体分布的不重合率分别为14.7%、33.0%

和47.4%[14]22

。效应量越大,不重合率就越大,总体分布的差异越大,反之亦然。研究结果的效应越大,结果的实际意义就越大,反之亦然。比如在一项对英语专业高、低水平组(n 1=n 2=36)的作文词汇复杂度(l e x i c a l s o p h i s t i c a t i o n )(即低频词在作文中的覆盖率)的研究中,得到M 低=7.4390(每100个词中约含7个低频词),S 低=2.91023,M 高=9.1470,S 高=2.35151。经t 检验发现,两组所代表的总体有显著性差异(t =-2.739,p=0.008<0.05)。那么两组的这种差异有没有实际意义呢?本研究中,总

体方差合并估计值为S 2p o o l e d =

12

(2.910232+2.351512

)≈6.9995,即S p o o l e d ≈2.6457。根据效应量的计算公式得到:d =

9.1470-7.4390

2.6457

≈0.6456。该效应值表

明,本研究的效应量中等偏上。我们据此认为,该研究的组间差异具有实际意义。以上只是举例说明针对独立样本平均数差异比较时计算效应量的方法和操作标准,关于其他统计分析方法,参见C o h e n [13]157,[14]

等。

2.统计效力检验

样本很大时,如果效应很小,统计显著性的结果可能只有理论意义,没有实际意义。样本很小

30 南京工程学院学报(社会科学版) 2010年12月

时,即便效应很大,也有可能得不到统计显著性的结果。那么,我们就没有把握认为该效应实际存在,该效应就一定大,因为样本很小时,犯第二类错误的概率就会增大,即统计效力下降。因此,即使对两个独立样本平均数差异的检验没有发现统计上的显著性,我们也不能草率地断定样本来自的总体之间就一定没有差别。

统计效力是在研究假设为真的情况下,某研究产生统计显著性结果的概率,即拒绝错误的零假设的概率。统计效力与犯第二类错误概率之间的关系是:效力=1-β。效力越大,犯第二类错误的概率就越小;效力越小,犯第二类错误的概率就越大。常用的参考规则是研究中统计的效力要达到0.80[13]156。以“效应量检验”节的作文词汇复杂度研究为例。在α=0.05(单侧检验)、n=36、d值为0.6和0.7时,查检验效力表[14]30得到的效力大小分别为0.81和0.90,因此d=0.6456对应的值为0.85左右。也可以利用M i n i t a b或G＊P o w e r等软件得到该研究的统计效力,其大小近似为0.8571。这意味着,如果研究假设为真,那么本研究得到显著性结果的概率约为0.86,即表明,本研究有较高的统计效力。另一方面,如果统计效力低,犯第二类错误的概率就会很大。即使研究假设为真,也可能会得不到统计显著性结果,甚至会错误地拒绝研究假设。

统计效力的大小主要与效应量、样本容量和显著性水平等因素有关。在其他条件不变的情况下,效应越大,统计效力就越大;样本越大,统计效力就越大;显著性水平越高,统计效力就越大。由于显著性水平通常设定为0.05,因而很少用它来增加效力。通过增大效应、提高效力的方法包括加强试验的严密性或减少总体的标准差等。不过,最直接的方法是增加样本容量。以独立样本t检验为例。在α=0.05(双侧检验)、n=30、d值为0.5时,得到的统计效力仅为0.47。但是,在其他条件不变的情况下,n增大到64时,统计效力则增加到0.80,达到了统计研究的常规要求。这个例子也表明,通常选用的样本容量n=30不能保证有足够大的统计效力,因而犯第二类错误的概率可能会很大。增加统计效力的方法还包括选用单侧检验。如果将上面的例子改用单侧检验,在α=0.05、n=30、d值为0.5时,得到的统计效力则由原来的0.47提高到0.61。通常情况下,统计效力有以下用途:(1)在显著性水平和效应量给定的情况下,确定某项研究要达到某个统计效力所必须的样本量。(2)进行某项研究之后诊断该研究的统计效力的大小。(3)用于分析比较前人研究的统计效力,以便更好地开展文献综述。

3.置信区间

除了统计效力之外,置信区间也是一种补充手段。置信区间和显著性检验从两个不同的方面描述同样的东西,具有互补性:显著性检验利用p值判断零假设中的某个参数值是否合理(p l a u s i b l e),置信区间则提供一系列可信的参数值。置信区间有两个优点[4]176:其一,科学研究的目标是提供对效应量的数值估计,而不仅仅是对效应量是否不为零的决策,置信区间正好可以对效应量进行估计。其二,研究结果没有显著意义时,置信区间尤其有价值,因为它有利于了解在距离零效应(n o e f f e c t)多远的地方能够有把握找到真正的平均数。如果整个置信区间接近零效应,那么就有把握认为,即使有真正的效应存在,它也有可能很小。但是,如果置信区间虽然包含了零效应,区间的范围却很大,包含了远离零效应的平均数,那么该研究就不确定:效应既有可能很小或不存在,也有可能很大。

4.重复性试验

在一次试验中,我们不可能100%地确信某个假设为真或为假。在拒绝零假设时,我们会犯第一类型的错误,尽管我们能将错误率控制在0.05或0.01等水平上。另外,即便我们得到了显著性检验结果,那也未必就意味着是处理效应的结果,因为样本的取样(s a m p l i n g)、分配(a s s i g n m e n t)和样本量等都会影响试验结果。在接受错误的零假设时,我们会犯第二类错误。除非样本容量很大,犯第二类错误的概率通常比犯第一类错误的概率要高得多,因此,只依靠基于小样本的统计显著性检验来发现重要的科学结果,失败的可能性常常是很大的[15]127-128。因此,由于在一次试验中没有得到统计显著性结果就放弃在其他方面有吸引力的研究方向或者一次意外地拒绝零假设就认为是获得了一个重要的科学发现,这些都是错误的做法[15]127。

任何科学发现都不会仅依赖于一次实验。重复性研究是确保研究发现有效性的重要手段,因而是必要的。举个例子来说:在α=0.05时,如果试验效应实际不存在,20名研究者独立开展实验,可以预测会有1名研究者由于偶然性因素得到统计显著性的结果,因为犯第一类错误的概率是0.05。如果文献中恰好只报告了这一项研究,这就有可能会引起错误的认识。确如C a r v e r所言,如果取样误差或随机性对某个结果的推广度构成了合理的威胁,那么在重复性研究中得到近似的结果是消除这

31

第10卷第4期 鲍　贵,等:统计显著性检验:问题与思考

一威胁的最好手段[16]。重复性研究可以是一项新研究,也可以是在同一项研究中进行。譬如,把受试一分为二或按性别将受试分成两组来分别进行统计显著性检验,看结果是否一致。

四、结束语

过分依赖统计显著性检验在学界是普遍现象。“研究者们不恰当地运用统计显著性检验作为一种表明研究发现具有重要性的手段,赋之以它不具备的特征”[6]。研究中要不要使用统计显著性检验?如果是因为有诸多研究者误用和滥用该检验而主张将之废除,当然是没有道理的。统计显著性检验本身并没有错误。如果把它用作研究的指向而不是用作获得确定性答案的手段,使用它是没有问题的[17]。

任何检验方法都有适用范围,都有局限性,统计显著性检验也不例外。任何一种重要的决策都不能只依赖统计显著性检验的结果。在使用显著性检验的统计推理中,研究者需要结合效应量、统计效力等来综合判断研究发现的意义和价值。

参考文献:

[1]　WA I N E RH,R O B I N S O N D H.S h a p i n gu pt h ep r a c t i c eo f n u l l

h y p o t h e s i ss i g n i f i c a n c e t e s t i n g[J].E d u c a t i o n a lR e s e a r c h e r,

2003,32(7):22.

[2]　C O W G E R CD.S t a t i s t i c a l s i g n i f i c a n c e t e s t s:S c i e n t i f i cr i t u a l i s m

o rs c i e n t i f i cm e t h o d?[J].S o c i a lS e r v i c eR e v i e w,1984,58

(3).

[3]　N E S T E RM R.A na p p l i e ds t a t i s t i c i a n's c r e e d[J].A p p l i e d S t a-

t i s t i c s,1996,45(4):401.

[4]　A R O N A E,A R O N A,C O U P SE.S t a t i s t i c sf o rP s y c h o l o g y

[M].B e i j i n g:B e i j i n g Wo r l dP u b l i s h i n g C o r p o r a t i o n,2006.

[5]　S H A V E RJ P.Wh a t s t a t i s t i c a l s i g n i f i c a n c e t e s t i n g i s,a n d w h a t i t

i s n o t[J].J o u r n a l o f E x p e r i m e n t a l E d u c a t i o n,1993,61(4).

[6]　D A N I E LLG.S t a t i s t i c a l s i g n i f i c a n c et e s t i n g:Ah i s t o r i c a l o v e r-

v i e wo f m i s u s e a n d m i s i n t e r p r e t a t i o n w i t hi m p l i c a t i o n s f o r t h e e d i-

t o r i a l p o l i c i e so fe d u c a t i o n a lj o u r n a l s[J].R e s e a r c h i n t h e S c h o o l s,1998,5(2):23.

[7]　G R I F F E EDT.R e s e a r c hi np r a c t i c e:U n d e r s t a n d i n g s i g n i f i c a n c e

t e s t i n g p r o g r a me v a l u a t i o n[J].J o u r n a l o f D e v e l o p m e n t a l E d u c a-

t i o n2004,27(3):29.

[8]　S T A L L I N G SW M.M i n dy o u r's a n da l p h a s[J].E d u c a t i o n a l

R e s e a r c h e r,1985,14(9):19.

[9]　G O O DPI,H A R D I NJ W.C o m m o n E r r o r s i n S t a t i s t i c s(a n d H o w

t o A v o i dT h e m)[M].H o b o k e n:J o h nWi l e y＆S o n s,I n c.,

2003:100.

[10]　L L A K O V A CV.S t a t i s t i c a l h y p o t h e s i st e s t i n ga n ds o m ep i t f a l l s

[J].B i o c h e m i aM e d i c a,2009,19(1):10-16.

[11]　H A L L E R H,K R A U S SS.M i s i n t e r p r e t a t i o n s o f s i g n i f i c a n c e:A

p r o b l e m s t u d e n t ss h a r ew i t ht h e i rt e a c h e r s?[J].M e t h o d so f

P s y c h o l o g i c a l R e s e a r c h O n l i n e,2002,7(1).

[12]　A G R E S T I A,F R A N K L I NC.S t a t i s t i c s:T h e A r t a n dS c i e n c e o f

L e a r n i n gf r o mD a t a[M].N J:P e a r s o n E d u c a t i o n,I n c.,2009.

[13]　C O H E NJ.A p o w e r p r i m e r[J].P s y c h o l o g i c a l B u l l e t i n,1992,

112(1).

[14]　C O H E NJ.S t a t i s t i c a l P o w e r A n a l y s i s f o r t h e B e h a v i o r a l S c i e n c e s

[M].H i l l s d a l e:L a w r e n c eE r l b a u m A s s o c i a t e s,I n c.1988. [15]　WO O D SA,F L E T C H E RP,H U G H E S A.S t a t i s t i c s i nL a n g u a g e

S t u d i e s[M].B e i j i n g:F o r e i g n L a n g u a g e T e a c h i n g a n dR e s e a r c h

P r e s s,2000.

[16]　C A R V E RRP.T h e c a s ea g a i n s t s t a t i s t i c a l s i g n i f i c a n c et e s t i n g,

r e v i s i t e d[J].J o u r n a l o f E x p e r i m e n t a l E d u c a t i o n,1993,61

(4):291.

[17]　H U B E R T YCJ.O n s t a t i s t i c a l t e s t i n g[J].E d u c a t i o n a l R e s e a r c-

h e r,1987,16(8):7.

S t a t i s t i c a l S i g n i f i c a n c e T e s t i n g:P r o b l e m s a n d R e f l e c t i o n

B A OG u i,X I Y a n

(E n g l i s h D e p a r t m e n t,N a n j i n g U n i v e r s i t y o f T e c h n o l o g y,N a n j i n g210009,C h i n a)

A b s t r a c t:S t a t i s t i c a l s i g n i f i c a n c e t e s t i n g(S S T)i s a c o m m o n l y u s e dw a y o f s t a t i s t i c a l i n f e r e n c e.O w i n g t o i t s o v e r e n t h u s i a s t i c a d o p t i o n

a n da ne x a g g e r a t e dv i e wo f i t s r o l e i nr e s e a r c h,h o w e v e r,S S Th a s l o n g

b e e na b u s e da n dm i s u s e ds om u

c ht h a t i t s o w nv a l i

d i t yh a s

b e e nu n d e r m i n e d.A f t e r d e f i n i n g s u

c hb a s i c p a i r s o f c o n c e p t s i n S S Ta s s a m p l e a n dp o p u l a t i o n,t h i s p a p e r

d i s c u s s

e s s o m e m i s c o n c e p-t i o n s o

f s t a t i s t i c a l i n f e r e n c e b a s e do ns t a t i s t i c a l s i

g n i f i c a n c e a n d n o n-s i g n i f i c a n c e,r e p l i c a t i o n f a l l a c y a s w e l l a s c o n f u s i o n o f s t a t i s t i c a l s i g n i f i c a n c e.T o a d d r e s s t

h e p r o b l e m s,

i t i s e s s e n t i a l t o a p p l y w i t h e f f e c t s i z e t e s t,s t a t i s t i c a l p o w e r t e s t,c o n f i d e n c e i n t e r v a l e s t i m a t i o n o r r e p e t i t i v e r e s e a r c h.

K e y w o r d s:s t a t i s t i c a l s i g n i f i c a n c e t e s t i n g;e f f e c t s i z e;c o n f i d e n c e i n t e r v a l;s t a t i s t i c a l p o w e r

32 南京工程学院学报(社会科学版) 2010年12月