第六章准实验研究

第六章准实验研究一、准实验研究的涵义及效度人们常常把实验研究称为“真”实验设计，这是因为它们具有随机安排被试（组）进行实验处理的特征。

这样，实验对等组的获得及其在一定围的随机波动都归结于随机安排。

然而，在进行教育研究时，被试的挑选和组合不可能总是随机的。

在教育领域中，有许多被试是既定的，如由一个班级里的学生自然而完整地形成被试群体。

当这种保持原样的组运用于一个实验中时，我们便称此实验为准实验研究。

这种研究能够为教育做出有价值的贡献，但有一点很重要：研究者对实验结果的解释和推广应该特别慎重。

准实验研究是指一个实验运用原始群体，而不是随机地安排被试进行实验处理。

缺少随机组合本身潜在地影响着实验的效度——无论是在还是外在效度。

在第5章中，我们就被试的不同挑选方式对在效度的威胁作了说明。

假设在一个实验中，采用5年级2个现成的教学班，其因变量是自然科学的成绩，操作性地定义为一次自然科学测验的分数。

这些班级在先前已经按能力进行了分班，一个班级属高材生班，另一个班属普通水平班。

两个班级接受不同的实验处理。

假如，一种实验效果产生在高材生班，就很难证明这个效果归因于实验处理。

因为能力水平和实验处理是混淆不清的，我们就没有把握对其结果做出解释。

任何因素都可能对原始群组起作用，同时我们无法证明这些组是否属于较大群体的随机样本。

随机的挑选或组合是一个过程，它或者做得到，或者做不到。

对于准实验来说，它没有做到，因此存在着被试挑选的偏差损害实验结果的可推广性的可能。

一名采用不加处理的试验组的研究者要做些什么呢？为了实验的可推广性，必须在同一的逻辑基础上对试验组的典型性加以论证。

出于对在效度的考虑，研究者必须尽力证实两个试验组间对等的程度，这需要对与所研究的变量有关的特征或变量加以认真考虑。

例如，假设现在的班级运用于一个数学教学实验中，年级水平将很可能作为一个常量，或者作为一种需要控制的变量。

研究者也想得到表明这些班级具有同等能力水平的证据，假如像IQ测验分数这样的实证资料可以提供的话，这会极有助于对等组的检验。

实际上，这些资料有时可用于统计对照。

即使采用实证性的资料，检验和确立对等组总不免带有某种基于有关实验条件和变量信息的主观判断性质。

当我们解释实验结果时，必须对缺少随机性予以特别注意，因为，它可能被抵消的程度也决定了实验的在效度的可信性。

当考虑到准实验研究的效度问题时，应该对它的缺陷有清楚的认识，并对实验组间的对等性进行确定，同时在逻辑的基础上对其可能的代表性和可推广性加以论证。

二、仅施后测、非对等控制组设计除了不是随机地将被试组成试验组外，许多准实验设计看起来非常像前章所讨论过的实验设计。

当运用“非对等”这一术语时，它意味着随机意义上的非对等，但并不是说试验组间不可能在相关变量或特征上具有相似点。

的确，就准实验设计来说，对其结果效度的可信性，很大程度上取决于保证实验组间的相似性。

使用前章中所引人的符号，非对等控制组仅施后测设计的最简单的形式可以图解如下：G 1 X—O1G 2— O2这种设计表示：一个试验组接受实验处理，同时另一个试验组作为控制组不接受实验处理。

对实验组G1完成实验处理不久，同时对两个试验组实施后测。

这种设计可以推广为包括任意次的实验处理，对于k次实验处理，这种设计需要K+1个试验组：假如运用两次或多次实验处理而没有对控制组进行实验处理，那么这种设计就可以称作非对等多组仅施后测设计。

非对等控制组仅施后测设计包含与实验处理次数一样多的实验组，再加上一个控制组。

使用现成的试验组进行，仅在实验处理实施后测量被试一次。

任何实验的效度依赖于特定的实验条件，采用非对等控制组仅施后测设计的实验效度一般是较低的。

这一难点可能产生于实施实验处理前挑选被试的偏差和缺少前测。

除非能获得可以提供有关各试验组相似程度这样的现成资料，否则不应该采用这种实验设计。

这些资料虽然不能消除被试挑选上的偏差（假设它存在的话），但它们提供的信息可以避免对实验结果的错误解释。

请看下面的例子：例6.1一位初级中学的老师，教授初三年级4个班的自然科学课，要研究采用3种不同的新方法和传统方法（控制）对本学科实验部分的教学的影响。

这位老师对4个班级分别采用一种不同的教学方法。

因变量是对该课程中的实验容实施期末考试的成绩。

研究的问题可以述如下：一项关于教学方法对初三年级自然科学考试成绩影响的实验研究。

实验设计的图解如图6.30没有实施前测，但为了检查班级的相似性，查阅了其他材料，获得了以下信息：1．在班级中，男生和女生的比例大略相等。

2．学生在先前初二年级时的自然科学成绩，1, 2和4班的大约相同，而3班学生成绩稍微高些，对于诸如数学等其他学科，初二年级时的学生成绩情况相同。

3．尽管这所学校大部分不是按学生能力分班，但有一个英语优等班；因为受课程安排时间的限制，3班的许多学生也在英语优等班里学习。

在这项研究里，教学时间和教师是常量。

1班和4班上午上课；另两个班下午上课（指上自然科学实验课）。

对于可能影响考试成绩的变量，1班、2班和4班看起来很相似，然而，3班似乎是一个能力较强的班级，在解释实验结果时，这是不能不考虑的。

既然任何一个班仅接受一项实验处理，那么实验处理和能力水平间可能存在着部分的混淆。

例6.1的实验结果及其解释假设后期测试呈现出以下实验结果模式：O 1＝O 2，O 1和O 2大于O 4，而O 3又大于O 1和O 2。

解释：方法1和方法2都比传统方法更有效，而且方法1和方法2效果相同。

既然一班在上午教学，另外两班在下午教学，这些方法看来并不受一天中时间不同的影响。

我们对于方法3无法得出确切的结论；实际上，它有可能不如传统方法有效，3班后期测试的高分可能归结于学生的能力。

这个例子阐明了这样一个事实：根据实验结果的情况，准实验设计可以有多个解释。

可以用方法3是有效的方法来解释O 3的高分，也可以将O 3的高分归因于实验组G 3的高能力。

假设测试结果O 3比O 1、O 2和O 4都低，那么就可以毫无疑问地说：方法3不如其他方法有效，至少对能力较高的学生无效。

1班、2班和4班的相似性允许我们相对地承认运用方法1、方法2和传统方法得出的结论。

三、前测—后测非对等控制组设计非对等控制组实验设计除了对被试也实施前测外，其他方面与非对等控制组仅施后测设计相似。

这种实验设计的最简单形式仅需要两个试验组：一个实验组和一个控制组。

假如不含有控制组，那么此设计称为前测一后测非对等多组设计。

假如有k次实验处理，其一般形式可以图解如下：前测的结论对核对各试验组的相似性是非常有帮助的，因为前测的分数是与因变量有密切联系的变量。

这种前测是在进行实验前在同样的条件下对所有被试都进行的测试，其分数也可用于统计控制，在有些情况下，可能会产生增益分数。

前测—后测非对等控制组设计有助于核对试验组间的相似程度，其前测的分数可用于统计控制或产生增益分数。

请看下面的例子：例6.2在4年级进行一项采用两种新的阅读方案的教学实验，研究各方案对学生阅读成绩可能产生的影响，这项设计的实验处理是新的阅读方案，传统的方案作为控制处理。

同一学区的30个小学4年级班级参加实验，不进行随机挑选和组合。

每种方案都有10名教师报名参加，即两种新方案和一种传统方案各由10名教师来施行。

当然，每名教师只能施行一种方案。

先用阅读成绩测验A卷对学生进行前测；然后用这3种教学方案教学18周；随后对学生采用阅读成绩测验B卷进行后测。

这项设计可图解如图6.2。

事前测试分数有助于检查各班的相似性，但这并非是能够检查的惟一变量。

由30位老师施行，且每位老师仅采用一种方案。

在可能影响阅读成绩的因素方面，每10个教师的构成实验组间是否相同呢？尽管各个教师间可能存在差异，但若从全体教师考虑，10个教师一组的小组间则可能很相似，其中要检查的一个要素就是每个教师教学经历的长短。

如果所有经验丰富的教师都集中到一个组里，那么在各组之间就会存在一种系统性差异。

如果30个班级所在的学校分别处于诸如社会经济条件差别很大的地区，那么这点也必须加以考虑。

如果把一种方案限定在一种社会经济水平不同于其他地区的学校，实验将不会得到满意效果，因为这样会造成学校影响和阅读方案影响相混淆。

理想的安排方法是：每3个社会经济条件相同的学校，各执行一种方案。

某些学校将可能执行两个或3个方案，尽管这种安排或许会因不同班级学生间的相互交往而导致实验数据的“污染”。

图6.2中，虽然有30个班级，但仅有3次事前测验和3次事后测验。

当我们分析实验结果时，首先要核对各组的结果，但对于像此例这样的大规模研究，通过进行如下所述的更为细致的比较，对实验结果进行分门别类的整理通常是有益而又必要的。

1．假设一个方案（组）里的班级事前测试分数相似。

比较这一方案10个班级事后测验的分数，这些分数是彼此接近呢，还是差别很大？如果它们彼此相近，那么表明这个方案具有一致的效果；如果它们差别极大，那么固有的差异超过了方案的任何效果，或者说方案的效果对于各个班级是不一致的。

2．假如前测的分数变化不一，根据前测分数，将这一方案的班级分成两个或3个类型（高、中、低）。

接着检查每一类型的后测分数，来确定这一方案各类型间和同一种类型各个方案间增益分数是否一致。

例如，假设对于前测中得分高的班级，接受新方案1实验处理的增益远大于新方案2和传统方案的增益。

这是一种同一类别的跨方案比较，同时它表明第一种方案对于那些起初就有较强阅读能力的学生来说是最有效的。

3．如果这些班级前测分数相似，比较同一方案各班级后测分数。

假如它们大略也相同，那么诸如教师和学校等外部因素具有统一的影响；假如分数不相同，那么这些因素产生了不同的效果。

例6.2的实验结果及其解释假设出现了以下结果：O1=O3=O5，但O2≠O4，而且O2、O4≠O6，但O4大于O2，O2又大于O6。

解释：根据前测结果，一开始小组间看起来十分相近，产生方案效果：两种新方案都比传统方案有效，而且第一种新方案最有效。

在许多非对等组的实验中，实验设计尽量把控制变量作为自变量包含其中（上述的社会经济水平如果能以这种方式包括在，那它将是一个控制变量的例子）。

从本质上来说，这种设计可以扩展为一种因素设计。

如果随机性的某个方面得以考虑，这种实验设计的效度会大提高。

在上述例子中，如果30个班级随机安排是不大方便的，但是将10人一组的教师分组建立在随机分配的基础上均等地进行，则是完全能办到的。

这样的安排就可以使实验处理和控制处理中教师间的差异，得以折衷综合，趋于相等。

当我们运用准实验设计的时候，一般都尽力让实验得到尽可能充分的控制。

此外，要利用可搜集的信息来检查各组被试的相同性，对于实验结果的解释和推广应用，也应该根据这一信息的背景和实验条件来进行。