11 评价研究方法

第十一讲评价研究方法第一节评价研究的基本概念评价，就是指依据明确的目标，按照一定的标准，采用科学方法，测量对象的功能、品质和属性，并对评价对象做出价值性的判断。

在评价研究中，可以通过问卷调查、量表测量来收集资料，但它只是评价研究中的收集资料的工具，而不等同于评价研究。

一、评价研究的特征评价研究的特征表现在评价的目标性与价值性的判断。

（一）评价的目标性评价的目标性是指评价研究是一项具有明确的目的和目标的研究活动。

评价的目的是指通过评价活动后所期望达到的结果。

通常有三种不同类型的期望结果。

比较评等，这属于相对性评价，目的是通过对两个不同对象的评价，以期对这两个对象的差异性做出判断。

假如用a和b代表两个不同对象，比较评等就是要判断是否存在a＞b或a＜b。

达标衡量，这属于绝对性评价，是以某一对象作为比较的标准（a0），经过对另一对象a的评价研究，对对象a做出是否达到a≥a0的判断。

发展比较，这属于自我评价，是以自身的前后状况进行比较，通过对对象a不同时期的评价研究，对对象a做出是否存在a2≥a1的判断。

评价目标是要做出上述评价结论的依据。

在教育技术学研究中常用的评价依据是：条件水平，例如拥有教学环境和资源的数量和质量。

品质水平，例如对教学软件通常是从教育性、科学性、技术性、艺术性等方面进行品质评价的。

效果水平，例如对于教学效果，是从教学目标来分类，即从认知、理解、应用、分析、综合、评价等出发，判断目标达到的程度。

管理水平，例如在教育技术学研究中，着重在对教学资源的开发、运用、流通、发展方面的管理。

（二）评价研究的价值判断性评价研究的价值判断性表现在评价过程中，需要根据目标分解出若干评价要素（项目），由评判者依据一定的标准，对评价对象的各项功能、品质和属性进行等级的判断。

在获得逐项的评判结果之后，还要根据各项目的重要程度制定权重，把各项目的评判等级与权重综合，从而对总体做出等级比较、达标状况或发展程度的判断。

二、评价研究的要素评价研究由三个基本要素构成：（一）评价对象这是指被评价、被研究的人或者事物。

在教育技术学研究中，评价对象主要是教学过程、教学资源、学生学习效果，教育技术事业的管理等多方面。

（二）评价指标体系它是评价研究工作的工具，通过它有目的地进行资料的搜集、整理、分析；同时，它又是评价判断的依据，依据它作出价值性的判断。

评价指标体系包括有评价要素（指标项）、评价标准和指标权重三个部分。

（三）评判者评判者包括组织领导机关、研究人员、专家、同行、教师、学生以及评价对象自身。

评价研究的三要素及其关系可用图11-1表示。

图11-1评价研究的要素三、评价研究的基本步骤评价研究的基本步骤可用图11-2来表示：图11-2 评价研究的基本步骤（一）建立评价指标体系评价指标体系包括三个部分，即:评价要素，它是反映被评对象特征的各个成分；评价标准，它是衡量事物特征各个成分的比较基准；指标权重，它是指各个成分在总体中所具有的重要程度的标志。

如果是要对于某个研究方案进行评价，则可以按照如下的步骤：识别方案的目的与目标（因变量）；用行为的词语重述目的与目标（操作定义）；构造内容有效（适当）的测验以测量在行为上陈述的目的和目标（因变量的测量）；识别和选择与测验组相对比的控制（建立自变量），如果没有这一步，就是形成性评价。

二）资料的收集为了进行评价，通常通过多种途径收集有关资料，主要有:访问调查、个案调查、问卷调查、量表测量（专家评判）。

（三）资料的鉴别把所收集的资料按照评价指标要素分类整理，鉴别资料的可使用价值。

（四）价值判断按照评价指标体系所给出的标准对每个成分要素资料进行比较、判断，作出价值等级的归属。

（五）评价结果的综述综合各个要素的得分及其权重，得出评价总分，并根据总分和各要素得分率，作出对品质的等级评定或差异比较，或达标程度，或发展程度的价值性的描述和判断。

四、评价的类型教育技术学研究中的评价，根据事物发展的进程，在不同的时期，有不同的目的和重点，大致可分为诊断性评价、形成性评价、总结性评价三类。

（一）诊断性评价诊断性评价是在事物发展进程的某一阶段开始之前所作的评价。

它是了解人们对这一事物某一发展阶段的兴趣、态度，以及发展所必须具备的条件存在程度等。

诊断性评价的目的是为了摸清条件、基础，发现问题，诊断原因，根据评价的结果，可以修订阶段发展目标，提出指导发展的计划。

对于一项事业的发展，例如，计划要设计与开发一门网络课程，诊断性评价实际是对制作条件的评价，对人们思想准备的评价。

这些评价有助于进行决策，并对今后的工作有指导作用。

对于学生的学习，诊断性评价就是在一个新的学习阶段（如单元、学期或学年）开始之前进行的一种事前考核（或称前测），它要了解学生为学习新内容所必须预备的知识、技能和经验等实际掌握的程度，了解学生对计划学习的内容的兴趣、爱好和要求；根据评价的结果，按照学生的条件和预备知识、技能、经验的掌握程度，修订教学目标、方法，或作出必要的决策（如进行合理编班，编写必要的指导性资料，决定制作辅助教学软件等）。

（二）形成性评价形成性评价是一种在事物发展进程中所作的评价，具有反馈的功能。

其目的是监督事物的发展，并调整、修正发展进程。

这类评价是按照原来预定的发展目标作为评价依据的。

由于形成性评价的宗旨是判断发展中的材料是否适宜，研究者往往要求小规模实验组中的受试者填写问卷和参加作业测验，研究者随后评价材料的成功或失败并据以重新编写方案。

对于一项事业，如在网络课程的开发过程中，形成性评价实际是检查进度、检查阶段成果，发现问题，以修订进度和解决存在问题。

对于学生学习，形成性评价就是通过平时的小测验、期中考试、作业等测量手段来进行评价，它起着督促学生学习，有助于改进教师教学的作用。

形成性评价技术变化不定，不象总结性评价那样有系统性。

（三）总结性评价总结性评价是一种在事物发展某一个阶段之后所进行的评价，这种评价目的是了解整体的效果，提供一个总体评价成绩的资料。

总结性评价往往又具有后继新阶段的诊断性评价的作用。

对于一项事业的完成，例如，网络课程开发完成后，总结性评价实际上就是对工作质量，存在问题的评价，目的是形成经验，以备后期参考。

对于学生学习，总结性评价往往通过期终考试、毕业考试、毕业设计、毕业实习等测量手段来进行评价，评定学生掌握知识和技能的程度并给出评定成绩。

对上述三类评价的特点进行归纳，如表11-1所示。

第二节评价指标体系的设计评价对象是客观的事物。

系统科学理论指出，任何客观的事物都是系统与要素的统一体。

任何客观事物都是由若干相互联系、相互作用的要素组成的有机体。

要素是构成系统的组成单元，系统的组成单元又可分为不同的层次。

在一个稳定的系统中，一方面，要素之间相互独立，彼此存在，有着差异性；另一方面，要素之间又按一定比例，相互联系和相互作用，形成一定的层次结构。

根据这一基本原理，我们可以把评价对象根据某种特定的目标分解为若干层次，每个层次又可分解出若干组成要素，依据每个要素和每一结构层次所起的作用和功能形成评价指标体系。

因此，指标实际上是目标在一个方面的规定，它是具体的、可测的、行为化和操作化了的目标。

一、指标体系设计的原则指标在评价中的地位决定了指标体系的设计必须从下列原则出发，并满足下列条件。

（一）与目标的一致性指标既然是目标的具体化、行为化和操作化，那么它就必须充分地反映目标，要与教育目标或管理目标相一致。

指标与目标的一致性还蕴含着体系内各条具体指标的一致性，不能把两条相互冲突的指标放在同一体系中。

同一体系内有两条指标相互冲突，说明这两条指标至少有一条是不符合目标的，在实践中，它必然会造成人们思想的混乱，使评价工作无所适从。

因此，这类情况需要引起我们的特别重视。

（二）直接的可测性指标的直接可测性就是指标作为具体的目标，可用操作化的语言加以定义，它所规定的内容可通过实际观察加以直接测量，以获得明确的结论。

众所周知，培养学生良好的思想品质是我们应用教育技术开展教与学活动的一个目标。

学生思想状态的总体变化无疑是反映学校思想政治工作优良程度的一个标志。

但是，我们不能把思想作为评价的指标，因为思想是人体大脑内部的一种活动，它不具有直接可测性，我们至今还无法直接观察人的思想，测量人的思想。

然而，这并不是说思想不可测，只是说它无法直接测量。

我们可以把这一目标转化成可测量的指标间接地测量。

比如，我们可以通过学生在各项集体活动中的表现，把这些反映人的思想本质的行为作为思想状态的指标。

这些指标把“良好的思想”这一抽象的目标具体化，就把这一不可直接测量的目标可测化了。

（三）体系内指标的相互独立性评价的指标体系是由一组相互间有着紧密联系的指标结合而成的。

但是，体系内的各条指标又必须是相互独立的，就是说在同一层次的各条指标必须不存在任何包含与被包含的关系，相互不重叠，不存在因果关系，不能从这一条导出那一条。

为什么评价的指标必须是独立的？原因主要有二：其一是指标不独立，两条指标实质上反映了同一事物，说明其中有一条是冗余的，它的存在对整个指标体系没有贡献，无疑还加大了整个评价的工作量，因而也就降低了评价的可行性。

其二，更重要的是，指标不独立，则在指标体系中，同一指标重复计算了两次，实际上是加大了这一条指标的权重。

比如，如果把知识与能力看成是具有同等的重要性，那么，这两条指标的权重则是相等的。

如果在能力中又加进智力这一条，则能力的权重就会出现倍于知识的情况。

在权重集合中，这种偏差的出现无疑极大地影响了整个评价的科学性。

（四）指标体系的整体完备性指标的整体完备性就是指标体系的指标全面性。

指标体系不应遗漏任一重要的指标，能够全面地、毫无遗漏地再现和反映教育目标和管理目标。

（五）指标的可比性指标的可比性就是指标必须反映被评价对象共同的属性。

这种属性的一致性，是可比的前提，也是可比的基础。

例如，高等教育的评价指标体系，每一所高等学校都有其特殊之点，但是指标不能反映这些特殊点。

某些院校在办学方面具有自己的特色，这些特色是其一定办学水平的表现，但是作为对评价对象共同使用的指标，不能反映这些特殊性，因此，可以通过自报、自填项目的方式加以弥补。

（六）可接受性指标的可接受性具有两层含义：其一是符合我国的国情，从实际出发提出指标才是可接受的。

其二是按指标进行评价是可行的。

这意思是，第一有足够的信息可利用；第二有足够的人力物力可利用；第三有切实可行的量化方法可利用。

上述指标体系的设计原则是对指标体系设计者提出的要求。

同时也为指标体系的设计、修改和完善指出了途径和方法。

二、目标分解指标必须与目标相一致，可以通过分解目标的方式来形成指标体系。

这是建立指标体系的基本途径。

对于复杂的系统，还可以在目标与指标之间设置若干中间过渡环节。