编制测验的方法与程序

编制测验的方法与程序
选择测验材料，制定测题
、筛选测题
测题编排
基本特征鉴定（信、效度检验）
制定常模
1．目的的确立
测量什么
和
所测量的是哪些对象
2．分析测量目标
非智力因素界定为除能力以外的影响智力活动的个性心理因素，其结构包括个性倾向性（需要、动机、兴趣、理想、信念、世界观）、性格（性格的态度特征、性格的情绪特征、性格的意志特征）和气质几个方面。

针对测查的目的、对象以及研究的可行性确定一个取舍的标准。

我们认为作为测查对象的“非智力因素”是相对于大学生的智力因素而言的，因此必须从它和智力因素的相互关系以及它对大学生学习成绩的影响作用来考察这个概念，它必须遵循以下几个原则：
①它是指在智力活动中表现出来的非智力因素，不包括诸如豪爽、大方等与智力活动无关的心理因素，也就是说它不是指智力因素之外的一切个性心理因素，而是指在智力活动中，除智力或能力之外，又同智力活动效益发生交互作用的一些个性心理因素。

②非智力因素与智力因素相互影响、相互作用，非智力因素只有与智力因素一起才能发挥它在智力活动中的作用。

③从大学生当前的学习活动来看，我们确定的非智力因素与学习活动的关系应是直接密切的，即它在大学生现在学习活动中确实存在，并对大学生的学生成绩起影响作用。

从大学生将来的再学习活动来看，我们确立的非智力因素与它的关系也是直接密切的，即它在大学生将来的再学习活动中确实存在，并直接影响大学生将来的学习成绩。

④这些非智力因素在优秀学生身上应有特殊表现，即优秀学生作为特定群体，对这些因素在总体上或是在其中某几个因素上应有优异发展，从而使这些因素具备一定的鉴别功能。

据以上原则，通过查阅大量相关文献，参阅他人研究成果，在专家咨询的基础上，结合对大学生的访谈资料，几经筛选、归并，确定以下十一项因素作为测查的对象：(1)学习热情（2）学习计划（3）考试焦虑（4）情绪稳定（5）专业兴趣（6）好胜心（7）成就动机（8）自尊心（9）自律性（10）独立性（11）有恒性。

3．选择测验材料，编制测题
选择测验材料的方法：
理论法经验法因素分析法
本测题的编制采用的是理论法和经验法相结合的方法。

在形式上，基本采用自陈式，即通过被试对许多自我评定性测题的答案来衡量其在某项因素上的表现特征。

在测题的格式上，采用选择法，要求被试在每一测题的备选答案A、B、C中选择一个与自己想法和做法最接近的答案。

为便于后面的项目修改，项目筛选和项目分析，围绕各因素在学习活动中的具体、典型表现，编拟15个具有代表性的测题，并在每一测题中尽量提供能反映较高，一般、较低三个不同层次的可选择答案。

我们试用模糊概念的定量表示法，对每一因素的各个测题的不同答案进行量化评分，反映因素较高水平的答案2分，一般水平的答案1分，较低水平的答案0分(“考试焦虑”因素部分反之)，编制成三点式的Likert量表。

在此基础上讨论测题，对测题进行质的分析。

由测题编制者本人和有关专家对测题的内容和形式进行分析，从取材的适合性与制定测题的技术方面加以评价、分析，提出修改意见，修改测题。

最后汇总、编排测题，对11个因素的测题运用轮流排序的形式，进行汇总。

并设计了专门的答题纸。

4．进行预测，分析测题，筛选测题
在预测过程中，我们应注意几个问题。

（1）预测的被试应取自将来正式测验的被试群体之中，取样应有代表性，人数不必太多，也不能太少。

（2）预测力求按正规的要求进行，使其与将来的正式测验的情况近似。

（3）预测的实施，应使被试有足够的完成时间，以便收集充分的反应资料使统计分析结果可靠。

（4）在预试过程中，应将被试反应情况随时加以记录，如一般被试完成预试所花费的时间、题意有哪些不清之处、被试对哪些测题产生误解等方面，都要一一加以记录。

分析测题包括对测题的质的分析和量的分析两个方面。

前者在预试之前已由编制者本人或有关专家鉴定。

后者则基于测题经过预试的结果，逐一分析难度、鉴别力等。

一般来说，项目的通俗性在0.5左右时，项目的变差最大，项目的鉴别力最高。

按艾伯尔（EBEL）的分类标准，鉴别指数：
0.19以下：劣，必须淘汰；
0.20——0.29：尚可，仍须修改；
0.3——0.39：良好，如能修改更好；
0.40以上：非常优良。

将经过预测分析后认为具有良好性能的测题加以适当编排（并列直进式、混合螺旋式、轮流排序等），为了检验挑选出的测题的性能是否真正符
合要求，通常须再抽取另一适当的样组再测一次进行测题分析，目的在于复核项目分析的结果是否一致，这就是测题性能的复核，也叫交叉效度检验。

它是测验编制过程中非常重要的工作。

5.选择有效测题，进行编排，确定大学生非智力因素测查的正式问卷。

据每次预测结果，我们对每一测题的内容、表达方式、答题方式、备选答案、指导语的内容和表述等反复推敲、修改，最后形成正式的《大学生非智力因素测查》问卷，共110道测题，每个因素保证了有10道测题。

问卷采用轮流排序的形式编排11项因素的测题，并打乱了可选答案的三个不同层次，同时设计了专门的答题纸。

这样做可避免被试掌握规律得高分，又利于提高被试作答兴趣，同时又易于我们统计。

6.标准化
所谓标准化，就是对测验情境的控制，也就是使测验情境对所有被试都使相似的。

具体包括对内容一致和标准实施的要求，内容一致就是给所有被试实施相同的一组测题，标准实施是通过使用预先制定的实施指导语、标准时限和客观记分的方法来排除无关因素的影响。

7.基本特征鉴定
按照上述程序，某一测验编制完成以后，为考核该测验是否具有评价、诊断、预测等功能，即它是不是一个优良的测量工具，应从信、效度方面加以鉴定。

（1）信度。

对测验一致性程度的估计，即可靠性。

在实际工作中，从测验的结果估计信度的方法有多种，但基本上可以分为三类：稳定系数，它是由一组被试首次测验分数与隔些时候再次施测分数的相关系数表示的，考察的是跨时间的一致性；等值系数，是在两个假定相等的复份测验之间的一致性，考察的是跨形式的一致性；内在一致性系数，它所估计的是一个测验中所包含的各个测题上所得成绩的一致性，考察的是跨项目的一致性，试图确定是否测验中的所有测题测量的是同一个心理特性。

估计内在一致性系数方法有分半信度、库德-理查逊估计方法和R系数。

（2）效度。

是测什么，测到了什么程度的一种度量。

考虑测验的效度时，必须从该测验的目的与特殊功能着眼，根据1974年美国心理学会发布的《教育与心理测验的标准》一书，将效度分为三类：准则关联效度、内容效度、结构效度。

准则关联效度又称经验效度，是以测验分数和效度准则之间的相关系数来表示测验的效度高低。

效度准则就是足以显示测验所欲测量的特性的变量或足以显示测验所欲预测的特性的变量，准则是检定
效度的一种参照尺度。

例如智力测验的效度检定，可选用学业成绩或教师评定等级作为准则，计算测验分数与这些准则变量之间的相关。

这些资料是现成的，所以这种效度称为同时效度。

然而，人们往往感兴趣的是对被试的有关准则作业的预测，测验分数之所以重要只是因为它能预料到该项准则，在这种情况下，我们把测验当成预测变量，它对准则变量预测的程度，就是预测效度。

比如某项专业学习的成绩的预测效度准则就是实际工作的成绩。

内容效度，我们说一个测验的测题只是全部这类测题的一个样组，因此对测验代表性的研究，就有一个测验的测题在全域中取样是否足够和确切的问题，这就是内容效度的问题，也即测验题目对有关内容或行为范围取样的适当性。

检验的方法是有专家判断，一个方面看是否有定义完好的内容范围，另一方面看测验题目是否是所界定的内容范围的代表性取样。

结构效度是测验能测量理论上的构念或心理特性的程度，目的在于用心理学的概念来说明分析测验分数的意义，从心理学的理论观点就测验的结果加以解释和探讨。

结构效度确定的逻辑和方法：先从某一结构理论出发，导出各项关于心理功能或行为的基本假设，然后由果朔因，一相关等方法，查核测验结果是否符合心理学上的理论解释。

三种类型的效度从不同的角度说明测验的正确性，涉及测验内容、理论依据、效度准则和样组等事项。

一般来讲，人格测验效度低于能力测验。

8.制定常模
由于心理测量是相对的而非绝对的，所以我们只有将测验分数与常模比较，才能对某一个体的测验分数进行比较。

在这里常模是一个比较的标准，因此，常模有效与否可靠与否是一个很重要的问题。

我们做武汉市大学生非智力因素的常模，从理论上来讲，我们应该将武汉市每一个大学生的非智力因素进行测量，然后求其平均数。

但实际上由于时间、人力、经济的限制常常是不可能做到的，我们只能测量具有这个研究特征的一部分，以它代表总体。

如果这个样组能够代表全域，该样组就是标准化的样组，而按照标准化样组算出来的平均数，就是常模，以它作为测验分数的参照点，就能使测验分数有意义。

9.编写测验说明书
这个不展开来讲。

大家可参阅戴忠恒编著的《心理与教育测量》（第191页）。