第11章 人员素质测评质量分析

一、再测信度



指以同样的测评与选拔工具, 按照同样的方法, 对于相同的对象再次进行测 评与选拔, 所得先后结果的一致性程度。再测信度的计算一般采用皮尔逊积 差相关系数。 个体的素质测评在测评过程中会涉及许多因素的影响，素质本身有时也无法 精确定义。我们常常把对个体测评结果的准确性检验，置于群体测评结果的 相互关系中，转化为两次位置关系的一致性分析。当同一对象的测评结果以 同样的测评方式再次获得后，其顺序位置关系变异很小时，则说明测评结果 比较准确。 例如：在技能测评中李某的分数是８８，在全体被测者中排名第一，这到底 准不准呢？我们再重复测评一次，结果李某的分数是９５，还是排名第一， 而且其他被测的位置顺序变化很小，我们就可以说第一次的技能测评结果很 可靠。

要定义或建构一个素质的结构模型，可以从以下几方面着手： 首先，采取工作分析方法，对所想测评的素质进行结构分析与行为 分析，确定各种素质结构及其代表的行为。 其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行 为。除此之外，还可以通过查找历史上或现在人们对所测评素质 的模型的现成资料，丰富已有分析的结果。 再次，还要另外准备一份与已经建构的模型可能混淆的但关系密切 的其他模型图表。要反问自己并向人说明为什么所测素质是你所 定义的结构模型而不是其他别的结构模型。
效度应用


内容效度分析适用于某些对员工进行选拔和分类的职业测验，舍恩菲尔特、 阿克、柏尔森（Schoenfeldt，Acker&Perlson,1976）清楚而详细的说明了 编织工业阅读测验是怎样应用各种内容效度分析法。在编制联邦政府和州 政府公务员测验时，这种方法得到了广泛的采用。 郭庆科（郭庆科，2002）对各种效度的应用进行了分析，他指出效标关联 资料可以应用于对个人分数的预测（包括简单回归法、多种测验信息的综 合）、人员的分类与安置（人员分类的性质、人员分类的优点、差异效 度）。
三、关联效度

又称实证效度、效标效度、效标关联效度，是指测评结果与效标的一 致性程度。效标是一种用来衡测评有效性的外在参照标准, 它可以是 一种测评的结果, 也可以是标准测评分数。根据效标是否可以同时获 得, 可将关联效度分为同时效度与预测效度。作为效标的结果与预测 结果同时获得, 这种效度称之为同时效度。当作为效标的结果是后来 测评中获得, 这种效度称为预测效度。它反映了现在的测评结果对未 来素质发展的预测程度。 例如：两个人同时采用观察评定与问卷测验测评同一个人的工作态 度，两个测评结果相关系数很高，例如0.80，那么以后在类似的情况 下，可以用问卷测验代替花时太多的行为观察法。
一、内容效度
定义 是指实际测评到的内容与期望测评的内容的一致性程度。 当实际测评到的内容与我们事先所想测评到的内容越一致时， 则说明测评结果的内容效度越高，测评结果就越有效。 分析方法 内容效度在实际操作中的鉴定主要采用定性分析的方法, 有蓝图对照分析法与专家比较判断法。

持肯定判断的人数
ne N / 2 C N /2
信度在实践中的重要性
如果你打算招聘一个销售代表,第一次职业能力 测试某个人得分很高,有销售天才;第二次得 分很低,不适合销售工作,那么你将如何进行 这次招聘决策?
第二节 信度

信度的测量 目前大致有稳定系数、等值系数、分半系数、 内部一致系数、评分一致性系数等。 以上几种信度都是针对常模参照测验而言的， 标准参照测验中的信度计算通常使用分类一致 性信度，这种信度的的常用估计方法是考察同 一批被测者在两次是册或者复本测验中的分类 是否一致。标准参照测验中的信度也可以使用 K系数计算，较分类一致性信度在统计上更合 理（Cohen,1968;Aiken,1988）。




效度分析中的几个理论问题
关于效度概念的研究 1921年美国教育研究指导协会提出,效度是“测验在多大程度上测到所要测 的东西”。同时被提出的还有“预测效度”和“共时效度”,后来被统 称为“效标效度”。 19世纪30年代,人们将更多的注意力放在测验对于具体目标课程的代表性高 低上。于是引入“课程效度”,后更名为“内容效度”。 1954年美国心理学会出版了《关于心里测验和诊断的技术建议书》，明确 列举了四种类型的效度：预测效度、同时效度、构想效度、内容效度。 美国心理学会、美国教育研究学会和国家教育测量委员会1966年联合出 版的《教育与心理测验的标准和指南》中，将效度类型进一步简化为效 标关联效度、构想效度和内容效度三种。 Ｃｒｏｎｂａｃｈ和Ｍｅｅｈｌ又进一步把前两类归结为准则关联效度。 这是一种三位一体的分类法观点。Ｃｒｏｎｂａｃｈ指出,延续了30年 的旧观念(即把效度分为相互分离且并列的三类)已经过时,取而代之的 是一元论的产生。

关于效度概念的研究
Ｍｅｓｓｉｃｋ以建构效度概念为中心,提出了检验测验效度的四个 层面(渐进矩阵)。
测试解释
证据 基础
测验使用
结构效度+适切性和 实用性
结构效度
后果 基础
结构效度+隐含的价 值
结构效度+适切性和 实用性+社会效果
关于效度概念的研究


结构效度概念产生后第二年,Ｌ.Ｊ.Ｃｒｏｎｂａｃｈ和Ｐ.Ｅ.Ｍｅｅｈｌ 提出了5种验证方法,即分组区分法、相关矩阵与因素分析法、内部结构研究、 不同场合下的变化研究、过程研究。 DeborahLee提到,效度指的是一个测验准确测量它所要测的东西的能力,包括 内容效度、效标关联效度和结构效度。 张厚粲、孙晓敏、王晶、叶映华、郑全全对效度概念演进及其新发展进行了 研究。张厚粲、孙晓敏（孙晓敏、张厚粲，2004）回顾了心理测量学中效度 概念发展的三个阶段,早期效度概念关注的是两个变量之间的相关.随后重点 转向效度的多种类型,现阶段则注重考察测验的构想效度。总之,效度确证成 为一个持续不断的动态过程;在这个过程中,运用各种技术不断地评价、质疑 和检查由测验分数所作推论和解释的有效性成为心理与教育测量研究中不可 或缺的组成部分。

二、结构效度

ቤተ መጻሕፍቲ ባይዱ
结构效度与检验效度的人对素质结构的理解有直接关系。 如果李某认为忠诚这一素质即对本企业的忠诚，张某认 为忠诚这一素质表现为实事求是的态度，那么对于向其 他企业说明本企业产品所存在的问题这一行为，显然李 某与张某会把它归类到不同的素质成分中给与不同的素 质成分中并给与不同的评价。因此结构效度的检验分析 也是一种定性的主观判断。在分析考评过程中，要采取 有力措施把主观影响控制在最低点上。
小结：
效度研究两个问题：一个是测量什么东西，即测验所要
测量的变量性质是什么？第二个是测验对它所测量的东西达 到什么程度，并在帮助取舍决定上效果如何？
结构效度回答第一个问题；
准则关联效度可用来了解测验分数能否有效地预测或估 计某种行为表现；
内容效度研究的变量的内容范围，帮助解决测验分数能
否代表某种学习结果的成果。 任何一个测验都需要各式各样的效度证据，根据测验目的， 不同的测验偏重不同的测验效度。 效度的验证通常是测验编制好后进行的工作，但效度的基 本指导思想在测验编制中始终起主导作用。
关联效度
例如想检测一下自编品德测评的效度，决定采用效标关联中的同时效度 分析方法，故让被测者同时接受自编品德测验与卡特尔16因素问卷测验。 关联效标的分析关键在于效标的选择。效标作为衡量测评结果有效性的 参照标准，应该是可以测评到且独立于所分析的测评结果的行为结果。 效标可以分为行为效标与观念效标。 行为效标的选择以客观性为依据。常见的行为效标有以下几种： 学术成就 特殊训练成绩 实际工作表现与成绩 团体特征 等级评定结果 先前被证明是有效的测评结果
判断总人数
二、结构效度

结构效度又称作构想效度、构思效度、构念效度、构建 效度等。结构效度是指实际所测评的结果与想测评素质 的同构程度。它表明了在多大程度上，实际测评结果能 够被看作是所要测评的素质在结构上的替代物。
在素质测评中，它是人们最关心的一种效度。这是由素 质测评的间接性所决定的。人们总是通过选取一些具体 的行为测评来判断实际的素质水平。
二、结构效度
结构效度的分析可按一下几步进行： 1.给所要测评的素质的结构模式下一个操作化的定义 “我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的 技能。”像这样一些表述所测评素质的具体形象是什么，结构是 什么，我们并不清楚，它仍然是从具体行为概括出某种意识或观 念，因此对结构效度的分析没有多大意义。这里的构建不是从行 为向观念构建，而是相反，由观念向具体行为的构建。不是简单 还原，而是在更高的水平上抓住所测素质的本质特征，确定一个 可感觉可操作的结构模式，由这种具体的结构模式作为抽象观念 建构的替代物。这种替代物的成分显然应该是我们世纪能够看到 的、听到的、感觉到的东西。例如：外显行为、客观性生理反应 等。素质测评的目标体系实际上就是所测素质的一个行为构建模 型，这种结构模型分别由项目、指标、权重、标度等组成。这种 模型的建构，在很大程度上取决于所测素质本身的特征及其抽象 程度等组成。


逻辑分析法 当大家对所测素质的结构模型具有比较一致的认识时，只要能判 定测评内容（工具）选择正确，且整个测评过程除了一切外来干 扰因素，就可以说测评结果具有较好的结构效度。 例如：测评时间足以保证被测评者完成所有的工作，被测评者没 有受到催促因素的影响；测评工具的指导十分明确，被测操作准 确。 多元分析 多元分析就是采取聚类分析与主成分分析等数学手段，对测评结 果进行分析，看分析的结果。 例如：所找出的主要因素与分类结果与所想测评素质的结构是否 一致，如果一致，则说明所获得的测评记过具有较好的结构效度。
D D B D 信度(Reliability):测验是否精确(Precision) 效度(Validity) :测验是否正确(Accuracy) B A AA C CC B
A：精準又正確(Reliable & Valid ) B：不精準但正確(Unreliable but Valid ) C： 精準但不正確(Reliable but Invalid ) D：不精準也不正確(Unreliable & Invalid )
2.收集事实资料，评判结构效度，具体方法有： 排除法 如果测评结果能明确的排除它所对应素质结构模型的其他解释， 那就表明所获得的测评结果具有较好的结构效度。 咨询法 可以请一些有经验的专家就你所获得的测评结果、所对应的素质 结构进行判断或推断，问他们该测评结果实际测评的素质是什么。 如果大家的回答与你所想测评的素质结构几乎一致，那么说明你 的测评有较好的结构效度。 相关法 找一个具有较高结构效度的测评工具或结果，与你所获得的测评 结果进行相关性分析，如果相关性很高，说明你的测评结果具有 较高的结构效度。 例如：某一个具有“自尊”结构效度的测评量表，它的测评结果 就应该与自信、社交能力及领导作用等测评量表的测评结果成正 比，而与诸如内向性、自卑、孤独等测评量表测评的结果成反比。
关于结构效度的研究


肯贝尔和菲斯克（D.W.Fiske）对构想效度的考验办法进行了研究（肯贝尔 和菲斯克，1959），1960年肯贝尔指出，要确定一个测验的构想效度，则该 测验不仅应与测量相同特质或构想等理论上有关的变量有高的相关，也应与 测量不同特质或构想等理论上有关的变量有低的相关，前者称为会聚效度， 后者称为区分效度。 聂建中、汤晓媚（聂建中、汤晓媚，2006年5月）对结构效度的发展演变进 行了综述，文章分析了结构效度在内容、验证方式和威胁因素这三方面所发 生的变化,指出结构效度从概念、内容到与其他效度的关系上都发生了微妙 的变化,其概念内涵更加清晰,涵盖内容更加广泛,在整个效度概念中占据了 更加重要的位置。同时,还指出了以往常用的结构效度验证方法的不足,提出 要对结构效度进行试前和实施阶段的理论验证。
第11章 素质测评的质量分析
本讲内容
效度的概念及其分析方法 信度的概念及其分析方法 区分度的概念及其分析方法 选题质量分析及其分析方法

第一节 效度


效度的概念 效度是指测评结果对所测评素质反映的真实 程度。对这种真实性的考评，常见的方法有三 种： 从内容性质方面分析其内容效度 从效标相关性方面分析其关联效度 从实证方面分析其结构效度
第二节 信度

信度的概念 信度是指测评结果所反映素质的一致性性。
一个人的高度在同一天测量了两次,一次是162厘米,一次 是159厘米. 一个学生，参加研究生入学考试春季考了300分,秋季考了 390分. 一个人参加两个不同形式的智力测验,一个测验获得智商 是100,另一个测验上的智商是114.
信度和效度的意义