人员素质评价第九章人员素质测评质量分析
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
再次，还要另外准备一份与已经建构的模型可能混淆的但关系密切 的其他模型图表。要反问自己并向人说明为什么所测素质是你所 定义的结构模型而不是其他别的结构模型。
2.收集事实资料，评判结构效度，具体方法有：
➢ 排除法
如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表 明所获得的测评结果具有较好的结构效度。
关联效度
例如想检测一下自编品德测评的效度，决定采用效标关联中的同 时效度分析方法，故让被测者同时接受自编品德测验与卡特尔16 因素问卷测验。
关联效标的分析关键在于效标的选择。效标作为衡量测评结果有 效性的参照标准，应该是可以测评到且独立于所分析的测评结果 的行为结果。效标可以分为行为效标与观念效标。 行为效标的选择以客观性为依据。常见的行为效标有以下几种：
例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该 与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如 内向性、自卑、孤独等测评量表测评的结果成反比。
➢ 逻辑分析法
当大家对所测素质的结构模型具有比较一致的认识时，只要能判 定测评内容（工具）选择正确，且整个测评过程除了一切外来干 扰因素，就可以说测评结果具有较好的结构效度。
内容效度
是指实际测评到的内容与期望测评的内容的一致性程度。当实际 测评到的内容与我们事先所想测评到的内容越一致时，则说明测 评结果的内容效度越高，测评结果就越有效。 内容效度在实际操作中的鉴定主要采用定性分析的方法, 有蓝图 对照分析法与专家比较判断法。
结构效度
结构效度又称作构想效度、构思效度、构念效度、构建效度等。结 构效度是指实际所测评的结果与想测评素质的同构程度。它表明了 在多大程度上，实际测评结果能够被看作是索要测评的素质在结构 上的替代物。 在素质测评中，它是人们最关心的一种效度。这是由素质测评的间 接性所决定的。人们总是通过选取一些具体的行为测评来判断实际 的素质水平。 结构效度与检验效度的人对素质结构的理解有直接关系。如果李某 认为忠诚这一素质即对本企业的忠诚，张某认为忠诚这一素质表现 为实事求是的态度，那么对于向其他企业说明本企业产品所存在的 问题这一行为，显然李某与张某会把它归类到不同的素质成分中给 与不同的素质成分中并给与不同的评价。因此结构效度的检验分析 也是一种定性的主观判断。在分析考评过程中，要采取有力措施把 主观影响控制在最低点上。
关联效度
又称实证效度、效标效度、效标关联效度，是指测评结果与效标 的一致性程度。效标是一种用来衡测评有效性的外在参照标准, 它可以是一种测评的结果, 也可以是标准测评分数。根据效标是 否可以同时获得, 可将关联效度分为同时效度与预测效度。作为 效标的结果与预测结果同时获得, 这种效度称之为同时效度。当 作为效标的结果是后来测评中获得, 这种效度称为预测效度。它 反映了现在的测评结果对未来素质发展的预测程度。 例如：两个人同时采用观察评定与问卷测验测评同一个人的工作 态度，两个测评结果相关系数很高，例如0.80，那么以后在类似 的情况下，可以用问卷测验代替花时太多的行为观察法。
➢ 咨询法
可以请一些有经验的专家就你所获得的测评结果、所对应的素质结构进 行判断或推断，问他们该测评结果实际测评的素质是什么。如果大家的 回答与你所想测评的素质结构几乎一致，那么说明你的测评有较好的结 构效度。
➢ 相关法
找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进 行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效 度。
要定义或建构一个素质的结构模型，可以从以下几方面着手：
首先，采取工作分析方法，对所想测评的素质进行结构分析与行为 分析，确定各种素质结构及其代表的行为。
其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行 为。除此之外，还可以通过查找历史上或现在人们对所测评素质 的模型的现成资料，丰富已有分析的结果。
结构效度
结构效度的分析可按一下几步进行：
1.给所要测评的素质的结构模式下一个操作化的定义
“我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的 技能。”像这样一些表述所测评素质的具体形象是什么，结构是 什么，我们并不清楚，它仍然是从具体行为概括出某种意识或观 念，因此对结构效度的分析没有多大意义。这里的构建不是从行 为向观念构建，而是相反，由观念向具体行为的构建。不是简单 还原，而是在更高的水平上抓住所测素质的本质特征，确定一个 可感觉可操作的结构模式，由这种具体的结构模式作为抽象观念 建构的替代物。这种替代物的成分显然应该是我们世纪能够看到 的、听到的、感觉到的东西。例如：外显行为、客观性生理反应 等。素质测评的目标体系实际上就是所测素质的一个行为构建模 型，这种结构模型分别由项目、指标、权重、标度等组成。这种 模型的建构，在很大程度上取决于所测素质本身的特征及其抽象 程度等组成。
第11讲 素质测评的质量分析
Hr-pku
源自文库
本讲内容
效度的概念及其分析方法 信度的概念及其分析方法 区分度的概念及其分析方法 选题质量分析及其分析方法
效度
效度的概念
效度是指测评结果对所测评素质反映的真实程度。对这种真实性 的考评，常见的方法有三种：
➢ 从内容性质方面分析其内容效度 ➢ 从效标相关性方面分析其关联效度 ➢ 从实证方面分析其结构效度
➢ 学术成就 ➢ 特殊训练成绩 ➢ 实际工作表现与成绩 ➢ 团体特征 ➢ 等级评定结果 ➢ 先前被证明是有效的测评结果
效度分析中的几个理论问题
关于效度概念的研究
1921年美国教育研究指导协会提出,效度是“测验在多大程度上测到 所要测的东西”。同时被提出的还有“预测效度”和“共时效 度”,后来被统称为“效标效度”。
例如：测评时间足以保证被测评者完成所有的工作，被测评者没 有受到催促因素的影响；测评工具的指导十分明确，被测操作准 确。
➢ 多元分析
多元分析就是采取聚类分析与主成分分析等数学手段，对测评结 果进行分析，看分析的结果。
例如：所找出的主要因素与分类结果与所想测评素质的结构是否 一致，如果一致，则说明所获得的测评记过具有较好的结构效度。
2.收集事实资料，评判结构效度，具体方法有：
➢ 排除法
如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表 明所获得的测评结果具有较好的结构效度。
关联效度
例如想检测一下自编品德测评的效度，决定采用效标关联中的同 时效度分析方法，故让被测者同时接受自编品德测验与卡特尔16 因素问卷测验。
关联效标的分析关键在于效标的选择。效标作为衡量测评结果有 效性的参照标准，应该是可以测评到且独立于所分析的测评结果 的行为结果。效标可以分为行为效标与观念效标。 行为效标的选择以客观性为依据。常见的行为效标有以下几种：
例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该 与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如 内向性、自卑、孤独等测评量表测评的结果成反比。
➢ 逻辑分析法
当大家对所测素质的结构模型具有比较一致的认识时，只要能判 定测评内容（工具）选择正确，且整个测评过程除了一切外来干 扰因素，就可以说测评结果具有较好的结构效度。
内容效度
是指实际测评到的内容与期望测评的内容的一致性程度。当实际 测评到的内容与我们事先所想测评到的内容越一致时，则说明测 评结果的内容效度越高，测评结果就越有效。 内容效度在实际操作中的鉴定主要采用定性分析的方法, 有蓝图 对照分析法与专家比较判断法。
结构效度
结构效度又称作构想效度、构思效度、构念效度、构建效度等。结 构效度是指实际所测评的结果与想测评素质的同构程度。它表明了 在多大程度上，实际测评结果能够被看作是索要测评的素质在结构 上的替代物。 在素质测评中，它是人们最关心的一种效度。这是由素质测评的间 接性所决定的。人们总是通过选取一些具体的行为测评来判断实际 的素质水平。 结构效度与检验效度的人对素质结构的理解有直接关系。如果李某 认为忠诚这一素质即对本企业的忠诚，张某认为忠诚这一素质表现 为实事求是的态度，那么对于向其他企业说明本企业产品所存在的 问题这一行为，显然李某与张某会把它归类到不同的素质成分中给 与不同的素质成分中并给与不同的评价。因此结构效度的检验分析 也是一种定性的主观判断。在分析考评过程中，要采取有力措施把 主观影响控制在最低点上。
关联效度
又称实证效度、效标效度、效标关联效度，是指测评结果与效标 的一致性程度。效标是一种用来衡测评有效性的外在参照标准, 它可以是一种测评的结果, 也可以是标准测评分数。根据效标是 否可以同时获得, 可将关联效度分为同时效度与预测效度。作为 效标的结果与预测结果同时获得, 这种效度称之为同时效度。当 作为效标的结果是后来测评中获得, 这种效度称为预测效度。它 反映了现在的测评结果对未来素质发展的预测程度。 例如：两个人同时采用观察评定与问卷测验测评同一个人的工作 态度，两个测评结果相关系数很高，例如0.80，那么以后在类似 的情况下，可以用问卷测验代替花时太多的行为观察法。
➢ 咨询法
可以请一些有经验的专家就你所获得的测评结果、所对应的素质结构进 行判断或推断，问他们该测评结果实际测评的素质是什么。如果大家的 回答与你所想测评的素质结构几乎一致，那么说明你的测评有较好的结 构效度。
➢ 相关法
找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进 行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效 度。
要定义或建构一个素质的结构模型，可以从以下几方面着手：
首先，采取工作分析方法，对所想测评的素质进行结构分析与行为 分析，确定各种素质结构及其代表的行为。
其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行 为。除此之外，还可以通过查找历史上或现在人们对所测评素质 的模型的现成资料，丰富已有分析的结果。
结构效度
结构效度的分析可按一下几步进行：
1.给所要测评的素质的结构模式下一个操作化的定义
“我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的 技能。”像这样一些表述所测评素质的具体形象是什么，结构是 什么，我们并不清楚，它仍然是从具体行为概括出某种意识或观 念，因此对结构效度的分析没有多大意义。这里的构建不是从行 为向观念构建，而是相反，由观念向具体行为的构建。不是简单 还原，而是在更高的水平上抓住所测素质的本质特征，确定一个 可感觉可操作的结构模式，由这种具体的结构模式作为抽象观念 建构的替代物。这种替代物的成分显然应该是我们世纪能够看到 的、听到的、感觉到的东西。例如：外显行为、客观性生理反应 等。素质测评的目标体系实际上就是所测素质的一个行为构建模 型，这种结构模型分别由项目、指标、权重、标度等组成。这种 模型的建构，在很大程度上取决于所测素质本身的特征及其抽象 程度等组成。
第11讲 素质测评的质量分析
Hr-pku
源自文库
本讲内容
效度的概念及其分析方法 信度的概念及其分析方法 区分度的概念及其分析方法 选题质量分析及其分析方法
效度
效度的概念
效度是指测评结果对所测评素质反映的真实程度。对这种真实性 的考评，常见的方法有三种：
➢ 从内容性质方面分析其内容效度 ➢ 从效标相关性方面分析其关联效度 ➢ 从实证方面分析其结构效度
➢ 学术成就 ➢ 特殊训练成绩 ➢ 实际工作表现与成绩 ➢ 团体特征 ➢ 等级评定结果 ➢ 先前被证明是有效的测评结果
效度分析中的几个理论问题
关于效度概念的研究
1921年美国教育研究指导协会提出,效度是“测验在多大程度上测到 所要测的东西”。同时被提出的还有“预测效度”和“共时效 度”,后来被统称为“效标效度”。
例如：测评时间足以保证被测评者完成所有的工作，被测评者没 有受到催促因素的影响；测评工具的指导十分明确，被测操作准 确。
➢ 多元分析
多元分析就是采取聚类分析与主成分分析等数学手段，对测评结 果进行分析，看分析的结果。
例如：所找出的主要因素与分类结果与所想测评素质的结构是否 一致，如果一致，则说明所获得的测评记过具有较好的结构效度。