公务员考试信度与效度评估
考试成绩评价的区分度、信度、效度等概念
目录考试成绩评价的区分度、信度、效度等概念 (1)高一化学备课组 2009.3.26 (4)考试成绩评价的区分度、信度、效度等概念1、试卷的区分度试卷的区分度指测试题目对被测试者实际水平的区分能力。
区分度高的试题，能将不同水平的被试者区分开来；区分度低的试题则对被试者水平不能很好地鉴别。
区分度是指试题对被试者情况的分辨能力的大小。
一般在-1～+1之间，值越大区分度越好。
试题的区分度在0.4以上表明此题的区分度很好，0.3 ～0.39表明此题的区分度较好，0.2 ～0.29表明此题的区分度不太好需修改，0.19以下表明此题的区分度不好应淘汰。
计算区分度的方法很多，特别需要注意的是对同一个试题的考试成绩采用不同的方法所得到的区分度的值是不同的。
我们可以使用下面的两种方法计算区分度：（1）先将分数排序，P1=27﹪高分组的难度，P2= 27﹪低分组的难度区分度D =P1－P2或区分度 D = （27﹪高分组的平均分－27﹪低分组的平均分）?/font>满分值（2）利用积差系数r 计算区分度D当两个变量都是正态连续变量，而且两者之间呈线性关系，表示这两个变量之间的相关成为积差相关。
积差相关的使用条件a、两个变量都是由测量获得的连续性数据。
如百分制分数。
b、两个变量的总体都呈正态分布，或接近正态分布，至少是单峰对称的分布。
c、必须是成对的数据，而且每对数据之间是相互独立的。
d 、两个变量之间呈线性关系。
积差相关系数r的计算在计算机上是很容易进行的。
积差相关系数r的公式如下：r=（无法显示）原谅！2、试卷的信度试卷的信度主要从两个方面进行分析,一方面是考试成绩期望值与实际成绩平均值的差异,考试成绩期望值一般应以平时成绩的平均值为依据确定.另一方面是考试成绩的预期及格率与实际及格率的差异,考试成绩及格率的预期值同样以平时成绩的及格率为确定依据.两个方面的差异性较小,说明试卷信度较高.考试信度，简单地说是考试结果的可信程度，是推测考试可信与否的最重要的量化指标。
试卷分析：信度、效度、难度和区分度
附件6、难度、区分度、信度和效度的一般说明一、难度难度是指试题的难易程度，它是衡量试题质量的一个重要指标参数，它和区分度共同影响并决定试卷的鉴别性。
一般认为，试题的难度指数在0.3－0.7之间比较合适，整份试卷的平均难度最好在0.5左右，高于0.7和低于0.3的试题不能太多。
1、难度的两种定义〔1〕P=1－x/w其中：x为某题得分的平均分数，w为该题的满分。
这种定义法，难度值小时表明试题容易，值大时表明试题难，最小值为0，最大值为1。
〔2〕P=x/w这种定义法，难度值小时表明试题难，值大时表明试题容易，最小值为0，最大值为1。
2、难度的计算〔1〕主观性试题的难度A、基本公式法：P=1－x/wB、极端分组法P=1－(XH+XL)/2W其中：XH为高分组的平均得分〔前27%〕，XL为低分组的平均得分〔后27%〕。
〔2〕客观性试题的难度A、基本公式法：P=1－R/N其中：R为答对人数，N为全体人数。
B 极端分组法：P=1－〔PH+PL〕/2其中：PH=RH/n叫高分组通过率，RH为高分组答对人数，n 为总人数的前27%。
PL=RL/n 叫低分组通过率，RL为低分组答对人数。
二、区分度区分度是区分应试者能力水平高低的指标。
试题区分度高，可以拉开不同水平应试者分数的距离，使高水平者得高分，低水平者得低分。
而区分度低则反映不出不同应试者的水平差异。
试题的区分度与试题的难度直接相关。
通常来说，中等难度的试题区分度较大。
另外，试题的区分度也与应试者的水平密切相关，试题难度只有等于或略低于应试者的实际能力，其区分性能才能充分显现出来。
1、区分度指标的评价-1.00≤D≤+1.00，区分度指数越高，试题的区分度就越强。
一般认为，区分度指数高于0.3，试题便可以被接受。
2、区分度的计算方法〔1〕基本公式法：D＝〔H－L〕/N其中：D代表区分度指数，H代表高分组答对题的人数，L代表低分组答对题的人数，N代表一个组的人数即高分组与低分组人数之和。
信度与效度
信度的评估
信度的评估一般用考试结果的相关系数来表示。相关系数
等于1表示该卷完全可靠，相关系数等于0则说明该试卷完
全不可靠。在实践中，人们往往根据具体情况对试卷的信 度提出不同的要求。通常是客观题的信度高于主观题。客 观题的信度系数一般定在0.99以上。如果一份试卷既有客 观题又有主观题，信度系数最好不低于0.80。在英语测试 中，一份好的试卷，其词汇、结构和阅读部分的信度系数 一般应在0.80-0.89之间，口试的信度系数一般在0.70-0.79
什么是信度？
信度也称可靠性，即当被测试对象本身发生变化，用同样 的“尺子”去重复测试时，总是获得类似的结果。因此， 信度也被称为一致性(consistency)。 如果说一个测试的信
度高，便是指一个考生的成绩序列经反复测试都大致相同。
如果说某次测试完全可靠，那便是指这次测试排除了一切 误差、绝对的准确。即一个考生的成绩经反复测试后完全 保持一致，一组考生经反复测试后，其成绩序列完全相同。 其实，绝对的准确是不可能的，因为人的因素是不稳定的。
部有效或全部无效。除非给有效与无效规定效度系数的界
限。这主要是因为个人或群体的语言能力特征，只能通过 其行为样本间接推测，而不是绝对有效。从这个意义上讲， 效度也可以说是一个程度上的概念，它反映根据考试分数 作出推论或预测的准确程度。
效度的评估
一般地说，效度可以从以下几个方面评估。 （1）内容效度(Content Validity)是指考试的内容是否 具有代表性和综合性，或者说是否考了应考的内容。一 份试卷不可能包括所有要考的内容，所以，选择内容的 方法非常关键。 （2）预测效度度(Predictive Validity)是指考试的结果 和预言是否有效。例如：把学生高考的英语成绩和大学 一年级末的英语成绩作比较，观察其相关性，就可以了 解高考英语试卷的预测效度。 （3）结构效度(Construct Validity) 指一个考试所测量 的能力是否符合语言、语言学习和语言行为理论中所假 设的能力
效度和信度如何区分
信度与效度的区分1.效度：指的是一个测验能否真实准确地反应所要测量事物的程度，简单来说，可以理解为某测验测量准确与否的问题，因此也是衡量一个测验优劣的最重要的指标。
效度的内涵及其地位考试中也常以内涵型或地位型单选题、判断题形式考察，需要大家能够理解识记。
2.信度：同一测验多次测量，测量结果的一致性、稳定性与可靠性程度，这一概念内涵尤其是其中的可靠性，考试中常被归为效度以判断形式考察，需要重点掌握。
同时，考试中经常考察测验长度(即测验题量的多少)对测验信度的影响，因此二者关系也需要大家掌握。
一般来说，增加同类题目的测验长度，增加题目的代表性，是提高信度的一个有效办法，当然也要避免过犹不及的现象，测验题目过长反而会干扰测验信度。
效度vs信度关于效度和信度的关系，也是常考的一个难点：信度高的，效度不一定高;效度高，信度一定高。
下面将通过一个生活中的例子帮助考生理解。
小明用一个坏了的体重计测体重，多次测量得到的结果都是20公斤，而小明的实际体重应该是60公斤。
测量得到的结果一致性很高，说明这个测验的信度高。
但这个体重计却并没有准确地测出小明的真实体重，说明这个测验的效度低。
总结一下就是，当一个测验信度高的时候，效度不一定高。
如果小明用一个正常的体重计，多次测量得到的结果都是60公斤，也就是小明真实的体重。
这次测验准确测出了小明的体重，且结果保持一致，也就是说效度高、信度也高。
在一定时间内，真实结果一般是保持相对稳定的，因而只要能测出真实结果，多次施测结果就会保持较高的一致性，即效度高、信度一定高。
理解了信度和效度的内涵，大家就可以去推断二者的关系，主要包括以下几种：1.高效度一定高信度——测量准确即可八正测量结果的稳定和可靠2.高信度不一定高效度——测量结果稳定并不能保证结果的准确，如拿高三数学卷子测试小学三年级孩子的数学水平，测试多次结果均为0.信度高，但并不能说小学三年级孩子没有数学能力。
3.低效度不一定低信度——道理与高信度不一定高效度一致。
国家公务员公共基础知识考试的信度和效度研究
东南大学学报( 哲学社会科学版)
Journal of Southeast University ( Philosophy and Social Science)
Jan. 2002 V ol. 4 No. 1
国家公务员公共基础知识考试的信度和效度研究
10. 931
18
交互 16983
0. 1918
78. 054
18
0. 0271 0. 0015 0. 0107
0. 7175
整卷
1～100 被试
9 99
0. 0095
4. 204
1
试题
99
0. 0489
21. 72
1 00
交互 98901
0. 1669
74. 077
1 00
0. 0095 0. 0005 0. 0017
一、研究目的
在目前的国家公务员录用考试中, 公共基础知 识考试是其重要组成部分。主要用来测试应试者了 解、掌握从事国家机关工作必须具备的知识的程度, 以及运用知识解决实际问题的能力。心理学研究表 明, 人的高层次能力是由基本能力构成的, 只有当基 本能力达到一定程度并具有相关的知识经验时, 才 能形成较高层次的能力。依据这些理论, 专家们通过 对政府机关非领导职务公务员的工作性质和任职要 求进行分析, 得出从事机关行政工作的公务员必须 具有的知识素质: 除了专业管理知识外, 初任公务员 必须掌握马克思主义基本原理和邓小平理论, 有一 定的政治理论水平, 关心时事, 懂得法律知识, 依法 从事行政管理工作; 要有较强的文字表达能力, 能够 熟练地起草公文、撰写有一定水平的调查报告和其 他材料。基于这一要求, 目前公共基础知识的考试科 目主要确定为: 政治( 包括马克思主义基本原理、邓 小平理论、时事政治) 、法律、行政管理、语文与公文 写作。在近几年的江苏省国家公务员招考中, 公共基 础知识考试主要是围绕以上几个方面进行命题的。 然而, 目前国内各省市在考试内容和考试题型上均 存在一定的差异。在考试内容方面, 有的省市将中国 近代史和自然科学常识纳入考试范围, 有的省市则 包含社会主义宏观经济学; 在考试题型方面, 有的省 市除选择题外, 还包括判断、简答、论述、改错、议论 文等多种题型。江苏省前几年命制的公共基础知识 考试试卷中包含单选题、多选题、是否判断题、改错 题和作文题, 近几年则统一为可以测量多种认知目 标的“四选一”题型, 与目前中央国家机关招考公务
招聘活动的评估--信度效度、数量质量、成本效益
同侧效度是指对现在员工实施某种测试，然后将测试结果与员工的实际工作绩效考核得分进行比较，若两者的相关系数很大，则说明此测试效度就很高。这种测试效度的特点是省时，可以尽快检验某测试方法的效度•但若将其应用到人员选拔测试时，难免会受到其他因素的干扰而无法准确地预测应聘者未来的工作潜力。例如，这种效度是根据现有员工的测试得出的，而现在员工所具备的经验、对组织的了解等，则是应聘者所缺乏的。因此，应聘者有可能因缺乏经验而在测试中得不到高分，从而错误地被认为是没有潜力或能力的。其实，他们若经过一定的培训或锻炼，是有可能成为称职的员工的。
等值系数是指对同一应聘者使用两种对等的、内容相当的测试方法，其结果之间的一致性。内在一致性系数是指把同一(组)应聘者进行的同一测试分为若干部分加以考察，各部分所得结果之闻的一致性。这可用各部分结果之间的相关系数来判断。
此外，还有评分者信度，这是指不同评分者对同样对象进行评定时的一致性。例如，如果许多人在面试中使用一种工具给一个求职者打分，他们都给候选人相同或相近的分数．则这种工具具有较高的评分者信度。
录用比=录用人数／应聘人数×l00％
招聘完成比=录用人数／计划招聘人数×l00％
应聘比=应聘人数／计划招聘人数×l00％
当招聘完成比大于等于l00％时，则说明在数量上完成或超额完成了招聘任务；应聘比则说明招募的效果，该比例越大，则招聘信息发布的效果越好。
(二)质量评估
录用人员的质量评估实际上是对录用人员在人员选拔过程中对其能力、潜力、素质等进行的各种测试与考核的延续，也可根据招聘的要求或工作分析中得出的结论，对录用人员进行等级排列来确定其质量，其方法与绩效考核方法相似。当然，录用比和应聘比这两个数据也在一定程度上反映录用人员的质量。
我国公务员录用考试的效标效度研究
录用考 试作 为 一种 选拔 性 的考 试 , 体 现的 是 为用 而 考 的原则。利用 和完 善录用 考试 , 为 公务 员队 伍选 拔、 补
[ 1] 充优秀的、 适 宜的人才 , 是 录用 考试 的一 项 重要 任务。 近
年来 , 国内学 者对我国 公务 员录 用考 试制 度进 行了 大量 的 探索性研究 , 但多数是从考试制度 的改进、 程序 的优化 以及 单次考试的信度与 效度 等方 面进 行的 研究 , 而 对于 公务 员 录用考试的科学 性和 有效性 问题 的研究 ( 特 别是 定量的 研 究 ), 目前为止却很少有学者涉及。 本文应用人才 测评 理论 和效 标效 度理 论 , 以国 家原 人 事部颁布的公务员九项通用能力 为录用 考试的 胜任力 效标 模型 , 利用问 卷调查的方法获取相 关数据 , 分析 公务员 录用 考试成绩与其胜任 力水 平之 间的 相关 性 , 从而 检验 国家 公 务员录用考试的有效性 , 进而提出相关的意见和建议。 一、 理论 分析与研究假设 1 . 效标与效标效度 效标 , 指的是衡量 测验有效性 的外在标 准 , 通常是 指我 们所要预测的行 为。所 谓效 标效 度 , 则是 考查 测验 分数 与 效标的关系 , 看 测验 对我 们感 兴趣 的 行为 预测 得如 何。因 为效标效度需要有实际证据 , 所以又叫实证效度。
表 1 公务员九项通用能力标准的两维解读 一维 二维
治鉴别能力、 依法行政能力和解决 问题中 体现的创 新能力。 据此 , 提出本 文的研究假设 3 。 假设 3: 公务员录用考试的 申论 科目成绩与其的政治 鉴别能力 、 依 法行政能 力和 创新 能力 等三 项能 力水 平正 相 关。 ( 4) 面试 面试重点测查考生适应 工作需 要的一 般能力。面 试方 法以结构化面试为 主 , 它是 以考 官与 考生 面对 面进 行交 流 来完成的。其他面 试方 法如 无领 导小 组讨 论 , 是将 若干 个 考生编成一个小组 , 就 某个 问题 展开 讨论 并提 出自 己的 观 点或方案 ; 还有 情 景模 拟 方 法 , 则 是提 供 一个 工 作 仿真 环 境 , 让考生完 成规定任务。面试无 论采取哪 种方法 , 一 般都 会测查考生适应工 作需 要的 综合 分析 能力、 计 划组 织协 调 能力、 人际交 往的意识与技巧、 应变能 力、 自我情绪 控制、 言 语表达能 力。随 着面 试 内容 和 组 织工 作 的不 断 规 范和 完 善 , 面试的测 评内容 已不 仅限 于仪 表举 止、 口头 表达、 知识 面等 , 现 已发 展到 思 维能 力、 反 应能 力、 心 理素 质、 求职 动 机、 进取精神、 身体素质等全 方位的 测评。且已 由一般 素质 为测评依据发展到 主要 以拟 录用 职位 要求 为依 据 , 包括 一 般素质与特殊素质在内的综合测评。 可见 , 面试主要是 考查公务员 的沟通与 协调能 力、 应对 突发事件能力和心理调适能力等 一系列 笔试方 法无法 考量 到的个人素质和综合能力情 况。因而提 出本文 的研究 假设 4 。 假设 4: 公务员录用考试的面试成绩与 其的沟通与 协调 能力 、 应对突 发事件能 力和 心理 调适 能力 等三 项能 力水 平 正相关 。 特别地 , 为了吸引 高级人才 , 国家和 地方的 一些部 门和 单位针对硕 士以 上 高学 历的 考 生 出台 了 免笔 试 的 优惠 政 策 , 认为考生 的知识层次比较高 , 各方面 的能力 也应该 比较 强 , 因而只对 这些考生进行面试 部分的 测查。也就 是说 , 面
公务员考试测评结果应用效果评估
公务员考试测评结果应用效果评估近年来，公务员考试测评成为选拔和评估公务员绩效的重要工具。
然而，《公务员考试测评结果应用效果评估》的出现引发了广泛的争议。
有人认为这一评估办法能够客观、全面地评估公务员的工作表现，提高公务员队伍的整体素质；而也有人质疑其评估结果的公正性和科学性。
本文将对公务员考试测评结果的应用效果进行评估，并探讨其优点和不足之处。
一、公务员考试测评结果的应用效果公务员考试测评结果的应用效果主要表现在以下几个方面：1. 提高选拔公务员的准确性和公正性公务员考试测评结果能够通过对应试者的综合素质、专业知识、能力水平等方面的评估，为选拔合适的公务员提供了客观依据。
相较于以往的面试或简历评估，测评系统更加全面、科学，能够有效降低主观因素的影响，提高选拔的准确性和公正性。
2. 促进公务员队伍的优化升级通过公务员考试测评结果的应用，可以及时发现和评估公务员队伍中存在的问题和不足，为各级政府提供有针对性的培训和发展计划，进一步提升公务员队伍的素质和能力水平。
这有助于推动公务员队伍的优化升级，提高政府机构的绩效和服务质量。
3. 激发公务员积极性和工作热情公务员考试测评结果的公示、排名等措施，可以激发公务员的竞争意识和自我提升的动力。
公务员们会意识到他们的绩效表现直接影响着自己的职业发展和前途，因此会更加主动、积极地投身于工作，提高工作热情和效率。
二、公务员考试测评结果应用效果的评估公务员考试测评结果的应用效果需要进行全面、客观的评估。
以下是对其优点和不足的评估：1. 优点评估通过公务员考试测评结果的应用，公务员队伍的质量得到了明显的提高。
选拔和评估的过程更加公正、科学，不受人情因素的干扰。
公务员们对自身的表现有了更清晰的认识，提高了工作积极性和主动性。
同时，政府机构也能够根据测评结果，进行针对性的培训和发展，提升绩效和服务水平。
2. 不足评估公务员考试测评结果的应用也存在一些不足之处。
首先，评估指标和标准不够完善和科学，有待进一步完善。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
公务员考试信度与效度评估
小组成员：范寒、张凯肖、李红杰、雷倩慧、鲁军
一、公务员考试级结构。
（一）笔试部分，分为行政职业能力测验和申论两部分；
1、行政职业能力测验：行政职业能力测验主要测查与公务员职业密切相关的、
适合通过客观化纸笔测验方式进行考查的基本素质和能力要素，包括言语理解与表达、数量关系、判断推理、资料分析和常识判断等部分。
2、申论：申论主要考查应考人员对给定材料的分析、概括、提炼、加工，测查应考人
员的阅读理解能力、综合分析能力、提出问题和解决问题能力、文字表达能力等，申论考试是具有模拟公务员日常工作性质的能力测试。
（二）面试：面试主要考查公务员的沟通与协调能力、应对突发事件的能力和心理调适能力等一系列笔试方法无法考量到的个人素质和综合能力情况。
面试方法主要以结构化面试为主，他是以考官与考生进行面对面交流来完成的。
二、信度与效度的概念界定
1、信度：信度指测验结果的一致性、稳定性及可靠性，一般多以内部
一致性来加以表示该测验信度的高低。
信度系数愈高即表示该测验的结
果愈一致、稳定与可靠。
2、效度：效度（Validity）即有效性，它是指测量工具或手段能够准确
测出所需测量的事物的程度。
效度是指所测量到的结果反映所想要考察
内容的程度，测量结果与要考察的内容越吻合，则效度越高；反之，则
效度越低。
效度分为三种类型：内容效度、准则效度和结构效度。
三、公务员应具备怎样的能力与素质？
我们把公务员必须具备的九大能力与素质划分为：基本素质、执行能力、组织能力、管理能力、预测能力，具体划分如表1：
表1、公务员能力与素质指标分类表
按照类型划分，公务员又可以划分为行政执法类、综合管理类、专业技术类三个类别，对这三类不同职位类别公务员的能力素质要求如表2所示：
表2、我国三种不同职位类别公务员的能力素质构成分类表。