_行政职业能力测验阅读理解能力考查体系研究

心理学探新2013，Vol．33，No．5，451－459

PSYCHOLOGICAL EXPLOＲATION

行政职业能力测验阅读理解能力考查体系研究*卞冉1，王丽娜1，林哲婷1，车宏生1，阳辉2

（1．应用实验心理北京市重点实验室，北京师范大学心理学院，北京100875；2．中国劳动关系学院工会学院，北京100048）

摘要：本研究对行政职业能力测验中的阅读理解分测验考查何种能力要素进行了深入探讨。研究一首先通过文献法初步概括出行政职业能力测验阅读理解的能力考查体系，进而使用出

声思维的方法对该考查体系进行验证和补充，最后通过专家调查论证方法对其进行最终确定。结

果表明，行政职业能力测验阅读理解考查了6种能力，分别是提取信息能力、理解意义能力、理解

细节能力、分析结构能力、概括能力及推断能力，其中提取信息能力和理解意义能力是基础。在此

基础上，研究二使用该能力框架选取合适的行政职业能力测验阅读理解题目，组成一套阅读理解

测验，并借助认知诊断方法，通过专家标定测验的Q矩阵，利用实测数据对研究一构建的能力考查

体系的完备性进行了验证。

关键词：行政职业能力测验;阅读理解;出声思维;认知诊断

中图分类号：B841．2文献标识码：A文章编号：1003－5184（2013）05－0451－09

1问题提出

行政职业能力测验（以下简称行测）是能够预测一个人在行政职业领域的多种职位上取得成功的能力倾向测验，主要用于国家行政机关招考主任科员以下非领导职务公务员的笔试，在公务员考试录用实践中发挥着不可替代的重要作用。自1989年问世以来，行测经历了从初创摸索到规范化与制度化，再到科学化的一系列发展历程，其重要性和价值也得到了社会越来越多的关注，在公务员录用考试笔试科目中所占的比重也逐步提升（谢小庆，2010a）。在行测不断应用发展的同时，一些问题也日渐浮现，并对该领域的研究提出了更多的要求：一方面，从外部环境来看，考生人数的剧增、应试辅导的产业化、高科技和集团化作弊行为的冲击等都是研究者不得不关注的问题；另一方面，更为重要的是，行测的测量构想以及所考查的能力要素等问题也亟待研究者深入探讨（王丽娜，郭忠良，车宏生，陈猛，卞冉，2012）。

然而，目前行测的研究领域中，针对上述问题特别是行测测量构想问题的实证研究非常少，仅有的一些研究更多地将注意力放在了对行测试题质量的分析，特别是难度、区分度、信效度等心理测量学指标的分析上（洪炜，龚耀先，2000；陈社育，余嘉元，2002；宋冠男，2003）。尽管行测在公务员考录实践中使用非常广泛，然而我们对它到底考了什么以及考的效果如何等根本性问题知之甚少。已有研究或多或少探讨过行测的构想效度问题（如陈社育，余嘉元，2002；宋冠男，2003），但类似的探讨往往借鉴经典测量理论，以一种事后验证的思路，忽视行测中题型和分测验的复杂关系，将行测的构念停留在一个较为宽泛的层次上，并以此对被试进行笼统而宏观能力水平上的刻画。显然，从应用角度来看，这样的研究结果对于提高行测的有效性而言帮助不大。在考生人数剧增的情况下，如何改善行测各个题型的命题质量，增强其抗培训能力？如何更好地发挥其评价诊断功能？要回答这样的问题，首先就要求各个题型（或分测验）要有明确的设置思想：考的是什么？为什么要这样考？答题过程体现什么能力？考生正确作答要经历什么样的认知加工和思维过程？所以，研究者需要借鉴认知诊断理论的思路，将目光转移到各个题型上，对题型层次的能力考查要素进行研究。认知诊断理论可以深入到被试作答的认知加工和思维过程，能够很好地揭示被试尤其是同一分数下的不同被试的认知加工特点，对被试在某一测量构念上进行具体而微观的认知水平层次上的刻画（刘声涛，戴海琦，周骏，2006）。对于大规模

*基金项目：教育部人文社会科学研究青年基金项目（12YJC880001）。

通讯作者：车宏生，E－mail：chehongsheng@sina．com。

考试，尤其需要借鉴认知诊断理论来提高考试质量（涂冬波，漆书青，2007）。利用认知诊断对行测各个题型进行系统的研究，一方面有助于提高行测的内容效度和构想效度，为制定规范详细的命题指导手册进而为行测题库的高质量和稳定性奠定坚实的基础；另一方面也有利于更好地发挥行测的综合评价功能，为招录机关和应试者提供更有针对性的分数报告和诊断性评价信息。

行测目前主要包括5个分测验：言语理解与表达、数量关系、判断推理、资料分析和常识判断（国家公务员局，2011）。其中，言语理解与表达分测验所占比重及重要性较高。一些研究者也指出，通过因素分析人们发现，很多智力测验实际上主要测量的是言语能力（张阔，胡竹菁，2002）。由此可见，言语能力是能力倾向测验甚至智力测验中不可缺少的组成部分。那么，行测中的言语理解与表达到底考什么呢？对此，行测的官方资料仅仅给出了非常简单、笼统的界定。《行政职业能力倾向测验》（1999）中曾提到，言语理解部分的试题考查的是应试者对文字材料的理解、分析与运用的能力。它包括：（1）字词理解能力；（2）句段意义的理解能力；（3）语法的运用能力；（4）字词拼写能力等。《中央机关及其直属机构2012年度考试录用公务员公共科目考试大纲》对此进行了修订和补充：言语理解与表达主要测查报考者运用语言文字进行思考和交流、迅速准确地理解和把握文字材料内涵的能力，包括：（1）根据材料查找主要信息及重要细节；（2）正确理解阅读材料中指定词语、语句的含义；（3）概括归纳阅读材料的中心、主旨；（4）判断新组成的语句与阅读材料原意是否一致；（5）根据上下文内容合理推断阅读材料中的隐含信息；（6）判断作者的态度、意图、倾向、目的；（7）准确、得体地遣词用字等（国家公务员局，2011）。虽然言语理解在行测中占据着不可或缺的地位，但目前关于它的研究并没有形成一个统一的理论框架来指导测验开发，不同研究者对于它到底在考查何种能力要素的认识存在很大差异。

综上所述，本研究旨在对行测言语理解与表达部分中阅读理解分测验的能力考查体系进行探讨，试图回答行测阅读理解考察哪些能力要素的问题。研究一将借助文献法、出声思维与专家研讨等质性方法构建行测阅读理解题型能力考查体系；在此基础上，研究二将借助认知诊断方法对该考查体系进行验证。

2研究一：行测阅读理解能力考查体系的构建2．1研究目的

研究一的目的在于借助文献法、出声思维等质性方法，构建行测阅读理解分测验的能力考查体系，包括考查的能力要素以及各能力要素之间的关系。2．2文献研究

关于阅读理解，以往研究者主要从认知过程和能力构成方面进行研究，而本研究主要采用阅读理解能力构成的视角，把认知过程作为一条隐藏在能力构成之下的暗线。这种研究思路有助于从能力构成角度回答“行测应该考什么”的问题，对于提高行测的内容效度是比较适切的（Khalifa＆Weir，2009）。本研究的框架主要参考Gray（1960）、Davis （1968）、Weir（1993）、Khalifa和Weir（2009）、章熊（1989）、刘润清和韩宝成（2000）等人对阅读理解的相关研究结果，对这些研究者所提取的有关阅读理解的能力进行梳理和重新组合。由于行测的考生群体主要是大学及以上文化水平，其基本识字能力已经达标，因此在本框架中不涉及基本认读能力和字词水平的低层能力。

研究首先借鉴了Gray（1960）提出的3种层次的阅读理解水平：理解能力、推断能力和评鉴能力；其后根据Davis（1968）定义的8种阅读技能，将其中词汇层面的技能剔除后，与Gray的框架进行对比，把尚未能涵盖在其中的能力进行单独命名并补充进来：将“把内容中的观点进行汇总”命名为概括能力，将“能跟随段落的结构”和“识别作者的写作手法”命名为分析结构能力；然后将此5种能力与Weir（1993）提出的3个层次的阅读能力进行比较分析，剔除了其所谓的第三层次的理解各种语法概念和词汇意义能力，并将其第二层次的能力归纳到概括能力、理解能力和推断能力中，而将其第一层次单独命名为提取信息能力补充进来；进一步借鉴Khalifa和Weir（2009）的阅读过程模型，该模型由元认知过程、核心处理过程以及背景知识三部分构成，将其中的背景知识部分作为一个单独的能力（命名为联系能力）作为补充；最后，参考国内学者章熊（1989）以及刘润清和韩宝成（2000）所提出的阅读理解能力框架，将其与前述的7种能力进行比较，剔除涉及字词理解等低层能力后，发现其他部分能力

254心理学探新2013年

基本都可以涵盖在这7种能力中。至此，通过文献

分析初步构建了阅读理解测验的能力考查体系，根

据每种能力的来源对其含义界定如表1所示。

表1文献分析得到的阅读理解能力要素界定

能力要素名称能力要素含义

提取信息能力迅速准确地提取语句或者文段的关键信息；迅速准确地定位与测试要求相关的部分在文段中的位置

理解能力包括理解意义和理解细节，能够对文本的细节和意义进行准确理解；看到某些抽象信息后能够利用以往背景知识形成形象化的画面以帮助理解；准确把握关键信息之间的关系

分析结构能力分析句子或者文段的结构及逻辑关系，理解句子在文段中所起的作用

概括能力把握语句和文段的主旨和大意

推断能力能够对文本中的隐含信息进行推断并识别作者的目的、态度、语气以及情绪

评鉴能力对文本的语言、观点以及逻辑进行评价和鉴赏

联系能力联系自己已有的知识背景来帮助理解文段

2．3出声思维研究

通过文献法自上而下初步得到阅读理解测验能力考查体系后，本研究通过出声思维方法自下而上对该体系进行验证和补充。

2．3．1出声思维行测题目选取

本研究中所使用的题目主要来源于2003 2007年考试录用公务员行测中的阅读理解试题共120道。研究首先对这5年120道题目的难度、区分度等进行了分析，在此基础上选取其中具有代表性且质量良好的题目，在区分度理想的情况下，尽可能选择偏难的题目。为保证题目样本的代表性，研究者在常见不同类型的阅读理解题目中各选取了1个题，包括词句理解类、选句填空类、下文推断类、主旨大意类、正误判断类、隐含信息推断类共6个题目。而另一类常见的标题类题目，由于测量指标不理想而无题入选，研究者遂从其他来源题目中选取了2道纳入分析。最后，研究者还补充了1道较少出现的句子排序类题目，以及1道问法比较特殊（“对以上对话最恰当的评价是”）的题目。至此，共选取了10道题目用于出声思维。

2．3．2被试

参考Gierl，Wang和Zhou（2008）等人在研究SAT的数学能力时选取被试进行出声思维的步骤，本研究中针对行测阅读理解的性质，对被试的限制条件如下：（1）没有参加过公务员行测考试以及相关培训；（2）没有看过公务员行测考试辅导教材；（3）口头表达能力好，能够详细报告自己的解题过程；（4）阅读理解能力在中等以上（自评时可以参照高考语文成绩）；（5）性别因素。通过报名推荐以及条件审查获取10名满足前4条要求的被试，其中男生4名，女生6名。被试平均年龄23．5岁，学历均为本科及以上，专业文理各半。被试以大四学生为主，2名已参加工作。

2．3．3出声思维研究的实施

研究招募了4名主试，其学历背景均为应用心理测量专业或中文专业学生。实施出声思维之前，由研究者对主试进行培训。在正式施测时，主试会先让被试进行出声思维的练习，待被试掌握后进入正式施测过程，每个被试的出声思维时间在1 1．5个小时之间。

2．3．4出声思维研究结果

研究对每个被试出声思维过程进行录音并转换为文本，然后使用质性分析软件Nvivo8．0对所有文本进行分析。研究的4名主试作为编码员先采用完全自下而上的方式对两名被试的文本进行编码，以得到最详细的阅读理解能力细目，然后将这些细目和文献法所得到的阅读理解能力框架进行比对，并对其进行补充和完善。接着研究者将每个被试的文本整理成按照每个题目归类的文本，得到10个文本。以修订完善后的行测阅读理解能力框架为蓝本，4名编码员分别对访谈录音文本进行试编码，并结合结果对编码词典及编码标准进行讨论并达成一致，最终形成《阅读理解能力编码词典》。最后，在此基础上，每一份文本编码都要由两名编码员先根据编码词典单独编码，再经过讨论达成一致为止。

表2列出了出声思维的编码结果。在编码过程中，研究者对文献法得到的行测阅读理解能力考查体系进行了补充和完善，将“理解能力”拆分为“理解意义能力”和“理解细节能力”；将“推断能力”拆分为“推断能力”和“判断能力”。

354

第33卷第5期卞冉等行政职业能力测验阅读理解能力考查体系研究

表2出声思维编码结果

能力题号提取信息理解意义理解细节概括分析结构推断判断联系评鉴1237016121003 220941885020 31616010819010 461611537171 52261771901 62014016312061 71111214195020 8192272219003 92411211000040 1071006341030平均14．814．23．613．49．5612．50．9

从表2中可以看出，提取信息能力和理解意义能力出现的频次最高，说明这两种能力是现有的行测阅读理解所考查的基础能力；其次为概括能力、分析结构能力、推断能力、理解细节能力；再次为联系能力、判断能力和评鉴能力。其中评鉴能力的频次最低，说明现有的行测中对评鉴能力的考查较少。这样，之前形成的7项行测阅读理解能力拆分为9项。

2．4专家调查论证

在通过文献分析及出声思维等方法得到的行测阅读理解能力考查体系基础上，研究者继续使用问卷调查与团体访谈的方法获得专家意见，并结合专家意见对能力考查体系进行最终确定。

调查对象包括8位专家，其中5位长期负责行测命题，另外3位是长期负责组织公务员行测命题和审题的行业专家。调查所使用的问卷共分两部分，第一部分是关于行测阅读理解能力框架的调查，旨在请专家评价各个测查能力要素的界定及描述是否清晰，不同测查要素之间是否有重复，还有哪些测查要素没有包含在内等；第二部分是关于行测阅读理解命题的调查，包括行测的阅读理解应该突出考查哪些能力等。研究过程中先请8位专家独立完成问卷，之后再针对问卷中的问题对他们进行团体访谈。

对于行测阅读理解能力的框架，专家进行了充分的讨论。他们认为，研究形成的对行测阅读理解能力的分类基本上是合理的；评鉴能力属于高层能力，超出了行测对于阅读理解题目的要求，可以暂时不纳入行测的考查体系；推断能力和判断能力不应该拆分，应该进行合并；而联系能力更多地与考生的背景知识相联系，可以放在题目内容中，不宜放在能力框架中。根据专家的调查与讨论结果，研究者对行测阅读理解能力考查体系进行了修订，最终确定行测考察的阅读理解能力包含6个子能力：提取信息能力、理解意义能力、理解细节能力、分析结构能力、概括能力、推断能力。各个能力的含义最终确定如下表所示。

表3最终确定的行测阅读理解能力要素界定

能力要素名称能力要素含义

提取信息能力迅速准确地提取语句或者文段的关键信息；迅速准确地定位与测试要求相关的部分在文段中的位置

理解意义能力准确理解文本的意思，看到某些抽象信息后能够在脑海中形成具体形象化的意义（或者画面/案例故事）以帮助理解；准确把握关键信息之间的关系

理解细节能力对于文本以及选项中的关键细节信息能够进行理解，并能通过比较区分出这些细节信息的异同

分析结构能力分析句子的结构、句与句之间的结构、或者文段的结构及逻辑关系，理解句子在文段中所起的作用

概括能力把握语句和文段的主题和大意

推断能力根据上下文信息或者文段的结构合理推断文段中的隐含意义，对上下文信息进行预测，并判断作者在文段中传达出的态度、意图、倾向、目的

最后，对于能力之间的关系，结合出声思维的编码结果尤其是被试的作答过程进行整合，专家认为提取信息和理解意义是两种基础能力，提取信息是理解意义的前提，而理解意义是其他4种能力的前提，其他4种能力之间无严格的层级关系，因此得到各能力之间的关系结构见图1。

454心理学探新2013年

图1行测阅读理解能力框架图

3研究二：行测阅读理解能力考查体系的验证3．1研究目的

研究二旨在对研究一构建出的行测阅读理解能力考查体系进行验证。为了检验阅读理解能力考查体系是否合理、完备，传统上可以借鉴胜任特征模型的效度检验方法，而本研究将借助认知诊断理论来考察模型建构的“构想效度”，即通过验证某一个测验的认知属性或者Q矩阵的充分合理性来推断认知模型建构的合理性。具体来说，研究二将利用认知诊断中的规则空间模型的思路对此进行检验。规则空间模型假设，测验项目可以用特定的认知属性刻画，个体的某种知识结构也可用一组通常无法直接观察的认知属性掌握模式来表征（涂冬波，蔡艳，戴海崎，漆书青，2008）。该模型通过Q矩阵的设计，通过一系列数学模型可以获得考生在各个属性的掌握概率，一方面可以服务于考生知识状态的诊断，另一方面还可以将属性掌握概率用于进一步的统计分析，如对建构的认知模型（能力模型）完备性进行验证。目前验证认知模型建构的完备性主要通过属性矩阵（Q矩阵）预测项目难度或属性掌握概率预测测验总分等方式来实现（Dogan＆Tatsuoka，2008；Tatsuoka，Corter，＆Tatsuoka，2004）。相关研究认为，如果认知属性比较充分，通过多元回归方法，属性矩阵对项目难度的解释率以及属性掌握概率对测验总分的解释率都应该比较大（Tatsuoka，Corter，＆Tatsuoka，2004）；具体而言，如果解释率在60%以上，可以推测认知属性是完备的（涂冬波，2009）。因此研究二利用研究一构建的行测阅读理解能力考查体系确定Q矩阵与测验项目，并假设如下：假设1：用Q矩阵来预测项目难度的解释率达到60%以上；

假设2：用属性掌握概率来预测测验总分的解释率达到60%以上。

如果以上假设成立，那么研究一所构建的阅读理解能力考查体系是比较合理的。

3．2研究程序

研究一所构建的阅读理解能力考查体系对认知属性以及属性之间的关系进行了界定，从该模型到具体的测验需要经过以下三步：（1）根据模型得到属性之间直接和间接关系的可达阵Ｒ（Ｒeachability Matrix）；（2）基于可达阵Ｒ，得到满足属性之间层级关系的属性掌握模式（Attribute Mastery Pattern，AMP），也即知识状态（Knowledge State，KS），它是一种项目考核模式，表明每个项目上考核了哪些属性，是Q矩阵所依赖的总集Q s；（3）再按照一定规则从Q

s

中选取具体某个测验的题目，组成新测验。

根据研究一所构建的行测阅读理解能力考查体系，可以得到认知属性以及属性层级关系，由此得到可达矩阵Ｒ（见表4）。该矩阵不仅反映属性之间的直接关系、间接关系，还包括自反关系。本研究中有6个认知属性，故Ｒ矩阵是个6阶方阵。Ｒ矩阵中的元素值为0或者1，0表示属性与属性之间没有关系，1表示属性之间存在直接或间接关系。

表4阅读理解层级关系的Ｒ矩阵

属性

属性

A1A2A3A4A5A6

A1111111

A2011111

A3001000

A4000100

A5000010

A6000001

接下来，由Ｒ矩阵可得属性掌握模式。理论上，属性为K的测验，属性掌握模式共有2k种，然而，由于属性之间存在层级关系，满足属性层级关系的属性组合模式数量会远远少于2k种。本研究采用减法算法得到阅读理解测验编制的属性掌握模式共18种，也即Q矩阵的全集Q s。最后，需要确定测验的Q矩阵。本研究中选取的Q矩阵首先选取可达阵Ｒ中的所有列，满足对每个认知属性的诊断，然后再考虑对属性进行多次观察（Gierl，Wang，＆Zhou，2008；涂东波，2009）。由于研究的主要目的在于检验模型的合理性，因此在确定Q矩阵的基本内容之后，从已有测验中选取能够满足Q矩阵基本内容的题目来组成测验。

基于前述对2003 2007年题目的分析，以及学科专家和出声思维编码人员的分析，初步判断行测2003年的题目能够满足Q矩阵的基本要求。在此基础上，从行测2003年的题目中选取了20道能够满足上述要求的题目组成测验，并对每个题目所考查的认知属性进行了反复的讨论、确定。从表5进

554

第33卷第5期卞冉等行政职业能力测验阅读理解能力考查体系研究

一步确认这20道题目包括的可达阵Ｒ中的所有列，并能够满足对各个认知属性的多次考核。

表5测验的Q矩阵及属性考核次数和题目

题号

属性

A1A2A3A4A5A6

属性

个数

i821101115

i841101104

i851101003

i861100103

i881111116

i891110003

i911100103

i921000001

i931100103

i941110003

i961100002

i971110003

i991101003

i1001100002

i1011101014

i1021101104

i1071100002

i1081100013

i1091100013

i1101110003

考核次数20195775

3．3数据统计方法

在确定了测验以及Q矩阵后，研究选取2003年参与行测的46897名被试的数据进行统计分析。剔除缺失值后剩余39318人，从其中随机选取5%共1947人进行后续的统计分析，其中男性961人，女性982人。研究首先使用SPSS17．0对测验的难度进行分析；再用IＲTPＲO程序估计出规则空间模型中所需要的参数值，包括项目参数、理想被试能力和标准误、真实被试能力和标准误；之后将这些数据文件导入到李峰（2009）编制的ＲSMPM程序对属性掌握概率进行计算；最后使用SPSS17．0对Q矩阵的充分性进行检验。

3．4研究结果

对所组成的测验进行项目分析发现，该测验难度较低，平均难度为0.66，而区分度相对比较理想，均值为0.36。之后，研究通过分层回归的方法检验认知属性的充分性。阅读理解认知诊断考查的认知属性共有6个，这6个属性中A1和A2是基础，A3、A4、A5、A6比这两个属性更高层一些。因而，在建立项目难度对认知属性的回归模型时，可以采用分层回归的方法建立两层模型。模型C（简洁模型）的自变量为A1和A2，模型A（扩展模型）在模型C 的基础上增加了A3 A6。通过分层回归来考查认知属性或者Q矩阵的完备性。分层回归的结果见表6。由表6可以看出，项目难度对属性的回归系数为0.926，其解释率Ｒ2为0.857，η2为0．807，均大于0．60，说明本测验所认定的认知属性是影响项目难度的主要来源，能够很好地预测项目难度，假设1得到验证，说明研究一所构建的行测阅读理解能力考查体系是合理的。从模型比较的角度看，第一层回归中模型C的F值并不显著；增加了A3 A6之后，模型A的解释率Ｒ2由0．096提高到了0．857，η2由0．046提高到了0．807，均达到了0．80以上。因此，模型A优于模型C，说明行测阅读理解能力仅考查理解意义能力（提取信息这个属性因为所有的题目都涉及，所以未被纳入回归分析）是不够的，还需要考查理解细节、分析结构、概括以及推断等能力。

表6难度对认知属性回归模型的决定系数及F统计量模型ＲＲ2η2FΔＲ2ΔF

回归模型C0．3100．0960．0461．909

回归模型A0．9260．8570．80716．846＊＊＊0．76214．937＊＊＊注：*表示p＜0．05；＊＊表示p＜0．01；＊＊＊表示p＜0．001，下同。

除了通过认知属性来预测难度这种方法来检验行测阅读理解能力考查体系的完备性之外，还可以通过属性掌握概率来预测测验原始总分进行检验。Tatsuoka等人（2004）认为，认知属性是影响被试正确作答的潜在因子，因此属性掌握概率可以视为被试在潜在因子上的得分，如果该得分能够较好地解释测验总分变异，则说明潜在因子结构是合理的，进而可以推测认知属性是完备的。研究采用分层回归分析，以测验原始总分为因变量，建立包括A1和A2属性掌握概率的回归模型C以及包括A1 A6属性掌握概率的回归模型A。其中，属性掌握概率是通过李峰（2009）编制的ＲSMPM程序进行计算，6个属性掌握概率的均值由高到低依次是A1、A2、A6、A4、A3、A5。属性掌握概率可以作为属性难易程度的一个指标（康春花，2011）。由此可见A1和A2是最容易的，A3 A6是相对更难的，这也符合最初的

654心理学探新2013年

理论假设，说明将提取信息和理解意义作为基础能力是比较合理的。测验原始总分对属性掌握概率回归模型的决定系数及F统计量见表7。可以看出，模型C和模型A的F值都显著，均为有效模型；模型C的Ｒ为0.497，Ｒ2为0．247，η2为0．246，即A1和A2解释了约25%的变异；而模型A的Ｒ为0.953，Ｒ2为0．908，η2为0．908，说明加入了A3 A6后能够解释90%以上的变异，表明本测验的属性掌握概率是影响测验原始总分的主要来源，它能够很好地预测测验原始总分，支持假设2，进一步验证了研究一所构建的行测阅读理解能力考查体系是合理的。

表7测验原始总分对属性掌握概率回归模型的决定系数及F统计量模型ＲＲ2η2FΔＲ2ΔF

回归模型C0．4970．2470．246318．318＊＊＊

回归模型A0．9530．9080．9083191．989＊＊＊0．6612873．671＊＊＊

4讨论

4．1行测阅读理解能力考查体系的构建

行测本质上是一种应用于行政职业领域的能力倾向测验。行测到底考什么，也就是其测量构想问题，一直没有得到非常深入且彻底的探讨。以行测自身的开发历程为例，最初行测的设计者尝试采用工作分析的思路来开发测验，从职位目标的角度定位测验构想，然而经过尝试发现工作分析的结果很难直接用于测验编制。因此，行测开发实际采用的是一种“假设－检验”的路线图：根据关于公务员所需要能力的经验直觉，尝试性地编制测验，并在测验的施测过程中不断收集效度资料，根据收集到的效度资料来对测验进行改进和调整（谢小庆，2010b）。这样“事后验证”的思路，很容易造成对测验内容形式的设定和调整带有盲目性，无据可依，如行测分测验、题型和测验长度等的调整等；同时也给行测题目命制带来很大的模糊性，命题人员不清楚行测每种题型到底在考些什么能力要素，只能根据自己的理解进行“来料加工”，而不是根据明确的指导“照方抓药”。所以，要想进一步促进行测的发展、提高行测试题质量、推动题库系统建设，从本质上对行测各分测验到底测查哪些能力要素这一基础问题进行深入研究就显得刻不容缓。

本研究正是在这样的背景下尝试使用一种新的思路对行测阅读理解分测验的能力考查体系进行构建。研究选择首先从理论出发，通过对认知心理学以及阅读理解方面的相关理论与模型进行系统总结，初步界定了阅读理解能力的考查框架，包括考查内容及考查内容之间的层级关系等，这是一种自上而下的演绎推理思路，试图回答一般意义上阅读理解考什么。接着通过选取行测真实的阅读理解题目让被试进行出声思维，对被试的实际做题过程进行编码，分析提取其在作答过程中所反映出的能力及加工过程，这是一种自下而上的归纳推理的思路，试图回答具体到行测的阅读理解又考什么。最后通过专家调查和论证，将综合文献分析与出声思维得到的阅读理解能力考查体系与行测所要实现的功能以及行测本身的考查形式进行结合，并对结构进行了调整。总之，研究通过文献分析、出声思维、专家调查论证三种方法环环相扣，并将三方面的结果进行整合得到行测阅读理解能力考查体系的内容以及层级关系；研究发现行测阅读理解主要考查6种能力：提取信息能力、理解意义能力、理解细节能力、分析结构能力、概括能力及推断能力，其中提取信息和理解意义处于基础地位。

需要注意的是，本研究在行测阅读理解能力要素的抽取过程中主要采用的是能力的测量视角，而不是能力的认知视角，阅读理解过程中所涉及的更细微的认知加工过程并未纳入。这主要是考虑到本研究的主要目的还是建立一个能力的框架，为行测阅读理解测验的结构、内容设定，特别是命题提供有益指导，并服务于未来行测的题库建设。如果理论框架中出现过多认知加工过程或者策略可能会使命题人员难以掌握。不过换个角度考虑，在文献以及被试出声思维中所体现的这些认知加工过程和策略仍有很高利用价值。实际上，本研究在分析文献以及使用口头报告进行研究的过程中，都总结出不少与阅读理解相关的认知成分，研究只是选取了将阅读理解能力进行概括与细分的视角，而将认知加工过程和认知策略等元素隐藏在能力要素之后。未来研究是否需要将这些更细的元素考虑进来并建立更复杂的模型有待进一步考察。另外，本研究构建的阅读理解能力考查体系，要想发挥其在指导命题、服务于题库建设方面的作用，可能还需要进一步细化和扩充。张凯（1999）构建了汉语水平考试HSK（初中等）题库的描述性参数，在能力点下面还有小项，

754

第33卷第5期卞冉等行政职业能力测验阅读理解能力考查体系研究

如理解能力下面还细分了6个小项：语法结构、词汇及搭配、语音、语体、主题、细节等。未来研究可能需要在能力要素界定基础上沿此方向进行进一步拓展。

4．2行测阅读理解能力考查体系的验证

对构建出的能力考查体系进行验证，实际是一种构想效度研究。用认知诊断的思路进行验证，是本研究的大胆尝试。认知诊断理论以往多用于教育测量领域中，在人事测量领域中的研究和应用并不多见。本研究借鉴认知诊断的思想，对行测阅读理解能力框架体系的完备性进行了检验，结果发现，不管是项目难度对属性的回归模型，还是测验原始总分对属性掌握概率的回归模型，两者的决定系数都达到了0．90以上，解释率Ｒ2也都在0．80以上，测验原始总分对属性掌握概率的回归模型的解释率Ｒ2甚至达到了0．90以上。这些都充分说明了本研究所构建的行测阅读理解能力框架体系是比较完备的。

本研究借用认知诊断理论的方法的主要目的是为了检验行测阅读理解能力考查体系的完备性，并未深入到对被试能力进行诊断这个层次，实际上，类似研究对认知诊断理论的应用还有很多可以进一步挖掘或改进的地方。比如，本研究主要采用认知诊断模型中的规则空间模型来计算属性掌握概率，通过这种方法对模型的完备性进行验证。然而，规则空间模型比较复杂，需要分步进行，还需要用到IＲT 和多元统计知识，数理公式比较复杂，不易理解（辛涛，焦丽亚，2006）。而融合模型理论在继承规则空间模型Q矩阵理论的同时，摒弃了规则空间模型复杂的算法，在实际应用上，融合模型Q矩阵的建立和推导相对更简单。黄海峰（2010）采用融合模型来对HSK阅读测试进行研究，未来也可以借鉴融合模型的思路来对本研究所构建的阅读理解能力考查体系进行验证。另外，认知诊断的某些测量模型对Q矩阵有一定的要求，比如要求能够涵盖可达阵Ｒ中的所有列，但是在实际情况中，仅含有一个属性的题目在人事测量领域会因为题目难度过低而不适宜用在大规模选拔性考试中，如何解决这些问题，选择合适的测量模型是将认知诊断理论引入到行测这种高利害考试中必须加以考虑的问题。

5研究结论

本研究以行政职业能力测验的阅读理解分测验为研究对象，试图回答“行政职业能力测验的阅读理解应该考什么”的问题。研究通过文献法、出声思维以及专家论证三种方法的结合，构建了行测阅读理解能力的考查体系，包括6大能力：提取信息、理解意义、理解细节、分析结构、概括和推断能力。在此基础上，研究又借助认知诊断理论的方法对阅读理解能力考查体系进行验证，用属性预测项目难度以及用属性掌握概率预测原始总分的解释率都达到了0．80以上，表明研究所构建的行测阅读理解能力考查体系是相对比较完备的。

参考文献

陈社育，余嘉元．（2002）．行政职业能力倾向测验效度的研究报告．心理科学，25（3），325－327．

国家公务员局．（2011）．中央机关及其直属机构2012年度考试录用公务员公共科目考试大纲．http：//bm．scs．gov．cn/ 2012/，2011－10－15．

洪炜，龚耀先．（2000）．一般行政能力倾向测验的建构及信度、效度研究．中国临床心理学杂志，8（1），1－6．

黄海峰．（2010）．基于融合模型的汉语作为第二语言阅读之认知诊断研究．学位论文．北京语言大学博士．

康春花．（2011）．小学数学应用题问题解决的认知诊断研究．博士学位论文．北京师范大学．

李峰．（2009）．无锚题测验的链接———规则空间模型的途径．博士学位论文．北京师范大学．

刘润清，韩宝成．（2000）．语言测试和它的方法．外语教学与研究出版社．

刘声涛，戴海琦，周骏．（2006）．新一代测验理论—认知诊断理论的源起与特征．心理学探新，26（4），73－76．

辛涛，焦丽亚．（2006）．测量理论的新进展：规则空间模型．华东师范大学学报（教育科学版），24（3），50－57．

宋冠男．（2003）．广东省公务员考试中《行政职业能力倾向测验》的结构效度研究．硕士学位论文．华南师范大学．

涂冬波，蔡艳，戴海崎，漆书青．（2008）．现代测量理论下四大认知诊断模型述评．心理学探新，28（2），64－68．

涂冬波，漆书青．（2007）．认知诊断与大规模统一考试的改革．教育与考试，（1），38－41．

涂冬波．（2009）．项目自动生成的小学儿童数学问题解决认知诊断CAT编制．博士学位论文．江西师范大学．

王丽娜，郭忠良，车宏生，陈猛，卞冉．（2012）．行政职业能力倾向测验：历史，现状与未来研究．心理学探新，32（3），240－245．

谢小庆．（2010a）．今天是“行政职业能力测验”的21岁生日．http：//blog．sina．com．cn/s/blog_4cce63730100hki0．html，2010－4－16．

谢小庆．（2010b）．谈语言能力测验开发的路线图．http：// blog．sina．com．cn/s/blog_4cce63730100ggw6．html，2010－01－27．

854心理学探新2013年

行政职能能力倾向测验课题组．（1999）．行政职业能力倾向测验．北京：中国铁道出版社．

张凯．（1999）．汉语水平考试题库的描述性参数．世界汉语教学，

（3），24－29．张阔，胡竹菁．（2002）．略论智力测验发展的现状与趋势．心理学探新，

22（2），36－40．章熊．（1989）．现代文阅读的基本要求．语文教学与研究，（3），1－3．

Davis ，

F．B．（1968）．Ｒesearch in comprehension in reading．Ｒeading Ｒesearch Quarterly ，3，499－545．

Dogan ，

E．，＆Tatsuoka ，K．（2008）．An international comparison using a diagnostic testing model ：Turkish students ’profile of mathematical skills on TIMSS －Ｒ．Educational Studies in Mathematics ，

68（3），263－272．Gierl ，M．J．，Wang ，C．，＆Zhou ，J．（2008）．Using the attribute

hierarchy method to make diagnostic inferences about exami-nees ’cognitive skills in algebra on the SAT．The Journal of Technology ，Learning and Assessment ，6（6），5－52．

Gray ，W．S．（1960）．The major aspects of reading．Sequential Development of Ｒeading Abilities ，90，8－24．

Khalifa ，

H．，＆Weir ，C．J．（2009）．Examining reading ：research and practice in assessing second language reading．Cam-bridge ：Cambridge University Press．

Tatsuoka ，

K．K．，Corter ，J．E．，＆Tatsuoka ，C．（2004）．Patterns of diagnosed mathematical content and process skills in TIMSS －Ｒacross a sample of 20countries．American Educa-tional Ｒesearch Journal ，41（4），901－926．

Weir ，C．J．（1993）．Understanding and developing language tests ．Prentice －Hall．

Clarifying the Construct of the Comprehension Subtest of

Administrative Aptitude Test ：A Preliminary Study

Bian Ｒan 1，Wang Lina 1，Lin Zheting 1，Che Hongsheng 1，Yang Hui 2

（1．Beijing Key Lab of Applied Experimental Psychology ，School of Psychology ，Beijing Normal University ，Beijing 100875；

2．China Institute of Industrial Ｒelations ，Beijing 100048）

Abstract ：This study was conducted to examine what particular ability elements were measured by the comprehension subtest of Admin-istrative Aptitude Test （AAT ）．Study 1was aimed at clarifying the construct of comprehension subtest by a series of qualitative methods．Ｒesearchers firstly reviewed previous comprehension literatures to form a preliminary ability structure of reading comprehension ，and a-dopted think －aloud protocol to validate and supplement this structure．A panel of Subject Matter Experts then determined the final abil-ity structure．Ｒesults showed that the comprehension subtest of AAT tapped into six ability elements ，namely the ability to extract infor-mation ，

to understand the meaning ，to understand the details ，to analyze the text structure ，to summarize and to reason．The ability to ex-tract information and the ability to understand the meaning were fundamentals．Study 2constructed a set of comprehension test based on the structure outlined in study 1and administered it to participants．Based on the Q matrix identified by SMEs ，cognitive diagnosis re-sults demonstrated the adequacy of the construct of comprehension subtest．

Key words ：Administrative Aptitude Test ；reading comprehension ；thinking aloud method ；cognitive diagnostic model

9

54第33卷第5期卞冉等行政职业能力测验阅读理解能力考查体系研究