测试胜任能力而非智力(中文翻译)

测试胜任能力而非“智力”

翻译人：池锦瑾人力1002班

如果一个人会运用美国传统的评价标准——大小、影响力、盈利能力来判断成功，那么这项测试运动在美国就取得了成功。智力和能力测试被应用于包括学校、学院和雇主在内的任何领域。在学校不用考试分数来记录学生是一项落后的标志。教育考试服务社独自雇佣了大约2000人，每年给在学院中有上进心的人进行学习能力测验，支出了一大笔钱去支持一项大型的基础研究操作。这个测验对于年轻人的生活具有巨大的影响力，它可以判定他们中的一些人在学习上是合格的，另外一部分是不合格的。这个测试成为了一个非常有效的方法用于筛选黑人、西班牙语裔和其他少数申请大学的人，直到出台了最新的“免责条款”（在一些人的反对之下）。在发放录取通知时除了测试成绩，还要将学生的其他素质考虑在内，招生人员反对这样做。但是Wing和Wallach等（1971）严谨的研究已经发现只通过测试成绩决定是否录取的方法只在一个非常有限的程度上是正确的。

为什么智力和能力测试拥有如此之大的权力？用什么来证明使用这种测试方法来挑选大学申请者或应聘者是正当的呢？这项运动的成功是基于何种假设？在我们继续盲目的推广使用这项测试，作为掌握许多美国人生存权力的工具之前，这项测试应当受到仔细的检验。

很明显，关键点在于智力测试是否具有有效性。除非它是正确有效的，否则它的应用是不正当的。而且我坚信不可能有压倒性的证据证明它的有效性，虽然大多数人不假思索的认为它是有效的。事实上，对于测试者给出的测试结果，我们选择直接相信它，而没有屈服于强烈的怀疑感，比如，最新的尝试显示ESP的存在。我的目标是怀疑地检查用于证明智力和能力测试正确性的主要证据，而且从检查回顾中得出一些推论，作为新的条目将来运用到测试中。

让我们一开始就要同意脑部受损和智力迟钝的人在智力测试上没有其他人做的好。Wechsler（1958）最早用这项标准来验证他的工具，虽然这个有一项非常明显的缺点：脑补受损的人几乎在任何测试中都做不好，所以这很难证明就是“缺乏智力”才导致较低的测试分数。这里并没有运用多重方法、多重品质标准。

测试预测学校的成绩

人们在能力测试中做的游戏类似于老师在课堂上要求做的。事实上，许多Binet最初的测试都是从法国学校老师的练习中借鉴过来的。所以能力测试的分数与学校成绩高度相关一点也不令人吃惊。整个学习能力测验运动极大程度上依靠这个不可否认的事实。智力测试的支持者，比如McNemar（1964），经常暗示这是唯一的一种必要有效性。McNemar 评论道“心理公司的差别能力测验手册包含一个令人吃惊的总数为4096的效度系数，是的，我统计过他们。”女士们和先生们，你们还想问什么？直到我亲自看了那本手册（McNemar当然没有启发我）我才证实了我的怀疑，就是几乎每个效度系数都涉及预测课程成绩——换句话说，在相似类型测试中的表现。

那么成绩呢？作为预测因子他们的有效性是多少呢？事实上研究者在证明学校成绩与其它行为重要性之间关联性遇到了困难，除了在能力测试中表现良好。但是普通大众，包括许多心理学家和大学官员，只是一直无法相信或接受这个事实。在课堂上表现良好的人，在生活中依然做的很好，这对于教育工作者似乎是不证自明的。虽然反对这项观点的证据在一段时间内不断地积累，但他们完全的无视了。在20世纪50年代早期，一个由我担任主席的社会科学研究委员会研究了这个问题，并且得出结论：虽然达到成绩水平看起来与人生成功的未来措施有关，但是成绩上的表现与此（未来成功）关联性很小。换言之，高中毕业或大学毕业给了人们去寻找更高水平工作的凭证，但是在高中成绩差的学生和顶尖的学生在生活

中做的一样好。作为一名大学老师，我发现这很难接受，直到我做了一个简单的检验。20世纪40年代后期，在我所任教的Wesleyan大学，我从一个班级中挑选了前8名顶尖学生（成绩都是A），和8名几乎都达不到平均水平的差生（只得到C等级或更低），然后对比他们在20世纪60年代早期从事的工作。令我吃惊的是，15到18年之后，我根本不能区分这两组人。在这两组中都有律师、医生、科学研究者和高中大学老师。我观察到的唯一区别就是成绩好的同学进入了好的法律或医学院校，学习成绩差的同学一开始就进入二流的法律和医学院校就很满意了。但是即使拥有如此的优势，成绩好的人与成绩差的相比依然没有更显著的成功。毫无疑问，在今天C等的学生在严格的招生测试标准之下甚至不可能进入二流的法律医学院校，这对于社会有利吗？

这个结果已经被英国（Hudson，1960）和美国的许多研究者（cf.Hoyt，1965）仔细地记录下来了。Berg（1970），在一本名为《教育和就业重大的训练掠夺》的书中总结研究发现，不管是工厂工人还是银行行员或者空中交通指挥员在职业上是否成功与受教育程度和学校成绩均无关。Taylor、Smith和Ghiselin（1963）指出，甚至那些像科学研究者一样的高智力工作，优秀的在职表现也与突出的大学成绩无关。在研究成功中，排名前三的大学平均成绩是2.73（大约是B-），而最后三名是2.69（也是B-）。这项事实已经知道很长一段时间了。非常明显，测试运动使得保持一个神话般的精英管理社会面临着严重的危险。精英管理社会就是关于小圈子之外的任何措施，没有任何有价值的措施具有显著的可论证的正确性。心理学家经常开玩笑说智力就是智力测试衡量出来的东西。如此接近全部事实或者只有真相看起来很不舒服，但是当公众比我们自己更加认真，并且用这项测试去筛选获得教育和高地位工作机会的人们，这岂不是很有趣？这些智力测试游戏为什么被称之为卓越？

更进一步的说，为什么对于已经在这些游戏中做的很好的人还要保持良好的教育呢？这实际上就是大学正在做的，当他们从申请者当中挑选出有高SAT分数的人。这是不是就像我们去教那些本来打网球就很棒的人？有人认为教育的目的恰恰是提高那些原来表现的不够好的人的能力。所以当心理学家依据SAT来判断谁最有可能在大学期间表现优秀，他们就是在含蓄地建议这些人就是录取的“最佳结果”。但是从另一方面说，如果大学致力于证明他们能更好的培育人才，那高分的学生就是最差的结果，因为他们的提高空间很小。可以肯定的是，老师喜欢课程成绩优秀的学生，但是社会允许老师去决定谁值得接受教育吗，尤其是当老师感兴趣的表现与其它任何类型生活表现具有非常小的关系时？

智力测试开发能力可以保证工作的成功吗？

大多数心理学家认为可以；当然普通大众也如此认为（Cronbach，1970，p.300），但是比起有人认为它应该能证明这样的信心，证据更加令人不满意。

例如Thorndike和Hagen（1959）调查了超过10000个调查对象，获取了12000个能力测试分数和许多种后来职业成功方法之间的相互关系，得出了一个结论，即显著的相互关系的数量并不会超过偶然的预期。换言之，这些测试是无效的。但是心理学家继续使用它们，相信低效度一定是受到了职业不接受低分的人这一定程度上的限制。但是即使在这里，在这个领域中，进入所需的特征对于成功实际上是否重要依然不清晰。有人可能认为手指灵巧度是成为牙医的关键，而且要进入这一领域的话还需要一个最低的测试分数。但是Thorndike 和Hagen（1969）发现这些与牙医的收入负相关。Holland和Richard（1965）以及Elton和Shevel（1969）揭示了学生在大学学习能力倾向的分数与他们在社会领导力、艺术、科学、音乐、写作、演讲和戏剧上的实际成就之间不存在一贯的关系。

我们从Ghiselli’s(1966，p.121)的结论中了解到什么呢？他的结论是基于一项研究50年的综述，即在所有类型的工作中，一般智力测试与可训练性的相关系数是0.42，与能力的相关系数是0.23，这些相关系数是根据超过10000个案例得出的。心理学家相信智力测试是有效的预测工作成功的预测因子，这不足为奇。不幸的是，评价Ghisellli’s的结论是不可能的，

因为他没有引用来源，也没有陈述清楚他的每个相互性的能力是如何测量的。我们可以从他的结果中得出一些结论，而且我们可以做出一个很好地预测，即工作能力是通过主管的评级或者通过例如主管对于营业额、晋升、工资增长等意见的间接指标来测量。

通过观察非常有趣的是，在更高地位的工作中智力测试和能力之间的相关性高于在较低地位的工作中（Ghiselli，1966，pp.34,78）。考虑到这样一个事实：作为推销商品的推销员和律师，智力测试的分数与能力之间的相关系数是-0.08，而作为股票债券推销员相关系数是0.45。这应该成为一个理解智力测试的有力线索，但是很多观察者忽略了它或者简单的认为成为股票债券推销员比游说者需要更多的通用能力。但是这两种工作在社会地位、语言、腔调、服饰、礼仪以及教育和家庭这些工作成功所必需的因素之间的联系也有所不同。验证能力测试的许多工作能力措施基本问题是它们很大程度上要依赖人们带给这份工作的证书——习惯、价值观、口音、利益等等——这意味着他对于管理人员和客户是可接受的。就我们所知，社会阶级背景也有助于在能力测试中取得高分（Nuttall&Fozard，1970）以及获得成功所需的个人证书，智力测试的分数和工作成功之间的联系经常是人为造成的，他们之间的联系与阶级成分有关。雇主有权利去选择上了合适学校的债券推销员，因为他们做的更好，但是心理学家没有权利去争论这是因为他们的智力让他们在工作中更有能力。

我们知道相关性不等于因果关系，但是我们可以忽略它。太多的心理学家仍然为高声誉或低声誉的工作报告平均能力测试分数，错误的推断出从事高水平的工作比低水平的工作更需要这种类型的大脑。例如，Jensen（1972）最近写到：

IQ可以告诉我们任何事情的现实意义吗？它和我们通常所认为的心智能力常识性的概念有关联吗，因为我们认为它和教育与职业表现有关？是的，的确是，毫无疑问……9或10岁之后的IQ还预测最终成人职业地位，这与预测学术表现具有一样高的程度……一项职业中人们的平均IQ与职业的平均收入水平、普通公众给予的声望有非常近的联系[p.9] 当然，他留下了这样一个印象：导致平均IQ分数和工作威望存在联系的就是我们通常所认为的心智能力。但是这项联系可以合理的理解为，为了获得从事高地位职业所要求词汇和其他习惯需要更多的拉力和机会。试图将导致工作成功中证书的因素和能力的因素区分开的研究非常少。

Ghiselli（1966）直接没有考虑工作能力的标准对验证测试意味着什么。比如，他研究发现警察和侦探智力测试分数与能力之间的相关系数是0.27（p.83），至于警察的表现是如何衡量的这一关键问题并没有加以关注。通过主管评级来衡量吗？如果这样的话，就会歧视黑人警察，因为白种主管将他们看做低等人种（Baehr,Furcon,&Froemel,1968）。那公众呢？他们对于警察服务的评价难道不应该作为标准的一部分吗？最近的一篇关于证明警察的表现和能力测试分数有关的综述得出了两者之间没有稳定显著的关系。这里没有具体的证据表明人们必须以合理怀疑的态度去看待智力测试分数与工作成功之间假设的关联性。

关于用智力测试测量出来的能力对生活结果的作用的简单论述，有些不谨慎的人不加鉴别的就接受了它，一些其他例证可以给这些人以警告。它广泛的论述了智力促进一般的适应和导致低神经质。比如，Anderson（1960）从1950年14到17岁男孩的智力测试分数中获得了一个显著的相关系数以及5年后普遍适应水平。正如经常被阐述的那样，我们可以假定智力能更好的的促进生活适应能力。这听起来十分合理，但是“智力”测试是测试在学校表现良好能力的（去参加学术型测试），而Anderson的大多数样本是从在校生或正准备参加工作的人中挑选出，那些在学校表现不好的或者因此第一份工作没有找好的人很有可能被认为是他们自己或其他人没有调整好。在这里测试只是标准的一部分，而且人为地引入了相关性。考虑到事实，在女孩中智力测试分数和适应性有相同的不显著相关系数0.06，假使这听起来不像被Anderson专门陈述出来的特别的推论。我们要得出对于女孩智力不能促进适应能力的结论吗？如果去论证以测试出的与学术成功相关的能力去取得成功（和今后的适应能力）

对男孩比女孩更重要，这样会更合理。但是这与不严谨的推论出智力测试能测量出一项可以成功解决生活中难题的能力，因为高IQ的孩子心理更健康，相差甚远（Jensen，1972）。

为了更加生动的说明，首先假设你是波士顿Roxbury部分的一个犹太居民，为了能成为一名警察，你必须参加一项为时3个小时的智力测试，测试包括你必须知道“平息”、“放火狂”和“词典”的意思，如果你不了解这些词语或不能做与这些词语类似的游戏，那么你就不合格，而且能当类似于门卫的工作已经很满意了，因为马萨诸塞州公务员制度委员会不接受“智力”测试。你肯定会感到生气、失望与失败，因为你不知道这些词就被认为是低智力的，也因此只能从事低地位的工作，一点也不开心。你促成了低智力与低工作地位和低调整能力之间著名的相互关系。心理学家应该感到羞耻，因为他们促进对智力的看法形成了这样一种测试程序，尤其是没有确凿的证据证明这种类型智力测试的表现与警察的表现有显著关系。

权力在控制生活结果标准上的作用

直到最近，心理学家对于控制标准的强大利益集团在反对心理学家之前在测试中验证过的东西上所起的作用非常的天真。Terman觉得通过心理学测试方法测试的“天才”，他的研究已经决定性的证明“天才”是生活中成功的关键因素。总的来说，他的研究得到了心理学家的认可。比如，Kohlberg，LaCrosse和Ricks（1970）在总结陈述中总结Terman和Oden （1947）的研究“明显具有天赋的人比普通人在职业、婚姻和社交上更容易成功，而且在心理学‘道德偏差’方面也更少（比如酗酒者和同性恋）。”Jensen（1972）也同意这种说法：最具有说服力的证据证明IQ与“现实生活”的能力指标有关是由Terman和他的同伴在斯坦福大学的一项经典研究提供的……Terman发现大部分高IQ的孩子成人之后在测量成就的每项指标上都明显地超过一般人群：完成更高层次的教育；获得更多学术上的荣誉和奖励；更高的职业地位；高收入；产出更多的文章，书籍，专利和其他创造性的东西；更多的进入名人录；更低的离婚率……这些发现毫无疑问的证实了IQ测试测量了在现代技术社会中具有很显然重要性的特征。说智力测试测量的能力是无关紧要的就相当于拒绝文明。[p.9].

我不想拒绝文明，或者认为智力测试是无关紧要的，但是我想强调的是Terman的研究并没有明确地证明正是智力测试测量出的能力

表1：参加多种多样IQ和SES类别测试（六年级）学生的人数以及接下来上大学的百分比

社会经济地位

IQ

高上大学% 低上大学%

高低51

33

71

18

57

96

23

5

Note, x> = 11.99, t < .01, estimated tetrachoric r = .35, SES X IQ.(Table adapted from Havighurst et al., 1962. Copyrighted by Wiley,1962.)

导致了高IQ孩子的成功。Terman的研究只是展示了有钱有权的人可以获得更多的机会从而在生活中做得更好。如果即使他说的是对的话，那么说心理学家毫无疑问地确定智力测试测量出的能力是在社会中高水平表现的重要因素，这是对社会的不负责。因为用目前的方法标准来衡量Terman的研究（以及与之类似的）是很幼稚的。并没有尝试去寻求平等的机会获得职业和社交方面的成功。经过比较（某刻加利佛尼亚所有的人，包括散工）发现他那些有才华的人都来自于社会的高阶层。他不能明确地证明就是“天资”（正如他的测试中反应出来的）导致他的组中人的突出表现。很合理的推断那些有钱有权有知识的人的孩子更有可能

在职业、婚姻和社交方面获得成功，因为他们拥有更多的物质资源。用另外一种方式来解释，请看表1的数据，在这方面它的发现很具有代表性。这是Hacighurst、Bowman、Liddle、Matthews和Pierce（1962）从美国中部的一个非常典型的小镇中获得的。有人观察到社会阶层与IQ之间以及IQ和所上大学（导致职业成功）之间具有通常的强关联。对于这项发现的传统解释是愚笨的孩子更有可能来自于低阶层，因为他们的家长也是愚笨的，这也解释了为什么他们是低阶层的。高IQ的孩子很大一部分上大学了，因为他们更加聪明也更加适合大学的学习。这是因为IQ本来就是预测学术上的成功的。更多上大学的聪明的人经常来自上层阶级，这是因为上层阶级里包含更多的聪明的人。所以传统的观点已经消失多年了。这对于Terman和他的支持者来说是简单和明显的。

然而，仔细观察表1，另外一种解释也貌似正确，虽然它与前种解释相比没有更加需要数据。对比“偏常”箱中高社会经济地位低IQ与低社会经济地位高IQ上大学的比例，发现低阶层中聪明的孩子（高IQ）并没有比高阶层中“愚笨”的孩子更有可能上大学，虽然他们有高能力去上大学。为什么会这样？很有可能是因为这些虽然聪明但是贫穷的孩子没有钱去上大学，或者他们根本不想上，他们想去工作或做其他事情。他们没有办法像上层阶级孩子一样通过到其他的因素（价值观、愿望、金钱）促使上大学，用当前术语说，他们处于不利地位。但是现在我们有一个可供选择的解释关于上大学，也就是社会经济地位与能力都可以作为这种类型成功的很好的预测因子。我们如何解释测试测量出来的能力是上大学的关键因素呢？如果来自贫穷家庭，极少数孩子去上大学，即使他们有不错的应试能力。有人可以认为他们是被迫受害者：他们没有机会或不被鼓励去上大学。而且是不是同样这种压制力量会阻止他们在学校好好学习？

属于权力精英（高社会经济地位）不仅会通过家庭关系帮助年轻人上大学找工作，也会让他们在小时候更容易获得进入特定工作所需的证书。现代社会，这些证书包括SAT应用的文字和文字游戏技能。在中世纪，像法律、医药、神学等有学识的职业需要懂得拉丁文。只有能够读写拉丁文的年轻人才能从事这些职业。如果对拉丁人进行这些测试，我可以肯定他们得分更高。而且那些成长在拉丁语环境的人肯定比从没有接触过拉丁语的穷人家的孩子得分更高，从而更容易获得那份工作。但是我们能得出结论我们正在处理一个普通能力因素吗？许多犹太人也感觉到他们在同样的处境中，为了在测试中表现突出他们必须学好英语。最近我在牙买加，我周围的穷人说着一种我不能理解的英语。如果我坚持，他们会耐心的用一种我可以理解的方式说，但是我感觉自己像一个迟钝的人。我很好奇如果我在牙买加的社会我会做的怎样呢，而且这种英语是有钱有权者的标准（顺便说一下，当然不是啦），他们通过这个标准进入好的学校找到好的工作（有可能由牙买加测试服务机构管理的测试来决定）？我会感到受到压迫而不是不聪明，因为毫无疑问这项测试会决定我是一个理解缓慢并且不懂普通的词汇的人。

当Cronbach（1970）提出了这项测试“是现存障碍的真实信息“，当然他是正确的。但是心理学家应该意识到正是社会中有权的人决定了什么是障碍。不管是任何有权力的组织强加的测试能力的最终标准，我们都应该更加谨慎的接受。

这是不是意味着智力测试是无效的呢？当你认真的检验一个心理学的问题，答案取决于你的意图是什么、适用于什么？当然它们在预测谁能够获得那些证书、非常重要的有声望的工作是有效的。白肤色也是这样：它在有声望的工作中是一个有效的工作成功预测因子。但是没有人认为白肤色本身是一个能力因素。许多著名的智力测试分数和能力之间的相关没有提出更大的要求去代表一个能力因素。

预测学校的成功有效吗？当然有效，因为在学校成功与否取决于参加类似类型的测试。但是，测试和学校成绩都不能有力的预测许多生活层面的真实胜任能力，除了个人所关注的证书的优势。

有没有关于在控制了其他变量的情况下用普通智力测试预测胜任能力的研究？我断言关于这个问题我很难找到一个很好的仔细对照的研究，因为研究者并没有下功夫研究：他们坚信他们在测量真实的胜任能力，所以不用麻烦去证明了。研究确实表明特殊测试分数与工作相关技能之间存在显著正相关。比如，知觉能力分数与文书能力有关，词汇、快速记忆、代换和算术测试也与之有关。运动能力测试分数与车辆操作者的能力有关（Ghiselli，1966）。如此等等。这些是我们在安全没有争议的基础上将测试当做标准的例子。但是这还远远不能推断存在一种普遍能力因素让人们能胜任他所尝试的任何领域。表明这种普遍能力因素的证据被处于顶端社会阶层的掌权者严重污染了，他们坚信自己拥有的技能具有优越的适应能力。

我们从这里去哪里？

对测试运动的批判一点也不新鲜。早期识别人才的社会科学研究委员会委员15年前已经得出了一些类似的观点（McClelland，Baldwin，Bronfenbrenner，& Strodtbeck，1958）。但是这项运动所基于的信念一直很坚定，所以理论或实证的反对至今未产生影响。测试运动还在壮大并且深入到了社会的每个角落。它不太可能被终止，即使少数有权力的组织去阻止它。因为这个测试歧视的反对那些不能接触文化、测试所控制的进入资格的人。我们希望测试人员能知道正在发生什么并且将他们的能量投入到更加合理的方向。如果在实践中应用它们，那么由测试高考的专门委员会发表的报告Board（1970）是观念正在改变的一项重要的标志。这个报告的要点是大学入学应该评估一系列才能并且以文件的方式提供给大学。这是向正确方向迈了一步，如果每个人都坚定的铭记在心，即从广泛的理论和实践意义上，建立这些新方法有效性的标准不应该是“在学校的成绩”而是“在生活中的成绩”。

我现在处于负责地位，已经批判过了测试运动，我感觉我有责任去提出一些选择。我是如何做的与众不同或更好呢？我并不介意提供建议，但是我意识到其中的一些建议在其他理由上具有可批判性，正如我之前一直批判的程序一样。所以，我必须给予它们一种谦虚的精神，因为至少有一部分人对追问那些对于我们所做失去信心的人感兴趣。我的目标是对不同的观点进行头脑风暴，而不是非常有力地证明我的建议是至今为止最好的。一个人如何测试胜任能力，如果我用“胜任力”作为传统智力测试可供选择方法的标志？

1、最好的测试是标准抽样。这一点太明显了根本不值一说，但是经常被兜售一般智力因素的如McNemar和Jensen等心理学家所掩盖。如果你想知道一个人开车技术如何，那么让他参加驾照考试，抽样调查他开车的能力。不要让他参加遵照指令进行的纸质考试，一般智力测试等。正如以上所说，这里有充足的证据证明抽样调查的工作技能能够预测工作能力。

学术能力测试能成功正是因为它大多采用标准抽样。正如已经指明的，学习能力测验（SAT）所测试的技巧正是老师所追寻的并且要给予高分的。因为已经广泛认为能力测试可以预测谁能够在学校表现良好，所以没有人可以拒绝它。当我们认为这些技巧有一些更普遍的有效性时才会出现麻烦，正如像智力一样使用词语中所暗示的那样。但是即使少量的标准测试也会显示不存在一种工作要求人们去做类比词语或从4个含义中选择最正确的之类的工作。

标准抽样意味着测试者要走出办公室，去实地测量工作所涉及的绩效。如果你想测试谁是一个好警察，那就去看看警察做了什么。在他周围跟着他，把他的行为做成一个列表，对列表中的行为进行抽样来筛选申请者。一些工作取样应该基于理论和实践。如果警察歧视黑人，很显然这不能作为标准的一部分，因为法律规定了不能歧视他们。所以测试中包含申请者不能歧视。抽样调查警察在与他所服务的人交流时所需的词汇，不包括警察不需要知道的词汇。而且不要依靠主管来评判谁是个好警察，因为严格说这不是工作分析而是分析高绩效涉及到什么。比如，Baehr等（1968）发现上级评价很高的黑人警察在爱德华个人偏好测试中顺从比例得分很高。在白人警察中没有这样的相关性。换言之，如果你是个黑人并且想要

成为一个好警察，那么你至少要顺从白人权力系统。尽量温和的说，任何用这个发现去挑选黑人警察的心理学家都应该为这个不正确的工作分析感到内疚。

简言之，标准抽样涉及理论和实践，它需要真正的成熟。早期的测试者比后来的测试者更知道如何做的更好，因为他们没有涉及“智力”测试的天赋世界而只是简单的互相验证。未来的测试者要重新学习如何进行标准抽样。如果有人想知道什么是优秀的老师，那他必须拿到教室的录像带。Kounin（1970）就是这样做的，然后他发现了区分好老师与坏老师的行为。为了挑选未来的商人、科学研究者、政治领导和幸福婚姻的伴侣，必须对他们的表现进行严谨的行为分析，并预先找到抽样适应性行为的方法。这个任务并不简单。他要求有不同于传统测试条目的新心理学技巧。这不亚于重新修订角色本身——将文字游戏和统计数据转换为行为分析。

2、设计的测试要能反应个人所学的变化。去找到一个不能被训练和经验改变的人性虽然很难但是并不是不可能，不管它是一只眼眨或是抄袭Kohs的街道设计。对于传统的智力测试者来说这真是一个令人讨厌的事实，因为他一直在寻找一些不可更改不能伪造的智能指数。他通过尝试对测试答题得分的方法进行保密，这样人们就不会学到如何在测试中做的更好，并且通过挑选那些得分稳定的测试来做出反应。稳定性是指能反映天生能力的分数并不会随着经验发生改变，但是它也意味着这个测试对人们在知道或做等方面的重大改变不敏感。就是说涉及到的技巧是专门化以及与一般经验无关的，所以一个人即使学习了很多，他在这个特殊领域也没有特殊的表现。比如，做类比之类的文字游戏的能力并不会受到高教育的影响，因为没有老师会让他的学生们做词汇类比。因此，会类比经常被看做是天生能力的一种。当然，它也可以被称为一项专门化的成就，一般智慧的增加不会转化成它，也不会让它发生任何变化。我们为什么对这种特殊技能感兴趣呢？正如我们所见，除了在参加相似的测试或者需要高测试分数来获取证书的情况下，任何生活方面的标准都与这些技能无关。放弃去寻找纯能力因素，并且挑选一些具有一定意义有效性的测试，它们测量出的分数随着一个人经验、智慧和有效处理生活中各种任务的能力的增长而发生变化。这样做非常聪明的。因此，新测试方法的第二个原则成为了第一个必然结果。如果是测试样本生活表现行为，那么一个决定这些测试是否有效的方法就是观察当他们生活表现行为的胜任能力提高时他们的执行能力是否提高。比如如果通过公平对待少数人群作为评价出色警察的一部分，那么就应该用公平（或缺乏民族优越感）测试来挑选警察，并且要反应到警察招募工作公平心的增长上。一项心理学的隐蔽偏见，借鉴了固定遗传倾向的概念，表明任何特性比如种族偏见，是不可能通过训练改变的。一个偏执的人永远都偏执。没有确凿的证据能证明这项特性或者人类任何其他特性不能改变。所以坚持设计一个能够反映特性增长的新测试是非常有价值的。

3、如何提高被测试的特性的公开与明确性呢？这项原则与心理学家目前努力实践的完全对立。它们受到了美国心理学会伦理委员会的支持，对许多测试的答案进行保密以防人们私下练习并学习如何在测试中做的更好或者伪造一个高分。在阅读、拼写或者开车测试中伪造一个高分是不可能的，除非你执行标准行为。但是当测试行为与标准行为之间有更多的间接关联时，造假是有可能的。比如，通过数百项的条目来预测飞行训练的成功时，孩童时代弹钢琴也被看做是有效的。但是没有人知道原因：可能这与手工能力有关，可能是一项社会等级变量或者在实践中具有责任心。老派测试者不能不关心这个原因只要这个项目起作用。但是他们必须保证非常谨慎，因为想要成为飞行员的人可以很容易的证明他们弹过钢琴，只要他们知道这个答案有助于他们被挑选到。如果会弹钢琴真的能帮助人们成为飞行员，在二战中没有心理学家会麻烦的核查是否真的是这样，然后让大家知道这个观点并鼓励申请者去学习弹钢琴具有了一定的意义。这样的话标准抽样就非常接近刚刚所提议的测试，事先告知被测试者如何提高将要测量的特性。

或再举个例子，通过做类比来预测学校成绩非常公平，此外没有一个人知道究竟为什么，因为一般家庭作业不会涉及做类比。所以心理学家必须具有安全意识，以防如果学生拿到了类比测试的答案，他们可以练习并变得善于做类比从而获得“伪造”的高分。在这里通过伪造的意思是可以在类比方面做的很好并不是标准行为的一部分，否则就不能认为是伪造。当然，这个测试必须与高分之间有一些间接联系，这样的话通过练习在类比方面做的很好就破坏了它的预测功能，因此高分是“伪造”的。一个人可以做类比但是这并不意味着他能取得更好的成绩。这样说来，整个程序就像是测试者所从事的一项奇怪的伪装，因为从行为上讲他们不知道正在进行什么，并且只要项目起作用他们拒绝不怕麻烦地去查明。让学习者知道将要测试的标准行为，然后心理学家、老师和学生合作一起努力去提高学生绩效测试的分数，这在理论和实用上这是多么的简单啊！当然，某些学业成绩测试采用这种模型。比如，在爱荷华州的基本技能测试，学生和老师都知道学生的拼写、阅读和算术能力如何测试，学生应该如何准备考试，他能得多少分等等。我在这里提议所有的测试均采用这种模型。如果不这样做就陷入了与申请者之间的权力游戏之中，它是关于答案的保密性和所隐藏的知识背后的关联性，其实这种关联性是不存在的。

4、测试应该评估一系列生活成果的胜任能力。如果我们按照所提议的那样抛弃了普通的智力和能力测试，并且转向了基于工作分析的标准抽样，那么这个测试对于涉及的标准会极端的精确，这存在着危险。比如，ABLE项目（Gagne, 1965）已经辨别了超过50种的独立技能，它们可以通过选矿工人学徒（工作家庭：木工和相关职业）的退出水平来评估。它们包括“测量角度”、“削尖工具和飞机”、“用指标和图表识别紧固件的大小和型号”等技能。这个方法具有至今所提出的测试新面貌的所有特性：测试是标准抽样；测试中出现了技能的提高；如何通过测试是众所周知的；老师和学生可以一起合作提高绩效。然而，因为几十种不同的职业，一个人要通过成百或上千的特殊实验。为了一些目的，评估在一系列生活成果方面普遍有用的胜任能力是值得的，不止包括职业成果还包括社交成果等。ABLE项目成功的识别了作为一个服务站的服务生所需的手工技艺，但是关于服务生是否令顾客满意，它没有得到一个简单的指数。

一些胜任能力是传统可识别的，包括读、写和计算技巧。另外一些是传统上所谓的人格变量，虽然他们更应该被认为是胜任能力。让我向大家展示一些实例。

（a）沟通技巧。许多工作和大多数人际交往的情景里都需要人们通过语言、外貌和手势将他打算或想要做的事情表达出来。书写只是测试这些技巧中的一个简单方法。那这个人可以将词语进行排列让读者立马就能理解吗？通常假设文字游戏不能预测这项技能。我不会忘了申请哈佛研究生院一个黑人学生的例子。他在米勒类比试验中只得了5%的分数，但是从他发表的大学论文中可以很明显的看出他能够清晰有效的思考和写作。尽管他已经表现了类比试验所预测的标准行为，但我依然无法说服我的同事接受他。然而如果他被接受了，那么作为一个心理学家他将来可能会写论文提醒他的同事不要再做类比了。我非常的惊讶我的同事经常这样说：“我不在乎他能写多好，只看这些测试分数就好了。”测试者很害怕出现这样的情况，他们写了公共免责声明，但是为了阻止对测试分数的盲目信仰，他们做了什么实际的事呢？

1968年在埃塞俄比亚，我们尝试去发现美国和平队志愿者所教的中学生学到了多少英语，在这个过程中我们遇到了麻烦。正如其他地方，通常测试的方法是给学生一个“填空”，多项选择的客观测试，看学生是否知道词语的含义、理解正确的语法形式等等。我们认为这种测试忽略了标准行为中最重要的部分。所以我们要求学生写一个简短的故事，之后我们会对故事进行客观地编码，不是通过语法和拼写的正确性，而是通过学生在给定的时间内正确地表达想法的复杂性。这提供了一个测量英语流畅度的方法，可以预测它确实与埃塞俄比亚成人的职业成功以及学业的成功有关系。但奇怪的是，它几乎与通常测试英语胜任能力的文

字游戏技巧有显著的负相关关系（Bergthold，1969）。

重要的沟通技巧是非语言的。印度的谚语说，“白人说骗人的假话，”无疑这句话是说在其他事情上白人不能按照他所说的去做。知道社会环境正在发生什么并据此确定情感基调，这对于生活结果标准来说是非常重要的。比如，Newmeyer（1970）发现了测量成功做出合适的情绪以及成功理解各种人的情绪的方法。他发现在某一年龄阶段黑人男孩比白人男孩在这个独有的沟通技巧上一贯表现的更好，这是比纸笔测验更加关键的标准行为的类型。

（b）耐心，或者心理学家所称的反应延迟，看起来是对许多生活结果非常重要的人性。比如，在许多服务性职业中，客户的需要经常是令人恼怒的，这就非常需要耐心。对于拥有权力去惩罚令他恼怒的人的警察来说，他们也更为需要有耐心。Kagan，Pearson和Welch （1966）已经发现这项人性非常容易被测量，它在长时间内非常稳定并可以被直接教会。

（c）适度的目标设定在成就相关的测试中非常重要，这点我在别处已经充分解释过了（McClelland，1961）。在许多生活情景中，既不能将目标设置的太高也不能太低，否则都会导致失败。许多履行情境被设计去测量设置适度的和可实现的目标并且帮助人们学习如何在未来设置更加现实的目标的趋势(Alschuler,Tabor, & Mclntyre, 1970; McClelland & Winter,1969)。

（d）自我发展。许多学者们（看Erikson,1950; Loevinger, 1970; White, 1959）已经详细论述了存在一种通用的胜任能力，它会随着年龄而发展并且某些人可以达到比其他人更高的水平。Costa（1971a）最近为自我发展开发了一个主题理解测验，它好像有许多这里提到过的新测试方向所缺乏的方面。这个从特性中抽样出来的思想在某种意义上表现了标准行为，比如在第一步，一个人是被动从众的思考，然而在第四步，在他的描述中人们能够为了他人积极主动（一个更加成熟的胜任能力）。这个测试的得分能够很好地预测哪个初中或高中生能被老师认为更有能力（即使当智力和分数之间的关联消除时），此外初中阶段一个特殊类型的教育将显著提高学生自我发展的比例。也就是说，增加主动感的训练产生了结果，这个结果显著的体现在分数上。学生和老师可以一起合作提高这种思考能力，培养学生能胜任生活的许多其他层面。

5、测试应该涉及操作行为和应答行为。几乎现存的测试都有的一个巨大缺点是它们事先结构化了情境，要求测试者做出特定类型的反应。它们的目标是评估一个人做出特定反应和选择的能力。但是个人在测试之外的生活中很少面对如此清晰明确的选择，比如“哪种狗更有可能咬人”或者“根据下列数填空：1 3 6 10 15 ____，”或者“下列词语中哪个与词典的含义最接近……”如果我们参考调查对象的后期行为，在这个意义上，设计的刺激情境是为了唤醒特定类型的反应，之后生活更有以操作反应为特征的倾向，操作反应是即使没有特定的刺激个人也会自发的做出反应。这项事实很有可能解释了大多数现存测试不能预测生活结果行为的原因。调查对象一般不能预测自发反应。用一个很粗糙的例子来说，心理学家可以评估个人喝啤酒能力的不同，但是如果用这种方法去预测实际啤酒随时间的消耗量，这两者的相关性很有可能非常低。一个人能喝多少啤酒与他实际喝了多少并不相关。

测试者经常使用应答行为去节省给答案打分的时间，并获得更高的重测信度。也就是说，人们在高结构化情景中比非结构化情景中更容易做出同样的反应。但是盲目的追求这些目标导致测试缺乏重大的效度，因为生活不是简单的结构化的，它不允许人们从事先确定好的答案中进行选择。n项成就测量是一种自发反应，主体在模糊的指令下做出反应（讲故事），对3组不同样本进行为期12到14年的预测，发现他们不知不觉的从事创业企业的工作（McClelland，1965）。在这里自发反应是预测一个自发反应——自发地思考如何一直做更好的倾向可以预测一系列随着时间而自发的行为，这些将导致个人进入与企业有关的职业。但是通过调查对象的自发反应进行预测或者反过来，并不起作用，至少对于男性是这样（McClelland，1966）。n项成就分数与成绩或学术测试分数（调查对象测量的）并不相关，

成绩与进入与企业相关的职业也不相关（看McClelland，1961）。

即使在有很强结构性的测试情境中，也要允许比通常实践中有更多的操作性行为。不久之前我们尝试去寻找一个现存的绩效测试，具有高n项成就的人在这项测试中也应表现很好，这项测试可以很好地替代在特定场合讲故事的主题理解测验。理论上，这样的测试要当个体在解决问题时为了找到最有效的方式而生成大量的选择时，允许操作性行为。但是令我们吃惊的是我们找不到这样的测试。目前发散思维测试统计了一个个体可以想到的自发反应的数量（比如，纸夹最初的用法），这项测试不要求人们找到最佳的选择。许多其他测试仅仅要求人们找到测试者所写项目中的正确答案。这所需要的就是测试项目。测试项目有许多正确答案，但是根据效能的标准，人们必须选择其中最好的一个。这个任务非常贴近我们，并且非常像高n项成就的人行动特征类型。所以我们发明了一个航空公司调动测试（Bergthold，1969），在航空公司的人会面临许多问题，他们要以最少的时间、能源、资金以及不便之处将乘客从A市送到B市。根据提供的时间表，如果被试者有精力将他们都考虑在内，就能产生几个可选择的能够解决问题的路线，但是只有一个是最有效的。这项测试保证与n项成就分数的关联性很低。但关键点是为了产生可供选择的解决方案它要求更多逼真的操作性行为，因此它应该在许多低结构化的情境中更具预测力。

6、测试应该对自发思维模式进行抽样以得到多种行为结果最大的概括性。正如已经提到的，定义职业测试的行为目标运动可以导致巨大的专一性以及低预测力小技能的庞大目录。解决这个问题的办法是集中定义思维代码，因为按照定义，它们能更广泛的适应多种多样的行为可能性。这就是说，它们代表一个比任何给定行为自身更高要求的行为性抽象概念，给定行为自身没有能力用言语去代表其他行为。从经验事实讲，它就是这样起作用的。n项成就分数，也就是操作性想法测量，从目标设定到颜色和时期偏好的职业风格有许多行为关联（McClelland，1961），在这方面作为行为者个体没有能力去相互预测。一个由操作思维测量近期提供的例子表明，权力动机与四项行为特征之间有很低的正相关，这四项行为是：喝酒、赌博、积累威望量、坦白有许多尚未实施的攻击性冲动(McClelland, Davis, Kalin, & Wanner, 1972)。这些行为特征相互之间完全不相关，所以在因子分析中它们不可能出现在同一维度中。但有趣的是它们似乎是权力驱动可选择的表达途径，因为权利动机分数与这些选择中最佳表达的相关性比任何单独的一个选择或者比他们的总分数都要高。思维特征，这里是对“有影响”和引起关注的渴望，就是高阶抽象，它让测试更加具有预测力，在通过赌博、喝酒等行为来引起更大关注的不同方法上。如果通过关注思维模式开始的，而不是去推测一系列行为背后的想法——出现在传统特征分析各种因素中，未来的测试者应该更近一步地去寻找生活成果层面的概括性能力特征。

我坚持这种方法已经近20年了，但就我看来，在我的雄辩之下，测试运动很少被影响。为什么？有许多原因：人们坚持n项测试分数是无效的是因为它不能预测学校成绩，具有讽刺意味的是，最初设计的目的是为了预测生活成果而不是学校的成绩。或者他们争论在理论基础上这个测试不能预测所有类型的成就（Klinger，1966）。但是在单一的编码目录之外的实际问题是操作思维测量是不可靠的。只是大多数是不可靠的，而非全部。Costa（1971b）的自我发展分数一年的重测稳定系数是0.66，N=223。如果测试的目标是选人，比如挑选高n 项成就的人，那么不可靠性就是致命的缺点。那些被拒绝的申请者可以质疑他们被错误的排出在外了，或证明下次他们可以取得更高的成绩，这些心理学家将没有很好的防御措施。人们可以想象心理学家被生气的家长围攻的场面，因为这些家长的孩子们由于低n项成就分数而没有进入心仪的大学。

但是在新测试运动中，要强调教育进展评估和识别以选择为目的的固定特性同样重要。操作思维测量前个目标来说是非常可靠的。教育者可以用它们来评估一个课堂或者新型教学方法是否有思考去提升自我发展的趋势，就像用Costa测量方法评估的那样。教育者不关心

哪个孩子在测试中表现突出，因为他不打算用这种方法去挑选学生进行特殊对待。所以测试的不可靠性毫无关系。作为一个管理者，他用测试信息决定学校目标是否通过这种或另外一种教育方法来传递。在某种意义上，这种思维测试的不可靠性也是个优点，如果它们鼓励教育者停止只想到挑选，并且鼓励他们更多地思考评估教育程序。

这是不是意味着测试可靠性不重要呢？当然不是这样啦。有时它是可靠地诊断缺陷的重要一部分。在其他场合，可以用测试去挑选那些非常适合做某一工作的人。所以关于可靠性有些事情要做了。因此，一个高n项成就分数的人比低n项成就分数的人更适合销售工作。但从以挑选为目标的角度看，思维样本编码目录中n项成就测试是不可拥护的，因为它不可靠。在这个例子里，思维编码可以作为标准，通过标准更多的绩效测试可以被验证。比如航空公司调度测试分数是可靠的，如果它与基于思维样本的n项成就是稳定相关的，那么在进行挑选时它可以替代后者。事实上，思维编码可以作为寻找行为模式丛的工具，行为模式丛可以被更加可靠地测量，以得到多种生活成果中心领域的胜任能力指数。比如，如果一项提高的社会化权力分数（McClelland等，1972）可以更多的描述成功的警察而不是不成功的警察，正如预期的，与社会化权力相关的行为，比如领导力和影响力，会用来挑选有潜力的好警察。这个s权力分数本身并不好用，因为它不可靠，并且当你学习了得分系统它还是“伪造”的。但是作为更多可靠测试的验证标准它是非常重要的，因为它广泛的实用和理论关系网络对于寻找可以用于挑选目的的行为特点来说是非常有用的。

当这为新测试运动列举六项原则可以影响职业测试时，事实上它仍在学校有巨大的影响力，并且目前最严重的危害是误导人们相信在学校表现好就意味着人们更有能力，因此，因为一些真正能力因素在生活中也能做好。如果像教育考试服务社这样的组织考虑了这六项原则，那么他们具体地应该做哪些改变呢？首先，它应该从词汇表中取消智力术语，并且论及学习成就测试或多或少的具体内容。非特定内容成就（从前叫做“能力”）确实可以预测应试或符号处理能力，而且这些能力对某些生活成果标准非常重要，比如为他人组织测试去通过或者作为一个职工非常的熟练（Ghiselli，1966）。但是在现有证据的基础上，把他们归为一般智力是一个非常严重的实践和理论上的错误。

一旦天生的智力哲学被丢弃了，很显然这样一个测试服务的作用就是把一些不同领域中学术和非学术成就概要文件报告给学校。然后，在选择的情况中，就要大学去决定它是否具有教育性程序，能够促进在给定的低绩效领域中的成长。从数学上讲，如果绩效已经很高了，那么大学能提升绩效的空间就很小，并且在开始，对低成就的同学，大学应该好好想想在其他领域如何教育他。这个概要文件应该包括基于思维样本的自我发展和道德发展一般特性的措施（Kohlberg & Turiel, 1971），因为无论如何更高教育性系统应该提高这些一般胜任能力。

不仅在入口而且在教育的任何一点，成就概要都应该给老师、管理者和学生关于要求的特性是否有所成长以反馈。之后测试结果成了一个帮助学生和老师重新设计教学过程以达成共同目标的工具。只有这样教育性测试从目前的宣判程序变成它打算成为的真正服务程序。