科技成果评估中的主观评价方法研究
科技成果评估中的主观评价方法研究
李瑛1邹立尧2任珺楠1
（1、南开大学周恩来政府管理学院；2、中国气象局气象干部培训学院）
摘要：在对科技成果评估的范式演进和内容变化进行分析的基础上，指出目前科技成果评估中同行评议是主流的主观评估方法，针对同行评议的先天缺陷，将人力资源考核中的行为等级锚定在改进的基础上引进同行评议，使同行评议法在评估科技成果时，评估的客观性和准确性得以提高。
一、引言
科学技术是第一生产力。作为科学技术研究的最终产物，科技成果受到人们的普遍关注。然而，能否对科技成果进行科学有效的评估关系到科技成果自身权威性的认定与科技成果的转化。
我国每年有大量的科技成果需要通过进行评估。然而长期以来，我国采取的大多是科技成果鉴定的方式来评价科技成果。由于成果鉴定是以政府为主导的，并且管理形式存在一些问题，科技成果鉴定得到的都是一些模糊的评语：“国内高水平”“国际领先”“具有较大的推广价值”“具有良好的市场前景”“填补空白”等等。成果鉴定本身也失去了存在的意义，科技成果鉴定是计划经济体制下的产物，在计划经济时代发挥过重要作用，随着社会主义市场经济体制的完善和科技体制的不断深化，以科技成果鉴定为主要形式的科技成果评估，已经不适应科技成果评估发展的要求。参照国外发达国家政府和社会对科技成果管理的模式，对科技成果的评价应该由鉴定这种单一的模式过渡为鉴定与后效评估相结合的评估模式。科技评估的发展趋势是逐渐向项目成果评估的中、后期评估延伸。国外科技评估机构对前期评估和中、后期评估比例大致持平，然而我国国内的科技后效评估评估的案例极少，大都止步于对科技成果的价值作出初步鉴定的阶段。我国国内的科技评估实证分析少，评估方法落后。
本文的研究目的就是通过对国内外关于科技成果评估理论和方法进行梳理，并且结合实践现状，对目前的定性评估从微观可操作的角度提出方法上的改进，将人力资源评估中的行为等级锚定法引进科技成果评估领域，使评估结果更为公正，最大限度地避免主观随意性。
二、科技成果评估
科技成果评估是科技评估的主要内容，也是政府部门科技成果管理的重要内容。它是一种以政府或科技中介机构为主体，在政府宏观指导下的市场行为，对成果的水平以、效果及其价值作出科学合理的评价。学者认为科技成果评估，就是科技成果评价中介机构根据委托者提出的评价要求，运用科学、可行的方法对被评科技成果所进行的真假审查与辨别，对其科学性、创造性、新颖性、先进性、应用效果与前景进行的评议，并做出相应结论。①从科技成果评估的概念出发，科技成果评估应具有以下特点：（1）权威公正性。科技成果评估的主体是政府或科技评价中介机构，科技成果评估的结果应具有权威性。此外科技成果评估是按公正、法定的准则和程序进行的，具有公认的行为规范和业务规范，科技成果的评估共组应该具有公正性。（2）综合性。科技成果评估虽然是对一项科技成果进行评估，但是却往往涉及多方面因素的考量。科技成果评估不仅要评价其自然属性和经济价值，而且要评价其社会属性和社会价值，要对以后可能取得的经济效益和社会效益进行评估，也就是后效评估。（3）评估方法的科学性。科技成果评估要综合运用经济学、数学、统计学、计算机科学等多种学科的方法，综合考虑市场、政策、法律、金融、风险和供求关系等多种因素进行评估。因此科技成果的评估方法不仅要有严格的定量分析研究，也要对科技成果的价值和收益进行广泛的理性讨论，定性的研究方法也要引入进来，不能一味的追求“数量”，还要看“质量”。
近年来，对于科技成果的评估逐渐脱离了原先的政府部门为主导的科技成果鉴定，政府强制性的行政干预的色彩逐渐淡化，第三方的科技中介机构和社会组织开始参与进来，科技成果的评估程序也越来越透明。并且科技成果评估也逐渐渗透在科技项目的审批立项、成果验收认定、成果转化及后效评估的各个环节，成为一种经常性、连续性的活动。
三、科技成果评估的范式和内容
（一）评估范式
科技成果评估是科技评估的组成部分，传统的科技评估范式注重对技术的可①谈毅，中国科技评价体系的特点、模式及发展[J] 科学学与科学技术管理，2007，(5)：15-18
行性和可能的后果进行分析，是纯粹的技术性评价的“科学范式”。美国国会技术评价办公室(OTA)第一任主任 Emilio Q. Daddario认为，“技术评估(TA)系统评价一项技术程序的性质、意义、地位和价值”。①Smits、Leyten和Den Hertog 提出了三种科技成果评估的模型即察觉性科技评估模型、战略性评估模型和建构性模型三种模型。
Rathenau研究所(原荷兰TA组织)主任Eijndhoven将技术评估分为四种范式：经典范式、OTA范式(OTA)、公众范式和建构性范式。②他总结了技术评估的各种观点，并且提出学术和政治之间的差异性导致了技术评估组织的两难困境，强调了将各种评估方法运用于技术评估的重要性，突出对整个过程进行质量控制。
Jan Van Den Ende等人则总结出了传统的预警性技术评估和新型的战略性技术评估、建构性技术评估及回溯性技术评估等几种类型。Rathenau研究所提出了交互式技术评估等等。③他们提出将技术评估的不同方法进行分类，并且总结成一个通用的技术评估框架，这些框架将有助于评估方法的选择。这些评估方法和框架公开化，使得科学家、工程师、政府官员、公民组织的成员都参与到评估中来。
随着技术的社会建构论(social constructivism)兴起，对科技成果的评估出现了多种理论流派和分析范式④，其主要观点是认为技术的发展过程是社会建构或形塑的。在技术产生和发展的每一阶段，都涉及到在诸多技术可能性中进行社会选择。技术正是在持续的社会反馈与利益相关者参与中一步步经过或然性(Problem-atization)过程走向稳定化，即技术的内容和后果包含在技术发展的社会建构过程中。因此，对技术进行评估便不应仅仅针对技术发展的结果进行静态分析，更要考察并介入技术选择过程。
通过对比库恩的“科学范式”，多西提出了技术轨道的分析框架（technology trajectory），技术轨道包括在与社会系统地相互作用中，技术评估是受制于多
①Roger C.Herdman and James E.Jensen.The OTA story :The Agency Perspective [J]. Technological Forecasting and Social change,1997,54:259-286
②Jose C.M Van Eijndhoven. Technology Assessment :Product or Process [J].Technological Forecasting and social change,1997,54:259-286
③Jan Van Den. traditional and Modern Technology Assessment : toward a Tool it [J]. Technological Forecasting and social change,1998,58:5-21
④Weibe Thomas P. Hughesand TrevorF.Pineh. The Social Construction of Technological Systems: New Directions in the Sociology and History of Technology Assessment [M].The Management,1987.
种技术因素、经济因素、制度和社会因素的动态反馈过程。①多西试图建立一个有效的宏观框架能够将这些要素融入其中，并且确定了新的技术范式的选择过程。
Jonathan C对台湾的科技成果评估范式进行了研究，指出技术评估的过程不可避免地要受到技术轨道（technological trajectory）的影响，根据技术评估的过程，技术评估的参与者确定了技术评估的战略。在对台湾技术产业进行调查的基础上指出了四种类型的技术评估战略：灵活执行的战略评估，突发奇想的直觉评估，审慎的定量评估，各方达成一致的战略评估。
由“科学范式”向“社会建构范式”的转变，说明了科技评估由单纯的技术性评价向吸收社会公众意见的社会性评价转变。技术评估与决策过程所依赖的不仅是科学的推理分析，更依赖参与者的经验、兴趣，这些隐性知识的不确定性的影响尤为明显。对于科技成果来说，同样涉及了在诸多技术可能性中进行社会选择，评估过程需要持续的社会反馈和利益相关者的参与，在注重技术评价的同时，更要注重社会评价。
（二）评估内容
不同的科技成果评估具有不同的评估内容，一般是依托于具体的科技项目设立其评估的内容。即科技成果评估内容的设定一般取决于具体的科研项目，其中以论文为主要成果形式的科研项目占绝大多数： Richard Smith在衡量医疗研究成果（健康研究的社会影响）时指出新的评估方法需要用来衡量社会影响，并且应当与衡量科研质量的方法结合起来，按照和现行的评估方法向符合，能够预见未来，对评估双方均有效，具有可行性的原则进行：评估的维度包括：现状分析（正规出版物数量、政策文件、教科书出版物影响力）、软件引用分析（上述出版物的引用情况分析）、产品评价（包括健康技术和服务设备、程序和评估方法、社会福利落实情况）、对于非专业大众的传播情况（大众传媒网络的影响力）、组织成员关系评价、教育影响评价（基于研究结论，对于健康人群的教育作用）。Marek Kosmulski在科技论文的评估方面提出了自己的新观点。他认为获得引用次数多余被涉及次数的论文就是一篇成功的科技论文，这个评估基于工作在各个科学领域和各个国家的科学家所给出的比较分数。并且结合实证研究提出对期刊
①Dosi G.Technological paradigms and technological trajectories [J].Research Policy,1982(11):147-162
论文的评估包括：平均提及率、平均被引率、最高提及次数/被引次数、平局提及次数/平均被引次数、期刊中成功论文的数量、期刊中引用次数大于100次的文章数、h-指数。①Bonnie 和 Joseph在对计算机信息系统成果的评估中运用了定性评估指标，将定性评估指标和实施评估正的关键因素相结合，提出了计算机系统成果的评估框架，他们指出不同的评估对象需要不同的评估内容和方法，在计算机信息系统地评估指标设计中需要考虑的关键因素有，成本和收益、系统地及时性、系统地完整性、系统地错误率、可回收性、用户满意度等，还要调查系统地社会、组织、文化等方面的研究影响、注重过程评价而不是结果的评价、突发过程的检测评价等定性评估。②
英国高等教育基金委员会（HEFCE）用REF原有的RAE，旨在强调科学研究为英国经济和社会发展服务。从RAE到REF，三项评价指标中前两项即“研究质量”和“研究环境”不变，但是第三项“研究的声誉”将被“研究的经济社会影响”所替代。1991年经合组织发展援助委员会（OECD/DAC)首先提出项目成果中后期评估的内容，包括相关性、效果、效率、影响和可持续性等五大评估维度。日本的项目后期评估内容主要有：目标达成度情况、资源(人才和资金等)分配是否合理妥当、研究成果及扩散效果等。韩国对项目成果后期评估的内容还包括:是否落后和重复、与其他项目成果的集成情况等。
无论是评估范式的演进还是评估内容的拓宽，对于科技成果评估而言都会不可避免地遇到主观性的判断,主观性的评价方法是科技成果评估的重要方法之一。
三、同行评议
目前科技成果的评估按照测量方式主要有两种方法：一种是主观评估方法，就是评估主体按照某种评估标准，借助专业知识和个人经验进行估计和推断的一种评估方法。定性方法强调的是基于理解的“直观认识”，对科研成果难以客观量化的属性和特征进行分析和评定,以说明其质量标准,因此主观随意性大。一种是客观评估方法，又称为科学计量法，主要是通过科学手段或测量工具对科研成
①Marek Kosmulski,Successful papers:A new idea in evaluation of scientific output,Journal of
Informetrics,2011,Pages481-485
②Bonnie ,Research Methods for Evalutaing Computer Information,Evaluating the Organization Impact,2005
果的特征做出判定和分析评估,并保证评估结果在一定的置信范围内,具有相当的可靠信,使评估结果更加科学、客观和公正。
虽然客观评估法的测量客观公正，但在实际对科技成果的评估中通常都是将二者结合起来，这是评估的客观需要，无论哪一种科技成果，都存在客观难以测量的特征，这些特征的优劣判断需要借助专家的主观判断。同行评议是目前评估中尤其是科技成果的评估中主流的评估方法。
（一）同行评议的优势及局限
同行评议是一种历史悠久、应用广泛的定性评价方法，它既适用于自然科学，也广泛应用于人文社会科学，同行评议已经成为科技成果重要标准。由于气象公益领域属于专业性较强的领域，同行评议自然就成为气象科技成果认定的重要方法。
1、同行评议的概念及优势
国内学者认为，同行评议指的是“某一或若干领域的专家采用一种评价标准对涉及某一领域的一项事物进行评价的活动，因此它是以专家定性为主的方法，其评价结果对有关部门的决策有重要的参考价值”。①美国国家科学基金会（NSF）在提交给国会的一个有关同行评议的报告里，将同行评议定义为“NSF根据决策过程标准，确定应向哪些申请项目提供研究经费，确定应向哪些申请项目提供研究经费，因为NSF的负责官员在确定哪些申请者可以获得资助是根据与申请者同一研究领域的其他研究人员的评议结果。”
从以上国内外学者对同行评议的界定可以看出，同行评议是一种有组织地用于评价科研工作的方法，由同行或多个领域的专家共同担当科技成果评价的仲裁者，根据评价指标和原则作出主观判断，体现的是一种集体智慧。同行评议是评估科技成果优劣的重要方法。
2、同行评议的局限性
同行评议具有主观性。评议者个人的年龄、学识、知识背景与兴趣等存在差异，就会造成不同的评审专家对统一科技成果的判定结果可能截然相反，当由于人情关系或利益冲突等原因，同行评议可能丧失评估结果的公正性。同时，同行
①郭碧坚、韩宇，同行评议制：方法、理论、功能、指标[J].科学性研究，1994，12（3）：63-74
评议的共识性本质与前沿研究的非共识性特点之间存在根本性的冲突。①同行评议专家往往认可对已有的知识体系的论证和研究的科研成果，而排斥有创新的新思想和观点。因此即使同行评议专家持有公正的态度，也因为知识规范性、以往既定经验和范式等原因对科技成果的评估结果造成偏差。
（二）同行评议的改进
为了改进同行评议中主观随意性的缺陷，借鉴和吸收人力资源考核中行为等级锚定法（BARS）的精髓，在等级评定时基于关键特征进行判断，使主观的量化基于成果特征证据的强弱。该法对于同行评议等主观判定方法的改进有十分重要的借鉴意义。
行为等级锚定由美国学者史密斯（P.C.Smith）和德尔（L.Kendall）将传统的“等级量表法”与“关键事件法”相结合而提出的。行为锚定等级法中的“行为”是指绩效指标以“行为”作为实现基础；“锚定”是指针对每个绩效指标都设计出一个评价等级表。在这个表上，每个等级都会由工作中的某个关键事件的客观描述来加以界定，所以我们形象的将其称为“锚定”。此考核方法将等级评价与关键事件有效地结合在一起，整合了两种方法的优势，使关键事件通过带有限定功能的等级描述出来，其等级包括针对特别优秀的和特别劣等的行为的叙述。借鉴行为等级锚定法改进同行评议的步骤如下：首先提炼表征被评估成果优劣的关键特征，这一提炼过程通过对熟识该类科技成果的专家的访谈完成，在正式访谈之前进行文献分析，收集所有被评估的科技成果的特征要素，为访谈的主题和问卷做好准备，通过对专家的访谈结果的处理，确定科技成果的等级与这些特征的对应，为了确保等级与关键特征对应的有效性，需要请另一组专家在清楚各个等级的定义和关键特征的基础上，重新分配这些关键特征，如果第二组专家与第一组专家分配的一致性达到了某特定百分比（通常为50％～80%），那就保留这个关键特征。请专家为这些评定等级确定具体分值，从而确定与关键特征对应的等级表。最后请同行专家对目标科技成果的相应方面进行评定。表1给出某气象成果“推广应用”方面的同行专家评定表作为示例，表中四个等级特征的给定
表1 某气象产品推广应用情况同行评议表
①龚旭，科学政策与同行评议[M].杭州：浙江大学出版社，2009:235
使得同行专家在对同一科技成果的“推广应用情况”判断时结果具有一致性和准确性。因为等级的判定标准是清晰的，同行专家很容易地将被评估成果的“推广应用情况”锚定在四个等级的某一个上，等级的高低基于特征的描述，基于特征描述的证据使同行专家在评估时主观随意性被限定在某个范围内，例如，某个气象科技成果，有足够的证据证明它在全国的气象部门已经推广应用，那么它相应的分值应该在76-100之间，在此区间内，同行专家可以依据证据的强弱和多少酌情给定分值。
值得指出的是，在应用时，提炼关键成果特征的专家是广义上的专家，凡是熟识该科技成果的人都是所谓的专家，而参与同行评议的专家应该是狭义上的专家，二者不是同一组专家；改进的同行评议法的困难和关键是表征不同等级的科技成果关键特征的提炼。
作者介绍：李瑛，南开大学，副教授，博士，主要研究方向为绩效评估、政府绩效等。
参考文献
[1]林茂林：《科技评价理论与方法》，北京：社会科学文献出版社，2007年
[2]齐敬思：《科技成果评估》，北京：石油工业出版社，1999年
[3]龚旭：《科学政策与同行评议》，杭州：浙江大学出版社，2009年
[4]庞景安：《科学计量研究方法论》第二版，北京：科学技术文献出版社，2002年
[5]贺建军，陈雅兰等：“科技评价的制度变迁研究——基于制度经济学视角”，《科技进步与对策》，2005年第8期，63-65
[6]解磊，周进生：“国外科技成果评估现状及趋向”，《科学资讯》，2008年第56期，208-209
[7]Jose C.M Van Eijndhoven, Technology Assessment :Product or Process, Technological
Forecasting and social change,1997(54):259-286
[8]Jan Van Den, Traditional and Modern Technology Assessment : toward a Tool it,
Technological Forecasting and social change,1998(58):5-21
[9] Jonathan C, T echnology evaluation in Taiwan’s technology industries: strategies, trajectories, and innovation, Technological Forecasting and social Change, October 2011:1379-1388 [10] Marek Kosmulski, Successful papers:A new idea in evaluation of scientific output, Journal of Informetrics,2011,Pages481-485
[11]Bonnie, Research Methods for Evalutaing Computer Information, Evaluating the Organization Impact,2005