科技成果评估中主观方法的量化改进研究

韦颜秋 邹立尧

一、引 言

科学技术是第一生产力,作为科学技术研究的最终产物,科技成果受到人们的普遍关注。然而,能否对科技成果进行科学有效的评估关系到科技成果自身权威性的认定与科技成果的转化。

中国每年有大量的科技成果需要评估,然而长期以来,中国对于科技成果的评估大多采取的是科技成果鉴定的方式。由于成果鉴定是以政府为主导的,并且管理形式存在一些问题,科技成果鉴定得到的都是一些模糊的评语：“国内高水平”“国际领先”“具有较大的推广价值”“具有良好的市场前景”“填补空白”,等等。科技成果鉴定是计划经济体制下的产物,在计划经济时代发挥过重要作用,随着社会主义市场经济体制的完善和科技体制的不断深化,以科技成果鉴定为主要形式的科技成果评估,已经不适应科技成果评估发展的要求。参照国外发达国家政府和社会对科技成果管理的模式,对科技成果的评价应该由鉴定这种单一的模式过渡为鉴定与后效评估相结合的评估模式。科技评估的发展趋势是逐渐向项目成果评估的中、后期评估延伸。国外科技评估机构对前期评估和中、后期评估的比例大致持平,然而中科技后效评估的案例极少,大都止步于对科技成果的价值作出初步鉴定的阶段。中国的科技评估实证分析少,评估方法落后。

本文在对国内外关于科技成果评估理论和方法进行综合分析的基础上,结合中国科技成果评估的实践现状,对目前主观评估与客观评估相结合方式提出方法上的改进,将人力资源评估中的行为等级锚定法引进科技成果评估领域,使评估结果更为公正,最大限度地避免主观随意性。

二、科技成果评估方法的主客观结合范式

(一)科技成果评估及组织

科技成果评估是科技评估的主要内容,也是政府部门科技成果管理的重要内容。它是一种以政府或科技中介机构为主体,在政府宏观指导下的市场行为,对成果的水平及其价值作出科学合理的评价。有学者认为科技成果评估,就是科技成果评价中介机构根据委托者提出的评价要求,运用科学、可行的方法对被评科技成果进行的真假审查与辨别,对其科学性、创造性、新颖性、先进性、应用效果与前景进行的评议,并做出相应结论。①谈毅：《中国科技评价体系的特点、模式及发展》,《科学学与科学技术管理》2007年第5期,第10页。从科技成果评估的概念出发,科技成果评估应具有以下特点：(1)权威公正性。科技成果评估的主体是政府或科技评价中介机构,理应保障科技成果评估的结果具有权威性。此外科技成果评估是按公正、法定的准则和程序进行的,具有公认的行为规范和业务规范,科技成果的评估应该具有公正性。(2)综合性。科技成果评估虽然是对一项科技成果进行评估,但是却往往涉及多方面因素的考量。科技成果评估不仅要评价其自然属性和经济价值,而且要评价其社会属性和社会价值,要对以后可能取得的经济效益和社会效益进行评估,也就是后效评估。(3)评估方法的科学性。科技成果评估要综合运用经济学、数学、统计学、计算机科学等多种学科的方法,综合考虑市场、政策、法律、金融、风险和供求关系等多种因素。因此,科技成果的评估方法不仅要有严格的定量分析研究,也要对科技成果的价值和收益进行广泛的理性讨论,定性的研究方法也要引入进来,不能一味地追求“数量”,还要看“质量”。

近年来,科技成果评估逐渐脱离了原先政府部门为主导的科技成果鉴定,政府强制性的行政干预色彩逐渐淡化,第三方的科技中介机构和社会组织开始参与进来,科技成果的评估程序也越来越透明。并且科技成果评估也逐渐渗透在科技项目的审批立项、成果验收认定、成果转化及后效评估的各个环节,成为一种经常性、连续性的活动。

(二)科技成果评估方法的主客观结合

评价方法是一个多学科彼此交叉、相互渗透、以各种理论体系为基础,不断演进变化的研究领域。科技成果的评估方法在发展过程中呈现出由主观到客观、主客观相互结合的特征。较为早期的评价方法主要是经验评价或各种定量评价,比如专家调查法、总值法等；发展到了近现代,随着统计学的发展,产生了诸如主成分分析、因子分析法、聚类分析和判别分析法等评价方法；近年来,随着模糊数学、灰色系统理论、神经网络技术等一些新兴学科的兴起,相应的技术被不断引入到评价方法中来,使评价方法日益多学科化和丰富化。借鉴各种评价方法的优点和适用性,目前科技成果评估按照测量方式主要有两种方法：一种是主观评估方法,就是评估主体按照某种评估标准,借助专业知识和个人经验进行估计和推断的一种评估方法。这种定性方法强调的是基于理解的“直观认识”,对科研成果难以客观量化的属性和特征进行分析和评定,以说明其质量标准。另一种是客观评估方法,又称为科学计量法,主要是通过科学手段或测量工具对科研成果的特征做出判定和分析评估,并保证评估结果在一定的置信范围内,具有相当的可靠性,使评估结果更加科学、客观和公正。

在实践中,对科技成果的评估通常都是将二者结合起来,这是评估的客观需要,无论哪一种科技成果,都存在客观难以测量的特征,这些特征的优劣判断需要借助专家的主观判断。主观评估方法的优点是原理上较为简单,操作上不需要高深的技术,在评估对象需要主观判定和描述、缺乏足够客观数据情况下适用。其缺点是受人为因素的影响严重,具有主观随意性和不公开性等特点,因此,难以保证评价结果的科学性和公正性。客观评估方法其理论具有扎实的基础,就方法本身而言可排除人为的随意性干扰,但其突出缺点是适用于标准客观且存在大量参考数据的情况下,在该方法实施中要增加很多约束条件,在现实中进行评估,评价对象往往不能完全满足其要求,更多时候需要先进行一系列的假设,在此基础上再进行数据处理,才能完成评估工作。因此,定性评价必须以数量界限为基础,定量评价必须以定性界定为前提,在科技成果评估中将二者结合起来才具有更强的实效性。

三、科技成果评估的主观评估方法构建演进

无论是评估范式的演进还是评估内容的拓宽,对于科技成果评估而言其评估方法的演进过程中,评估范式从“科学范式”向“社会构建”转变,评估内容向后项评估演进,都指示出主观性的评价方法一直是科技成果评估的重要方法之一,主观评估方法随着科技成果评估要求的变化而进行适应性调整。

(一)评估范式向社会构建方向的演进

传统的科技评估范式注重对技术的可行性和可能的后果进行分析,是纯粹的技术性评价的“科学范式”。美国国会技术评价办公室(OTA)第一任主任Emilio Q.Daddario 认为,“技术评估(TA)系统评价一项技术程序的性质、意义、地位和价值”。①Roger C.Herdman and James E.Jensen,“The OTA story ：The Agency Perspective”,Technological Forecasting and Social change,vol.54,(1997),pp.259-286.Smits、Leyten 和 Den Hertog 提出了三种科技成果评估的模型,即察觉性科技评估模型、战略性评估模型和建构性模型。

Rathenau 研究所(原荷兰 TA 组织)主任Eijndhoven 将技术评估分为四种范式：经典范式、OTA 范式(OTA)、公众范式和建构性范式。②Jose C.M Van Eijndhoven,“Technology Assessment ：Product or Process”,Technological Forecasting and social change,vol.54,(1997),pp.259-286.他总结了技术评估的各种观点,并且提出学术和政治之间的差异性导致了技术评估组织的两难困境,强调了将各种评估方法运用于技术评估的重要性,突出对整个过程进行质量控制。

Jan Van Den Ende 等人则总结出了传统的预警性技术评估和新型的战略性技术评估、建构性技术评估及回溯性技术评估等几种类型,Rathenau 研究所提出了交互式技术评估,等等。③Jan Van Den,“traditional and Modern Technology Assessment ：toward a Tool it”,Technological Forecasting and social change,vol.58,(1998),pp.5-21.他们提出将技术评估的不同方法进行分类,并且总结成一个通用的技术评估框架,这些框架将有助于评估方法的选择。这些评估方法和框架的公开化使得科学家、工程师、政府官员、公民组织的成员都可以参与到评估中来。

随着技术的社会建构论(social constructivism)兴起,对科技成果的评估出现了多种理论流派和分析范式④Weibe Thomas P.Hughesand TrevorF.Pineh,The Social Construction of Technological Systems：New Directions in the Sociology and History of Technology Assessment：The Management,1987,pp.6-22.,其主要观点是认为技术的发展过程是社会建构或形塑的。在技术产生和发展的每一阶段,都涉及到在诸多技术可能性中进行社会选择。技术正是在持续的社会反馈与利益相关者参与中一步步经过或然性 (Problem-atization)过程走向稳定化,即技术的内容和后果包含在技术发展的社会建构过程中。因此,对技术进行评估便不应仅仅针对技术发展的结果进行静态分析,更要考察并介入技术选择过程。

通过对比库恩的“科学范式”,多西提出了技术轨道的分析框架(technology trajectory)。技术轨道包括在与社会系统的相互作用中,技术评估是受制于多种技术因素、经济因素、制度和社会因素的动态反馈过程。⑤Dosi G,“echnological paradigms and technological trajectories”,Research Policy,vol.11,(1982),pp.147-162.多西试图建立一个有效的宏观框架将这些要素融入其中,并且确定了新的技术范式的选择过程。技术评估过程不可避免地要受到技术轨道(technological trajectory)的影响,根据技术评估的过程,技术评估的参与者确定了技术评估的战略。一般而言,主要包括四种类型的技术评估战略：灵活执行的战略评估、突发奇想的直觉评估、审慎的定量评估和各方达成一致的战略评估。

由“科学范式”向“社会建构范式”的转变,说明了科技评估由单纯的技术性评价向吸收社会公众意见的社会性评价转变。技术评估与决策过程所依赖的不仅是科学的推理分析,更依赖参与者的经验、兴趣,这些隐性知识不确定性的影响尤为明显。对于科技成果来说,同样涉及了在诸多技术可能性中进行社会选择,评估过程需要持续的社会反馈和利益相关者的参与,在注重技术评价的同时,更要注重社会评价。

(二)评估内容向多维评估的演进

不同的科技成果评估具有不同的评估内容,即科技成果评估内容的设定一般取决于具体的科研项目,其中以论文为主要成果形式的科研项目占绝大多数。一般而言,新的评估方法需要用来衡量社会影响,并且应当与衡量科研质量的方法结合起来,按照和现行的评估方法相符合、能够预见未来、对评估双方均有效、具有可行性的原则进行。评估的维度包括：现状分析(正规出版物数量、政策文件、教科书出版物影响力)、软件引用分析(上述出版物的引用情况分析)、产品评价(包括健康技术和服务设备、程序和评估方法、社会福利落实情况)、对于非专业大众的传播情况(大众传媒网络的影响力)、组织成员关系评价、教育影响评价(基于研究结论,对于健康人群的教育作用)。Marek Kosmulski 在科技论文的评估方面提出了自己的新观点。他认为获得引用次数多于被涉及次数的论文就是一篇成功的科技论文,这个评估基于工作在各个科学领域和各个国家的科学家所给出的比较分数。并且结合实证研究提出对期刊论文的评估包括：平均提及率、平均被引率、最高提及次数/被引次数、平均提及次数/平均被引次数、期刊中成功论文的数量、期刊中引用次数大于100 次的文章数、h- 指数。①Marek Kosmulski,Successful papers,“A new idea in evaluation of scientific output”,Journal of Informetrics,vol.8,(2011),pp.481-485.Bonnie和Joseph 在对计算机信息系统成果的评估中运用了定性评估指标,将定性评估指标和实施评估中的关键因素相结合,提出了计算机系统成果的评估框架,他们指出不同的评估对象需要不同的评估内容和方法,在计算机信息系统的评估指标设计中需要考虑的关键因素有：成本和收益、系统的及时性、系统的完整性、系统的错误率、可回收性、用户满意度等,还要调查系统的社会、组织、文化等方面的研究影响、注重过程评价而不是结果的评价、突发过程的检测评价等定性评估。②Bonnie,“ Research Methods for Evalutaing Computer Information” Evaluating the Organization Impact,vol.11,(2005),pp.30-38.

英国高等教育基金委员会(HEFCE)用REF原有的RAE,旨在强调科学研究为英国经济和社会发展服务。从RAE 到REF,三项评价指标中前两项即“研究质量”和“研究环境”不变,但是第三项“研究的声誉”将被“研究的经济社会影响”所替代。1991年经合组织发展援助委员会(OECD/DAC)首先提出项目成果中后期评估的内容,包括相关性、效果、效率、影响和可持续性等五大评估维度。日本的项目后期评估主要内容有：目标达成度情况、资源(人才和资金等)分配是否合理妥当、研究成果及扩散效果等。韩国对项目成果后期评估的内容还包括：是否落后和重复、与其他项目成果的集成情况等。

四、主观评估方法的量化改进——以同行评议为例

科技成果评估中一般遵循主客观评估方法相结合的原则,通过对以上主观评估方法构建演变的分析可以得出,在科技成果评估中,主观评估方法的量化演进是必然趋势和理性选择。同行评议是一种历史悠久、应用广泛的主观评价方法,它既适用于自然科学,也广泛应用于人文社会科学。本文以气象公益领域的科技成果评估为例,重点研究同行评议方法的量化改进问题,以此来说明科技成果评估中的主客观方法是如何结合的。

(一)同行评议的优势及局限

国内学者认为,同行评议指的是“某一领域的同个研究方向专家采用一种评价标准,通过定性的评判对涉及某一领域的一项事物进行评价的活动。同行评议是以专家主观分析与评定为主的方法,其评价结果可以为有关部门决策提供参考依据”。①郭碧坚、韩宇：《同行评议制：方法、理论、功能、指标》,《科学性研究》1994年第3期,第63-74页。美国国家科学基金会(NSF)对同行评议评估方法的定义为“根据评估决策结果情况,来确定应向哪些科研项目申请提供研究经费,也就是说,NSF 负责官员根据与申请者同一研究领域的其他研究人员的评议结果,评估决定科研项目申请者的资助名单。”在现代科研管理体制中,同行评议是最为重要的评估方法,在科学决策中扮演着不可替代的角色,同时,它在科研领域也承担着人员招聘、职称评定、论文评审等方面的决策机制作用,以及肩负着推进整个科研领域技术水平提升的重任。从国际科研机构的评价实践及国内外学者对同行评议的界定上看,同行评议是目前科技成果评估中主流的评估方法。它更多的是针对整体情况进行诊断与评估,对专家的标准要求更高以及专家的类型要求多样化,同时在组织方式上以现场评估为主,而对评估结果的使用则是根据其评估目的来确定。同行评议也是一种有组织地用于评价科研工作的方法,由同行或多个领域专家共同担当科技成果评价的仲裁者,根据评价指标和原则作出主观判断,体现的是一种集体智慧。

同行评议在科研成果评估中被广泛应用并不意味着它是一个完美的评估方法。像所有的评估方法一样,它也存在一些局限性。第一,同行评议在公开性和公平性方面有所欠缺。同行评议方法的实施更多是依靠同行专家依据一定的评价标准进行主观性判定,在操作过程中难以避免人为造成的随意性和个人偏好,因此,评估过程中就难以体现出更多的的公开性和公平性。第二,在实践中也暴露出同行评议具有主观性的局限性。评议者个人的年龄、学识、知识背景与兴趣等存在差异,就会造成不同的评审专家对同一科技成果的判定结果可能截然相反,且由于人情关系或利益冲突等原因,同行评议可能丧失评估结果的公正性。第三,同行评议的共识性本质与前沿研究的非共识性特点之间存在根本性的冲突。②龚旭：《科学政策与同行评议》,浙江大学出版社2009年版,第235页。同行评议专家往往认可对已有知识体系的论证和研究的科研成果,而排斥有创新的新思想和观点。因此,即使同行评议专家持有公正的态度,也因为知识规范性、以往既定经验和范式等原因对科技成果的评估结果造成偏差。

(二)同行评议方法的改进

为了改进同行评议中主观随意性的缺陷,增加量化的严谨与科学性,本文借鉴和吸收人力资源考核中行为等级锚定法(BARS)的精髓,在等级评定时基于关键特征进行判断,使主观的量化基于成果特征证据的强弱。该方法对于同行评议等主观判定方法的量化改进有十分重要的借鉴意义。

行为等级锚定是由美国学者史密斯(P.C.Smith)和德尔(L.Kendall)将传统的“等级量表法”与“关键事件法”相结合而提出的。行为锚定等级法中的“行为”是指绩效指标以“行为”作为实现基础；“锚定”是指针对每个绩效指标都设计出一个评价等级表。在这个表上,每个等级都会由工作中的某个关键事件的客观描述来加以界定,所以我们形象的将其称为“锚定”。此考核方法将等级评价与关键事件有效地结合在一起,整合了两种方法的优势,使关键事件通过带有限定功能的等级描述出来,其等级包括针对特别优秀的和特别劣等的行为的叙述。借鉴行为等级锚定法改进同行评议的步骤如下：首先提炼表征被评估成果优劣的关键特征,这一提炼过程通过对熟识该类科技成果专家的访谈完成,在正式访谈之前进行文献分析,收集所有被评估的科技成果的特征要素,为访谈的主题和问卷做好准备,通过对专家访谈结果的处理,确定科技成果的等级与这些特征的对应,为了确保等级与关键特征对应的有效性,需要请另一组专家在清楚各个等级的定义和关键特征的基础上,重新分配这些关键特征,如果第二组专家与第一组专家分配的一致性达到了某特定百分比(通常为50% ～80%),那就保留这个关键特征。请专家为这些评定等级确定具体分值,从而确定与关键特征对应的等级表。最后请同行专家对目标科技成果的相应方面进行评定。表1以某气象成果“推广应用”为例,给出同行专家评定表作为示例,表中四个等级特征的给定分别为 0-25、26-50、51-75 和 76-100 四个等级,分数越高,评价等级也就越高。

表1 某气象产品推广应用情况同行评议表

通过评级等级“锚定”使得同行专家在对同一科技成果的“推广应用情况”判断时结果具有一致性和准确性。因为等级的判定标准是清晰的,同行专家很容易将被评估成果的“推广应用情况”锚定在四个等级的某一个上,等级的高低基于特征的描述,基于特征描述的证据使同行专家在评估时主观随意性被限定在某个范围内。例如,某个气象科技成果,有足够的证据证明它在全国气象部门已经推广应用,那么它相应的分值应该在76-100 之间,在此区间内,同行专家可以依据证据的强弱和多少酌情给定分值。需要指出的是,在应用时,提炼关键成果特征的专家是广义上的专家,凡是熟识该科技成果的人都是所谓的专家,而参与同行评议的专家应该是狭义上的专家,二者不是同一组专家；改进的同行评议法的困难和关键是表征不同等级的科技成果关键特征的提炼。

为了使同行评议在科技成果评估中发挥更为重要的作用,在具体实施过程中还应注意以下几点：第一,注意专家选择方式。遴选专家的过程中的常用方式是具体化和标准化,在专家选择时应注意选择理念相同、公正敢言、视野开阔、有很强科学判断能力的内外部专家。在具体分类上可考虑战略科学家、同行专家以及用户专家等,针对不同类型专家制定相应的选择标准,使其更加具体化和可操作性。第二,对于科技成果评估结果的使用,要弱化其参与资源配置。如果科研成果评估结果与资源配置相关,在操作中难以避免主观评估的种种弊端,建议评估结果重在诊断和分析、评估,通过反馈的评估结果帮助发现问题、分析问题、统筹布局、把握方向,提高效率。通过评估活动以及评估结果的应用,可以促进同行业专家与本领域的科研人员相互交流、营造积极探索、不断创新的科研氛围。第三,评估过程中应更加关注评估对象和内容。使用同行评议方法进行科研成果评估时,应针对不同评估对象选择适用性的量化方法,在主观评估中强化量化方法的使用,具体评估内容应聚焦在科技成果的技术先进性、优势和核心竞争力,以及在社会经济发展中的效益,因此,根据不同评估内容有选择地使用量化的方法以改进和提升评估效果。