APP下载

破“四唯”之后科学评价体系的构建研究
——基于扎根理论的视角

2021-10-10杨晓刚

关键词:定性范畴编码

杨晓刚

(浙江理工大学 科学技术研究院,浙江 杭州 310018)

科技创新是国家科技教育的重点内容,也是学术界关心的焦点。2018 年7 月3 日,中共中央办公厅、国务院办公厅联合印发的《关于深化项目评审、人才评价、机构评估改革的意见》首次明确提出克服“唯论文、唯职称、唯学历、唯奖项”(简称“四唯”)倾向。“四唯”抑制了科研人员的创新活力,导致创新成果难以转化为生产力,使得我国成为论文大国而非科技强国[1]。

“四唯”形成于改革开放后,我国为了改变行政决定科技资源和荣誉项目的现状,适应改革发展潮流,以论文作为衡量科研水平的标准,这样简单公平易于操作,既有利于激发科研人员创新活力,又让我国成为SCI 论文世界大国。但是后期的弊端逐渐显露,例如,评价标准的一刀切,导致论文产出量很高,可以转化的论文却很少;将SCI 论文作为主要评价指标,导致科学研究与市场真正需求的脱节;以论文评价人才和机构,导致高校教师注重论文发表而忽视课堂教育,同时不利于人才培养和教育发展[2]。

如何破除“四唯”,早在2000 年发布的《科技评估暂行管理办法》之中,就提出了评估不是目的只是方式,根本是为了推动科技创新[3]。2018 年,教育部将其作为深化项目、人才和机构改革正式提上议程。2020 年初,教育部、科技部印发《关于规范高等学校SCI 论文相关指标使用树立正确评价导向的若干意见》,科技部会同财政部印发《关于破除科技评价中“唯论文”不良导向的若干措施》,直指“唯论文”和“唯SCI”的乱象。透过这些文件可以看出国家对破“四唯”的决心与力度。

然而,尽管出台了大量关于破“四唯”的政策,但收效甚微。根本原因在于对其只破不立,即没有提出可以替代“四唯”的衡量标准[4]。因此,如何建立科学评估体系,完善项目评审、人才评价和机构评估制度,具有重要的现实和理论意义。有鉴于此,在对破“四唯”相关文献系统梳理的基础上,本研究选取二手资料作为研究样本,运用扎根研究方法,构建出了破“四唯”的框架,力图为下一步相关政策的完善提供借鉴。

一、文献综述

20 世纪80 年代,在世界科技革命的驱动下,我国开始建立以“论文、职称、学历、奖项”为导向的评价体系。近40 年来,“四唯”评价体系在高校教师职称评定领域发挥了重要的作用,并推动了我国科学技术的发展。但随着时代的不断进步,“四唯”的弊端也逐渐显露。本研究将从评价体系、评价标准、评价内容以及评价方式等方面对相关文献进行系统的回顾与梳理。

(一)评价体系的建立

目前,科研领域评价体系的建立有两种主要形式。第一种是以国外经验为基础构建第三方专门机构和科学共同体,比如以美国的国家理事会为借鉴构建第三方专门机构,主要负责实施重大科技计划或者评估机构的创新。以德国的马普学会为例,成立科学共同体。科学共同体是由专家组成的专业团体,在对科技进行评价时将职称与项目分开,以科技奖励为主导进行评价。第二种是建立在实践总结基础上的评价体系[3]。如蔡婷婷以航空维修产业职称改革试点,构建了破除“四唯”的评价体系[5]。在研究型和应用型领域,将业绩和创新成果纳入评价指标,打破唯论文的评价标准;在评价内容方面,重点评价成果质量,打破唯奖项数量的要求,将理论水平、工作能力、工作业绩和面试答辩设置为评价要素,打破唯学历的门槛要求。

(二)评价标准和内容

根据评价内容的不同,学者们提出了不同的评价标准。目前应用最为广泛的评价标准可以分为三类。第一类是根据学科将评价内容细分为基础研究、实验研究和应用研究。其中,基础研究以论文的发表数量作为衡量标准,实验研究以解决重大科技问题的能力作为衡量指标,而应用研究则以实际成果和知识产权作为衡量标准[6]。第二类是根据科研项目的不同阶段,将其分为事前、事中和事后,针对每一阶段的特点和主要任务确定评价内容。事前评价主要关注项目评审和科研经费的分配,事中主要对研究机构的竞争力和盈利率进行评估,事后评价主要审核项目结果以及进行结题验收。第三类是根据成果的体现形式进行评价,对成果载体进行单一或综合评价。例如,人文社科领域的成果体现为学术论文、学术专著和学术研究报告,可以按照论述体裁以及一级学科对学术论文进行分类评价[7]。随着时代的不断发展,传统的评价标准和内容开始显现出不可忽视的弊端,学者们开始探索评价标准的改革,按照评价内容将评价对象分为人才、项目和机构事项。针对项目的评价从唯职称转为项目验收,机构评价从唯奖项的项目基金转为平台建设、风险承担、成果及人才等多方位考察,人才的评价则从唯论文转向综合成果的考核。

(三)评价方式

评价方式一般分为三类:定性评价、定量评价以及定性和定量相结合的评价[8]。定性评价指不采用数学方法,根据评价对象的表现以及资料直接做出评价和判断[9],主要形式为同行评价。同行评价是莫顿在20 世纪60、70 年代提出的一种定性评价方法[10]2-15,在科研领域的认同度较高。这种方法虽然可以在一定程度上破除唯论文的评价方式,但也会带来新的弊端,比如带有强烈的主观性、随机性较强[11],容易受到官本位思想以及学术小团体等人情关系的影响[12]。定量评价是指通过数学统计方法将评价指标量化从而构建评价模型的评价方法,主要通过量化指标进行评价。科研领域的定量评价有两种表现形式:一种是确定评价标准,按照评价标准的重要性赋予不同的权重实现量化评级;另一种是根据绩效管理理论进行量化评级,其中最为经典的是包络分析法[13]。虽然定量研究具有客观性,能够避免人情关系的影响,但科学合理的评价体系难以构建,且容易陷入唯论文的困境。定性和定量相结合的评价方法是近年来的研究热点,学者们力求在定性与定量中找到一种平衡,将定性评价与定量评价的优点相融合,同时最大限度地避免两种评价方式的缺点。目前学术界更加推崇的是以定性为主、定量为辅的研究方法,在定性评价的基础上融合定量评价。比如,郑德俊等提出在同行评议的基础上加入定量评价指标,在一定程度上减少定性评价的主观性。[14]

二、研究方法与资料来源

扎根理论已成为一种普遍的定性分析方法,在许多学科中都得到认可和应用[15]。本研究选择其作为研究方法,构建破“四唯”之后的框架体系。此外,本研究选取2018 年以来主流报刊关于破“四唯”的方法、破“四唯”后评价体系的论述作为研究样本。

(一)研究方法

扎根理论是一种定性研究方法,从经验数据着手建立基础理论,将文本和理论分析结合起来,用系统化的策略来指导研究,是一种归纳、迭代、互动和比较的方法,为收集、整理、分析和概念化定性数据提供了系统的指导结构[16]。这一策略有助于研究者通过不断的数据收集和分析来完善新兴的理论范畴[17]。在逻辑上,整个过程有助于将分析推向抽象和理论化水平。因此,本研究选择扎根理论的方法,构建破“四唯”之后的框架体系。

(二)资料来源

本研究选取2018 年以来主流报刊关于破“四唯”的方法以及破“四唯”后评价体系的论述作为研究样本,主要有三个因素。一是主流报刊的权威性。主流报刊的受众是广大人民群众,而实际负责者是各级党、政部门以及其他事业单位的工作人员,该人群处于各种决策或执行层面,是某种意义上的“舆论领袖”,具有较高的话语权,能够及时客观报道新闻,从而使主流报刊获取在各媒介中的地位,具有一定的传播性和影响力。二是主流报刊的专业性。主流报刊刊登的文章来自本国内具有良好声誉或比较出名的优秀评论员或记者,一方面,编撰人员的专业性高;另一方面,主流报刊采访的是破“四唯”改革中的专家以及破“四唯”改革初见成效的人员,报刊内容和采访对象也具有专业性。此外,主流报刊从撰写、审批、修改到最后的发刊过程更加严密,从而能够保证流程的专业性。三是主流报刊的代表性。主流媒介影响主流人群、代表主流意识、传播主流新闻,因此形成了强大的社会影响力。主流报刊最能代表专家学者的水平和言论,最具有可信度和精准度。

三、研究过程

按照编码的过程,本研究通过开放编码、主轴编码和选择编码三个步骤,科学提炼关于破“四唯”文章的概念、子范畴和主范畴,在明确核心驱动要素基础上构建相关的理论模型。

(一)开放编码

开放编码是指通过观察、深入访谈、相关文献等原始资料发现概念的过程[15]。最初通过对文本的重点内容进行逐行编码,提炼重要的动名词。开放式编码需要在几乎每一行上附加概念标签,以捕捉参与者所说或观察的内容。本研究对专业报刊关于破“四唯”的方法和实施策略抽取重要论述形成资料库,分门别类予以编码。开放性编码分析过程的举要见表1。针对编码后的靶向资料,对原始资料进行抽象提炼,生成原生编码,进而上升为具体概念,最后将初始概念进行重新组合,使其进一步范畴化。在具体化和范畴化过程中,将这些相同的逐字记录加载到定性软件Nvivo11,并重新编码,以获得更深的层次。通过对重点代码的审查,这些概念的共同点是在政策和程序内进行协调。最终形成了开放性编码分析结果,提炼出80 个概念,14 个范畴,见表2。

表1 开放性编码分析过程(举要)

表2 开放性编码分析结果

(二)主轴编码

轴向编码的过程被定义为“根据类别的性质,将类别与子类别联系起来的行为”。在这项研究中,轴向编码被用来重新组合在开放编码过程中被分解和打乱的数据[15]。在轴向编码中,遵循范式模型时,考虑因果条件、现象和背景因素,子类别通过范例模型与其类别相关联。本研究对开放编码得到的14 个范畴与破“四唯”文章以及报告进行聚类分析,明确类属的属性和维度,按照典范模式寻找彼此之间的逻辑关系。最终,随着研究不断深入,在充分考虑破“四唯”的实施背景和流程基础上,把20 个范畴高度抽象归纳为3 个主范畴,见表3。

表3 主轴编码分析形成的主范畴

(三)选择编码

选择性编码是整合和细化分类的过程[15]。在这个分析中,在主范畴的基础上归纳和挖掘核心范畴,从而进一步提炼逻辑关系。通过对80 个概念和14个范畴及3 个主范畴的再梳理,本研究发现评价体系、评价标准和评价内容都可以归于一个核心范畴——科学评估体系。在所有概念和范畴中,这一范畴居于核心位置,不但能够很容易与其他类属发生关联,而且能够最大限度地统领其他概念和范畴,尤其是主范畴具有“提纲挈领”的作用。

四、结论与讨论

基于扎根理论研究方法,借助Nvivo11 软件对主流报刊进行编码,科学提炼出关于破“四唯”文章的概念和范畴,本研究主要得到以下的结论和启示:

(一)破“四唯”之后的科学评估体系

上述扎根理论分析的结果表明,评审制度可以作为本研究核心范畴。通过梳理主范畴、范畴和概念之间的联系,可以构建“故事线”——评审制度包括评价体系、评价标准、评价内容三个方面。在此基础上,本研究试图建构一个行动取向的理论架构——“学术评价体系模型”,即“评价内容—评价标准—评价机制”模型(见图1)。其目的是在实践理性的基础上,明确评价核心驱动机制,确立新的学术评价体系,着力解决破“四唯”的现实问题。

图1 破“四唯”之后的科学评估体系模型

(二)破“四唯”之后的科学评估体系的理论阐释

(1)评价内容。评价内容和成果划分是科学评估体系评价的基础和前提条件。评价内容应是多元化的,由传统的一维评价变为三维评价结构,分为基础研究、应用性研究和自然基金的探索性研究。评价成果的形式也应是多元化的,不仅是论文,还应对重大关键技术问题解决、知识产权、目标考核结果和科技成果产出等进行综合评价。引入基础教学评价,将教学工作作为职称评定指标,提升大学教学质量。评价内容为评价标准打下基础,对于科学评估体系,具有重要基础性作用。

(2)评价标准。评价标准是科学评估体系的关键环节和根本动力。评价标准规范学术行为,引领研究发展,推动建立最佳秩序。评价标准代表的是导向,想要破“四唯”,就要打破论文、职称、学历、奖项对于学术评价的“垄断地位”。破除“一刀切”,采用分类评价制度,采用定性评价与定量评价相结合,贡献导向、高质量导向和创新导向的综合评价标准。分类评价制度则应作为评价标准的主线和推进科学评估体系的核心路径。

(3)评价机制。评价机制是科学评估体系的实施保障。评价标准的实施效果需要有评价机制作为保障。因此,必须放宽评审条件,采取自主评审,将评审权利下放,减少不必要的考核制度,建立同行评议的机制,发挥第三方机构和科学共同体的评审作用,发挥监督机制作用,加强评审监督公开制度。加强政府和社会组织的有效合作、中央和地方的全面协调,通过纵向和横向的整合,最终实现科学化评估的目标。

(三)政策建议

1.创新多维度、分阶段、全覆盖的多元化评价内容

建立破“四唯”之后的科学评价内容,应注重以下三个方面。一是学术评价成果多元化。破“四唯”不是彻底丢弃“四唯”的标准,而是不能将“四唯”作为评价的唯一指标。学术评价最忌讳的是“一刀切”,要根据实际情况来选择不同的评价内容。对于基础研究,主要在于探索未知,在这一领域可以仍然将论文作为评价成果,但也要根据学科具体情况有所区分,例如具有中国特色的学科马克思主义理论,就不能根据国际指标来衡量,而要根据学科特点制定更加科学合理的标准。对于实验研究,其主要目的是解决技术难题和考虑应用前景,应该对解决技术难题的能力和产出效益进行评估,强调经济和社会效益。应用型研究的成果主要用于实际生产,一方面应考虑实际成果的应用,比如知识产权、成果转化和生产实际效益等因素;另一方面要勇于根据市场导向进行实践,探索与自身具体学科、学校和地区相适应的学术成果。二是人才评价应该更加多元化。放宽学历和职称限制,预留一部分给非正高级、非博士学历人才。三是评价体系要引入教学成果。人才晋升评定不只依据学术成果,还应包括教学和公共服务等综合性全面评价,尤其是基础教学要引入人才评价晋升体系。安排学术和教学成果的双晋升评价方式。

2.建立健全以创新能力、高质量、贡献、影响力为导向的科学评价标准

第一,对于不同的评价内容和目的,定性和定量评价方式要有所区别。先以定性指标划分出同类,在同类中可以进行比较和评价。在同类中用定量指标比较,通过量化提高评价的精确性。定量指标在评价晋升中可以减少争议,定性指标则能够将项目评审、经费分配、成果评价和课题验收相结合,更能综合反映团队水平。除了定性、定量分析之外,还要对评价对象进行分类,制定不同的标准。对于国家委托的重大科技项目要以满足国家需求为准,对于自由竞争基金要以是否能解决问题和是否具有原创性为准,对于地方和企业计划要以是否能解决问题和是否具有经济影响为准。第二,以创新、高质量、贡献和影响力为导向评价。基础研究要有真方向,应用研究要解决真问题,成果转化要有真成效。根据研究成果质量、贡献和影响力进行综合评价,对于重大贡献可以放宽学历等评审限制。在人才评价和项目团队评价的过程中,可以自主选择代表性成果作为评选内容。在评价过程中,将代表性成果作为评选的重要内容,关注实际贡献和影响力,避免关注数量而忽视质量的现象。此外,教育资源配置要与质量贡献和科学家精神挂钩。

3.推行以同行评价制为主导的科学评价机制

第一,建立同行评审制度。引入同行专家业内评价机制,与国际专家评审和同行评审机制接轨。让专业的人员进行评价,更具有专业性和代表性。同时,发挥科学共同体在评审过程中的作用,制定符合学科行业发展的评价标准和评价方法,发挥引领示范作用。第二,政府权力下放,将职称评定下放到机构组织。政府在科学评价体系中更多发挥宏观规范和引导作用,让用人单位作为评审主体。同时,各机构单位,根据内部实际情况制定自身的评价标准,积极修改和调整。第三,建立监督机制。加强职称评审监督,公开评审过程与结果。同时建立地方检察机制,展开监督并总结经验和教训,推进科学评价体系的改革和落实。

(四)研究不足与展望

本研究运用扎根理论的研究方法构建了以评价内容、评价标准、评价机制为主体的学术评价模型,在取得进展的同时也存在一些不足。例如,本研究以主流报刊对破“四唯”的报道为文本资料进行分析,样本范围具有一定局限性。此外,本研究选取的文本资料,其主要内容是对目前破“四唯”的一些想法、评价或尝试,具有一定程度的不足,缺乏完整性和实践性。

猜你喜欢

定性范畴编码
近红外光谱分析技术在纺织品定性定量分析上的应用
中国美学“气韵”范畴之“韵”探颐
生活中的编码
分裂平衡问题的Levitin-Polyak适定性
基于UPLC-Q-Tof-MS/MS和HPLC的牙膏中叶绿素铜钠主要成分的定性与定量研究
带定性判断的计分投票制及其公理刻画
《全元诗》未编码疑难字考辨十五则
子带编码在图像压缩编码中的应用
语文阅读教育中的三对重要范畴辨正
Genome and healthcare