政策视角下代表作评价制度分析
2021-11-15苏金燕
文/苏金燕
2016年5月17日,习近平总书记在哲学社会科学工作座谈会上指出,我国是哲学社会科学大国,但“我国哲学社会科学还处于有数量缺质量、有专家缺大师的状况”,虽然“研究队伍、论文数量、政府投入等在世界上都是排在前面的,但目前在学术命题、学术思想、学术观点、学术标准、学术话语上的能力和水平同我国综合国力和国际地位还不太相称”,甚至在哲学社会科学领域智库的研究中,也存在“重数量、轻质量问题”。随后中共中央办公厅、国务院办公厅、教育部、科技部、人力资源社会保障部、中国科学院、中国工程院、中国社会科学院等机构颁布或发布了多项与评价有关的文件。这些政策文件不仅指出了现有评价存在的一些问题,更重要的是明确了评价导向,给出了解决问题的办法。例如,2020年初科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》,教育部印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》,这两份关于学术评价的国家政策文件都强调要树立正确的“评价导向”,其中明确提出在评价时要实行代表作评价,要注重标志性成果的质量、贡献和影响,重点阐述代表性成果。
政策中的代表作评价
近年来,国家出台多项政策文件以指导我国的学术评价工作,与代表作评价有关的政策文件有12项,其中有10项为近5年颁布的政策文件。
在这些国家政策文件中,对于代表作评价有两种看法,一是将其认定为一种评价机制,二是将其认定为一种评价方法。比如,2018年《关于进一步加强科研诚信建设的若干意见》将代表作评价认定为一种制度,文件中提出要“推行代表作评价制度”;同样,在《关于准确把握科技期刊在学术评价中作用的若干意见》中也将代表作评价认定为一种机制,提出要“建立健全代表性成果评价制度”。而《“十三五”国家科技创新规划》《关于深化哲学社会科学研究人员职称制度改革的指导意见》强调的是建立“代表作制度”,扩大了代表作的作用,不局限于一种评价制度。有的文件则对代表作成果的类型、代表作的数量、代表作的评价指标、代表作的评价方法及评价周期进行了简要规定,将代表作评价作为一种方法。但无论是将代表作认定为评价机制还是评价方法,都未对代表作、代表作评价进行概念界定。
代表作评价的界定
对于代表作评价,目前没有严格的定义,本文对相关概念分析界定如下:
1.代表作。目前学界在谈代表作时,已经扩大了该词语的内涵。早在1994年,张培红翻译美国学者Mary Hamm和Dennis Adams的专著《一种新的评价方式:代表作评价》时,将代表作定义为“能反映一个人技能水平的证明材料”,此处的代表作是指教师对学生所学课程考核时以学生提交的代表个人水平或者证明其学习过程的材料,比如学生的书面作业,而不仅仅指代表学生水平的著作或作品。叶继元认为代表作是指“能够体现和衡量科研人员学术水平的代表性成果”。姜春林则将代表作定义为“在人才遴选、职称晋升、学术评奖、项目评价等评价活动中,被评价者提供最能代表自身学术水准的一到几部作品”。
在国家政策文件中,一般直接使用代表作一词,而不对代表作概念加以解释界定。除了使用“代表作”一词,在学者研究和国家政策文件中有时会使用“代表性成果”“优秀成果”等词。有学者认为,代表作不等于代表性成果,而是代表性成果的一种重要类型,但在通俗表述中,有时用“代表作”来指代“代表性成果”。在评价实践过程中,为了评价的可操作性,还会对“代表作”的学术属性、类型属性等进行限定,使用“代表性学术成果”“代表性论文”“代表性著作”等词语。代表性学术成果就是能够反映学者在该学科领域中的学术水平和学术地位的成果。在《关于优化科研管理提升科研绩效若干措施的通知》中,特别强调在对基础研究与应用基础研究类项目进行评价时,要侧重评价“代表性论文”等科研成果的质量和水平。姜春林还对人文社会科学领域“代表性论文”的评价指标进行了讨论。本文统一使用“代表作”一词,涵盖“代表性成果”“代表性论文”“代表性著作”等词语的内涵。
2.评价。“评议”“评审”“评估”等是“评价”的近义词,这些词汇的内涵略有差异,但在学者研究、政策文件及开展评价实践时会存在混用现象。其中“评议”是动词,即“经过商议而评定”,更多地强调“议”,即商议、议论、讨论在评定过程中发挥的作用。“评审”有两个属性,动词是指评议审查,而名词则是指担任评审工作的人,更多地强调“审”,即通过审核、审查、审议而达到评的效果。“评估”,也仅有动词属性,指“评议估计;评价”,则更多地强调“估”,也就是估计,而不是准确计算。“评估”包含了“评价”的含义。与“评估”相比,“评价”相对而言评得更精确一些,评价对象也更微观一些。在《关于深化项目评审、人才评价、机构评估改革的意见》中,对项目、人才、机构的评价分别使用了“评审”“评价”“评估”这三个词,使得描述更加准确,但“代表作评价”中的“评价”,扩大了评价本身的内涵,包含了“评议”“评审”“评估”的含义。本文统一使用“评价”一词。
3.代表作评价。代表作评价不是新鲜事物,已被广泛应用到职称晋升、项目评审等学术评价活动中。南开大学、北京大学分别于2003年、2005年就在职称评审、教师聘任时采用代表作评价。自2011年《关于进一步改进高等学校哲学社会科学研究评价的意见》中明确提出“确立质量第一的评价导向”,要“大力推进优秀成果和代表作评价”后,代表作评价引起学界及政策制定部门的更多关注。目前语境下,代表作评价就是在人才评价、项目评审等学术评价活动中,对科研人员的代表性成果进行评价,以代表性成果的价值作为科研人员学术水平主要判断依据的评价行为。
代表作评价制度
综合各项国家政策文件的表述,可得出如下结论:代表作评价制度是一种有利于原始创新的评价制度。有学者认为,代表作评价制度的实质是一种“反对量化的评价,注重科研成果的内涵、质量,或者说关注科研成果本身的学术贡献、社会贡献”的评价制度。
在国家政策文件中,不仅提出“代表作评价制度”,还提出更大概念范畴的“代表作制度”。2016年《关于深化职称制度改革的意见》明确提出推行代表作制度,旨在“重点考察研究成果和创作作品质量,淡化论文数量要求”。在2019年出台的《关于深化哲学社会科学研究人员职称制度改革的指导意见》中重申在职称评审时“推行代表作制度”,“将哲学社会科学研究人员的代表性成果作为职称评审的重要内容,注重标志性成果的质量、贡献和影响力”。在2020年《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》中则特别提出“对论文评价实行代表作制度”。无论是代表作评价制度还是代表作制度,都需要考虑什么类型的成果可以作为代表作,多少数量的成果才能具有代表性等问题。
1.代表作类型。在讨论代表作评价时,什么类型的成果可以作为“代表作”,目前还未达成共识,未有定论。论文、著作、教材、研究报告、普及读物、非纸质出版物等不同研究成果形式都可以作为代表作,对于艺术等学科来说,“作品、创作、设计等类型成果也可以作为代表作”。
对于代表作的类型,或者说是代表性成果的类型,在2016年印发的《关于深化职称制度改革的意见》中明确指出,“合理设置职称评审中的论文和科研成果条件,不将论文作为评价应用型人才的限制性条件”,“对实践性、操作性强,研究属性不明显的职称系列,可不作论文要求”,“探索以专利成果、项目报告、工作总结、工程方案、设计文件、教案、病历等成果形式替代论文要求”。该文件鼓励探索各类型成果作为代表作的可行性。浙江大学于2017年出台《浙江大学优秀网络文化成果认定实施办法(试行)》,将“网红论文”作为科研人员的考核标准,这也是一种大胆创新。在开展代表作评价时,只要是切合评价对象特点,又符合评价目的的成果类型,都是可以考虑的,其实这也是分类评价思想的一种体现。
2.代表作数量。推行代表作评价制度的初衷之一就是要正确把握数量和质量的辩证关系,改变评审、评价、评估时“简单数数”的现状,改变各类学术评价中片面规定期刊等级和论文数量等简单化、绝对化的做法,重点考察研究成果和创作作品质量,淡化数量要求。那到底多少“代表作”合适呢?这仍要根据评价对象、评价目的来确定。例如,在2020年申报国家社会科学基金年度项目时,“国家社会科学基金项目课题论证活页”中明确规定“前期相关研究成果限报5项”,这就对代表作的数量作出了明确规定。
在2020年科技部《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》中提出,要根据科技活动特点,合理确定代表作数量,并对项目评审、机构评估、人才评价、成果评奖等不同目的评价所提交代表作的数量作了限定。限定基础研究类项目(课题),代表性论文数量原则上不超过5篇;对于国家实验室、国家重点实验室等科学与工程研究类基地,代表性论文数量原则上不超过20篇;对于基础研究类机构,代表性论文数量原则上不超过40篇;在评价人才时,对于中青年科技创新领军人才,代表性论文数量原则上不超过5篇,对于重点领域创新团队,代表性论文数量原则上不超过10篇;在评自然科学奖时,代表作论文数量原则上不超过5篇。
3.代表作构成。2016年5月30日,习近平总书记在全国科技创新大会、中国科学院第十八次院士大会和中国工程院第十三次院士大会、中国科学技术协会第九次全国代表大会上提出,要“把论文写在祖国的大地上”。2020年12月7日,教育部发布《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》,要“引导高校哲学社会科学工作者把论文写在祖国大地上”。科学没有国界,科学家有祖国。因此,代表作的构成,也就是代表作的类型、代表作发表的语种、代表作发表的国家(地区)等,也是在构建代表作评价制度时需要考虑的问题。《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》中规定,在评价基础研究类科技活动时,“对论文评价实行代表作制度,根据科技活动特点,合理确定代表作数量,其中,国内科技期刊论文原则上应不少于1/3”。
早在2015年五部委联合发布的《关于准确把握科技期刊在学术评价中作用的若干意见》中,就明确提出来要将优秀科研成果优先发表在我国的中英文期刊,一是便于我们国内学术界第一时间获取和利用,二是这些优秀成果的发表,可以增强我国科技期刊在国际学术界的地位,并能更好地理顺这些成果的知识产权、使用权、传播权等问题。中国科学院鼓励院士们在10篇代表作中要有一篇是发表在中国的杂志上。中国科学院院士王志珍呼吁新科院士必须在中国的杂志上发表一篇介绍自己工作的文章。科学合理地设置代表作的构成,才能更好地发挥评价的“指挥棒”作用。
4.代表作评价方法。代表作评价是一种评价制度,更是一种评价方法。代表作评价方法主要有同行评议法、定量评价法、定性定量综合评价法及开放评价法等。同行评议是评价代表作时采用最多的方法,几乎一提到代表作评价,就是指以同行评议方法来评价。除同行评议方法外,有些学者仍然采用代表作的被引用情况、被转载转摘情况等定量指标来评价代表作,有的学者甚至提出了采用H指数、Z指数等定量方法来遴选出“好的”代表作。当然,更多学者认为在评价代表作时,可以采用定性定量相结合的综合评价方法:其中,姜春林提出在评价代表作时要将同行评议与定量评价,如引文数量、影响因子、H指数及其衍生指数、论文被引半衰期、参考文献数量、论文被摘录情况结合起来,构建一个定性定量相结合的指标体系;朱剑提出代表作评价的方法可以多种多样,但不管是什么样的方法,评价主体是不能变的,评价主体有决定采用哪种方法评价代表作的权力,并且代表作评价的评价主体只能是学术共同体;刘益东提出用“互联网+代表作”的开放评价方法来评价代表作,认为“主观性强、创新非共识、同行利益纠结使得同行评议难以胜任代表作评价制”,提出用开放评价来解决代表作评价问题,该开放评价方法是依托网络环境的一种新评价方法,但归根到底还是一种同行评议方法。
5.代表作评价使用模式。目前,代表作评价结果的使用模式主要有三种。
第一种是完全单通道模式,即评价时仅采用代表作评价一种方式,例如国家社会科学基金年度项目的申报评审,采用的就是完全单通道模式。在申报国家社会科学基金项目时,申请书论证活页中只能按照规定列出申请者前期成果中一定数量(通常是5项)的代表作信息,而不能列出申请者所有的前期相关成果信息。对于项目申请书评审专家来说,这就是一种完全单通道模式。
第二种是串行单通道模式,既看代表性成果的学术质量,又看取得成果的数量。例如复旦大学在2020年7月份发布的人才招聘信息中,不仅要求应聘者提交“近期主要论著、代表性论文1—3篇”,还要“详细列出已发表的全部论著,包括作者顺序、发表杂志或出版社名称和出版时间等”信息。这是典型的既看代表作又看其他成果的串行单通道模式。
第三种模式是并行多通道模式,即等效评价模式,可以采用代表作完全单通道达到评价目的,也可以采用列出全部成果的方式达到评价目的,或者两者组合的方式达到评价目的。复旦大学于2012年时规定的代表作评价制度是:在职务竞聘过程中,如果申请人员的学术成果难以用现行标准(规定了专著、论文数量、权威核心期刊等)评价的,可以提出申请,申请时提交1—3篇研究成果作为代表作,代表作通过一系列评估后,认为申请人的代表作确实是“真正优秀”,那么申请人就获得了和其他“正常”途径申请人一样的学术职务竞聘资格。这就是并行多通道模式,也是“条条道路通罗马”模式。
讨论
虽然关于代表作评价的定义还未达成广泛共识,但代表作评价已经被广泛应用到评人、评奖、评项目、评机构等评价活动中。近年来,与分类评价、同行评议等一样,代表作评价已经成为学术评价的重要方法和方向。无论是在学者的研究中,还是在国家政策文件中,代表作评价既是一种评价制度,也是一种评价方法。代表性成果的类型、代表作的数量、代表作的构成等,都是开展代表作评价时需要考虑的问题。同行评议法是代表作评价的主要方法,但并不排斥使用引用数量、转摘数量等定量指标辅助评价。值得注意的是,代表作评价突出的是代表作的学术质量,不能用代表作的被引用情况、代表作所发表期刊的影响因子来评价代表作的质量,更不能用高被引、高影响因子期刊来遴选“代表作”。