学科交叉视角下同行评议的再思考
2023-04-25郭佳楠
摘要:当前,学科交叉融合已成为必然趋势,科研成果的跨学科性也更加明显。为进一步改进同行评议制度,维护其科学性、公正性和严肃性,在追溯同行评议概念及其交叉学科性的基础上,对同行评议的研究历程进行系统梳理,指出交叉学科同行评议在评议质量、过程及模式上的缺点和不足,提出并论证应该重塑同行评议专家与接受评价者之间的信任关系,坚持开放性、多元化的评议原则,并建立具有包容性的公众评议制度发展不同利益相关群体之间的良序的学术评价机制,通过学者自律,凝聚学术团体力量为科学探索特别是交叉学科与跨学科研究创造足够的发展空间,以期为我国交叉学科同行评议的理论创新和实践探索提供启发。
关键词:交叉学科;同行评议;学科化;渐进主义;文献计量学
中图分类号:N031文献标识码:A文章编号:1674-3652(2023)03-0108-13
DOI:10.19933/j.cnki.ISSN1674-3652.2023.03.013
基金项目:重庆市教育委员会教育综合改革项目“高校科研评价改革试点”。
一、引言
随着越来越多交叉学科的出现及其发挥的作用,交叉学科在科学领域表现出的生命力得到充分肯定。然而,在科学领域中,交叉学科的学术性和可持续发展往往反作用于社会相关性。事实上,学术卓越(academic excellence)与学科标准之间的认同度越高,则与学科“外行”无关的风险就越大[ 1 ]。诚然,作为一种使学术研究更具社会相关性的方法,交叉学科研究在同行评议的发展过程中的意义是显而易见的。面对现代性的社会问题,学术研究被要求主动开放和共享所有学科的知识,一定程度上帮助政策制定者形成系统化的、以科学证据为依据、非单一学科的政策体系,同行评议也仍然是保证政策制定者所用研究方法完整性与可靠性的重要手段。但从实际操作的角度看,由于学科间的属性在很大程度上界定了谁才是同行,这些交叉学科与跨学科的研究趋势使同行评议的过程转入紧张与冲突阶段。对于那些依赖同行评议的评审专家来说,一个长期争论的问题是,“一个主要用于判定学术卓越程度的工具是否能够在不损害知识生产基础的前提下,被用来评定社会相关性”[ 2 ]。为此,不少学者认为,有必要对同行评议这一评价方法进行深度反思。本文通过对现行的学术共同体认可的同行评议模式进行梳理与总结,主要采用文献研究法与文本分析法对同行评议概念与发展脉络进行重新厘清和界定,提炼、总结当前同行评议学科化面临的主要问题与掣肘因素,讨论了学科交叉融合背景下渐进主义与文献计量学对同行评议质量、过程及模式的影响,进而提出科学合理的应对之策,旨在为同行评议改善学术环境的未来趋势和应用前景提供必要的参考或借鉴依据。
当前,学科交叉融合已成为必然趋势,科研成果的跨学科性也更加明显,同行评议也成为科学配置研究资源的重要机制、遴选创新项目的重要保障。尽管各种场景中同行评议的基本原理相似,但交叉学科背景下的同行评议仍有其特殊之处,如传统同行评议的学科化模式选择问题、渐进主义与文献计量学给同行评议带来的新挑战与机遇等。这些特殊性是非常有研究意义的,因此关注交叉学科同行评议并探索适合我国的同行评议制度,才能推动学术的健康发展。
二、学术共同体内部认可的同行评议概述
(一)同行评议的定义
同行评议是由从事该领域或接近该领域的专家评定一项工作的学术水平或重要性的一种机制,通过来自不同学科的专家合作,从而对他人的研究成果进行评价,以确定该项研究成果是否值得进一步支持(出版或以科研经费的形式资助)。一般而言,被要求做出这种评价的专家是从一批智库专家中遴选出来的,这些专家则被认为是那些被评价的研究成果所有者的“同行(peer)”[ 3 ]。实际上,回答“什么是同行”是一个更为复杂且无限延伸的问题,但是鉴于同行评议在审议研究成果中所扮演的角色,传统意义上的同行被更多地定义为那些能共享专业知识的科学共同体。因此,“为了评估科学家P在某一学科领域的研究是否有价值,就有必要询问与科学家P具有相同学科知识背景的专家,而不是去询问那些对科学家P的研究成果知之甚少或一无所知的人”[ 4 ]。
此外,学术界普遍认为,一个学科的划分标准与其他学科是不可通约的,但是同行评议对于什么是学术卓越却至关重要[ 5 ]。特别是在高等教育院校教师的任职与晋升标准方面,未经同行评议的论文或出版物不能被认定为其职称评定中有价值的参考依据,并且公共(政府)资助的大部分科研经费都是通过某种形式的同行评议之后或在此基础上进行分配的。正如贾萨诺夫所言:“同行评议被赋予了‘质量监控’或‘守门人’的功能,毫不夸张地说,同行评议始终是学术卓越评定的必要条件,虽然它未必是解决问题的充分条件。”[ 6 ]此外,同行评议的影响作用更多地体现在学术刊物的出版中,例如,评估提交到学术期刊上的论文是否值得发表,在评审科研申请中该项目是否值得资助等。这种发表(资助)前的同行评议突出地表现出一种预评性,从根本上给评审专家以巨大压力预测未来:这篇论文(或科研项目)最后能够得到该学科领域的欢迎吗?在一部分预评性的同行评议案例中,评审者的身份被拒绝透露给被评审者(这一过程被称为盲审同行评议);而在大多数的预评性同行评议案例中,被评审者的身份也拒绝透露给评审者(这一过程被称为双盲审同行评议)[ 7 ]。
(二)交叉学科性的评价判断
在学科和社会的互动过程中,同行评议也越来越多地应用于对特定的人、社会实践或组织机构进行回顾性分析。例如,能够在一个学科部门内部进行同行评议,并对该部门成员的学术表现进行定量评估与评价排序。随着时间的推移,“外行”也逐渐被引入进来评估特定公司业务水平的优劣,或评估特定组织机构工作程序的正确性,或评估科研院所研究成果的可靠性以及有限的科研资源分配。一些科学家甚至包括一些高层次的政策制定者将这种发表(资助)后的回顾性的同行评议指定为发表(资助)前的同行评议最有可能的取代者。卡尔·萨根指出,通过对回顾性同行评议相关案例的考察,发现其中绝大多数的评审者与被评审者的身份都是匿名的,由于它与传统的同行评议之间的差别,该评审过程在一定程度上依赖学科同行作为评审者,但多数评审者均不愿意将其视为回顾性的同行评议,而更倾向于称为专家评议[ 8 ]。随着学科和领域之间的界限被跨越,以及更多涉及复杂系统中的利益相关者,传统的学科评价标准无法直接用于评价交叉学科研究,需要针对交叉学科研究的特点制订相应的评价准则、选取合适的评价方法[ 9 ]。当前,面向应用和满足社会发展的需求成为我国科学研究重要而紧迫的任务,深刻理解和把握交叉学科研究的过程与规律,将交叉学科的同行评议作为交叉学科研究的促进者和培育者,对更加科学有效地解决实际问题将大有裨益。
最后,马里奥·比亚乔利在《从图书审查到学术同行评议》一文中指出:“目前,由于交叉学科研究的复杂性、探索性和反思性,同行评议经常被滥用和误用,各评审委员会逐渐变成了指导和管理研究的机构,成了配给和分发紧缺资金的机关……应当在同行评议中采取特别措施克服这种倾向,以切实鼓励和保护科学家的自由探索,从而将同行评议转变为知识生产可能性的必要条件。”[ 10 ]
三、同行评议兴起与发展的追溯
(一)同行评议的诞生
同行评议作为评价事物的一种方法,最早始于15世纪欧洲专利申请的查新。那时,许多科学家对其工作保密,以防止别人宣称为己有[ 11 ]。正因为它的历史悠久,并强调同行评议和研究申请书的价值受到人们的尊敬,而不只是它在制度上的根深蒂固。美国国家卫生研究院(NIH)通过对“同行评议过程的第一份文献解释”(The First Documented Description of A Peer Review Process)的搜寻发现,在其2007—2008年发表的《关于同行评议自身研究的报告》中引用了1997年版《沙特医学年鉴》(Annals of Saudi Medicine)上的两篇文章。该报告中提到了“一千多年前叙利亚医生伊沙克·本·阿里·拉赫维在其撰写的《医药伦理》(Ethics of the Medicine)一书中对同行评议概念的澄清,他是这样叙述同行评议的过程:当地医疗委员会审查并分析了医生对患者治疗的记录,以评估医生对医疗救助标准的遵循情况”[ 12 ]。历史上,根据对同行评议概念的广义理解,也可以追溯到古代雅典的司法制度:苏格拉底的审判(如《柏拉图的申辩篇》中所记载的)以及他在广场上的辩论与审查“同行”的实践也应该被视为一种同行评议。
(二)同行评议的发展
英国伦敦皇家学会《哲学会刊》作为世界历史上出版时间最长的科学期刊,它的创始人之一亨利·奥尔登堡在同行评议这种评估范式的建设方面做出了积极的贡献。然而,在同行评议起源的问题上也出现过不少争议,雷·斯皮尔认为,出版前的同行评议所采用的评估方式及其评审期限完全是因期刊而异的,真正的同行评议在西方自然科学界产生了广泛的影响应该追溯到1959年静电印刷复印机的商业化[ 13 ]。除了上述提到的出版前的同行评议,也有不少学者试图揭示科研资助的同行评议的真正起源。托尼·斯卡帕通过对生物医学中科研资助的同行评议记录的调查发现,科研资助的同行评议第一次出现是1879年,并且德国科学基金会的前身德国科学应急组织基金会在20世纪20年代就已经创立了类似的评审制度[ 14 ]。1948—1951年,美国海军研究办公室(Office of Naval Research,ONR)与美国国家科学基金会(National Science Foundation,NSF)相继成立,科研资助常常在官方与非官方的同行评议之间进行,其中半数以上的科研拨款还通过项目管理模式的形式予以分配。历经多年的发展和补充,同行评议已经具备了一套成熟的制度和方法,包括匿名审核、专家评审、专家表决等。
总的来讲,回顾同行评议的发展历史,它的提出有其深刻的社会历史背景和知识脉络,其特点是:一是同行评议的真正应用并不像人们所认为的那么古老——直到20世纪中期,同行评议才在学术出版与科研拨款方面得到广泛应用;二是在出版前的同行评议与科研资助的同行评议在适用性上,出于评价机制、学科壁垒和个人主观因素等原因,不同学术机构中同行评议所使用的方式方法也是千差万别的。同行评议制度并不是尽善尽美的,它的创新性似乎已经被人们永久地遗忘,转而成为世界范围内衡量科研成果、评价学术水准的重要工具。围绕如何看待“谁应该称作同行”这一问题的争论,尽管学术界一致认为同行评议在评估科研成果价值大小方面仍发挥着重要作用,但其本身的内在模糊性在一定程度上导致了同行评议的某个评议过程栖息在一个黑箱里,躲避着公众的视线[ 15 ]。
四、交叉学科同行评议面临的现实问题辨析
(一)在自治性与专业性之间:同行评议的学科化问题
严格来说,同行评议的制度化是由于学科化发展推动的结果,它是同行评议制度化的主要动力。无论是从同行评议建立与发展的历史来看,即19世纪学术学科化已经成为德国和美国研究型大学进行科学研究的新模式,还是从特定学科的发展需要而言,知识的学科化和专业化共同造就了同行评议的专业性价值及其规范体系。
随着18世纪康德所倡导的学科分化程度不断加深,这种新的大学知识生产模式也越来越体现出对自治性的强烈要求。威廉·冯·洪堡在《论柏林科学机构的精神与组织框架》一文中指出:“无论如何,现代民主国家必须对这一事实保持敏感——即国家本身从来没有并且原则上也永远不可能通过自觉的行动实现科学知识的生产。科学共同体已经日益意识到,政府对科学研究的干预会造成负面影响,科学只能在自治性的环境中蓬勃发展,政府介入会影响它成功的可能性。”[ 16 ]洪堡认为,国家在科研活动中扮演的角色应该是最大限度地为知识生产创造必要条件,从而在真正意义上有利于学科制度化的形成。反过来,国家也最终受益于支持大学自由地追求新的科学知识[ 17 ]。
新的研究型大学使得知识的发现、应用和使用紧密地整合在一起,它不仅涉及学科分化,还体现了整个学术研究共同体强烈的自治意识。这类大学的功能在于创造更多全新的专业化知识,进而扩大特定学科研究的广度与深度,强化对学科之间的分工。然而,在学科壁垒之内、在大学之间、大学内不同学科之间、院系内的同行之间往往有着错综复杂的利益关系,并且相对独立于其他学科,从而导致对研究资源的激烈竞争以及由此带来的“不发表即灭亡”与“学术分肥”的严重后果。罗伯特·弗洛德曼及其合作者在这一主题上做了大量工作,认为固有的学科分化和学科偏见使评判大量学术期刊是否优劣的标准更加复杂化,例如,在生物医学领域,评判一部分学术期刊是否优劣的首要评估标准是期刊编辑的学术声望,以及期刊的学术归属(是否属于知名的学术出版机构)与期刊的综合影响因子等[ 18 ]。但在现实的评价实践中,衡量某一特定学科期刊学术价值的最广泛且最原始的评估方法依然是同行评议,并且在具体的评审过程中针对不同学术期刊使用的方法存在着一定差异,甚至在某些新兴的学科领域还未引入现行的同行评议学术评估体系(如智能设计理论),这被同行专家看成是“缺乏学术评估所需的初步证据”[ 19 ]。
进一步而言,学科化的认识历程与人类知识的发生与增长过程相适应。从西方近代以来的思想家康德对科学研究分工的主张,洪堡呼吁建立国家与科学间的新型关系(即实现大学自治),到“二战”后美国科研资助政策方面的规范性文件的诞生——《科学——无止境的边疆》,应该说他们的学科化认识理论在试图解决现代知识增长问题和科学精确化等方面的观点十分一致。相对于康德与洪堡强调定义学科的界限的观点而言,布什则独创性地提出国家应该支持并鼓励自主开展的基础性科学研究,这种研究是为了不断加快本学科内部的知识创造与积累,而不是用于解决实际问题的应用研究。布什也尤为精湛地刻画出在基础研究与应用研究之间的张力关系中表现出来的平衡:有益于医疗与军事科技进步的应用研究应该依赖于基础研究的知识生产,新知识只有通过基础研究才能创造[ 20 ]。为了实现基础研究的使命,不仅需要政府以及社会运用大量的公共资金对其科研项目进行持续性资助,还需要在建立的评价体系中实行开放自治的民主问责制。然而,问题在于这种民主问责制能否保证基础研究的有效性?科学自治在国家科学资源配置的过程中有多大的权限[ 21 ]?
应该说,学术共同体的发展离不开同行评议,究其原因,一方面评议过程中的制度性因素能保证学术共同体进行科学研究的自主性,另一方面它能为申请项目以公共性科研经费的形式提供财政支持。正是基于此种无法替代的作用,同行评议制度被学术界公认为是用于专业评审的最好制度。然而,在具体的社会事实层面,同行评议作为一种评价制度具有社会信任功能双重属性:自治性与自责性。传统上认为这两种属性在社会心理层面相矛盾,正如贾萨诺夫所言:“在复杂的社会变迁过程中,人们对同行评议结果可靠性正在‘信任与怀疑之间徘徊’,公众与同行评议之间必须寻找一种新的相互加强的社会信任模式的社会建构。”[ 22 ]换言之,近几年来人们对同行评议制度开始有所怀疑,但是学术共同体(专家)依然能保持公众的信任。例如,当涉及公众健康的许多问题,人们需要遵循医生的治疗建议;在汽车修理过程中,谁也不知道故障应如何排除,除非他是位机械专家。在很大程度上,专家最终都要在技术层面为专业知识的更进一步社会化发展保驾护航。同样地,学术界的学科可以理解为一门具有自治性的高深学问,具有较强的专业性特征,本学科同行的特殊任务是寻找支配自然与社会现象的不变法则,由此发现自然界的客观知识与社会事实。这样,不同的学术性期刊准确、科学地对学科的研究领域与界限进行划分,并且出版前的同行评议根据不同学科的标准严格规定其相应的“学科领地”(disciplinary territory)[ 23 ]。美国学者拉蒙特·米歇尔对“学科专家的专业身份”做出了解释:“在以同行评议衡量科学研究质量的背景下,学术界已经普遍接纳了‘学者即专家’的观点,不同学科的专家之间也表现出对彼此专业知识的尊崇,同行专家是拥有同一研究范式的学者的集合体,是真正建立信任关系的‘自己人’。对于外行来说,在同行相互评价其工作时惟以研究本身的科学价值为依据,而不为其他因素(包括科学以外的力量或权威)所左右,在这一意义上,外行应该对同行专家相应的科学研究和知识探求成果充满信心。”[ 24 ]基于以上分析,同行与外行对知识的理解和知识积累倾向于这样一种假设:知识的根源来自学科专业的最内部,这种专业化作用就在于它带来了一种同行外部关系的认识论研究,并从原则上反对任何在社会历史中寻求认识论的整体主义观点。这种外部关系的认识论或认识论的还原主义观点很容易导致在同行评议过程中专家只能从自己的专业领域出发,由此造成的对交叉学科成果和交叉学科研究的评价不够客观、准确、全面[ 25 ]。
最后,进入知识经济时代以来,基于学科化的同行评议又进一步成为学术象牙塔本身及其内部各个“学科壁炉”之间的守门人。从国际学术界来看,同行评议始终是客观性、自治性、匿名性科学制度建构的重要环节,究其原因,乃是同行评议的过程并不简单地代表着学术“守门人”对学界内部事务的公正无私的管理,以及相关基金会或社会决策者在科研拨款方面客观公正地做出判断,甚至正好相反,同行评议的过程是知识生产制度化的典型产物,这个过程总是和权力联系在一起的,同传统的认识论一样,本性上都是政治性的。在大学学术同行评议中,各个学科应该像知识一样得到外部权力的承诺:作为对某项学术工作水平的评估方法,同行评议制度最终导致了学科的划分以及因此而产生的学科间的隔离,从而使“小王子们(暴君)”的统治在学科孤岛上得以存在[ 26 ]。除此之外,同行评议在保护学术自治免受来自科学以外的权威或力量的社会影响的过程中,也将学术界与全社会隔离开来,结果是以学科孤立(学科胜出)为代价换取学术自由。
(二)交叉学科研究对同行评议的影响
第一,评议的交叉学科性。按照知识的教导,“学术卓越”纯粹是劳动分工的结果,是科研活动依据学科内部逻辑不断发展的必然结果。作为职业的科学,其学科的学术严谨性只体现在研究共同体的术语上,学科外的公众对基础的或根本性的研究概念并不熟悉。此外,按照学术界的共识,作为一门“学科”就是要像物理学那样,拥有某一方面其他学科没有的知识,从而在某个问题或领域中影响他人的行为,应该说学术界内各种学科的专业知识都是从其他学科、领域获得的。然而,学术界之外的现实世界是否也能产生这种专业知识?这个问题包含多层含义,并不能从“纯粹的学术”意义上理解,而需要从交叉学科性与跨学科性的知识生产、知识应用、知识评估的层面进行认识与把握。
当代学术界的交叉学科性研究方法被当成一种可以促进创新的方法论进行采用,从而有助于辨别本学科内部错误的、虚假的知识盲点,并开始寻找解决现实世界中实际问题的出路。甚至可以说,交叉学科的研究方法是一种有效的知识增长的方法论,包含着深刻的科学意蕴和时代精神。应当注意的是,在科研评估中引入类似的交叉学科研究项目的尝试并未在同行评议中达到良好的效果,卡特里·胡托尼姆与伊斯梅尔·拉福尔斯曾指出:“在同行评议的过程中,由于缺乏统一的学科化的评估标准与衡量指标,想要评估一项交叉学科的研究项目是极为困难的。”[ 27 ]杰西卡.K.格雷比尔也提出了类似的观点,他指出:“与所有经过先前职业化学术训练的交叉学科研究者所面临的问题一样,他们的研究成果或‘新的学术领域’很难适应一个保守的学科化的语境要求,因为他们的学术成果很难根据学科归属来判定,从而导致无法在任何采用学科化同行评议制度的学术期刊上发表。”[ 28 ]因此,在评价过程中,学术的交叉学科研究同行评议面临的共性问题是谁称作或谁应该称作同行[ 29 ]?
同时,在学科交叉视角下,同行评议主体面临的主要问题之一是难觅真同行。同行评议是同行学者对评价对象是否符合一定学术标准及符合程度作出权威判断的过程。学术共同体既是开展同行评议的载体,也是同行评议存在的前提和基础。在学科交叉的知识生产方式下,随着学科不断分化以及知识的精深化发展,外行根本无从了解和把握学科高深知识的精髓。伯特等人认为,交叉学科知识生产跨越学科边界的特性对建立在学科基础上的同行评议形成了严峻的挑战。由于研究跨越了不同的学科边界,其同行评议会涉及不同学科的学术共同体,学术共同体成员在研究价值等问题上不容易达成一致意见,甚至会产生较大的分歧[ 30 ]。
此外,对于交叉学科研究的同行评议中学术规范或标准的问题,面临着难寻共识的挑战——即在某个领域内更有建树的研究者的学术规范是否能成为评价交叉学科研究的标准或反之亦然?这很可能导致学者们对评审专家资格的质疑,甚至产生评议的透明度不足、评议结果可信度低、缺乏对评审过程的监督等问题。“老的学术领域”论者试图科学、体面地回答这个问题,但是其所限定的学科知识主张以及接受主张本身可能就是错误的,结果也会遭到不同学科同行或他们的后继者的拒绝。因为这些基于不同学科范式建立起来的评议标准之间容易产生冲突,这样也会导致评议结果的偏颇。从这一点来看,同行评议很可能成为跨学科研究评价的“新思想的紧身衣”。换句话说,学术界要的是学科,学科定义了同行。[ 31 ]面对如何改革评议机制,J.布瑞特.霍布鲁克在2010年提供了一个改革同行评议过程的方法——美国国家科学基金的更广泛影响评优体系(NSF’S Broader Impacts Merit Review Criterion),这个体系给评审交叉学科研究降低了难度:体系描述了一种交互式社会过程,它要求项目申请者阐明该研究项目对现实社会产生的潜在影响与裨益,并由来自不同学科的评审人在尊重彼此不同的学术标准基础上,对该研究项目达成最终的决定。但这一方法并未改变交叉学科视角下某些特殊的同行评议问题和论证,“老的守卫者是否正在被新学术领域的成员所取代”[ 32 ]已经成为同行或非同行在评议过程中需要冷静思考的问题。
第二,渐进主义同行评议改革的问题。首先,同行的概念与范围难以界定,渐进主义很可能导致外行评内行或外行自以为内行的现象。渐进主义在交叉学科的主要表现是科学活动的多元化客观上必然要求对科学活动评价的多元化,科学活动评价和同行评议之间的联系需要改善。在同行评议过程中面对交叉学科的问题,要去克服这种学科差异并发表评议意见不可能通过几次变革就得以实现,而要在诸多现实社会与学科知识领域中不断努力,逐步完成转变。另外,在交叉学科背景影响下,当社会影响的评价标准超出学术界对社会相关性的评价范围和能力时,那么在判断一项研究的社会相关性方面就难以保证其评价结果的效度与公平,谁算作同行就很可能扩大到整个社会的非学术共同体成员。这样的同行评议实际上往往是假内行评内行工作,受到伤害的则是具有创造性的工作,而且创造性愈强受到的伤害愈大。此外,拉蒙特指出,在渐进主义影响下,要实现交叉学科同行评议的合理性改革,首要考虑的是什么样的机制可以用来使交叉学科的研究目标与同行评议的需求契合呢?以往学科卓越性必须由学科化专业知识进行评估,那么负责评估科研项目(论文)学术价值的评审专家只需要从特定学科内进行选任,而现在面对这些单一学科以外的科研项目学术价值的评估时,这就需要从多学科中提取和整合综合性学科专业知识对其学科卓越性进行评估,评审专家也需要从多学科内进行选任,从而全面评估该科研项目的经济、社会和政治影响……这些交叉学科科研项目(论文)的评审过程更复杂,并且这类评审过程依然在学术界内进行,在假设理想的情况下每位评审专家都被赋予了自己学科领域的某种权威[ 33 ]。换言之,如果在同行评议中引入交叉学科的评价标准,那么就需要在学科边界之外重新定义谁是同行,否则很容易出现外行自以为自己是内行的情况,导致同行以自己领域并熟悉的范式对不熟悉学科甚至学科之外的研究进行评价,发生排斥创新成果、鼓励守旧的现象。
第三,同行评议中的信任危机。在交叉学科视角下进行渐进主义式的同行评议过程中,如果多位申请人的研究提案都具有学科卓越性,这会导致在评估中无法做到绝对化的排名,从而出现同行评议中的“灰色地带”(grey zone)[ 34 ],即不同研究提案之间的差异非常小,以至于它们在质量上基本可以被认为是相同的,但同行评议的专家却很难在其中进行选择。这在同行评议的机制下,为“掠夺性期刊”以及低质量评议的出现创造了机会。拉里萨·沙姆瑟认为,在交叉学科的背景下,这些期刊积极寻求不同学科的研究成果并收取出版费,但却不能提供强有力且专业的同行评议与编辑服务,也就是说,它们不在乎研究成果的重要性,甚至不在乎研究成果的有效性,而只是一味地向作者出售假出版证书,这使学科内外的同行对评议的总体质量以及评审的透明性与公平性进行质疑,从而在作者、编辑人员、同行评议专家之间产生严重的信任危机[ 35 ]。特别是在交叉学科的灰色学科领域评审中,这种不信任表现得更明显:如果强制选择一些提案,那么将意味着最终决定可能是武断的,评议不再以提案的科学研究质量为基础。在这种情况下,评议专家与申请人的隶属关系、科学领域、性别或年龄等相关的偏见也可能对公平性产生更大的影响,这很容易促致同行评议成为学术腐败或利益寻租的温床,从而无法判断评议结果是否给出了客观公正的评审报告,使不同学科的学者以及公众对同行评议制度的不信任感不断增强。这种不信任反过来会使专家以及公众对同行评议的公正性产生偏见,使得评估标准在交叉学科背景下无法对研究提案进行充分的解释与评价,导致同行评议专家更倾向于选择主流学科的研究,而排斥冷门或边缘学科的科研成果。
第四,渐进主义改革很可能导致同行评议的应用价值缺位。在知识生产模式Ⅱ主导时期,交叉学科的科学活动对外部资源的依赖性越来越大,科学与政治、经济、社会等其他社会建制的关系难解难分,相互交织。科学不再沉醉于纯粹地探索自然奥秘,而是以社会实践的需求为导向,具有明显的应用价值取向——经济价值、社会价值、政治价值等。在这种渐进主义改革及价值导向的影响下,作为知识生产核心机制的同行评议仍在坚守科学价值作为唯一的价值取向显然是不合时宜的,可以说,知识生产目的的多元价值取向与同行评议仍将科学价值作为唯一的价值取向之间存在张力,这也是导致同行评议出现危机的原因。
第五,科学研究的跨学科特征对于同行评议来说同样带来了评价标准的多元化问题。由于科学研究的主体的多元化,阐明跨学科科研项目的社会相关性过程中,由此可能造成对该项目的“社会影响标准”评价超出传统学术界能够评估的范围,这样一来,评审专家不仅需要对科研申请书的社会相关性进行评估,而且对同行范围的定义也随之扩展至整个社会的非学术界成员。这就是说,当跨学科的评价标准引入同行评议之后,对“谁应该称作同行”问题中同行范围的定义也应该扩展到学科界限之外。这样,学科化的专家很可能被要求担任超出其学科专长范围的研究提案的同行评议者,从而使相关学科的专家们无法了解到其他学科的最新动态以及如何应用于自己的研究,在很大程度上加剧学科自治与交叉学科问责之间存在的紧张关系。同时,面对评议标准与知识的多元化,也给团体科学的研究评估带来了挑战:
首先,交叉学科视角下同行评议所需的成本并不是任何资助机构或个人都能负担,并且这种同行评议的周期可能较长,尤其是对于设计复杂的研究提案而言,评议过后科研成果的有效性无法保证。其次,在短时间内,不仅难以招募到足够多且适合的评议专家对研究提案进行评价,也无法避免这些评议专家之间可能潜在的利益冲突。因此,如果单独来看,标准的多元化很难作为同行评议认可的强有力理由。正如戴维·伊斯特所解释的那样:“同行评议作为一种学术评价制度,其发展与演变深受学科化的影响与制约,同行评议制度的转型应该采取一种渐进的方式,逐渐将学科专长的概念和价值渗透于其他学科的领域中,在此基础上最终形成包括学术界以外‘专家(这些人有时被称为利益相关者)’在内的多元化、动态化的评议机制,这样的制度转型所产生的科学与社会的新边界往往也比较稳定。”[ 36 ]
然而,非常清楚的是,当新的边界确立之后,这种基于外部关系认识论的渐进主义改革很有可能冲击同行评议原本均衡的制度结构,容易忽视同行评议从不是纯粹的学科化活动的事实,导致所谓“学科定义同行”的问题依然存在。与此同时,按照渐进主义的改革要求,交叉学科或跨学科同行评议的过程中需要适度扩大同行专家的遴选范围,提倡“百花齐放、百家争鸣”。这样做虽然能够促进不同的同行专家之间的沟通和互动,但是进一步加剧了学科之间长期存在的张力问题,甚至使普通公众对学科专家乃至整个学术界埋下了不信任的种子[ 37 ]。最后,作为替代同行评议新方案的文献计量学的出现。21世纪以来,在新科学技术的推波助澜下,越来越灵活多样的文献量化指标纷纷出笼,以解决同行评议过程中跨越(研究领域)边界和学科交叉的问题。客观而言,这些文献定量分析工具的出现,不是对同行评议的渐进式改革,而是对同行专家的科学研究绩效评价制度掀起的一场革命。德瑞克·约翰·德索拉·普莱斯曾大胆地命名这种进路为“科学的科学”,并认为文献的计量分析已经确立了在21世纪的研究绩效评价中,以及作为研究资源分配依据的重要地位。更为基本的是,文献计量学和相关技术向同行专家反复灌输这样一种期望——科学知识的增长可以被测度、解释和控制[ 38 ]。
从根本上说,各种形式的文献计量指标不仅对学术界产生广泛的影响,也给同行评议制度带来了困惑和挑战,这种挑战涉及的许多问题已经超出之前渐进主义的同行评议改革的适用范围。托马斯·弗里德曼认为,随着时间的推移,渐进式的改革所涉及的是对学科化与同行评议制度基石持续的侵蚀[ 39 ],总的来说,渐进主义中有关文献计量在同行评议应用的相关研究主要涵盖以下几方面挑战与困难:一是计量评价的指标问题。非传统的文献计量学与替代计量学中所使用的指标往往没有任何相关的定性或叙述性信息,尽管它们会对专家或非专家群体产生特殊的吸引力,但仅使用指标来评估研究提案的更广泛的社会影响则是一种危险的诱惑,使得同行评议专家忽视如何负责任地使用这些指标。同时,来自不同国家的学者通过实证研究发现,过于依赖计量指标的评价体系可能导致科研人员过度追求论文数量、期刊影响因子等外在指标,但大多数交叉学科研究缺乏严密的“因果论证”,并且任何科研评价体系的运行都同时伴随各种复杂的环境影响因素,因此往往很难得到直接的“指标导向”研究结论。此外,在计量指标的标准化问题中,如何准确划分单篇论文成果的学科领域至今仍是一个实践难题,尤其是交叉学科成果的学科归属和标准化问题至今尚未得到系统有效的解决。二是计量评价的数据源问题。在数据与指标收集方面,虽然交叉学科同行评议中的可替代性指标能够从商业供应商处大规模获得,但大多数计量学指标与数据的收集都很耗时,这可能是它们在实践使用中的最大障碍。同时,由于一些同行评议专家缺乏可替代计量学或网络计量学的专业培训或知识,很可能会大大延缓识别与收集这些信息的进程,尤其是针对在不同的评价对象和评价场景下,具体采用哪种合适的数据源作为计量评价的数据基础、不同的国际数据库之间存在哪些具体差异以及不同的适用性等问题。这些问题都需要同行评议专家在未来开展大量的深入研究。在标准化与规范化方面,如果没有规范且统一的基准值,那么就很难利用替代性指标对科研成果进行评估。而非标准化的指标可能会需要另一种替代性方法对研究主题进行重新分类,使同行评议专家必须考虑指标的社会影响,增加了不必要的评估成本。三是评价指标的准确性问题。在质量控制方面,几乎所有替代计量指标都容易被人为故意或意外操纵,因此如果被评估者事先知道评估方法,则无法将其用于评估。此外,一些研究人员认为与可替代计量学相关的评估会削弱研究本身的价值,因为这些指标无法充分、全面地涵盖其社会影响的各个维度。评价指标在经过机构认可后,在进行同行评议时,关键是要准确、公平、合理。然而事实上,对于定量评价,收集的数据(含网上的数据)仍然缺乏准确性、完整性,在建立评价指标体系的过程中,评价方法也有错误和遗漏;计算存在一定的偏差。对于定性评价,专家评审对非传统的、突破性的交叉学科研究仍存在偏见,要公平、合理,一些评审意见容易被滥用,甚至在评审过程中出现拉关系、“走后门”等不正之风,不仅未能发现研究中的科学不端行为,而且加剧了同行评议中学者对评议专家、编辑人员的不信任。四是随着学术评价与特定的量化指标绑定程度的加强,同行专家在开展评价工作时常常有非常明确且详尽的评估方案,其评价标准、指标权重和入选比例都有明确的数量规定,甚至直接用期刊的被引次数、H指数和期刊影响因子反映学术论文质量,使本来异常复杂的具有创造性的同行评议工作变得既简单又单纯。也因如此,这样的评价方式获得了一些专家的默许和认同。但可惜的是,他们没有意识到这实际上是在削弱其专业性,是他们对其专业自主性的放弃,他们实际上只是象征性地扮演着专业评估者的角色。
总之,在能够预见的将来,“人们似乎只要掌握先进的计算机技术与软件就能够评判不同学科成果的学术价值,专家同行也越来越成为普通大众的一种消费品”[ 40 ]。不过,一些科学计量学家更清楚地认识到,计量指标需要比“四平八稳的生产指标”更多的东西,并不像此前《莱顿宣言》所描述的那样:通过制定和实施更具有整合性与统一性的规范伦理准则,从而加强对科学计量工具与方法的使用管理……无论是科学计量指标还是替代计量指标,它们很难被整合进一个支撑许多科学研究成果的单一投入—产出系统,那么应该依据什么标准质疑评议结果呢?虽然评议专家们部分地了解这些缺陷,但却可能被非专业人士忽略。因此文献计量学的评议专家在未来一项重要工作就是劝说政策制定者使用高质量指标,并保证没有按面值使用指标。
五、缓解交叉学科同行评议困境的思路
针对同行评议的批评声音从该制度创立之初就没有停过,而对科学自主性更严峻的挑战是来自围绕着同行评议交叉学科与跨学科问题的解决方案而展开的争论。因此,要保证交叉学科同行评议的合理性,需要将同行评议的理想化状态理解为不同学科专家对某一知识领域的科研人员和成果的评议。评议过程中的学术自治权应该是一种为社会进行知识生产的自由权利,同行评议的交叉学科评审目的不是在学科化的知识生产与其社会用途之间建立“一堵墙”,而是发挥其在自由追求真理与满足社会需求的价值观之间桥梁的作用。显然,这里所指的同行评议活动,反对将学科内部知识生产的自由追求置于外部社会需求“相关性”的对立面,任何一项评议活动或评审手段都嵌入其制度环境和社会结构,不可能独自孤立地发挥作用。在后学科化时代,科学与社会的关系日趋紧密,这不仅使同行评议活动越来越多地发生在学科化高墙之外,而且对于重塑知识的社会作用做出了反应。为此,需要从以下三个方面循序渐进,着力做好。
(一)重塑同行评议专家与接受评价者之间的信任关系
在交叉学科同行评议的探索过程中,不仅各个学科的科学知识需要信任,而且不同学科的同行评议专家与接受评价者之间也应该增强彼此的吸引力和信任感。在同行评议中,为了获得一个更为客观的结果,双方应该试图消除主观性。尽管信任是主观上的,但通过信任得到高度的认同感和归属感则取决于人的行为或努力,而不是依赖感官或工具。在优良的学术生态里,未来的同行评议应该依赖于评议专家信任接受评价者坚持了某种形式的客观判断,而不是具有毁灭性的主观臆断。彼此真正的信任是存在于一种与不信任的辩证关系中,它“包含着不信任以及对它的故意克服”,这种信任关系本质上应该被视为一种可持续的社会实践,而不是一种特定心态。同时,在双方信任建立的过程中,需要纠正在评议过程中因自身身份特征及其带来的学术声望、国别、语言、性别、性格、文本理解能力、学科、发表喜好而产生的偏见与分化,推动同行在学术评价活动中进行知识的相互借鉴、取长补短,使同行评议回到促进知识的创新发展、成就研究者之生命精彩和服务社会迈向美好未来之初衷。
(二)坚持开放性、多元化的评议原则,从而在不同的评议标准之间取得平衡并达成共识
当前,由于诸多社会因素的介入,使公众对同行评议的专家以及评价结果产生不信任,那么应该如何有效地化解公众对同行评议的信任危机呢?这就需要针对交叉学科研究坚持开放性、多元化的评议原则,即(1)应该设立一系列得到学术界公认的标准对研究提案中的证据、方法、假设进行评议;(2)在评议中应该有同行能够援引的共同标准;(3)经同行评议的研究提案应该对整个社会开放;(4)知识权威应该在合格的不同学科的评议专家之间平等分享。同时,对于评价指标体系而言,这一原则主要体现为通过多维度的指标表征,对每个指标进行知识、技能和态度层面的开放性描述,使其综合反映社会现实的要求与期望结果,保证指标具有良好的可测性,从而为同行专家在开展评价工作时提供明确且详尽的评估方案。面对交叉学科研究的评议,实际上应该寻求一种知识、范式、信息的对称状态,坚持开放性、多元化的评议原则,加强不同成熟学科评议人之间的沟通和交流或许是解决这个尴尬处境的有效途径。开放与多元的讨论和交流有助于评议人了解跨学科研究的全貌,避免以偏概全的评判。劳德尔指出,广泛讨论可以弥补评议人在跨学科评议中的信息遗漏,并就评议标准达成一个妥协性共识[ 41 ]。
(三)建立具有包容性的公众评议制度
公众既是科学研究的资助人,也是科学研究成果的受益人。在交叉学科同行评议中,不仅要求伦理方面使更多的利益相关者参与其中,而且认识论上也要给予他们在评议中以更大的发言权。尽管让公众参与评估不必要像同行专家那样发挥相同的作用,但在同行评议的认知、道德与评价中,公众及其拥有的地方经验知识需要与专业知识的论证形式发生反馈联系,以使这种互动式的评议过程社会制度化。交叉学科与跨学科同行评议的对话机制,可以尝试通过超越渐进主义的评议规则与程序建立起来,新的计量方法可在不受限于学科领域的基础上进行跨领域的引文影响分析,等等。“通过将更广泛的公众视角引入到评估过程,有利于同行专家能够利用多元化、稳健的知识基础在评议的透明性与客观性之间找到平衡,以使获得专家共识的有潜力的交叉学科研究有机会被选出,并得以发展。而以往科学共同体所认为的同行评议只是从学科中获得自由的那种情境,一去不复返了。”[ 42 ]
(四)通过学者自律,凝聚学术团体力量,从而在科学价值与应用价值之间取得平衡
在学科交叉的背景下,作为科学内部的一个决策程序,同行评议成为科学与外部环境关系紧张的焦点。建立多元价值取向的同行评议体系和框架,将应用价值纳入其中或许是缓解这一紧张关系的重要思路。由此,同行评议不再只是学术共同体的内部事务,社会公众的参与有效解决了应用价值的评议问题。这就需要学术界不断强化学术研究与社会应用的价值规范,通过教育培训、制度引导、自我修炼等不同途径,让这些价值规范入脑入心,激发起学术同行的自觉意识和自律行为,通过同行评议切实架设联结科学与社会的桥梁,推动学术研究回到促进知识的创新发展、成就研究者之生命精彩和服务社会迈向美好未来之初衷。
六、结语
交叉融合时代,领域发展日异月殊,现在和未来的同行评议需要朝着流程更透明化、形式更多元化、技术更智能化的方向发展。尽管在科学内部的同行评议制度尚未完成整体性变革,但同行评议从一开始就具有的异质特性表明它必须经历与其制度环境相适应与融合的过程[ 43 ]。在学科交叉与融合的过程中,学术严谨性比学科同行的认可显得更为重要,学术共同体应当革新原有的传统观念,以避免科学研究中认识目标与社会现实中应用目标之间的冲突,打破旧的学科化偏见(唯一可能的学术自治是对知识不受约束的自由追求;服务社会即被奴役;学术最高价值是对知识的无限追求等),敦促学术共同体以更为开放谦虚的姿态承担起更为广泛的社会责任。
本文通过文献研究法和文本分析的方法,阐释了同行评议是最有可能判断交叉学科论文质量,也最契合科学研究的多样性和复杂性,但应对其风险保持警觉,尤其是学科壁垒可能导致的利益冲突以及渐进主义与文献计量学可能造成的交叉学科评议标准缺失,甚至是评审偏见和不公问题。为了缓解当前交叉学科视角下同行评议面临的困境,研究从信任关系、评议原则、评议制度三个方面构建促进同行评议公正、客观、科学的发展路径,填补了不同学科交叉相融的研究范式下改进和完善现行同行评议的空白,以期为我国交叉学科同行评议的理论创新和实践探索提供建议与思考。
参考文献:
[1] ROBERT K. A physics editor comments on peters and ceci’s peer-review study[J]. Behavioral and brain sciences,1982(2):196-197.
[2] JONATHAN B,CAMPBELL R, DAVID H. How to write an effective referee report and improve the scien? tific review process[J]. Journal of economic perspectives,2017(31):231-244.
[3] Pablo D, M?nica G,Kinouchi O. Is it possible to compare researchers with different scientific interests[J]. Scientometrics,2016(1):179-189.
[4] FRODEMAN R. Sustainable knowledge: A theory of interdisciplinarity[M]. New York: Palgrave macmillan,2013:45-49.
[5] BALDWIN M. Credibility, peer review and nature 1945–1990[J]. Notes and records,2015(20):337–339.
[6]周朝成.当代大学中的跨学科研究:学科文化与组织的视阈[D].上海:华东师范大学,2008:80-89.
[7]杨翠.关于同行评议自我评价规避方法的若干问题和完善方法[J].科技管理研究,2008(1):86-88.
[8] MITROFF II, CHUBIN DE. Peer review at the NSF: A dialectical policy analysis[J]. Social studies of sci? ence,1979(9):199-232.
[9] BIAGIOLI M. From book censorship to academic peer review[J]. Emergences: journal for the study of me? dia and composite cultures,2002(1):11-45.
[10]吴述尧.同行评议方法论[M].北京:科学出版社,1996:44-50.
[11]弗洛德曼,霍尔布鲁克,米切姆,等.同行评议、研究诚信与科学治理:实践、理论与当代议题[M].北京:人民出版社,2012:29-30.
[12]楚宾,哈克特.难有同行的科学:同行评议与美国科学政策[M].北京:北京大学出版社,2011:73-75.
[13]张彦.论同行评议的改进[J].社会科学研究,2008(3):85-90.
[14] HICKS D. Bibliometrics: the leiden manifesto for research metrics[J]. Nature,2015(520):429-431.
[15] KLEIN J T. Interdisciplinarity: history, theory and practice[M]. Detroit: Wayne state university press, 2019:190-200.
[16] HUMBOLDT W V. On the spirit and the organizational framework of intellectual institutions in berlin[M]. Minerva: University reform in germany,1970:242-250.
[17] HEINZE T. How to sponsor ground-breaking research: a comparison of funding schemes[J]. Science and public policy,2018(35):302–318.
[18] HOLBROOK J B. The use of societal impacts considerations in grant proposal peer review: a comparison of five models[J]. Technology and innovation,2010(12):213-224.
[19] KLAHR D. Insiders, outsiders, and efficiency in a national science foundation panel[J]. American psy? chologist,1985(40):148–154.
[20] KNIGHT D B, LATTUCA L R. Understanding interdisciplinarity: curricular and organizational features of undergraduate interdisciplinary programs[J]. Innovative higher education,2013(38):143–158.
[21] PENPRASE B. New liberal arts and sciences institutions in India and Singapore: the role of STEM educa? tion. experiences in liberal arts and sciences education from america, europe, and asia: a dialogue across continents[M]. New York: Palgrave macmillan,2015:77–80.
[22] PUTWAIN D W, KEARSLEY R, SYMES W. Do creativity self-beliefs predict literacy achievement and motivation[J]. Learning and individual differences,2014(22):370–374.
[23] COLLINI S.“Introduction”, the two cultures by c.p.snow[M].Cambridge: Cambridge university press, 1998:50-55.
[24] LAMONT M. How professors think: inside the curious world of academic judgment[M]. Cambridge: Har? vard university press,2009:33-39.
[25] SAREWITZ D. Against holism in frodeman the oxford handbook of interdisciplinarity[M]. Oxford: Oxford university press,2010:65-75.
[26]张树良,张志强,王雪梅.国际科研评价体系现存问题及发展新趋势分析[J].科学学研究,2015(8):1127-1135.
[27] LASSWELL H D. On the policy sciences in 1943[J]. Policy sciences,2003(36):71-98.
[28] SISMONDO S. An introduction to science and technology studies, second edition[M]. West sussex: Wileyblackwell,2018:132-135.
[29]姚玉鹏.国家自然科学基金的决策机制:对同行评议工作的探讨[J].中国科学基金,2017(4):346-352.
[30] PORTER A, ROSSINI F. Peer review of interdisciplinary research proposals[J]. Science technology hu? man values,1985(10):33-38.
[31]王前,李丽,高成锴.跨学科同行评议的合理性研究[J].科学学研究,2013,31(12):1792-1795.
[32]魏巍,刘凡丰,刘仲林.改进跨学科研究项目评审的对策与建议[J].中国科学基金,2016(6):536-540.
[33] MICHELE L. Beyond blind faith: Overcoming the obstacles to interdisciplinary evaluation[J]. Research evaluation,2006(1):43-55.
[34] KUICZYCKI E, ROZKOSZ E A, ENGELS T,et.al. How to identify peer-reviewed publications: openidentity labels in scholarly book publishing[J]. Plos one,2019,14(3):e0214423.
[35] SUNITA V, LARISSA S, MARGARET J S. Efficacy research and unanswered clinical questions[J]. The journal of the American medical association,2011(7):709.
[36] DAVID E. Methodological moralism in political philosophy[J]. Critical review of international social and political philosophy,2017,20(3):385-402.
[37] JASANOFF S. Designs on nature: science and democracy in Europe and the United States[M]. Princeton: Princeton university press,2005:67-80.
[38] DEREK J. Science since babylon[M]. New Haven: Yale university press,1961:110-113.
[39] THOMAS L. The world is flat: a brief history of the twenty-first century[M]. New York: Farrar, straus and giroux,2005:244-249.
[40] FISHER E. Public science and technology scholars: engaging whom[J]. Science and engineering ethics,2011(4):607-620.
[41] GLASER J, LAUDEL G. Governing science[J]. European journal of sociology,2016,1(57):117-168.
[42] BAKER V R. Iahs benchmark papers in hydrology[M]. Wallingford: International association of hydrologi? cal sciences press,2014:99-110.
[43] BALIRETTI S, MAS M, HELBING D. On disciplinary fragmentation and scientific progress[J]. Plos one,2015(3):118-120.
Rethinking Peer Review From an Interdisciplinary Perspective
Guo Jia-Nan
(1. Department of Development and Sustainability, Asian Institute of Technology, Kong Luan 12120, Thailand; 2. Digital Humanities Research Center, Renmin University of China, Beijing 100872, China)
Abstract: At present, interdisciplinary integration has become an inevitable trend, and the interdisciplinary nature of scientific research achievements is more obvious. In order to further improve the peer review system and maintain its scientificity, impar? tiality and seriousness, the article systematically combs the research process of peer review on the basis of tracing back to the concept of peer review and its interdisciplinary nature, and points out the shortcomings and deficiencies of interdisciplinary peer review in the quality, process and mode of review. It proposes and demonstrates that the trust relationship between peer review experts and reviewers should be reshaped. The principles of openness and diversified evaluation should be followed, and an inclusive public evaluation system should be established in order to develop a well ordered academic evaluation mechanism among different stakeholder groups. Through self-discipline of scholars, academic groups should be united to create enough development space for scientific exploration, especially interdisciplinary and interdisciplinary research, in order to provide inspi? ration for theoretical innovation and practical exploration of interdisciplinary peer review in China.
Key words: interdisciplinary; peer review; disciplinization; incrementalism; bibliometrics
(责任编辑:赵庆来)