同行评议速度与论文影响力的关系研究——以二次文献选文速度为视角

张光耀 谢维熙 姜春林 王贤文

(1.大连理工大学科学学与科技管理研究所暨WISE实验室,大连,116024; 2.联合国大学马斯特里赫特创新与技术经济研究院,马斯特里赫特,6211AX,荷兰)

1 引言

论文同行评议是学术出版的重要环节,旨在评估论文的创新性、有效性、质量、意义[1-2]。尽管同行评议对于学术交流非常重要,但这一过程往往“非常缓慢”[3],这在当前“内卷化”的学术体制之下,在学术成果的发表速度和数量的严苛要求之间形成了巨大的张力。因此,学术界对同行评议速度的评价总体上较为负面,认为漫长的同行评议既给学术界增加了成本,也给学者的学术生涯徒增了负担[4]。

与此同时,学术界对同行评议速度及其机制缺乏深入的探究。同行评议速度并非单一意味着同行评议的成本,具体而言,香港中文大学宋铮教授的代表性论文“Growing like China”,从投稿到被American Economic Review 接收只经历了16个月,而一般该刊物录用论文的评议周期为24到36个月[5]。

基于对同行评议中的差异现象的探究,本研究试图以论文发表日期和论文转载日期之间的时间差来衡量人大复印报刊资料(以下简称复印资料)同行评议流程中的评审速度(本文将其定义为二次文献选文速度,以下简称选文速度),并以选文速度为视角,揭示同行评议速度与论文的影响力之间的关联。本研究使用复印资料《创新政策与管理》(C31)和《科学技术哲学》(B2)的转载论文构建数据集,以论文转载时间差作为选文速度的代理变量,以论文被引量和下载量作为论文影响力的代理变量,探讨选文速度与论文影响力之间的关系。本文研究结构为:首先,简要回顾与同行评议速度相关的研究,基于注意力经济理论构建选文速度与论文影响力之间的关系。其次,基于对数据源和方法的描述,解释复印资料的同行评议特征,搭建复印资料数据集,并应用回归分析来检验选文速度与论文影响力之间的关系。再次,进行稳健性检验和异质性分析。最后,讨论本研究的贡献和局限性。

2 文献综述

2.1 实证背景

同行评议速度不仅是作者投稿时的重要参考因素[6],也已成为同行评议质量的重要代理指标之一[7]。国际上现有的关于同行评议速度的研究主要集中在不同条件下同行评议速度的差异上[8]。具体而言,从期刊和学科的视角分析,影响因子高的期刊同行评议时间更短[9],自然科学的评审速度比人文和社会科学快[10]。从学者身份及其社会关系视角,编辑认识的审稿人审稿历时更短[11],学者在自己担任编委的期刊发表论文,可以更快被发表[12]。尽管不同性别的审稿人提交审稿意见的速度有区别,但是这一现象因样本不同存在差异[8],如Davo等[13]基于Journal of Epidemiology and Community Health的数据发现,女性审稿人审稿速度更快,而Schmaling等[14]基于更大的样本则发现男性速度更快。

审稿速度也受学术和社会环境影响,如Horbach分析了14种医学期刊中的669篇文章后得出结论,疫情加快了与COVID-19有关的论文的发表。Charen等[15]分析2010—2015年间的骨外科手术文献后发现审稿速度在加快,并认为这一趋势可能受到审稿人熟练度提升的影响。

总体而言,现有的关于同行评议速度的研究主要集中在单一量化维度上,少有研究者关注同行评议速度差异这一现象和事实背后的内在意涵。考虑到同行评议速度对学者的重要意义,也有研究者设计了系统以自动提取论文的同行评议速度数据,为研究人员提供了与期刊的同行评议速度相关的信息[16]。然而,张光耀等指出,现有关于审稿速度的研究主要根据论文提交与修回时间,或提交与出版时间进行测度,然而期刊往往仅提供最终修回时间,已有研究指出同行评议速度与审稿轮数有关[10],因此这一测度方式会影响研究的准确性[8]。

2.2 理论背景

在科学社会学中,默顿在经验研究的基础上,将科学的社会规范归结为四条:“普遍主义”(Universalism)、“公有性”“无私利性”与“有组织的怀疑”[17]。在默顿的规范中,普遍主义与同行评议的理念最为接近,强调科研成果应根据其内在价值来衡量。这也从科学社会学层面为连接同行评议行为与论文的内在属性(如影响力)搭建了桥梁。

在信息时代,信息量在迅速增加,而人的注意力却相对有限,因此人的注意力变得更加珍贵。注意力经济理论(Attention Economy Theory)即讨论了搜索信息的成本和收益[18]。搜索和使用信息的“消费者”所付出的主要成本是他们的注意力。作为审稿人,同样也面临着各种信息对其有限的信息处理能力的竞争[19]。

此外,已有研究指出,同行评议工作总体回报较低,虽然科学家可以从同行评议中受益[20],如通过审稿获得荣誉[21]、编辑的感激[22]和期刊编委会的任命机会[23]。然而,随着科学出版物数量的激增,审稿已然成为科学家的沉重负担[24]。Publons的《全球同行评审报告》显示[25],审稿人平均需要16.4天才能完成评审。同行评议工作导致科学家工作时间的增加,甚至侵占了他们的闲暇时间[26]。因此,类似于在筛选信息时尽可能少花费注意力,如何管理和保护注意力对审稿人来说尤为重要。此外,已有研究发现,审稿人需要在从事自己的研究和花费时间审稿中间作出权衡[22]。

在同行评议的审稿人行为研究方面,已经有学者发现,审稿人的决策面临着“权衡”,即不同重要性的研究与不同的判断标准相关联。Serra-Garcia等[27]发现,难以重复的研究反而会获得更多的影响力,他们给出的解释是,当研究结果更“有趣”时,审稿人会对稿件给予更低的标准。期刊Biology Direct所呈现的审稿人的审稿意愿实则是一种隐性的评议方式,文章投稿之后无人愿意评议,则可能说明文章的价值不大[28]。也有研究显示,邀请审稿人同意审稿的比例越大,引用率越高[29];审稿人对文稿的兴趣可能预测其未来的引用潜力[30]。

回到本研究所关注的同行评议速度的议题上。Sikdar等[31]发现,对于被Journal of High Energy Physics录用的论文,经历更少轮评审的论文可能会得到更多的引用,其给出的解释是,如果审稿人发现初稿质量很高,那么就不需要再经过多轮审稿;Zhang等[32]在分析British Medical Journal的开放同行评议数据后发现,论文的审稿速度和论文发表后的altmetrics得分显著相关。Ta等[33]对情报学期刊论文描述统计后发现,论文的被引频次与出版时间存在统计上的相关性。因此,本研究希望通过实证分析,在现有文献的基础上更进一步检验同行评议速度与论文影响力的关系,探讨选文速度是否与论文的影响力显著相关的问题。

3 研究设计

3.1 数据来源

目前,部分期刊论文页面显示了收稿时间与修回时间,尽管国际上大量研究鉴于数据获取的方便性常用收稿和修回的时间差来测度同行评议速度[14-16]。但收稿和修回的时间差并不能反映真正的同行评议速度。首先,同行评议审稿人不仅需要决定论文是否录用,还需要撰写较长的审稿意见,以证明所提要求的合理性[34];其次,修回时间反映的往往是最后一次修回的意见[24],如果编辑部在论文送审环节出现延误,收稿和修回时间与实际审稿速度之间的误差,可能会被进一步拉长。

出于上述缘由,本研究采用复印资料所提供的转载数据。复印资料作为学术文摘期刊的典型代表,被认为是另一种形式的同行评议[35-36]。实际上,复印资料的同行评议性质和学术评价功能也得到了图情研究领域同行的认可[36-38],从实证方面,李晓彤等[36]使用复印资料转载学术论文的同行评议数据对比了核心与非核心期刊的优秀论文质量,耿屿等[39]使用复印资料数据揭示了精英评价与大众评价之间的分歧现象。

此外,二次文献因其独特特征在同行评议研究中也受到了高度重视,Smolinsky等[40]曾使用同样具有二次文献特征的MathSciNet数据库,通过分析美国数学学会遴选出的优秀论文(Featured Review Articles)讨论了引用测度和专家同行评议之间的关系。张光耀等[8]在综述中也提出复印资料数据的二次文献特征使其成为同行评议研究的重要数据源之一。一方面,复印资料要求期刊所选文章准确反映学科研究的热点、难点、创新点、基本点和重大课题的研究成果,达到相关学科学术研究的一流水平[35],不仅客观反映了某一领域的研究成果,还反映了整个学术的前沿、动向和趋势,力求发挥学术引领的作用[41]。另一方面,中国人民大学人文社会科学学术成果评价研究中心公开的《人文社会科学论文质量评估指标体系实施方案》详细报告了论文转载的同行评议规则和流程[35-36,42]。其中,复印资料具有独特的同行评议特性,其转载的论文标注有原论文的发表期数和转载期数,这一时间间隔可以反映选文速度,因此更适合用来探讨选文速度和论文影响力之间的关系;复印资料的评审方式为打分制,其学术标准由系统的指标构成,具体包含学术创新程度、论证完备程度、社会价值程度和难易程度[35],因此,减少了撰写同行评议意见造成的同行评议速度误差。此外,被转载的论文都已公开发表,编辑处理稿件时造成的延误影响也被降低。

具体而言,本研究选择《创新政策与管理》(C31)与《科学技术哲学》(B2)作为研究数据集,其中《创新政策与管理》以实现国家创新驱动发展、建设创新型国家为背景,涵盖了部分当前极具创新性的前沿问题与方法,为广大产业创新、科研管理人员提供了及时的信息服务[43];《科学技术哲学》精选科技哲学、方法论、科学技术与社会和科学技术史方面的最新论文,旨在客观反映自然科学的哲学问题,并探讨科学技术与政治经济、社会文化间的关系[44]。这两本期刊一方面在科学学领域有较高的参考价值,另一方面对于人文和社会科学领域的研究覆盖较为全面。

图情领域研究多以论文的被引量来衡量论文的影响力[45-46],本文也选择以论文影响力为因变量。在已有研究的基础上,本研究使用论文2年被引量及累计被引量来测度论文的影响力。同时,由于学术领域的信息化水平不断提升,论文的下载量也逐渐成为衡量论文影响力的指标[47],可以在一定程度上反映一篇文章及其所属领域被关注的程度。因此,本研究选取下载量作为影响力的代理变量之一。

在数据收集方面,本研究从复印资料库采集了《创新政策与管理》和《科学技术哲学》2009—2018年转载文章共计2619条,通过中国引文数据库匹配出论文发表当年及两年后的被引量,并于2021年5月8日采集了被转载论文在知网累计被引数据及论文的发表时间、作者、机构、参考文献数量、页数、基金资助信息和发文期刊是否被北大核心收录等指标,并删去来自报纸和集刊的文章以及无法在知网匹配到相应论文的数据,共获得数据2555条,其中1314条来自《创新政策与管理》,1241条来自《科学技术哲学》。

3.2 回归分析

为深入论证研究的假设,本研究将通过回归分析,检验当控制其他干扰因素时,选文速度与论文影响力之间的关系。原假设为:

H0:选文速度与论文影响力显著相关。

备选假设为:

H1:选文速度与论文影响力的关系不存在统计显著性。

回归模型如下:

3.3 变量设置

(1)因变量

①被引量,即论文发表年份及发表后两年内的被引频次。

②累计被引量,即论文自发表后至2021年5月8日的被引频次。

③下载量,即论文自发表后至2021年5月8日的下载频次。

(2)自变量

选文速度。以转载月份的最后一天作为转载日期,以知网发表时间为发表日期(1)经作者调查后发现,知网论文首发时间与正式发表时间一致。,以两者的时间差作为选文速度的代理变量。为便于对结果的识读,在不影响结果显著性的前提下,我们将选文速度换算为以年为单位。

(3)控制变量

本研究将与论文影响力有关的控制变量归纳为五类[48],包括科研主体及其生产关系,科研知识基础、科研成果本身、科研资源条件和科研成果载体。

①科研主体及其生产关系。包括作者数量(au_num)、机构数量(org_num)、机构级别(org_rank,第一作者所在机构级别,将985高校、中国科学院定义为一流机构,将其他机构定义为普通机构)。

②科研知识基础,包括参考文献数量(ref)。

③科研成果本身,包括论文篇幅(pg,以页数衡量)、论文标题长度(title,以论文标题字数衡量[49])。

④科研资源条件,包括基金资助(fund,分为国家级基金资助、普通基金资助和无基金资助三类)

⑤科研成果载体,包括转载刊(fuyin,两本复印资料转载刊)、北大核心(pku,转载文章原发刊是否被北大核心收录)、权威期刊(top,转载文章原发刊是否为领域内权威期刊,考虑到原发刊的知名度和影响力,根据专家意见和国家自然科学基金委员会管理科学部认证的管理类重要期刊中的A类期刊目录,创新政策与管理领域的权威期刊是《科学学研究》《科研管理》《中国软科学》,科学技术哲学领域的权威期刊以《自然辩证法研究》《自然辩证法通讯》和《科学技术哲学研究》为主),具体的变量及描述如表1所示。表2提供了变量的描述统计结果和相关系数矩阵。

表2 变量的描述统计结果和相关系数矩阵(N=2555)

4 结果分析

4.1 选文速度的变化趋势

复印资料有着较强的时效性[35],图1呈现出两本期刊的选文速度变化趋势,《创新政策与管理》的平均选文速度为140天,《科学技术哲学》的平均选文速度为122天。与此同时,两本期刊的选文速度都存在着较为明显的波动,选文速度的标准差均为39天。

图1 选文速度变化趋势

4.2 选文速度与论文影响力的关系

图2以散点图的形式表示出选文速度与论文影响力的关系,为避免散点过度拥挤,本研究以分仓散点图形式分别呈现了2年被引量、累计被引量和下载量与选文速度的关系,图2a、2b、2c为《创新政策与管理》论文样本集,图2d、2e、2f为《科学技术哲学》论文样本集。图2显示出选文速度与论文的影响力存在较为明显的相关关系,随着论文选文时长的上升,论文的影响力呈下降趋势。

图2 选文速度与论文被引量(2年)、累计被引量、下载量的关系

4.3 结果

4.3.1 回归结果

表3为回归结果,回归中添加了期刊-年-月固定效应[50],其中m1～m3分别只包含选文速度下的回归结果,模型中的选文速度的回归系数皆为负,且在0.01水平上显著。m4～m6加入了其他控制变量,选文速度的回归系数仍然为负,且至少在0.01水平上显著。对于m4～m6结果中的其他控制变量,即页数、标题长度、作者人数、国家级基金资助、机构级别都在至少0.05水平上显著为正。

表3 基础回归结果

4.3.2 稳健性检验

考虑到知网界面中显示的“论文发表时间”可能与论文的真正发表时间存在时间差,为避免发表时间的误差对结果的影响,本研究在稳健性检验中进一步放宽了对选文速度测度的假定,结果如表4所示。以论文发表刊期和复印资料转载期之间相差的月份作为自变量(如果是半月刊,则只计入半个月),其中《经济研究参考》和《全球科技经济瞭望》两个期刊中无法确定发表刊期的19条数据被从数据集中删除。m1、m2、m3分别为将自变量更换为月份后,分别以2年被引、累计被引和下载量为因变量的回归结果,其结果显示,自变量仍然至少在0.01水平显著。

表4 稳健性检验

4.3.3 异质性分析

进一步考虑样本中的异质性,即检验在不同的子样本下,选文速度和论文影响力之间的关系是否仍然显著,结果如表5所示。首先检验对于单个转载刊样本,结果是否仍然成立。m1涉及的论文来自《创新政策与管理》,m2涉及的论文来自《科学技术哲学》,由于哲学作为人文科学更加强调第一作者的重要性,而管理学则认为第一作者和通讯作者具有相同的重要性,且《科学技术哲学》中的独作论文数量占比为70.83%,因此,在m2中加入了第一作者职称变量,包含四种职称,分别为prof(教授或研究员)、asso.prof(副教授或副研究员)、assi.prof(讲师),other(其他)。

表5 异质性分析

其次,为了考量复印资料是否存在对权威期刊的“偏好”,即探究对于权威期刊而言,研究假设是否依旧成立。m3以原发刊为权威期刊的论文子样本,为与m3形成对照,m4以原发刊为北大核心期刊的论文子样本。

进一步考虑机构和作者职称的异质性,m5以第一作者为一流机构的论文为子样本,m6以《科学技术哲学》中第一作者为教授的职称为子样本。

同样加入其他控制变量后,模型m1、m2、m5、m6中,自变量的符号为负,且至少在0.05水平上显著,对于权威期刊样本(m3)而言,自变量并不显著,而北大核心样本(m4)却符合研究假设。

为了进一步讨论复印资料对权威期刊的“偏好”,本研究将自变量对中后,在模型m7、m8中分别引入了权威期刊、北大核心刊与自变量的交互项。从交互项的结果来看,北大核心刊与选文速度的交互项的效应并不显著,而权威期刊与选文速度的交互项的效应为正(且系数0.005大于主效应的绝对值0.004),意味着权威期刊发表的论文,选文速度与影响力之间的关系有别于普通期刊发文。

5 结论与讨论

本研究基于复印报刊资料中的《创新政策与管理》和《科学技术哲学》的数据,采用回归分析的方法,将文献计量与同行评议联系起来。本研究在默顿规范下,依据注意力经济理论,从审稿人行为出发,将稿件的特征,如影响力,与审稿人的行为相关联,试图探究转载期刊的选文速度与论文影响力之间的关系。相比以往的关于同行评议速度的探讨,本研究使用更新的数据源,从更多维度为揭示同行评议速度在科学中的意义提供了可靠的证据,也为解构同行评议过程、揭示审稿人的行为提供了参考。研究结果发现,转载期刊的选文速度与被转载论文的影响力存在显著的负向关系。具体来说,选文时间越短,则被选论文倾向于有着更高的影响力。这一发现在北大核心期刊、一流高校和教授作者论文样本中都得到了证实,但未在权威期刊中得到证实。

本研究的贡献主要有三点:首先,在科学学理论层面,通过将文献计量和同行评议这两个要素相结合开展研究,在一定程度上将同行评议速度与论文的影响力之间的关系建构为一种默顿话语之中具有普遍主义内涵的科学规范;其次,本研究通过对同行评议速度和论文影响力之间的研究,丰富了同行评议速度这一指标的科学学内涵,在一定程度上拓展了同行评议研究;第三,在研究背景层面,虽然国内的同行评议数据开放性较差,但复印资料转载的独特性为观察和讨论同行评议这一议题创造了空间。当前,国内对于文摘类期刊的研究主要集中于文摘类期刊的现状分析,以及透过文摘期刊洞悉学科发展趋势两个方面[51]。本研究提出了复印资料在科学学理论和方法研究中的价值,通过探究二次文献和文献计量之间的关系,挖掘出更有学术价值的科学计量学现象。

从异质性分析的结果来看,选文速度和论文影响力之间的关系,在北大核心、一流高校和教授作者等变量中都呈现显著结果。然而,这一现象并未体现在领域内权威期刊这一变量中,其原因可能是由于《科学学研究》《自然辩证法研究》等期刊在创新管理与科学技术哲学领域有着较高的权威性和知名度,复印资料在转载过程中可能对此类期刊给予了更多的关注[52]。最后需要指出的是,同行评议过程是同行之间重要的交流机会,同行评议速度与论文影响力间的关联不意味着应破坏审稿人与作者深入交流。

6 局限

本研究也存在一些局限。首先,所用的复印资料数据,仅能够证实选文速度与论文影响力之间的相关性。其次,复印资料报刊仅囊括了人文社科领域的期刊论文,因此,本研究的结论仅适用于人文社科领域。然而,由于数据的易得性和论文转载和论文产生被引量和下载量等指标在时间和逻辑上的先后关系,本研究以选文速度作为解释变量,以测度论文影响力的指标为被解释变量来呈现这种关系,所提出的研究视角和议题是初探性的,仍有待后续进一步的探究。