开放科学视角下期刊影响力评价指标体系研究

■程 铭 潘云涛 马 峥 俞征鹿 盖双双

1)中国科学技术信息研究所，北京市海淀区复兴路15号 100038 2)医学期刊知识挖掘与服务重点实验室，北京市海淀区复兴路15号 100038

随着互联网技术的快速发展以及信息技术的普及，科学产出的速度、数量和质量不断提高，学术传播效率得到了极大提升，科学领域的开放程度不断增加[1-2]。2002年2月，《布达佩斯开放获取计划》正式提出开放获取(Open Access，OA)[3]。2003年10月，《柏林宣言》鼓励研究人员和受基金资助者按照开放访问模式的原则公布他们的作品，并制定了评价开放获取和在线期刊的方法[4]。自2006年开始，欧盟委员会投资了多项促进共享研究出版物和数据的项目，例如开放获取出版平台Open Research Europe，以及促进数据存储、共享和重用的平台工具——欧洲开放科学云(European Open Science Cloud，EOSC)[5]。其他国家和国际组织也纷纷推出开放科学倡议书、路线图等规划。开放科学已经成为当前国际科学研究和科学组织范式转型的新趋势和新方向[6]。在新的科学背景下，期刊的出版形式不断朝着数字化、网络化的方向发展，期刊的评价指标和评价方法也随着信息技术与科学环境的改变而不断变化。目前传统期刊评价体系与开放科学环境下期刊出版、学术传播方式存在不相适应的情况：(1)目前的期刊影响力评价核心是引文评价法，引文指标在时间上存在滞后性，引用动机复杂。如今学术交流、知识传播渠道多元化，引文指标测度出的期刊影响力未能体现期刊在开放科学环境下的表现、忽视了新的出版形式，不能全面、准确地体现出学术期刊的影响力。(2)由于对定量绩效指标的强调以及一些激励机制的滥用，过分追求结果与数量，忽视研究过程与科研质量，导致研究人员或期刊单方面追求影响力数量指标的提高，部分研究人员为了提高自身学术生产力而篡改图像、编造数据。从长期来看，上述现象可能会威胁到科学研究本身的完整性，科学生产力会由于人为操纵等不道德行为的增加而大大降低[7]。本文基于国际学术期刊出版模式的发展态势，探索建立在开放科学视角下的期刊影响力评价思路和指标体系，尝试研制反映学术期刊开放属性的新指标，对传统期刊评价体系所测度的期刊影响力进行补充，能够更加全面、客观地对期刊影响力进行评价，从而引导期刊提高学术水平和质量，为促进科技发展发挥更大的作用。

目前开放科学视角下的期刊评价指标主要分为两大类：第一类是对原有指标的修正，例如科睿唯安在2021年版JournalCitationReports(JCR)中引入Early Access，2020年以后的影响因子将使用Early Access出版年统计数据，对于之前的年份，仍使用期刊正式出版的年份进行统计[8]。Web of Science对文章出版时间定义的修改是适应开放科学发展的一大举措，虽然出版年份定义的调整对影响因子的具体影响无法衡量，但这会影响文献的被引频次在时间上的分布情况，并改善目前采用影响因子进行评价时存在的问题。第二类是探索的新指标，其中定量指标主要以替代计量学指标为主。2017年，欧盟委员会研究创新团队发布的研究报告《下一代指标：针对开放科学的指标和评估》中指出，Altmetrics可以促进开放科学原则的实施，即协作、共享。Altmetrics可以更多样地反映研究成果的影响，提供科学产品使用者和提供者的整体看法[9]；定性指标主要是期刊表现出的符合开放科学特征的透明度、开放程度等，如2020年2月，美国开放科学中心为提高衡量期刊质量的新标准、促进学术研究的透明度和可重复性，推出了TOP Factor[10]。目前针对替代计量学相关指标的研究相对丰富，已有多位学者选取不同的样本期刊进行了实证分析，并将其结果与影响因子排名进行对比，而对定性方面指标的探索仍处于起步阶段，所对应的实证研究较少。本文将以往研究中的定性与定量指标相结合，并从开放科学的内涵出发，结合数字出版、开放环境下学术期刊的需求和标准，进一步挖掘出开放科学视角下体现学术期刊多维影响力的特征与指标，突破传统期刊影响力的概念范围，全方位、多角度地评估期刊的影响力。

1 研究方法与数据来源

1.1 研究方法

本文是在传统期刊影响力评价体系与开放科学环境下期刊新的出版、传播方式不相适应的背景下进行研究的。期刊影响力评价指标大多是由文献计量学理论发展出来的一系列指标，在新的出版模式下，从开放科学的视角选取期刊评价指标则是期刊评价的一个新方向。本文首先从开放科学的内涵出发，通过网络调研和文献调研的方式，总结归纳开放科学视角下期刊传播与出版的表现特征，建立开放科学视角下的期刊影响力评价思路。然后，利用层次分析法建立层次结构模型，构造矩阵，并进行一致性检验，实现期刊评价指标的权重赋值，以确定最终的期刊影响力评价指标体系。最后，选择样本期刊进行实证分析，检验所建立期刊评价指标体系的合理性与有效性。

1.2 数据来源

本研究以医学领域的期刊为实证对象，医学领域的知识交流与传播已有一定的开放程度，并且开放共享的需求也较高。选择此领域便于观察期刊在开放科学环境下的表现。

本研究将选择99种国内中文期刊与103种国际英文期刊进行实证分析，其中国内中文期刊将根据中国科学技术信息研究所发布的“第5届中国精品科技期刊目录”进行筛选。将入选“第5届中国精品科技期刊目录”且属于医学领域的中文期刊筛选出来，共100种样本期刊，其中1种期刊没有官方网站，将其剔除。国际英文期刊将根据2020年版JCR进行选择，筛选方式为：首先在自然科学领域中筛选属于医学领域的学科，共确定肿瘤学、儿科、妇产科等37个医学相关学科，将各个学科中影响因子与总被引频次加权总得分(影响因子与总被引频次各占50%的权重)在前3%的期刊筛选出来，去重之后共104种国际英文期刊，其中1种期刊的官方网站无法进入，综合考虑，将其剔除。最终在实证期刊中，国内中文期刊共99种，国际英文期刊共103种。然后，通过调研每种期刊官方网站的情况以及利用知网、万方、Web of Science数据平台来获取学术期刊各个指标的数据。

2 构建开放科学视角下期刊影响力评价指标体系

本研究通过梳理开放科学的定义总结出开放科学的内涵，根据开放科学的内涵提炼出开放科学视角下期刊传播与出版的特征，然后与已有的期刊评价指标进行重组，提炼出一级指标和二级指标，总体设计思路如图1所示。下面将分为4个小节具体阐述期刊评价体系的构建过程。

2.1 开放科学的内涵

开放科学的理念是在所有利益攸关方的积极参与下，使科学信息、科学数据和科学成果能够被更广泛地获取(开放获取)和更可靠地使用(开放数据)，其目的是使科学资源更易获取、科研过程更透明，最终使科学研究更加高效[11]。迈克尔·尼尔森[12]认为开放科学的理念是指各种类型的科学知识在科学发现过程中应尽早地实现公开共享。在欧盟开展的FOSTER项目中对开放科学的定义包括开放获取出版、开放式同行评审、开放研究数据、开源软件和工作流程等一系列活动[13]。世界经济合作与发展组织提出开放科学的重点是政府、科研资助机构以及科学界共同努力，使公共资助的科研成果(出版物和科研数据)在没有限制(或限制较小的情况下)以数字形式公开获取[14]。刘桂锋等[15]构建出以开放科学政策、开放获取、开放数据、开放资源、开放同行评审、开放教育资源为主要内容的开放科学体系。

图1 期刊评价指标体系设计思路

开放科学的内容随着时代的变化而不断扩充，本研究通过对开放科学基本理念的深刻理解，把开放科学含义主要归纳为以下3点：(1)科学研究过程的高度透明性，即最大限度地开放实验过程、实验数据和实验结果；(2)文献获取方式趋向无障碍化，强调科学研究成果与相关数据材料能够免费地供他人获取使用，而且可以及时、自由、无障碍地获取资源；(3)学术交流更便捷、知识传播更广泛，强调更多领域的人能够参与科学研究，学术交流更容易形成交流与合作的新局面。

2.2 开放科学视角下期刊出版与传播的特征

通过文献调研以及网络调研的方式，根据开放科学的三点内涵来归纳期刊在开放科学环境下的表现特征，并将根据总结的特征建立开放科学视角下期刊评价指标体系。通过调研发现，从开放科学的视角来看，期刊出版与传播方式主要表现出以下特征。

(1) 开放科学的内涵之一是科学研究过程的高度透明。期刊出版界也一直在推动科学研究过程透明、研究结果可靠方面做出努力，主要分为三点：一是支持注册报告的同行评审。注册报告(Registered Report)是一种新的期刊文章发表形式，要求在进行研究之前，其中的方法和设计需要预先注册并进行同行评审。在编辑和审阅者评估通过后，可以原则上接收该手稿，这意味着，如果作者按照其批准的协议进行实验，无论研究结果如何，该论文都会发表[16]。二是期刊数据出版规范不断完善，例如数据提交、数据共享的要求。三是推行开放同行评审制度。

(2) 开放科学的第二点内涵是文献获取方式趋向无障碍化。开放科学环境下的文献获取方式趋向无障碍化，不仅强调科学研究成果与相关数据材料能够免费地供他人获取使用，而且还要及时、自由、无障碍地获取资源。随着科学环境的不断开放、信息技术的不断突破，出版机构与期刊不断推出新的出版形式，如开放获取期刊、增强出版，从而保证读者能够更加便利、快速地获取最新研究进展。

(3) 开放科学的第三点内涵是学术交流更便捷、知识传播更广泛。开放科学倡导各个行业的人都参与到科学研究中，而不只是针对科研人员，以及能够突破时间、空间的限制进行交流合作。随着信息技术的发展，研究人员获取论文的渠道、学术交流的方式不断多元化，期刊借助信息化技术提高作者与读者之间互动的便利性以及利用社交媒体如微博、Facebook、Twitter实现论文的传播。所对应的期刊特征是利用自媒体出版与传播、XML/HTML出版方式的普及、期刊的在线服务与精准推送。

2.3 提炼期刊评价指标

(1) 确定一级指标。利用层次分析法和问卷调查法构建开放科学视角下期刊影响力评价指标体系，所构建的期刊评价体系考虑了除传统的学术影响力以外的其他方面。新的期刊评价指标主要是根据两部分内容综合确定的：一是根据现有的涉及开放科学特点的期刊评价研究；二是根据图1所示的8个特征内容，其中注册报告方式、数据出版规范、开放同行评审主要是说明论文出版的整个过程(包括评审)都是对外公开、透明的，这三点可以提炼为出版的开放透明度，出版过程的透明公开能够提高期刊的公信力。期刊对论文数据提交的规范以及研究过程的重视，对提高期刊论文质量有很大帮助；开放获取、XML/HTML出版方式的普及、自媒体传播与出版、在线服务与精准推送这四点对读者更快速地、通过多种方式获取学术资源以及加强读者与作者之间的交流都有促进作用，这对期刊提高影响力是有帮助的，将这四点提炼为获取的便捷度；增强出版实现了论文内容多样化、突破了纸质期刊的限制，将增强出版的相关指标提炼为内容的丰富度，与传统纸质期刊相比，期刊网站中论文的丰富程度明显提升，除了论文中的文字和数字，附加补充材料有助于读者理解论文，这对科学研究透明度的提高有帮助；将替代计量学指标的应用提炼为社会影响力，这是因为期刊的社会影响力是期刊影响力的一部分，期刊的社会影响与学术影响是不断协同发展的。

(2) 确定二级期刊评价指标。根据开放环境下期刊出版与传播的特点，结合新的科学发展环境下期刊评价指标的探索，对文献调研、网络调研的资料进行归纳，将4个一级指标进一步细化为15个二级指标，见图1。

2.4 确定期刊评价指标的权重

本研究通过专家问卷调研的方式，利用层次分析法让专家进行独立判断，根据专家判断矩阵的数据得到各个指标的相对权重，通过调研期刊的实际发展情况确定各个指标的评分标准，如表1所示。

3 实证分析

3.1 样本期刊的评价结果

将15个二级指标的分数加权运算得到总分后进行排序，排名前10的期刊情况如表2所示。得分最高的期刊为Neuroimage，其次为NatureMedicine。Neuroimage是完全开放获取期刊，是在荷兰出版的Elsevier旗下学术期刊。Neuroimage已经出版过注册报告，并且明确规定了数据引用的格式，鼓励数据的提交与共享；该期刊已出版的论文可以立即免费获取，可见开放获取期刊在开放科学环境下的表现比较突出。得分最高的10种期刊中，各个出版国的期刊数占该国期刊总数的比例如下：美国为11.29%、荷兰为12.50%、英国为6.90%。

评价结果得分最高的前10种样本期刊均为国际英文期刊，有7种期刊的出版地在美国。近几年来，英国、美国等国家的政府机构、资助机构、学/协会等推出的相关政策大大促进了期刊在开放科学环境下的发展。得分最高的10种样本期刊的学科分布比较分散，其中医学研究与实验、胃肠病学和肝病学、肿瘤学、护理学领域的期刊开放影响力水平整体较高。

表2 总分最高的前10种期刊情况

总分排名最高的前10种国内中文期刊的情况如表3所示，得分最高的为《疾病监测》，其次为《微生物学通报》。《疾病监测》属于流行病学、环境医学领域，对数据出版方面已经有所关注，论文全文在论文出版后立即全部开放。得分最高的10种中文期刊来自10个学科，分布比较分散。

表3 总分最高的前10种中文期刊情况

3.2 多种期刊评价结果对比

《高质量科技期刊分级目录汇总》是由中国科协经过统一部署，遵照同行评议、价值导向、等效应用的原则，国内各大学/协会通过科技工作者推荐、专家评议等程序形成的本领域科技期刊分级目录的初步成果。每个学科领域的期刊分为T1级、T2级和T3级三个级别：T1级表示已经接近或具备国际一流水平的期刊，T2级是指国际知名期刊，T3级是指业内认可的较高水平期刊。本研究将利用上述分级目录验证提出的开放科学视角下期刊影响力评价指标体系的有效性。

由于目前医学领域的《高质量科技期刊分级目录总汇》仅覆盖了临床医学、中医药两大子领域，而本研究选取的样本还包含了预防医学、护理学等子领域的期刊，所以202种实证期刊中只有86种期刊出现在《高质量科技期刊分级目录总汇》名单中，后续将以这86种期刊为例进行对比分析。86种期刊中被评为T1级的有60种，被评为T2级的有15种，被评为T3级的有13种(其中《中国修复重建外科杂志》在整形外科学中被评为T2级，在烧伤外科学中被评为T3级；JACC-CardiovascularImaging在医学影像学中被评为T1级，在心血管病学中被评为T1级，本节将重复统计这2种期刊的数据)。

将期刊的影响因子、在《高质量科技期刊分级目录总汇》的期刊等级与开放科学视角下期刊影响力得分之间的关联关系转制成散点图(图2)。在散点图中添加期刊影响因子中位数与影响力得分中位数的基准线，两条基准线将散点图分成了4个区域。从图2可以看到，大多数期刊分布在第一象限和第三象限，即大部分期刊属于高影响因子-高影响力得分与低影响因子-低影响力得分这两种情况，这在一定程度上说明了本研究提出的评价体系的评价结果与传统期刊评价结果相符合。另外，开放科学视角下影响力得分较高的期刊大多数属于T1级，说明本研究提出的评价体系的评价结果与专家同行评议的结果大体上是一致的。期刊的影响因子较高但影响力得分较低与影响因子较低但影响力得分较高这两种情况都是比较少见的。在第二象限中有5种期刊，其影响因子与专家同行评议的结果都比较高，但是在本研究提出的开放科学视角下的影响力得分较低。例如，TheLancetOncology的影响因子为33.752，但是期刊出版的透明开放度得分较低。期刊对于数据出版的规范不完善，在获取的便捷度和内容的丰富度两个方面表现一般，论文后虽然附加了图片、表格材料，但是只有部分论文的补充材料能够免费获取。在第四象限中也有5种期刊，其影响因子不高但专家同行评议结果与开放科学视角下的影响力得分都比较高。例如Laryngoscope的影响因子为2.465，在《高质量科技期刊分级目录总汇》中被评为T1级，按照开放科学视角下期刊影响力评价指标体系进行评分后，得分为0.4121。该期刊在开放科学视角下期刊影响力评价指标体系中的期刊开放获取速度、传播推送主动性以及图片与表格附加情况这几个指标的得分较高，原因是期刊采用混合开放获取模式，已出版的论文中部分可以免费获取，可以为读者提供RSS、Email Alert服务并且在每篇论文之后提供相关论文的推荐，这可以帮助读者更便捷地获取文章，同时也使得期刊论文能够更快速、更广泛地传播。期刊要求核苷酸序列、蛋白质序列等特定类型的数据必须提交至指定数据库，并鼓励作者共享数据，论文后附加的相关图片、表格可以免费获取，这是期刊开放性的体现，对科学研究可重复、可验证有重要的推动作用。以上方面的影响不能通过影响因子表达，具备开放科学的特点。

图2 开放科学视角下影响力得分、影响因子、期刊等级的散点图

上述分析可以说明综合实力较强的期刊在本研究提出的指标体系中的排名也比较靠前，这验证了所构建期刊评价体系的合理性。另外，在图2所示的散点图第四象限中，部分期刊的影响因子不高，但是开放科学视角下影响力较高，而且这些期刊得到了专家的认可，在学术领域内有一定的优势和代表性，说明本研究所构建的期刊评价体系有一定的作用和价值。

4 研究结论与相关建议

本研究通过文献调研、网络调研的方式，结合开放科学的内涵，最终确定了以出版的透明开放度、获取的便捷度、内容的丰富度、社会影响力为一级指标，且包含15个二级指标的期刊影响力评价体系。采用开放科学视角下期刊影响力评价指标体系对样本期刊进行实证分析，从评价结果中可以看出，国际英文期刊在影响力方面更具有优势，这可能与国内外期刊的发展环境不同有关，国内数据管理与开放共享的发展起步较晚，但目前国家已经开始重视数据管理工作，并取得了初步成效。例如2021年1月中国科学院计算机网络信息中心正式发布的“科学数据银行”，该平台能够提供论文关联数据的存储和出版服务，是促进科学数据规范出版、国内开放共享水平进一步提高的重大举措；英国、美国、荷兰出版的期刊表现比较突出，由规模较大的出版商如Springer Nature、Wiley、Elsevier出版的期刊更加重视期刊的开放透明；将评价结果与《高质量科技期刊分级目录总汇》的等级、影响因子进行对比和分析，结果发现本研究所构建的期刊评价体系有一定的作用和价值，可以从更丰富的角度表现影响因子等指标不能反映的期刊影响力。

根据国际、国内期刊指标情况的对比，借鉴国际出版机构与期刊探索的优秀经验，为我国期刊提高学术水平和质量、扩大影响力提出以下几点建议：(1)我国应加强各类开放平台的建设，大力支持国家数据中心与机构知识库的构建，从而更好地保障数据存储、数据交流无障碍。开放科学环境下的期刊发展依赖于共享平台、社交媒体平台的建设。虽然国际上已有主流的、建设成熟的共享平台，但是只有建立起自己的研究数据库，才能让我国更多科学工作不再被动。(2)期刊要积极响应国家政策，比如国内期刊应积极响应国家发布的《科学数据管理办法》等相关规定，尽快加入到国际共同促进数据共享的大环境中。期刊应该主动承担起倡导研究人员规范提交数据、开放共享数据的责任，学术期刊应积极主动与数据存储库进行合作，更加快速、便利地存储和发布数据。期刊想要提高自身影响力，在编辑、出版、传播、服务全程都要下功夫，需要顺应时代发展，借助信息化手段，多渠道扩大期刊影响力、推动知识传播，尤其要注意扩大期刊在国际上的影响力。(3)打铁还需自身硬，期刊应注重提高自身学术质量，引导作者、读者关注科学研究本身，加强数据出版规范、开放同行评审、支持注册报告出版等途径都是为了更好地提高和把控期刊论文的质量，这是期刊学术质量不断提升的过程。

5 结语

在开放科学模式高速发展的今天，期刊影响力评价体系的发展有了新的需求。本研究将开放数据、开放获取等开放科学内容融入期刊影响力评价指标选择的思路，希望能够为期刊评价的探索实践注入新的活力。在研究过程中可能会存在搜集的特征不全面，从而导致评价指标体系存在一定的局限性。在后续的研究中，会进一步细化期刊评价指标体系中的评分标准、扩大实证范围，进一步提高评价方法的合理性和准确性。本研究提出的指标体系主要考察的是期刊的开放性与传播能力，它们是期刊影响力的一部分。新的指标可以对传统的期刊评价体系进行补充，科学完整的学术期刊评价还需要综合传统的期刊评价指标。下一步的研究可以尝试将开放科学视角下的期刊影响力指标与传统期刊评价指标整合为一个完整的期刊评价体系。