OA期刊质量评价实证研究——双盲与开放评审模式对比分析

■贺 颖 徐小然

天津师范大学管理学院，天津市西青区宾水西道393号 300387

随着科学技术的突飞猛进和开放科学(Open Science)的深入人心，开放获取(Open Access，OA)期刊的质量受到广泛关注，大致原因如下：(1)OA期刊虽然是高效的学术交流方式，但科研用户仍是按照传统标准判断OA期刊的价值；(2)OA期刊虽然出版速度快且免费获取，但若没有质量保证，其可用性和作为科学交流平台的价值就无法保障；(3)作者是否愿意向OA期刊投稿并支付发表费仍取决于期刊的学术质量，而不是出版模式和载体。因此，学术质量不仅是OA期刊的生命线，也是其赖以生存和发展的基础。

目前OA期刊质量评价体系尚未统一，国内外针对OA期刊质量评价的研究主要集中在期刊学术影响力和期刊本身质量的评价[1]。同行评议[2]、引文分析、网络计量学[3]、网站性能测评以及影响因子评价法[4-6]、综合评价法[7]等都被用来评价OA期刊。Naidu等[8]通过权威数据库、是否核心期刊、是否获奖、国际论文比等指标建立了OA期刊质量评价指标体系。张红芹等[9]肯定了传统的期刊质量评价理论与实践适用于OA期刊，但也认为将传统纸质期刊总结出来的方法完全应用于OA期刊评价可能还是会存在一些偏差。顾立平等[10]认为应该基于数字开放环境来思考OA期刊的评价指标对于OA中免费在线获取、分享特性的适用性，以及其“开放”的监督作用是否对OA期刊质量有所帮助。王新[11]以物理学科为例，提出高被引OA论文的开放情况和被引率是评价一个学科OA期刊学术影响力的核心指标,也是OA期刊的价值体现。Wei[12]建立开放度量指标来衡量OA期刊的社会影响。目前，国内大多数专家主要是从引文或其他传统分析的角度来整体评价OA期刊，较少研究人员会从“开放”角度分析OA期刊的影响。本文认为OA期刊的质量评价应从“学术”和“开放”两个维度进行探索，并分析“学术”和“开放”两个维度在评价OA期刊学术质量和传播影响力方面的相关性以及差异，为OA期刊的评价提供理论参考。

1 研究过程

1.1 研究问题

由单盲评审的作者被动性导致的不公正性催生了双方信息均隐匿的双盲评审[13]，后来各方为积极防范歧视等问题发生，要求提升评审的透明度，开放评审应运而生。常唯等[14]分别调研双盲评审与开放评审，通过比较发现，两者都在不同的角度提高了文章的质量与价值。因此，本研究采用对比的方式，对采用双盲评审和开放评审模式的OA期刊质量从不同维度进行对比评价，并观察在两种质量可保证的评审类型中OA期刊质量评价维度是否有差异。由此，提出以下研究问题。

问题一：采用双盲评审和开放评审模式的OA期刊的两个质量评价维度是否有差异？

问题二：学术质量维度和开放质量维度是否对不同评审类型的OA期刊具有相同的评价效力，即哪个评价维度更适用于哪种评审类型的OA期刊？

1.2 研究基础

1.2.1 学术维度评价工具

目前来看，传统期刊质量评价的结果主要体现在每年定期公布的《期刊引证报告》(JournalCitationReports，JCR)上。在JCR的代表性指标中，被引频次和影响因子表征该学术期刊在所属学科领域的影响力，且均呈现正比关系，可在一定程度上说明期刊的学术质量。工程索引(Engineering Index，EI)是美国工程信息公司(Engineering Information Inc.)推出的工程技术类文献检索工具，一直严格遵守“严谨”二字，因以水平高、实用价值强、质量上乘为原则来选择合适的期刊而饱受赞誉[15]。因此，本研究借用JCR以及EI收录作为引文分析评价的工具。

1.2.2 开放维度评价工具

DOAJ也有一个评价指标——DOAJ Seal，它是用来评定OA期刊开放性的指标[16]。DOAJ将DOAJ Seal颁发给在OA出版方面成绩显著的期刊，“显著”体现在期刊必须符合7个标准，即在长期保存(Long Term Preservation)、持久标识符(Persistent Article Identifiers)的使用、许可证类型(License Type)、许可证信息(License Information in Article)、论文元数据(Metadata Supply to DOAJ)和作者权利(Copyright and Publishing Rights)、自我存档(Self-Archiving Policy)7个方面具有最佳实践。DOAJ对其数据库中OA期刊的认定严格执行实时监控，一旦期刊不再符合标准，则撤销Seal的授予。由此看来，DOAJ Seal在评定OA质量上秉持认真、谨慎的态度。

1.3 数据来源

选择DOAJ数据库，分别检索Open Peer Review(OPR)和Double Blind Peer Review(DBPR)两种评审类型，得到175种采用开放式同行评审的OA期刊和9123种采用双盲同行评审的OA期刊(数据时效性截至2021年7月1日)。通过网络爬取检索期刊名称、ISSN、EISSN、是否有DOAJ Seal认证等数据，之后与采集到的2021年度JCR中的SCIE、SSCI、A&HCI，以及EI期刊检索目录进行数据对比，确定175种开放评审OA期刊和9123种双盲评审OA期刊是否被收录，最终形成数据表(表1)。

表1 DOAJ收录的采用双盲评审或开放评审的OA期刊数据表(节选)

1.4 研究思路与方法

考虑到所采集的数据涉及双盲、开放评审模式，在两种评审模式下又分别进行了“学术”和“开放”两个维度的划分，产生了“0”与“1”的赋值，加上本研究从“学术”和“开放”两个维度分析OA期刊的质量评价作用之间是否具有显著性影响，因此可以采用交叉列联分析方法。交叉列联分析可用于分析两个或两个以上分类变量在不同取值情况下的数据分布情况，可以深入分析变量之间的相互独立或相互关系的统计分析过程。本研究根据采集数据的特性，分别观察采用双盲评审和开放评审的OA期刊入选JCR和EI与获得DOAJ Seal认证是否能一一对应，是否具有相关性，即验证学术质量维度和开放质量维度的关联性。

对两个维度的评价指标进行比对分析，以判定哪一种维度对OA期刊的评价更有效，而ROC曲线恰好能很容易地查出在任意界限值时对评价结果的识别能力。它的原理是监测两种及以上检测变量对同一状态信号刺激的反应，并将观测数据绘制到同一坐标中，直观地识别优劣：距离对角参考线越远，即ROC曲线中检测线下的面积越大，有效程度越高，质量评价效果就越优[17]。在本研究中ROC曲线主要用于两个不同质量评价维度对不同评审类型的OA期刊质量评价有效程度的检验。

2 研究结果

2.1 学术质量维度与开放质量维度的关联

(1)双盲评审模式下数据实证结果。表2～4展示了双盲评审模式中，学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)的交叉列联统计数据、卡方检验(Chi-Square Test)值(P<α)以及关联程度(r=0.061)数据。可以看出，采用双盲评审模式的OA期刊的学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)具有显著性关联，但由于采用双盲评审模式的OA期刊样本数量很大(9123种)，所显示的关联程度很微弱，关联度系数才0.061。

表2 双盲评审模式下学术评价维度(JCR & EI)与 开放评价维度(DOAJ Seal)的交叉列联结果

表3 双盲评审模式下学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)的卡方检验结果(N=9123)

表4 双盲评审模式下学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)的关联程度(N=9123)

(2)开放评审模式下数据实证结果。表5～7展示了开放评审模式中学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)的交叉列联统计数据、卡方检验值(P<α)以及关联程度(r=0.480)数据。可以看出，开放评审类型的学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)有显著性关联，关联度接近中度相关的程度。

表5 开放评审模式下学术评价维度(JCR & EI)与开放 评价维度(DOAJ Seal)的交叉列联结果

2.2 不同质量评价维度的有效性及程度

(1) 双盲评审模式下数据实证结果。图1所示为采用双盲评审模式的OA期刊学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)有效性测评ROC曲线，可以看到，线1和线2都处于敏感度有效区域，且线1比线2更远离参考线，说明线1所代表的开放评价维度(DOAJ Seal)比线2所代表的学术评价维度(JCR & EI)对双盲评审模式的OA期刊质量更有判别效力。表8所示为两条ROC曲线下的面积数据，开放评价维度(DOAJ Seal)的AUC(即ROC曲线下的面积)为0.730，大于学术评价维度(JCR & EI)的AUC 0.695，同样说明开放评价维度(DOAJ Seal)比学术评价维度(JCR & EI)更能评价双盲评审模式的OA期刊质量。

表6 开放评审模式下学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)的交叉列联卡方检验结果(N=175)

表7 开放评审模式下学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)的关联程度(N=175)

图1 双盲评审模式下学术评价维度和开放评价维度ROC曲线

表8 双盲评审模式下学术评价维度和开放评价维度的AUC

(2)开放评审模式下数据实证结果。图2所示为采用开放评审模式的OA期刊学术评价维度(JCR & EI)与开放评价维度(DOAJ Seal)有效性测评的ROC曲线，可以看到：线3和线4都处于敏感度有效区域，且线3比线4更远离参考线，说明线3所代表的开放评价维度(DOAJ Seal)比线4所代表的学术评价维度(JCR & EI)对开放评审模式的OA期刊质量更有判别效力。表9所示为两条ROC曲线下的面积数据，开放评价维度(DOAJ Seal)的AUC为0.730，大于学术评价维度(JCR & EI)的AUC 0.695，同样说明开放评价维度(DOAJ Seal)比学术评价维度(JCR & EI)更能评价开放评审模式的OA期刊质量。

图2 开放评审模式下学术评价维度和开放评价维度的ROC曲线

表9 开放评审模式下学术评价维度和开放评价维度的AUC

3 研究启示

3.1 验证了DOAJ收录的OA期刊的学术质量

OA期刊的质量及其学术影响力不断提升，促进学术交流和信息资源共享，加快科学研究成果的传播和转化，对学术界产生积极的影响。OA期刊不仅沿用了传统学术期刊的同行评议制度，而且利用网络平台的快捷和交互特性，积极采取开放同行评议制度，极大地保证了OA期刊的质量，促进OA期刊的良性发展。此外，OA期刊越来越受到著名检索机构的重视和认可，并没有因为其免费使用而影响OA期刊的质量，反而因为免费，增加了其显示度和可获取性，进而提高其学术质量。

3.2 OA期刊质量评价的“学术”和“开放”两个维度是互促与双赢的关系

从开放评价维度分析OA期刊的质量，开放程度越高，越能获得DOAJ Seal认证，期刊刊载的论文被阅读、下载、传播、引用的概率就越大。随着论文被引用数量的增加，OA期刊学术质量同步提升，加上OA的优势，被关注度更高，更易于在网络中被传播和被引用。因此，OA期刊质量评价的两个维度——学术与开放相互促进、共获双赢。

3.3 开放评审模式增加学术评价维度和开放评价维度的关联性

采用开放评审模式的OA期刊质量的学术评价维度与开放评价维度接近中度显著性关联，而采用双盲评审模式的OA期刊则不具备这种关联特性，说明开放评审增加了同行评议过程的透明度，进而增加了OA期刊的开放性。因此，开放评审不仅提高了OA期刊的学术质量，更扩展了其开放评价维度，使得两种评价维度更加紧密地联系在一起。

3.4 开放维度对OA期刊质量更有评价效力

无论是在双盲评审模式还是在开放评审模式，开放和学术这两个评价维度都能很好地评价OA期刊。开放维度提高了OA期刊的影响力，为期刊扩大影响范围，吸引作者投稿铺垫了坚实的基础，而学术维度约束着期刊时刻把控质量，但开放评价维度比学术评价维度对OA期刊质量评价更具优势。因此，开放评价维度质量标准的认定和统一，对OA期刊学术质量评价起到很重要的作用。

4 结语

本研究对采用双盲评审模式和开放评审模式的OA期刊质量进行了实证研究，验证了“学术”和“开放”维度对OA期刊质量评价的重要性。本研究的创新点为：(1)将OA期刊的质量评价分为两个维度，即以引文分析为基础的传统“学术质量评价维度”和以开放程度为标准的“开放质量评价维度”；(2)将采用双盲评审和开放评审模式的OA期刊作为研究样本，验证两个质量评价维度的关联及有效性；(3)用网络爬取的OA期刊质量数据进行实证分析。本研究不足之处在于：(1)只研究了采用双盲评审和开放评审模式的OA期刊，没有涉及单盲评审、委员会评审等评议模式；(2)OA期刊的学术质量评价仅以是否被JCR、EI收录为标准，没有考虑其他学术质量评价体系。今后，希冀用更多不同评审模式和质量评价体系来对OA期刊的质量评价维度进行验证。