基于FMECA方法的同行评议系统可靠性分析

■盛怡瑾 初景利

1)中国科学院文献情报中心，北京市中关村北四环西路33号 1001902)中国科学院大学经济与管理学院，北京市海淀区中关村东路80号 100190

同行评议是科学的基石[1]，也是学术期刊的主要功能之一，其质量不仅决定着期刊质量，也决定着整个科学社区的质量。同行评议过程涉及诸多复杂因素，及与人的频繁合作与互动，故难以被严格把控和管理，因此一直存在许多缺陷和问题。近年来，撤稿事件频繁发生[2]，同行评议造假或同行评议欺诈等学术不端行为愈演愈烈[3-8]，同行评议质量问题再次引起人们关注。一些研究者对同行评议的质量进行了综合探讨，例如：Siler等[9]通过分析期刊录用文章的引用情况及被拒稿件在他刊发表后的引用情况来判断同行评议质量；Vinther等[10]通过退稿追踪研究同行评议质量；刘军等[11]研究了同行评议中的伦理学风险控制问题；陈培颖等[12]调研了自动化领域作者和审稿人对同行评议的态度，认为同行评议普遍存在评审周期长、评审过程不透明、结果不具体、评价不客观、故意延迟及审稿人剽窃等问题；成方哲等[13]分析了同行评议存在的问题，并为编辑部提供策略建议。还有一些研究者通过分析同行评议的审稿人遴选[14-16]、模式选择[17-18]、时间控制[19-20]等具体问题来研究同行评议质量。总体来说，虽然目前关注同行评议质量的研究很多，但研究角度和侧重内容各不相同，缺乏对同行评议风险和问题的系统性研究，对同行评议系统的可靠性分析也非常少。而事实上，同行评议是一个多因素相互作用的复杂过程，只有以系统的眼光进行分析，才能真正把握整个过程的可靠性，为提高其质量找到突破口。故障模式影响及危害性分析(Failure Mode Effects and Criticality Analysis，FMECA)是工程领域常用的可靠性评价方法之一，在理工科领域有着广泛应用，亦有学者使用其评估供应链及大系统风险[21-23]，但其在人文领域的应用甚少，期刊领域更鲜有研究者用类似方法分析同行评议。实际上，FMECA方法能帮助期刊编辑部及相关研究者梳理逻辑，全面了解同行评议系统，快速发现及深入掌握其质量问题和风险，并分析系统的可靠性。因此，本文引入系统思想及FMECA对同行评议系统进行风险分析，先将同行评议进行系统建模，并根据FMECA方法对其展开研究。在实际操作中，本文改进并重新定义了相关标准以适用于同行评议，完善了该方法在期刊领域的应用。

1 FMECA方法概述

FMECA起源于美国[24]，是一种可靠性分析方法，着重于分析产品所有可能的故障模式及其产生的影响，并按照每个故障模式产生影响的严重程度及其发生概率分类，属于归纳分析方法。FMECA分为故障模式及影响分析(Failure Mode and Effect Analysis，FMEA)和危害性分析(Criticality Analysis，CA)两部分，前者是后者的基础。该方法被广泛应用于航空航天、船舰、兵器、机械、汽车、医疗等领域，是分析系统可靠性的重要方法之一。

1.1 概念解析

1.1.1 故障模式及影响

故障是产品或产品的一部分不能或将不能完成预定功能的事件或状态，包括功能故障和潜在故障两类。判断故障的依据是事先定义的故障判据。故障模式是可观察到的故障表现形式。故障影响指产品的每一个故障模式对其自身或其他产品的使用、功能或状态的影响，通常将这些按约定层次划分的故障影响分别称为局部影响、高一层次影响和最终影响[24]。

1.1.2 约定层次

进行FMECA分析时，先要明确分析范围，即FMECA从开始到结束的产品层次，这种规定的层次称为约定层次。以下是FMECA常用的约定层次[24]。

(1) 初始约定层次：要进行FMECA的产品所在的约定层次中的最高层次，是FMECA的最终影响对象。

(2) 约定层次：根据FMECA的需要，按产品的功能关系或组成特点进行FMECA的产品所在的功能层次或结构层次。

(3) 其他约定层次：相继的约定层次，表明直至较简单的组成部分的有顺序排列。

(4) 最低约定层次：约定层次中最底层产品所在的层次。

1.1.3 危害性分析

危害性分析是指按照每个故障模式的严重程度及其发生概率所产生的综合影响对系统中产品进行分类，常用的方法是风险优先数法。某一产品的风险优先数(Risk Priority Number，RPN)等于故障模式发生概率等级(Occurrence Probability Ranking，OPR)和严酷度等级(Effect Severity Ranking，ESR)的乘积，有时还考虑再乘以检测难度等级(Detection Diffculty Ranking，DDR)。

1.2 基本步骤

FMECA分析的主要步骤是：(1)系统定义，分为产品功能分析和框图绘制；(2)故障模式分析，找出给定任务功能下所有可能的故障模式；(3)故障原因分析，分析每个故障模式产生的原因，进而采取改进措施以防止或减少故障模式发生的可能性；(4)故障影响及严酷度分析；(5)故障检测方法分析，为产品维修工作提供依据；(6)设计改进与使用补偿措施分析；(7)危害性分析[24]。

2 同行评议的FMECA分析

2.1 故障模式及影响分析

2.1.1 系统定义

美国系统学家Gorden将系统定义为相互作用、相互依靠的所有事物按照某些规律结合起来的综合[25]。同行评议可以被看作是编辑部和审稿人按照某些规律结合起来对期刊稿件进行过滤及评价的综合，具有系统的特征和功能，因此，可将其他领域系统上使用的可靠性分析方法移植到同行评议系统中。

作为系统，同行评议的目标是对来稿进行可靠的评价，筛选出高质量的文章。现实中不同编辑部的同行评议过程不完全相同，且具体操作细节都按编辑部习惯把控，给系统及其子系统的划分带来困难。但从功能上讲，各个编辑部的流程都大同小异[26-27]。因此，从功能上可将系统分为初审、外审、编辑再处理、编辑部决定及结果传递5个子系统(图1)。对于来稿，系统首先进行初始的科学性判断及审稿人选择，无论是主编、编委还是编辑来处理这个过程，该阶段的功能都是进行稿件筛选、审稿人遴选和送审，因此，可忽略编辑部采用的具体模式，将该阶段概括为初审。通过初审子系统的稿件要再经过外审、编辑再处理及编辑部决定，这3个子系统是根据稿件得到的不同外审意见而循环进行的，复审因其流程及功能与外审类似，可直接表示为编辑再处理与外审子系统的循环，不再单独表示。编辑部再处理子系统包括除初审、编辑部决定及结果传递外的一切编辑工作，如沟通、修改、核对等。编辑部决定包括录用决定、审稿决定以及其他决定，无论是主编终审、定稿会决定还是其他模式，都可以被概括到这一子系统。编辑部决定后进行结果传递。该过程同时传递物质(稿件)和信息(评价信息、稿件信息等)，系统功能框图见图2。为了更好地定义系统，使用系统的任务可靠性框图(图3)来表示(任务可靠性框图不表示顺序)。

图1 同行评议系统功能划分及系统约定层次

图2 同行评议系统功能框图

图3 同行评议系统任务框图

2.1.2 故障模式分析

根据故障的概念，凡是影响同行评议系统最终目标——稿件筛选及正确评价文章质量的事件或者状态，都被称为同行评议系统的故障。为了更好地进行研究，将同行评议的目标根据质量的定义进行细化，从而制定出故障判据。一般地，质量是指一组固有的特性满足要求的程度，而要求是指明示的、通常隐含的或必须履行的需求或期望[28]。现代质量观认为，质量包含了产品的专用特性、通用特性(可靠、维修、保障、安全、测试)、经济性、时间性、适应性等方面，是产品满足使用要求的特性总和[24]。从作者和编辑部对同行评议的需求分析，同行评议质量意味着审稿准确、公平、一致，而且该过程具有快速、低成本的特点。因此，同行评议故障判据包括专家认真准确地审稿、审稿公平、最后得到一致有效的评价意见、整个流程快速高效、尽量降低编辑部工作量和成本。凡是对上述5个方面产生不利影响的事件或者状态，都被称作同行评议系统故障。通过对系统各部分的分析、判断和预测，得到同行评议系统故障模式，如表1所示。

作者投稿后，往往要等待很长时间才能得到编辑部初筛的回应(是否符合期刊定位与格式，是否被拒绝，是否送外审等)，尤其是对于等待数周却得知初筛被拒的作者更不公平，这不仅严重耽误作者修改与再投时间，并影响作者体验，还拖慢编辑部的工作流程。与外审过程相比，初筛的过程不过分关注细节，理论上应该可以快速完成，因此，“初筛处理时间长”被列入同行评议系统的故障。“决策工作量大”是指为了作出决定而需要采取的步骤及人力物力比较多，比如有的期刊为了决定某篇外审专家意见不一的稿件去留而召开定稿会，其工作量和成本均较高。“习惯性拖延”是指编辑在处理与审稿人的沟通、审回稿的梳理、稿件通读、修回核对、与作者沟通等事务上存在的拖延，导致事件不能在第一时间得到处理。

表1 同行评议系统故障模式

2.1.3 故障原因分析

分析出系统的故障模式后，再根据同行评议系统功能原理、文献叙述和现实体验分析每个故障模式的可能产生原因，如表2所示。

表2 同行评议系统故障原因

2.1.4 故障影响分析

为了判断故障模式产生的影响，先将同行评议系统按照功能划分层次(图1)：同行评议系统属于初始约定层次，是FMECA的最终影响对象；图1第4级是最低约定层次，FMECA要在每个约定层次上分析每种故障模式对本层次、上一层次及最初约定层次的影响。对于工程系统来说，每个约定层次产品的下一级分析对象都能够具象为有限个产品，但作为同行评议系统，越低层的约定层次的下一级分析对象越由非常琐碎的若干功能构成，因此图中有的约定层次的下一级分析对象没有表示在图1中，但在分析时会被识别并考虑。为了能够判断这种影响，先要定义故障模式的严酷度等级。借鉴武器装备领域常用的严酷度等级，本研究将同行评议系统故障模式的严酷度定义为4级，分别是Ⅳ级(轻度)、Ⅲ级(中等)、Ⅱ级(致命)、Ⅰ级(灾难性)，对各种级别的严酷度定义如表3所示。

故障模式的影响分为局部影响、高一层次影响和最终影响。分析故障模式最终影响的严酷度等级时，不考虑已有的措施，其可能造成的最坏故障影响如表4所示。

表3 同行评议系统的严酷度等级与定义

表4 同行评议系统故障模式影响

2.1.5 故障检测方法及改进与使用补偿措施分析

综合前文分析的故障模式、原因及影响，本研究提出对各个故障的检测方法及可能的改进设计或者补偿措施，如表5所示。

2.2 危害性分析

首先参照可靠性理论的一般习惯，对故障模式发生的概率等级、严酷度等级及检测难度等级进行划分，结果如表6所示。

再根据现实的一般情况对故障模式进行评级，并对RPN的值进行降序排列，结果如表7所示。评分越高，说明该故障模式导致的系统故障风险越大。

表5 同行评议系统故障检测方法及补偿措施

表6 OPR、ESR、DDR等级划分

表7 同行评议系统风险优先数

由表7可以看出，找不到合适的审稿人、审稿时间长、审稿意见不准确、审稿意见不公平、审稿人意见不一致及录用决定错误是危害性较高的故障模式，应在实际工作中特别关注。

3 策略建议

通过使用FMECA方法对同行评议系统进行可靠性分析，能够更全面地看到系统中存在的问题，这种抽丝剥茧、层层相扣的分析方法有助于发掘同行评议过程中易疏忽的工作，以增强系统的可靠性。表7找出了对同行评议系统危害性较高的几种故障，编辑部应当对其给予足够重视，并在控制同行评议质量时优先考虑这几种故障模式，从而确保同行评议过程的可靠性。为了降低同行评议故障的危害性，可以考虑根据实施难度和成本，选择性降低故障发生概率、严酷度等级或故障检测难度。表5列出了故障模式的应对方法。通过分析，某一个举措有时能解决某几个故障模式，因此，这些共性的举措也应该被重视和讨论。

(1) 加强编辑部数字化建设。首先，采编系统不仅要实现传统采编功能，还应科学设置时间节点和提醒功能；并具备记录操作的功能，将整个流程的数据记录下来供编辑分析和改进；与审稿人和作者的沟通要尽量方便、及时、简洁，系统应嵌入比较常用的沟通手段接口，方便审稿人和作者即时反馈信息。其次，重视期刊网站平台的建设。该平台肩负着期刊对外宣传展示、信息发布及培训等功能，其中，投稿须知、写作准备、数据格式及辅助工具等教程和培训，不仅能够规范稿件，提高来稿质量，转移或减轻编辑部工作量，还能够增加作者满意度和依赖性，提升期刊的影响力和威望。

(2) 审稿人遴选应日益科学化及定量化。随着网络技术的发展，审稿人可选范围不再受到空间限制，这也使编辑无法深入了解审稿人。此外，稿件激增使得审稿人数量日益庞大，学科交叉融合发展促使研究方向更加细化，单纯依靠编辑经验、记忆及专家库的简单检索来选取审稿人已不适应办刊要求。理想的审稿人应满足以下要求：其研究方向与稿件细分方向一致，稿件拒绝率低，回应邀请及时，审稿准确，审稿速度快。在审稿人遴选时要综合考虑以上要素，采用系统数据、外部数据及专家评价设计合理的遴选模型，从而在源头上杜绝或者减少同行评议中后期可能会产生的问题。

(3) 注重评价。编辑部要积极进行自我评价：首先要设计合理的审稿意见评价方式，这样不但可以提高同行评议的可靠性，而且可以为审稿人遴选、专家激励、评优等提供参考；其次要注重细化对编辑工作的评价，充分考虑编辑在整个过程中的工作量、拖延情况、工作表现等数据，并对其办公效率和质量进行评价，这不但能够促使编辑更负责、快速地处理事务，还能够为编辑部的员工管理和激励提供定量依据。

4 不足及改进

引入工程领域中常用的产品可靠性分析方法FMECA，以系统的眼光去分析同行评议及其存在的问题，可以为编辑部提供一定的参考。本研究对系统功能及可靠性框图的绘制是基于同行评议的一般流程，试图从宏观上研究系统共性问题，没有照顾到特定系统的特殊性和细节，但在实际使用时，特定系统仍可以按照此方法进行更详细的分析。需要在下一步工作中继续完善的是，本研究中对故障模式的选择、严酷度等级、发生概率等级、检测难度等级的评分都是根据文献及现实的一般情况填写的，如果结合专家咨询、问卷调查、访谈、系统数据获取等方式得到大量数据再进行分析，会得到更好的结果；尤其是，特定的编辑部存在的问题及其严重程度都是不一样的，需要特殊问题特殊对待。

期刊同行评议系统对期刊质量至关重要，但因为同行评议过程复杂、多样，涉及诸多主观因素，因此，其可靠性难以评判，更无法量化。本研究借鉴工程领域常用的系统可靠性分析方法分析一般同行评议系统的风险，其结论和内容不仅能为编辑部提供参考，还为编辑部引荐了一种可用的有效方法，便于编辑部更好地分析自身，提高同行评议质量。