基于德尔菲法的开放获取期刊评价指标筛选

，

开放获取期刊(Open Access Journal,OAJ)是指可以在公共网络上免费获取，并允许用户进行检索、阅读、下载、复制、打印，以及其他任何法律允许，而没有经费、法律或技术方面的障碍，经过同行专家评阅的高质量全文电子期刊[1]。OAJ具有开放性、时效性，降低了资源建设的成本，增强了信息服务的时效性，拓宽了资源采集的途径[2]，已经成为重要的学术资源之一。截至2016年1月7日，DOAJ(Directory of Open Access Journals)收录的OA期刊已经增长为11 135种[3]。为了更好地选择、采集、提供优质的OAJ资源从而为用户服务，本文旨在应用德尔菲专家咨询法(Delphi)筛选出相对科学、合理、适用于OAJ评价的评价指标，并对指标筛选过程中的相关问题进行探讨。

1 材料与方法

1.1 评价指标的初步筛选

通过中国知网、万方数据知识服务平台、图书馆信息科学文摘数据库(Library and Information Science Abstract，LISA)、PubMed等中外文数据库获取有关期刊评价和国内外OAJ方面的文献资源，参考有关OAJ评价和信息资源建设方面的专著[4-7]，并访问DOAJ、BioMed Central、Free Medical Journal、Hinari、Medknow、SciELO等著名出版商网站，以及国际开放学术出版商协会(OASPA)、出版道德委员会(COPE)、世界医学编辑协会(WAME)和国际科学技术医学出版商协会(STM)提出的期刊最佳实践标准等网络资源，参照现行标准或规范来筛选OAJ的评价指标、评价方法和评价角度，初步筛选、建立OAJ评价指标框架。

1.2 评价指标的进一步遴选

1.2.1 专家遴选

为了构建科学有效、可操作性强的OAJ评价指标体系，减少主观因素(如研究领域、学术水平、学科差异等方面对评价结果的影响)，在构建评价OAJ评价指标体系时，邀请16名具有副高级专业技术职称及以上的图书馆学、情报学和临床医学(用户代表)专家，具有中级专业技术职称的业务骨干参与评价指标的遴选。其中，专家应从事相关工作2年以上并且对本研究感兴趣，愿意配合专家咨询；用户代表选取医学领域的专家，是因为医学领域的开放获取期刊的数量和增长速度在各领域中居首位。

1.2.2 编制专家咨询表

第一轮问卷向专家提供初步拟定的评价指标，包括一级指标3个，二级指标7个，三级指标12个，主要是各位专家根据指标的重要程度分别对各项指标进行打分。若重要程度用K表示，则将评价指标的重要程度设定为非常重要K1、比较重要K2、一般重要K3、不太重要K4、不重要K5五个等级，并给每一等级设定一个分值：K1=9，K2=7，K3=5，K4=3，K5=1。专家咨询问卷首先介绍了OAJ评价的必要性和各备选指标的释义，主要是各位专家对OAJ评价备选指标的重要性判断。此外，问卷还设立了半开放式问题，以便专家对于指标的设置提出意见。

第二轮的调查咨询表主要分为两部分。第一部分是专家对经过第一轮结果分析修正后的评价指标提出是否需要增加、修改和删除等建议，进一步判断和完善评价指标体系；第二部分是专家基本信息调查表(专家的年龄、研究领域、工作年限、专业技术职称等基本信息)和专家权威程度自评表(主要了解专家对指标的熟悉程度和判断依据)。

1.2.3 咨询结果分析与综合评价指标的筛选

指标的筛选需针对专家提出的修改意见进行，指标的修改、增加或删除至少需要3位专家提出相同的意见或建议。入选指标的得分均值应在7分以上，有较高的重要比率得分，变异系数较小，尽量控制在0.5以下。

1.2.4 专家咨询可靠性分析方法

本文采用专家积极系数、专家协调系数和权威系数3项指标检验第三轮专家咨询的可靠性。

一是评价等级、判断依据、熟悉程度的量化。对问卷结果进行数据分析所采用的量化标准见表1至表3。

表1 评价指标评分标准表

表2 专家熟悉程度量化表

表3 专家判断依据及影响程度量化表

二是有关统计指标的计算。

(1)专家的权威系数Cr

专家的权威性对评价结果的可靠性至关重要。因此，在衡量评价结果时要考虑专家对某一指标要素的权威系数Cr。Cr一般由两个重要因素决定，一是专家的判断依据Ca，二是专家对问题的熟悉程度Cs。Cr越大，说明专家的权威程度越高。计算公式为：

(2)专家的协调系数W

协调系数是用来描述专家对方案协调程度好坏的指标，在0到1之间。W越大说明专家的协调程度越好，计算公式为：

式中，L：i专家评价中有相同评价值的组数；tl：L组中的相同等级数。

协调系数显著性检验

自由度df=n-1，如果P<0.05，说明专家评估或预测协调性好，结果可取，否则不可取。

(3)专家的积极系数

专家的积极系数即专家咨询表的回收率，其大小说明专家对该项目研究的关心程度。

1.3 统计分析

采用Epidata 3.1双轨录入数据并纠错，利用EXCEL 2007进行数据统计分析。

2 结果与分析

2.1 专家组构成情况

本研究邀请的16名专家中，图书馆学专家6人，情报学专家7人，临床医学专家(用户代表)3人。专家平均年龄(43.44±7.66)岁，平均工作年限(18.56±8.56)年，其中具有副高级及以上专业技术职称的专家15人，占93.75%。专家构成情况见表4。

表4 专家构成情况

2.2 专家权威系数Cr

专家权威程度自评结果显示，各一级指标的熟悉程度Cs在0.75-0.8之间，平均值为0.775；判断依据Ca在0.8875-0.9375之间，平均值为0.9167。各一级指标的权威程度系数Cr在0.8188-0.8688之间，平均值为0.8458(表5)。

表5 专家权威程度自评结果

2.3 专家协调系数W

根据专家的评分结果，最后得出专家协调系数W为0.398，Χ2为54.9，P值小于0.05，具有统计学意义。检验结果表明，经过两轮专家咨询后，专家意见的协调性较好，结果可取，无需进行第三轮咨询。

2.4 专家积极系数

专家积极系数表示专家对被研究的关心程度，一般以问卷的有效回收率来表示。其中第一轮共发放问卷16份，回收问卷16份，有效问卷16份，有效回收率为100%；第二轮发放问卷16份，回收问卷14份，有效问卷14份，有效回收率为87.5%。因此，两轮专家积极系数为100%和87.5%。

2.5 指标的筛选结果

指标筛选是根据指标的集中程度和变异程度确定的，入选指标得分均值应在7分以上，有较高的重要比率得分，变异系数较小，尽量控制在0.5以下。第一轮指标得分情况具体见表6。

表6 第一轮开放获取期刊评价指标得分情况

经过第一轮的德尔菲调查，修改、完善后的指标体系包括3个一级指标、7个二级指标和16个三级指标。根据表6中各指标得分情况可知，专家的意见较为一致。因此第二轮调查主要是专家对修正后的评价指标提出是否需要增加、修改和删除，进一步判断和完善评价指标体系，并未进行打分。第二轮的调查结果显示，各位专家对于“开放获取期刊评价指标”基本达成一致，除两位专家在三级指标方面提出意见外，其他仅是个别指标语言表述方面和结构调整方面的些许意见或建议。本文最终得到的开放获取期刊评价体系包含一级指标3个、二级指标7个、三级指标22个(表7)。

表7 开放获取期刊评价指标

3 讨论

3.1 指标体系的内容应充分体现评价对象的特点

构建评价指标体系时，一方面要有科学的理论作指导，确保指标体系的基本概念和逻辑结构严谨合理；另一方面，评价指标体系应具备全面性和针对性，充分体现评价对象的特点。本文的研究对象OAJ具有免费获取、数字化、网络化、质量良莠不齐、影响力逐步增加等特点，因而选择开放程度、质量和影响力3个维度建立评价框架，评价指标基本涵盖了各维度中的关键问题，具有一定的针对性。

3.2 遴选指标的方法应注重合理性和可靠性

德尔菲法经历了多年的发展，在各研究领域得到了广泛的应用。它依据不同领域内专家的经验、知识，对初步拟定的指标进行分析、判断，并且所有过程均是采用匿名或背靠背的方式，使每一位专家独立判断，不受其他人员的干扰影响。此外，预测过程必须经过几轮的反馈，使专家的意见趋于一致，这样得到的结果更具有代表性和可靠性。第一轮咨询的目的主要是确定指标体系的框架和评价指标，第二轮咨询的主要目的是进一步修正完善评价指标。

3.2.1 专家的代表性和权威性

一般来说，专家的选取关乎德尔菲法成功与否。本文选取的专家具有副高级及以上专业技术职称的专家15人(占93.75%)，并且在专业领域的平均工作年限为18.56±8.56年，说明专家意见具有可靠性和代表性。

专家的权威程度与预测精度呈一定的函数关系，预测精度随着专家权威程度的提高而提高，一般认为权威系数Cr≥0.7即可以接受。结果显示，三个一级指标的权威系数Cr在8188-0.8688之间，平均值为0.8458， 可以认为本文中的专家权威程度较高。

3.2.2 专家的积极性和一致性

专家的积极性一般以问卷有效回收率表示，两轮的专家积极性系数分别为100%和87.5%。艾尔巴比指出，50%的回收率是可以用来分析和报告的最小比例，60%的回收率比较好，70%非常好[8]。因此，本文具有较好的积极系数，反映了专家对本文的关心和支持程度较高。

通过计算专家意见的协调系数可以判断专家对每项指标的评价是否存在较大分歧，同时也是咨询结果可信度的衡量指标。协调系数表示全部专家对全部指标的协调程度，其值介于0-1之间，该系数越大越好。本研究的协调系数W为0.398，P值小于0.05，具有统计学意义。结果表明，经过两轮的专家咨询后，专家意见的协调性较好，可信度很高，结果可取。

4 结语

利用德尔菲法筛选开放获取期刊的评价指标是一种有益的尝试和探索，可以更好地遴选和评价开放获取资源，为资源建设提供参考。虽然本次调查专家的积极性、权威程度和协调程度均达到要求，但是筛选出的指标仍可能受到专家局限性的影响，因此指标体系需要在今后的实际应用中进一步进行检验和完善。