学术期刊评价中DEA方法的系统误差研究

关键词： 学术期刊； ＤＥＡ； 效率分析； 系统误差； 学术评价

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．０９．０１３

〔中图分类号〕Ｇ３０２ 〔文献标识码〕Ａ 〔文章编号〕１００８－０８２１ （２０２４） ０９－０１５４－０９

学术期刊是学术交流和学术思想传播的重要平台和载体， 将学术期刊出版视为知识生产系统， 并对学术期刊进行投入产出效率分析， 有助于提高学术质量， 促进科技繁荣， 为优化学术期刊高效率发展路径提供意见参考。现有的学术期刊效率分析包括引证效率、知识交流效率、投入产出绩效、期刊生产率、期刊运行效率、期刊传播效果等； 投入产出效率分析在科技评价领域的应用也较为广泛， 包括科研机构评价、科研团队评价、大学评价、地区科技绩效评价等。数据包络分析（ＤＥＡ）是ＣｈａｒｎｅｓＡ 等［１］ 最早提出用于投入产出效率分析的方法。它基于运筹学的原理， 求解决策单元的效率， 并且对投入要素的改进方向进行估计， 被广泛应用在经济、社会、科技、军事等评价领域。目前基于ＤＥＡ 模型的评价方法已经形成了一套庞大的体系， 根据测度效率的原理、约束因素、方法等不同， ＤＥＡ 模型又不断延伸拓展为成百上千的模型。将ＤＥＡ 模型应用于学术期刊效率评价， 有助于从投入产出的角度分析学术期刊的发展现状及发展过程中存在的问题。

学术期刊效率评价中不可避免地出现误差。任何评价都存在一定的误差， 误差分为系统误差和偶然误差两类， 系统误差是指评价结果与真实值之间的差距， 偶然误差是单次测量与多次测量平均值的差距， 两者共同决定了评价结果的准确性。学术期刊效率评价中只存在系统误差， 产生系统误差的原因多种多样， 比如评价目的不明确、投入产出指标选取错误、模型方法应用错误等均可以产生系统误差。系统误差的存在扭曲了评价结果， 从而影响学术期刊评价的科学性和有效性。由于评价方法导致的系统误差又是隐含的， 不易察觉， 其对评价结果造成的危害较大。开展基于ＤＥＡ 模型的学术期刊效率评价的系统误差研究， 不仅有利于深化ＤＥＡ方法在学术期刊评价中的应用， 提高学术评价方法的科学性和有效性， 而且有利于保证评价结果的公平公正性和合理性。

１文献综述

关于ＤＥＡ 模型在学术期刊评价中的应用， 学术期刊效率分析的相关文献如表１ 所示。从评价目的来看， 现有的学术期刊评价研究主要涉及跨学科期刊比较［３］ 、引证效率［４－７］ 、知识交流效率［８－１１］ 、期刊投入产出绩效［１２］ 、期刊生产率［１３］ 、期刊质量［１４］ 、科研论文产出绩效［１５］ 、期刊运行效率［１６］ 、期刊数据库传播效果［１７］ 、图情期刊影响力［１８］ 等方面。学术期刊评价的研究对象涉及林业［２］ 、工业［３］ 、医学［１６］ 、经济学［４］ 、图书情报学［５－６，１１，１４，１８］ 、档案管理［１０］ 等学科， 既包括自然科学相关学科， 也包括人文社科相关学科， 此外， 还有少量研究涉及大学学院与期刊数据库。涉及的投入产出指标也五花八门， 包括特征因子、影响因子、被引特征、扩散指标等。从研究方法来看， 现有的学术期刊评价主要采用ＣＣＲ、ＢＣＣ 等传统的ＤＥＡ 模型， 也有研究将超效率分析方法、Ｍａｌｍｑｕｉｓｔ 指数、随机前沿、ＤＥＡ博弈交叉效率、非期望产出效率等方法拓展到学术期刊评价研究中， 总体来说， 学术期刊评价的研究方法还不够丰富。

关于期刊评价中ＤＥＡ 方法的选择， Ｏｒｔｅｇａ Ｆ Ｊ等［１９］ 采用生产函数随机前沿模型， 以影响因子、期刊载文量、编辑成员数为投入变量， 总被引频次为产出变量， 计算经济学期刊生产效率。ＭｃＷｉｌｌｉａｍｓＡ 等［２０］探讨了期刊录用比例、专题组稿、期刊价格、编委会成员数量对期刊知识交流效率的影响。Ｓｃｈｌｅｎ⁃ｋｅｒ Ｍ Ｂ 等［２１］ 采用８ 项指标研究了加拿大各眼科和视觉科学排名前十期刊的学术生产率。Ｌｅｅ Ｈ 等［３］引入反映学科差异的指标， 用来解决影响因子无法跨学科比较问题， 并建立了跨学科期刊ＤＥＡ 方法。

关于评价误差的理论研究， 费业泰［２４］ 给出了系统误差的规范定义， 即测量中固有因素导致具有一定规律性的误差。郑凯［２５］ 认为， 测量精度是测量过程中随机误差和系统误差共同作用的结果。ＳｃｈｗａｂＤ Ｐ［２２］ 指出， 评价方法科学性、合理性的重要判断标准就是误差的大小及其可控性。关于系统误差的影响， 熊红星等［２３］ 将方法层面的系统误差称为方法变异， 并指出其会影响评价结构甚至评价理论建构。还有学者提出评估误差的方法， 例如， 杨桂元等［２６］构造损失函数评估预测误差并对模型质量进行估计。

从现有的研究来看， 基于ＤＥＡ 方法研究期刊评价的文献总体较少， 将ＤＥＡ 测度方法用于分析多变量的投入产出的研究则更加匮乏， 而关于系统误差的研究主要集中在测量阶段， 结合现有文献，发现在以下方面有待进一步深入：

第一， 将系统误差理论引入到多变量投入产出效率分析是一种全新的尝试， 系统误差对ＤＥＡ 学术期刊效率分析的影响如何， 目前尚未有研究涉及。

第二， 在基于ＤＥＡ 模型的学术期刊效率分析中， 哪些环节可能会产生系统误差？ 系统误差的大小又如何？ 这些问题还需要进行系统性的审视。

第三， 系统误差的存在会影响学术期刊评价结果的科学性和合理性， 但是现有研究尚缺乏全面深入探究有效降低学术期刊ＤＥＡ 分析的系统误差的方法。

２学术期刊效率测度系统误差的基本分析

２.１ＤＥＡ 效率分析中误差分类

根据传统的测量理论， 单个测量对象的精确度取决于系统误差和偶然误差， 其中偶然误差决定了测量的精密度， 系统误差决定了测度的准确度， 如图１所示。

式（２） 中， δｔ 表示单次测量的偶然误差， 偶然误差值取决于测量次数。在基于ＤＥＡ 的学科期刊效率分析中， 当学科期刊的投入产出指标和ＤＥＡ模型确定后， 基于ＤＥＡ 计算得到的效率值是唯一的， 与测算次数无关， 即偶然误差为０。

综上所述， 在基于ＤＥＡ 的学术期刊效率分析中， 重点研究系统误差的原因有两个： 第一， 尽管单指标测量是ＤＥＡ 效率分析的基础， 但以ＤＥＡ 研究误差问题应暂不讨论单指标的系统误差与偶然误差。第二， 在多指标的投入产出分析中， 系统误差存在且值恒定， 而偶然误差为０， 因此， 系统误差是基于ＤＥＡ 模型的学术期刊效率分析中误差的主要来源。

２.２学术期刊投入产出效率的真实值

根据系统误差的定义， 真实值存在与否对学术期刊效率测度的系统误差具有极大的影响， 因此有必要进一步讨论真实值问题。期刊效率真实值的确定较为困难， 从主观认识角度来说， 效率非感性特征、评价目的理解性差异等原因使得期刊效率真实值确定非常困难； 从期刊角度来说， 期刊价值不可见、期刊特色不可比等问题同样导致真实值确定较为困难， 如图２所示。

２.２.１效率非感性特征

效率本质上是一种投入产出比， 效率的判断不是基于个人的主观感受和情绪， 而是基于客观的事实和数据量化衡量出来的。基于此， ＤＥＡ 效率测度方法的准确性就至关重要， 但这并非是判断真实值的方法， 因为真实值是独立于测量方法以外的“看不见的真理”。

２.２.２评价目的理解性差异

期刊效率的评价目的包括提升引证效率、学术交流效率、期刊质量等， 在现有的期刊效率评价文献中， 少有研究对需要测度的效率进行准确定义，描述也极为简短， 从而导致人们对效率测度目的的认识具有多样性， 而这种评价目的理解性差异势必也会影响到真实值的确定。如在评价期刊的学术质量时， 有的专家认为形式指标应该纳入到指标体系中， 但是有的专家则认为形式指标并不重要。

２.２.３期刊价值不可见

期刊价值难以测度是进行效率分析的最大问题。对于学术期刊而言， 论文的学术质量是决定期刊价值的重要因素， 然而迄今为止尚缺乏微观领域有效的论文质量测度方法。尽管可以借助文献计量指标对期刊价值进行测量， 但颗粒度较大的期刊论文可能存在“睡美人现象”，即论文的学术价值被大家真正认识到之前， 只有极少数甚至零引用。

２.２.４期刊特色不可比

任何期刊都具有自己的特色， 这是期刊在长期办刊过程中形成的核心竞争力和优势所在。而在期刊效率的测度中， 与期刊特色相关的指标往往难以作为投入产出变量。此外， 不同类型、不同特色的期刊通常不具有可比性， 这使得确定期刊效率的真实值变得更为困难。

期刊效率真实值的存在是讨论ＤＥＡ系统误差的基础， 但是以上原因使得期刊效率真实值很难获取， 期刊效率的真实值是讨论ＤＥＡ系统误差的基础。然而， 由于上述原因，期刊效率的真实值难以获取， 从而使得基于ＤＥＡ模型研究系统误差变得较为困难。因此，本文借鉴经济学中常用的方法，假设期刊效率的真实值是存在的。因此， 本文借鉴经济学中常用的处理方式， 假定期刊效率的真实值是存在的。

３学术期刊效率分析系统误差的产生机制

３.１期刊ＤＥＡ效率分析的过程

基于ＤＥＡ模型的学术期刊效率分析过程如图３所示， 首先根据期刊效率评价的目标选取投入产出变量， 接下来进行方法适用检验以确定具体采用哪种ＤＥＡ效率模型，并通过合适的软件计算评价结果，最后将效率评价的结果进行公布。需要说明的是，ＤＥＡ分析中的方法适用检查是必要的， 但在实际操作中往往容易被忽略。

３.２评价目的确定的系统误差

评价目的带来的系统误差表面看似乎是一个伪问题， 但实际情况并非如此。在基于ＤＥＡ 模型的期刊效率分析中， 评价目的会直接影响到评价指标、评价方法等的选择。例如， 如果评价目的是分析期刊的学术质量， 就不能采用ＤＥＡ 分析方法， 因为ＤＥＡ模型不能用来测度学术质量， 只适用于分析期刊投入产出质量。

３.３投入产出变量选取的系统误差

在学术期刊的效率分析中， 投入产出变量的误选问题比比皆是， 这是产生系统误差的重要来源，有必要进行详细分析。

３.３.１评价时间逻辑一致性

在ＤＥＡ效率分析中，必须保证投入指标与产出指标的时间轴一致， 若时间轴不一致， 将会导致评价对象混乱， 进而产生系统误差。期刊评价的时间轴如图４ 所示。以期刊引证效率分析为例， 假设投入指标的时间范围为２０１８—２０１９年，产出指标的时间应为２０２０ 年， 在这种情况下， 将２０１８—２０１９年的基金论文比、引用期刊数、载文量、平均引文数作为投入变量， 将２０２０年的影响因子和他引影响因子作为产出变量。有３类指标不能作为产出变量， 一是即年指标， 因为即年指标代表了２０２０年发表论文在当年的被引用的次数， 不在２０１８—２０１９年期刊载文范围内； 二是总被引频次， 因为该指标代表的是期刊创刊以来的所有论文在２０２０年的被引次数， 同样不在２０１８—２０１９年的期刊载文范围内； 三是被引半衰期， 因为该指标代表的是期刊创刊以来的所有论文在２０２０年的时效性， 同样不在２０１８—２０１９年的期刊载文范围内。

３.３.２重要投入变量遗失

在期刊效率分析中， 重要投入变量缺失会使得评价结果偏离效率的真实值， 即出现系统误差。如图５中所示， 学术期刊是重要的知识载体， 知识创新是在前人的基础上有所进步， 再加上必要的研发投入， 因此， 从知识交流角度来说， 学术期刊的投入变量包括前人知识、研发投入、知识创新， 产出指标主要包括期刊影响力、期刊时效性等。在投入指标中， 关于前人知识的相关指标较多， 如引用期刊数、平均引文数等， 研发投入包括基金论文比、研发经费等， 期刊产出的指标也容易选取。知识创新作为学术交流效率分析中至关重要的投入变量，无法通过详细的指标来衡量， 在效率分析中往往被忽视。如果在ＤＥＡ效率分析中缺失知识创新这一重要指标， 会导致评价结果偏离真实值， 评价结果变得不可信。

３.３.３部分指标不具备价值单调性

一些文献计量指标并不具备价值单调性， 比如篇均作者数， 没有研究可以表明该指标的取值越大越好， 在研究中不能贸然选取。对于载文量指标来说， 在评价一般非核心期刊时， 可以将其作为投入指标， 以鼓励这些期刊提高学术质量。但是对于优秀期刊来说， 采用载文量作为投入指标就具有负面导向作用。对于地区分布数指标来说， 它代表的是期刊一年发表论文涉及作者的省际分布数量， 受到学科布局的影响， 也不宜作为投入指标。

３.３.４指标防止人为操控

期刊效率评价属于应用研究， 需要考虑到评价指标可能出现的人为操控预防问题以降低评价的系统误差， 但是目前这方面做的还远远不够。例如，现有研究通常采用影响因子来表示产出， 但该指标包括自引， 如果自引过高， 就存在人为操控的可能。

而将自引率作为效率测度的非期望产出， 就可以有效地预防人为操纵问题。

３.３.５评价指标不符合评价目的相关的评价指标选择

学术期刊效率评价总体上要发挥出正确的导向功能， 比如提高学术质量和期刊影响力、加强论文创新和学术交流等。但在目前的ＤＥＡ 期刊效率测度中， 将专业技术人员投入、一般工作人员投入同时作为投入指标， 将普通论文数量、核心期刊论文数量同时作为产出指标， 并且进行等权重处理， 这种做法不利于发挥学术评价的价值导向和指挥棒功能。

３.４评价方法适用性检验缺失导致的系统误差

一般认为， 采用ＤＥＡ 模型进行效率分析的前提条件是决策单元即评价对象的数量必须大于投入产出指标之和的两倍。过少的评价对象， 不具有代表性， 并且当数据量过少时， 容易出现异常点。而ＤＥＡ 对于异常点非常敏感， 导致关键数据的误差影响整体评价结果。此外， 当数据量过少时， ＤＥＡ 前沿面的稳健性存疑， ＤＥＡ 分析的区分能力也会变弱， 从而降低评价结果的可信度。

目前基于ＤＥＡ 模型的学术期刊效率分析研究中， 评价期刊数量最少只有５ 种， 而投入产出变量总数也为５ 种， 因此， 基于ＤＥＡ 模型的学术期刊效率测度结果是存在问题的。

３.５模型设定与系统误差

ＤＥＡ模型有上万种， 即使结合学术期刊评价目的去讨论ＤＥＡ 模型的选用也是一个非常复杂的问题， 下面仅举几个例子进行必要的说明。

第一， 模型的粒度取决于评价目的。模型并不是越复杂越好， 而是要更好地服务于评价目的。从理论上看， 传统的ＣＣＲ模型可以直接测度效率，但如果要将其分解为纯技术效率和规模效率， 就要采用ＢＣＣ模型进行分解， 同时可以得到各投入指标的改进方向。但实际上， 期刊的纯技术效率和规模效率的内涵很难精准描述， 如果采用经济管理中的常规做法， ＤＥＡ 评价的目的是为了降低投入增加产出， 而这种调整可能存在人为操纵的可能， 在这种情况下采用传统的ＣＣＲ 模型反而更好。

第二， 多阶段ＤＥＡ模型与系统误差。学术期刊论文总体上侧重于基础研究， 采用两阶段甚至是三阶段的ＤＥＡ模型来开展研究， 分为基础研究阶段、应用研究阶段、成果转化阶段。在基础研究阶段， 真正的创新是难以度量的， 会存在缺失重要变量带来的误差； 在应用研究阶段， 其依托的基础研究成果主要是人类几十年甚至上百年前的研究成果，而非短期论文； 在成果转化阶段， 各种投入和产出要素很多， 涉及的相关变量难以搜集。以上因素都会对期刊效率评价产生较大的影响， 所以建议采用单阶段的期刊效率评价模型开展研究。

第三， ＤＥＡ 模型不能任意拓展。本质上，ＤＥＡ效率分析是经济管理中的研究方法， 目前在知识生产中的应用还处于探索阶段。一些典型的ＤＥＡ模型如非增规模收入（ＮＩＲＳ）、非减规模收入（ＮＤＲＳ）、成本模型、受益模型、利润模型、不可控投入（产出）模型等， 要掌握其原理后结合评价目的加以选用。

第四， ＤＥＡ 模型中的权重确定与系统误差。涉及权重的ＤＥＡ 模型包括投入（产出）偏好模型、权重约束模型、乘数模型等诸多模型， 目前涉及权重的模型应用相对较少， 较少有研究在学术评价领域讨论投入产出指标的权重赋值方法问题。权重具有主观性质， 在对指标进行赋权时， 建议采用专家赋权法， 不宜采用类似熵权法、ＣＲＩＴＩＣ、变异系数法等客观赋权法。

３.６结果公布与系统误差

学术期刊评价的结果必须保持一定的区分度才有意义， 但是效率为１ 的决策单元的效率是相等的，也就是说不存在区分度， 这显然是不合适的。因此在ＤＥＡ 效率模型的选择中， 应尽量采用超效率模型研究学术期刊的效率， 以增加学术期刊评价结果的区分度。

４学术期刊ＤＥＡ效率分析系统误差的预防与消减

学术期刊效率分析中必然存在系统误差， 而系统误差的存在会影响评价结果的科学性和合理性。本文将从学术期刊效率评价投入产出指标选取、评价对象规模、评价模型选择、权重设置等方面提出预防与消减系统误差的方法。

４.１认真选择学术期刊效率评价投入产出指标

在学术期刊的效率评价中， 系统误差的产生原因是多方面的， 其中投入产出指标的误选问题对评价结果准确性的影响较大。在投入产出指标选取中，要注意评价指标的时间逻辑要保持一致， 摈弃非价值单调性指标与无意义指标的选取， 防止人为操控指标问题。对于关键的学术质量指标， 可尝试探索选取学术质量相关的指标， 比如ｈ 指数， 该指标是影响力指标的一种， 与期刊质量高度相关， 必要时可考虑将其作为期刊学术质量的投入变量， 以避免关键变量的缺失问题。

４.２ 评价对象数量要达到一定规模

ＤＥＡ 评价对决策单元的数量有最低限度要求，并且ＤＥＡ 对异常值非常敏感， 因为其数据包络曲线是由个别特殊的点构成的。在确保评价期刊数量达到投入产出指标两倍的前提下， 还要保证期刊数量不低于２０ 种， 以提高ＤＥＡ 评价结果的稳健性。

４.３结合评价目的选择评价方法， 不宜滥用复杂ＤＥＡ模型

严格意义上说， 学术质量评价、影响力评价、绩效评价等不适合采用ＤＥＡ 模型进行研究， 对于引证效率、编辑出版效率、学术交流效率评价等来说， 应结合评价目的选择合适的评价方法。需要注意的是， ＤＥＡ 模型本来是应用于经济管理领域的效率测度方法， 非常重视投入产出和技术经济分析。但是对于学术期刊而言， 知识生产不是简单的成本受益， 知识生产的特征和规律以及相关要求可能完全不同， 因此不宜滥用复杂ＤＥＡ 模型以及多阶段ＤＥＡ 模型。此外， 尽量优先采用超效率分析模型以保证完全有效率期刊的区分度。

４.４对于ＤＥＡ 评价中的权重设置应采用专家赋权法

对于投入（产出）偏好ＤＥＡ 模型、权重约束ＤＥＡ模型、乘数ＤＥＡ 模型等涉及权重的ＤＥＡ 模型来说， 必须采用专家赋权法对相关的投入产出指标进行赋权， 不宜采用客观赋权法。《辞海》中将权重解释为“视重要程度为原始数据所赋予的、具有权衡轻重作用的数值”， 轻重的标准是由人来确定的，也就是说， 评价具有天然的主观性， 只有专家主观判断指标的重要性才更为可靠， 客观赋权法所体现的重要性无法体现评价为管理服务。

５研究结论

５.１ＤＥＡ学术期刊评价仍然处于探索阶段

目前基于ＤＥＡ 模型的学术期刊效率测度的相关研究还较少， 尚处于起步探索阶段。本文首先提出基于ＤＥＡ 模型的学术期刊效率评价存在误差， 并结合误差理论进一步分析得出， 基于ＤＥＡ 模型的学术期刊效率评价中不存在偶然误差， 只存在系统误差，最后针对具体的ＤＥＡ 方法用于经济学领域以及情报学领域进行了应用区别的讨论。同时， 由于学术期刊质量测度的复杂性， 导致在期刊引证效率、学术交流效率测度中出现关键指标缺失的问题， 势必会导致期刊ＤＥＡ 效率评价结果失真， 尽管已有学者提出一些修正方法， 但其应用效果还有待验证。此外，主要应用在经济管理投入产出分析中的效率评价方法应用在知识生产中还会有诸多差异。

５.２评价指标选取与方法选择是ＤＥＡ学术期刊评价系统误差产生的主要原因

在基于ＤＥＡ 模型的学术期刊评价中， 投入产出指标选取与评价方法选择是产生评价系统误差的两个主要环节。此外， 投入产出效率的真实值判定、期刊价值本身难以测度、重要变量遗失、指标非单调性特性、指标人为操控、评价方法适用性等也是产生系统误差的重要原因。

５.３学术期刊与科技评价效率分析存在的系统误差问题需因地制宜进行处理

ＤＥＡ学术期刊评价的系统误差问题仍处于探索阶段，由于测量方法的限制， 其误差测度问题更应具体分析。针对基于ＤＥＡ模型的学术期刊效率分析中产生系统误差的原因， 本文主要从指标选取、评价样本的数量、方法模型方面提出了一些降低系统误差的具体方法。同时， 科研机构、科研人员、科研项目、科研绩效、科研政策等科技评价也可以采用ＤＥＡ分析， 对于存在的系统误差问题， 同样可以参照本文的范式进行检查处理。需要注意的是，由于基础研究、科研项目、科研人才等评价的公共物品属性较强， 所以采用ＤＥＡ分析要谨慎且适度，而对于企业创新、区域创新、成果转化等市场机制运作的相关评价则可以全方位借鉴ＤＥＡ分析方法。