基于属性识别模型的期刊竞争评价与探讨——以图书情报期刊为例

胡起靖

（苏州图书馆，江苏 苏州 215002）

期刊评价属于多属性评价问题，需要将期刊的各项指标一起进行比较，才能得出对期刊的全面评价[1]。采用单指标评价会导致期刊评价结果片面性[2]。而多属性评价方法通过选取各种评价指标来建立评价体系，指标信息量相对较为丰富，避免了单一评价指标的片面性，能够使得期刊评价结果更为科学合理，因此在当前的期刊评价中广为应用[3]。

评价数学模型对多属性评价方法的科学性、合理性具有重大影响。目前用于期刊多属性评价的模型方法有很多，相关研究已见公开报道的有主成分分析法、TOPSIS 方法、模糊数学法、因子分析法、属性识别模型法、秩和比法等。其中，属性识别理论模型是基于模糊数学综合评判理论发展起来的综合评价方法[4]。相较于模糊数学模型，属性识别模型计算简单，能够对不同评价对象进行更细微的比较[5]。目前模糊数学综合评判在期刊评价中的应用已有较多研究见诸报道[6-7]，并且在知名的RCCSE 期刊评价中也得到了实际应用[8]。但是属性识别理论模型在期刊评价中的应用研究较少，可见报道的有林春艳[9]将属性识别理论模型用于自然科学学术期刊综合质量评价中，得出了客观、合理、实用的评价结果。但是该研究中模型评价的期刊数量仅为1 个样本，评价结果仅涉及期刊质量等级的简单判定，未进行期刊计量评分和竞争评价的研究。本文将属性识别理论模型用于47 种图书情报期刊的再评价，模型在对期刊进行等级评定的同时，拓展应用到期刊计量评分和竞争评价，能为增进图书情报学类期刊的全面认识提供参考，同时也为当前的学术期刊评价方法提供更多的借鉴。

一、模型基本理论与计算方法

（一）建立分类标准矩阵

设评价对象空间X 有n 个评价对象，每个评价对象有m 个评价指标{I1，I2…Im}，每个评价指标有k 个评价等级{C1，C2…Ck}，对于每个评价指标Ij有相应的评价等级分类标准{aj1，aj2…ajk}，则评价对象空间X 的分类标准矩阵为：

式ajk中满足aj1＜aj2…＜ajk，或aj1＞aj2…＞ajk。

（二）确定权重

（三）确定样本属性测度

计算第i 个评价对象第j 个指标值xij属于ct类（1≤t≤k）的属性测度为uijt。设aj1＜aj2…＜ajk，有：

当xij≤aj1时，取uij1＝1，uij2＝L uijk＝0

当xij≥ajk时，取uijk＝1，uij1＝L uijk－1＝0

（四）综合属性测度

由单指标属性测度和指标权重可以得到综合属性测度uit：

式中，1≤i≤n，1≤t≤k。

（五）对象的识别与排序

采用置信度识别准则。设置信度λ（0.5≤λ≤1），用下式进行计算：

如果ti≥λ，则认为xi属于ct级别。

按照评价准则进行评分，对评价对象进行比较分析，用下式进行计算：

式中，qxi为第i 个评价对象的评价分数；ni＝k＋1－i，依次取k～1 之间递减的正整数。

二、评价指标权重的确定

组合评价法采用两种或两种以上的方法进行组合，且复合出最终的评价结果，能够结合不同单一评价方法的特点和长处，达到优势互补，从而得到更加全面、客观并且唯一的评价结果[11]。目前组合评价方法在期刊评价中的应用主要有两种方式：一种是将各种主客观赋权法的权重进行重新组合，然后加权汇总或用系统方法得到最终评价结果；另一种是选取几种单一综合评价法，再将不同方法的评价结果进行组合[8]。相比较而言，第二种方式需要计算几种单一方法的结果，计算过程繁杂，由于不同方法评价角度和评价原理的不同，必须经事前和事后一致性检验，若模型不能通过检验则要不断调整，工作量较大[12]。并且有的组合只是几种方法的简单叠加，并没有实现真正意义上的有机组合[13]。而第一种方式计算较简单，且综合了主观客观两方面，易于实现主客观有机组合。本文采用的是权重主客观赋权的组合评价方法。

主客观权重赋权法中的主观法是通过结合实际情况和经验判断主观地赋予评价指标不同的权重；客观法基于数据本身的信息和各指标之间的关系确定权重[14]。虽然说采用客观法确定权重能够避免仅凭借经验给出权重值带来的失真，但是对客观赋权法的选择应考虑主观管理需求，如果某种客观赋权法所得权重结果不符合主观管理需求和综合评价，则应考虑主观赋权方法或主客观结合赋权法[15]。

（一）主观法

常用的主观赋权法有德尔菲法、层次分析法、强制决定法、直接赋权法等，其中强制决定法具有简单高效的特点，在其他领域得到长久有效的应用。本研究选用强制决定法[16]来确定主观权重。由于基于引文相关的期刊计量指标是评价期刊质量的重要指标[17]，本文将影响力指数单独作为赋权对象，其他各项计量指标另外作为一个整体赋权对象，对二者进行主观权重赋权。这样也能减少主观辨别的工作量，避免确认权重的指标过多会导致主观偏差放大。

（二）客观法

采用熵值法作为客观赋权法。熵值法根据指标数据的离散程度进行指标赋权，指标数据的离散程度大，说明不同评价对象在该指标上的差异性大，反映了该指标对评价对象综合评价结果的影响大，因此相应赋予较大的权重。其在计算过程中对原始指标数据进行线性处理，能够尊重指标原始数据的分布，能够更客观、有序地反映评价对象的数据信息[18]。

俞立平[19]曾采用指标数据综合拟合法对多指标综合评价方法进行筛选，结果显示熵权法指标数据综合拟合度明显高于TOPSIS 法、主成分分析法、因子分析法，说明在多指标综合评价中具有较好适用性。熵值法确定权重系数具体方法如下：

设有n 个评价对象，m 个评价指标，则形成原始数据矩阵：

对判断矩阵R 进行归一化，从而得到归一化矩阵B，B 的元素为：

式中，xmax为同一评价指标下不同指标值中最不满意者；xmin为同一评价指标下不同指标值中最满意者。

按上述方法将R 归一化为B：

则第j 个评价指标下第i 个待评价对象评价指标值比重fij为：

第j 个评价指标的熵值Hj为：

第j 个评价指标的权重Wj为：

三、研究对象与评价指标选取

（一）研究对象

元评价是对原来评价的评价[20]，评价过程以原来的评价为基础，对原来的评价结果进行信息再处理和结果再输出。元评价最早在教育评估中得到应用，目前已经应用到科学研究绩效等其他领域评价活动中[21]。在期刊评价应用中，元评价方法通过对现有的、认可度相对较高的期刊排名或评级的平衡汇总来提供期刊综合排序，在借鉴前人工作的基础上，汇总现有的信息对其他评价结果进行再利用，评价结果的整体认可较高，因此在实际应用中具有较大优势[22]。

本文融入元评价理念和方法，以2021 年版《中国学术期刊影响因子年报（人文社会科学）》（以下简称《年报》）中2020 年47 种图书馆学和情报学期刊为研究对象。《年报》选取总被引频次和影响因子这两个最具代表性的评价指标，采用向量平权计算得到综合指标“影响力指数”，并且按“影响力指数”的大小，对2020 年的47 种图书情报期刊进行排名和分区。除了影响力指数值、复合总被引、影响因子等影响力指标外，《年报》还发布了从其他方面反映期刊办刊规模、影响力、传播力等特征的一系列计量指标。计量统计指标汇总见表1。

表1 《年报》期刊计量指标

虽然《年报》中“影响力指数”的综合评价方法和结果得到了国内外学术界和期刊界的基本认可，但是“影响力指数”综合评价只采用了总被引频次和影响因子，未考虑即年指标、半衰期等其他计量指标，因此还需要作进一步的改进研究[23]。

（二）评价指标选取和指标体系构建

评价指标选取和指标体系构建直接影响评价工作的科学性和评价结果的合理性。《年报》为全面客观地反映期刊的质量和影响力，从多方面指征发布了十几项计量统计指标，但是在进行综合评价时，并不是所有的计量指标都适宜采用。例如，对于某些正相关度较强的指标，其评价意义接近，评价结果一致性也较强，重叠使用会引起评价结果的偏差[24]，因此不宜同时使用或应适当控制其总权重[25]。还有一些绝对量指标，指标值受其他绝对量指标或因素影响，仅适用于该期刊在时间序列中与自身进行纵向对比，而在与不同期刊进行横向对比时，有必要转换成相对量指标进行评价。针对《年报》中提供的统计指标，本文主要从以下两方面进行指标的筛选和指标体系的构建。

1.剔除相关性强的指标。《年报》中的影响力指数是根据综合总被引和影响因子综合计算出来的，总被引和影响因子越大，影响力指数越大，因此总被引和影响因子与影响力指数有强正相关性。量效指数是某刊影响因子与该刊影响因子对应的发文量的比值，因此与影响因子有强正相关性。可被引文献量、平均引文数与总被引和被引期刊数有较强相关性。在同等条件下，可被引文献量越大，期刊被更多次数引用和被更多引期刊引用的概率越大。期刊论文的平均引文数多，在一定程度上说明作者前期准备更充分，研究更深入，论文的学术水平往往更高，被引用的可能性更大[26]。总下载量和总被引指标之间、web 即年下载率和影响因子指标之间有较强正相关性[25]。因此，本研究剔除总被引、影响因子、量效指数、可被引文献量、平均引文数、总下载量、web 即年下载率指标。

2.构建相对量指标。《年报》期刊计量指标中的引用期刊数和被引期刊数是绝对量指标，指标值与可被引文献量密切相关，可被引文献量指标与期刊的办刊历史、刊发周期、每期刊文数量直接相关。并且这两个指标与期刊开设的栏目有较强相关性，一些综合性期刊开设跨学科的栏目比较多，期刊引用的期刊数和被引用的期刊数相应也会较多。若直接以这两个指标的绝对量作为评价依据不能合理地对不同期刊进行比较。因此本研究中将这两个指标的指标值除以可被引文献量，分别构建平均引用期刊数和平均被引期刊数，以更真实地反映这两个指标在不同期刊间的差别。

平均引用（被引）期刊数＝引用（被引）期刊数/可被引文献量

四、模型实际应用与探讨

（一）评价因子与标准

以《年报》中进行期刊影响力排名的47 个图书情报学类期刊为评价对象，以经过相关性筛选和相对量建构的指标为评价因子。各评价期刊的评价指标数值汇总如表2 所示。

表2 期刊综合评价指标及数值

续上表

取各评价因子的最大值和最小值为边界，进行评价指标分组标准划分，期刊各指标评价等级划分如表3 所示。其中被引半衰期为反向指标[3]，被引半衰期长说明期刊的学科知识更新较慢[27]，因此将该指标评价等级标准值做反向排列处理。

（二）评价单指标属性测度

代入表2 和表3 数据，可计算得到不同期刊单指标属性测度，如表4 所示。

表3 期刊评价分组标准

表4 期刊单指标属性测度

（三）权重值

1.客观权重。根据熵权法计算除影响力指数以外的其他各项指标的客观权重值。各指标数据归一化处理结果，以及各指标值比重、熵值和权重如表5 所示。

表5 评价指标客观权重值

2.主观权重。对影响力指数和其他指标分别构建[0.3，0.7]、[0.6，0.4]、[0.9，0.1]三组权重，根据以上赋权分别进行综合计算和排名。邀请10名熟悉图书情报类期刊的专业馆员对三组权重计算的排名结果进行1 对1 比较评分。当1 对1比较时，认为排名结果更合理的得1 分，次合理的得0 分，自身相比不记分。结果显示[0.6，0.4]这组权重得分最高，[0.9，0.1]的得分次之，说明[0.6，0.4]这组权重的排名结果认可度最高，[0.9，0.1]的认可度次之。因此在这两个区间内再对影响力指数和其他指标分别构建[0.6，0.4]、[0.7，0.3]、[0.8，0.2]三组权重，并且同样地对排名结果进行1 对1 比较评分。结果显示[0.7，0.3]这组权重的评分最高，对应影响力指数和其他指标分别赋权0.7 和0.3。这一结果符合专家会议赋权法[3]得出的“指标权重以期刊影响力指标为主”的结论，影响力指标权重值也与该研究最终采用的权重值“0.832”接近，考虑到其他指标里的即年指标也属于影响力指标，因此可以采用这一组权重赋值。

3.主客观赋权。按照影响力指数0.7，其他指标权重0.3 的系数进行加权计算后，各指标最终的权重值如表6 所示。

表6 评价指标主客观权重加权结果

（四）综合属性测度

根据期刊的评价指标权重，结合式（1），可计算得到各期刊综合属性测度，结果如表7 所示。

表7 期刊评价综合属性测度

设置信度λ＝0.5，由式（2）判断各期刊综合评价等级。

以J2 和J3 期刊为例：当t＝1 时，J2 期刊综合属性测度0.642＞0.5，因此，判定J2 期刊等级为一级；当t＝2 时，J3 期刊综合属性测度0.367＋0.445＞0.5，因此，判定J3 期刊等级为二级；同理，求得其他期刊综合评价等级。

按式（3）计算不同期刊综合评价得分，分数越大，说明期刊计量指标综合评价越好。以J1 期刊为例，得分计算为：0.866×4＋0.108×3＋0.012×2＋0.014×1＝3.826。同理，可求得其他期刊计量指标综合评价得分，结果如表8 所示。

表8 期刊综合评价得分

由表8 可知，在排名1—22 的期刊中，影响力指数及其他计量指标综合计算排名结果与原影响力指数相差不大，且大部分期刊保留了原来的排名名次。其中排名第1 的《中国图书馆学报》综合评价计量得分远高于其他期刊，说明该学报除了影响力指数指标外，其他计量指标在同类期刊中也是排在前列的，彰显了该学报在所属学科领域的权威性。排名23—47 的期刊中，大部分期刊的排名名次都出现了变化，且部分期刊的名次有较大的变化，如《农业图书情报学报》由原来排名31 上升到24，原来排名24 的《情报探索》则下降到25；《河南图书馆学刊》由原来排名的37 下降到40，原来排名39 的《河北科技图苑》则上升到37。对比《农业图书情报学报》和《情报探索》的各个评价指标可以看到，在即年指标、基金论文比、平均引用期刊数、平均被引期刊数这四个指标上明显优于《情报探索》，是促成《农业图书情报学》报排名提升的主要原因；而对比《河南图书馆学刊》和《河北科技图苑》的各个评价指标可以看到，基金论文比、平均引用期刊数、平均被引期刊数、他引总引比四个指标值明显低于《河北科技图苑》，是造成《河南图书馆学刊》排名低于《河北科技图苑》的主要原因。

表8 中《文献》《古籍整理研究学刊》《中国典籍与文化》按照计量指标综合评分的排名出现了不同程度的下滑且排到了最末，这主要是综合评价中被引半衰期这一指标的反向作用导致的。被引半衰期与学科特点紧密相关，语言学、史料考证、档案文献、历史学类期刊的半衰期比较长[27]，虽然这三个期刊在《年报》中都列为图书情报类期刊，但就这三个期刊的研究内容而言，其涉及的主要研究内容归属于档案文献、史料考证及语言学领域。如《文献》着重发表古典文学、史学古文献学等研究论文，《古籍整理研究学刊》以古籍整理研究、古文献学为主。此外，影响因子指标同样具有鲜明的学科属性[28]，其会受到学科分类、论文类型、专业特点等因素的影响[29]，这三个期刊因主要刊载文章学科内容和专业特点的影响，在《报告》中按影响力指数的排名也比较靠后，但实际上这三个刊物却都是核心期刊。另外，《内蒙古科技与经济》综合评分排名上升了四位，这主要得益于其互引指数指标的贡献。从表2 中可以看到，在评价的47 个期刊中，该刊的互引指数指标远远高于其他刊物。互引指数是某刊的被引集中度与该刊所属学科的平均被引集中度之比，用于反映某期刊被引期刊分布广度的合理性[23]。相比较而言，综合性期刊由于涉及的学科门类较多，其被更多学科期刊引用的概率要大于专业性期刊。而该期刊恰恰是一个综合性科技与经济刊物，其刊载栏目包涵图书情报、科技创新、生态建设、财政金融、应用技术等诸多领域的内容。按照不同类不好比较的原则，这样的综合性期刊在与专业期刊进行竞争评价时，应该对相应学科内容的计量指标单独统计，才能使得期刊指标在相应学科上的水平得到比较真实准确的反映[30]。

由于期刊评价指标如影响因子、被引半衰期具有明显的学科性，在对专业学科门类的期刊进行竞争评价时，应尽量保证所选期刊研究学科内容的一致性，以提高计量指标的可比性。发布机构在统计专业类期刊计量指标过程中，若涉及有综合性期刊，应当按照综合性期刊中各学科的可被引文献分别进行指标计量统计；若有期刊的主要内容与相应学科内容不一致，应尽量按照期刊中与相应学科相关的文献单独进行指标计量统计。但即便是同一学科下的刊物，期刊计量指标也受到出版周期、出版时滞、论文类型、参考文献、马太效应等众多因素影响[29]。因此当前以刊载论文的质量为评价指标的“以文评刊”方式，正在成为学术期刊评价的发展方向[31]，但是这种评价方式在实际应用中尚未取得预期效果[32]，还需要在评价机制、保障性制度等方面做进一步的探索和试验。

此外，表8 中等级一、二、三、四级期刊的数量分别为2 个、7 个、13 个、25 个，其数量分布相较于《年报》中按照期刊排名结果平均划分分区的方法更有梯次，且等级划分结果是根据各个评价指标综合计算得来的，显得更有逻辑和内涵。不足之处是一级和二级期刊数量过少，这和评价标准值的设定有关。在实际应用中，在已完成综合计量得分及排名的前提下，可以根据实际需要重新设置评价标准值，并且依此单独进行等级划分评定，以得到各个等级的期刊数量分布更合理的等级评定结果。

结语

本文融入元评价的理念和方法，在《年报》引文综合指标“影响力指数”研究成果基础上，综合考虑即年指标、基金论文占比等其他多项计量指标的影响，采用属性识别模型进行综合再评价。相对于原评价，再评价结果能更加客观全面地反映各个计量指标对期刊评价的综合影响。本文在综合评价过程中不仅综合了多个评价指标，并且在原引用数据引文评价法的基础上，综合应用了量化指标评价法、同行评议打分法。评价模型在对评价指标确定权重时采纳了主客观赋权的组合评价方法，首先采用客观法对指标权重进行赋权，再结合同行评分进行主观权重组合的选取和评价结果的最终确定，评价过程中充分体现同行评议的决定性作用，较好地实现了“同行评议为主、计量评价为辅”的综合评价方式，从而有利于提升评价的公平性与准确性[33]。评价结果能够确定期刊所属的评价等级，实现期刊的定性评价，也能以评分的形式直观地反映出不同期刊的差异程度，符合当前定性与定量相结合的最主流、最科学评价方式[33]。

本文创新性地将属性识别模型应用于期刊计量综合评分和竞争排名，模型应用过程中逻辑清晰，信息利用度高，数据处理全过程可借助Excel软件完成，计算结果准确、可靠，在期刊评价中显示出较强适用性。但是在定性评价过程中，由于一级和二级期刊的评价标准值设置较高，因此一级和二级期刊数量过少。在实际开展分类评价的工作中，可根据实际需要重新构建分级标准并依此单独开展期刊分类定性评价，以得到期刊数量分布更合理的等级评定结果。另外，在同行评议打分的人员组成结构、参与人数等方面，还可根据实际评价需要和具备的人力物力条件进一步加强，以提高评议的专业性、代表性。若条件具备，应组织学术共同体为评价主体的同行评议，以提高评议的科学性、权威性。