不同目的导向下期刊分级评价体系构建研究∗

2024-01-03俞立平

高校图书馆工作 2023年4期

●俞立平

浙江工商大学统计与数学学院,杭州,310018

引言

进入21 世纪以来,尤其是近10 年,国家对科技期刊的重视程度与日俱增。比如,2012 年起实施的中国科技期刊国际影响力提升计划,2016 年实施的中国科技期刊登峰计划,2019 年开始实施的中国科技期刊卓越行动计划,2021 年中宣部、教育部、科技部发布的《关于推动学术期刊繁荣发展的意见》。这些方针政策的出台,目的导向明显,尽管关注焦点不同,但总体上都是为了提升中国科技期刊的质量和水平,努力打造世界一流科技期刊。

期刊包括科技期刊与哲学社会科学期刊,期刊的分级评价就是对同类期刊分级后采取不同的评价标准和评价体系进行评价。通常情况下,科技期刊可以分为权威期刊、核心期刊和一般期刊,不同级别的科技期刊使命担当是不一样的,国家对不同级别科技期刊的要求不一样,学术界和广大读者对不同级别期刊的期望也不一样。科技期刊评价工作同样对科技期刊办刊活动具有重要的“指挥”作用[1],尽管开展期刊评价工作的主体有所不同,但如果还采用同一评价体系进行评价,显然无法达到评价目的。现有的几乎所有的学术期刊评价体系,均没有关注这个问题。

开展期刊的分级评价具有重要意义。首先,在理论上对期刊分类和分级进行系统梳理,明确期刊分级评价的意义、作用和必要性,从而丰富期刊评价理论。其次,在实践中有利于不同级别的期刊明确自身定位,提升办刊质量和水平。最后,有利于政府部门加强对期刊的管理,发挥体制机制优势,使得科技期刊更好地服务国家创新战略。

关于期刊的办刊方针、目的和使命,胡小洋、曹启花[1]认为,办好科技期刊一定要强化服务理念,坚持质量和价值第一的用稿标准,做好内容、做精传播、做足服务。苏新宁、杨国立[2]指出应调整期刊宏观布局,深化集群建设,拓宽办刊国际视野,重视数字出版与开放获取,提升期刊传播力与影响力,从而打造国际一流期刊。陈宏宇、武文[3]强调中文科技期刊应面向国家需求,明确目标定位,提升知识服务能力,建立品牌特色。秦明阳等[4]认为中文科技期刊需要推动科技成果转化,助力《中国制造2025》的实施,重点支持学科建设,面向世界传播中文科技成果。王敏等[5]提出在国家创新建设和发展的关键时期,科技期刊要肩负起历史使命,响应时代的号召,积极推动科技期刊服务国家创新建设和社会进步。

关于期刊目的导向与期刊评价存在的问题,叶继元[6]指出评价目的制约评价主体的选择,评价客体(学术期刊)的分类,评价方法的运用,标准及指标的设计,评价程序制定的安排等。刘雪立、郭佳[7]认为政府主导的期刊评价往往侧重评奖和定性分析,以及形式规范评价。严谨等[8]发现中国科技期刊的作用与其应承载的社会责任不协调,科技期刊未能在国家科技发展战略中发挥应有的作用。刘美爽等[9]研究指出,由于部分林业期刊办刊宗旨不明确,市场定位不严谨,片面追求高影响因子,刊发文章内容混杂,导致期刊出现既缺乏学术性又缺乏实用性的问题。范瑜晛等[10]提出由于学术评价机制中对论文质量的认定直接与期刊等级挂钩,导致影响因子主导期刊评价,同时也正在改变科技期刊的发展与命运。

关于期刊的分级评价问题,吴红光等[11]认为期刊分级是现实的需要,产生期刊分级功能异化的根源目前尚不能消除。车德竞[12]研究发现目前各行业科技期刊两极分化严重,期刊发展趋于同质化,期刊结构不合理,强调要重视非核心期刊的发展。臧莉娟、叶继元[13]指出推动科技创新、传播科技成果不能只依靠核心期刊,非核心期刊的建设同样重要。

从现有的研究看,由于国家需求不同、办刊主体不同、办刊定位不同,科技期刊的办刊目的和办刊导向也有较大差异。科技期刊评价理论与方法尽管已经取得了较大的进步,但在解决不同目的导向的期刊评价中,尚存在不少问题,这些问题有些是可以适当解决和优化的,有些是目前理论和方法尚难以克服的。对于期刊的分级评价,学术界已经意识到这个问题,但尚未有解决方法。总体上,在以下方面有待进一步深入研究。

第一,目前的期刊分级体系与框架如何明确?尽管不同文献在各自角度均有所涉及,但缺乏系统的分类分级框架。这是学术期刊分级评价的基础,有待进一步厘清。

第二,对于权威期刊、核心期刊与一般期刊,其评价的目的与导向有哪些? 这些目的导向与期刊分级是什么关系? 这是期刊分级评价的前提条件,需要深度分析。

第三,对于核心期刊与一般期刊,在现有条件下,应分别建立什么评价体系? 采用什么评价方法?这也有待进一步构建和探索。

本文在理论分析的基础上,以农业经济类期刊为例,构建权威期刊、核心期刊、一般期刊评价的3套指标体系,并进行实证,最后就相关问题再进行进一步讨论。

1 理论分析

1.1 期刊分级体系的构建

期刊分类是期刊分级的基础,当然期刊的分类标准很多,如按照国际国内、主管部门、办刊单位、行政级别、学科等分类。通常情况下,人们更关注按照学科分类,很多场合下期刊分类评价特指按学科分类。在学科分类的基础上,对于同一学科的期刊,大致可以分为学术期刊、技术与应用期刊、科普期刊等,这3 类期刊均为本文的研究对象。孔庆勇等[14]将科技期刊分为国际化期刊、品牌化期刊、专业化期刊、实用类期刊、普及类期刊的金字塔结构,该分级体系过细。由于自然科学与社会科学相差较大,如自然科学期刊中有技术应用类期刊,在人文社科中有应用类期刊,为了统一进行区分,从是否为核心期刊角度进行分类更有意义,所以本文期刊分类只大致分为权威期刊、核心期刊与一般期刊3 类,与期刊分级评价对应。权威期刊是学科类国内一流期刊,权威期刊全部是学术期刊;核心期刊一般以学术期刊为主,也包括少量的技术与应用期刊;一般期刊以技术与应用期刊为主,当然也包括一些学术期刊和科普期刊。期刊分级体系如图1 所示。

图1 期刊分级体系

1.2 期刊分级与评价目的导向的关系

权威期刊或领军期刊,代表了学科领域国内的最高水平,一般只有少数几种期刊,对这些期刊的评价目的主要是打造世界一流科技期刊、世界知名期刊,其肩负着传承人类文明,荟萃科学发现,引领科技发展的重任。

核心期刊是学科领域内办刊质量高、有影响力的期刊,其评价目的导向包括多个方面:第一,对于科技期刊,要服务创新型国家建设,面向国家重大战略需求;对于哲学社会科学期刊,要建设有中国特色、中国风格、中国气派的学科体系、学术体系和话语体系。第二,较高的内容质量。学术质量是核心期刊的首选要求,尽管由于科技评价的复杂性,这个问题目前尚未得到根本解决,但学术质量作为评价目的导向从未动摇。第三,传播力、影响力、国际化。学术期刊必须重视学术传播,努力提高影响力,并注意国际化水平的提升。

一般期刊数量最多,是我国期刊的重要组成部分,对于特色学科发展、人才培养与科学普及等具有重要作用。其办刊目的与导向也包括多个方面:第一,对于一般科技期刊,强化对新技术、新规律、新方法、新知识的解读,并转化为生产力;对于哲学社会科学期刊,强调传播国家方针政策与人文精神。第二,必须注重将社会效益放在首位,同时兼顾经济效益和社会效益。第三,提高民众整体科学素质与人文素养,培养人才。第四,必须注意基本的学术规范与形式要求。

表1 期刊级别与评价目的导向的关系

1.3 期刊分级与评价指标体系

在确定期刊分级以后,就可以根据评价目的导向和现有的指标数据分别确定评价指标,本文选取中国知网·中国科学文献计量评价研究中心2020年发布的《中国学术期刊影响因子年报(人文社会科学)》(以下简称《中国知网年报》)数据,以农业经济类期刊为例进行研究。由于数据的可得性,某些期刊评价目的导向方面可能没有合适的指标,在现有的条件下,分别建立权威期刊、核心期刊、一般期刊的评价体系(见表2)。需要说明的是,由于不同数据库引文数据所限,本文研究仅仅作为一个案例说明相关问题,难以体现评价指标体系的完整性。

表2 评价分级与评价指标

权威期刊:从综合影响力、时效性、知识信息量3 个方面选取指标体系。科技期刊影响力应遵循“受众即市场”规则,科技期刊管理应引入“市场化”机制[15]。综合影响力指标包括h 指数、CI 指数2 个引用类综合指标,另外选取1 个网络指标(Web 即年下载率)。没有选取传统的引文指标是因为h 指数和CI 指数是综合引文指标,总体上更加侧重期刊学术质量。时效性是期刊的生命力,体现知识更新速度,选取被引半衰期和引用半衰期指标。知识信息量指标选取载文量(正向),在中国科技期刊卓越行动计划中,明确要求领军期刊的载文量要稳中有升。权威期刊评价舍弃了出版规范与学术继承指标,因为对于权威期刊而言,论文质量较高,期刊管理规范,更加注重学术创新,所以没有必要考虑这2个指标。

核心期刊:从综合影响力、时效性、学术继承3个方面建立评价体系。综合影响力、时效性指标与权威期刊相同,核心期刊是科技创新的主体,数量较多,影响较大,许多期刊其实是二级或三级学科中的顶级期刊,因此不应该降低这2 个方面的要求。至于学术继承指标,选取篇均引用期刊、平均引文数2个指标,它们反映期刊论文借鉴前人的研究成果并在此基础上进行再创新的情况。核心期刊没有选择出版规范指标,是因为这些已经不影响核心期刊质量。

一般期刊:从一般影响力、时效性、出版规范与学术继承3 个方面选取评价指标进行评价。一般影响力指标包括他引影响因子、即年指标这2 个传统的文献计量指标,另外选取网络指标Web 即年下载率。之所以没有选取h 指数、CI 指数指标,是因为一般期刊的影响力相对较弱,论文质量总体一般。另外为了防止一般期刊人为操纵影响因子,舍弃了影响因子指标,只采用他引影响因子。出版规范与学术继承指标包括基金论文比、载文量(区间)、篇均引用期刊、平均引文数,采用基金论文比指标评价一般期刊有一定的积极意义。学术规范不仅是指出版编辑、格式、引注等技术性规范,还包括是否具有批判性思维、科学精神、独立思考、学术创新、学术积累、求真与致用、平等与合作等基本要求[2]。

在一般期刊评价中,载文量是一个区间指标,既要防止期刊灌水导致载文量较大,也要防止期刊人为控制载文量来操控影响因子,因此对于学科内载文量较高的期刊和载文量较低的期刊,均需要通过一定的规则和扣分方式进行必要的基础数据处理。

2 研究方法与数据来源

2.1 加权TOPSIS 方法

本文采用加权TOPSIS 方法来进行评价,该评价方法由Hwang C L 等[16]首先提出,其计算公式如下:

公式(1)中,F为标准化后评价指标,F+、F-分别为最好的、最差的评价值,也称为理想解和负理想解,ω为评价指标的权重。j为评价指标编号,n为评价指标个数。Q为TOPSIS 方法的评价结果,其值介于0~100 之间,数值越大说明评价对象越好。

2.2 分级评价标准化方法及载文量标准化方法

2.2.1 分级评价标准化方法

企业要着眼于人的发展，以人为本，创造和谐的企业文化环境。人在企业的文化建设之中是最重要的要素，坚持以人为本，体现人的价值，发挥员工的价值，调动他们的积极性，开发员工的创造性思维。这样能够促进企业的创新，使员工对企业的发展更有信心的同时，也明白自己的价值，对未来的发展更加充满信心。提升企业的价值，留住人才、吸引人才，充分地发挥人才的能力，为企业的发展注入源源不断的动力。

由于是按照期刊级别进行分类评价,并且指标体系各不相同,因此标准化方法是根据期刊级别各自进行标准化,这样3 类期刊的分级评价结果就不具有可比性。

对于权威期刊,由于总体期刊数量较少,因此继续采用传统的极大值方法进行标准化。对于核心期刊和一般期刊,考虑到期刊评价指标往往不服从正态分布[17],这样评价数据可能存在较大偏倚,会严重影响评价结果,因此本文采用Sigmoid 函数进行标准化,Sigmoid 函数图像如图2 所示。

图2 Sigmoid 函数

Sigmoid 函数具有成长曲线的全部特征,便于模拟期刊成长发展规律,其值介于0~1 之间,具有直接判断优劣的功能。标准化时首先要计算评价指标的z值,即:

公式(2)中,X表示原始期刊评价指标,μ表示平均值,δ表示标准差。将z值代入Sigmoid 函数,就是标准化值Y,即:

2.2.2 一般期刊评价中载文量标准化方法

在一般期刊评价中,载文量是个区间指标,当期刊载文量排序位于所有期刊的20%~80%之间时,其标准化得分均为100,当期刊载文量排序在前20%或后20%时,根据以下公式进行减分:

公式(4)中,根据“二八定律”,m为排序位于前20%或后20%的期刊数量,k为某期刊的序号。举例如下:

假设某学科载文量较高的20%的期刊共有6个,那么对于第1 个期刊而言,载文量标准化得分为60,第2 个期刊载文量标准化得分为66. 66,以此类推。

假设另一学科载文量较低的20%的期刊有8个,载文量最低的期刊标准化得分为60,载文量倒数第2 的期刊载文量标准化得分为65。

公式(4)中,40 相当于对载文量过低/过高期刊的惩罚系数,该值越大,惩罚越严重。当载文量在一定合理范围内波动时,可以不进行惩罚,比如最低载文量大于平均值的30%,或最高载文量小于平均值的3 倍(计算平均值时要将最高载文量期刊删除)。此外对于一般期刊中的科普期刊,由于其定位特殊,如果其载文量过高,也可以不进行惩罚。一切根据评价目的导向、学科特点、期刊同行评议情况等灵活决定。

2.3 权重确定

各级别期刊评价指标的权重根据专家会议法确定,本研究邀请了评价界7 位专家进行讨论,经过2轮打分,专家意见趋于一致,结果如表3 所示。

表3 期刊分级评价指标及权重

2.4 数据来源

本文以《中国知网年报》2020 年数据为例进行相关分析。农业经济类期刊共有51 种,由于部分期刊数据缺失,因此删除了《湖北农机化》《农村经营管理》《江苏农村经济》《国土资源》《上海农村经济》《中国合作经济》《黑龙江粮食》《浙江国土资源》,实际剩下43 种期刊。

关于权威期刊与核心期刊的界定,以《中国知网年报》(2020 年)Q1 期刊为主,兼顾CSSCI 来源期刊目录(2021—2022)、《中文核心期刊要目总览》(2020 年版)、《中国人文社会科学期刊AMI 综合评价报告(2018 年)》。

关于核心期刊的数量与比例,根据布拉德福定律,核心区与相关区及边缘区的期刊数成一定的比例,核心区里少数期刊刊发了本领域大量论文,因此核心期刊数量不宜过多。农业经济类期刊中Q1 期刊有12 种,占期刊总数(51 种)的23.53%,这些期刊中,8 种属于CSSCI 来源期刊目录(2021—2022),11 种属于《中文核心期刊要目总览》(2020 年版)。这12 种全部属于《中国人文社会科学期刊AMI 综合评价报告(2018 年)》的核心或扩展版,因此将这12 种期刊作为核心期刊和权威期刊是合适的,其他期刊则作为一般期刊。

至于权威期刊的确定,根据有农林经济管理博士点高校的期刊分级目录,确定绝大多数高校公认的2 种期刊《中国农村经济》《农业经济问题》作为权威期刊。权威期刊与核心期刊的界定具体如表4所示。

表4 权威期刊与核心期刊的界定

3 评价结果

3.1 权威期刊评价指标与评价结果

权威期刊评价指标与评价结果如表5 所示,《中国农村经济》在h 指数、CI 指数、Web 即年下载率3 个综合影响力指标方面表现优秀;《农业经济问题》在引用半衰期、被引半衰期2 个时效性指标方面表现优秀,在载文量上表现也比较优秀。综合评价结果是《中国农村经济》第一,《农业经济问题》第二。

表5 权威期刊评价指标及评价结果

3.2 核心期刊评价指标与评价结果

核心期刊评价指标与评价结果如表6 所示,由于CI 指数主要根据影响因子和总被引频次来评价,因此CI 指数的排序结果与TOPSIS 评价结果的排序有一定的差异,平均排序差异为2.0,即每个期刊的排序相差2 个位次,可以说这个差异比较大。

表6 核心期刊评价指标及评价结果

表7 一般期刊评价指标及评价结果

3.3 一般期刊评价指标与评价结果

对于一般期刊评价,除了对数据进行标准化,对载文量也单独进行标准化,需要用到2 种标准化方法。在载文量标准化时,按20%的比例计算需要标准化的期刊数量,共有4 种期刊,《农村经济与科技》载文量为7 539,《山西农经》载文量为4 837,《时代农机》载文量为3 237,《农业工程》载文量为930。除去这4 本期刊,载文量均值为236 篇,其中30%为70.8 篇,小于最低载文量92 篇,因此对于低载文量期刊可以不进行惩罚。

3.4 核心期刊与一般期刊评价的统计特征分析

由于权威期刊极少,因此对其评价结果进行统计学特征分析没有意义,因此这里仅对核心期刊和一般期刊评价结果的统计指标特征进行分析。

核心期刊评价结果的描述统计如图3 所示,其均值接近60,说明其区分度很大,当然不宜用百分制评分中60 分及格的标准来进行评价,其离散系数为14.75%,Jarque-Bera 正态分布检验表明,不能拒绝正态分布的原假设。

图3 核心期刊评价结果描述统计

一般期刊评价结果的描述统计如图4 所示,其均值同样接近60, 区分度较好, 离散系数为20.50%,Jarque-Bera 正态分布检验表明,不能拒绝正态分布的原假设。

图4 一般期刊评价结果描述统计

综上所述,基于Sigmoid 函数进行标准化和使用加权TOPSIS 法对核心期刊和一般期刊进行评价,评价得分拥有较好的区分度,更加接近正态分布,是一种较好的评价手段。

4 结论与讨论

4.1 期刊必须进行分级评价以体现不同的目的和导向

本文提出在按学科对期刊分类的基础上必须进行分级评价,将学术期刊分为权威期刊、核心期刊和一般期刊,以体现不同的评价目的与评价导向,这样才能引导不同级别的学术期刊差异化发展,从而在创新型国家建设中发挥不同的作用。对于期刊数量较多的学科,在分级时也可以进一步细化。

4.2 不同级别的期刊评价体系各有侧重

权威期刊代表了学科最高水平,评价体系应重视学术质量、时效性和知识信息量,一般不需要考虑形式规范指标,要鼓励其争创国际一流期刊,适当扩大载文量。核心期刊同样要注重其综合影响力、学术质量、时效性、学术继承,影响力指标兼顾引文指标和网络下载率。一般期刊要重视一般影响力、时效性、出版规范与学术继承,同时对过高载文量与过低载文量期刊进行适当引导和规范。