APP下载

学科评价模型中影响力增长系数研究

2020-07-27吕俊杰李煜张旭

现代信息科技 2020年5期

吕俊杰 李煜 张旭

摘  要:在全国高校争创一流的背景下,学科评价成为了高校图书馆学科服务的重点工作,为了客观有效地展现高校学术成果的发展态势,文章创新了影响力增长系数理论原理,基于热门学术成果评价模型和实际法学科研成果数据,绘制影响力增长曲线,比较增长系数在模型中的状态和特点。研究发现,增长系数指标在模型中表现良好,具有动态性、伴生性和趋势性特点,可直观衡量学科发展趋势和发展速度。

关键词:学科评价;增长曲线;增长系数

中图分类号:G353.1       文献标识码:A 文章编号:2096-4706(2020)05-0022-04

Research on Influence Growth Coefficient in Subject Evaluation Model

LYU Junjie,LI Yu,ZHANG Xu

(Library of Southwest University of Political Science and Law,Chongqing  401120,China)

Abstract:In the context of striving for the first-class in colleges and universities across the country,subject evaluation has become the key work of subject service in university libraries. In order to objectively and effectively show the development trend of academic achievements in colleges and universities,this paper innovates the theoretical principle of influence growth coefficient,draws influence growth curve based on popular academic achievement evaluation model and actual legal research achievement data,and compares the growth. The state and characteristics of coefficients in the model. It is found that the index of growth coefficient performs well in the model,which has the characteristics of dynamic, concomitant and trend,and can directly measure the development trend and speed of the discipline.

Keywords:subject evaluation;growth curve;growth coefficient

0  引  言

2015年國务院印发了《统筹推进世界一流大学和一流学科建设总体方案》,2017年教育部、财政部和国家发改委三部委又联合印发了“双一流”建设实施办法,特别强调要以学科为基础,充分利用有影响力的第三方评价,强化学科建设绩效考核[1]。为明确本校优势学科国内外现状,图书馆开始利用热门学科评价体系[2],量化本校学科水平,定位学科发展方向,为各学科出具“一流学科竞争力分析报告”。这些报告中,“学术成果”产量是最核心、最关键的评价指标,但产出量的多少,并不能完全反映学科真实水平,于是诸多学者又提出了以“发文量”和“被引量”为基础的学科评价模型[3],通过模型理论和算法,反映高校学术成果的综合价值。学术成果数量是逐年累计变化的,在发展过程中必然存在增长快慢问题,这也是主流评价模型中未提及的地方,为了真实反映高校整体科研成果的发展速度,笔者以9所法学优势高校的学术成果数据为案例,提出了增长系数理论,通过绘制增长曲线,从发展视角探索真实客观的法学学科现状,为学科评价提供新的理论和经验,为学院和学者提供数据参考。

1  评价模型

篇均被引CPP:以P和C形成的第一类评价指标,即篇均被引量,数学形式上的一种均值,CPP=C/P。

h指数:学术源的N篇论文中有h篇每篇至少被引h次,而其余N-h篇论文每篇被引均小于或等于h次。

p指数[4]:学术源论文发表数量记作N,总被引次数记作C,则p指数计算公式为:

学术迹和学术矩阵T指数[5]:学术迹是学术矩阵的迹,而学术矩阵是引文曲线按发文的被引量排布构成的三阶矩阵。引文曲线以h指数与零被引为分界点,即产生h核-h尾分布的概念[6]。在此基础上,定义独立向量X,X1、X2、X3分别标记h核、h尾和零引区的发文分布;定义独立向量Y,Y1,Y2,Y3分别标记h域、t域、e域的引文分布。利用发文向量X、引文向量Y构造引文和发文的差值向量Z(X-Y)。

学术迹T数值等于3个指标X1、Y2、Z3数值之和,在计算T值时,因Pc=h,Cc=h2,Ct=C-Ch,Ce=Ch-Cc,前期数据准时只需要收集研究对象的总发文量P、零引论文量Pz、h指数、总被引频次C、h核总被引量Ch。

影响力CI指数[7]:将学术源的所有论文以被引频次(TC)、发文期刊的影响因子(IF)归一化处理后,映射到二维空间,称为“论文影响力排序空间”,每篇论文根据(A,B),在该空间对应为一个点。其计算公式为:

评价模型是为研究对象服务的,是为了能够量化研究对象的整体论文水平而制定,虽然表面上评价模型都是建立在“数量”P(发文量),“质量”C(被引量)之上,但却隐含了一个“时间段”的概念,无论是发文量还是被引量,始终是一个累积增长的过程,要量化其值就必须确定该研究对象数据产生的“时间范围”,同一个研究对象在不同的“时间范围”得到的结果可以形成纵向比较,不同研究对象在相同“时间范围”得到的结果可以形成横向比较。通过不同“时段”维度,就可以为研究对象生成“累积增长曲线”,即评价指标在各个时间点上的量化数据“回归曲线”。从曲线的走势就可以直观地看出研究对象的论文水平在各年度的发展情况。可以分为:

(1)线性增长:研究对象在各年的累积增长趋势呈线性发展趋势,意味着研究对象各年的发展水平相当;

(2)对数增长:研究对象在各年的累积增长趋势由快变慢,随着“时段”的增加,发展速度逐渐变缓;

(3)指数增长:研究对象在各年的累积增长趋势由慢变快,表明研究对象随着“时段”的增加,发展速度越来越快。由于指数变化速度太快,一般存在于少数特定的数据范围中;

(4)正弦增长:研究对象的各年累积增长趋势是随着时间呈周期波动式增长,发展速度有快有慢。每种增长对应一个回归方程,预测研究对象未来的发展趋势、发展快慢。

線性回归函数:y=β01x;对数回归函数:y=β01ln(x)指数回归函数:y=β0eβ1x;各个函数中的β0是常数,β1为影响力增长系数g。

2  研究方法

以中文社会科学引文索引(CSSCI)中法学来源期刊(23种)论文数据为载体。9所法学优势高校2005年至2016年的发文数据。对原始数据进行分类,按“高校”分为9所,按“时段”分为“05-05,05-06,…,05-15,05-16”12个时段,每所“高校”对应12个“时段”,总计108个数据样本,再根据不同评价模型所需要的指标数据,计算出每个样本的总发文量P、总被引频次C、h核总被引量Ch、零引论文量Pz、h指数。最后利用评价模型的数学原理,计算出各个样本的T值、CI指数、p指数和CPP值,最终形成以“高校”“时段”、P、C、CPP、p、h、T和CI的样本数据表。

绘制累积增长曲线:分别绘制9所高校、5种模型值(CPP、p、h、T、CI)的12个时段的累积增长曲线,再对45组图形进行曲线估计,选取拟合度(R2)最高的曲线,并计算出该曲线的回归方程和回归系数,为统一各个模型的回归系数量级,对模型值都进行标准化处理,使其在[0,1]之间。

3  数据分析

3.1  学术迹和CI指数

学术迹和CI指数“累积增长曲线”如图1所示,是对学术源整体情况进行评价的综合性指标,同时融合了学术源论文的数量和质量因素。各高校的影响力增长曲线属于“线性增长”方式,曲线走势高度拟合逐年累积发展态势。这是一种平稳增长方式,证明各高校在2005~2016年时间段一直处于稳定增长状态,没有出现某一时间节点论文水平陡升陡降的情况。同时也最容易观察和比较各个高校在某时间节点的论文水平高低,和一个时间段发展速度快慢的一种增长趋势。量化增长系数后,可以直观地反映出各高校在2005~2016年的实际论文水平发展速度。高校的历史背景和科研水平在2005年的时候可能存在差异,导致论文整体水平的初始高度不一致,但是随着时间推移,发展快的高校肯定会和发展慢的高校形成交点和差距。以“华东政法大学”为例,在T指数模型中,该校呈现出明显的上升势头,在最初排名垫底的情况下逐渐赶超,整个发展时段的增长系数0.26,和“北京大学”的发展速度相差无几。而在CI指数模型中,已经超过了“北京大学”的发展速度。

3.2  p指数和h指数

p指数和h指数“累积增长曲线”如图2所示,主要针对的是学术源高质量的一部分论文,反映学术源在某一个时段的高质量论文增长速度。这两种模型对此次数据源的论文数据量化结果表明,各高校的累积增长趋势在“自然对数”回归方式下得到的曲线拟合度效果最好,“对数增长”趋势的特点是先快后慢,这也符合高影响特征指标的性质,被引频次是一个累积增长的过程,同时受被引半衰期的影响,其年增长率是逐渐下降的。计算出增长系数后,可以直观地比较各个高校高质量论文这一部分科研成果水平的高低和发展快慢。以“华东政法大学”和“武汉大学”为例,在p指数和h指数两个评价模型中,“华东政法大学”在研究时间起始点都处于较低水平,但其增长速度(0.986、0.938)却处于领先地位,在研究时间末,其科研水平已经攀升至中游;而“武汉大学”相反,起始处于中游,由于增长系数(0.530、0.492)是所有学校中发展速度最慢的,在研究时间末却到了高校末尾。

3.3  篇均被引CPP

篇均被引量的评价方式研究的是“数量”和“质量”的权重关系,此次数据表现出负相关,说明“数量”的增幅大于“质量”增幅,计算出的增长系数均为负数,数值越小,增长曲线越陡峭,如图3所示,说明该高校论文“数量”的增长速度远大于“质量”增长速度;数值越大,增长曲线越平缓,高校论文“数量”和“质量”每年增长速度相对稳定。从实际数据来看,“北京大学”“清华大学”的篇均被引历年来都是最高的,但同时这两所高校的篇均“质量”下降速度也是最快的(-1.206、-1.335),其他7所高校的篇均“质量”下降速度较为缓慢,虽然受被引半衰期的影响,但是整体的“数量”发展速度远超过了“质量”的发展速度,从一个侧面证明目前大多数高校还是更看重论文“数量”。

4  增长系数特点

4.1  动态指标

任何评价模型的目的都是为了合理量化学术源科研水平,量化过程的起点是“数据源”,它的选取范围需要根据评价目的而定,借鉴管理学常用的3W方式来描述“数据源”的三个维度:评价谁的科研成果(WHO),选取“数据源”的主体,可以是各种机构,如高校、联盟和期刊等,可以是个人如学者;评价什么成果(WHAT),选取主体的某种科研成果,可以是论文、专利、项目等;以什么时段为限(WHEN),选择研究的时间段,可以按照年、月等某一时间节点或者某一时间段为限制。

当明确“数据源”三个维度后,数据池就固定了,之后才能根据不同评价模型的数学算法进行量化。评价模型最终形成的数值是静态的,反应的是某一个点的结果,但是由于存在时间维度,要了解学术源的科研发展趋势,就需要利用不同时间节点的结果,计算出整个时段的增长系数。因此增长系数属于动态评价指标,可以直观地对学术源一个时间段的发展快慢进行量化解释。

4.2  伴生指标

增长系数的理论原理和数学算法决定了其属于评价模型的伴生指标,意味着同一数据在不同模型中会出现不同的增长系数,但几种增长系数大小不具备可比性;只有在同一评价模型下的不同数据组计算出的增长系数才具备可比性,说明增长系数不是绝对值,而是一个相对值,它是依附于评价模型而存在的,并从时间维度对评价模型进行了补充解释,解释学术源在特定评价模型下,某一固定时间范围内的整体发展趋势和发展快慢的问题,从发展角度看问题正是增长系数的意义和价值所在。

4.3  趋势指标

在前文数据分析中展现了5种评价模型的增长曲线,其中最重要的统计量是曲线拟合度(R2)问题,它决定了以什么样的曲线来描述模型的增长趋势才最合适,最优拟合度确定后,模型的发展趋势就一目了然。通过增长曲线可以了解研究对象在研究时间段内的发展形态。虽然本文研究的模型只表现出三种形态(线性增长、负增长和对数增长),但是根据研究数据和评价模型的不同,可能出现其他多种发展形态,如周期波动形态,指数增长形态等。由此可见,增长曲线可以作为一种发展趋势指标,用来反映研究对象以什么样的形态逐年增长,增长系数则表明研究对象在这种形态下发展速度如何,形成可以量化比较的数值。

4.4  评价局限

增长曲线和增长系数由于其伴生指标的特性,无法脱离评价模型单独存在;不同增长曲线计算出的增长系数不具备可比性,只能用于对本身评价模型在发展趋势和速度上的补充说明。拟合度的高低决定了评价结果的质量;无论是对单一目标或多目标进行结果比较时,如不能出现高拟合度或统一回归形态的高拟合曲线,最终计算出的增长系数的参考价值会降低。

5  结  论

从分析过程和数据结果中可以看出,增长曲线和增长系数在各个评价模型中表现良好,能直观反映出各高校法学学科的水平高低和发展快慢,为法学学科定位提供了有效的数据支撑。高校图书馆在为学院提供学科评价的过程中,应重视学科历年发展状态的演变,才能更客观的反映本学科的真实水平。此外,高校管理层对学科评价的认识需要转变,不能简单地把评价作为高校间排名,或应对上级主管部门检视的工具,其真正意义在于:首先,学科评价是学科服务的方式之一,评价指标量化了学术成果价值,目的是为学院和学者提供理论和数据支撑,评价结果对院校学科建设和学术资源分配有着参考决策作用;其次,评价数据为学者提供自身研究领域现状,能有效地拓展科研契机,发现研究热点;最后,图书馆在进行学科评价时,应主动走进学院和学者的研究一线,收集学者对评价的认知、对评价的需求、对结果的反馈意见,不断改进评价内容,这样才能有效起到学科服务的作用。

参考文献:

[1] 周光礼.世界一流学科的中国标准是什么 [N].光明日报,2016-02-16(13).

[2] 杨昭,潘卫.世界一流学科评价指标结构分析及启示 [J].黑龙江高教研究,2019(6):57-60.

[3] 叶鹰.国际学术评价指标研究现状及发展综述 [J].情报学报,2014,33(2):215-224.

[4] PRATHAP G. The 100 most prolific economists using the p-index [J].Scientometrics,2010,84(1):167-172.

[5] YE F Y,LEYDESDORFF L. The “academic trace” of the performance matrix:A mathematical synthesis of the h-index and the integrated impact indicator (I3) [J].Journal of the Association for Information Science & Technology,2014,65(4):742-750.

[6] YE F Y,ROUSSEAU R. Probing the h-core:an investigation of the tail-core ratio for rank distributions [J].Scientometrics,2010,84(2):431-439.

[7] 中國学术期刊影响因子年报.中国学术文献评价研究中心 [M].北京:清华大学图书馆,2015.

作者简介:吕俊杰(1984.08-),男,汉族,重庆人,馆员,硕士研究生,研究方向:大数据分析、学科评价与服务;李煜(1987.07-),女,汉族,重庆人,馆员,硕士研究生,研究方向:大数据技术;张旭(1982.02-),女,汉族,辽宁黑山人,馆员,硕士研究生,研究方向:嵌入式学科服务。

收稿日期:2020-02-12

基金项目:重庆市高等学校图书情报工作委员会2019年科学研究项目(2019CGT2002)