“双一流”背景下高校学科科研产出评价体系研究<br/>——基于药理学与毒理学学科的实证研究

“双一流”背景下高校学科科研产出评价体系研究
——基于药理学与毒理学学科的实证研究

2022-05-09孙劲楠丁佐奇

中国药科大学学报 2022年2期

孙劲楠，杨榕，丁佐奇

（1中国药科大学理学院，南京 211198；2中国药科大学《中国天然药物》编辑部，南京 210009）

自2017 年正式颁布《统筹推进世界一流大学和一流学科建设实施方法（暂行）》以来［1］，我国各高校的学科建设有了新的发展目标和发展方向。各大高校纷纷根据实际情况制定有针对性的发展战略和发展计划，并取得了一定的成效。无数的经验表明，正确合理的政策能够推动高校的快速发展，例如我国曾实施的“985”、“211”计划以及俄罗斯开展的“俄罗斯大学卓越计划”等［2］。但是，需要明确的是，我们建设的是有中国特色的世界一流大学和世界一流学科，是真正能够反映中国学术发展情况的“双一流”，这就需要在评价指标上有所针对。

此前，习总书记在出席全国教育大会上发表了重要讲话，他指出“我们要以内涵发展统领大学体系的构建，坚决破除唯规模、唯数量、唯论文、唯投入的顽瘴痼疾，从根本上解决大学评价指挥棒问题”［3］。这就要求在学科评估上从多角度、全方位地评价高校学科发展情况。目前，国际上主要的学科评价指标包括ARWU、USNews、QS、THE等［4］，而国内影响力较大的为“软科中国大学排名”［5］。这些指标大多从多个角度出发，结合高校学科发文量、被引量等反映高校的学术影响力、教学质量、社会服务、国际化程度以及社会影响力，综合打分对高校学科发展水平进行评估。有学者比较研究了国内外主流学科评价方式的异同，提出我国的学科评估不能完全照搬国外的指标体系，应该结合中国国家科技水平和学科发展水平的具体情况，制定具有中国特色的学科评估体系［6-7］。

因此，本研究提出了以下问题作为研究的重点：ESI 学科排名能否完整地反映学科发展的实际情况？如果不能，那么采用多角度的学科评估体系能否达到这一目的？本文将从科研产出数量、质量、合作程度、社会经济价值等方面构建综合评价体系，多方面展现高校学科发展成果。对于这一指标体系，采用何种权值分配的方式能够更加准确地反映各指标的实际意义？由于各项指标间存在量纲上的差异，首先将采用极差变换法将数据标准化，再采用熵权法这一客观赋权法对各项指标赋权。基于这些问题，本研究将重点关注多维学科评估体系的指标和权值，以期从具体的指标上为学科发展提供理论基础和建议。

1 研究对象及方法

1.1 研究对象

本课题组在前期已研究分析了我国部分“双一流”建设高校以及领域内具有一定影响力高校的ESI 学科发展情况［8］。因此本研究选取了前期研究的样本高校在2021 年5 月的ESI 学科排名中居药理学与毒理学学科排名前十的高校，且这十所院校均已进入该学科全球排名前1‰。按照排名高低依次是，中国药科大学、上海交通大学、浙江大学、北京大学、复旦大学、中山大学、沈阳药科大学、四川大学、北京协和医学院、南京医科大学。

1.2 评价指标体系

考虑到教育部的学科评估指标体系是针对我国高校学科发展实际和我国基本国情提出的，具有很强的针对性。因此本研究结合第五轮学科评估指标体系［9］和ESI、InCites、Derwent Innovation Index 数据库的指标情况，着重分析了第五轮学科评估指标体系框架中的“科研成果（与转化）”这一二级指标下的多项内容。该指标下提出要从“学术论文质量”和“专利转化情况”对高校学科发展情况评价，因此从各主要指标数据库中共选取了14 个三级指标，并将其划归为6 个二级指标和2 个一级指标建立了一种针对科研论文和专利的评价指标体系，见表1。6 个二级指标中有5 个涉及学术论文，分别从发文量、高水平论文占比、论文学术价值、论文合作情况以及开放获取等角度，全方位展现高校论文在推动科学和社会经济中的作用；一项指标涉及专利，通过对高校的专利情况进行比较，展现各高校在成果转化等方面的优劣势。由于各高校在发文量上存在着绝对数量的差异，所以部分指标采用了百分比的形式，以部分消除其带来的影响。表格中除了“ESI 发文量”和“ESI被引量”通过ESI数据库获得，“专利数”和“被引专利数”通过Derwent Innovation Index 获得外，其余数据均通过InCites数据库获得。

表1 学科多维度评价指标体系

“科研产出”这一二级指标主要关注的是院校的发文情况以及Q1 期刊论文百分比和高水平论文百分比体现出的高质量成果占比情况，这一系列指标主要是从数量上对高校的学科发展情况做出描述；“学科影响力”这一二级指标主要反映高校的论文在学科内的关注度和影响程度，这一系列指标主要是从质量上对高校学科发展情况做出描述；“专利情况”这一二级指标主要反映的是院校的专利数和被引专利数，进而体现在社会经济领域的贡献程度和成果转化的能力。

“合作情况”反映的是高校参与合作的“广度”，并不能体现高校在合作中的地位；而“主导合作情况”反映的是高校参与合作的“深度”，能够反映高校在学科中的整体水平，因为一般认为：第一作者是论文的主要完成人，通讯作者是论文思路、研究方向的指导人，他们在科研合作中发挥了最为主要的作用。两类有关合作情况的指标共同反映出高校在参与学术合作中的深度和广度，进而在一定程度上反映高校在该学科内的影响力。此外，本评价指标将开放获取（OA）情况列入并将其归入社会经济因素，其主要原因是近年来OA 不断发展，旨在促进知识的无壁垒传播，OA 论文的多少是反映高校承担社会责任的一个重要方面。因此选择了OA 体系中两种主要类型的文档（金色文档和绿色文档）。金色文档是指出版后立刻就能开放获取的文档，绿色文档是指出版一段时间后能够开放获取的文档。由于InCites 数据库不能直接提供金色文档和绿色文档百分比，因此检索了“DOAJ 金色文档百分比”、“其他金色文档百分比”、“绿色已录用文档百分比”和“绿色已出版文档百分比”这四项指标，分别加和得到。

1.3 数据获取途径

ESI数据库：于2021年5月ESI数据库更新后，以“药理学与毒理学”为学科分类，获取发文量和被引量；InCites数据库：于2021年6月29日，以ESI学科分类“药理学与毒理学”为标准，时间跨度为2010-2021 年，检索样本高校的其他数据；Derwent Innovation Index［10］：于2021 年6 月29 日，依据以下检索式获得专利数据，由于该数据库无直接提供被引专利数，所以该数据是手动检索获得的。检索式：MAN =（B01* OR B02* OR B03* OR B04*OR B05* OR B06* ORB07* OR B08* OR B09* OR B10* OR B11* OR B12* OR B14* OR B15*）AND AN=（NAME*），时间跨度为2010-2021 年，引文索引选择“Chemical Section”、“Electricaland Electronic Section”和“Engineering Section”，学科类别选择“PHARMACOLOGY PHARMACY”。

1.4 数据处理方法

目前，常用的较为简便的多指标赋权方法包括AHP 层次分析法、熵权法等。由于AHP 层次分析法需要人为主观对各项指标赋予权重，使得主观因素对权重的影响较大，当决策者过多地受到主观偏好的影响时，会导致结果不够客观。熵权法是一种客观赋权的方法，各指标的熵值完全由指标数据决定，熵值越大，数据的离散程度越大。因此，熵权法可以有效地判断数据矩阵中各项数据的差异。对于本研究来说，采用熵权法可以较为明显地比较出各高校在不同指标上的差距，从而提出针对性的改进意见。因此，本研究采用熵权法作为指标赋权的方法。同时，由于各指标间量纲的不同，首先采用极差变换法作为数据标准化方法，再将标准化后的数据通过熵权法得到各指标权重［11］。

2 研究结果

在获取了原始数据后，依照极差变换法和熵权法对各指标完成了赋权工作，见表2。从指标的权值可以发现，14 个三级指标中“国际合作论文百分比”的权值最大（0.110），而“金色论文百分比”的权值最小（0.025），其余指标较为接近。由此可见，各所院校在国际合作的情况上体现出了较大的差异；“金色论文百分比”这一指标各所院校差异不大。而从二级指标的数据中可以发现，“学科影响力”这一指标的权值最大（0.252），其次是“合作情况”这一指标（0.208），而“开放获取情况”的这一指标的权值最小（0.058）。

表2 各级指标权值

在建立了该指标评价体系后，将所有原始数据以标准化后的比值形式带入权值，得到了10 所院校在各二级指标、一级指标和总得分上的排名情况，见表3。图1 和图2 展示了各二级、一级指标和总得分的可视化情况。需要指出的是，表格中的院校排序是依照2021 年5 月的ESI 被引量排名降序排列的。从各级指标的排序中发现，除上海交通大学的所有排名均处于前5外，基本不存在一所院校在所有的指标中均处于前列的情况；除南京医科大学外（ESI 排名进入前1‰的时间最晚），其余9 所高校均在某个或某几个指标中处于领先地位。而ESI 排名学科排名前5 的院校在此指标体系中的排名总体上呈现逆序排列，即第1位的中国药科大学在指标体系中的总排名落后至第3位，第2 位的上海交通大学保持不变，第3 位的浙江大学上升至第1位，第4位的北京大学落后至第6位，第5位的复旦大学上升至第4位。

图1 二级指标排名情况

图2 一级指标及总得分排名情况

表3 高校在二级、一级指标和总得分排名情况

中国药科大学在“学科影响力”、“主导合作情况”和“专利情况”处于相对优势地位（分别为第1，第2 和第2 位），而在“科研产出”、“合作情况”和“开放获取情况”体现出了完全相反的情况，落后较为明显（分别为第5，第7 和第10 位），表明中国药科大学学科的发展存在着一定的不平衡。“科研产出”这一指标中，中国药科大学的ESI 发文量位于10 所高校的首位，但高水平论文占比为10 所高校的末尾，这一现象可能与发文量领先有关，但也在一定程度上反映了高水平研究成果相对较少的现象。“合作情况”这一指标中，中国药科大学在两项指标中分别位于第7 和第9 位，导致了在此项指标中的整体落后。

而从学校类型来看，综合性大学的排名情况普遍优于相对专业性的高校，这可能与近年来跨学科融合成为学科发展主要动力的原因有关。综合性大学由于其学科院系设置的多样性，以及资源投入的优势可能会带来在多维度学科评价指标中的先天优势。

3 讨论

3.1 ESI 学科排名在完整反映学科发展方面有一定的局限性

本研究发现，在ESI学科排名中较高的院校可能由于在其他指标上的落后导致综合排名下降，因此，ESI 学科排名不能完整准确反映学科发展的实际情况；也有研究分析了ESI 学科排名的缺陷［11］。以上并不是说明ESI学科排名无可取之处。ESI 学科排名以被引量为标准，那么排名越高的院校其论文的被引量也就越高，能够较为直观简便地反映高校在该学科的整体科研实力，但由于我国部分高校存在着以发文量带动被引量上升的情况［8］，所以就可能导致在Q1 期刊论文百分比或高水平论文百分比等体现单篇文章质量的指标上出现落后。这也从侧面反映出ESI 学科排名这一单一指标不能够完整反映学科发展的实际情况。

3.2 熵权法赋值后的综合指标体系能够多角度评价高校学科发展

根据前文的结论，ESI 学科排名不能完整反映学科发展的情况，所以引入多角度的学科评估体系是有必要的，并且国内国际均采用多角度的学科评估标准。本研究中采用的极差变化法和熵权法是具有实际价值与意义的，两个方法都是较为经典和成熟的数据标准化和分析方法。极差变化法从数学上解决了不同量纲指标的加和问题；熵权法的核心是信息的混乱程度，该赋权过程完全依靠的是数据矩阵中的各项数据［11］。说明本研究得到的指标权值能够反映这十所样本院校的整体情况，具有很强的针对性。

3.3 学科发展建议

制定发展计划不能只针对某一指标，而应在综合考虑所有指标的基础上结合自身已有的优势制定有针对性的发展计划。例如，不应过分追求与其他机构的合作而忽视了在合作中的主导地位，不宜将所有精力花费在横向课题上而忽视了基础性的研究等等。此外，指标体系中的所有指标都存在着一定程度上的因果关系。现有的研究证明了高水平成果与被引量间的关系、科研合作与高水平成果间的关系、开放获取与被引量之间的关系等等。这就要求相关职能部门在制定计划时应当综合考虑各项指标，权衡利弊，有所取舍，做到事半功倍，协调发展。

3.3.1 致力发表高质量原创研究成果发文量固然是一个重要的影响因素，但通过大量“灌水”或价值相对较低的文章带来被引量的增加是一种“畸形”的发展模式，无异于饮鸩止渴。高校的学科发展离不开具体的科研人员，国家或高校的政策“指挥棒”在其中发挥了不可或缺的作用。所以，在今后的发展中可以将重点关注在高质量研究成果上，通过改革个人评价制度，探索“揭榜挂帅”等制度，整合学科内的资源，由院校牵头组织学科内专家商讨确定有价值的研究方向，进而组织有条件的一个或多个课题组对这些问题进行重点攻关研究，进而产出更多有重大创新的高质量研究成果，实现0 到1 的突破。当然，这可能会导致短期内发文量增速变缓，但在长期来说，会使得“科研产出”另外两项指标以及包括“学科影响力”下3项指标在内的5项指标获得提升。

3.3.2 主导或广泛参与科研合作从各高校在两个二级指标的排名上看，这些院校大多呈现“T”字型或倒“T”字型的发展情况。即合作广度大，但深度不够（“合作情况”排名靠前，但“主导合作情况”排名靠后）；或是合作深度较深，但广度不够（“主导合作情况”排名靠前，但“合作情况”排名靠后）。已有研究表明，广泛的合作会带来科研产出的增加和论文被引量的增加［13-14］，同时与大型研究团队合作的成果更容易发表在高影响力的期刊上［15］，并且论文被撤稿的可能性会大幅度降低［16］。因此，在今后的发展中，各高校也可将重点放在与其他机构的合作上，充分利用各院校所处的省份（地区）拥有大量高等院校、研究所、企业的地理优势，通过组织研讨会、开展调研工作，更加积极、主动地参与和国内其他科研单位的合作。此外，可开拓视野，积极探索与国外研究机构的合作；也可结合上文中提到的“揭榜挂帅”制度，将一批研究价值高、研究方向新颖的课题与其他院校合作，形成“课题攻坚小组”，这不仅有助于“合作情况”这一指标的提升，也有助于其他指标的提升。

3.3.3 加强校企合作注重成果转化专利作为一项将科研成果转化为实际经济效益的途径，是学术研究和实际应用的重要桥梁。从宏观上看，专利大国必然是科技大国。具体到高校，高校的专利数，反映的是高校将学术研究成果转化为产业动力的水平，而被引专利数反映的是具有相对较高社会经济价值的专利数，即科研成果转化的“效能”。由于专利在一定程度上离不开与企业的密切合作，有条件的高校可以探索建立产业研究院，与行业内具有一定科研实力的企业展开更为密切的合作。此外，也可探索建立定期的企业调研机制，通过组织校内具有一定科研能力的课题组深入企业调研，发掘企业科技“攻关难题”，确定合作的方向与内容，从而开发具有较高社会经济价值的专利。同时，在现有的高校个人评价体系中，专注于“横向合作”的教授/研究员可能不具备优势，高校也可探索针对主要从事横向合作的教授/研究员的评价体系，从制度上带动个人积极性。当然，与企业的合作必然会带来较大的经济利益，这可能会导致大量的研究人员转向与企业的合作而“荒废”本身的科研工作。因此，在制定促进科研成果转化的政策时，也需兼顾多方利益，防止出现“头重脚轻”的畸形发展。

3.3.4 推进开放科学鼓励开放获取 2021年7月5 日，欧洲大学协会（EUA）发布的《从原则到实践：2020－2021 年欧洲大学开放科学调查报告》建议“将开放科学充分纳入奖励和激励措施”。本研究发现，开放获取这一二级指标下的各三级指标，10所院校的数值都相对较低。开放获取论文的占比大多分布在20%～30%。有研究表明开放获取链接将会在社交媒体上获得更高的关注度和点击量［17］，本课题组早期的研究也发现社交媒体关注能够带来被引量的增加［18］。并且，随着开放获取运动的不断开展，越来越多的高校或指标评价体系也将OA 作为个人或机构评价的重要指标［19］。因此，在今后的发展过程中可以引导有条件的课题组或个人将科研论文发表在OA 期刊上，或在投稿时选择OA 投稿。当然，需要注意的是有些OA期刊的学术水平较差、影响因子较低，且存在着较大规模的撤稿行为，因而遭到了学界对OA 期刊学术价值的质疑［20］。另外，由于学术出版商的政策，OA 发表需要投稿人自行承担版面费等投稿费用，这就变向加重了科研工作的经济压力。所以需要在投稿时做出权衡，在保证研究成果能够发表在与其反映出的科学价值相匹配的学术期刊的基础上，再选择是否投稿给OA 期刊。这提示院校在制定有关OA 的发展制度时应有弹性，不能搞“一刀切”，将论文发表在能够准确反映其学术价值的期刊上为前提，合理制定有关OA的发展政策。

在后续的研究中，将逐步探索优化指标体系、增加样本高校数量和完善赋权方法。对于指标体系，在现有的主流评价指标中，高校的教学质量也是一个重要的评价指标，这在本研究中没有涉及，但其实在InCites 数据库中是有相关数据的，可以先研究该数据库中相关数据的来源及统计学相关性，以探究是否具有统计学价值，再考虑是否将其加入指标体系中。此外，课题组的前期研究中比较了科技期刊对学科发展的贡献程度［21］，可以将目标高校主办的SCI 收录期刊或中文期刊的相关指标作为指标体系中的一环。而对于样本高校数量，由于熵权法的产生权值是随着数据集的改变而改变的，那么随着更多样本高校的加入，指标权值更能反映出普遍情况。现今常用的赋权方法还有因子分析法等，后续将探索采用其他的赋权方法，比较是否会有类似的结论。此外，将在已有学科聚类研究的基础上，优化聚类模型，更好地展现不同高校学科间的合作关系和发展状况。