基于相对标杆的科研质量评价

周文泳， 柏方云， 张 婧

（1.同济大学 经济与管理学院，上海200092； 2.上汽通用汽车有限公司， 上海 201206）

在教育部发布的《全面提高高等教育质量的若干意见》文件中明确指出：改革高校科研管理机制，建立以科研成果创造性、实用性以及科研对人才培养贡献为导向的评价激励机制。然而，目前由于科研质量管理的相对滞后，科研质量评价机制不够完善，我国高校的科研质量与效率问题日趋突出［1-2］，如何科学合理地评价高校研究机构的质量并根据评价结果采取措施进一步提升研究机构科研活动的质量与效率是当前的难点和热点问题，已成为高校科研发展中迫切需要研究的问题。

从国内外学者在科研质量评价的相关研究看，现有研究成果主要可归纳如下几个方面：以质量保证为目的的科研质量评价、展示优秀的科研质量评价、支持改进的科研质量评价［3-4］。在作者以往研究中阐述了支持改进的科研质量评价的概念模型和构成要素［5］。进而提出了评价与改进相结合的高校科研质量评价思路［6］。在关于高校科研质量评价方面，研究重点聚焦于科研评价的价值取向［7］，高校科研成果质量评价方法的改进［8］等方面。然而，目前关于支持改进的高校科研质量评价研究还不足。在针对高校科研效率研究方面，有学者采用多指标综合评价方法［9-10］，但是没有考虑到投入产出关系，不能客观评价高校科研质量；也有学者通过DEA 分析方法对比各高校的科研效率［11-12］，但是没有考虑低效率高校与高效率高校之间的可比性以及可及性，未能对高校科研质量的改进提供实现性较强的建议。

标杆管理是起源于在二十世纪八十年代的一种管理方法，是指行为组织以同行业一流组织的实践为基准进行比较进而持续改进。目前，关于标杆管理应用的研究主要集中在标杆管理的实施流程研究［13］以及基于标杆管理的效率测度［14-15］。然而，现有标杆选择的标准太高，其他行为主体在借鉴标杆的过程中，实际可操作性不强，严重影响了标杆管理的实施效果。因此针对科研质量评价和标杆管理理论应用情况的不足，本文提出了便于学习的相对标杆概念，构建基于相对标杆的科研质量评价概念模型，验证基于相对标杆理论框架的合理性问题，一定程度上弥补高校科研质量评价现有研究的不足，也为我国高校科研管理政策的科学制定提供参考依据。

1 理论分析

1.1 相对标杆的概念诠释

标杆管理主要涉及两个问题，即“标什么杆”和“如何标杆”。对于标杆对象的选择，依据对象所属组织的不同，分为内部标杆、外部标杆和功能性标杆三类，三类标杆的特点及优缺点见表1。表1表明：最优原则是遴选标杆的主要原则（即学习该领域内国际领先的最佳实践和经验［15］），但存在标杆管理的成本过高、执行周期过长、学习难度过大等问题。

表1 三类典型标杆的对象特点、学习内容及优缺点Tab.1 Object characteristics, learning content, advantages and disadvantages of the three types of typical benchmarks

为了克服传统标杆管理中上述问题，本文提出了以低成本、精简运作为原则的“相对标杆”概念。相对标杆有两种理解，一种是动词理解，指不断寻找同行业内相对优秀的工作流程、操作办法或技术标准，以此为基准开展比较、诊断、改进和再比较的循环操作过程；另一种是名词理解，指在某一实践领域或主题下，就待改进组织而言，具有相对竞争优势的同质性组织。在动词解释下，相对标杆的学习对象是同行业内的其他相似性优秀组织，不要求在行业具有领导者地位； 标杆的较优实践是可以转化吸收的。这三种特性表明，相对标杆能够有效化解传统标杆管理中存在的“只向国外看齐”的经验主义思想，助于实现支持质量改进、而非追求卓越的科研管理目标。

相对标杆管理是在相对标杆的基础上，形成的一种内发式管理方法。其核心是通过调动组织内部员工的积极性和主动性，在不依靠外部力量的前提下，实现组织改革、解决潜在的或显现的种种问题，以实现质量和绩效改进的目标。其主要作用有以下3点：

⑴支持持续改进的工具。应用相对标杆管理方法能够不断发现行业内具有相对竞争优势的学习对象，提炼有效信息，实现持续改进。

⑵促进组织自我评价和自诊断。将本组织的工作流程、操作办法等实践活动与相对标杆进行比较分析，挖掘相对标杆的优势，能深刻剖析自身实践的不足，促进组织的自我评价和自我诊断活动的开展。

⑶促进行业内组织间合作交流。参与相对标杆管理活动的组织拥有平等的地位，能够降低信息壁垒和恶性竞争等因素对相对标杆管理的影响，促进双方组织共享和交流各自的内部信息，实现组织利益的“双赢”。

1.2 基于相对标杆的科研质量评价的目标与准则

开展基于相对标杆的科研质量评价活动，需要实现如下目标：①找出的科研过程、科研员工的工作质量、研究机构质量中存在薄弱环节和制约因素；②帮助解决科研质量问题、发现科研质量改进机会；③为制定科研质量改进目标、改进科研体系、优化科研资源配置、改进科研质量提供有效支撑。

开展基于相对标杆的科研质量评价活动，需要遵循如下准则：①评价与改进相结合，评价以改进导向，评价过程与改进过程相结合；②自我诊断性评价，即研究机构、研究团队与科研员工等三个层面自主参与、自我评价；③分类评价，按评价对象的不同属性和特点确定相应的评价程序、评价标准，确保评价对象具有可比性与评价结果的科学性；④适度评价，评价的周期与范围要适度，评价要与不同层次与不同对象的科研质量活动相适应；⑤定量与定性相结合［15］，根据评价对象的特点采与之相适应的定量与（或）定性的评价方法；⑥可操作性［16］，评价模型、流程和方法应具有可操作性。

1.3 基于相对标杆的科研质量评价的概念模型

结合科研质量管理、科研评价和标杆管理等相关理论［17］，构建高校科研机构的科研质量评价模型，如图1所示。

图1 基于相对标杆的科研质量评价概念模型Fig.1 A conceptual model of research quality evaluation based on relative benchmarking

该评价模型描述了高校科研机构通过引入标杆管理方法持续改进科研质量的全过程，包括5个部分，即引入标杆管理理念；标杆管理的队伍建设；制定相关的操作规范和要求；组织开展科研机构的自我评估；实施以支持科研质量改进为目的的标杆管理。而实施标杆管理的过程又分为4个阶段和10个步骤。在计划准备阶段，高校科研机构需要结合高校的整体发展战略和科研机构的自身特点，在科研质量评价这一大目标下确定不同层面或者不同角度下的具体主题，比如，从战略层、管理层和执行层面上确定主题，从科研内容角度上确定出科技论文质量、科研项目完成质量和科研队伍质量等评价主题。然后，在确定评价主题的基础上，结合自我评估中总结出的关键问题，拟定评价要素，比如，针对科研机构的效率不佳问题，从科研投入和产出角度确定的九项评价要素（见表1）。以评价要素为标准，以相对标杆为评价原则，采用数据包络分析等评价方法，确定出具有相对有效性的标杆学习对象。

调查分析阶段的主要目的是寻找科研机构与标杆对象之间在科研质量方面的差距，而综合诊断阶段则是分析发现产生差距的根源。在问题诊断的过程中，主要遵循流程标杆和支持质量改进的指导思想，将科研过程划分为顾客价值增值过程和相应的支持过程，前者是指能够直接为科研顾客带来价值的过程，比如，科技项目的承办、科技专利的申请和授权、科技论文和著作的发表等；后者是指为前者提供辅助服务的科研过程，比如，学术交流平台的构建、学术会议的承办、重点实验室的投入等。并采用SWOT分析、竞争力分析等竞争情报法和差距分析法等方法，诊断出这两个过程中存在的问题，再制定出能够提升顾客价值，进而提升科研质量的行动方案，并在行动反馈阶段进行方案的实施、跟踪监督和反馈。

2 研究设计

2.1 研究对象与目标

以浙江大学、北京大学、上海交通大学、复旦大学、南京大学、四川大学、中山大学、武汉大学、华中科技大学、西安交通大学、东南大学、华南理工大学、厦门大学、同济大学、北京师范大学、重庆大学、华东理工大学等我国985高校为研究对象开展实证研究。本研究借鉴标杆管理、质量评价、数据包络分析法，从效率与质量视角，构建了一套较为系统的基于相对标杆的科研质量评价体系，为高校有效识别和改进科研质量问题提供积极帮助。

2.2 研究变量与测度

选取高校科研效率评价指标时，通常从投入产出两个纬度加以遴选。本文给出如下高校科研质量评价指标：①3类投入指标（科研人员投入、科研经费投入、科研资源投入）；师资队伍（X1）和 专职教师（X2）加以测度，科研经费以财政拨款收入（X3）和科研项目数量（X4）加以测度；科研资源投入以图书馆电子资源购置费（X5）和国家重点实验室数（X6）加以测度。②四类产出指标（学术论文质量、科研项目质量、科技获奖情况、科技专利质量）。学术论文质量以国外核心论文数量（Y1）和国内核心论文数量（Y2）加以测度，科研项目质量以事业收入（Y3）加以测度，科技获奖情况以获得国家三大科技奖项量（Y4）和教育部人文社科优秀成果奖（Y5）加以测度，科技专利质量由科技成果转化合同金额（Y6）加以测度。高校科研质量评价指标体系及其变量测度说明如表2所示。

表2 质量和效率视角下高校研究机构的科研评价指标体系Tab.2 Research evaluation index system of university research institutions from the perspective of quality and efficiency

2.3 研究方法与模型

在基于相对标杆对科研质量进行评价过程中，选取了基准排序方法并由MATLAB编程求解，Torgersen等人通过用非有效决策单元作为基准来测量决策单元重要性，获得了有效决策单元的完全排序［17］。

（1） 使用加性模型来评价松弛的值。有效单元集V通过其松弛值等于0来识别。

（3）然后将式（2）用于所有决策单元。该式相当于Banker 等人的BCC 模型，但是其中的参考集是V，而不是包含所有单元。在输入输出约束条件中的松弛变量对效率改进的整体潜力有直接的影响。

（4）排序有效决策单元并评价特别重要的单元，按照式（3）中pk的平均值排列所有的有效决策单元。对所有DEA有效单元进行排序的依据并不是按照各单元的效率排序，而是找出当试图提高非有效单元绩效时最适合作为标杆的有效单元。有效单元定义了每个输出变量整个的潜能。针对各个prk可以通过式（3）计算，其中k代表学校的编号，r代表输出指标。 更大的权重表明参考单元在输入输出空间上是更接近的，也就是说通过投入相似的混合资源产出了相似的混合输出。当要增加该非有效单元的产出时，如果现实可以复制的，应该向这个单元学习。yrj代表第j个学校的第r个输出指标的值。

3 实证分析

3.1 数据来源

考虑到高校科研活动从投入到产出需要一定转化周期，参考对转化周期的研究，本文将转化周期定为1 年。本文以我国31 个高校为分析样本，样本原始数据来源于Web of Science数据库、中国科学引文数据库以及中文社会科学引文索引网站、各高校官方网站、青塔全景云数据管理平台、教育部高等学校图书情报工作指导委员会网站。其中投入指标为2019年度数据，产出指标为2020年度数据，相关数据如表3 所示。表3 的数据表明各高校科研投入产出规模差异非常显著。

表3 全国31所高校的科研投入和产出情况Tab.3 Research inputs and outputs of 31 universities nationwide

3.2 效率分析

各高校科研活动效率指标数据的指标见表4。经测算，31 所高校科研活动的技术效率、纯技术效率、纯技术效率和规模效率的均值分别为0.972，0.987，0.985，表明目前所测高校的科研活动运作效率整体良好。依据表4的相关数据，对所选高校的科研活动效率及其成因展开讨论。5 所高校U7、U10、U12、U19、U25、U28、U29、U30的效率为DEA 无效，其余所测高校的科研活动效率为DEA有效。表4同时表示了各高校的规模报酬情况以及投入冗余指标和产出不足指标。其中，U10在科研项目数量和国家重点实验室数量两个方面存在冗余，在事业收入和教育部人文社科优秀成果奖方面存在不足。U19在财政拨款、科研项目数量和国家重点实验室方面存在投入冗余的情况，在国内核心论文数量和事业收入方面产出不足。U29在科研项目数量和国家重点实验室数量上投入冗余，在国内核心论文数量、事业收入、国家科学技术奖和科技成果转化合同金额方面产出不足。

表4 31所高校科研活动效率分析Tab.4 Analysis of the efficiency of research activities in 31 universities

3.3 相对标杆选取及分析

DEA有效单元的效率值是1，因此只有非效率单元可以按照效率值排序。本文相对标杆选取按照作为标杆的合适性对有效单元进行排序，即根据有效单元的可及性、可比性以及哪些有效单元更能对比出非有效单元的增长潜力。根据对有效单元p的平均值大小排序，从中选取最适合作为非有效单元的相对标杆。由表5可知，最后一列展现了按照p平均值排序的有效决策单元的排名，并确定出特别重要的有效单元。特定输出的参考值prk在输出的6 个指标上按照百分比排列。从表中第一行的数据可以看出有效单元U5在各项输出指标中非有效单元增长潜力值都是最大的，表明U5最适合作为非有效单元的相对标杆。有效单元有效单元U_2的输出指标Y1～Y5可作为参考值，而输出指标Y_6 则不能作为参考值；当有效单元的p_k^r值为0时，则不适合做其他单元的标杆；此外，与待改进单元相比，输入输出异质性太大的有效单元，不适合做标杆。

表5 针对所有有效单元j ∈V和输出指标k ∈Y的参考值prkTab.5 The value of prk for all valid cells j ∈V and output indicators k ∈Y

以非有效单元U7为例，其技术效率为0.913，以U5作为相对标杆，U7的师资队伍、专任教师、财政拨款以及科研项目数 和国家重点实验室数量均高于U5，在产出方面，国内外核心论文数量近乎相等，在事业收入、国家科学技术奖、教育部人文社科优秀成果奖以及科技成果转化合同方面，均低于U5。由此明显对比表明，以U7现有的科研投入规模在可操作性方面完全可以达到更高的科研质量成果。因此，U7面临的最主要问题并不是投入更多的科研资源而是如何充分利用现有资源，提高科研管理水平，提高科研资源配置效率。

选取最合适的相对标杆后，应以相对标杆为目标对非有效单元进行科研质量改进，非有效高校进行改进的主要内容包括对组织质量和效率的改进、组织性能的改进和组织行为的改进3 个部分［18］。①组织质量和效率的改进需要以科研人员为起点，以达到相对标杆的科研竞争力为目标，在全面考虑高校科研总的系统效率的基础上制定高校科研质量改进计划，根据相对标杆的科研管理体系优势，改进自身的组织结构和管理模式。②组织性能的改进，借鉴相对标杆高校所构建的科研组织和文化环境，改进科研交流和合作平台［3］，旨在改进组织性能的循环过程。③组织行为改进，即在科研人员中树立不断改进的意识，以相对标杆为目标，达到不断提高科研质量目的。

4 结论与启示

4.1 研究结论

该研究得出如下几点结论：

（1）相对科研标杆是相同科研领域内相对优秀、相对典型的研究机构或科研人员的做法和经验，具有可及性、经济性和可比性等优点，寻找和学习相对标杆对于改进研究机构科研质量具有重要价值；

（2）基于相对标杆的科研质量评价，属于支持改进的科研质量评价范畴，是研究机构发现自身科研质量的弱项、寻找和学习具有相对优势的标杆经验、提升科研质量的过程，能有效克服传统标杆管理中存在的成本过高、执行周期过长、学习难度过大等问题；

（3）从质量和效率的视角出发，开展基于相对标杆的科研质量活动时，借助基准排序方法，利用图1的评价思路和表1的评价指标体系，有助于高校研究机构发现科研质量的弱项、找到学习的相对标杆和改进其科研的质量和效率。

4.2 管理启示

针对31所高校科研活动效率问题，提出如下几点对策建议：

（1）对于高校科研活动效率处于不同程度较低有效状态的高校来说，建议改善各高校科研人员与科研经费的比重，优化科研成果转化机制，以保证科研成果实用性为前提，实现高效科研质量提升到更高的层次。

（2）对纯技术效率和规模效率均较低的高校来说，建议消除投入资源浪费，增强投入要素资源的配置力度，以实现科研质量最大化的目的。

（3）根据相对标杆的分析表明，在相近投入的前提下，部分高校可以得出更高程度的学术论文质量、科研项目质量、科技获奖情况和科技专利质量。由此表明更多的科研人员、经费投入并不是保证科研质量的必要条件，高校在提高科研质量的过程中，应该更注重如何构建科研环境以及科研激励机制等，以达到在现有投入的基础上得到更高产出的目的。

作者贡献声明：

周文泳：提出选题与相对标杆、学术构思、文稿审核；

柏方云：模型构建与编程求解、实证分析、文稿撰写；

张婧：概念模型构建、论理分析，文稿撰写。