基于目标预测法的高职院校科研绩效评价指标体系权重设置

赵发宾

(昆明冶金高等专科学校科技处，云南 昆明 650033)

科学合理的绩效评价指标体系是保证绩效评价工作有效性的基础，也是应用其评价结果鼓励先进、督促落后、创造良性竞争环境的前提。为实现单位、企业预定的中长期目标，单位、企业希望近期在某一领域、某一方面取得突破，决策者通常将评价指标体系构建作为一种完成规划、实现目标的手段或举措。基于高职院校科研职责、定位与普通本科院校有较大差距和不同的实际，本文将在研究目标预测法的基础上，结合高职院校实际，构建能科学、多角度、多维度评价二级部门科研绩效的评价指标体系，并对相关单元设置权重，以期为决策者开展科研绩效的评价提供理论依据和技术支持。

1 目标预测法

1.1 目标预测法简介

目标预测法即规范性预测法，由美国霍尼韦尔公司首先开发并应用。其特点是探索如何、何时实现某目标。核心是将目标自上而下逐级分解，且每级包括一系列单元，在每一级、每一个单元按质、按量、按时完成的基础上，自下而上实现总目标，可应用于宏观、中观和微观问题的探索，也可用于目标优选，权重设置等问题的研究。

1.2 预测程序

1)确定准则与分解单元。体系构建方聘请相关领域的专家组成专家组，对决策对象进行定性分析；围绕总目标选取评价准则，该步骤即确定准则；同时选取实现总目标须包含的相关单元，即分解单元。

2)确定权数。权数确定包含准则权数的确定和单元权数的确定，即受聘专家根据自己的知识、阅历，对每一准则在评价总目标过程中的作用，同一准则下各单元相对其他单元的重要性，分别赋予一定权数。在确定权数时，专家组可以直接赋值，也可以通过成对比较法确定其权重。因成对比较法更科学、合理，所以本文重点介绍成对比较法。成对比较法，就是专家根据每一准则对总目标的重要性，或同一准则下某一单元对其他单元的重要性成对比较，重要的赋1分，不重要的赋0分，逐一比较，最终完成成对比较矩阵表的构建。以成对比较矩阵表中的比较得分为基础，对各准则的重要性排序，以最不重要的准则为基准，借助受聘专家的赋值，完成准则的绝对排队和准则原始权数的计算，同时对原始权数进行归一化处理。某一准则下各单元权数的确定参照准则权数的确定步骤完成。

3)计算相关系数和确定相关权重。围绕总目标的达成，各单元的重要性可能不同，因此需要给各单元确定权重。目标预测法中各单元权重的确定就是计算各单元的相关系数。各单元的相关系数为各准则的权数分别乘以各单元相对某一准则的权数，然后求和。

为保证判断的一致性，整个过程需引用2个归一化条件。

(1)

相关系数的计算公式可表示为：

(2)

2 高职院校二级机构科研绩效评价指标体系准则确定及单元分解

2.1 准则确定

开展二级机构科研绩效评价的目的是为了落实《国务院关于优化科研管理提升科研绩效若干措施的通知》(国发〔2018〕25号)中强化科研项目绩效评价和完善有利于创新的评价激励制度等相关要求，为了更好、更优地服务院校科研工作，推动院校科研成果的转移转化和落实落地。本文选取的评价科研工作的准则主要包括以下6个方面——社会影响力(α)：指能提高学校社会影响，增加政府机构、社会组织对院校科研排名的准则；成果贡献度(β)：指科研及其成果的科学价值、技术价值、经济价值、社会价值、文化价值，最终能直接或间接产生的经济或社会效益的准则；创新质量(γ)：指开展科研工作过程中，科研项目的新发现、新原理、新方法和新规律的原创性和科学价值，反映新技术、新方法、新产品、关键部件等的创新性、成熟度、稳定性和可靠性的准则；经费预算的合理性(δ)：指项目负责人依据相关预算准则对经费预算科学性、相关性、经济性评价的准则；协调及共享性(ε)：指院校在开展科研工作时对教学、人才培养和文化传承的支撑及可能得到其他业务处室、部门支持的准则；科研环境(ζ)：指为开展科研工作单位在科研设备、科研人才、科研信息和激励机制等方面的储备和配备情况的准则。

2.2 单元分解

为体现高职院校二级机构科研绩效评价工作的“差异化 ”“多维度” 和“针对性”的评价原则，推动高职院校科研项目管理从重数量、重过程向重质量、重结果的转变，结合高职院校科研工作开展实际，本评价指标体系包含的组成单元为“科研项目立项及结题”“科研成果奖项”“科研论文”“学术著作类”“咨询报告类”“知识产权类” “指导学生参加挑战杯、体育类等竞赛”“文学作品、艺术类成果”和“科研项目成果转移转化类”共9个单元，具体组成详见单元分解结构图(图1)。

图1 高职院校二级机构科研绩效评价单元分解结构

基于高职院校与本科院校科研工作侧重点不同的实际，特别是在科研项目立项及结题和成果转移转化类2个单元有较大差异的实际，本文将科研项目立项及结题和成果转移转化类应包括的具体项目、任务作如下定义和区别：科研项目立项及结题指学校的纵横向各级各类项目立项及结题情况和学校各级各类教改项目、教学建设项目的立项及验收情况；成果转移转化类是指对学校教师在科研过程中形成的具有实用价值的成果所进行的后续开发、应用、推广直至形成新产品、新工艺、新材料，发展为新产业的情况；在承担教改项目、教学建设项目过程中形成且经同行专家论证具有推广使用价值、示范辐射作用的情况。所以，本文对科研项目立项及结题和成果转移转化类在单元分解结构图中进行了二次分解。

体系可包括的单元及各单元下应包括的单元级数、具体项目和工作，可由学校根据科研工作的实际选取和细化。

3 高职院校二级机构科研绩效评价指标体系权数确定

3.1 准则权数的确定

对高职院校二级机构科研绩效评价指标体系而言，根据成对比较法对权数确定的步骤，准则的专家组成对比较结果如下：社会影响力(α)的重要性不及成果贡献度(β)，则α得0分，β得1分；社会影响力(α)的重要性不及创新质量(γ)，则α得0分，γ得1分；社会影响力(α)比经费预算的合理性(δ)重要，则α得1分，δ得0分；社会影响力(α)的重要性不及协调及共享性(ε)，则α的得0分，ε得1分；社会影响力(α)的重要性不及科研环境(ζ)，则α得0分，ζ得1分，依次类推，逐一比较，直至完成α、β、γ、δ、ε和ζ彼此的成对比较，并构建准则成对比较矩阵表(表1)。矩阵表中，分子为1的得1分，分子为0的不得分。

表1 准则成对比较矩阵

表2 准则权数矩阵

至此，由表2已可清晰地看出各准则在高职院校二级机构科研绩效评价体系中的相对重要性。

3.2 各单元相对准则权数的确定

本文选取的准则共包含成果贡献度(β)等6个，分解成的单元共包含科研项目立项及结题等9个。在各单元相对准则权数的确定环节，本文仅以所分解的9个单元相对成果贡献度(β)这一准则权数的确定步骤为例进行详细说明。根据成对比较法对权数的确定步骤，相对成果贡献度(β)，此环节专家组成对比较的结果如下：科研项目立项及结题(a)的重要性不及科研成果奖项(b)，a得0分，b得1分；科研项目立项及结题(a)的重要性不及科研论文(c)，a得0分，c得1分；科研项目立项及结题(a)的重要性不及学术著作类(d)重要，a得0分，d得1分；科研项目立项及结题(a)的重要性不及咨询报告类(e)，a得0分，e得1分；科研项目立项及结题(a)的重要性不及知识产权类(f)重要，a得0分，f得1分；科研项目立项及结题(a)比指导学生参加挑战杯、体育类等竞赛(g)重要，a得1分，g得0分；科研项目立项及结题(a)比文学作品、艺术类成果(h)重要，a得1分，h得0分。科研项目立项及结题(a)的重要性不及科研成果转移转化类(i)，a得0分，i得1分。

依次类推，逐一比较，直至完成a、b、c、d、e、f、g、h和i彼此的成对比较。此环节构建的成对比较矩阵见表3。

表3 各单元相对成果贡献度准则成对比较矩阵

在各单元相对成果贡献度准则成对比较矩阵表和专家组对各单元相对重要性赋值的基础上，遵循权数确定步骤，各单元相对成果贡献度准则确定的权数矩阵见表4。

表4 各单元相对成果贡献度准则确定的权数矩阵

按照相同的方法和步骤，可以完成各单元相对创新质量(γ)、科研环境(ζ)、协调及共享性(ε)、社会影响力(α)和经费预算的合理性(δ)准则权数的确定，结果详见表5。

3.3 相关系数和权重的确定

根据各准则的权数和各单元相对各准则的权数已知，结合各单元相关系数的计算步骤和公式，就可完成高职院校二级机构科研绩效评价指标体系优选矩阵表的编制，即权重的最终确定，结果见表5。

表5 高职院校二级机构科研绩效评价体系优选矩阵

由表5的计算结果可知，高职院校二级机构科研绩效评价体系各单元的权重值已知，至此权重设置工作已完成。以此权重值为基础，即可对各单元的科研绩效权重赋值。

4 结 语

目标预测法作为一种权重设置工具，因操作过程的简捷性和结果的科学性，且受主观因素的影响较小，已被越来越多的领域广泛应用。当用此方法设置高职院校二级机构科研绩效评价指标体系的权重时，各准则、各单元权数的多少，参评专家的阅历、知识面对其的影响较大。评价指标体系所包含的单元，各单元具体包含的项目等因素对相关权数的影响也较大。为保证所设置权重的科学性和合理性，职能部门在权重设置过程中，需对参评专家、体系应包含的单元、各单元应包含的项目等，严格把关、选取和甄别。同时，职能部门也不能把一次设置的结果当成一劳永逸的事情，应根据学校的发展、定位，在保证其相对稳定性的基础上，适时对权重进行动态设置。此外，根据目标预测法相关路径的概念及计算公式，当同一评价指标体系有多个评价方案可供选择时，把同一评价指标体系各单元权重值相乘，即可得到各体系的相关路径值，相关路径值越大，则该评价指标体系也越好。