协同办公平台数据驱动下的农业科研绩效评价

李 昀，吴华瑞，李奇峰，顾静秋，李庆学，韩 笑

（1. 北京市农林科学院，北京 100097； 2. 国家农业信息化工程技术研究中心，北京 100097； 3. 北京市农业信息技术研究中心，北京 100097； 4. 农业部农业信息软硬件产品质量检测重点实验室，北京 100097）

发展现代农业，建设新农村是我国的重大战略决策。而科学技术是促进农业和农村发展的助推器。农业科研高校和院所是加快农业科技成果转化和产业化，促进农业科技进步的重要力量。而农业科研成果绩效评价是对科研项目完成效率、质量和所带来的社会经济效益进行量化的系统性过程，研究农业科研成果的绩效评价体系不仅有利于监测农业科技项目的实施效果，有利于形成更加合理有效的科研资源配置，形成依靠科研进步兴农机制，促进农业现代化［1-3］。

与其他科研项目不同的是农业科技成果不仅涉及科技创新，同时其研究成果转化效果具有重要意义［4］。目前对于农业科研绩效评价指标体系构建的研究涉及角度较多，基于科学指标数据库，赵欣等探索了国外高校在农科领域的论文发表及引用情况［5］。申红芳等将科研投入作为影响因素，重点分析了不同农业机构科技产出及其资源配置情况［6］，刘宝涛等提出了包含科研投入、社会影响与科研产出3 个维度的农业高校科研评价指标体系，并采用正态云模型对多个农业高校进行了绩效评价与分析［7］。徐玲等将投入指标精简为科技人力资源投入、科技财力资源投入与科技信息资源投入，从而构建了农林院校的科研资源配置效率指标［8］。

此外，上述研究在农业科研指标构建与评价方法等方面已取得了较多研究成果，但相关研究侧重于分析内容与评价结果，对于评价方法及其评价结果的衡量关注较少。理想解相似排序（TOPSIS）模型是一种解决多准则分析决策问题的方法，能够令优选方案应尽可能接近正理想解，并尽可能远离负理想解［9-10］。目前，该方法和相关改进方法已广泛引用于各行业的绩效评价中［11-13］。考虑到农业科研项目中的科研成果权重分配标准不统一，TOPSIS模型正负理想解计算简单，没有考虑到不同科研项目产出中侧重点不同的缺点。本文研究了改进的熵-TOPSIS 农业科研项目绩效评价。

目前依靠先进信息技术、计算机处理技术、和网络技术相结合的无纸化办公方式在各行各业越来越普遍。协同办公平台是一种适应复杂业务流程和信息交互的无纸化公务管理手段，可以有效管理科研人员的项目投入与成果产出［14］。科研人员通过协同办公平台上传成果数据，也方便了对科研数据进行相关指标统计和评价。因此，本文主要研究了基于协同办公平台的农业科研指标体系，为后续实现信息化科学绩效评价提供参考。

1 农业科研绩效评价指标构建

评价指标体系是农业科研项目成果绩效评价的重要组成部分，反映了农业研究项目的完成效果与技术创新性（表1）。

以往农业科研项目评价指标体系中通常将科研成果落地情况纳入绩效评价指标，实际上农业领域中科研成果推广的年限长，类型多样，应进行单独讨论［15］。因此，在某农业科研单位协同办公平台的科研成果记录驱动下，本文从项目投入与项目产出2 个维度建立了针对协同办公平台数据驱动下的农业科研绩效评价框架。项目投入包括人员投入、科研经费投入、以及其他合作科研机构投入等其它投入；项目产出则包括论文等成果产出与成果转化结果等。该评价指标体系不仅关注论文和专利数量，同时关注获奖情况以及人才培养和成果质量，使农业科研单位的日常科研工作更有针对性，为农业成果转化投入提供进一步的指导。由于科研成果推广的经济效益具有投入周期长，考核量化标准复杂等因素，本文仅对方便量化的科研创新成果进行评价。各科研成果均能够由科研人员上传至协同办公平台，研究农业科技成果绩效指标与评价方法有利于在平台端直接实现绩效评价，为科研单位的研究方向与资源配置提供指导。

表 1 农业科研项目成果评价指标体系Table 1 Evaluation index system of agricultural scientific research projects

2 熵-TOPSIS 评价模型

评价体系构建后，必须在综合评价结果中确定各层次指标的位置，即确定指标权重，以反映不同指标对综合评价的影响。通过对指标权重法的比较分析，熵权法具有定量分析与定性分析相结合、群体决策等优点，因此笔者采用熵权法确定农业科研成果指标评价体系的权重［16］。

利用上述方法分别确定评价指标的权重后，下一步笔者使用TOPSIS 方法对科研绩效进行综合评价。TOPSIS 是1 种通过与理想解的相似性来评价目标性能的方法。与其它方法相比，TOPSIS 方法计算原理简单，结果直观可靠。对研究对象的数据不存在特殊的限制，且易于理解应用［17-19］。传统TOPSIS 方法解决指标评价的步骤是：

（1）决策矩阵确定：

在决策矩阵X 中，第i 行表示样本Ai（i=1,2,…, n），第j 列表示指标Qj。

（2）通过上述熵权法确定各指标权重：

（3）决策矩阵标准化：

通过该步骤消除不同指标量纲的影响。

（4）性能矩阵计算：

其中，vij= x'ij·wj。

（5）PIS 和NIS 确定

通过在评价样本中的最佳或最差准则值组合，可获得正理想解（PIS）和负理想解（NIS）。正理想解表示为：

负理想解表示为：

在这2 个公式中，B 表示正向指标（最大化），C 表示负向指标（最小化）。本文构建指标属于正向指标。

（6）每个样本PIS 和NIS 之间的距离度：

使用欧几里德距离计算d+和d-公式：

（7）每个样本的性能指数计算：

其中Pi值表示理想解的绝对贴近度。最后按性能指标值的降序排列各个样本。

3 熵-TOPSIS 距离评价模型

传统TOPSIS 中通常采用单一维度的欧几里得距离判断参数与正理想解和负理想解间的相似度。但通过文献可知，欧几里得距离较简单，难以表达不同指标维度间的细微差异［20］，对于线性相关指标，欧几里得距离会失效。对于这个问题，本文同时引入余弦距离和曼哈顿距离。余弦距离用2 个向量的形式比较2 个样本，如果其梯度同时在相同的增加方向上，它们之间相似。而两者梯度不一致时，发生差异［9］。欧氏度量方便衡量数值上差异的绝对值，而余弦相似度能够衡量的是维度间相对层面的差异。当两样本评分趋势一致，分值差距较大时余弦相似度倾向得到更优解。因此，本文引入余弦距离改进TOPSIS 模型：

每个样本Ai和正理想解（负理想解）之间的余弦距离可如下所示：

每个样本Ai和正理想解（负理想解）之间的曼哈顿距离为：

因此，每个样本Ai与正理想解和负理想解之间的距离可以由下式定义：

得到每个样本的正负理想解距离后，利用式（8）得到每个样本的绩效指数，依次进行对比排序，评价各项目执行优劣。

然而，TOPSIS 模型的距离改进只能以距离视角反映样本的贴近度，不适应评价指标体系的复杂多样性。灰色关联分析是一种测量序列间曲线形状相似程度的方法，能直观地呈现序列间的非线性关系，反映系统因素之间存在的相似程度。在多维空间中，序列曲线越相似，灰色关联度越大。为了进一步提高结果的准确性，引入灰色关联分析，将灰色关联法和改进距离相结合，使多属性指标决策方法更加精细［21］。

其中ρ是分辨率因子，ρ=0.5。则第i 种方案与正理想解的灰色关联度为：

然后对改进距离与灰色关联度进行无量纲处理：

最后通过式（8）计算得到样本与理想解的绝对贴近度。

4 应用案例分析

图1 所示为某农业科研院所设计的协同办公平台中科管系统综合管理界面，图2 所示为科研项目详细信息界面。由图可看到协同办公平台方便收集科研项目关联成果与立项信息等内容。本文设计的农业科研项目评价指标均能从平台内获得。

图 1 协同办公平台科管系统综合管理界面Fig. 1 Integrated management interface of science and management system in collaborative office platform

图 2 科研项目关联成果信息Fig.2 Research project details

项目1 ～项目19 由P1 ～P18 表示，如表2 所示。

表 2 收集数据原值Table 2 Original value of collected data

本文收集了18 个科研创新项目结题后的指标参数以验证本文方法的有效性。项目类型包括国家自然基金、国家重点研发计划与省级科技支撑项目等，研究内容包括农业信息化、农业大数据挖掘、智能农业管理设备研究等，所有项目都已完成验收。表3 为各指标间的Pearson 相关系数，由文献［22］可知，当相关系数大于0.4 时，指标之间即为中等相关。由表可知，C2 和C4 等多个指标间相关系数较大，科研绩效评价指标间存在较强的相关性。而由前文知欧式距离计算不能很好处理指标间的相关性，需要改进TOPSIS 评价模型，从而得到科学评价结果。

表 3 各项指标之间的相关系数Table 3 Pearson correlation coefficient of each index

为了消除不同指标量纲对权重确认的影响，对上述采集指标标准化，得到了无量纲决策矩阵，处理后所有指标数值处于同一量级。基于归一化决策矩阵，通过第2 节所述熵权法得到各级评价指标的对应权重如图3 所示。

图 3 各级指标分配权重Fig 3 Distribution weight of indicators at all levels

熵权法所得权重中，一级指标项目投入权重小于项目产出权重，二级指标中项目认证成果产出指标权重较理论成果产出权重更大，在一定程度上符合理论认知，三级评价指标中C2 ＞C1,C3=C4,C7＞C15 ＞C11 ＞C13 ＞C10 ＞C14 ＞C16 ＞C5＞C12 ＞C6 ＞C9 ＞C8，C19 ＞C17 ＞C18，项目合作机构投入大于项目人员投入，项目级别和项目资金投入相等，同时EI 论文大于核心论文权重，整体上熵权法能够捕捉评价指标中差异较大的项，且赋权结构大致符合主观上专家绩效评价中的赋权趋势。而基于上述各级指标可得每个三级指标的总权重如表4 所示。

表 4 评价指标总权重Table 4 The total weight coefficient of index

由上述指标总权重可以看到，在这批采集数据中，项目立项经费、产出新品种数量和产出新设备数量具有较大的变异程度。将上述得到的权重与采集数据一起利用改进TOPSIS 模型进行评价后，综合得分如表5 所示。其中，项目9 排名第一，项目18 排名第18。S+'i，S-'i和p'i 分别表示传统TOPSIS模型中的正理想解距离、负理想解距离和贴近度。我们将改进熵-TOPSIS 模型与灰色关联-TOPSIS模型、传统TOPSIS 评价模型评价结果进行了如表5所示对比。三者的评价结果趋势基本一致，原数据中，项目9 的项目投入、理论成果和转化成果产出均较其他项目更好，项目9 优势明显，其他指标排名相差小于5，证明了本试验算法的有效性。对于3个评价模型，传统TOPSIS 模型排名第一的是项目14，由原始数据可直观看到项目14 的理论成果产出、项目级别优于项目9，但项目认证成果产出则是项目9 较优，基于项目认证成果则明显前者排名靠前更合理，因此引入灰色关联模型后评价模型更关注于项目整体，而非差异较大的某一项。对于改进熵-TOPSIS 模型和灰色关联-TOPSIS 模型，以项目16 和7 为例，从原始数据上虽然难以判断哪个项目具有明显优势，但项目7 在项目资金投入方面较项目16 具有较大差异，因此该模型较灰色关联模型融合了细节判断能力。

将3 种模型的评价结果方差和变异系数进行对比可知，本文算法具有最大的方差和变异系数，说明本文算法的分辨率高，离散程度强。传统欧式距离TOPSIS 模型在水平测度上的结果差异较大，有利于结果判断，而灰色关联-TOPSIS 模型虽然在水平空间上差值小，但评价结果更综合，本文算法对其他2 种算法进行了优势融合，既在水平上区分度较大，而且对指标差异进行了细节分析，具有更好的准确性。

表 5 科研创新成果绩效评价结果Table 5 Performance evaluation results of scientific research and innovation achievements

5 结论

目前的农科科研项目评价指标体系中通常将成果推广效果、理论指标和项目投入等综合讨论，但农业领域中科研成果推广的年限长，不同成果面向目标人群不同，与科研项目结题成果一起进行统计评价并不科学，因此研究了1 种面向农业领域的三级农业科研创新成果绩效评价指标体系，该体系由协同办公平台录入数据即可确认，避免了主观因素介入。

在该指标体系的基础上，研究了目前TOPSIS模型中通过距离计算理想解贴进度的缺陷，引入余弦距离、曼哈顿距离、灰色关联进行评价模型改进，改进TOPSIS 模型对样本案例计算其与理想解的贴近度，得到了各项目样本的总体性能指标，具有一定的可信度。能够为后续在协同办公平台实现绩效评价功能集成提供参考，具有实际应用价值。但科研绩效评价本身是不同指标相互权衡的结果，针对不同类型项目权重需要进一步矫正，这也是我们下一步的研究方向。