科技项目评审监测及行为智能分析研究与应用

金山 邵之一 陈晓珊 裘诚

摘  要： 评审专家作为评审环节的关键核心要素，很大程度上影响着评审结果的可行性和可信度，其评审水平直接影响着项目决策的科学性。文章研究了专家评审的监测及行为智能分析技术。以科技项目评审为重心，以系统监控及网络监视技术、大数据分析挖掘技术以及层次分析法等技术为基础，对专家的评审行为进行全程监测，对采集的监测数据进行实时智能分析，针对专家不规范操作进行智能提醒。

关键词： 评审专家; 系统监测; 智能分析; 项目决策

中图分类号：TP315          文献标识码：A     文章编号：1006-8228（2021）05-13-03

Research on the monitoring and behavior intelligent analysis of

the science and technology project reviewing

Jin Shan， Shao Zhiyi， Chen Xiaoshan， Qiu Cheng

（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）

Abstract： Review experts as the key core elements of the review process， greatly affect the feasibility and credibility of the review results， their ability of reviewing directly affects the scientificity of project decision. This paper studies the technologies for monitoring and behavior intelligence analyzing of expert review. Focusing on the science and technology project reviewing， based on the technologies of system monitoring and network monitoring， big data analysis and mining， and analytic hierarchy process， and the other technologies， fully monitor the review behavior of experts， conduct real-time intelligent analysis of the collected monitoring data， and intelligently remind the experts of their non-standard operation.

Key words： review expert; system monitoring; intelligent analysis; project decision

0 引言

隨着科学技术的持续发展和社会的不断进步，各类科学技术研究项目的申报数量也越来越多。科技项目评审是科技计划管理的重要环节之一，是推动科技事业持续健康发展，促进科技资源优化配置，提高科技管理水平的重要手段[1]。如何利用信息化手段来避免部分专家在评审过程中的随意性、盲目性，发挥专家的专业性是很关键的。科技申报项目既要考虑其管理效率又要保证公平评审是目前科技管理部门遇到的管理难点。

本文提出一种在科技项目评审过程中的监测及行为智能分析的方法，其通过对专家的评审行为进行全程监测，全面分析专家评审行为，建立评审专家行为画像技术指标体系和评估模型，对评审专家进行反评估，之后将指标体系和评估模型应用于系统中，规范专家评审行为、发挥专家专业性，保证科技项目评审过程的客观、公平、公正、公开，为决策者提供更科学、精准的评审结果及决策依据。

1 Zabbix介绍

Zabbix是一个基于Web界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。Zabbix能监视各种网络参数，保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。Zabbix由两部分构成，zabbix server与可选组件zabbix agent。Zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视以及数据收集等功能，它可以运行在Linux，Solaris，HP-UX，AIX，Free BSD，Open BSD，OS X等平台上。

本文所实现指标体系及评估模型通过Zabbix在项目里对专家评审时的操作动作进行记录和监测。

2 RapidMiner介绍

RapidMiner是世界领先的数据挖掘解决方案，具有丰富数据挖掘分析和算法功能，常用于解决各种的商业关键问题，如营销响应率、客户细分、客户忠诚度及终身价值、资产维护、资源规划、预测性维修、质量管理、社交媒体监测和情感分析等典型商业案例。

拥有以下产品特点。

⑴ 拖拽建模，自带1500多个函数，无需编程，同时支持各常见语言代码编写。

⑵ 数据提取、转换和加载（ETL）功能。

⑶ 生成和导出数据、报告和可视化。

⑷ 为技术性和非技术性用户设计的交互式界面。

⑸ 通过WebServices应用将分析流程整合到现有工作流程中。

本文利用RapidMiner大数据分析挖掘算法关键技术，结合科技评审管理方法，通过评审项目全过程的需求分析，提炼并整合出适合系统的算法模型。

3 层次分析法

层次分析法（The analytic hierarchy process）简称AHP，在20世纪70年代中期由美国运筹学家托马斯·塞蒂（T.L.saaty）正式提出。它是一种分析多目标、多准则量化、将人脑分析方案的过程数学化、定性与定量相结合的系统分析方法。其原理是把复杂的问题分解为n个组成元素，将这些因素按支配关系分组，以形成有序的阶梯层次结构。最简单的是顶中低三层，顶层通常是决策的目标和目的，是唯一的。底层是可供选择的不同方案，中层是分析评价影响方案好坏的因素[2]，然后通过两两比较的方法确定各因素的相对重要性。

AHP法的基本思路是：首先找出目标问题涉及的主要因素，将这些按其关联、隶属关系构成递阶层次模型[3]，然后在每一层次按照某一规定准则，对该层要素进行逐对相对重要性比较建立判断矩阵，通过计算来判断矩阵的最大特征值和对应的正交化特征向量，得出该层要素对于该准则的权重;最后在这个基础上计算出各层次要素对总体目标的组合权重，从而得出不同设计方案的权值，为选择最优方案提供依据。

本文基于层次分析法构建了专家评审行为评估模型，为专家库管理实现公开透明、绩效导向、动态调整提供科学有效的管理工具。

4 技术先进性

4.1 随机双盲专家遴选系统

评审系统采用全程无人值守的方式运作，只需要提前设定好需要的专家数和要求，系统就会自动对统一批次的项目进行自动分组，自动匹配专家（专业、项目经历）、随机抽取（自动规避项目相关的专家及单位）、自动确认并开启项目评审，自动分发账号，自动增补替代未及时到位的专家和临时自主规避的专家，已应用于项目评审过程中。

4.2 智能推荐

对申报项目、评审专家进行大数据分析，比较项目的相似度，按照相似度排序，提醒项目审核人员进行决策判断。在评审专家智能推荐环节，根据专家参加评审项目类型的相似度进行智能匹配推荐。

5 功能介绍

系统根据国家互联互通标准建立专家库架构，并为各类型项目设立不同类别的子库来适应各类计划项目的评审工作;通过系统构建的专家与技术领域、专家与企业等关系模型，提高专家抽取的精准匹配度，降低专家廉政风险。

5.1 专家评审配置和抽取

当抽取专家参与评审时，可设定对应的抽取条件，管理员只需要设定评审相关参数即可自动对统一批次的项目进行自动分组。

系统会根据预设的模式自动通知合适的专家，确认专家是否能來参加，在专家到齐后自动开启评审并发放账号，在专家数不够时自动增补专家，并在专家主动回避时自动替换专家。抽取过程中，全程自动处理，避免人工干预。

在选择专家评审模式后，可配置短信模板，可针对不同情况配置短信模板。当评审结果为平票时，本系统还支持多轮评审，直至票选出最优项目。

5.2 后台监控进度

采用系统监控及网络监视技术，管理员可以通过后台监控模块对专家评审结果进行实时的监控分析，包括现场评审监控，监管专家实际登录及评审进度等情况，如图1所示。该界面显示所有在评项目，支持对单个项目的状态监控，在屏蔽掉专家基础信息后仅显示评审的进度，保护了在评专家的隐私信息。

5.3 导出专家评审结果

在专家完成评审后，可将评审结果导出并发送至上级单位进行验证，在发送结果的同时，可将该信息通过短信通知上级单位。

5.4 专家信用评价

专家在项目管理过程中缺乏专家进行评价的重要依据，在评审过程中对专家的评审行为进行全程监测，依据专家在评审时的评审意见、评审时长、评审分数等，对专家评审行为做出统计，进而进行信用评价，统计图表如图2所示。系统录入专家响应的评价等级、失信行为程度、具体失信行为、信用记录原因等因素，采用层次分析法的方式构建专家评审行为评估模型，对评审专家行为特征进行智能分析，针对专家不规范操作进行智能提醒，限制信用等级低的专家的评审资格。

6 结束语

专家评审是科技项目管理工作的重要组成部分，科学合理的评审，有利于科技资源的优化配置，提升科技工作者的积极性，提高科技管理水平。因此，需要加强专家评审过程中的过程监测。本文结合系统监控及网络监视技术、大数据分析挖掘技术以及层次分析法等技术，对评审专家评审过程进行监测，对行为特征进行智能分析，对评审专家进行反评估，针对专家不规范操作进行智能提醒，为专家评审行为和评审专家库的规范和优化提供参考依据，进而提高科技项目评审质量。基于上述研究成果实现了科技项目评审监测及行为智能分析系统，项目成功推广应用到多个省市自治区科技项目管理系统中，成效结果表明，专家推荐结果是比较合理和准确的，验证了本文提出的专家评审行为评估模型是可行的和有效的。

参考文献（References）：

[1] 郭晓岩，邵武杰.科技评价是提高科技管理水平的重要手段[J].中国科技成果，2006.8：26-27，36

[2] 王丽玫.层次分析法在系统评价方法中的应用[J].煤，2001.1.

[3] 吴殿廷，李东方.层次分析法的不足及其改进的途径[J].北京师范大学学报：自然科学版，2004.40（2）：264-268