科技专家评审质量评价模型实证研究

胡 意，郑宏松，陈丽丽，邹倩瑜

（广东省科技创新监测研究中心，广州 510033）

科技专家在参与科技计划项目评审、科技业务咨询等活动过程中，充分发挥了专家群体的特长、知识、经验、智慧和判断能力，有效促进科技管理工作向专业化、规范化、科学化发展。毫无疑问，科技专家群体为促进中国科技进步发挥了重要贡献。但是在以往的科技计划项目评审、科技业务咨询服务过程中也暴露出一些问题，例如部分科技专家在评审工作中态度不端（闲聊、玩手机、打电话等）、专业能力不强（专业知识欠缺、提不出指导意见等）、滥用专家权力（评价有失公允、搞裙带关系等）等问题时有发生，对科技主管部门形象造成负面影响。在这种背景下开展科技专家评审质量评价模型研究，推动科技专家管理工作的科学化、规范化、合理化具有现实意义。

1 文献综述

1.1 科技专家管理相关政策研究

2019 年6 月，中共中央办公厅、国务院办公厅印发了《关于进一步弘扬科学家精神加强作风和学风建设的意见》（中办发〔2019〕35 号）［1］，提出科技工作者要加强作风与学风建设，营造风清气正的科研环境，通过良好学术生态，激发全社会创新创造活力。广东省科技厅在2014、2017、2020 年先后发布《广东省科学技术厅关于省科技计划信用的管理办法（试行）》（粤科监审字〔2014〕118 号）、《广东省科学技术厅关于省级科技计划（专项、基金等）严重失信行为记录与惩戒暂行规定》（粤科监审字〔2017〕102 号）、《广东省科研诚信管理办法〈试行〉》（粤科规范字〔2020〕2 号）等文［2-4］，持续推动科研诚信建章立法，努力营造公平、公正、透明的科研管理环境。其中在《广东省科研诚信管理办法〈试行〉》（粤科规范字〔2020〕2 号）［4］中明确将科研活动申报、评审、实施、验收、监督检查和评估评价活动中，存在的“未按规定履行职责、违反回避制度、滥用职权、徇私舞弊、出具虚假或失实结论的、打招呼、走关系”等行为定义为科研失信行为。

通过国家和广东省科技专家信息管理相关政策的研究可以看出，国家和地方政府部门都在积极推动科研诚信体制的建立与完善，但罗马非一日建成，针对科技专家评审质量的监督管理机制目前还是处于政策空窗期。

1.2 神经网络算法在评价中的应用

金义等［5］、徐洪飞等［6］、庄严［7］主要将神经网络算法与评价指标有机结合形成了系统的评价模型，并通过仿真实验验证了基于神经网络算法的评价模型的适用性、精准性。金义等将BP 神经网络算法应用于校园网络安全评价中，通过仿真实验训练出适用于校园网络安全评价的算法模型［5］。徐洪飞等针对高校机械实验室建立了包含两级安全评价指标体系的IPSO-BP 神经网络的安全评价模型，通过专家评分数据对模型展开训练，样本数据的预测结果相对误差符合预期要求，从而构建了科学可靠的实验室安全评价模型［6］。庄严开展了基于神经网络的高校科研团队评价模型研究，在构建科研团队综合指标评价体系后，引入具有出色学习分类能力的SOM神经网络算法开展高校科研团队综合实力评价模型研究，仿真实验验证了分类评价方法的准确率，也暴露出一定局限性，通过引入粒子群优化算法实现了模型的调优，再次提升了模型的可靠性［7］。

综上可知，神经网络算法在处理非线性问题上具有显著优势，依赖于较强的自学习、自适应能力推动模型不断迭代学习，反向进行参数因子调优，提升算法的精准性与智能化程度，被广泛应用于各行各业的评估评价中。本文通过建立科学、高效、智能的专家评价模型，促进神经网络算法在科技专家管理领域的推广应用。

2 专家评审质量评价指标分析

通过对工作质量评价体系研究方面文献［8-10］梳理，结合前人的工作质量评价指标原始量表与科技主管部门的政策法规文件，建立专家评审质量四维模型，分别为专家基本素质、工作态度、专业程度及指导水平4 个一级指标，对应20 个具体二级指标，在考虑二级指标的设立时，充分结合当前科技管理部门科技业务评审过程遇到的实际问题及管理者经验与教训。随着科技管理事业的推演发展，相关评分指标应该是动态变化、与时俱进的。质量评价指标见表1。在表1 中，各层级指标间相互响应、相互作用，但其中的因果、关联关系是很难量化的。因此引入在处理离散、非线性问题上具有独特优势的神经网络算法，辅助开展科技专家评审质量综合评价分析。

3 专家评审质量评价模型实证

神经网络的自学习、自适应特点对实现智能化、自动化、精准化生成专家评审质量综合评价结果信息具有高度适应性，可以避免“陷入”传统方法例如层次分析法、专家判断法在各级指标权重科学合理性上的烦琐研究流程。通过结合大量的训练数据展开自学习过程，对算法中权重参数不断调优，使神经网络评价预测结果高度逼近传统方法的真实结果。

3.1 神经网络模型建立

专家工作质量评价模型建立基本步骤主要包括：①确定输入层的神经元。将20 个二级评价指标作为输入神经元；②确定输出层的神经元。将专家评审质量综合评价结果作为唯一的1 个输出神经元；③确认隐含层神经元。结合本文评价数据较为简洁。因此隐含层设置为1 层，参考金义等［5］提出的经验公式将隐含层神经元数量设置为5～25 的整数，可以进行参数调整以适应最终训练目标。④确定神经元转换函数。神经网络通常采用Sigmoid 函数作为神经元转换函数，能够将数据范围转化控制在合理水平之间。至此基于神经网络的专家工作质量评价模型建立完成。

3.2 神经网络算法训练

神经网络算法的训练过程主要包括：①设置算法的初始权重、学习速率、训练次数、训练误差目标等参数；②选取总数量90%的真实的专家二级指标评分数据及综合评分结果数据作为训练数据；③运用神经网络算法计算专家综合评价结果预测值；④对比真实评分结果与预测值误差，反向调整权重参数，如果误差为偏小，则适当调大权重参数，如果误差为偏大，则适当调小权重参数；⑤结合设定的训练次数及训练误差目标不断迭代调优，直至训练次数及训练误差都达到设定目标方可结束训练过程。

选取2 000 组真实的科技专家评审质量评价数据，包含二级指标评分及综合评分数据，随机抽取其中的1 800 组评价数据用作训练数据，训练次数设为不少于1 500 次、目标误差不大于2%，在算法训练过程中，可能遇到参数设置不合理导致预测值误差大的情况，需要反复调整设置的参数，通过预测值结果与真实综合评分的误差进行对比，不断拟合、迭代、反向调参，给出无限逼近真实评分的预测值。截取的部分训练数据见表2。

表2 科技专家评审质量评价训练集

3.3 神经网络算法实证测试

经过反复训练及神经网络算法的参数调优后，形成了性能较为稳定、符合精度要求的科技专家评审质量评价模型。这时需要利用剩下的200 组真实数据对基于神经网络算法的科技专家评审质量评价模型进行最后的实证测试。通过将二级评价指标数据作为输入神经元输入算法模型得出了预测值，将预测值与真实综合评分结果间误差进行比较，结果如图1 所示，其中每个带编号的圆环代表预测值与真实综合评分间误差所处的区间。

图1 测试集误差区间分布情况

结合图1 可以看出，实证测试结果显示的误差大体能控制在［-2%，2%］区间内，据统计200 个测试结果中有161 个结果符合设置的目标误差要求，占比80.5%；另外有39 个测试结果误差大于2%，占比19.5%；根据基于神经网络模型的实证结果可以看出，该算法模型的精准度基本能符合预测要求，但是还有进一步提升精度（80.5%）和减小误差（当前误差目标是2%之内）的空间。

4 结论及展望

首先就当前科技主管部门在科技计划项目评审中遇到的痛点进行剖析；其次结合质量评价及神经网络相关理论研究成果，开展了基于神经网络算法的科技专家评审质量评价模型的研究，重点探讨了模型的设计流程及训练、测试方法；最后结合科技专家评审质量评价真实数据对算法模型进行了实证测试。测试结果显示，基于神经网络算法的专家评审质量模型在允许2%误差的前提下，自动预测评分值精度超过80%，基本能够满足自动化评价要求，但是在误差控制及预测精度上还有较大进步空间。通过结合神经网络算方法为科技专家评审质量评价工作提供了一种科学化、自动化、智能化、高效化的评价路径。当前人工智能、大数据、云计算技术的应用与发展已经步入深水区，通过结合新一代信息技术实现科技治理工作现代化即将变为现实。