粤港澳大湾区科技专家评审质量后评估模型及共享机制研究

胡 意 邹倩瑜 廖 扬 陈丽丽

(广东省科技创新监测研究中心,广州 510033)

0 引 言

2019年初广东省政府印发《关于进一步促进科技创新的若干政策措施》[1],提出鼓励港澳高校和科研机构承担广东省科技计划项目,并将在重大项目形成、指南发布过程中充分听取吸收港澳专家意见。科技专家团体在支撑科技管理部门制定创新驱动发展战略、辅助科技管理精准施策中发挥重要“智囊团”作用,各级科技管理部门高度重视科技专家队伍建设和管理。2022年科技部等八部门发布《关于开展科技人才评价改革试点的工作方案》[2],强调在人才评价上,要“破四唯”和“立新标”并举,加快建立以创新价值、能力、贡献为导向的科技人才评价体系。在这种背景下,综合运用BP神经网络、区块链等新一代信息技术,结合BP神经网络在处理非线性问题上的显著优势以及区块链技术在信息共享上的安全可靠、不可篡改特点,探索一种跨区域、跨制度、跨部门的科技专家评审质量共建、共治、共享机制,为粤港澳大湾区建设夯实科技专家人才储备、营造风清气正的粤港澳大湾区科技创新环境提供一种创新路径。

1 文献综述

1.1 评估体系研究

在评估指标体系研究方面,徐华从科技评估专家的特点出发,研究设计了科技评估专家信用评价指标体系,运用模糊综合评判法建立了科技评估专家的信用评价模型,初步实现了对科技评估专家的信用评价[3]。廉立军建立了包括人员素质、服务环境等维度的高校图书馆馆员服务质量评估体系,并根据专家判断法对评估指标体系进行验证[4]。蔡文学等注意到项目类型不同会造成专家评分偏差,通过在不同类型的项目中引入不同的评分偏差度权重,计算得出评审专家的绩效总分,通过实例分析验证该方法的实用性和有效性,为科技项目评审专家的遴选提供决策支持[5]。上述研究在评估体系中分别引入模糊综合评判法、专家判断法、偏差度权重方法来提升评估体系的科学性与精准性,值得借鉴。

1.2 神经网络算法在评估中的应用

俞立平以评价指标为输入,以非线性多属性评估值为输出,训练BP人工神经网络,通过检验非线性多属性评估方法的逻辑一致性来进行评估方法的选取[6];刘澄等建立以发明人特征、专利文本特征、专利法律度特征及市场关注度为初选指标的专利价值评估体系,进一步结合BP神经网络构建专利价值评估模型,通过专利价值样本数据验证该模型的适用性和可靠性[7]。已有学者将BP神经网络的非线性问题处理优势应用于评估评价指标模型优化方面,实证结果表明通过合理构建BP神经网络模型能够提升评估评价结果精度。

1.3 基于区块链的信息共享场景

李志宏等基于社区知识分享需求,探讨将区块链技术应用于社区知识分享过程的必要性和可能性[8];徐尚英等针对科技服务数据存在的数据标准多样化、共享不及时、信息壁垒及安全性等问题,在科技服务数据管理中融入区块链即服务架构和思想方法构建数据共享系统结构,利用智能合约和加密密钥实现数据的有效检索和共享,并保证数据共享过程中的安全性和隐私性[9];高悦等将区块链技术纳入突发公共卫生事件信息共享研究范畴,从数据存储、网络共识、智能合约等层面构建公共卫生事件共享模型,为疫情防控应急管理提供决策支撑[10]。上述研究探讨了区块链技术在社区知识分享、科技服务数据共享、公共卫生事件信息共享等领域的应用,肯定了区块链技术在信息共享中的优势。

2 专家评审质量后评估指标构建

科技专家作为重要智力支撑,为科技计划项目从指南编制、评审、中期考核到验收结题的全生命周期提供专业咨询意见和建议。充分发挥专家“智囊团”群体的专业知识、工作经验和判断能力等优势,能够有效促进科技管理决策的科学性、公正性与权威性。在肯定科技专家智力群体为科技进步做出贡献的同时,也需要审视科技专家智力群体在项目评审中暴露的一些问题,例如专家评审态度不端正、评估有失公允、专业水平有限、滥用专家权力、违反回避制度、裙带关系盛行等问题偶有发生。因此,建立科学合理的专家评审质量后评估体系,弥补专家评审质量监管空白,将有利于科技管理部门保证第三方咨询活动公平公正、科学规范。

通过文献梳理[2-5],结合相关评估指标原始量表,建立专家基本素质、工作态度及专业能力等3个维度的一级指标,对应18项二级指标(见表1)。科技专家评审质量的综合评估结果是由一级指标、二级指标相互作用、相互影响形成的,本文将展开评审质量综合评估结果的精准性研究。

表1 科技专家评审质量后评估指标

3 评审质量评估模型

BP神经网络在处理随机、动态、模糊、离散信息时具有显著效果,兼具自学习、自适应及并行处理等功能,在处理复杂非线性问题上具有较大优势[6]。结合表1可知,科技专家评审质量后评估指标涉及的一级指标、二级指标兼具耦合与离散的双重属性,定性分析方法主观性较大,定量分析方法指标权重设计较为复杂,缺乏可操作性。由于本文建立的专家评审质量后评估指标及对应指标权重设立具有复杂特性,因此探索建立以综合评价结果为导向、基于BP神经网络算法的评审质量后评估模型。

3.1 模型建立步骤

专家评审质量评估模型建立步骤如下:

确定输入层神经元。根据表1确定的科技专家评审质量后评估指标体系,将18项二级指标作为模型的神经元输入,输入1,输入2,…,输入n,这里的任意一项二级指标“输入n”即为神经元。

确定输出层神经元。将单个专家的评审质量综合评估结果作为最终输出。

确定隐含层数及神经元。对简单数据集而言,隐含层通常是一层或两层。根据Kolmogrov理论[11],选择隐含层为1层即满足需求。隐含层神经元个数设置过多或过少都不利于完美拟合,应用LeCun等提出的经验公式确定隐含层神经元数量[12]。

(1)

其中,Nh为隐含层神经元数量,Ns为训练集样本数,α是自取的任意值变量,Ni是输入层神经元个数,No为输出层神经元个数。

确定神经元转换函数。Sigmoid函数被广泛应用于神经网络的激活函数,本文采用Sigmoid函数为转换函数。

(2)

针对误差进行参数调节。预测结果和真实结果误差用最小二乘法表示,针对误差用高效的梯度下降法来调节更新参数。

设置对目标结果的期望。设置一个迭代终止的目标条件,即神经网络评估结果与实际结果误差小于一个阈值时,模型迭代终止。至此,一个基于BP神经网络的专家评审质量评估模型建立完成。

3.2 评估模型的训练

本文以粤港澳大湾区某地市科技管理部门科技项目评审专业管理机构收集与提供的2019—2022年科技专家科技评审质量后评估真实数据为基础,遴选1 000份有效样本数据,对专家基本信息进行脱敏处理,用随机样本序号代表专家科技评审质量后评估结果,包含综合评估结果、一级指标及二级指标评分。随机抽取900组评估数据用作训练数据,训练次数预设为不少于800次,目标误差不大于5%。在神经网络训练过程中,通过拟合、迭代、反向调参,减小预测值结果与真实综合评分间的误差,给出无限逼近真实综合评分的预测值。截取部分训练数据(见表2),可以看出真实的综合评估值与后评估模型评价预测值的绝对误差不超过5%,基本满足预设目标误差。

表2 科技专家评审质量后评价训练集

3.3 后评估模型实证

上述评估模型的训练基本满足精度要求,接下来利用剩余的100组真实数据对调优后的神经网络后评估算法模型进行实证测试,用于检验后评估模型输出的自动化评估预测值和人为主观评估结果之间的误差是否在预设目标误差范围之内,真实综合评分结果与后评估预测值间误差区间分布见图1,带编号的圆圈表示后评估预测值与真实评价值相对误差所处的区间。可以看出,测试集误差区间全部分布在[-5%,5%]区间,100个测试结果中有85个误差分布在[-2.5%,2.5%]区间,占比85%;另有15个测试结果绝对误差大于2.5%、小于5%,占比15%。实证结果表明,神经网络后评估模型在目标误差值为2.5%时,精度为85%。精度不是特别高的原因:一是训练数据仅为900组,训练数据规模较小导致神经网络模型训练不足;二是神经网络模型的误差调节参数调节不充分,需进一步对参数进行调优;三是选用的神经元转换函数不完全适用,下一步考虑将Sigmoid函数替换为线性整流函数再进行测试。综上,本文设计的神经网络后评估模型精度基本符合预测要求,但还需结合更大规模的真实训练数据进一步训练、调优及参数优化,达到进一步减小相对误差、提升后评估模型的精度的目的。

图1 测试集误差区间分布情况

4 专家评审质量评估信息共享机制

通过调研发现,粤港澳大湾区涉及的广东省省级科技主管部门、9个地市科技管理部门及2个特别行政区科技管理部门科技咨询专家库相互独立,并未建立起专家信息资源的长效共享机制;科技管理部门间的专家信息共享仍然以线下、手动对接为主,存在信息更新不及时、数据标准不统一等弊端;科技管理部门在邀请专家参与评审或咨询活动时主要通过随机抽取或凭“印象分”指派专家。同一专家服务于粤港澳大湾区内不同科技专家管理机构的情况较为普遍,专家服务于不同科技专家管理机构组织的评审活动时产生的评审质量评估信息存在“信息壁垒”,导致科技专家行为监督与约束机制的局部失效,本文将探索结合区块链技术优势建立评估信息共享机制。

4.1 区块链技术在信息共享中的应用

区块链的概念最早诞生于2008年,区块链技术的本质是一种去中心化、高可靠性、不可篡改的分布式数据库账本技术,因其独特的技术理念被广泛应用于信用验证、数字版权、信息共享、数字认证等领域[13]。以基于区块链技术的政务信息共享为例,跨区域、跨行业政府部门间制定政务信息共享的协议,形成政务信息共享的智能合约,并将智能合约签名信息打包到区块链网络中;当某个部门提出信息共享请求时,数源部门收到请求广播后,对请求进行数字化验证,在确认请求符合约定后,触发智能合约;由数源部门将签名后的共享信息反馈给需求部门,形成共享信息的备份,并通过共识节点将共享记录信息打包上链,至此完成一次政府部门间的政务信息共享[14]。

4.2 基于区块链的专家评估信息共享机制

4.2.1 构建粤港澳大湾区专家信息管理区块链生态圈

本文中专家信息管理区块链生态圈基于区块链行业链理论[15],成员限于粤港澳大湾区协议约定的专家信息管理机构成员,将约定的专家信息管理机构成员作为生态圈网络节点,每个网络节点也是记账人,链上的读写权限、记账规则按协商确定的智能合约形式来设计。每个科技专家评估信息包区块由专家信息管理节点根据实际评审活动产生的专家评审质量评估信息产生,其他专家信息管理节点参与新评价信息的上链共识过程,专家评估信息在科技行业区块链生态圈中互通共享,各专家管理节点通过生态圈查询调用专家后评估信息,作为遴选、抽取专家的一个重要参考依据。通过区块链生态圈保障专家评估信息的统一完整、安全流通和不可篡改。

4.2.2 基于区块链生态圈的专家评估信息流

在上述构建的专家信息管理区块链生态圈中,专家评估信息的共建、共治、共享依赖于统一标准的专家评审质量评估指标体系和算法模型,通过专家信息管理系统录入、采集专家评审活动中产生的后评估指标对应的二级指标基础分值,再结合本文构建的BP神经网络算法模型自动形成专家评审质量后评估结果。专家信息管理节点将专家的身份唯一标识信息和新评审活动产生的专家评估结果信息进行加密,打包成新区块,基于共识机制将所述新区块写入已有区块链,生成新的区块链,并进行广播。其他专家信息管理节点申请专家评估信息使用授权,解密后从所述新区块链中调用专家评估信息,至此,完成了一次基于区块链技术的科技专家评审质量后评估信息从产生、上链共享到应用的循环流转过程,专家评估信息流转见图2。

图2 基于区块链生态圈的专家评估信息流转

5 结论及展望

本文针对粤港澳大湾区建设背景下科技专家评审质量后评估机制不完善、评估标准不统一及专家管理信息共享壁垒等问题,研究设计了科技专家评审质量后评估指标体系,基于BP神经网络算法建立了科技专家评审质量评估模型,开展了评估模型的训练,并结合真实数据初步验证了后评估模型的精度,在一定程度上弥补了科技专家评审质量后评估机制领域的研究不足;并结合区块链技术,探索构建粤港澳大湾区专家评价信息管理区块链生态圈,为跨区域、跨制度、跨部门科技专家评审质量评估信息共建、共治、共享提供一种创新路径。

随着人工智能、区块链等技术在众多行业落地应用,结合BP神经网络的自学习、自适应特点,实现科技专家评审质量智能化、自动化评估成为可能;将区块链技术应用于具有跨区域、跨制度、跨部门特性的粤港澳大湾区科技专家评审质量评估信息共建、共治、共享具有开创性意义,在推动粤港澳大湾区科技交流合作、夯实科技咨询人才基础、营造风清气正的科研环境上具有现实意义。