RAGA-PPE模型在科技项目评审专家绩效评价中的应用

杨 亮，杜红梅，张 镭，王秀同

(装备学院 a.研究生院;b.航天指挥系，北京 101416)

科技项目评审专家绩效评价涉及多个评价指标，属于高维数据处理问题。传统的方法多采用加权评判，即对各项指标人为赋予权重，来进行模糊综合评判。评判过程中不可避免地涉及权重选取上的人为干扰，导致评价结果有出入。论文将基于实数编码的加速遗传算法(RAGA)与投影寻踪模型(PPE 模型)有机结合，通过RAGA 优化PPE 模型中的投影方向参数，完成高维数据向低维空间的转换，即将每个样本的多个评价指标拟1 个综合指标，然后按投影值进行排序与识别，从而实现对专家的绩效评价。与常规综合评价模型过于形式化、数学化的特点相比，投影寻踪聚类具有可直接由样本数据驱动来探索数据的优点，即在评价过程中不必预先给定评价指标的权重，即可以自行搜索产生，这样就能有效解决传统评价活动中主观赋权的弊端，最大限度地避免传统评判中权重取值的人为干扰，使评价结果更为准确客观。

1 确定评价指标体系

确定合理的科技项目评审专家绩效评价指标是对专家进行绩效评价的关键。在阅读相关文献［1 -5］的基础上，结合科技项目评审同行专家、专家管理人员和科技项目完成人3 个层次人员的意见初步构建了专家绩效评价指标体系，其指标如下。

1)专家基本能力指标，包括工作年限A1、学位/学历A2、专业技术职称A3、科研课题量A4、发表论文量A5、出版著作量A6、获奖情况A7、专利申请数量A8、科研成果的经济效益和社会效益A9、分析与判断综合能力A10、对本科学领域前沿问题研究的方向把握A11和对专业领域相关法律法规及政策的熟悉程度A12。

2)专家工作绩效指标，包括参与评议项目累计数B1、横向离散率B2、纵向离散率B3、综合离散率B4、命中率B5、成功率B6、工作态度B7、沟通合作B8和评估评审工作的科学性B9。

3)专家信誉度指标，包括保密性C1、职责履行C2、同行赞誉度C3和课题完成人的信任度C4。

2 专家绩效评价的RAGA-PPE 模型

专家绩效评价的RAGA-PPE 模型分析过程主要有以下4 个步骤［6-8］。

步骤1 评价指标集数据的处理。设科技项目评审专家绩效评价的样本指标集为{x*(i，j)|i =1，2，…，n;j =1，2，…，m}。其中:{x*(i，j)}为第i 个样本的第j 个指标值;n、m分别为样本的个数和指标的数目。为消除指标体系中指标量纲不同对评价模型准确性的影响，还需要对指标输入进行处理，即对这些数值进行归一化处理。可采用下式进行极值归一化处理。

对于越大越优的指标

对于越小越优的指标

其中:xmax(j)，xmin(j)分别为第j 个指标值的最大值和最小值;x(i，j)为指标特征值归一化后的序列。

步骤2 构造投影指标函数F(a)。投影寻踪方法就是把m 维数据{x*(x，j)|i=1，2，…，n;j=1，2，…，m}综合成以为投影方向的一维投影值z(i)

式中:a 为单位长度向量。确定综合评价指标{z(i)，i =1，2，…，n}的关键是能找到反映高位数据特征结构的最优投影方向向量a*。此问题可转化为求有约束投影指标函数F(a)的极值问题。投影指标函数可表达为

式中:Sz为类间散开度，即投影值z(i)的标准差;Dz为类内密集度，即投影值z(i)的局部密度。

式中:E(z)为序列{z(i)|i =1，2，…，n}的平均值;R 为局部密度的窗口半径，选取时既要使包含在窗口内投影点的平均个数不能太少，以避免滑动平均偏差太大，又不能使其随n值的增大而增加太高，建议取值为0.01SZ或者0.001SZ，本文选取0.1SZ;r(i，j)表示样本之间的距离;μ(t)为一单位阶跃函数，当t≥0 时，其值为1，当t ＜0 时，其值为0。

步骤3 优化投影指标函数，确定最佳投影方向。当指标样本数据确定时，投影指标函数F(a)只随投影方向a 的变化而变化。不同的投影方向反映不同的结构数据特征，最佳投影方向就是最大可能暴露高维数据某类特征结构的投影方向。因此可通过求解投影指标函数最大化问题来估计最优投影方向，求解出F(a)的最大值，也就同时找到了最优投影方向a*。最大化目标函数

约束条件

这是1 个以m 个变量{a(j)|j=1，2，…，m}为优化变量的复杂非线性优化问题，根据μ 函数和r(i，j)的定义，目标函数在某些点是不连续的或不可微的，用传统的优化方法较难处理。模拟生物优胜劣汰规则与群体内部染色体信息交换机制的基于实数编码的加速遗传算法(RAGA)是一种全局优化方法，用他来求解上述问题十分简便和有效。对投影寻踪技术而言，无疑是1 项关键的技术突破。目标函数达到极值时即可得到最佳投影方向a*。关于加速遗传算法请参考文献［9 -10］。

步骤4 综合评价分析。将模型中投影指标函数F(a)求最大后作为目标函数，各指标的投影a(j)作为优化变量，运行步骤3，可求得最优投影方向向量a*。a*反映了各指标的不同重要程度，他是单位投影方向向量，满足平方和为1，故可将其作为各评价指标的权重，代人式(3)，得到各评价样本点的投影值z(i)，即各样本综合评价得分。比较样本投影指标函数z(1)，z(2)，z(3)…z(n)，对投影值进行排序，则可得到科技项目评审专家绩效的优劣排名。RAGA-PPE 模型建立流程如图1。

图1 RAGA-PPE 模型建立流程

3 实例应用

以某领域科技项目评审专家管理机构对专家绩效进行评估为例，选取10 个评审专家为评价对象。在进行指标值的确定时，对于定量指标，根据一定的标准(调查人设计的公式标准)进行打分(由于篇幅有限，这里不做详细介绍);对于定性指标，通过发放调查问卷进行打分。结合里克特的5级量表分析法，本文规定(9、7、5、3、1)=(好、较好、一般、差、很差)，2，4，6，8 介于上述评分之间。本次研究发放问卷30份，其中科技项目评审同行专家、专家管理机构和科技项目完成人各发放问卷10 份，回收问卷30 份，有效率为100%。科技项目评审同行专家、专家管理人员和科技项目完成人各占不同的权重，本文规定分别为0.5，0.25，0.25。经汇总加权平均得表1 中所示的各指标值。然后根据指标类型对评价指标样本集进行归一化处理。对归一化后的样本集，采用Matlab 进行编程，构造RAGA-PPE 模型对专家绩效进行评价。相关参数设置如下:父代初始种群规模为p =300，优秀个体数目s=20，交叉概率pc=0.8，变异概率pm=0.2，加速次数z=7，得到最佳投影方向为将a*带入式(3)即可求得不同密度形式下各专家综合评价的投影值即各专家的综合得分，如图2 所示。通过比较专家绩效的综合评价得分，排名如下:专家8 ＞专家1 ＞专家3 ＞专家10 ＞专家5 ＞专家2 ＞专家9 ＞专家7 ＞专家6 ＞专家4。

表1 专家绩效评价指标得分表

图2 各专家的投影值散布图

4 结束语

投影寻踪在综合评价中已经得到了广泛应用，并被实践证明了是1 种科学、合理的评价方法。该方法的核心在于目标函数的确定，难点在于计算。论文将基于实数编码的加速遗传算法(RAGA)与投影寻踪相结合，解决了高维数据全局寻优的难题，大大减少了寻优工作量，结合科技项目评审专家绩效评价指标体系对专家的绩效进行综合评价，取得了较为理想的结果，为相关的绩效工作提供了参考。

［1］李莹，李燕萍.我国评估评审专家评价体系的构建问题研究［J］.科技进步与对策，2005，22(1):42-45.

［2］赵黎明，徐孝涵，张卫东.对同行评议专家的反评估分析［J］.中国科学基金，1995，9(1):62-66.

［3］赵黎明，徐孝涵，张卫东.选择同行评议专家的指标体系［J］.科研管理，1994，15(6):17-21.

［4］郑称德.同行评议专家工作业绩测评及其模型研究［J］.科研管理，2002(2):41-45.

［5］杨素娟.科技项目立项同行评议评审专家反评价体系构建［D］.沈阳:沈阳理工大学，2009.

［6］Michael D S. Statistical modeling of high—dimensional nonlinear systems:a projection pursuit solution［D］.Atlanta:Georgia Institute of Technology，2005.

［7］付强.投影寻模型原理及其应用［M］.北京:科学技术出版社，2006.

［8］金菊良，魏一鸣，丁晶.水质综合评价的投影寻踪模型［J］.环境科学学报，2001，21(4):431-434.

［9］金菊良，杨晓华，丁晶.标准遗传算法的改进方案—加速遗传算法［J］. 系统工程理论与实践，2001，21(4): 8-13.

［10］金菊良，杨晓华.基于实数编码的加速遗传算法［J］.四川大学学报:工程科学版，2000，32(4):20-24.