基于集成权重和贝叶斯模型的科技奖励评价

王瑛　李菲

摘要：采用聚类分析法将多专家的动态综合评价转换为静态综合评价；引入横向拉开档次法对各指标客观赋权，结合指标主观权重，运用数学规划法得到指标的集成权重；采用贝叶斯网络模型对24项科技成果进行分类评价，对每一项成果获得某一等级奖项的可能性给出测度，并对每一类内的项目排序。实证分析表明：我国科研成果大部分具有研究价值，且成果丰硕，但突破性、创造性的研究成果较少。

关键词：贝叶斯网络；集成权重；拉开档次法；聚类分析法

中图分类号：G311 文献标识码：A

与2013年、2012年相比，2014年度国家科学技术奖授奖项目明显减少。对此，国家科技部奖励办表示，优化奖励结构、减少奖励数量，是为了突出鼓励自主创新成果和重大的发明创造科技成果。科技成果的评价作为科技奖励的前期工作，对科技奖励的最终决策有着举足轻重的作用，也是保证真正的重大创新项目获得应有奖励、鼓励科研人员进一步有所突破的关键。

目前，学者们对科技奖励综合评价体系的研究做了大量工作，部分研究成果已经投入实际应用。张立军等构建了基于路径系数权重体系的科技奖励评价模型。王瑛等提出了基于模糊多属性投影法的科技奖励模型和E-BP神经网络的科技奖励评价模型。黄卫春等提出了一种基于云模型的科技奖励评审模型，利用云模型描述项目评分在各属性下的分布情况，通过计算云模型参数来确定云模型数字特征图或云滴分布情况，并以此确定评价等级。王瑛、蒋晓东等提出了改进CRITIC法和云模型的科技奖励评价模型，既考虑评价过程中专家评分的模糊性和随机性，又考虑了定性语言与定量语言之问的转换。王瑛、王娜等提出了基于随机森林赋权和改进的ELECTRE-Ⅲ方法的科技奖励评价方法，既提高了权重估计的精确度和可信度，又解决了难以给定门槛值和不能完全排序的问题。朱紫巍等针对国内外科技评价方法，进行比较分析，提出了改革我国科技评价方法的建议。

针对科技奖励评价涉及多专家、多项目、多指标的特点，此前，学界的研究主要集中在评价指标的客观赋权法与主观赋权法的单方面研究，没有将这两方面有机结合起来；在评价方法上主要集中在数理统计和人工智能等方面，但对于评价结果的可靠性没有给出科学的测度。对此，本文提出一种集成权重的方法对科技奖励的评价指标进行综合赋权；应用概率论中的贝叶斯网络模型进行科技奖励综合评价，该方法不仅可实现对科技成果的分类评价，而且可对每一项科技成果获得某一等级奖项的可能性给出概率测度，并在分类评价的基础上，对每一类内的项目进行排序。

1集成权重的理论

评价指标权重的确定可分为主观赋权法和客观赋权法，两者各有千秋。本文采用一種主、客观权重集成的方法，计算各评价指标的综合权重，该方法既能满足决策者的主观偏好，又能实现决策的客观性、真实性。

1.1基于聚类分析的专家权重理论

聚类分析方法是一种作为模式识别的分类方法，它常常被用来判断样品质量的好坏。把评审专家的个体排序向量看作是待识别的样品，对其进行聚类分析并判别其客观可信性，再根据聚类结果给专家赋权。

动态专家赋权坚持的是简单多数的基本原则，即一个评审结果体现的是整个专家群体的综合意见。因此，一个专家的个人评审意见和大多数专家的评审结果的吻合程度决定了该专家在整个综合评价中所占的分量。如果他的评价结果与大多数专家的结论基本一致，就可以给这一类专家赋以较大的权重；反之，其意见就值得怀疑，可以给这一类专家赋以较小的权重。

通过聚类分析，可以将个体排序向量划分成不同的类别，即将k个评审专家分成s类（s≤k），假设第l类（l≤s）内包含φ_l个个体排序向量，那么，第k位专家的权重η_k应该和他所在的类别中包含的专家人数φ_k成正比，其具体计算公式为：

（1）对η_k进行归一化处理，即可得到基于聚类分析的动态专家权重：

（2）

1.2拉开档次法的指标赋权理论

拉开档次法就是在使得各被评价对象之问的整体差异尽量拉大的条件下确定评价指标权重的方法。

对于静态综合评价问题，一般解决办法是取线性综合评价函数：

（3）式中：ω_i为评价指标权重。

（4）式中：

当指标权重矩阵W为对称矩阵H的最大特征值对应的特征向量时，σ²取最大值。此时权重系数W最大可能地体现了各评价对象问的差异。

1.3基于数学规划法的集成权重理论

本文应用数学规划法在非线性约束条件下，求解线性目标函数的极值问题。该方法在科技奖励综合评价中的具体应用如下。

（5）

解得：

（6）

（7） （8）

（9）

（10）

由式（10）即可求得评价指标的集成权重。

2贝叶斯网络模型的理论

（11）式中：P（A|B_i）为条件概率；P（B_i）为事件B_i的概率。

结合科技奖励评价的特点，B_i为科技奖励的等级集，元素y_ji表示第j个指标在第i等级时的标准值；A表示科技奖励的指标集，元素x_jk表示第k项科技成果的第j个指标的实际值；i为标准级别，i=1，2，…，s；j为指标，j=1，2，…，m；k为科技成果编号，k=1，2，…，n。据此式（11）可改写为：

（12）

算法步骤如下：

1）计算P（y_ji）。在没有任何信息的条件下，某项科技成果究竟属于哪一等级，这在许多应用中难以确定。结合科技奖励的特点，在没有获取科技成果相关信息的情况下，人们最能接受的是获得某等级奖励的概率相等，即取：P（y_j1）P=（y_j2）=…=P（y_js）=1/s。

2）计算P（x_jk|y_ji）。现有研究成果表明，P（x_jk|y_ji）的估计是贝叶斯网络模型的核心。本文从抽样误差角度估计P（x_jk|y_ji）。根据统计理论，当科技成果属于i类时，由于抽样缘故获得的样本指标值和总体指标值总是存在一定的抽样误差，其分布可用正态分布表示。基于以上考虑，将抽样误差正态分布原理用于估计P（x_jk|y_ji）。以科技成果评价指标j各等级标准值作为正态分布的均值a_j，基于a_j和标准差σ_j获得某一等级某一指标完整的正态分布。

（13）

（14）

（15）式中：a_j，σ_j和C_j分别为指标j各等级的均值、标准差和变异系数。

由式（13）～（15）计算变异系数C_j，C_j表示指标j在各类之间相对变化情况。而某类指标j抽样值的相对变化亦与之类似，因此采用C_ji=C_j，即以各类等级变异系数估计某一类指标抽样值的变异系数。

基于抽样误差正态分布原理估计P（x_jk|y_ji）的计算步骤归纳如下：

①由式（13）～（15）估计C_ji，并采用C_ji=C_j；

②将第i类指标j的标准值y_jk作为该类指标均值；

③计算第i类的标准差σ_ji=C_jiy_ji；

④将抽样值（检测值）x_jk标准化，

（16）

⑤以标准化正态分布计算

（17）

用标准正态分布函数求取，|t_jk|为t_jk坤的绝对值。

3）由式（12）计算P（y_ji|x_jk）。

4）多指标下（ω_j为指标权重）科技成果评价后验概率P_i的计算。

（18）

5）以最大概率原则决策最终的级别P_h。

（19）

6）以分类结果为基础，在每一类内根据概率大小进行排序。

3实证分析

以国家科学技术进步奖（技术开放项目）评选中25位专家对24项科技成果的评分数据（资料来源：科技部国家科技奖励办公室，原始数据略）为例，该奖项的5个评价指标是：技术创新程度、技术经济指标的先进程度、技术创新对提高市场竞争能力的作用、已获经济效益、推动科技进步的作用。国家科技奖励办赋予5个评价指标的权重为：ω'=（0.2，0.2，0.2，0.25，0.15），将该权重作为评价指标的主观权重。具体步骤如下。

步骤1基于聚类分析法的专家权重的计算。

运用SPSS19.0对原始数据进行聚类分析，将25位专家分为5类，即：

第一类包含10，16号2位专家；

第二类包含1，2，4，12，15号5位专家；

第三类包含3，6，8，9，14，25号6位专家；

第四类包含5，7，11，13，18，19，20，21，22，23，24号11位专家；

第五类：含17号1位专家。由式（1）（2）计算专家权重，结果见表1。

由表1求得的专家动态权重，采用简单线性加权法，计算25位专家对每个项目的5个评价指标评分的加权平均值，计算结果见表2。

表2的数据组成的矩阵，即为式（4）中的矩阵X，应用Matlab7.0计算X^TX的最大特征值及归一化的特征向量（即权重系数）分别为：

步骤3科技成果评价标准体系的构建。

根据国家科技奖励办公布的国家科技进步奖（技术开发项目）评价指标体系和奖励办法，建立国家科技进步奖（技术开发项目）评价标准。按照“从严把关，严肃评审，宁缺毋滥”的原则，在分类上设置5个等级，在各等级标准设定中采取5分制原则，采用随机生成数的办法，得到5个指标各等级的评价标准，见表3。

步骤4

基于贝叶斯网络模型的科技奖励评价。

3）由式（12）可知，求P（y_ji|x_jk）的过程就相当于P（x_ik|y_ji）的归一化过程，计算结果略。

4）由式（18）计算该项目分属各等级的概率。

同理，计算24个项目分属各等级的概率，结果见表5。

5）由式（19）确定项目1所属类别，属于三等，抽样误差标准正态分布以0.366的概率保证其获得三等奖。

6）同理，可以得到所有项目的所属类别，并根据同一类内概率的大小，进行排序，结果见表6。

从分类评价结果看，大部分科技成果都属于二等和三等，一等和四等的项目较少，五等的项目完全没有；从评价结果的可靠性看，获得一等奖的项目分别以0.408，0.426，0.469的概率给予保障，获得二等、三等项目的可靠性测度维持在0.382，获得四等奖的可靠性则以0.320的概率给予保障；每一个等级内的排序可以為决策部门在授奖指标一定的情况下提供参考。通过实证分析可以得出：高等级获奖项目较少，大部分属于二等和三等，低等级获奖项目极少，这表明我国科研成果绝大部分具有研究价值且成果丰硕，但突破性、创造性的研究成果较少。

4结论

采用集成权重和贝叶斯模型相结合的方法进行科技成果综合评价，方法的特点表现在：

1）聚类分析将多专家的动态评价转化为静态评价。从一般线性函数的评价结果出发，用拉开档次法对评价指标客观赋权，该赋权过程科学、客观、透明，可操作性强。

2）数学规划法将主、客观权重相结合，构成评价指标的集成权重，使科技奖励综合评价结果同时反映了主、客观因素，弥补了单纯采用主观赋权法或客观赋权法的不足。

3）基于贝叶斯网络模型的科技成果综合评价，立足于概率，对每一项科技成果可能获得某一个等级的奖项都给出一个可靠性的测度，既实现了对科技成果的分类评价，也具有预测作用。