基于随机森林赋权和改进ELECTRE-Ⅲ方法的科技奖励评价研究

王 瑛，王 娜，肖 薇

(湖南大学 金融与统计学院，湖南 长沙 410079)

基于随机森林赋权和改进ELECTRE-Ⅲ方法的科技奖励评价研究

王 瑛†，王 娜，肖 薇

(湖南大学 金融与统计学院，湖南 长沙 410079)

针对科技奖励评价中各指标权重的不确定性问题，提出随机森林赋权法，利用可靠性分析计算专家评分数据的泛化误差，根据最小错误率得到各评价项目的各评价指标权重，减少主观赋权的影响；引入一致可信度、非一致可信度和净可信度信息，提出改进的ELECTRE-Ⅲ方法，将某一评价项目优于其他评价项目的程度具体量化，解决专家评分数据为次序变量的问题．实证表明：随机森林赋权法和改进后的ELECTRE-Ⅲ方法相结合，既提高了权重估计的精确度和可信度，又解决了难以给定门槛值和不能完全排序的问题，使评价结果更加科学、客观、合理.

可靠性分析；随机森林赋权；改进的ELECTRE-Ⅲ；科技奖励评价

科技奖励是科技创新的重要推动力．迄今为止，大量学者就科技奖励评价技术进行研究，提出了许多有效的评价方法，然而大多数方法受主观影响大，评价结果不够科学合理．为此，进一步创新科技奖励评价方法具有十分重要的理论意义和现实意义．

自20世纪80年代中期以来，中国的科技奖励评价方法得到不断的发展和完善，许多专家学者做了大量研究．王瑛、田煜明[1]等引入改进的未知测度模型计算指标权重，并利用综合得分公式进行综合评价，有效地解决了评审过程中出现的信息失真问题．金聪、彭嘉雄[2]等运用模糊神经网络的方法构建了科技奖励的智能评审模型，既考虑了专家建议，又有效地减少了由专家决策所带来的主观人为因素的影响．王瑛、曹玮[3]等人引入“邻差矩阵”，并结合CRITIC法和因子分析方法，建立了考虑专家信度的立体式科技成果综合评价模型．张立军[4-5]等分别就科技奖励指标权重和专家权重问题进行了研究，提出了减少人为操纵因素影响的权重确定方法．王瑛[6]等采用改进的CRITIC法提高样本数据的代表性，并利用逆向云模型降低了专家评分的主观因素影响．

科技奖励评价是一个多项目、多专家、多指标的多属性群决策问题．目前科技奖励评价指标权重多以主观赋权法为主，受专家主观因素影响较大；且专家评分数据通常为次序变量，使得被评项目难以得到客观的评价结果．本文根据科技奖励评价的特点引入随机森林赋权法，对评价指标进行客观赋权；并提出改进的ELECTRE-Ⅲ方法，处理次序变量的排序问题，使评价结果更加客观、科学．

1 模型的基本原理

1.1 随机森林赋权法的基本原理

随机森林赋权法(RF)[7]是一种由多个分类树组成分类器的方法，主要采用Bagging算法，从原始的N个样本中有放回随机抽取约1/3的数据组成一个新的训练集，剩余的数据成为袋外数据(out-of-bag，简称OOB数据)，这部分数据主要用于OOB估计计算泛化误差和各输入特征向量的权重．利用RF的Bagging算法中OOB数据进行特征向量的权重估计，即随机改变OOB数据中某个特征向量X的值(称之为特征向量X的噪声干扰)，得到一个OOB数据的准确率；然后将原始OOB数据的准确率与加入噪声之后的OOB数据的准确率相减，得到的结果作为特征向量X在该组分类树上的重要性度量值．照此方法计算出所有分类树中特征向量X的重要性度量值，然后取平均数并归一化，即得到该特征向量X的权重．

假设一个由一系列树h1(X),h2(X), …,hk(X)和两个随机向量X(输入向量)、Y(输出向量)组成的随机森林．I=(h(X)=Y)表示对特征向量X正确分类的Y的得票数，特征向量的权重估计步骤如下．

步骤1 特征向量权重估计的可靠性分析．

1)随机森林分类树收敛性估计：

定义mg(X,Y)为样本点(x,y)的边缘函数．

mg(X,Y)=avkI(hk(X)=Y)-

(1)

式中：Y表示正确的分类向量；I(·)表示指示器函数；avk(•)表示对函数值取平均值．该边缘函数表示的是对于向量X正确分类的Y的平均票数超过其他同类型票数的程度．因此，边缘函数越大，正确分类的置信度就越高，算法中分类器的效果越出色．

2)特征向量权重估计的错误率：

设PE*为随机森林算法中分类器的泛化误差，它反映的是分类器的分类效果．则

PE*=PX,Y(mg(X,Y)<0).

(2)

其用来衡量OOB权重估计的错误率．对于随机森林模型hk(X)=h(X,Θ)，若森林中树的数目足够多，上式会满足大数定律：

(3)

式中：k表示森林中树的数量．

步骤2 特征向量的权重估计．

设随机森林中OOB估计的公式为

(4)

PK作为P(hk(X)=Y)的OOB数据权重估计,根据式(2)得到的最小错误率选取特征向量的权重．

1.2 改进的ELECTRE-Ⅲ的基本原理

法国人Roy提出了ELECTRE-Ⅲ法[8]，该方法构造了赋值的级别高于关系．级别高于关系是一种定性的二元关系，而赋值的级别高于关系则是定量化的二元关系．它是解决有限个备选方案的多属性群决策问题十分有效的方法．其内容如下．

1.2.1 构造优先关系

设面临的决策问题A={K,C,W,G,U}，其中令备选方案集K={kj,j=1,2,…,m}；评价指标集C={ci,i=1,2,…,n}；评价指标权重集W={wi,i=1,2,…,n}；评价指标函数集G={gi,i=1,2,…,n}，对于任意a⊂K，gi(a)表示方案a在评价指标ci下的评价值；决策者的偏好结构U={ut,t=1,2,…，r}，r表示决策者的个数；各指标无差异阈值函数集Q={qi,i=1,2,…,n}，qi(gi(aj))是无差异门槛值，表示方案aj与ak的属性i值之差小于qi时，这两个方案在属性i上是无差异的；各指标偏好阈值函数集P={pi,i=1,2,…,n}，pi(gi(aj))是偏好门槛值，表示方案aj与ak的属性i值之差大于pi时，方案aj严格优于方案ak；各指标的否决阈值函数集V={vi,i=1,2,…,n}，vi(gi(aj))表示方案ak与aj的属性i值之差小于vi时，方案ak严格优于方案aj；其中qi(gi(aj))≤pi(gi(aj))≤vi(gi(aj))；显然，对于任意的属性i都应该满足：0≤qi(gi)≤pi(gi)≤vj(gj)．

1.2.2 定义和谐性指数和不和谐性指数

定义1 和谐性指数C(aj,ak)是指在属性i上aj优于ak的程度．

(5)

式中：ci(aj,ak)=

(6)

定义2 不和谐性指数di(aj,ak)是指在属性i上拒绝“aj级别高于ak”，即指方案aj劣于方案ak的程度．

di(aj,ak)=

(7)

1.2.3 定义赋值的级别高于关系

定义3 赋值的级别高于关系．可用可信度s(aj,ak)来测量，它表示的是“aj级别高于ak”的可信程度．

s(aj,ak)=

(8)

式中：I(aj,ak)表示所有di(aj,ak)>c(aj,ak)的属性的集合．

1.2．4 排序

②只确定S(aj,ak)≥λ-σ时的级别高于关系，此时：Q(aj)=流出aj的有向弧数量总和-流入aj的有向弧数量总和．

根据Q(aj)的大小比较方案优劣，进而进行各个方案的排序．通过以上方法进行排序，需要人工确定δ值，且只能针对S(aj,ak)≥λ-σ的部分方案进行排序．

针对上述1．2．4的排序过程中存在难以给定门槛值、计算难度大和不能完全排序等局限性进行改进，引入一致可信度Φ+，非一致可信度Φ-和净可信度Φ[9]，将方案优于其他方案的程度具体量化，简化了计算，提高了可信度，实现了完全排序．改进的内容如下．

1.2.5 定义一致可信度

定义4 一致可信度Φ+(aj)是指方案aj优于其他所有方案的可靠程度．

(9)

1.2.6 定义非一致可信度

定义5 非一致可信度Φ-(aj)是指方案aj劣于其他所有方案的可靠程度．

(10)

1.2．7 定义净可信度

定义6 净可信度Φ(aj)是指方案aj优于其他方案的程度，是一致可信度与非一致可信度的差值．

Φ(aj)=Φ+(aj)+Φ-(aj),∀aj∈K.

(11)

1.2.8 实现完全排序

按照方案的净可信度Φ(aj)大小，对所有的备选方案进行排序．

2 实证分析

本文选用国家科学技术进步奖(技术开发项目)评选中25位专家对24项科技成果的评分数据(资料来源于科技部国家科技奖励办公室，原始数据略)，采用Matlab2012a软件编程[10]，实证分析步骤如下．

步骤1 确定评价项目集K．

根据被评对象为24个项目，定义评价项目集，K={kj,j=1,2,…,m}={k1,k2,…,k24}．

步骤2 确定评价指标集C．

现有的国家技术进步奖中技术开发项目的评价指标体系主要由“技术创新程度”“技术经济指标的先进程度”“技术创新对提高市场竞争能力的作用”“已获经济效益”“推动科技进步的作用”5个定量指标构成．其中，技术创新程度是指项目的技术自主创新和解决关键难题的程度；技术经济指标的先进程度是指总体技术水平、经济、环境等指标与同类技术水平相比的优劣程度；技术创新对提高市场竞争能力的作用是指市场的需求度和国际市场的竞争优势程度；已获经济效益是指使用该技术而产生的直接或间接的经济效益程度；推动科技进步的作用是指是否实现技术水平提高的幅度，对行业科技进步的促进作用．该指标体系以国家科技奖励条例精神、奖励要求和目的为依据，符合社会学、统计学等关于指标体系构建的理论和我国的法律法规要求，满足科学性、客观性、可测性、相关性、系统性、简捷性等原则，是一套较为公正、合理的评价指标体系[11]．因此，本文在进行实证分析时，仍采用科技部国家科学技术工作奖励办公室现行的评价指标体系．

根据该评价指标体系，定义评价指标集C={c1,c2,c3,c4,c5}={技术创新程度，技术经济指标的先进程度，技术创新对提高市场竞争能力的作用，已获经济效益，推动科技进步的作用}．

步骤3 确定各评价指标权重集W.

运用随机森林算法测定科技奖励评价中评价指标的权重时，将24个项目作为24棵树，25位专家的评分作为25个独立同分布的随机向量ΘK，5个评价指标作为特征向量X，分别记为h1(x1,Θk),h2(x2，Θk), …,h24(x24，Θk)(其中k=1，2, …, 25)．通过bagging算法，用OOB数据对5个评价指标的重要性进行估计，得到权重．

以科技奖励中的技术开发项目为例，将24个项目的所有评价指标数据分别输入随机森林算法程序中，得到各评价项目的各项指标权重和OOB错误率，根据最小错误率得到各评价项目的各项指标权重，归一化后的加权平均数作为每个指标的权重．计算结果见表1．

由表1可得，W={w1,w2,w3,w4,w5}=

{0.17,0.22,0.25,0.15,0.21}.

步骤4 确定各专家对各项目的各指标评分的平均结果集G.

根据技术开发项目原始数据和项目特点，评价指标值gi(aj),∀aj∈K为专家对各个项目及指标打分的平均值[12]，其结果见表2．

表1 最小错误率确定的指标权重

表2 25位专家对24个项目的5个评价指标评分的平均结果

步骤5 确定各指标无差异阈值函数集Q，偏好阈值函数集P，否决阈值函数集V[14]．

根据表2中差值的大小，依据式(1)估算得出：qi(gi(aj))=0.1,pi(gi(aj))=0.2,vi(gi(aj))=0.3.

步骤6 完全排序.

将表1和表2的计算结果和步骤5的估算结果代入式(5)～(11)，得到24个被评项目的一致可信度、非一致可信度、净可信度，结果见表3，并进行排序，结果见表4．

表3 24个项目的一致可信度、非一致可信度、可信度

表4 24个项目的排名结果

3 结 论

1)针对科技奖励评价中各指标权重的不确定性，提出随机森林赋权法，利用可靠性分析，计算专家评分数据的泛化误差，根据最小错误率得到各评价项目的各评价指标的重要性度量值，经归一化处理后得到各评价项目的各评价指标的权重，提高赋权结果的精确度和可靠性，减少人为给定指标权重的主观影响，使赋权方法更加客观．

2)针对专家评分数据为次序变量的模糊性问题，引入一致可信度、非一致可信度、净可信度信息，提出改进的ELECTRE-Ⅲ方法，将某一评价项目优于其他评价项目的程度具体量化，有效解决了难以给定门槛值和不能完全排序的问题，使评价方法更加科学．

3)随机森林赋权法和改进后的ELECTRE-Ⅲ方法相结合对科技奖励进行综合评价，得出各参评项目的评价结果并排序，实现了次序变量与定量数据之间的转换，评价结果更科学、客观、合理，为多属性群决策综合评价提供了有效参考．

[1] 王瑛, 田煜明. 基于未确知测度评分模型的科技奖励评价研究 [J]. 科技管理研究, 2009(9):106-110.

WANG Ying, TIAN Yu-ming.Based on the unascertained measurement grading model of science and technology reward evaluation research[J].Science and Technology Management Research, 2009(9) :106-110.(In Chinese)

[2] 金聪, 彭嘉雄. 科技奖励的智能评审模型 [J]. 软科学, 2002, 16(5): 6-9.

JIN Cong, PENG Jia-xiong. An intelligent evaluation model for the science and technology reward [J].Soft Science,2002,16(5):6-9.(In Chinese)

[3] 王瑛, 曹玮,罗珍. 考虑专家信度的科技成果立体式综合评价模型[J]. 软科学，2008, 22(6):6-10.

WANG Ying, CAO Wei, LUO Zhen. The three-dimensional comprehensive evaluation model in science and technological achievements considered the expert reliability[J]. Soft Science, 2008,22(6):6-10.(In Chinese)

[4] 张立军, 邹琦. 基于路径系数权重的科技成果奖励评价模型 [J]. 科技管理研究, 2008(5)：102-103.

ZHANG Li-jun, ZOU Qi. The rewards of scientific and technological achievements evaluation model based on the path coefficient of weight[J]. Science and Technology Management Research, 2008(5): 102-103.(In Chinese)

[5] 张立军, 杨娟. 考虑专家权重的科技成果模糊综合评价[J]. 科技与经济,2011(24):1-5.

ZHANG Li-jun, YANG Juan. The fuzzy comprehensive evaluation of science and technological achievements with considered expert weight[J].Science & Technology and Economy, 2011(24):1-5.(In Chinese)

[6] 王瑛，蒋晓东，张璐. 基于改进的CRITIC法和云模型的科技奖励评价研究 [J]. 湖南大学学报:自然科学版，2014,41(4):118-124.

WANG Ying, JIANG Xiao-dong, ZHANG Lu. Research on the evaluation of science and technological awards based on improved CRITIC method and cloud model[J]. Journal of Hunan University: Natural Sciences, 2014,41(4):118-124.(In Chinese)

[7] BREIMAN L. Random forests[J]. Machine Leaning, 2001,45(1): 5-32.

[8] 岳超源. 决策理论与方法 [M]. 科学出版社,2003:226-228.

YUE Chao-yuan. Decision theory and method[M]. Beijing: Science Press, 2003:226-228.(In Chinese)

[9] 王建军, 杨德礼.ELECTRE Ⅲ的一种排序新方法 [J]. 系统工程, 2005,23(12):95-98.

WANG Jian-jun,YANG De-li. A new ranking method for ELECTRE Ⅲ[J]. System Engineering, 2005,23(12):95-98.(In Chinese)

[10]王小川, 史峰. MATLAB神经网络43个案例分析 [M]. 北京：北京航空航天大学出版社, 2013:256-264.

WANG Xiao-chuan, SHI Feng. MATLAB neural network 43 case analysis[M]. Beijing: Beihang University Press, 2013: 256-264. (In Chinese)

[11]郝国杰. 科技成果奖励评价指标体系及方法研究[D].长沙:湖南大学,2009:11-19.

HAO Guo-jie. Science and technological achievements reward evaluation index system and method[D]. Changsha: Hunan University, 2009:11-19.(In Chinese)

[12]张立军, 林鹏. 基于序关系法的科技成果评价模型及应用 [J]. 软科学,2012,26(2):10-12.

ZHANG Li-jun, LIN Peng. The evaluation model and application of scientific and technological achievements based on ordering relation[J]. Soft Science, 2012,26(2):10-12.(In Chinese)

[13]龚俊华. 集成的ELECTRE方法研究 [D]. 成都:四川大学, 2006: 23-24.

GONG Jun-hua. Research of integrative ELECTRE method[D]. Chengdu: Sichuan University,2006：23-24.(In Chinese)

Research on the Evaluation of Science and Technology Award Based on Random Forest and Improved ELECTRE-Ⅲ

WANG Ying†, WANG Na, XIAO Wei

(College of Finance and Statistics, Hunan Univ, Changsha, Hunan 410079, China)

To address the uncertainty of the target weight in assessing science and technology awards, the Random Forest Weighting Method was proposed. Reliability analysis was used to calculate the generalization error of expert evaluation data，and according to the minimum error rate, to obtain the evaluation project of each evaluation index weight and to reduce the impact of subjective weighting.Consistently reliable information, inconsistently reliable information and net reliable information were introduced. An improved ELECTRE-Ⅲ method was put forward to solve the problem of expert evaluation data for order variability. A specific number to measure a certain degree of an evaluation project is superior to other evaluation project. Empirical evidence shows that the combination of the Random Forest Weighting Method with the improved ELECTRE-Ⅲ method not only improve the accuracy and reliability of weight estimation , but also solve the problem of inability to set threshold level and rank completely, leading to more scientific, objective and reasonable evaluation results.

reliability analysis; random forest weighting; improved ELECTRE-Ⅲ; science and technology evaluation

1674-2974(2015)03-0140-05

2014-06-10

国家自然科学基金资助项目(71340003), National Natural Science Foundation of China(71340003)；国家社会科学基金资助项目(14BTJ003)

王 瑛(1964-)，女，湖南汉寿人，湖南大学副教授

†通讯联系人，E-mail:wangying31106@163.com

G311

A