APP下载

科技评价中加权TOPSIS的权重可靠吗?

2018-01-07张爱琴俞立平赵公民

现代情报 2018年11期

张爱琴 俞立平 赵公民

〔摘要〕本文将权重分为设定权重与实际权重,指出线性评价方法设定权重与设计权重是相等的,而非线性评价方法两者并不一致,实际权重可以用评价结果与评价指标进行岭回归,然后将回归系数标准化后得到。基于JCR经济学期刊数据,通过对加权TOPSIS的研究表明,加权TOPSIS评价方法不具有权重单调性,加权TOPSIS评价压低设定权重;TOPSIS评价方法具有较强的权重鲁棒性;在此基础上,提出了分子加权TOPSIS方法,解决了权重单调性问题。

〔关键词〕科技评价;加权TOPSIS;分子加权TOPSIS

DOI:10.3969/j.issn.1008-0821.2018.11.009

〔中图分类号〕G30〔文献标识码〕A〔文章编号〕1008-0821(2018)11-0048-07

Is the Weight of Weighted TOPSIS Reliable in

Science and Technology Evaluation?

——Improvement Based on Molecular Weighted TOPSIS MethodZhang Aiqin1Yu Liping2Zhao Gongmin1

(1.School of Economics and Management,North University of China,Taiyuan 030051,China;

2.School of Management and E-business,Zhejiang Gongshang University,Hangzhou 310018,China)

〔Abstract〕In this paper,the weight was divided into the set weight and the actual weight,there was no difference between the weights set up or designed under the linear evaluation method,or they were not consistent,The Ridge Regression could be carried out with the evaluation results and evaluation indexes,and then the regression coefficients were standardized,the result was actual weight.The weighted TOPSIS,based on the data of JCR Journal of economics,showed that the evaluation method of weighted TOPSIS did not possess weight monotonicity,set weight could be depressed by the evaluation method of weighted TOPSIS;Evaluation method of weighted TOPSIS had strong robustness for weight.As a result,this paper put forward the method of molecular weighted TOPSIS,which solved the problem for weight monotonicity.

〔Key words〕science and technology evaluation;weighted TOPSIS;molecular weighted TOPSIS

TOPSIS評价方法是Hwang C等提出的一种优秀的评价方法[1],它根据评价对象到正理想解与负理想解之间的相对距离来进行评价,具有系统性强、数学意义明确、方法简捷的优点,因而得到了广泛的应用,在中国知网中查主题为“TOPSIS”的文献,共有4 900多篇。TOPSIS方法诞生之初并没有权重的概念,Shyur H J[2]、Deng H等[3]、Yue Z L[4]等学者将权重引入到TOPSIS中,目前采用TOPSIS评价模型的文献虽然权重设定方法不同,但大多数均引入了权重进行评价。

在科技评价中,TOPSIS也得到了广泛的应用,大多数采用赋予权重的TOPSIS方法。第一类是普通TOPSIS法,Xu J等采用TOPSIS法评价研究机构的论文产出水平[5]。胡永健等采用加权TOPSIS评价国家科技基础条件平台运行服务绩效[6]。第二类是采用模糊TOPSIS法进行评价,Celika M等在研究所学术人员招聘中,采用模糊TOPSIS进行辅助选择[7]。Li Z在研究机构科研产出中,在采用模糊TOPSIS进行多指标群决策[8]。第三类是采用熵权TOPSIS进行评价,赵黎明等用熵权法确定指标权重,结合TOPSIS法建立区域科技创新能力综合评价模型[9]。皮进修等以Web of Science数据库中核心期刊论文为信息来源,采用熵权TOPSIS评价了科研机构在大数据研究领域中的影响力[10]。第四类是层次分析和TOPSIS法相结合,王天歌等建立专利评价体系,采用层次分析法和TOPSIS法,评价150件生物医药领域的核心专利[11]。张夏恒等采用AHP和熵权确定权重,然后采用TOPSIS评价科技期刊微信公众号的满意度[12]。第五类是其他TOPSIS法,邵景波等采用加权主成分,结合TOPSIS的价值函数,评价对比中俄科技实力[13]。石宝峰等建立了基于矩阵距离赋权的TOPSIS科技评价模型[14]。王映采用指标难度赋权法、TOPSIS法结合RSR法,对学术期刊综合影响力进行评价[15]。

TOPSIS計算公式是:

Ci=∑nj=1ωj(xij-x-j)2∑nj=1ωj(xij-x+j)2+∑nj=1ωj(xij-x-j)2(1)

公式(1)中,n为评价指标数量,i为评价对象序号,j为评价指标序号;xij为标准化后的评价指标,x+j为理想解,即标准化后的极大值;x-j为负理想解,即标准化后的极小值;ωj表示权重。分子表示评价对象到负理想解的距离,分母为评价对象到正负理想解的距离之和。Ci表示TOPSIS的评价结果,其值介于0~1之间。将公式(1)同时除以分子,变为:

Ci=1∑nj=1ωj(xij-x+j)2∑nj=1ωj(xij-x-j)2+1(2)

公式(2)中,分母中根号里面的分数部分中,分子为评价对象到理想解的距离,分母是评价对象到负理想解的距离,分子与分母都有权重,某个评价指标权重较高,那就意味着分子和分母中的权重同时较高,无法通过数学证明在其他指标权重不变的情况下,某个指标权重越大,评价结果越大,或者说评价结果与权重正相关,也就是权重具有单调性。如果这个问题成立,那么加权TOPSIS存在的基础就不存在了,目前的大量采用加权TOPSIS方法的学术论文,可能其科学性就存在问题。比如在科技评价中,专家会议讨论某个指标的权重为013,后来经过广泛讨论认为不合理,应该提高到018,能够想象权重提高后可能反而降低了权重吗?俞立平等采用传统回归和岭回归计算模拟权重进而对TOPSIS权重的单调性进行检验,发现TOPSIS并不具有权重单调性[16]。

学术界早就注意到TOPSIS方法自身存在的问题。Jahanshahloo G R等研究了当属性数据为模糊数时TOPSIS方法的距离计算公式[17]。陆伟锋等提出将相对正负理想点转换成绝对正负理想点,并利用投影方法改进贴近度公式来改进TOPSIS法[18]。华小义等提出了一种改进TOPSIS距离计算的方法,基于“垂面”距离正交投影法[19]。谭春桥根据区间值直觉模糊集原理,提出模糊TOPSIS决策方法[20]。孙世岩等提出多属性决策鲁棒性分析的仿真方法[21]。徐泽水定义了目标贴近度概念,通过评价对象与理想解和负理想解夹角余弦,改良了TOPSIS[22]。付巧峰提出在解决某些实际问题时应放弃全序而采用偏序,能更合理地反映出方案的优劣性,优化了TOPSIS方法[23]。

从目前的研究看,很少有学者意识到加权TOPSIS可能存在的权重单调性问题,更缺乏如果该问题存在的可能的解决方法,当然,由此也衍生出一个新的问题,就是无论是主观赋权还是客观权重,只要设定权重,那么这种设定的权重究竟有没有发挥应有的作用?这些问题都需要进行深入分析。本文首先建立分析框架,提出分析方法,然后以JCR经济学期刊为例,对加权TOPSIS的权重问题进行深入分析,并提出改进思路,提出一种新的加权TOPSIS评价方法——分子加权TOPSIS法。

2018年11月第38卷第11期现代情报Journal of Modern InformationNov.,2018Vol38No112018年11月第38卷第11期科技评价中加权TOPSIS的权重可靠吗?Nov.,2018Vol38No111分析方法

11权重单调性的检验

111设定权重与实际权重

评价方法与权重之间的关系如图1所示。为了深入分析TOPSIS权重的单调性问题,本文引入设定权重与实际权重的概念。所谓设定权重,就是评价时通过主观或客观方法得到的权重,将其应用到评价当中。所谓实际权重,就是评价结果中指标的实际重要性所反映的权重。之所以这样区分,是因为评价方法总体上分为线性评价与非线性评价,线性评价方法就是数据标准化后进行加权汇总,如层次分析法、熵权法、离散系数法等,在线性评价中,设定权重与实际权重是一致的。非线性评价就是评价时评价指标与评价结果是非线性关系,非线性评价方法又包括含权重非线性评价与无权重非线性评价,含权重的非线性评价方法如加权TOPSIS、主成分分析、因子分析等,而无权重非线性评价方法如粗糙集、数据包络分析(DEA)等等。在含权重的非线性评价中,设定权重与实际权重是不对应的。无权重的非线性评价本质上就是等权重评价,那么其设定权重也不等于实际权重。所以所有的非线性评价方法都存在设定权重与实际权重不一致问题,根本原因是非线性评价将评价结果与设定权重之间的关系“扭曲”了,通过计算模拟可以得到实际权重。图1评价方法与权重关系

112权重单调性检验的步骤

本文重点讨论的问题就是非线性评价方法中设定权重与实际权重不相等问题。实际权重的计算方法是俞立平等提出来的,也称为模拟权重,就是将非线性评价值与评价指标进行回归,回归系数经归一化处理后就是实际权重[24]。从而可以将实际权重与设定权重进行比较。具体到本文加权TOPSIS方法,其比较步骤如下:

第一,以学术期刊评价为例,引入若干评价指标X1,X2,…,Xn,将其标准化后,采用TOPSIS进行评价,此时暂不设定权重,相当于等权重评价。然后将评价值作为被解释变量,标准化后的评价指标作为解释变量进行回归,再对回归系数进行归一化处理,就得到模拟权重。由于评价指标之间一般相关度较高,存在多重共线性,所以回归方法采用岭回归。

第二,以其中一个评价指标Xt为例,在TOPSIS距离计算时,在该指标前面依次乘以1~9,相等于依次提高Xt的设定权重,然后重复第一步,分别得到每个设定权重的实际权重。

第三,计算设定权重。在TOPSIS评价中,共n个指标,Xt的权重依次为1~9,而其他指标的权重均为1,可以通过以下公式计算Xt设定权重:

Xt=in-1+i(3)

比如当i=6时,相当于Xt的权重是其他指标的6倍,假设共10个指标,其他9个指标的权重均为1,其和为9,而Xt的权重为6,这样权重之和为15,Xt的权重就是6/15即0667。

第四,比較设定权重与实际权重。将9个设定权重从低到高排序,并与对应的实际权重进行比较,看实际权重是否也是单调递增。由于公式(2)并不能证明权重的单调性,为了提高研究的稳健性,可以比较多个指标。只要任意一个指标出现权重非单调递增现象,就说明加权TOPSIS存在问题,不能用来进行评价。

此外,还可以画出指标Xt设定权重与模拟权重的折线图,进一步比较设定权重与模拟权重的大小,分析实际权重究竟是提高了设定权重还是降低了设定权重,也就是设计权重对设定权重的扭曲程度。

12加权TOPSIS权重非单调性问题的修正

既然理论上不能证明加权TOPSIS不具有权重的单调性,那么如果实证数据也不能验证,那么就要考虑对加权TOPSIS法进行修正。考虑到TOPSIS权重非单调的原因是公式(1)分母中也有权重,因此对于分母的处理,采用等权重原则,即分母中无论是正理想解还是负理想解,均不进行加权,而分子计算评价对象到负理想解的距离则进行加权,即:

Ci=∑nj=1ωj(xij-x-j)2∑nj=1(xij-x+j)2+∑nj=1(xij-x-j)2(4)

很明显,公式(4)中,由于权重只出现在分子中,因此完全满足权重单调递增的条件。由于优化方法只对分子进行赋权,因此也称为分子加权TOPSIS法。

当然,对于分子加权TOPSIS的特点,设定权重与实际权重的关系等,也有必要进一步采用实证进行检验。

2评价数据

为了验证加权TOPSIS法的权重单调性,本文基于JCR 2015数据库,以经济学期刊作为研究对象,因为JCR 2015共有333种经济学期刊,数量较多,有利于保证研究的稳健性。2015年JCR公布的评价指标共有11个,分别是:总被引频次X1、影响因子X2、他引影响因子X3、5年影响因子X4、即年指标X5、特征因子分值X6、论文影响分值X7、标准化特征因子X8、被引半衰期X9、引用半衰期X10、影响因子百分位X11。

3实证结果

31加权TOPSIS设定权重与实际权重的比较

首先以总被引频次为例,在计算TOPSIS距离时,用总被引频次减去理想解或负理想解然后平方,再在前面依次乘以1~9,相当于人为提高总被引频次的权重,然后分别进行岭回归,得到回归系数,在此基础上得到模拟权重,即实际权重。以i=6为例,TOPSIS计算公式为:

Ci=16×(xi1-100)2+(xi2-100)2+…+(xi11-100)26×(xi1-ki1)2+(xi2-ki2)2+…+(xi11-ki11)2+1(5)

至于设定权重,基于公式(3)计算即可,所有结果如表2所示。

从表2可以看出,当权重初值i=1时,总被引频次的设定权重为0091,实际权重为0041;当i=9时,总被引频次的设定权重为0474,实际权重为0148。设定权重与实际权重均是单调递增的,并没有出现设定权重增加,实际权重反而降低的情形。

为了提高研究的稳健性,再以特征因子为例,在计算TOPSIS距离时,用特征因子减去理想解或负理想解然后平方,再在前面依次乘以1~9,相当于人为提高特征因子的权重,然后分别进行岭回归,得到回归系数,在此基础上得到模拟权重,即实际权重。至于设定权重,由于实验方法一样,所以结果与总被引频次的情况相同。

从表3可以看出,当权重初值i=1时,特征因子的设定权重为0091,实际权重为0022;当i=9时,总被引频次的设定权重为0474,实际权重为0059。但是,当i=1向i=9逐步提高时,设定权重是逐渐提高的,但实际权重并没有逐步提高,也就是说,当特征因子设定权重单调递增时,其实际权重并没有单调递增,存在多次降低的情形。也就是说,用特征因子做实验时,权重并不具有单调性。

为了进行深度分析,将设定权重、总被引频次实际权重、特征因子实际权重画图进行对比(图2),可以非常明显地看出两个特点:第一,总被引频次的实际权重是单调递增的,但特征因子的实际权重并不呈现这种特点,也就是说,在采用加权TOPSIS进行评价时,我们在提高特征因子权重时,反而出现实际上是降低了特征因子权重的现象,这是不允许的,或者说是加权TOPSIS潜在重要问题。第二,TOPSIS的实际权重被压低了。在设定权重快速提升的过程中,实际权重并没有得到相应的提高,或者说提高的比例不快,也就是说,权重并没有显得那么重要,TOPSIS权重具有一定的鲁棒性。

那么,为什么总被引频次的实际权重具有单调性,而特征因子的实际权重不具有单调性呢?因为从加权TOPSIS的计算公式看,并不能证明其具有权重单调性,之所以呈现出单调性,纯粹是由于评价数据的特点决定的,换了一个指标,比如特征因子,立即可以看出其权重不具有单调性了。

32分子加权TOPSIS的设定权重与实际权重的比较首先基于分子加权TOPSIS进行评价,在计算TOPSIS距离时,公式(4)中,分母不加权,分子到负理想解的距离加权。以总被引频次为例,分子中,总被引频次减去负理想解然后平方,再在前面依次乘以1~9,相当于人为提高总被引频次的权重,然后分别进行岭回归,得到回归系数,在此基础上得到模拟权重,即实际权重。以i=6为例,分子加权TOPSIS计算公式为:

Ci=6×(xi1-k1)2+(xi2-k2)2+…+(xi11-k11)2(xi1-100)2+…+(xi11-100)2+(xi1-k1)2+…+(xi11-k11)2(6)

公式(6)中,kj表示负理想解,标准化时,将极大值标准化为100,即理想解全部是100。

为了提高研究的稳健性,同样以特征因子为例进行类似的处理,最终得到表4和图3的总被引频次、特征因子的实际权重。

4結论与讨论

41非线性评价方法要进行权重单调性及实际权重检验本文将评价方法分为线性评价方法与非线性评价方法,并将权重分为设定权重与实际权重,指出线性评价方法设定权重与设计权重是相等的,而非线性评价方法两者并不一致。实际权重可以用评价结果与评价指标进行岭回归,然后将回归系数标准化后得到。

在非线性评价中,要注意的第一个问题是评价的单调性问题,就是设定权重增加,实际权重是否也相应地增加,不具备单调性的非线性评价方法必须进行改进。非线性评价的第二个问题是实际权重有没有真实反映设定权重,是放大了还是降低了设定权重,如果实际权重与设定权重相差过大,也要重新反思评价方法。

42加权TOPSIS评价方法不具有权重单调性

评价是为管理服务的,在科技评价中,权重体现了管理理念,权重高的指标往往比较重要,是工作的重要抓手,对于评价结果的影响也较大。在采用加权TOPSIS方法的科技评价中,权重并不具有单调性,即随着某个指标权重增加,评价结果并没有相应程度地增加,甚至会降低,本质上是实际权重不具有单调性引起的。这个问题是十分重要的,也就是说,加权TOPSIS的权重失去了本来必须具备的意义,并不能反映权重的本质。

43加权TOPSIS评价会压低设定权重

加权TOPSIS对设定权重存在压低问题,压低程度取决于数据。本文通过设定权重从0003逐步增加到0474共9次的平均水平分析,发现总被引频次的实际权重只有设定权重的2511%,特征因子实际权重只有设定权重的1388%。

44分子加权TOPSIS解决了权重单调性问题

本文提出了分子加权TOPSIS评价方法,在进行评价时,分子到负理想解的距离进行加权,而分母中到理想解和负理想解的距离不进行加权,从而彻底克服了权重单调性问题。在科技评价中,评价方法存在问题是最大的问题,因此分子加权TOPSIS可以进行进一步的分析和研究,可以进行推广。

45TOPSIS评价方法具有较强的权重鲁棒性

本研究发现,TOPSIS方法的实际权重存在较强的鲁棒性,即尽管指标设定权重变化较大,但其实际权重变化很小。在实际评价中,即使调整权重,一般幅度也比较小,加权TOPSIS进一步缩小了权重的作用,所以加权TOPSIS评价方法更适合等权重评价,比如对一些二级指标进行评价,如期刊影响力评价,评价指标往往都是与影响因子性质相似的指标,采用等权重评价是可以的。

参考文献

[1]Hwang C,Yoon K.Multiple Attribute Decision Making:Methods and Applications[M].Berlin:Springer-Verlag,1981:1-50

[2]Shyur H J.COTS Evaluation Using Modified TOPSIS and ANP[J].Applied Mathematics and Computation,2006,177(1):251-259

[3]Deng H,Yeh C H,Willis R J.Inter-company Comparison Using Modified TOPSIS with Objective Weights[J].Computers & Operations Research,2000,27(10):963-973.

[4]Yue Z L.An extended TOPSIS for Determining Weights of Decision Makers with Interval Numbers[J].Knowledge-Based Systems,2011,24(1):146-153.

[5]Xu J,Li Z,Shen W,et al.Benjamin Lev.Multi-attribute Comprehensive Evaluation of Individual Research Output Based on Published Research Papers[J].Knowledge-Based Systems,2013,(43):135-142.

[6]胡永健,周琼琼,张杰军.基于多属性决策的国家科技基础条件平台运行服务绩效评估研究[J].中国科技论坛,2009,(12):3-7.

[7]Celika M,Kandakoglu A,Er I D.Structuring Fuzzy Integrated Multi-stages Evaluation Model on Academic Personnel Recruitment in MET Institutions[J].Expert Systems with Applications,2009,(36):6918-6927.

[8]Li Z,Liechty M,Xu J,et al.A Fuzzy Multi-criteria Group Decision Making Method for Individual Research Output Evaluation with Maximum Consensus[J].Knowledge-Based Systems,2014,(56):253-263.

[9]赵黎明,刘猛.基于熵权 TOPSIS 的区域科技创新能力评价模型及实证研究[J].天津大学学报:社会科学版,2014,(5):385-390.

[10]皮进修,彭建文,赵清俊.大数据研究领域中科研机构影响力测度研究[J].情报杂志,2016,(7):179-184,125.

[11]王天歌,王金苗,袁红梅.基于专利维度的我国生物医药核心技术的识别与分析[J].情报杂志,2016,(4):112-117.

[12]张夏恒,冀芳.大气科学类中文核心期刊微信公众号满意度评价[J].中国科技期刊研究,2017,(1):47-52.

[13]邵景波,李柏洲,周晓莉.基于加权主成分TOPSIS价值函数模型的中俄科技潜力比较[J].中国软科学,2008,(9):132-139.

[14]石宝峰,迟国泰,章穗.基于矩阵距离时序赋权的科学技术评价模型及应用[J].运筹与管理,2014,(1):166-178.

[15]王映.加权TOPSIS与RSR法在学术期刊影响力综合评价中的应用研究[J].图书情报工作,2013,(2):92-96.

[16]俞立平,刘爱军.期刊评价中 TOPSIS 的漏洞研究——权重单调性[J].情报杂志,2014,(11):131-135,192.

[17]Jahanshahloo G R,Lotfi F H,Izadikhah M.Extension of the TOPSIS Method for Decision-making Problems with Fuzzy Data[J].Applied Mathematics and Computation,2006,181(2):1544-1551.

[18]陸伟锋,唐厚兴.关于多属性决策TOPSIS方法的一种综合改进[J].统计与决策,2012,(19):38-40.

[19]华小义,谭景信.基于“垂面”距离的TOPSIS法——正交投影法[J].系统工程理论与实践,2014,(1):114-119.

[20]谭春桥.基于区间值直觉模糊集的TOPSIS多属性决策[J].模糊系统与数学,2010,(2):92-97.

[21]孙世岩,邱志明,张雄飞.多属性决策鲁棒性评价的仿真方法研究[J].武汉理工大学学报:信息与管理工程版,2006,(12):58-61.

[22]徐泽水. 一种基于目标贴近度的多目标决策方法[J]. 系统工程理论与实践,2001,(9):101-104.

[23]付巧峰.一种修改的TOPSIS法[J].西北大学学报:自然科学版,2007,(4):531-533.

[24]俞立平,潘云涛,武夷山.学术期刊多属性评价方法的可比性研究[J].编辑学报,2010,(5):381-384.

(责任编辑:陈媛)