线性科技评价中自然权重问题及修正研究——动态最大均值逼近标准化方法

俞立平

(浙江工商大学 管理工程与电子商务学院，浙江 杭州 310018)

一、引言

在科技评价中，即使是在等权重的情况下，由于标准化后评价指标的均值并不相等，导致评价得分中不同指标的重要性也不相同，即评价指标具有“自然权重”。计算自然权重的方法是，在不赋权评价的情况下，分别计算各指标均值占评价结果均值的比重。以学术期刊评价为例，JCR 2015经济学期刊中，指标经过标准化处理后，影响因子的均值为18.91，总被引频次的均值为5.82，假设就采用这2个指标进行等权重评价，即直接相加，那么评价结果的均值就是24.73，影响因子均值占总得分的76.47%，而总被引频次均值仅占23.53%。也就是说，由于评价指标的自然权重问题，导致影响因子与总被引频次的权重分别为0.765、0.235，而不是人们认为的0.5、0.5，影响因子的权重会高很多(表1)。

在科技评价中，自然权重问题普遍存在，尤其在学术期刊评价中这个问题更为突出，但并没有引起足够的重视。主要原因是学术期刊评价指标数据绝大多数并不服从正态分布。Vinkler证明影响因子并不是论文的真实被引量，仅仅可作为被引几率的测度指标，认为引文分布具有右偏性[1]。Seglen发现引文分析数据具有幂律分布特征，属于典型的偏态分布[2]。Adler也发现引用数据分布是右偏的，服从幂律法则[3]。在学术期刊不服从正态分布的情况下，为了评价进行的指标数据标准化处理，无论是正向指标还是反向指标，大多数情况下会采用线性标准化方法，标准化指标的数据分布依然不会改变，即标准化指标同样不服从正态分布，这样标准化指标均值相等的可能性极小，自然权重问题就会很突出。

在JCR2015经济学期刊中，根据Jarque-Bera正态分布检验结果，所有的评价指标均不服从正态分布。根据标准化数据计算的自然权重，最大的是影响因子百分位，权重高达0.288，而最小的为总被引频次，权重仅为0.030。也就是说，影响因子百分位由于均值为55.059，在评价中的实际重要性自然很大，而总被引频次的均值仅为5.824，在评价结果中几乎忽略不计。

表1 JCR 2015经济学期刊自然权重与数据特点

自然权重问题是个隐含问题，会严重影响科技评价的主观或客观赋权工作，导致科技评价赋权混乱，严重降低科技评价质量。自然权重问题是科技评价中的基础理论问题，分析其产生的原因以及对评价结果的影响，进而提出改进措施，不仅有利于丰富评价理论，而且对于科技评价实践具有重要的应用价值，可以降低评价系统误差，提高评价质量，因而具有重要的意义。

二、文献综述

在评价中，权重的确定方法一直是研究热点，也是评价工作的首要问题。第一类是主观赋权方法，Dalkey等创立了德尔菲法，从而避免集体讨论存在的屈从于权威或盲目服从多数的缺陷，在新产品市场需求和技术预测等领域得到了普遍应用[4]。Saaty应用网络系统理论和多目标综合评价方法，创立了层次分析法(AHP)，从而为多准则、多目标或无结构特性的复杂决策和评价问题提供了相对简便的方法[5]。Ramanathan等在假设专家之间相互熟识的基础上，通过专家之间的互评来确定专家权重[6]。陆海琴、舒立认为专家权重应该由权威性权重、熟悉度权重和公正性权重等三部分构成，并且详细讨论了这三类权重的设计思路及总权重的计算模式[7]。钟生艳、魏巍等运用层次分析法确定权重，对医院科技能力进行评价[8]。许海云等依据序关系转换权重的原理和算法，结合专家建议得出各文献类型的相对序关系，并进一步转换为相应的权重值，最终形成基于期刊文献类型的序关系转换权重的影响因子[9]。何育静、夏永祥采用主观赋权进行产城融合评价[10]。

第二类是客观赋权方法。Kahneman等认为决策者概率权重函数遵循非线性的形式，给出了一种概率权重函数表达式，并对其中的参数取值进行了估计[11]。Meymandpour等基于信息论计算关联数据网络中资源(节点和关系)的信息量，以此来衡量资源在领域内的重要性[12]。Gennert等构造了一个凸性损失函数，依据能避免极端大或极端小权重的最小化最大值原则，通过求极值得出一个特殊的最优权重向量[13]。张立军、邹琦以路径分析方法为基础建立指标权重，构建基于路径系数权重体系的科技成果奖励评价模型[14]。周志远、沈固朝基于粗糙集理论确定权重，认为该方法不需要任何先验信息，即可完成权重计算，可使情报分析结果更加客观、有效[15]。熊文涛、齐欢等针对两类利用离差计算属性客观权重的不足，提出了一种新的基于离差最大化的客观权重确定模型[16]。

第三类是主观与客观相结合的赋权方法。赖敏、王广生采用专家调研法和层次分析法相结合确定电力企业科技项目后评估指标权重系数[17]。张立军、袁能文在分析专家权威性和可信度测量方法的基础上，提出一种同时考虑变异系数权重与专家权重的科技成果综合评价模型[18]。何倩等采用主观赋权(专家打分法、对比排序法、层次分析法)和客观赋权(标准离差法、熵权法、CRITIC 法)相结合的方法制定科技实力指标权重[19]。王瑛、李菲采用聚类分析法将专家的动态综合评价转换为静态综合评价，引入横向拉开档次法对各指标客观赋权，结合指标主观权重，运用数学规划法得到指标的集成权重[20]。钟赛香等对7种指标权重客观赋值方法，采用“异同比较”，分析不同方法在不同参数设置下和聚类与否情况下的权重值、评价值和评价序的变化特征与分布规律，对JCR 中 70 种人文地理期刊进行排序分析[21]。夏维力、丁珮琪使用主、客观方法对指标赋权，主观方法选用专家德尔菲法和层次分析法，客观方法选用标准离差法、熵权法和 CRITIC法[22]。

关于权重冲突与本源问题研究，傅蓉认为受考核指标的统计特征、计分方式等影响，平衡计分卡考核指标的结果权重与初始设定权重相比出现明显的标准差和均值权重不一致，这种不一致影响考评排名和分数，从而扭曲考核的激励效果[23]。俞立平等以CSTPC数据库医学学术期刊为例，首先应用客观评价方法进行评价，然后通过回归分析或排序选择模型估算出部分非直接赋权的客观评价法的权重，发现不同客观评价方法对相同指标的权重差异，单纯采用客观评价法进行评价结果是不可靠的[24]。俞立平、刘爱军采用传统回归和岭回归计算模拟权重进而对TOPSIS权重的单调性进行检验，发现TOPSIS并不具有权重单调性[25]。

从目前的研究看，学术界在权重的分类、权重的赋值方法、现有评价方法的权重优化等领域研究成果极为丰富，主观赋权方法较少，客观赋权方法领域的成果较多。近年来，在评价应用中，主观与客观赋权方法相结合得到了广泛的应用，因为它能综合主观与客观赋权评价的优点。但是关于评价指标自然权重问题的研究，学术界关注较少，主要原因有以下几个方面：

第一，现实生活中，尽管一些领域数据不服从正态分布，但是很多领域评价指标往往服从正态分布，所以大多数评价指标的均值往往比较接近，所以自然权重问题不严重，但只要存在这个问题，也要进行纠正，这是统计学方法不够优化的体现。

第二，在评价对象较少的情况下，由于区分度较大，即使不考虑自然权重导致最终的实际权重发生了扭曲，但对评价结果排序的影响不至于太大，从而掩盖了这个问题。

第三，一些需要赋权的非线性评价方法，其方法本身就存在权重扭曲问题，即由于采用非线性数学方法进行评价，导致权重也是非线性的，发生了变化，同样掩盖了自然权重问题。

第四，自然权重问题是个隐含问题，容易被熟视无睹。

本文在对自然权重进行深入分析的基础上，提出自然权重、实际权重的概念以及测度方法，并采用一种新的均值标准化方法来解决这个问题，论文以JCR2015经济学期刊为例，举例说明其原理与解决方法。

三、设计权重、自然权重与实际权重

(一)几个权重的关系

以线性加权汇总评价为例，其计算公式为：

Ci=ω1X1+ω2X2+…+ωnXn

(1)

其中，ωj表示权重，Xj是标准化后的评价指标，Ci表示评价得分。ωj可以是主观赋权，也可以是客观赋权，或者主观与客观相结合赋权，这是传统意义上的权重，为了以示区别，将该权重称为设计权重，傅荣将该权重称为初始权重[23]，这里将其用ωD表示。

自然权重ωS是假设设计权重相等的情况下，各指标的相对重要性，可以用各指标的均值或汇总值所占比重表示：

(2)

实际权重是在评价结果中，各指标实际均值或者汇总值所占的比重，傅荣称其为结果权重[23]，这里用ωR表示：

(3)

很明显，设计权重ωD、自然权重ωS、实际权重ωR并不相等。

(二)自然权重的修正

在线性评价中，只有保证实际权重与设计权重相等，才能真正发挥权重在评价中的作用。由于自然权重的存在，或者说由于评价指标数据的差异性，导致这种情况是一种理想状况，很难在现实生活中实现。为了做到设计权重与实际权重相等，必须彻底消除自然权重问题，一种最为简捷的方法就是通过标准化方法，使得所有评价指标的均值相等，这样其汇总值也相等，即：

(4)

则式(3)变为：

(5)

均值标准化有两个前提条件必须处理好：第一，指标标准化后均值必须相等；第二，指标标准化后极大值相等，即极大值必须仍然是1或者100(以100为例)。第一个前提条件可以理解，第二个前提的根本原因是，在特殊情况下，不能使某个评价对象的评价值大于100，如果某个评价对象每项指标都是最高，就有可能出现这种情况，不符合常理。为此，本文提出一种“动态最大均值逼近标准化”方法，其步骤是见图1。

图1 标准化过程图

第一，计算所有指标标准化后的均值，找到最大的均值K。

第二，除了均值极大值指标外，其他指标需要继续处理。对于指标Xj，加上所有指标中最大均值K与Xj均值的差，这样虽然均值相等，但极大值超过100。

第三，对Xj进行二次标准化，所有指标除以极大值，这样极大值虽然为100，但均值又减小了，所以还要第二步，以提高均值。

第四，如此循环，直到第二步极大值在许可范围内，比如极大值超过范围在1%以内，即小于101。

因为这种数据标准化是动态的，需要循环多次，所以将这种标准化方法称为“动态最大均值逼近标准化”，由于这种标准化方法是一种线性变换，所以可以保持原始指标中的大量信息，不会破坏原始指标的数据分布。一般而言，只要保证标准化方法的线性变化，不会增加新的误差，也不会使标准化后的数据信息量降低。

下面对该标准化方法的均值逼近原理进行证明。假设评价指标中均值最大的指标均值为K，第二次标准化时首先将所有的指标加上均值差，即：

(6)

下面进行二次标准化：

(7)

只要证明Xj''的均值递增即可，也就是说要证明Xj''的均值减去Xj的均值大于0，即：

(8)

由于K是所有指标中均值极大值的指标，而Xj的均值肯定小于标准化的极大值100，所以式(8)一定是大于0的，也就是说，动态最大均值逼近标准化方法是单调递增的，理论上均值可以无限逼近K。

四、实证结果

(一)数据来源

本文以JCR2015经济学期刊为例，为了精简起见，以总被引频次、影响因子、特征指标3个指标评价为例，进行相关说明。JCR2015经济学期刊共有333种，删除了部分缺失数据期刊，最终还有278种。

(二)线性加权评价的自然权重

首先是设计权重，也就是评价时通过主观与客观方法确定的权重，作为一个算例，假定总被引频次的权重为0.3、影响因子的权重为0.5、特征因子的权重为0.2。在计算自然权重时，对所有指标标准化后计算其汇总值和均值，然后再计算每个指标汇总值或均值占所有指标的比重，这就是自然权重，结果如表2所示。

表2 自然权重

自然权重之间相差较大，影响因子的自然权重最大，为0.636，总被引频次的自然权重为0.196，特征因子的自然权重为0.168，影响因子的自然权重超过总被引频次和特征因子的总和。可见，在科技评价中，自然权重对评价产生了非常重要的影响，但是这种影响是隐含的、间接的。

(三)动态最大均值逼近标准化

1.总被引频次的标准化

影响因子标准化结果如表3所示(部分期刊)。3个指标中，均值极大值是影响因子为18.911，总被引频次为5.824，对总被引频次进行标准化时，首先加上均值差13.087，这样虽然均值相等了，但极大值为113.087。超过100，所以进行2次标准化，这样导致均值又减小到16.723，所以继续加上均值差2.188，此时极大值又超过100，变为102.188，超过阈值1%，所以还需要进行3次标准化，再加上均值差0.405，此时均值和最大的影响因子均值相等，极大值为100.405，在1%范围以内，此时标准化结束。也就是说，通过3次标准化，3次加均值差以后，总被引频次标准化后均值和影响因子相等，从而消除了自然权重。

表3 总被引频次标准化(部分)

2.特征因子标准化

根据同样原理进行特征因子的标准化，同样经过3轮标准化和3轮加均值差，最终特征因子的极大值为100.427，也在1%范围内，至此数据标准化结束。

(四)消除自然权重后评价结果比较

传统线性加权汇总评价，是不考虑自然权重的，为了比较采用“动态最大均值逼近标准化”消除自然权重后评价结果的差异，首先采用传统方法进行加权汇总评价，然后消除自然权重后进行加权汇总评价，结果如表4所示，由于篇幅所限，本文只公布了排名前30的期刊。

消除自然权重前后评价结果还是有差异的，首先是排名第1的期刊就发生了变化，排名2～15的期刊变化不大，但15名之间的期刊排名变化较大。两种评价结果的相关系数高达0.999 5，尽管如此，涉及到具体排名，还是有差异的，也就是说，消除自然权重与否对总体评价影响不大，但是对个体评价影响较大。因此，在进行小组、区域等具有总体性质的评价中，可以不消除自然权重，但在进行个体评价以及评优时，还是要消除自然权重的。

(五)三种权重的比较

最后，计算出自然权重和实际权重，并与设计权重进行比较，结果如表5所示。如果采用传统的线性加权汇总，那么设计权重、自然权重和实际权重均不一样。本例中，由于影响因子的自然权重和设计权重均最大，因此其实际权重也最大，达到0.775，而特征因子的自然权重和设计权重均最小，因此其实际权重更小，只有0.082。

表4 消除自然权重前后评价结果比较

表5 修正前三种权重比较

如果采用“动态最大均值逼近标准化”方法进行原始指标的标准化处理，那么这3种权重结果如表6所示，也就是说，实际权重等于设计权重，而自然权重相等，这样使得评价赋权的意义更为清晰，使得评价赋权真正发挥赋权的作用。

表6 修正后三种权重比较

五、结论与讨论

(一)自然权重对科技评价结果会造成干扰

在科技评价中，自然权重问题是普遍存在的现象，它是隐藏在评价指标数据中的一种权重，根本原因是评价指标不服从正态分布、评价指标均值不相等所致。在加权线性评价中，如果认识不到自然权重问题，将造成实际权重的严重扭曲，从而对评价结果产生影响，降低评价质量，尤其是在个体评价中。

(二)动态最大均值逼近标准化能消除自然权重

为了消除评价指标的自然权重问题，基于标准化指标均值相等、极大值相等原则，本文提出了动态最大均值逼近标准化方法。其原理是，首先采用传统的正向指标除以极大值方法进行标准化，然后全部指标加上该指标均值与均值极大值的差，这样处理后虽然均值相等，但极大值变大了；再次进行标准化处理，这样会导致均值降低，所以需再加上该指标均值与均值极大值的差。如此循环，直到极大值超过范围在1%以内。理论证明，每循环1次，指标均值就递增1次，具有单调性。实践证明，经过3次左右循环就能取得比较满意的效果，并且彻底消除了自然权重问题。

(三)反向指标可采用类似方法消除自然权重

反向指标也可以采用类似方法进行处理。首先要进行正向化处理，在第一次标准化时进行；然后就可以采用动态最大均值逼近标准化方法进行消除自然权重处理，然后再进行评价。

(四)自然权重问题具有一定的普遍性

自然权重的存在扭曲评价结果，具有一定的普遍性，是统计学和多属性评价中的基本问题，在科技评价中这个问题更加严重而已。所以重视自然权重现象，通过动态最大均值逼近标准化方法将其消除，有利于保证设计权重的初衷，使得评价更加公平合理。