多指标综合评价中评价指标的模拟权重探讨——以地理学期刊评价为例

陈鹏宇,李 晴

(1. 内江师范学院 地理与资源科学学院；2. 内江师范学院 图书馆，四川 内江 641100)

0 引 言

随着社会经济评价问题的日益复杂，多指标综合评价方法得到了广泛应用，并且涌现出多种多样的综合评价方法.[1]按计算原理的不同，一般可将多指标综合评价方法分为线性评价方法和非线性评价方法两大类.这种分类与信息集结的方式有关.当采用线性加权综合法集结信息时，指标值与评价值之间具有线性关系，以此为基础构建的评价方法属于线性评价方法；当采用TOPSIS、几何平均法和调和平均法等集结信息时，指标值与评价值之间具有非线性关系，以此为基础构建的评价方法属于非线性评价方法.对于主成分分析和因子分析等降维方法，一般情况下评价值与主成分和公共因子之间具有线性关系，而主成分和公共因子与评价指标之间也可视作线性关系，所以评价值与评价指标之间也是线性关系，[2]可视作线性评价方法，但是一些学者将这两种方法划分为非线性评价方法.[3-4]上述评价方法在许多方面存在显著差异，如权重和指标的呈现方式、评价信息的集结方式等.[5-6]这些差异导致针对同一个评价问题，不同评价方法的评价结果往往不同，即多种方法的评价结论具有非一致性.[7-8]不同评价方法的适用性存在差异，许多学者开展了评价方法的适用性检验和选择研究，提出了许多检验方法和选择标准，以指导评价者选择合适的评价方法.[9-12]

权重是多指标综合评价中的重要内容，体现了指标在评价中的相对重要程度.一些研究试图从权重的角度对评价方法的适用性进行分析.[13-17]比如，俞立平[13]提出了自然权重的概念，认为线性评价方法存在自然权重问题；陈鹏宇等[14]认为自然权重问题未考虑自然权重与评价值相对差异的关系，对于实际中大量存在的相对评价，可不用考虑自然权重问题.张爱琴等[15]认为TOPSIS不具有权重单调性，只能用于等权重评价；陈鹏宇等[16]从相对评价的角度分析了TOPSIS的权重单调性，发现TOPSIS并不存在权重单调性问题.除此以外，俞立平等[17-18]还提出了模拟权重的概念，并将其用于检验和选择评价方法.模拟权重理论认为在线性评价中，权重的体现是清晰的，明确知道各指标在评价中的意义及权重大小，但在非线性评价中，权重的体现是模糊的，人们无法知道各指标的实际重要性，必须采取一定的方法模拟计算出各指标的权重.[17-18]现有研究一般采用回归分析模拟非线性评价方法的指标权重，回归系数经归一化处理后即为模拟权重.[9,15,17]这种模拟方法将指标值与评价值的非线性关系转换为线性关系，存在着估计精度不高、部分指标回归系数可能为负等问题，为此俞立平提出了采用人工神经网络模拟非线性评价方法.[18]回归分析将指标值与评价值的非线性关系转变为了简单的线性关系，而人工神经网络将指标值与评价值的非线性关系转变为了更为复杂的非线性关系，两种模拟方法都改变了原来的评价结构.这种改变评价结构的模拟是否合适，所得到的模拟权重能否代表指标的实际重要性，现有研究并未给出明确的理论依据，有待进一步论证.为此，本文从指标的实际重要性和评价实际的角度出发，对模拟权重理论进行了探讨，并以JCR2017地理学期刊评价为例，对模拟权重理论进行了检验.

1 基本方法

1.1 信息集结方法

模拟权重一般用于检验和选择非线性评价方法，所以本文选择了常用的非线性信息集结方法作为研究对象，包括几何平均法、调和平均法和TOPSIS.由于文献[18]将因子分析法视作非线性评价方法，并采用人工神经网络计算其模拟权重，所以本文也将因子分析法作为研究对象.线性加权综合法则作为对比.各方法的计算原理如下.

1.1.1线性加权综合法

线性加权综合法是目前在综合评价中应用最广泛的方法之一，其计算公式如下:

Ci=w1xi1+w2xi2+…+wnxin

(1)

式中，wj为第j个评价指标的权重；xij为第i个评价对象第j个评价指标的无量纲化值;j=1,2,…,n.

1.1.2几何平均法

(2)

1.1.3调和平均法

当k=-1时，幂函数合成为调和平均合成，其计算公式如下:

(3)

1.1.4TOPSIS

TOPSIS是由是Hwang等在1981年首次提出，详细计算原理参见文献，[20]评价值的计算公式如下:

(4)

式中，x+j，x-j为不考虑权重的理想解和负理想解.

1.1.5因子分析法

因子分析法是一种降维方法，一般以指标间的相关性为基础(R型因子分析法)，将评价指标归结为少数几个因子，利用各公共因子的方差贡献率确定权重，计算综合评价值，[21]计算公式如下:

Ci=w1Fi1+w2Fi2+…+wpFip

(5)

式中，Fik为第i个评价对象第k个公共因子的得分;k=1,2,…,p.

式(5)可等效为将公共因子作为评价指标的线性加权综合法.根据得分系数矩阵，可以得到各公共因子与评价指标之间的关系如下:

Fik=ak1xi1+ak2xi2+…+aknxin

(6)

式中，akj为第k个主因子在第j个评价指标上的得分系数.

将式(6)代入式(5)中，可以得到评价值与指标值之间的关系为:

(7)

可见，因子分析法中，评价值与评价指标之间一般具有线性关系.

1.2 模拟权重计算方法

1.2.1回归分析

在人工神经网络模拟法提出之前，回归分析是最主要的模拟权重计算方法.考虑到回归分析受到指标间多重共线性的影响，常采用岭回归、偏最小二乘法等方法进行回归分析.[18]将评价值作为因变量，将评价指标作为自变量进行线性回归:

Ci=a0+a1xi1+a2xi2+…+anxin

(8)

式中，ai为回归系数，经归一化处理后即为模拟权重.

1.2.2人工神经网络模拟

人工神经网络具有非线性映射能力及对任意函数的一致逼近性能，在社会经济建模和预测中得到了广泛的应用.典型的人工神经网络由输入层、隐含层和输出层组成.一般应用时主要考虑单隐含层前馈网络，其一般形式为:[22]

(9)

G(x)常采用线性函数G(a)=a，F(x)常采用单极性Sigmoid函数F(a)=1/(1+exp(-a)).此时，式(9)可以写成:

(10)

与式(2)、式(3)和式(4)相比，式(10)具有复杂的非线性关系.当采用多个隐含层节点时，每个指标将会有多个权重，权重对指标重要性的体现是模糊的.而且，隐含层节点到输出层的连接权重也会影响各指标在人工神经网络中的作用.现有研究一般通过计算各输入层节点到所有隐含层节点间连接权的绝对值之和，并归一化确定各指标的权重.[22-23]具体公式如下:

(11)

2 模拟权重理论探讨

2.1 模拟权重理论与指标的实际重要性

现有研究认为，在线性评价中，权重的体现是清晰的，但在非线性评价中，权重的体现是模糊的，人们无法知道各指标的实际重要性，从而采用模拟权重来表示指标的实际重要性.[17-18]对于线性评价，权重在评价中的体现直观明了，如式(1)所示；对于非线性评价，权重在评价中的体现不同于线性评价，随着信息集结方法的不同而不同.比如对于几何平均法，如式(2)所示，权重以幂指数的方式呈现，指标的权重越大，指标在“积”中所占比重越大，在评价中的作用越大；对于调和平均法，如式(3)所示，权重加载于指标的倒数值上，指标在“倒数和”中所占比重越大，在评价中的作用越大；对于TOPSIS，如式(4)所示，权重加载于指标的欧氏距离分量上，指标的权重越大，指标在欧氏距离中的贡献越大，[24]在评价中的作用越大.可见，权重在非线性评价中的体现是有迹可循的，同样可以决定指标在评价中的作用.所以，本文认为在采用上述信息集结方法的非线性评价中，指标的实际重要性仍然由赋权过程中的权重决定，只不过这种重要性的呈现方式不同于线性评价.

按照一般的评价过程，权重确定后需要采用适当的信息集结方法合成最终评价值.模拟权重理论则是对评价过程进行反向操作，采用回归分析或人工神经网络重构指标值和评价值之间的关系，然后计算模拟权重.不同的非线性评价方法采用了不同的信息集结方式，评价指标与评价值之间具有不同的非线性关系.若以回归分析计算模拟权重，则是将指标值与评价值之间的关系统一为线性关系，改变了原来的非线性关系.显然，回归分析并不能精确模拟各种不同的非线性评价方法，有时候回归分析的拟合优度R2较低.比如，文献[9]中采用了因子回归分析模拟了调和平均法，所得拟合优度R2仅为0.881，说明回归分析所表达的指标值与评价值的关系已经失真，此时的模拟权重难以准确代表指标的实际重要性.

为了提高拟合精度，俞立平等提出了人工神经网络模拟法，[18]与回归分析相比，人工神经网络模型的拟合优度R2更高，但是指标值与评价值之间的关系更加复杂.与常见的非线性评价方法相比，人工神经网络模型中的权重是复杂的，其涉及各输入到隐含层节点的连接权重和隐含层节点到输出层的连接权重，权重对指标重要性的体现是模糊的.即使采用式(11)作为模拟权重的计算公式，也忽略了隐含层节点到输出层连接权重的影响.现有研究并没有提供明确的理论依据证明人工神经网络所确定的模拟权重能够代表指标的实际重要性.

2.2 模拟权重理论与评价实际

模拟权重理论根据实际权重与模拟权重的差异来检验和选择非线性评价方法.[9][25]这种选择方法具有一定的局限性，以回归分析为例，当非线性评价方法越接近于线性结构时，模拟权重越接近于实际权重，所以回归分析会倾向于选择接近于线性结构的非线性评价方法，[25]这不一定符合评价者的实际需求.评价者选择某种非线性评价方法，可能并不是因为该方法接近于线性结构，而是该方法有着线性评价方法所不能实现的评价目的.比如几何平均法和调和平均法能够兼顾指标的均衡性，具有体现“鼓励均衡发展”的评价目的，[19][25]当具有此类评价目的时可采用这两种方法，这是回归分析计算的模拟权重无法判断的.比如，文献[9]中采用了因子回归分析检验了四种非线性评价方法，非线性最强的调和平均法(拟合优度R2最低)最先被排除，这便是模拟权重理论忽略了非线性评价方法的实际评价特征导致的结果.

人工神经网络模拟法存在同样的问题，在模拟时忽略了非线性评价方法的计算原理和评价特征.比如，文献[18]采用单隐含层人工神经网络计算了因子分析法的模拟权重，认为因子分析并不适用于评价经济学期刊.文献[18]中以JCR2017经济学期刊评价为例，共选择了9个评价指标，以人工神经网络模拟因子分析法后，得到引用半衰期的模拟权重最大，为0.772，这说明引用半衰期在评价中具有绝对支配地位，但是引用半衰期与因子分析评价值的相关系数仅为0.483，有6个指标与评价值的相关系数高于引用半衰期，这说明引用半衰期并不具备绝对支配地位.人工神经网络模型以因子分析法的评价结果为基础，引用半衰期模拟权重与相关系数存在较大差异，说明了人工神经网络未能正确描述因子分析法的评价结构或者人工神经网络的模拟权重并不能代表评价指标的实际重要性.

根据文献[18]中因子分析评价的步骤，本文采用IBM SPSS软件再次进行了JCR2017经济学期刊的因子分析，根据各主因子方差贡献率确定的权重和得分系数得到了评价值与指标值之间的线性关系如下:

Ci=0.101xi1+0.156xi2+0.154xi3+0.155xi4+0.119xi5+0.103xi6+0.120xi7+0.009xi8+0.093xi9

(12)

式中，x9为引用半衰期.

由于评价值与指标值之间具有线性关系，各指标的系数可用于衡量各指标的实际重要性.式(12)中引用半衰期的系数仅为0.093，小于大部分指标的系数，说明引用半衰期在因子分析评价中并不具有绝对支配地位，与相关系数的计算结果相吻合.如果在人工神经网络中不考虑隐含层，且输入层到输出层的传递函数采用线性函数，则人工神经网络能够精确模拟因子分析法的线性结构，且权重参数与式(12)中的系数一致.因此，如果评价者需要了解因子分析法中各指标的实际重要性，应采用两层线性传递函数的神经网络进行模拟，或者直接采用式(7).

3 实例分析

以JCR2017地理学期刊评价为例探讨上述方法的应用，并对模拟权重理论进行检验.根据文献[25]中的建议，选择影响因子(X1)、他引影响因子(X2)、5年影响因子(X3)、即年指标(X4)、论文影响分值(X5)、被引半衰期(X6)、引用半衰期(X7)，共7个评价指标.其中，被引半衰期、引用半衰期为反向指标，标准化时做正向化处理.

3.1 因子分析法

上述评价指标较多，且指标间具有较高的相关性，如表1所示，可采用降维方法进行处理，因此首先探讨因子分析法的应用.对原始数据进行z-score标准化处理后，采用IBM SPSS软件，基于相关性矩阵以主成分分析法根据特征根大于1的原则提取公共因子，采用最大方差法进行旋转.计算结果显示KMO检验值为0.786，Bartlett检验值为847.048(Sig.<0.001)，适合采用因子分析.共提取出2个公共因子，累积方差贡献率为83.16%，可以解释大部分指标信息.根据表2的因子旋转矩阵，第一因子F1在影响因子、他引影响因子、5年影响因子、即年指标、论文影响分值上具有较大的载荷，可称为期刊影响力因子；第二因子F2在被引半衰期和引用半衰期上具有较大的载荷，可称为期刊时效性因子.

表1 评价指标间的相关系数

以各公共因子的方差贡献率确定权重，得到综合评价值的计算公式如下:

Ci=0.752Fi1+0.248Fi2

(13)

根据各公共因子的权重和得分系数得到评价值与指标值之间的线性关系如下:

Ci=0.163xi1+0.162xi2+0.165xi3+0.132xi4+0.157xi5+0.075xi6+0.105xi7

(14)

表2 因子旋转矩阵

根据式(14)，代表期刊影响力的X1～X5在评价中的重要性比代表期刊时效性的X6和X7相对更大.而X1～X5之间具有较高的相关性，这样反而增强了这些指标间的重复计算在评价中的作用.按原始指标进行等权重线性加权评价作为对比，分别计算各指标与两种评价值的相关系数，如表3所示.从表3中可以看出，虽然采用等权重评价，但是X1～X5之间具有较高的相关性，它们之间的重复计算导致这些指标与评价值之间具有较高的相关性，而X6、X7与评价值的相关性较低.而采用因子分析法后，重复计算的作用被加强，X1～X5与评价值的相关性更高，而X6、X7与评价值的相关性降低，即评价结果主要由期刊影响力决定.之所以出现这种情况，是因为采用基于相关性矩阵的主成分分析法提取公共因子时，方差贡献率计算的权重与相关系数有关，权重明显向相关性较高的那些指标倾斜，每一个因子都有独立不相交的含义，没有理由将它们按照方差贡献率进行加权.[19]评价者可根据各因子的实际意义进行赋权.比如，如果评价者认为期刊影响力和期刊时效力同等重要，则可对两个因子赋予相同的权重.此时，再计算评价指标与评价值的相关系数如表3所示，可见X1～X5与评价值的相关性同X6、X7与评价值的相关性相当，即期刊影响力和期刊时效性在评价中的作用相当，符合评价目的.由于因子分析法中指标值与评价值具有线性关系，所以本文不再讨论因子分析法的模拟权重.

表3 评价指标与评价值的相关系数

综上，关于因子分析法有以下几点建议:(1)当指标较多且指标间相关性较强时，建议采用因子分析法进行降维处理，但需要注意KMO检验值和Bartlett检验值是否符合要求；(2)不建议采用方差贡献率计算因子权重，建议根据各因子的实际意义确定权重；(3)可通过式(7)中的系数判断各指标的实际重要性，不建议采用非线性人工神经网络模拟因子分析法.

3.2 TOPSIS、几何平均法和调和平均法

3.2.1方法对比

借助因子分析法的降维优势，以两个公共因子作为评价指标，由于因子得分具有负值，不能直接使用几何平均法和调和平均法.两个公共因子的最小值为-5.354，将两个公共因子进行线性转换，转换公式为F=(F+6)/10.线性转换不会改变各因子值之间的相对差异，转换后各因子值均大于0，且基本在0～1之间.认为期刊影响力和期刊时效力同等重要，赋予相同的权重0.5，分别采用TOPSIS、几何平均法和调和平均法计算评价值，以线性加权综合法作为对比.

表4中给出了排名前20(对应于线性加权综合法)的评价结果，由于四种信息集结方法的计算原理各不相同，它们的评价结果存在一定差异.计算了四种信息集结方法评价值的相关系数，如表5所示，可见四种信息集结方法的评价值具有非常显著的相关性.其中，以TOPSIS与线性加权综合法评价值的相关性最高，说明TOPSIS更接近于线性结构；调和平均法与线性加权综合法评价值的相关性最低，说明调和平均法的非线性最强；几何平均法次之.

表4 四种评价方法的评价值和排序值

表5 四种评价方法评价值的相关系数

几何平均法和调和平均法能够兼顾指标均衡性，体现了“鼓励均衡发展”的评价目的，以调和平均法更甚；而线性加权综合法(算术平均)具有等额互补特征，体现了“取长补短式”的评价目的.[19,25]从表4中评价值的差异可以看出两种评价目的的差异，以ECON GEOGR和COMPUT ENVIRON URBAN为例，ECON GEOGR的F1和F2分别为0.889，0.527；COMPUT ENVIRON URBAN的F1和F2分别为0.696、0.680.如果不考虑指标均衡性(线性加权综合法)，则ECON GEOGR的评价值更大；如果考虑指标均衡性(几何平均法和调和平均法)，由于COMPUT ENVIRON URBAN的两个指标非常接近，指标均衡性更高，COMPUT ENVIRON URBAN的评价值更大.与几何平均法相比，调和平均法对指标非均衡态的惩罚力度更大，[25]导致ECON GEOGR的评价值更低，排序降低到第8位.如果将TOPSIS的欧氏距离替换为街区距离，可以证明基于街区距离的TOPSIS 与线性加权综合法等效(评价值的相对差异和排序结果完全相等)，[26]所以两种方法的区别主要在于距离函数不同，从而导致评价结果存在差异.从指标均衡性和互补性的角度来看，TOPSIS即不具有线性加权综合法的等额互补性，也不具有几何平均法和调和平均法“鼓励均衡发展”的评价特点，[25]所以无法从指标均衡性和互补性的角度给出TOPSIS的应用建议.

3.2.2模拟权重检验

分别采用回归分析和人工神经网络模型计算上述四种评价方法的模拟权重.由于两个评价指标具有独立不相关的特点，所以直接采用多元回归分析.人工神经网络模型采用单隐含层前馈网络，两个隐含层节点，输入层到隐含层的传递函数采用极性Sigmoid函数，隐含层到输出层的传递函数采用线性函数，训练、检验和支持的个案数量比例为7:2:1，并根据式(11)计算模拟权重.多元回归分析和人工神经网络均采用IBM SPSS软件实现.模拟权重计算结果见表6.

表6 模拟权重计算结果

从表6中可以看出，多元回归分析能够精确模拟线性加权综合法，模拟权重与实际权重一致；而人工神经网络采用了非线性模型，不能精确模拟线性加权综合法，模拟权重与实际权重不一致.所以对于具有线性结构的评价方法，不建议采用非线性人工神经网络进行模拟.多元回归分析计算的TOPSIS、几何平均法和调和平均法的模拟权重与实际权重均不一致，这是因为这三种评价方法并不具有线性结构.TOPSIS最接近于线性结构，所以模拟权重与实际权重最为接近；调和平均法非线性最强，所以模拟权重与实际权重的差异最大；几何平均法介于两者之间.与多元回归分析相比，人工神经网络对TOPSIS、几何平均法和调和平均法的模拟效果更好，但是仍然不能精确模拟它们的评价结构，而且人工神经网络模型的权重具有复杂性，所以模拟权重与实际权重存在差异，同样以调和平均法的差异最大.如果按照模拟权重与设计权重(实际权重)的偏离度[9,25]选择非线性评价方法，则TOPSIS将会入选.非线性评价方法有其独特的计算原理，应从其评价特征出发进行选择，比如可从指标互补性和均衡性的角度进行选择，若评价者期望尽可能体现“鼓励均衡发展”的评价目的，可选择调和平均法；若评价者期望体现“取长补短式”的评价目的，可选择线性加权综合法，[25]这是模拟权重理论所无法实现的.

模拟权重之所以不等于实际权重，是因为非线性评价方法与回归分析或人工神经网络在计算原理上存在差异.因此，建议从非线性评价方法的计算原理和评价特征出发，构建能够描述其评价特征的指标来研究非线性评价方法的检验和选择问题.

结 论

(1)非线性评价方法的模拟权重与实际权重往往并不一致，这是因为非线性评价方法与回归分析或人工神经网络在计算原理上存在差异.回归分析无法精确模拟指标值与评价值之间的非线性关系，模拟权重与实际权重总是存在差异；人工神经网络对非线性评价方法的模拟效果较好，但是其权重具有复杂性，对指标重要性的体现是模糊的，所以其模拟权重与实际权重往往存在差异.

(2)对于具有线性结构的因子分析等降维方法，不能采用非线性人工神经网络进行模拟，如果评价者需要了解因子分析法中各指标的实际重要性，应采用两层线性传递函数的神经网络进行模拟，或者直接采用本文提出的式(7).对于TOPSIS、几何平均法和调和平均法等非线性评价方法，不建议采用人工神经网络对其进行模拟；回归分析的模拟权重可以用来判断非线性评价方法是否接近于线性结构.

(3)模拟权重理论忽略了非线性评价方法的计算原理和评价特征.建议从非线性评价方法的计算原理和评价特征出发，构建能够描述其评价特征的指标来研究非线性评价方法的检验和选择问题.