基于复合幂函数修正G1法的商户综合评价

李忠洵　华锦芝　刘震　郑建宾

摘要：

针对多指标综合评价问题中主客观权重相悖时客观权重淹没主观权重的问题，以G1法和客观赋权法为基础，提出了复合幂函数修正G1法的组合赋权模型。首先，建立指标体系并通过G1法确定各指标主观排序和主观初始向量；然后，利用客观赋权法计算各指标客观向量；其次，在不改变主观排序的情况下利用复合幂函数算出主客观结合的综合权重；最后，利用各指标标准化后的值和综合权重计算综合评价值。采用大众点评网的商户数据进行综合评价实驗：该模型的均方根误差（RMSE）为3.891，均低于G1熵权法的8.818和标准差修正G1法的4.752，且覆盖率优于两种对比方法；分别修改主观初始向量和主观排序进行对比实验，修改主观排序的均方根误差为5.430，高于修改主观初始向量的1.17。实验结果表明，该模型得到的评价值与大众点评网官方的评分的一致性较高，且该模型弱化了主观初值对评分结果的影响，体现了主观排序的基础作用。

关键词：

多指标综合评价；序关系分析；权重；主观排序；主客观评价结合

中图分类号：

TP311

文献标志码：A

Abstract：

Considering the issue of objective weight overwhelming subjective weight when the subjective weight and objective weight is inconsistent in multiindex evaluation problem， based on G1 method and the objective weighting method， an assembled weighting model combined with G1 method improved by composite power function was proposed. Firstly， an index system was built， and the subjective ranking and subjective initial vector were determined by G1 method. Thus， each objective index vector was calculated by objective weighting method. Secondly， without changing the ranking order， the comprehensive weights integrated with both subjective and objective components were obtained by utilizing composite power function. Lastly， comprehensive evaluation was calculated by using standardized values of indices and comprehensive weights. Merchants data crawled from Dianping.com was adopted for the experiments of comprehensive evaluation. The RootMeanSquare Error （RMSE） of the new model was 3.891， which is lower than the result of 8.818 obtained by the G1entropy weighting and the result of 4.752 obtained by the standard deviation improved G1. Meanwhile， the coverage rate obtained by the new model was better than the two baseline models as well. On the other hand， the comparison results performed by changing subjective initial vector and subjective ranking order showed that 英摘太长，这句可不要the RMSE obtained by changing subjective ranking order is 5.430， which is higher than the result of 1.17 that obtained by changing subjective initial vector. The experimental results demonstrate that the evaluation values obtained by the new model highly match with the counterparts given by the Dianping.com， and the model can significantly weaken the effect of initial subjective values， which reflects the fundamental status of the subjective ranking.

英文关键词Key words：

multiindex comprehensive evaluation； rank correlation analysis； weight； subjective order； combination of subjective and objective evaluations

0引言

随着电子商务的飞速发展，利用大量数据对商户进行全面评价的系统被运用到了各类电商网站当中，对评价结果的准确性和合理性的要求也越来越高，精确合理地评价模型对电商网站发展和推广有着重要的作用[1]。对商户进行评价受到多种评价因素的影响，因此可以利用多指标综合评价的理论建立评价模型。目前，国内外利用多指标综合评价理论进行商户评价的研究尚处于起步阶段，需借鉴多指标综合评价在其他领域的应用和研究。多指标综合评价也叫作综合评价，是指人们根据不同的评价目的，选择相应的评价形式，据此选择多个评价因素或者指标转化为能反映评价对象总体特征的信息[2]。怎样进行科学、合理的评价是综合评价的核心问题。在多指标综合评价中，指标的选择、权重的确定和评价模型的选择将直接影响评价结果的合理性[3]。赋权方法通常分为主观赋权法、客观赋权法和主客观组合赋权法。利用主观的层次分析法（Analytic Hierarchy Process， AHP）与客观赋权法进行结合是目前国内外应用较为普遍的组合赋权方法，例如AHP和熵权法结合的方法已经被广泛使用[4]。在国际上，利用各种方法修正和改进AHP被运用到了各个领域的综合评价当中。Rodriguez等[5]提出了利用模糊推理系统改进模糊层次分析法的方法，用于信息技术项目的风险评估；Oztaysi[6]利用灰色系统理论和TOPSIS（Technique for Order Preference by Similarity to an Ideal Solution）法改进AHP，用于信息系统的决策和综合评价；Sivakumar等[7]利用Taguchi损失函数修正AHP进行采矿业外包供应商的综合评价。在国内，王学军等[8]提出了序关系分析法（Rank Correlation Analysis，也被称为G1法），解决了AHP法中构造判断矩阵很难达到一致性的难题。李刚等[9]提出了基于标准差修正G1组合赋权的方法（improved G1 by Standard Deviation， SDG1），利用标准差确定指标的重要性之比，解决了相邻指标重要性之比人为主观确定的问题；但该方法没能解决主客观权重相悖时客观权重淹没主观权重的问题：当相邻指标的标准差比值与主观排序相反时，会判断两个指标同等重要、权重相等；当标准差比值过大时，会使得修正后比值过大，往往与实际情况不符。本文以大众点评网的商户为例进行综合评价，提出了复合幂函数修正G1（G1 method improved by Composite Power function， CPG1）法，以解决主客观权重相悖时客观权重淹沒主观权重的问题，并为商户综合评价提供一种合适的方法。

1点评网商户综合评价指标体系

合理的综合评价指标体系是实施综合评价的基础[3]。点评网商户的部分指标之间具有不同的性质，反映不同性质的指标之间往往难以进行合适的比较，因此指标体系应选用层次结构。将总的评价目标根据不同性质分为不同的部分，并逐步细分，构建层次结构，将反映类似性质的指标划入同一部分。此外，还利用了皮尔森系数在关联性和方向性上对指标进行检测，保证各指标和最终评价目标之间是相关的，并且与预期的方向一致，即预期为正相关的指标不能成负相关性[10]。根据以上要求最终构建的点评网商户综合评价指标体系如图1所示。

点评网商户综合评价指标体系总共分为五个层面的中级指标，每个中级指标又由各自的基础指标构成。用户评分层面由用户评分基础指标决定。商户人气层面由有效评论数基

础指标决定。商户信誉层面，点评网用户评论分为有效评论、默认评论、全部评论三类。在全部评论中通过一定的筛选原则选取更公正客观、更有参考价值的评论作为默认评论，在默认评论中过滤掉违规评论等无效评论得到有效评论。因此，被过滤掉的商户比例越大，商户存在刷分、违规的可能性越大，商户信誉也就越低。潜力指数层面由四个基础指标决定。人均价格层面由人均价格基础指标决定。

2CPG1确定组合权重的原理

权重的确定是综合评价体系中重要的组成部分，不同的权重往往会使评价结果大相径庭，影响评价结果的合理性以及客观性。构权方法一般分为主观赋权法、客观赋权法和主客观结合的组合赋权法。主观赋权法通常需要赋予一定的初值，通过计算或者分析得到最终权重。虽然人为地对指标重要性排序往往符合实际情况，有一定专业性和合理性，但是初值的设定往往具有随意性，而且容易受到人为偏好的影响；而客观赋权法基于客观数据，通过一定的数学方法确定权重，虽然不依赖人的主观判断、避免了人为的偏见，但算出的权重往往会脱离实际，不能真实反映实际的需要和重要程度。

通常来说，主观确定各指标的重要性排序往往是合理的，但主观赋予的初值往往是随意和不可靠的[11]。复合幂函数修正G1法（CPG1）以G1法中用到的主观排序为基础，在不改变主观排序的情况下利用客观赋权法通过复合幂函数修正主观赋予的初值，从而得到主客观结合的组合权重。本文采用标准差法作为客观赋权法，利用标准差的比值通过复合幂函数修正G1法确定权重。不同于通常使用的算数平均法、几何平均法等确定组合权重的方法，该方法强调主观对各指标进行排序的重要性，但又弱化了主观设定的初值的作用；它在保证主观排序不变的情况下，利用客观数据对主观初值进行修正，做到了主客观结合，是一种新型的构权方法。

2.1G1法原理

G1法也叫序关系分析法，是对AHP的改进。AHP是解决多目标决策问题的常见方法，在综合评价中利用AHP可以确定主观权重，但在应用AHP解决实际问题的过程中常遇到判断矩阵不能通过一致性检验而导致无法决策的问题[12]。而G1法无需进行判断矩阵的一致性检验，计算量成倍减少。G1法需要对评价指标进行主观排序，并设置主观初始向量T，再通过计算得到各指标权重。

G1法构造权重具体步骤[8]如下：

1）设同一层次下有m个评价指标。若指标xi重要程度不弱于指标xj则记为xi≥xj。

2）确定序关系。根据专家意见或评价需要对m个评价指标进行两两比较，按重要程度的递减方式排序得到关系式：x1≥x2≥…≥xm。

3）根据专家意见或评价需要主观赋予相邻评价指标xi与xi+1（i=1，2，…，m-1）的重要程度之比ti（ti≥1），得到主观初始向量T={t1， t2，…，tm-1 }。

4）设任意两个指标xi和xj的重要性比值为rij，则：

其中，xij表示第i个评价对象的第j个指标标准化后的值。利用指标标准差的比值反映指标的重要程度之比。

2.3组合权重的确定

主客观结合的赋权法往往存在主客观权重相悖时客观权重淹没主观权重的情况，使得最终确定的组合权重值与实际情况相悖，甚至组合权重的排序与实际情况不符。而常用的组合权重合成方法如算术平均法、几何平均法等不能有效地解决该问题。

通常主观确定各指标的重要性排序是合理可靠的，但主观赋予的初值具有随意性且不那么可靠，需要一种能够不改变主观排序的组合赋权方法。CPG1法确定权重，利用复合幂函数修正G1法中的初始向量T，并将修正后的初始向量T′代回G1法计算出组合权重。该方法能保证各指标主观排序不变的情况下，利用指标标准差的比值对主观初值进行合理的修正。

CPG1法构造权重具体步骤如下：

1）确定主观排序：按照G1法主观确定m个评价指标的重要程度排序x1≥x2≥…≥xm。

2）确定主观初始向量T：根據G1法主观赋予相邻评价指标xi与xi+1（i=1，2，…，m-1）的重要程度之比ti（ti≥1），得到主观初始向量T={t1， t2，…，tm-1 }。

3）确定客观向量R：根据相邻指标标准差的比值确定指标的客观比值。设相邻指标xi与xi+1（i=1，2，…，m-1）的标准差之比为ri：

求出每一子层次的综合评价值之后，再用加权求和评分法，便可得到商户总的综合评价值。

3点评网商户综合评价实例分析

3.1数据选择和处理

3.1.1原始数据选择

考虑到数据的完整性和合理性，本文以2014年大众点评网北京站爬取的数据为基础，从中选出评论数不小于10的火锅行业数据作为原始数据，共1645条。评论数限制为不小于10是为了过滤掉信息不完整的商户的影响，限定为特定行业是因为特定行业的商户才有可比性，不同行业商户进行比较意义不大。原始数据片断如表1所示。最后一列“点评网评分”是点评网对商户进行官方评分的最终结果，用于跟本文算法得到的评分结果进行对比分析。官方评分中，5星商户打50分，4星半商户打45分，以此类推。

3.1.2指标数据转换

根据点评网商户综合评价指标体系，将原始数据转换为综合评价指标体系所需的数据，部分指标需要转换和处理。

3.1.4主观排序和初值设定

按照G1法的原理根据商户综合评价的评价需要和行业经验设定各指标的重要性排序。在中级指标层面：主观评价≥商户人气≥商户信誉≥潜力指数≥人均价格。商户信誉层面：被过滤的默认评论≥被过滤的全部评论。潜力指数层面：收藏数≥浏览总数≥一周浏览数≥商圈是否热门。

在同一层次下比较两两相邻的指标，主观赋予重要性比值，得到主观初始向量。设中级指标层面初始向量为T，商户信誉层面初始向量为T1，潜力指数层面初始向量为T2。根据评价需要和行业经验，主观初始向量设为：T={5，1.2，1.2，2}，T1={1}，T2={1.2，1.2，1.6}。

没有特别说明的情况下，本文的实验都采用以上的主观排序和主观初始向量。

3.2对比方法的选择

选择传统的G1熵权乘法合成构权方法（G1Entropy method，EG1）以及基于标准差修正G1组合赋权法（SDG1）这两种方法作为对比方法。EG1法和SDG1法的数据选择和处理参考3.1节的设定，并根据式（7）生成综合评价值。

3.2.1EG1法

3.3重合率实验

设点评网商户集合为X，X中任意一家商户为x，点评网官方评分为y（x），其中0≤y（x）≤50。 设阈值为a，y（x）≥a的商户有n家，而这n家商户在CPG1法求得的结果中排名前n的商户中占了m家，则重合率p=m/n。按照前文的设定进行实验，实验结果如图3所示。

图3中，用户评分曲线是指点评网官方评分与用户评分（用户评分的计算方法见3.1.2节）之间的重合率。从图3中

可以看出，采用CPG1法比用户评分有着更高的重合率，即CPG1法与官方评价结果更为接近，也就是说CPG1法构造的综合评价模型比单纯采用用户评分为依据进行商户评级更准确。EG1曲线是指EG1法算出的评分与用户评分之间的重合率，由于存在主观权重被客观权重淹没的问题，指标之间的主观排序发生了改变，影响了最终结果，因此重合率比CPG1法低。SDG1曲线是指SDG1法算出的评分与用户评分之间的重合率，可以看出SDG1法效果比CPG1法差。

图3中，当阈值a=40时，重合率大于0.8，说明官方评分四星级以上商户在CPG1法求得的结果中往往也评分靠前，在一定程度上反映了模型的合理性。

3.4均方根误差实验

均方根误差（Root Mean Square Error， RMSE）是衡量“平均误差”的一种较方便的方法，用来衡量观测值同真值之间的偏差。均方根误差是均方误差的算术平方根。设有n个观测值，第i个观测值与真值之间的误差为di，则这组观测值的均方根误差为：

Re=1n∑ni=1di2

（16）

以商户点评网的官方评分作为真值，CPG1法求得的评分作为观测值，计算均方根误差，共1645家商户求得均方根误差Re=3.891。因为商户评分是50分制的，RMSE值3.891的相对误差3.891/50<1属于可以接受的范围，说明了模型具有一定的准确性。计算官方评分与EG1的均方根误差，得Re=8.818，比CPG1法得到的均方根误差大得多。计算官方评分与SDG1的均方根误差，得Re=4.752，比EG1误差小，但比CPG1法大。由于1645家商户数量过多不便于作图观察，随机比较50家商户的官方评分、CPG1法评分、EG1法评分、SDG1法并作图，如图4所示。

从图4中可以看出各评分在总体趋势上都很接近，而EG1法的评分与官方评分之间的差距最大。主要原因是EG1法存在主观权重被客观权重淹没的问题，指标之间的主观排序发生了改变，影响了评价效果。而SDG1法虽然保证了主观排序不变，但在本例中存在相邻指标标准差之比小于1的情况，求出的相邻指标重要性相等，使得主观排序的影响被弱化了。而CPG1法虽然相邻指标标准差之比小于1，但由于复

合幂函数的作用，使得重要性排序依然能较好地发挥作用，因此效果好于SDG1法。

3.5主观初始向量的实验

根据3.1.4节的设定，主观初始向量为：T={5，1.2，12，2}，T1 ={1}，T2 ={1.2，1.2，1.6}。将主观初始向量改为：T={1.2，1.8，2，1.2}，T1 ={1.6}，T2={2，1.4，1.8}。以修改前的初始向量算出的评分作为真值，修改后的初始向量求得的评分作为观测值，计算均方根误差，共1645家商户求得均方根误差Re= 1.170。随机比较50家商户主观初始向量修改前的评分和修改后的评分并作图，如图5所示。从RMSE的结果和图5结果可以看出，主观初始向量的变化对结果的影响不大，说明CPG1法模型在主客观结合的情况下弱化了主观设定的初值的影响。

3.6主观排序的实验

根据3.1.4节的设定，中级指标层面主观排序为：主观评价≥商户人气≥商户信誉≥潜力指数≥人均价格。将排序修改为：潜力指数≥商户信誉≥商户人气≥主观评价≥人均价格。以修改前的排序算出的评分作为真值，修改后的排序求得的评分作为观测值，计算均方根误差，共1645家商户求得均方根误差Re= 5.430，相对误差5.430/50>1。随机比较50家商户主观初始向量修改前的评分和修改后的评分并作图，如图6所示。

从RMSE结果和图6可以看出，修改主观排序之后的评价结果与之前出入较大，修改主观排序造成的影响比修改主观初始向量造成的影响大很多，说明CPG1法模型在主客观结合的情况下强化主观排序的作用。从总体来说，修改主观排序之后的结果与之前还是具有一致性，表明了CPG1模型具有一定的鲁棒性，排序的改变不会对结果造成根本的改变。

4结语

1）采用CPG1法进行商户的综合评价与官方评价有着较

高的重合率和一致性，验证了方法的有效性和可行性。该方法做到了主观与客观的结合，在保证主观排序不变的情况下，用客观权重进行修正，避免了客观权重与主观权重相悖淹没主观权重的问题。该方法强调了主观排序的重要性，弱化了主观初值的作用。

2）利用计算机可以在大量数据上进行快速批量的综合评价，适用于需要强调主观排序或主观排序较为可靠的各类综合评价问题。

3）本文选用标准差赋权法作为客观赋权法，也可以选用其他的客观赋权法，具体效果有待进一步研究。

4）该方法的前提是主观排序较为可靠，不适用于主观排序不可靠的情形。怎么保证主观排序的可靠性以及在主观排序不可靠的情形下该怎么改进需要进一步研究。

参考文献：

[1]

呂品，钟珞，唐琨皓.在线产品评论用户满意度综合评价研究[J].电子学报，2014，42（4）：740-746.（LYU P， ZHONG L，TANG K H. Customer satisfaction degree evaluation of online product review [J]. Acta Electronica Sinica， 2014， 42（4）： 740-746.）

[2]

李鹏，俞国燕.多指标综合评价方法研究综述[J].机电产品开发与创新，2009，22（4）：24-25.（LI P，YU G Y. Survey on the multiindex comprehensive evaluation method [J]. Development and Innovation of Machinery and Electrical Products， 2009， 22（4）： 24-25.）

[3]

HOU H， GUO Y， YI P， et al. The rationality of comprehensive evaluation and a holistic solution [C]// Proceedings of the 2011 International Conference on Business Management and Electronic Information. Piscataway， NJ： IEEE， 2011， 5： 172-176.

[4]

LI L， LIU F， LI C B. Customer satisfaction evaluation method for customized product development using entropy weight and analytic hierarchy process [J]. Computers and Industrial Engineering， 2014， 77（C）： 80-87.

[5]

RODRGUEZ A， ORTEGA F， CONCEPCIN R. A method for the evaluation of risk in IT projects [J]. Expert Systems with Applications： An International Journal， 2016， 45（C）： 273-285.

[6]

OZTAYSI B. A decision model for information technology selection using AHP integrated TOPSISGrey： the case of content management systems [J]. KnowledgeBased Systems， 2014， 70（C）： 44-54.

[7]

SIVAKUMAR R， KANNAN D， MURUGESAN P. Green vendor evaluation and selection using AHP and Taguchi loss functions in production outsourcing in mining industry [J]. Resources Policy， 2015， 46： 64-75.

[8]

王學军，郭亚军，兰天.构造一致性判断矩阵的序关系分析法[J].东北大学学报（自然科学版），2006，27（1）：115-118.（WANG X J， GUO Y J， LAN T. Rank correlation analysis of formation of consistent judgment matrix [J]. Journal of Northeastern University （Natural Science）， 2006， 27（1）： 115-118.）

[9]

李刚，张明，宋兆杰，等.基于标准差修正G1组合赋权的科技评价模型及实证[J].科技管理研究，2011，31（20）： 47-50.（LI G， ZHANG M， SONG Z J， et al. The science and technology evaluation model based on revised G1 by standard deviation and empirical research [J]. Science and Technology Management Research， 2011， 31（20）： 47-50.）

[10]

PJ Benesty，J Chen，Y Huang， et al. Pearson correlation coefficient [J]. Noise Reduction in Speech Processing， 2009， 2： 1-4.

BENESTY PJ， CHEN J， HUANG Y， et al. Pearson correlation coefficient [C]// Noise Reduction in Speech Processing， Springer Topics in Signal Processing 2. Berlin： Springer， 2009： 1-4.

[11]

秦志斌，钱国平，马文彬.基于熵权的沥青路面使用性能多目标综合评价[J].中南大学学报（自然科学版），2013，44（8）：3474-3478.（QIN Z B， QIAN G P， MA W B. Multiobjective comprehensive evaluation for performance of asphalt concrete pavement based on fuzzy entropy [J]. Journal of Central South University （Science and Technology）， 2013， 44（8）： 3474-3478.）

[12]

DONG Q， COOPER O. A peertopeer dynamic adaptive consensus reaching model for the group AHP decision making [J]. SSRN Electronic Journal， 2014， 250（2）： 521-530.

[13]

宁宝权，彭望书，郭树勤，等.基于动态组合赋权的农业机械综合评价研究[J].农机化研究，2015（7）：79-82.（NING B Q， PENG W S， GUO S Q， et al. Research on comprehensive evaluation of agricultural machinery based on dynamic combination weighting [J]. Journal of Agricultural Mechanization Research， 2015（7）： 79-82.）