微信公众号传播力评价指标体系(WCI)优化方法研究

向安玲，沈 阳

一、引言

从2012年微信公众号推出发展至今，短短四年间公号数量已突破2000万，用户数量突破8亿(腾讯，2016年8月17日)。微信公众号对舆论场的传播力、覆盖力、影响力都在逐步增强，作为一种新型媒体形态拓宽并解构着媒介生态圈，其整体发展态势逐渐成为学界和业界的关注热点。量化分析微信公众号的传播效果对于了解新媒体发展态势、把握舆论场导向、促进媒体融合等都有重要意义。

大数据技术为微信公号传播效果评价奠定了基础，基于海量传播数据可以科学、客观地构建评估指标体系，并根据数据测试对评估体系不断修正，通过对指标项的修正和权重的调整实现评估结果的优化升级。基于评估模型的开放性、专业性和权威性，本文选取清博大数据公司推出的微信传播力指数WCI (We-chat Communication Index)为研究对象，根据数据分析对其迭代过程进行科学性论证，并总结出指标体系优化的基本思路和方法。

二、研究综述

国内外有关新媒体传播力评价的研究主要集中在评价维度分析、指标体系构建和评估方法的理论阐述上，定性分析居多。就国内研究来看，周莉(2011)基于个人私域、社区联系、经济交往、公共传播四个不同的社会传播层次，从有害信息、文化传承、内容创新和价值导向四个维度构建新兴媒体的评价体系，并对指标进行细化区分，使评价方式更符合传播实践。方兴东等人(2014)则通过构建网络舆论场形成要素评价体系，将微信与微博进行对比研究，探索微信在新舆论场中的传播能力。郭顺利等人(2016)运用扎根理论，采用质性访谈方法，从微信平台自身特征、用户、服务方式及内容、传播效果4 个维度，选取17 项指标构建传播力评价指标体系进行实证研究。李明德、高如(2015)基于媒介传播力视角，运用层次分析法，构建以平台设计、内容呈现、消息回复模式、推送频次、传播程度为准则的媒体微信公众号传播力评价体系，为挖掘微信平台信息传播潜力提供建议。就国外研究而言，Ronald E.Rice(1984)认为媒体始终是在特定社会背景下传播，在对媒体构建评价体系时需要考虑到政治、经济、技术、社会大环境的影响因素。Graham Williamson(2011)指出传播力(communication capacity)是传播者和受众成功对信息进行编码和解码的能力(ability)，因此在构建评价指标体系时要更多地考虑受众因素。Kristene Unsworth和Adam Townes(2012)从透明度、参与性和协作力三大角度出发，对推特在公民政治参与当中起到的传播交互作用进行了评估。总体来看，国内外目前对新媒体传播能力的评价研究多停留在指标维度分析和方法探索上，为本研究的评估维度设计、指标因子选取、算法模型计算提供了理论参考。但鲜有研究基于大数据等技术手段，对大规模样本进行测算评估。本研究在借鉴相关研究经验和理论模型的基础上，结合指标获取的可操作性、客观性，对万级样本进行数据测算和模型迭代优化，旨在探索一种客观、科学、标准化的传播力评估指标体系的优化方法。

针对评价指标体系优化方法，国内外研究主要集中在指标的筛选调整和权重的优化方法上，涉及的方法包括层次分析法、灰色关联特征值法、问卷调查等。丁敬达、邱均平(2010)以其最近3年积累的中国高校科技创新竞争力评价指标数据为例，提出对评价指标体系尤其是权重进行优化的思路和方法，并检验其科学性和合理性，对其他领域评价指标体系的优化亦有借鉴意义。钱吴永等人(2014)则基于灰色关联特征值法对指标体系进行优化，并利用差异信息驱动机理确定指标权重，为量化评价指标体系提供支撑。刘勐(2012)通过深度访谈和问卷调查的方式，对评价指标体系进行修正和调整，并用实证分析进行论证。Ying Ding等人(2011)在分析图书采购招投标的业务流程基础上，研究了图书采购的结构、内容和权重的评价标准，提出用层次分析法来优化指标评价体系。Guanghua Guan等人(2011)基于常用绩效指标，通过仿真研究对渠道控制系统的绩效指标进行了测算与优化。Christina N.Zavalishina(2015)通过问卷调查对自我评估模型的相关指标进行调整，并基于罗殊模型(Rasch Model)对其科学性进行检验。总体而言，本文在研究设计上主要借鉴了丁敬达、邱均平对中国高校科技创新竞争力评估中采取的权重优化思路和方法，也即通过对同一批样本进行连续数年的数据评价，进一步采用各指标项平均值，利用最小二乘法、变异系数法计算各项指标的客观权重，同时结合层次分析法计算各项指标的主观赋权，在此基础上结合客观赋权和主观赋权计算综合赋权，最后对主观权重、客观权重、综合权重得出的评估结果进行分析和比较，从而确定最佳权重系数。

三、微信传播力指数WCI简介

微信传播指数WCI从2014年10月开发上线以来，已迭代至12.0版本，目前已有超过两万家单位使用指数算法进行新媒体评价。基于清博大数据平台1800多万个微信公号数据和500多万个日常监测数据，每日采用WCI发布的发布榜单已超过2000个，覆盖了包括各大部委、央企、500强企业在内的政府、媒体和企业用户。另外，部分学者基于WCI模型对各个领域微信公号的内容运营策略、传播推广效果、行业整体发展等展开了研究，近两年来采用WCI进行评价研究的论文已达十余篇，综合被引超过三十余次，学界对模型的科学性也进行了校验和认可。可以说WCI已成为业内和学界进行微信公号评价的权威标准，且相关评价指标也有稳定的、规模化的、动态更新的数据支撑。因此，本文针对WCI历次版本迭代中指标维度、权重设置、算法的修正路线，利用数据库中的累积评价指标数据，着重对指标和权重优化进行科学性验证，以总结指标体系优化的方法和途径。

(一)评价目的和意义

WCI模型旨在多维度、全面客观地反映微信公众号在一定周期内的传播能力和传播效果，形象直观地呈现微信公众号对舆论场的引导力和影响力，为把握微信公号的整体发展态势、舆论场热度、热门话题导向等提供技术和智力支持。基于量化评估结果，对综合领域和细分领域的微信公号传播能力进行纵横对比，发现优势行业领域和相关账号，为平台方管理、企业运营、媒体融合发展和相关学术研究提供依据和参考。

(二)评估体系构建原则

从指标选取上来看，主要遵循关联性、重要性、全面性、客观性、可操作性五大原则，采用可量化获取数据指标进行评估。其中关联性主要衡量评估指标与微信公众号传播力之间的相关性，也即相关指标是否会影响公号传播力，基于关联性原则剔除不相干指标；重要性主要衡量指标对微信公众号传播力的影响作用程度，基于重要性原则剔除相关但影响作用甚微的指标因子(如微信公号文章的评论量，因是人工进行筛选后发布，虽然与影响力有一定关联但是不具备重要性，在此不纳入指标体系)；全面性主要衡量评估指标因子的丰富程度，尽可能保证在可操作的基础上从最多视角进行传播力评估；客观性是指评估因子不受主观判断影响，均为客观数据，设置该项原则主要是考虑到对大规模样本评估过程中的可操作性和评估结果的客观科学性。在权重设置上，侧重于评估公号发布文章的平均质量，旨在鼓励账号提高单篇文章质量，合理把握推文数量，多发原创精品、少发“垃圾文”。在标准化算法上，主要遵循以下四大原则：(1)各指标量级统一：如阅读和点赞数存在量级差，对单项指标进行标准化处理以缩小量级差，保障数值得分分布合理；(2)去除组间影响：尽量避免对账号的分组处理，一方面有利于不同类别微信公众号之间的横向对比，另外一方面也能保证评估结果的分布合理，不出现断层；(3)去除样本影响：考虑到样本范围的动态可扩张性，在评估算法上尽量避免基于全样本数据得出评分，如将标准差、均值、极值等引入算法公式中，以避免新增评估样本对原有样本评分的影响；(4)避免数据断层：避免采用分段函数等算法，以保证评估结果分布平滑合理、数据无明显断层。总体上，评估模型力求做到“科学、合理、客观、公正”，并通过动态迭代和优化来不断提升模型的权威性和专业性。

(三)评估体系的构建

根据以上评估原则，从指标选取、权重设置、算法确定、数据测试四大方面进行模型构建。首先，基于客观可获取数据初步拟定阅读指数和点赞指数两大维度，分别设置了包括总阅读/点赞数、平均阅读/点赞数、最大阅读/点赞数、头条阅读/点赞数、点赞率等指标，并根据专家评估和李克特量表对各项指标进行筛选，初步构建评价指标体系；其次，结合主观赋权法和客观赋权法计算各项指标的权重，考虑到目前微信公众号生态的普遍运行规律和用户阅读点赞行为习惯，点赞数主要受限于文章类型(一般鸡汤文、情感类文章获赞量普遍较高，而专业类文章点赞普遍偏低)，且微信文章点赞率普遍不高、点赞数更容易受人为操作刷量，故在评估过程中总体上保障阅读指数重要性大于点赞指数；再次，基于量级统一、组间统一等原则确定各指标项的标准化算法和加总算法；最后根据数据测试和调试结果不断修正迭代，得到WCI模型(12.0版)。

四、模型迭代思路与检验方法

一个客观、科学的评价指标体系应具备动态修正功能，主要包括指标的筛选修正和权重赋值调整两方面。就评估指标而言，随着行业发展方向的转变和大众媒介使用行为的变化，部分指标的信度和效度会降低，需要剔除或替换；就权重而言，由于评估侧重点会随着传播生态演化而变化，部分指标的权重需做出相应调整。基于清博大数据平台历史评价数据，从指标增删和权重调整两个角度出发，对WCI模型从2014年10月1.0版本上线到2016年2月12.0版本推出的迭代路线进行分析，基本思路如下：

(1)确定分析样本。剔除两年内各版本迭代过程中注销、新增的部分账号，从TOP10000中筛选得12个WCI版本共同面向的评价对象共1786个账号。

(2)提取2014年10月、2015年10月、2016年10月三个时间段(版本迭代的关键时间点)内各项原始评价指标数据，对各项数据进行无量纲化处理，保障其最大得分值均为100分，从而避免各项指标量级悬殊差别带来的影响。在此基础上，对各项指标数据进行描述统计，计算三个时间段内的均值、标准差、变异系数、偏度、峰度等数值，为指标维度的动态修正奠定基础。

(3)基于1786个样本各项指标百分制数据的描述统计值，剔除相关系数较低、区分度不强、误差影响大和重复性设置的部分指标，完成指标维度的修正。

(4)基于相关文献调研，权重计算方法主要分为客观赋权、主观赋权和综合赋权三类。本文参考相关文献研究成果，利用最小二乘法和变异系数法求得客观权重，利用层次分析法计算各项指标的主观权重，在集成客观权重和主观权重的基础上，结合专家赋权确定综合集成权重(也即迭代后的指标权重)。

(5)分别利用客观权重(早期版本)、主观权重(早期版本)、综合集成权重(迭代版本)计算样本评价结果并分别进行排序，将各版本的序列结果与预设最优序列结果进行比较，挑选出最佳权重系数集合，完成对权重设置的优化。

五、指标描述统计与修正

基于全面性、完整性、客观性原则，WCI早期版本囊括尽可能多的数据指标项，共包括两大维度、11项二级指标(如表1所示)。在后期迭代过程中，根据各项指标测试数据的描述统计与分析，剔除部分指标，完成指标项优化。

为了便于指标项之间的对比分析，对各指标项三个测试时间段的样本数据分别进行百分制标准化，之后取均值进行描述统计，计算得相关指标如表2所示。

表1 微信传播力评价指标汇总

表2 样本指标三个时间段平均值的表述统计

从各个指标项描述数据来看，可发现S11(日均阅读数)与S14(周期内总阅读数)各项统计值相同，也即两项指标具有重复性，考虑到长周期评价时数值量级过大的问题，故决定采用S11(日均阅读数)，剔除S14(总阅读数)指标；同理，点赞指数计算上也采用S21(日均点赞数)，相应地剔除S24(总点赞数)。

从变异系数来看，S15(平均阅读数增量)和S25(平均点赞数增强)变异系数最大，对评价对象的区分度最好，也就是评估对象较容易通过该项指标提高综合得分，形成差异。但考虑到评估对象之间的基础能力差异，采用S15和S25容易强化单一指标的影响度、扩大误差，尤其是针对头部账号和尾部账号进行对比分析时，存在一定的不公平性，故剔除S15和S25。

除S15(平均阅读数增量)外，所有指标分布均呈现右偏和尖峰分布，也即大部分样本账号的指标值都低于平均水平，头部账号呈现出集中趋势，长尾现象较为明显。此外，S26(点赞率)由S11(日均阅读数)和S21(日均点赞数)共同决定，从分布上来看，S11的离散程度明显高于S21，且S21变动对评估结果影响程度更大，也就是说，更容易通过提高点赞数去提升S26的值，从而影响整个评估结果；另一方面，由于S11数值分散，量级差异会对S26的数值造成较大影响，综合考虑各方面因素，最终决定剔除S26，尽量减小评估误差。

经过数据分析与论证，最终确定两大维度、6项二级指标(如表3所示)。由于部分指标在迭代过程中被剔除，其权重也应合理分配到其所对应的关联指标项中。为保证权重分配的合理性，我们在更新指标维度后重新采用层次分析法和综合赋权法对余下各项指标重新赋权。

表3 微信传播力评价指标体系(WCI-12.0)

六、权重优化分析

WCI早期版本因缺乏历史经验数据和反馈数据，为避免人工赋权的主观性和不可控性，主要采用客观赋权法，利用最小二乘法和变异系数法计算各项指标的客观权重；后因客观权重无法反映出各项指标的实际重要程度，改用主观赋权法，利用层次分析法计算各项指标的权重，凸显评估重点；之后又因为只用层次分析法无法实现对权重系数的微调，而且在复杂指标项计算上存在一定局限性，最终确定采用综合赋权法，结合层次分析法和专家直接赋权初步确定指标权重，在此基础上根据测试结果进行微调，得到12.0版本权重赋值(见表3)。

(一)客观权重

客观赋权法计算出来的各项指标权重是由各项指标的实际数据所反映信息量大小决定的，也即该项指标区分度越高、反映问题越明显，其所得权重越大。一般而言包括突出整体差异的最小二乘法赋权，和凸显局部差异的变异系数赋权法。WCI在早期构建过程中，分别采用这两个方法计算各项指标的权重。

表4 各种方法计算所得权重

(二)主观权重

采用层次分析法进行主观赋权，首先对各项指标的重要性进行评估，然后依次建立相关模糊集、确定模糊评价矩阵，最终计算得S11、S12、S13(也即S21、S22、S23)的特征向量为：W=[0.230,0.648,0.122]T。根据专家交叉打分确定阅读指数和点赞指数各自权重为0.8和0.2，最终计算得各项指标权重如表4所示。

另外，亦可通过专家交叉打分直接为各个指标赋权，由于微信传播力的评估侧重点多从行业实际运营状况考虑，客观权重不能反映实际评估重点，层次分析法计算灵活性不足。基于专业认知和经验数据的专家赋权往往更能反映评估侧重点，对微信公号的传播力评价起到指导性作用。通过专家交叉打分和业界综合反馈，采用加权汇总的方法计算得专家赋权如表4所示，专家赋权也将作为WCI各项指标权重设置的关键依据。

(三)综合赋权

为保证指标权重值的科学合理性，应结合主观赋权和客观赋权，综合确定各项指标的权重。在实际操作中，以主观判断为基础，客观赋权作为修正参考，采用加权汇总方法得到综合赋权值。假设Ai、Bi、Ci、Di分别为最小二乘权、变异系数权、层次分析权和专家赋权生成的xi的权重系数，k1、k2、k3、k4为待定常数，加和为1(分别设定为0.05、0.05、0.2、0.7)，反映了各项权重系数在综合赋权中的影响作用，则综合权重值为wi=k1Ai+k2Bi+k3Ci+k4Di。其中，Di(专家赋权)和Ci(层次分析赋权)作为基础权重系数，对汇总权重进行微调得综合集成权(见表4)。

(四)评估结果对比分析

对比表4中各项客观赋权、主观赋权和综合赋权值，可以发现最小二乘权和变异系数权虽然能突出整体差异，在约束条件之下最大限度反映各评价对象之间的差别，但其并没有反映相关指标的实际重要程度。例如，S21、S22、S23(点赞指数)的变异系数权明显高于阅读指标，不符合业界对传播力的实际评判标准，参考价值并不高。故在计算综合集成权过程中，我们尽量降低客观赋权的比重，主要采用层次分析权和专家赋权加权集成。

基于1786个样本账号2014年10月、2015年10月、2016年10月各项指标的标准化数据，分别采用最小二乘权、变异系数权、层次分析权、专家评价权和综合集成权计算传播力得分(WCI)。考虑到各项权重系数的参考价值，选取层次分析权、专家评价权及综合集成权计算得来的传播力得分值，计算的平均得分作为理想化评价结果，并根据理想化评价结果得出假定最优排序。分别对假定的理想化评价结果以及各种赋权法所得评价结果进行排序，在此基础上计算各类赋权结果排序与假定最优排序之间的差值，对差值绝对值进行加和，所得结果如表5所示。

表5 各种赋权计算结果的序位差绝对值之和

续表

可以发现，无论是1786个总样本还是大多数细分领域样本，采用综合集成权计算出来的排位结果是最贴近最优排序的，相比之下，客观赋权计算结果明显偏离最优排序。总体来看，各项赋权系数的参考价值排序依次为：综合集成权>专家评价权>层次分析权>变异系数权>最小二乘权,故最终确定综合集成权作为WCI的最佳赋权系数，完成对指标权重的修正和优化，最终确定的优化模型如表3所示(即WCI的12.0版本)。

基于以上分析，对WCI从1.0版本到12.0版本的迭代优化过程进行路径梳理，整合各版本的迭代缘由如表6所示。

表6 WCI版本迭代优化路径梳理

续表

七、结论

本文以微信传播力指数WCI为例，结合其版本迭代过程中的历史数据，对其指标修正和权重优化过程进行分析，提出了一种指标体系优化和结果验证的方法，并对WCI迭代版本的科学性和合理性进行了论证。在指标修正方面，通过提取迭代过程中不同时间段的指标数据，减少了样本指标数据随时间变化起伏对客观信息获取的影响，并基于标准化指标数据的描述统计值，剔除重复性设置、关联性不强、区分度过强且易人工调控的部分指标，整个指标修正过程基本依据客观数据，降低了主观判断的不可控性；在权重优化上，梳理了WCI迭代过程中指标赋权的方法轨迹，对最小二乘权、变异系数权、层次分析权、专家直接赋权、综合集成权的计算方式，及其各自的优势进行了对比分析，并根据各种赋权方法计算评价结果与预设理想排序结果进行比对，选择最贴近理想序列结果的赋权方法计算迭代版本的指标权重。基于客观数据分析和科学计算方法，最终完成模型的优化，得到WCI的12.0版本。

本研究在指标修正和权重优化的过程中主要基于样本数据判断，能较为客观科学地反映评价结果的有效性。但限于纯算法结果与现实情况存在一定背离，不能反映模型预设的评估侧重点，在很大程度上依然需要依靠主观判断和人工评分去调整模型。尤其是在权重修正方面，本研究主要基于专家交叉打分进行主观赋权，将客观赋权作为参考性指标，专家赋权的标准有待进一步细化和规范化，人工赋值的科学合理性也有待进一步论证。另外，在选择最优权重集合的过程中预设了一种理想化评分排序，预设排序主要基于非客观赋权所计算的平均得分，该得分序列是否为最优结果也有待验证。因此，本研究仍需要提升模型优化方法和检验方法的客观性，扩大样本量和数据规模，全方位对评价结果的科学性进行验证，进一步将定性判断和定量分析进行融合，实现评价结果的最优化。