辟谣平台的评价指标体系构建及实证研究*

刘 妃 曹 敏 左美云

(中国人民大学信息学院/智慧养老研究所 北京 100872)

新冠肺炎肆虐全球，给各国带来巨大考验与挑战，与此同时，虚假信息也如流行病般疯狂蔓延在网络环境中，对民众的生活造成极大困扰。信息查验追赶不上信息发布的速度，网络环境进入后真相时代，开设辟谣平台对疫情谣言治理具有重要价值[1]。一方面能够及时澄清错误信息，传播、科普正确信息；另一方面也能提升公民信息鉴别素养，减少社会恐慌，在全社会形成认知合力，最终促成疫情的有效治理。

然而，随着互联网自媒体的多元化发展，辟谣平台鱼龙混杂，部分平台权威性不足、辟谣信息滞后、互动性弱，极大地阻碍了民众对辟谣平台的采纳与持续使用，以及辟谣平台的功能发挥。“用户究竟信谁？用谁？”成为了当前“治谣防谣”的新话题，科学客观的辟谣平台评价体系则是解答该问题的有力支柱。

Teng等学者采用问卷调查的方式，从辟谣平台用户体验和平台功能的角度对感知个人收益和满足度进行测量，验证了二者与用户使用意愿的关系，侧面对辟谣平台进行了评价，并指出用户对于辟谣平台的需求不仅在于信息的获得，还希望能够参与社交互动，以优化个人体验[2]；Guo等采用实证研究，对谣言信息和辟谣信息在微博、微信和主流新闻媒体间的流转进行了验证，一定程度上对三者的辟谣率与辟谣信息传播率进行了评价[3]；王国华等学者首次对我国网络辟谣平台辟谣效果评价的维度与指标进行了具体评述，提出应当从辟谣信息处理能力、辟谣依据的权威性、受众的参与程度和辟谣的威慑效果四个方面进行综合评价，对早期的辟谣平台建设具有重要参考价值，然而并未提出具体的指标测量方法[4]。

总的来说，辟谣平台评价的相关研究较少，已有研究大多采用假设检验或评述的方法，缺乏评价理论的指导，且没有提出指标的具体测量方法，在理论和实践上都有所欠缺。随着互联网技术的发展，网络上积累了大量具有丰富价值且易获得的数据，因此，本文着眼于辟谣平台评价体系研究的空缺，试图使用网络客观可获得数据，解决以下两个研究问题：(1)如何构建科学严谨、客观可测量的辟谣平台评价指标体系，对现有活跃的辟谣平台进行测评，支持用户选择与使用平台的决策？(2)根据评价体系各指标项，我国的辟谣平台发展现状如何，如何优化运营？

1 辟谣平台评价指标体系构建

1.1评价指标分析与确定平台评价研究作为一个成熟的研究方向，已经形成了丰富的理论模型并在不同的评价主体中得到验证，如Parasura-man等提出的SERVQUAL模型在政务数据开放平台中应用[5]，以及Bronfenbrenner提出的生态系统理论在政务公众号中应用[6]。辟谣平台以提升辟谣效果为目标，其服务质量不仅体现在过程中，更体现在结果中；它不仅注重信息时效性，更注重信息质量。因此辟谣平台的评价需要以一个宏观、系统的视角来综合考察，借鉴李宗富与张向先对政务微信公众号服务质量评价指标体系的研究[6]，我们采用信息生态系统理论确定辟谣平台的评价维度，保证评价指标的“科学性”。

信息生态系统理论包含信息人、信息和信息环境三大要素，对应到辟谣平台生态系统中即平台、用户、信息和信息环境。考虑到信息技术的快速发展下，各类形式的辟谣平台机会均等，本文仅从平台、用户、信息三个关键维度构建评价指标，三个要素的作用关系如图1所示。平台包含管理团队与事实查证团队，信息包括谣言信息与辟谣信息，用户包括信息的直接(使用平台)与间接(转发文章)受众。平台与用户同时为信息的提供方和接收方。信息一方面由平台通过多方协作、算法检测、专家评析等途径获取，另一方面由用户以提问、举报、评论等形式反馈；反之，一方面提供用户信息查证、表达信息与情感需求，另一方面平台聚合谣言与辟谣信息，可进行知识发现，实现信息服务，如提炼谣言信息特征以提高公众对信息的辨识能力与对谣言信息的“免疫力”等。各要素概念清晰，关系紧凑，相互影响，相互依存。

图1 辟谣平台生态系统三要素：平台、信息和用户关系模型

对辟谣平台进行评价的主要目的是帮助用户更加快速地分辨和采纳优质专业、具有高影响力和良好声誉的辟谣平台。因此，围绕该目标，本文秉承评价指标体系构建“可操作性”原则[6]，对3个维度的具体评价指标进行明确，最终得到辟谣平台评价指标体系，如表1所示。

表1 辟谣平台评价指标体系

a.采用权威性和知晓度对平台维度进行评价。权威性是辟谣平台主体专业性和可靠性的体现，可使用对辟谣平台主办单位的身份验证进行评估[7]；知晓度是辟谣平台传播性和关注度的体现，反应社会公众对辟谣平台的了解和熟悉程度。

b.动态性和及时性用于信息维度评价。动态性是辟谣平台辟谣力度的体现，具体表现为辟谣信息的更新频率，在各类新媒体平台的评价中被视为重要指标之一[8]；及时性是辟谣平台辟谣速度的体现[9]，反映了信息的时效性[10]，在辟谣机制中起到关键作用。

c.用户维度采用互动性和美誉度进行评价。互动性是辟谣平台活跃程度的体现，一方面用户对于社交互动具有需求[2]，另一方面越来越多的学者表示在社会化媒体时代，科学要真正跑赢谣言，需要依靠普通公众自觉参与提问、点赞、评论等互动以建立最广大的辟谣联合阵线[11]；美誉度反映用户对平台的好评度，是市场营销中品牌力评价的组成部分之一，表现出公众对辟谣平台可依赖性的主观信任[12]。

1.2评价指标测量近年来互联网技术快速发展，网络上积累了大量开放易得且具有丰富价值的数据，因此，本文希望使用网络上客观可获得的数据对指标进行测量，以避免问卷调研获取数据的高成本与较难避免的主观干扰。评价对象选取手机端用户使用最为广泛的基于微信开发的辟谣平台和电脑端用户使用最为广泛的基于网站开发的辟谣平台。

总之，彩超超声影像学在妇产科急腹症的诊断中有着很高的准确率，在临床操作中十分快速简单，并且对患者不会造成痛苦，是妇产科急腹症诊断中十分良好的方法，在妇产科急腹症临床治疗中也有着很强的应用性，今后应大力推广。

《2019年中国网民新闻阅读习惯变化的量化研究》指出手机媒体是公众最重要的新闻信息来源，其中以微信为代表的社交媒体是获取新闻信息最重要的新媒体类型，用户最多，用户群体最广泛，已超过了微博的使用热度。同时，以50岁以下的中青年群体为主体的电脑端用户对于搜索引擎的使用需求仍然较大[15]。因此本文选取微信类和网站类辟谣平台为研究对象，能够满足大部分群体对辟谣平台的选择需求。进一步地，将基于微信开发的平台细分为微信公众号(以下简称公众号)和微信小程序(以下简称小程序)，基于网站开发的平台细分为网站栏目(以下简称栏目)和专门网站(以下简称专网)。

为增强评价指标体系的泛化能力，本文优先选取可同时适用于不同类型平台的指标测量方法，对于无法使用同一方法测量的指标，根据数据可获得性，设计尽可能相似的测量方法，最后通过等级评分法将不同指标测量值按0～5分进行归一化处理[16]。连续值离散化是情报、管理、计算机等领域中一种重要的数据处理方法，应用到评价指标体系中一方面能更方便地对评价对象进行打分，另一方面可以保障测量项在一个区间中轻微波动而不影响评价结果[17-18]。在离散化过程中区间的划分至关重要，为了得到尽可能合理的划分标准，我们在使用基于正态分布的近似等频法初始化区段划分的基础上，根据群决策理论(通常认为5～11人能得到比较正确的结论)邀请了5位信息管理领域专家使用德尔菲法对指标测量方法和等级划分标准进行多轮修正[18-19]。5位专家长期从事公共危机信息管理、平台采纳与持续使用，以及网络舆情与政府管理相关研究，对平台、信息、用户3个评价维度均有深入的研究基础，且熟悉不同类型的信息平台，能够对辟谣平台评价指标体系提出高效、深入、有力的建议。

每一轮德尔菲问卷由专家对测量方法合理性(a1)和区段划分合理性(a2)采用4分制进行打分，最小评分间隔为0.1分，设定a1和a2的合格线为3.2分，对每一轮所有指标的a1、a2进行认同度检验和一致性检验。其中认同度检验采用t检验，假设H0：a1≤3.2或a2≤3.2，备择假设H1：a1>3.2且a2>3.2，当显著性水平α=0.05时，如果拒绝假设，则接受备择假设，认为该指标项的测量方法和等级划分的合理性都较高，通过认同度检验；一致性检验计算t分布下，对于a1、a2的95%置信区间，区间越小说明专家们的意见更加趋于一致。经过三轮德尔菲调研，评价指标体系所有指标项的a1、a2评分均通过认同度检验，且所有指标项的a1、a2评分置信区间均值小于0.5，结束轮询，得到最终的指标测量及归一化标准如表2所示。三轮轮询共计收到专家意见59条。

表2 指标测量及归一化标准

1.3指标权重的确定为了获得评价体系6个指标的权重，本文采用两两比较法进行指标赋权[24]。首先由5位专家决策者分别对各指标的重要性进行两两评分得到判断矩阵，其次对5个判断矩阵分别计算一致性比例(Consistency Ratio，CR)并进行修正，使其通过一致性检验，最后设定各决策者的权重系数相同(即1/5)，加权求和5个判断矩阵的特征向量得到最终的指标权重结果，按从高到低排序为：权威性C1：0.323，知晓度C2：0.235，及时性C4：0.162，美誉度C6：0.129，动态性C3：0.107，互动性C5：0.044。

综合以上研究结果，将指标权重代入线性函数，构建最终的辟谣平台评价公式：

y=k1C1+k2C2+k3C3+k4C4+k5C5+k6C6

=0.323·C1+0.235·C2+0.107·C3+

0.162·C4+0.044·C5+0.129·C6

其中，k1-6表示各指标权重，C1-6表示各指标具体得分。

2 实证研究

2.1数据采集通过微信和百度检索功能，以“辟谣平台”“辟谣”为关键词进行初步检索，再进行二次链接检索，以及文献回顾，共得到215个辟谣平台，具体如表3所示。

表3 辟谣平台汇总情况

在获得全部的检索结果后，本文筛选了满足以下条件的活跃平台应用前述的评价指标体系进行测评：

(1)处于活跃的发文状态：采集时间前一周内平台有信息更新。

(2)符合辟谣平台运营机制：具有完整的平台架构，收集谣言信息，针对谣言信息进行定性(真、假、疑)澄清。部分科普平台与辟谣平台风格相似，但其运营定位主要为知识科普，因而不作为评分对象。

(3)具有专门的辟谣或事实查证团队：要求辟谣平台具有专业的查证团队，如BBS论坛为开放的交流平台，不保证辟谣信息的准确性，不作为评分对象。

(4)同一平台的不同形式不重复评分：仅包含模块、数据完全一致且同步更新的平台，反之如互联网联合辟谣平台的网站和微信公众号数据不同步则分别评分。

最终，我们确定13个微信公众号，5个微信小程序，2个网站栏目和9个专门网站为评分对象。各指标项数据采集时间为2020年11月8日，对各平台2020年3月、5月、7月、9月、11月第一周发布信息的相关数据进行采集，以五周的平均值最终衡量“周平均阅读量”“日均发文量”“周总在看数”等指标，以期降低指标测量的偶然性。

2.2评价体系应用结果以互联网联合辟谣平台公众号为例，可知该平台主办单位为中央直属的事业单位，权威性得5分；五周“周平均阅读量”的平均值为963.5次，知晓度得4分；五周“日均发文量”的平均值4.29条，动态性得4分；辟谣信息平均发布时差4.71天，涵盖10条谣言集合中的7条，及时性得3分；五周平台综合互动量平均值为11次，互动性得3分；五周“周总在看数”的平均值为276次，美誉度得4分；加权求和平台的综合得分为4.117分。

由于各类型平台基础用户流量不同，部分指标的测量方法也不同，本文对它们分类型进行综合得分排名，排名结果如表4所示，加粗平台为所有平台中的Top10得分平台。其中，各类型总分第一分别为互联网联合辟谣平台(公众号)、腾讯较真辟谣(小程序)、捉谣记-新浪新闻(网站板块)和中国互联网联合辟谣平台(专门网站)。

表4 辟谣平台评分详情

3 我国辟谣平台发展现状与优化运营的若干启示

本文分别从两个视角对我国辟谣平台的发展现状进行讨论分析，并提出若干对应的优化运营启示。

(1)从信息生态视角来看，辟谣平台评价指标体系中权重较高的3个指标项(权威性、知晓度、及时性)在我国的辟谣平台中进行评测，得分均值也是最高的，这说明我国辟谣平台的运营对于重点的把握是科学的。特别地，“及时性”指标评测均值位居第一，反映出信息技术进步对辟谣效率提高的重要作用。早期王国华等学者提出新浪微博社区管理中心会在接到用户举报后的24小时之内对举报信息进行处理[4]，现今“腾讯较真辟谣”小程序等辟谣平台不仅能够24小时内快速响应用户提问，还能够自主地发现网络谣言并及时进行求真澄清，可以更高程度上满足用户需求，减少社会舆论恐慌。同时值得关注的是，用户对于辟谣信息的“及时性”“动态性”要求较高，而鲜少在意辟谣信息的原创性，一定程度上对传统的辟谣平台造成冲击，弱化了其竞争优势。

“互动性”在信息系统中表现为“交互性”，是系统成功的关键因素[25]。尽管从指标权重来看其在辟谣平台中的重要性相对较低，但不可否认其为信息生态中不可忽视的角色。互动性能够增加辟谣体系的灵活性[4]，同时能够提高公众的谣言辨识意识与能力[26]，在根源上治理网络谣言。从评测得分来看，部分辟谣平台已经开始重视“互动机制”的建设，大部分平台还有待提高。

“美誉度”是一种潜在的用户参与，最终决定了平台的生存与传播扩大能力，随着网民素质的不断提升，用户会通过一些通用、简便的评估方法对平台“美誉度”进行评价，如评分、粉丝、平台流量等。我国的辟谣平台总体来说还处于发展阶段，和其他成熟的平台相比“美誉度”得分明显较低，这或许是导致辟谣平台用户群较难深化发展的原因之一。

(2)从平台总体视角来看，微信类辟谣平台在数量上已经占据了较大的份额，并且在不考虑平台基础流量等差异时，表现出了明显的竞争优势(见表4中Top10平台)。其中微信公众号类辟谣平台基于微信开放平台进行开发与管理，成本低而基础功能完备，用户使用平台的学习代价小，能够非常自然自觉地参与交互，这直接提高了平台的“交互性”。而排名靠前的小程序类辟谣平台的主要优势则在于信息处理的“及时性”和“美誉度”。

传统的专门网站类辟谣平台大多由政府主导，并已经具备了一定的用户基础，平台的“权威性”和“知晓度”较高，存在的主要问题在于用户的“互动性”仍旧没有得到足够的重视[4]。相较而言，网站栏目用户活跃度明显较高，可能与栏目依托网站的用户管理开放性相关。

总的来说，基于上述分析，辟谣平台建设时可以基于信息生态系统视角，梳理系统各主体属性与关系，从多个维度提高平台的综合竞争能力。“权威性”较低的平台可以联合多级政府网信办，建立信息合作[26-27]；“知晓度”较低的平台可以通过地方媒体或其他关联平台进行宣传与链接；加强团队的运维能力与技术嵌入则可以保障平台“动态性”和“及时性”；再者平台可以增设或迭代完善用户互动等功能，健全激励机制，充分调动用户力量推动谣言治理与平台推广。

4 结 语

辟谣平台作为“科技战疫”的新形式中坚力量，本文从全新的思路和视角对其展开研究，构建了一个科学、系统、普适、可测量的评价指标体系，可实际应用于支持用户正确选择辟谣平台与推动平台优化运营中，最终实现对突发公共事件中产生的谣言信息的有效应对。同时，本文也存在一定的局限性。实际上，辟谣平台又可以细分为通用辟谣平台和垂直领域辟谣平台(如中国食品辟谣网)，本文主要侧重于通用辟谣平台的评价体系构建。垂直领域辟谣平台由于其定位不同，评价指标的选取和权重分配应与通用辟谣平台具有一定的差异。在未来的研究中，我们将会把平台定位作为指标细化和优化的考虑项，进一步提高评价体系的针对性和科学性。另外，本文将微信和网站两类平台进行统一评价，没有区分不同类型平台的特殊性，未来可以思考对微信类、微博类、网站类、APP类、短视频类等不同类型的辟谣平台进行平台间的比较研究。