基于层次分析法的公众科学项目游戏化设计的评价指标体系构建

薛翔 赵宇翔 陈英奇 朱庆华

摘   要：目前针对公众科学项目的游戏化设计尚未形成系统性的评价指标体系。文章从公众科学项目自身特征出发，梳理了评价指标相关文献，构建了科研众包视角下公众科学项目游戏化设计评价指标体系，其主要包含教育目标、科学目标、游戏交互体验、系统保障4个维度共计22项评价指标。在收集专家数据，利用层次分析法确定各指標权重系数后发现，教育性和科学性仍是公众科学项目游戏化设计中的主要考量因素，而用户游戏交互体验和系统保障则居于次要地位，研究人员更倾向于将游戏化作为辅助设计手段。文章最后将评价指标体系应用于Foldit项目的游戏化设计评估，尝试了现有公众科学项目游戏化设计中存在的游戏体验欠佳等问题，并对未来该领域的游戏化设计提出了若干建议。

关键词：科研众包;公众科学项目;游戏化设计;评价指标体系;层次分析法

中图分类号：G315   文献标识码：A   DOI：10.11968/tsyqb.1003-6938.2019042

Developing Evaluation Index System of Gamification Design in Citizen Science Projects based on Analytic Hierarchy Process

Abstract The gamification design of Citizen Science Projects has not yet formed a unified and systematic theoretical research results. Researchers lack a quantitative evaluation index system to guide and evaluate the gamification design of citizen science projects. After combing the literature related to the evaluation index of gamification design， the study constructs the evaluation index system of gamification design of citizen science projects. This evaluation index system includes four dimensions： educational goals， scientific goals， game interaction experience， and system security. After collecting the data of experts and analyzing the weight coefficients of each index by using the analytic hierarchy process （AHP）， this study finds that education and science are still the main considerations of citizen science projects' gamification design， while users' game interaction experience and system security are in the secondary position， which suggests that researchers are more likely to use gamification as an auxiliary design tool. Finally， the evaluation index system is used to evaluate the gamification design of the Foldit project. The shortcomings of the gamification design in the existing public science projects are summarized， and the future gamification development strategies are put forward.

Key words scientific crowdsourcing; citizen science projects; gamification; evaluation index system; AHP

1   引言

公众科学（Citizen Science），又称社区科学、群智科学、公众参与式科学研究，是由科学爱好者、非职业科研人员乃至普通公众在开放科学环境下参与的一类科研活动[1]。在公众知识素养不断提升、互联网技术快速发展和“大众创业 万众创新”的多重背景下，公众参与科学研究的热情日益高涨，各类公众科学项目大量涌现。为突破传统组织边界，最大限度挖掘大众智慧潜力[2]，科研众包理念应运而生[3]。在科研众包模式下，公众可以参与到科研活动的方方面面，从研究任务的设计、志愿者招募到数据采集、分析与处理等[4]，任何一个互联网用户都有潜质成为公众科学家[5]。

然而，在众包平台发展之初，发包方将物质奖励作为激发用户参与动机的主要手段，而众包任务本身的设计相对单调乏味。此外，在项目的实际开展过程中，发包方往往不会过多关注志愿者的参与动机或体验，更多情况下持有一种“工具思维”，即将公众参与者视为数据采集和信息获取的渠道，导致用户长期参与的黏性和忠诚度均未达到预期。考虑到公众科学项目多为公益性质，接包方更多是以志愿者的形式参与其中，缺乏外部物质刺激导致内在驱动不足和项目冷启动的问题更为严重。鉴于此，越来越多的众包平台引入了游戏化设计以改善用户体验，从而增强公众参与科研众包任务的内在驱动力和持久力。

游戏化（Gamification）是指将游戏元素应用于非游戏情境，最早出现在教育学领域[6]。 Zichermann[7]在研究中指出，游戏化设计能够影响用户的动机和行为，在任务设计及激发用户参与度、忠诚度两个方面具有显著成效。在公众科学项目中已经涌现出一些较为成功的游戏化设计案例，如用于语言学习和翻译的DuoLingo、模拟蛋白质折疊的Foldit、模拟基因测序的Phylo、分析历史记录的Old Weather和映射大脑神经通路的EyeWire等[8]。对已有案例综合梳理后可以发现，积分、勋章、成就、排行榜等游戏化元素的加入能够有效吸引和推动用户参与公众科学项目。

然而，虽然在公众科学领域已经存在一些成功的游戏化设计案例，但如何评价该领域的游戏化设计仍然缺乏必要的实证探索，特别是缺乏系统性的评价指标体系对项目游戏化设计进行指导和评估[9]。因此本文尝试从公众科学项目基本特征出发，结合已有游戏化设计评价体系研究成果，构建科研众包视角下公众科学项目游戏化设计的评价指标体系。最后，本文将评价指标体系应用到Foldit项目中，尝试总结出现有公众科学项目游戏化设计的不足和未来游戏化设计的开发策略。

2   相关工作

现有公众科学项目普遍面临项目任务枯燥、项目冷启动等问题，因此需要在任务设计中融入激励机制，其目的在于优化用户体验，增强用户参与公众科学任务的动机[9]。Rotman[10]认为用户参与公众科学主要受到四类动机的影响：集体性（Collectivism）、利他性（Altruism）、利己性（Egoism）和原则性（principalism）。当个体由自身利益驱动参与项目时，利己性激励因素将发挥主要作用，这些激励因素包括学习知识和技能，扩展人际关系[11-12]、探索新的职业机会[13]、利用闲置资源[11]等。利他性激励因素则会促使个体为了其他个体或群体的利益而参与到某个项目中，包括为科学研究做出贡献、保护自然和生物、帮助他人。当个体为自己所属群体的利益而参与某项活动时，集体性激励因素如协助社区建设、对政府进行支持会发挥重要作用[13]。而当个体参与项目是出于自己的一些原则时，原则性激励因素会起到主要作用，如责任感[14]。Tinati等[15]则在研究中发现，公众自身的奉献、学习、归属感需求，以及项目的挑战、娱乐和游戏属性等，都是激励用户参与公众科学项目的重要因素，并且用户持续参与公众科学项目的动机较加入初期可能发生根本性的改变。此外，有学者从用户退出动因角度着手研究后发现，时间资源的限制和技术使用门槛是导致用户中途放弃参与公众科学项目的主要原因[16-17]。

作为享乐型自我目标系统的巅峰形式，游戏化 是目前用户激励设计中最受欢迎的形式之一[18]。已有游戏化应用大都是从游戏中借鉴设计模式，为用户提供类似于游戏的体验，如掌控、自主、流畅或悬疑等感觉[19-20]，从而达到增强用户参与某项活动或行为动机的目的。同样的，在科研众包平台设计中加入游戏化元素，不仅可以将用户参与众包任务的动机由纯粹的理性追求向自我内在驱动转变[21]，还能够让用户在认知、情感和社交上获益[22]。如积分作为最明显的游戏化元素之一，将其与其他元素巧妙结合，可以实现不同的游戏化目标，并在参与者之间形成群体竞争，提高用户完成科学任务积极性[23]。有研究表明，若在任务初期告知用户最终可获得的游戏奖励，将明显提高用户参与兴趣，保障任务反馈的质量[24]。此外，排行榜元素的具体应用和故事叙述的表现手法等在众包的展示中也存在积极影响[9]。

鉴于游戏化在用户激励方面的显著效用，部分学者已经尝试将游戏化设计纳入公众科学项目任务模式研究，如Bowser[25]发现游戏化能激发用户的灵感， Prestopnik[8]认为游戏化设计将对接包方的认知心理和行为产生影响，使其获得情感上的共鸣等。游戏化元素在公众科学项目情境中的成功应用，令用户能够充分发挥主观能动性，在享受游戏娱乐体验的同时掌握相应科学技能，完成科研任务。此外，在科学研究中游戏化设计还能对任务完成前后的质量进行控制，让公众科学项目处于发包方的可控范围，保障数据的顺利获取与回收分析[22]。

总体来看，虽然目前已有一些关于游戏化设计的论述和实证研究，但公众科学项目游戏化设计尚未形成统一、体系化的理论研究成果，相关研究仍处于起步阶段，对公众参与、游戏化机制融入等方面也还未构建起标准的评价体系。因此，本文将借鉴已有评价指标体系，综合考量公众科学项目特征和情境，构建科研众包视角下的公众科学项目游戏化设计评价指标体系。

3   公众科学项目游戏化设计评价指标体系构建

3.1    公众科学项目游戏化设计评价指标的确立

对游戏化应用项目中的游戏化设计进行评价，能够为服务提供商提供游戏化设计标准，改善游戏的整体质量和用户的使用体验，为游戏化机制的健康持续发展提供支持。国内外现有游戏化设计评价研究普遍采取定性和定量相结合的方式，主要可以划分为三类[26]：（1）侧重评估游戏化设计的教学效果，突出游戏本身的教育意义;（2）侧重软件维度，评估软件的可用性、易用性、交互性等方面;（3）侧重简化评价维度，从可用性、内容性、娱乐性和交互性等方面进行评价[27]。此外，在游戏评价研究中也积累了丰富的评价指标体系，如TEEM教师评价框架[28]、学习游戏评价设计标准[29]、E/E Grid评价体系[30]、严肃游戏评价体系[31]等。这些成熟且兼具影响力的游戏化设计评价指标体系，为游戏化设计的运用提供了判断标准和设计准则。

3.1.1  一级指标确定

公众科学项目自身往往具有一定的专业门槛和跨时空特征，在项目中需要对参与用户进行相应的基础技能培训和操作引导，同时公众科学项目也担负着向公众普及科学知识、增强科学意识的教育任务。鉴于现有研究中鲜有与公众科学项目游戏化设计相关的研究成果，而公众科学项目游戏化设计和教育游戏均存在显著的教育性与游戏化特征，因此对本文中公众科学项目的游戏化设计评价指标体系构建而言，教育领域相关游戏化设计评价指标研究成果将具有较高的借鉴意义。本文对国内外教育游戏评价领域较为成熟的指标体系研究文献进行了整理和归纳，能够直观的看出教育游戏评价指标体系的研究进展（见表1）。

由表中可以看出，首先，尽管现有教育游戏评价指标体系众说纷纭，但需要包含教育性和游戏性两个基础维度已是学界共识。因此在公众科学项目的游戏化设计中，除根据项目内容制定相应的教育目标外，设计者还应将游戏质感、反馈、激励机制等影响用户游戏交互体验的因素纳入考虑范畴，故将教育目标和游戏交互体验作为本文评价体系的一级指标;其次，在上述评价指标体系中还可以发现游戏系统中的可用性、易用性、技术性等因素也是影响游戏化评分的关键因素。而在公众科学项目游戏化设计中，由于项目自身的开放性、群体协作性，大量不同背景的用户在系统内部进行检索、传播、聚合和评价等多种信息行为，对系统的稳定性、易用性等方面提出了更高的要求，因此选择系统保障作为游戏化设计评价体系的一级指标。此外，不同于教育游戏更侧重于游戏的教育目标，公众科学项目普遍存在教育和科学双重属性。虽然科研众包下的公众科学项目打破了科学研究与公众间的藩篱，让公众接触、理解乃至参与科研成为可能，但科研任务的简化并不意味着科学标准的降低或科学意识的淡薄，因此有必要将科学目标作为一级指标，以评价项目游戏化设计中内容的科学性。

综上，本文选定教育目标、科学目标、游戏交互体验、系统保障四个维度作为公众科学项目游戏化设计评价体系的一级指标。

3.1.2  二级指标确定

（1）教育目标。公众科学项目自身便带有显著的教育特征，在项目的发起阶段，需要对公众开展培训以确保所有参与者有能力完成相关科研任务;而在项目的推进过程中，科研任务内容和复杂度也可能发生迭代，公众需要及时学习并掌握相关技能才能够顺利完成任务。为保证教学效果，在公众科学项目游戏化设计中，首先需要确保游戏情境和背景应与项目内容、任务要求相匹配，使用户在培训中能够明晰任务目标、意义及完成期限，掌握任务所需技能;其次，基于认知理论，用户思维由认识理解向分析创造转变的过程是循序渐进、逐渐深入的[35]，公众科学项目游戏化设计需要拥有完整清晰、符合用户认知规律的逻辑结构，游戏由易到难逐步提升，根据项目进展依次传授相关知识技能;第三，为防止用户在使用过程中出现操作或认知障碍，游戏中应提供详细的注解和完备的操作指南;最后，参考其他教育性游戏评价体系[32]可以发现，游戏内容的实际价值也是教育效果评判的关键指标。

基于此，本文总结出教育目标维度的具体指标内容（见表2）。

（2）科学目标。与传统科研项目相比，公众科学项目中的科学传播范式已经由原先的科学普及、公众接收理解科学模式逐渐向公众参与并设计科学的新模式演变。为确保项目内容、实施过程的科学严谨性，实现有效完成科研任务和提升公众科学素养的双重目标，有必要对公众科学项目游戏化设计内容的科学性相关指标开展评估。

首先，在公众科学项目开展过程中可能存在海量计算、大规模的样本采集、多样性分析等复杂的任务行为[3]，因此公众科学项目游戏化设计需要严格遵循科学标准，才能够保证最终结果的有效性;其次，游戏化设计内容还要能够实现提升公众科学素养的目标。关于科学素养评估，Miller[36]最早提出了科学素养三维模型，包括对科学知识和术语的理解、对科学研究方法和过程的理解以及科学与社会间的相关关系的理解三个方面。王素[37]则认为科学素养应包含四大核心要素：（1）对科学技术、术语、方法有一定认知;（2）理解科学、技术和社会三者间的关联;（3）拥有科学精神，对科学保持一定的好奇和严谨的态度;（4）能够利用科学技术进行创造或解决世界问题。2000年OECD发布的国际学生科学素养测试大纲（PISA）则更加侧重评估在科学技术情境下，学生能否展现出与其掌握的科学知识相匹配的科学能力水平[38]。而一个具有科学素养的公民，应该理解科学，积极参与科学，对科学保持一定的好奇和严谨的态度，因此科学态度和科学意识也应该在评价指标体系中占有一席之地[39]。据此，本文选择了知识性、方法性和参与创造性作为科学素养方面的评价指标。此外，作为一项跨越时空的大型科研任务，公众科学项目需要参与者群体协作才能够完成。因此在游戏中有必要设计交流与讨论功能，有助于促进不同科研团队在时间维度和空间維度的交流和创新，优化科研资源的配置[3]。

基于此，本文总结出科学目标维度的具体指标内容（见表3）。

（3）游戏交互体验。游戏化是指在非游戏的情境中融入游戏化元素[40]，在游戏化设计中游戏元素的合理利用能够增强用户参与的动机，从而提高参与者的黏性和解决实际问题。Houtari[41]则更加强调游戏化设计为用户带来的游戏性体验，他认为游戏化项目不仅仅体现在游戏化机制的植入，而是利用游戏般的体验来强化服务和功能，最终创造更多的价值。抛开公众科学项目游戏化设计的教育和科学外衣，游戏化设计的核心还应该是游戏，因此从用户的游戏交互体验角度对游戏化设计品质进行评价顺理成章。

Chou[42]对用户游戏行为进行长期观察后总结出游戏化中影响用户参与体验的八大核心驱动力，具体包括：（1）重大使命感和召唤;（2）进度与成就感;（3）创造授权与反馈;（4）所有权与拥有感;（5）社交影响与同理心;（6）稀缺性与渴望;（7）未知性与好奇心;（8）亏损与逃避心。因此，在公众科学项目游戏化设计中应囊括以下四点：（1）成就感。用户能够在游戏中实现自我价值，获得成就感;（2）互动性。互动性既是公众科学项目的显性特征，也是科研任务完成的前提条件[3]，因此游戏中要能够满足用户的社交性、社区归属感需求，用户间可以互相交流、竞争或合作;（3）激励机制。在游戏中设置奖惩激励机制，研究表明经验、勋章等游戏机制能够显著提升用户的持续参与兴趣[9];（4）娱乐性。作为游戏化基本特性之一，娱乐性是人们参与、沉浸在游戏中的重要因素。而在公众科学项目游戏化设计中，应注意弱化科学研究在公众心目中的严肃印象，增强游戏趣味性，满足用户的探索需求和娱乐需求。

此外，OBrien[43]在研究中还发现美学对用户体验存在正向激励，因此强化公众科学项目游戏的艺术感，能让原本枯燥的任务变得更加形象生动[43]。而听觉、视觉、触觉多种感知的叠加组合，让用户能够全身心投入游戏，实现flow状态，满足用户的沉浸式体验。最后，游戏化设计需要满足用户的自主和控制需求，在游戏中用户能够自主选择游戏难度、时长或者对游戏中各类设置选项进行控制以满足其个性化需求。

基于此，本文总结出游戏维度的具体指标内容（见表4）。

（4）系统保障。由于公众科学项目大都依托技术平台建立，因此用户参与行为将无可避免地涉及大量信息技术的使用，信息技术接受模型尝试从理性角度分析了技术的有用性、易用性、态度等因素对用户行为意图的影响[44]。在教育领域的游戏化实践中，已经积累了大量游戏案例，这些游戏从本质上而言类似于软件产品，而公众科学项目中的众包平台作为在线应用本身也需要从技术维度进行分析。因此，本文将借鉴教育游戏评价中的系统和技术性相关指标完成系统维度的指标构建。

在系统维度评估中，可用性是最为重要的评价指标之一。可用性研究领域专家Nielsen[45]在研究中指出，可用性评价包含5个维度：可记忆性、可学习性、高效性、容错性和满意度。而在实际应用中，可用性因侧重点不同又进一步分解为交互效率、用户界面、软件内容等二级指标。由此可见，倘若将公众科学项目游戏视作一个完整的信息系统，其可用性设计状况将对整个系统的交互效率、用户满意度等指标产生深远影响。此外，在公众科学项目中，不同背景的参与者在科研任务中可以扮演不同的角色，如数据采集者、汇报者、设备共享者等，用户能够在群体协作模式下完成研究设计、协作式信息分析、辅助式研究开发等工作[3]。因此，公众科学项目游戏化系统需要具备一定的开放性，降低所有潜在参与者的进入门槛，同时该系统也需为用户在线协作活动提供必要的技术支持。

因此，本文拟从可用性、易用性等角度构建公众科学项目游戏化设计系统维度指标体系（见表5）。

3.1.3  評价指标体系的最终确定

在分别完成教育目标、科学目标、游戏交互体验和系统保障四个维度的评价指标体系构建后，笔者发现各维度指标间存在部分重合，故剔除不同维度内概念相近的二级指标，仅保留该指标在核心维度的表达，最终确定公众科学项目游戏化设计评价指标体系包含四个维度（A-D）共计22项指标（见表6）。

3.2    公众科学项目游戏化设计评价指标权重的确定

通过文献分析，本文完成了公众科学项目游戏化设计相关评价指标体系构建，包含4个维度共计22项指标。为进一步确定不同指标间的重要性，本节将采用层次分析法，邀请专家评分并构建判断矩阵，计算评价体系内各项指标权重。

公众科学项目游戏化设计相关研究目前还处于起步阶段，研究团体较为零散，且国内公众科学项目尚未普及，参与者规模较小。为保证研究的科学性和严谨性，本文邀请公众科学项目研究人员以及其他深入参与过游戏化和公众科学项目设计的业界人员作为群体决策专家。本文共计发放调查问卷20份，回收问卷20份，有效问卷17份，无效问卷3份，问卷整体有效性为 85%。

3.2.1  指标权重计算

收集所有专家数据后，对其进行平均值运算，将运算结果作为建立判断矩阵的依据，确定指标的两两相对重要性，建立判断矩阵并计算出权重（见表7）。

3.2.2  一致性检验

当判断矩阵的阶数 n>2 时，往往难于构造出具有良好一致性的判断矩阵，因此有必要进行一致性检验以判定由判断矩阵计算出的权重是否合理。对于一致性的检验，首先引入各个断矩阵的最大特征根λmax，再由CI=，求出CI的大小，最后引入指标RI值，通过查看相应阶数的 RI 值来检验判断矩阵的一致性。倘若判断矩阵的阶数小于3，则判断矩阵具有较强的一致性;如果判断矩阵的阶数大于2， 判断矩阵的一致性指标 CI 与相同阶数的平均随机一致性指标 RI（见表 8）的比值，称为随机一致性比率 CR，即CR=。

当 CR<0.1时，判断矩阵通过一致性检验，此时判断矩阵的满意一致性较高。根据上述方法，可以计算出各判断矩阵的一致性检验结果（见表9）。

从表中可以发现，各判断矩阵的 CR 值均小于 0.1，所有矩阵均通过了一致性检验，具有满意的一致性。

3.2.3  指标权重分析

通过一致性检验后，本文将各级权重逐层相乘计算总权重，整合所有子层次指标权重计算结果，最终确定公众科学项目游戏化设计评价各项指标的权重系数（见表10）。

由表10可以发现以下几点：

（1）公众科学项目游戏化设计评价指标体系的权重分布呈现两极化，极差达到0.1459。其中，严谨性和科学意识权重均大于0.1，说明作为科学研究活动，科学性仍然是公众科学项目游戏化设计中首要考虑的因素。此外，权重排序前3的严谨性、科学意识、内容价值性指标的权重系数明显高于其他指标，这也与公众科学项目的教育、科学双重目标相吻合。

（2）虽然公众科学项目游戏化设计需要强调游戏内容的科学性和教育性，但娱乐性指标与系统易用性指标分列四、五位同样不可忽略。娱乐性指标靠前凸显了用户对有趣、愉快的游戏体验的需求，而易用性则表明在公众科学项目移植到游戏化情境中，系统技术层面用户更看重的是否能更加便捷、有效地理解、执行任务。

（3）在权重前10的二级指标中，教育目标和科学目标分别有三项，游戏交互体验和系统保障各自拥有两项，这表明本文游戏化设计评价指标体系一级指标设置较为合理，能够涵盖多数重点细分指标。此外值得注意的是，虽然娱乐性、系统易用性、系统稳定性、激励机制等指标受到了部分重视，游戏交互体验和系统保障两个维度下的二级指标权重整体排名仍相对靠后，说明在公众科学项目游戏化设计中，游戏只是一种表征形式，是触发用户参与动机的辅助手段，尚未真正成为设计重点。