MOOC等学习平台用户体验研究的新进展*

刘书青 贾朋如 孟昭鹏

（1.天津大学 软件学院 天津 300072；2.天津大学 教育学院 天津 300072）

MOOC等学习平台用户体验研究的新进展*

刘书青1贾朋如2【通讯作者】孟昭鹏1

（1.天津大学 软件学院 天津 300072；2.天津大学 教育学院 天津 300072）

当前对于MOOC等学习平台用户体验的研究主要考察了可用性维度，包括效率、有效性、信息组织和布局等方面，呈现逐渐完善和深入的趋势，而对于审美、情感维度的关注较少。文章应用的方法包括以专家为主体的评估方法和用户为主体的评估方法。相比于其它学习平台，MOOC平台的用户体验研究较少且不深入，期待理论和方法上的进一步完善。文章指出，未来研究的突破点在于：MOOC平台将成为用户体验研究的热点、对MOOC等学习平台用户体验各维度全面关注、结合多种方法评估MOOC等学习平台的用户体验。

MOOC；E-learning；用户体验；可用性；学习平台

引言

随着教育信息化的逐步推进，MOOC（Massive Open Online Courses，大规模开放网络课程）等学习平台在教育领域的应用日益广泛。无论是MOOC平台、E-learning或其它在线课程平台都为学习过程提供了巨大的支持。以MOOC为例，短短几年时间发展十分迅速，除了国外的Coursera、edX等知名MOOC平台之外，国内也涌现出学堂在线、中国大学MOOC等。这些平台为学习者提供了丰富、优质的资源，得到了广泛的认可并积累了大规模的用户。

MOOC等学习平台的用户体验是学习者、教学者和开发者关心的重要方面，也是产品成功的重要因素，好的用户体验能带来更高的满意度、产品影响力和竞争力。对MOOC等学习平台而言，用户体验同样能影响学习效果。Sutcliffe等[1]对名为Second Life的学习辅助系统进行了用户体验研究，发现具有良好用户体验的Second Life同样有良好的学习效果。Eom等[2]的研究发现，学习平台的用户满意度等因素会影响学习效果。因此，越来越多的研究者关注MOOC等学习平台的用户体验问题，并进行了理论和实践上的探索。然而，当前MOOC等学习平台用户体验研究仍然存在一些不足。基于此，本研究从人机交互角度出发评述该领域研究的新进展，并就相关问题提出了一些自己的思考。

一 用户体验概念界定

“User Experience”（用户体验）一词由唐纳德·诺曼（Donald Norman）于上世纪90年代提出，指的是与产品交互过程中用户对产品的完整的心理感受。而用户体验评估不仅仅是对产品功能性的评估，更是对所有影响用户感受的因素的全面评估。诸多种类的产品包括网站页面、系统平台、电子产品等，都将用户体验评估引入到产品的优化中。在教育领域，教育游戏、教育网站和教育平台用户体验评估也有一定的发展。

在早期的研究中，可用性（Usability）被认为等同于用户体验。实际上，可用性与用户体验在某种程度上具有一致性，但却不能完全代表用户体验。Steve Krug[3]提出“可用性仅意味着要确保产品工作起来顺畅”，是对产品完成既定任务能力的描述，而不能完全体现用户在与产品交互时的整体体验。许多研究证实了这种看法，如Carroll等[4]认为用户是在购买产品带来的愉悦感，而不是产品自身的功能；Mahlke等[5]的研究表明，系统的非功能性如审美和象征性等非工具性特质显著影响了用户对其的整体评价；刘静等[6]综合已有的研究，指出影响用户体验的因素包括可用性、情感、审美等维度。而对于教育产品，有研究者提出应更加注重情感和精神。

二MOOC等学习平台用户体验的理论研究进展

教育领域的用户体验研究随着各类网络教育平台的发展应运而生，当前对MOOC等学习平台用户体验的研究主要关注可用性方面，而对审美、情感等维度的考察较少。

1 可用性

国际标准化组织对“可用性”的定义是“特定使用情境下，特定用户完成特定目标时，产品所表现出来的效果、效率和令人满意程度”，这里面包含了可用性的三个维度：有效性（Effectiveness）、效率（Efficiency）、满意度（Satisfaction）。其中，有效性指产品能完成任务的正确率或完整程度，效率指完成任务所需的资源与任务完成程度之间的比率，满意度指用户对产品的主观满意程度。此外，易学性、易记忆性、可理解性等也是经常考察的可用性维度。

瞿彬等[7]对“快乐英语”平台进行考察，发现导航栏等能有效地吸引用户的注意力，因而使用效果好。在之后的研究中，MOOC等学习平台的可用性研究深入考察了可用性维度，划分依据从以系统为中心到以用户为中心，呈现逐渐完善和深入的趋势。

（1）以系统为中心确定可用性维度

许多研究从学习平台或系统的角度入手，将可用性按系统界面、功能、结构设计等划分维度。Espada[8]对MOOC进行评估，发现了链接失败、信息冗余等可用性问题；Stellefson等[9]从交互和导航、内容体系、界面设计、信息设计等四个维度，对COPD学习资源平台进行评估。系统角度划分对于设计开发更有针对性，但不是以用户为中心，而是以提高用户体验为直接目的划分。另外以系统为中心使维度缺少统一标准，指标比较混乱，平台之间无法进行横向比较。

（2）以用户为中心确定可用性维度

以用户为中心是指以用户的使用为中心进行划分，将其划分为效率、有效性、满意度等维度。这种理论结构更为清晰，符合用户体验从心理角度出发的原则，能够很好地反映用户的体验。2001年，Lyneete Gillis[10]提出关于网络课程平台的认证标准，把可用性作为评价的重要方面，主要包括方便性、效率、易读性等维度。Asarbakhsh等[11]认为E-learning的可用性评估应从有效性、效率和满意度等维度入手。Granic等[12]从可用性的有效性、效率、易记忆性、满意度等维度使用多种方法进行了考察。总的来说，可用性是对用户使用产品完成任务情况的评估。

2 审美

审美是指界面布局、颜色等带给用户的美学体验。董林林[13]认为提高审美体验能引起学习者的兴趣和注意力，进而提高学习动机。研究将艺术性作为评价维度之一，包括风格统一、媒体表现、屏幕布局、总体效果等，是对平台界面美观程度的考察。Zaharias和Poylymenakou[14]认为E-learning平台的视觉效果会影响用户对学习内容的理解，因此考察了风格、颜色、饱和度设计。然而，审美作为用户体验的维度之一，不应停留在过于具体的美学维度如风格、颜色等，而应更加关注用户的心理感受。Dringus等[15]的研究在这方面具有一定的进步意义，在其设计的检查表中，审美方面包含了颜色的舒适度、界面设计的拥挤程度等。

从上述研究可以看出，界面审美对MOOC等学习平台的使用效果有重要影响。已有研究对完善用户体验理论具有重要意义；未来研究首先应注重从心理角度出发对美感维度加以探讨，其次应对审美体验进行更深入的研究。Lavie等[16]将影响网页美感的因素分为经典美感（Classical Aesthetics）和表达美感（ExpressiveAesthetics），前者指网页整洁、清晰等，后者指原创性等。MOOC等学习平台的审美研究可以在借鉴这一理论的基础上，结合自身特点深入探索。

3 情感

情感维度是用户在使用学习平台时唤起的情绪、情感方面的体验。魏温远[17]认为，用户使用过程中的情感会影响其对在线培训平台的用户体验，用户会在情感引导下做出行动，因此用户体验研究不可缺少的部分就是情感。他将用户体验分为五个维度：易用性、有用性、可靠性、情感和趣味性，认为情感维度指用户在使用平台时体验到的愉悦、悲伤、生气等。张悠[18]构建了基于用户体验的培训课程平台可用性指标体系，包括感官体验、情感体验等五个一级指标，而在情感体验之下的二级指标是对用户认同感、依赖、热衷等情感方面因素的考察。

总的来看，已有研究对于情感维度的关注较少，使用的测量方法也较为有限，应更多地借鉴其它领域用户体验情感研究的测量方法，以便能更全面、更准确地反映情感维度。

三MOOC等学习平台的用户体验研究方法

本研究采用的MOOC等学习平台的用户体验研究方法包括以专家为主的评估方法和以用户为主的评估方法，前者包括启发式评估法、认知走查法等，后者包括眼动实验法、访谈法、问卷法等；两种方法各有利弊，在研究中相互补充。

1 以专家为评价主体的方法

（1）启发式评估法（Heuristic Evaluation）

启发式评估法是邀请领域专家根据一系列公认原则，在实践排查的基础上对产品进行评估[19]。Davids以Nielsen的十原则为标准，对Electrolyte Workshop平台进行了评估[19]。该评估邀请了可用性、教学设计和医学领域的6位专家，根据可用性问题出现的频率、持续时间、影响大小为平台的可用性评分。Stellefson和Chaney等[9]邀请3位专家对COPD学习资源平台进行了评估。首先评价者完成查找视频、发布评论贴、参与讨论等8个典型用户任务，之后依据18个基于任务的评估标准对平台进行四点评分，最后提出了详细具体的优化建议。

启发式评估法能从专业理论的角度做出较为综合的评价，能揭示平台的主要问题，并且比较节省时间，是更为高效的方法。但是，丰富的专业知识背景使专家的操作不同于用户，导致有些用户遇到的问题专家不能察觉。

（2）认知走查法（Cognitive Walkthrough）

在认知走查法中，专家依据探索学习理论，假想用户的可能操作和心理过程对平台逐步走查和分析[19]。Burns等[20]对AsthmaWise平台进行了认知走查测试，通过邀请一位健康研究员作为专家，根据认知走查法的步骤检查平台内容的易懂性、简洁性、图文一致性等，并有效地发现了问题。认知走查法的优点在于能便捷地从用户使用角度发现可用性问题；缺点在于结构性差，得出的结论较为主观，因而在近些年的研究中应用较少。

2 以用户为评价主体的方法

（1）眼动实验法（Eye-traking）

眼动实验法通过眼动追踪设备收集用户使用过程中的眼动数据，并由此分析用户内部心理活动，是一种较为严格的实验方法。其中常用的眼动指标有注视点、注视时间、兴趣区内注视点等，眼动数据能反映用户在使用产品过程中的体验，如注视时间过短可能是由于设计不够吸引人；而注视时间过长可能是由于文字或图像难以理解等。刘名卓[21]以国家网络精品课程“外国文学史”页面为研究材料，使用眼动仪对网站原型和改版进行了测试。研究根据首次注视时间、兴趣区注视点数和时间等指标发现了用户体验问题。

眼动实验法是客观定量的研究方法，严格的实验控制使结果较为准确。然而其对设备技术要求较高，实施条件相对严格，因而应用不广泛。已有研究多使用注视时间、注视点等指标，对其它指标如瞳孔直径、回视次数等使用较少，而瞳孔直径变化可能是情绪变化的表现，回视次数则与兴趣有关[22]。因此应更多挖掘有意义的指标，以期更加准确和深入地考察用户体验。孙敏[23]构建了眼动指标与三维情感的关系，对使用眼动技术测量情感具有借鉴意义。

（2）问卷法（Questionnaire）

问卷法是采用主观报告的方法收集用户意见的方式。常用的用户体验问卷包括情境后问卷（After-Scenario Questionnaire，ASQ）、系统可用性量表（System Usability Scale，SUS）、测试后系统可用性问卷（Post-Study System Usability Questionnaire，PSSUQ）等。衷克定等[24]依据出声思维法以及ASQ问卷、SUS可用性量表的测量结果，对北京师范大学某精品课程平台的用户体验提出了优化意见。刘名卓[25]以华东师范大学“心理学导论”课程为研究对象，使用PSSUQ问卷评估了平台的可学习性、效率、可记忆性、低出错率和满意度等方面。另外，许多研究中常用到自编问卷使测量更具针对性，如杨凌霞[26]在信效度检验的基础上，使用自编的满意度问卷对EOL平台的满意度进行了调查，得出了很好的结果。

问卷法的明显特点是便于实施，具有较强的灵活性，能很好地为其它方法的结果提供补充；不足之处在于用户提供的数据较为主观，所需被试数量较多，自编问卷的信效度需要严格控制。

（3）访谈法（Interview）

访谈法是指以访谈者与受访者面对面交谈的形式来收集产品体验的方式。根据访谈标准化程度，可分为结构化、半结构化和非结构化访谈。杨凌霞在EOL平台的可用性评价研究中，对3位教师从选课、上传文件、课程讨论区等方面进行访谈，为平台优化提出了建议。与受访者面对面进行沟通，能对用户体验有深入完整的了解，是质性研究的有效方法；其缺点在于对访谈者专业技能要求较高，实施难度较大，不便于收集大量意见。

四MOOC平台用户体验的新进展

MOOC近几年发展迅速，影响越来越广泛。MOOC与以往的学习平台相似却不相同，首先其用户数量和和课程规模都远超其它平台；其次，有研究表明MOOC更注重平台的交互性及学生的学习体验，更强调互动性和个性化学习[27]。因此，研究MOOC用户体验有更为重要的意义。

王美静等[28]从学习者的视角比较了国外五个MOOC平台Coursera、edX、Udacity、Futurelearn和Iversity的体验效果。在整体结构上，Coursera的主页设有搜索功能、导航易用且清晰、板块分类和指示标识明确，因此其主页体验最好。该研究对课程页面、视频以及论坛进行了相应的分析并提出了设计建议。该研究虽未明确提出用户体验的概念，但涉及的易用性、元素的清晰程度等方面属于用户体验范畴，其对MOOC平台的用户体验研究具有一定价值。

相比于王美静等的研究，Iniesto等、Johansson等的研究从理论和方法两个层面上有一定进步。Iniesto等[29]对UNED COMA和UAb iMOOC从平台工具的明确性、可操作性、可理解性等方面考察了两者的可用性，通过评估发现两者的可用性均有待提高。该研究提出了MOOC用户体验的可用性概念，其可操作性、可理解性等维度是从用户心理角度出发对MOOC平台可用性进行的评估，因而具有一定的进步意义。Johansson和Frolov[30]使用访谈法和启发式评估法，以Coursera、edX、Udacity、FutureLearn、Open2Study等五个平台作为实验材料，设计出MOOC可用性检查表，包括课程框架、社交和讨论、防错、可用性综合评价等六个维度。使用启发式评估法和访谈法能有效发现平台的可用性问题，其不足之处在于：对可用性维度的划分停留在以系统为中心，未从心理角度以用户为中心进行划分——这点需要未来研究者着重注意。

MOOC提倡通过交流讨论促进知识掌握，因此论坛或其它社交工具对MOOC有重要的作用。李艳[31]分析了edX、学堂在线等六个典型MOOC项目，建议MOOC应注重交互设计，可以通过构建学习社区或利用社会化软件促进学习者个体、群体之间的互动。Yousef等[32]制定出评价MOOC成功与否的标准体系，认为可以从界面设计、社交工具等技术维度提高学习者的体验，其中社交工具包括讨论区、邮件、社交软件等。上述王美静、Johansson等的研究均考察了MOOC的社交功能，因此社交功能的用户体验对于MOOC用户体验来说是不可或缺的一部分。

从已有研究可以看出，研究者开始逐渐关注MOOC的用户体验问题，但已有的研究成果仍然较少。如理论方面虽然已经从以系统为中心考察结构布局、界面设计逐渐转向以用户为中心考察可用性等用户体验维度，然而很少有研究考察审美、情感等，也未形成MOOC用户体验指标体系。另外，MOOC平台用户体验的实证研究较少，使用的方法局限在启发式评估法、访谈法、问卷法等。总的来说，MOOC平台用户体验研究仍在发展，有待研究者的进一步探索。

五总结与展望

1 MOOC平台将成为用户体验研究的热点

斯坦福大学校长曾将MOOC比作教育史上的“一场数字海啸”。近几年MOOC成长迅速，国内外兴起了许多MOOC平台并拥有了大量用户。据清华大学发布的报告，从2013年10月学堂在线上线到2014年10月，一年时间积累了28万用户。MOOC用户如此之多，因而用户体验研究显得尤为重要。然而，MOOC用户体验研究还处于起步阶段，尚未形成完善的理论体系，研究方法也较为有限。未来研究应在借鉴其它领域用户体验研究的基础上，结合MOOC特点及其对用户体验的特殊要求，进行综合全面的考量。另外，诸多国外MOOC如Coursera、edX等，在中国有着较高的使用率，这些西方平台的设计是否适用于东方用户也是值得探讨的问题之一。

2 对用户体验各维度全面关注

从上述研究可以看出，对MOOC等学习平台的用户体验研究仍以可用性为主，美学、情感等维度的研究较少。可用性对于MOOC等学习平台的用户体验不可或缺，而美感和情感维度同样具有重要意义，如设计良好的学习平台能迅速吸引用户的注意力，唤起美感体验进而提升用户体验；使用过程中产生的积极情感能增加用户对平台的黏度，提高使用时间和频率，促进对平台的积极评价。未来研究一方面要对美学、情感等维度多加关注，使其与可用性等构成相对完整的用户体验评估体系，同时对相应测量方法多加探索，形成有效的评估方式；另一方面期望未来研究能针对MOOC等学习平台构建用户体验评估体系，完善相关理论。

3 采用多种方法相结合的方式进行用户体验的评估

用户体验评估方法多种多样、各有优势：定性研究方法如启发式评估法、认知走查法等，能迅速发现问题，并进行细致而深刻的挖掘；定量研究方法如问卷法、眼动实验法等，能精确测量各维度、指标，能使用统计结果为研究提供有力证据；主观评估法如启发式评估法、问卷法等，是用户对平台体验的主观表达，具有直接性；客观评估法如眼动实验法等，可以避免主观因素带来的干扰，增加结果的信效度。因此，在研究中应注意定量与定性方法相结合，主观与客观方法相结合，以期更全面、深入地考察MOOC等学习平台的用户体验，得出更准确、有价值的评估结果。

[1]Sutcliffe A,Alrayes A.Investigating user experience in second life for collaborative learning[J].International Journal of Human-Computer Studies,2012,(7):508-525.

[2]Eom S.Relationships between E-learning systems and learning outcomes:A path analysis model[A]. 2010 IEEE 10th International Conference on.IEEE.Bradford:IEEE,2010:516-520.

[3](美)Steve Krug.De Dream译.点石成金：访客至上的网页设计秘笈.[M].北京:机械工业出版社,2008:9-10.

[4]Carroll J M,Thomas J C.Fun[J].ACM SIGCHI Bull,1988,(19):21-24.

[5]Mahlke S.People and Computers XX—Engage[M],London:Springer London,2006:57-64.

[6]刘静,孙向红.什么决定着用户对产品的完整体验？[J].心理科学进展,2011,(1):94-106.

[7]瞿彬,隋光远.网络课程的可用性测试初探[J].现代教育技术,2008,(3):84-86.

[8]Espada J P,Rodriguez C C,Garcia-Diaz V,et al.Method for analysing the user experience in MOOC platforms[A]. 2014 International Symposium on.IEEE.Memphis:IEEE2014:157-162.

[9]Stellefson M,Chaney B,Chaney D.Heuristic evaluation of online COPD respiratory therapy and education video resource center[J].Telemedicine and E-health,2014,(20):972-976.

[10]Lynette G.E-Learning certification standards[OL].

[11]Asarbakhsh M,Sandars J.E-learning:the essential usability perspective[J].The Clinical Teacher,2013,(10):47-50.

[12]Granic A,Cukusic M.Usability testing and expert inspections complemented by educational evaluation:A case study of an E-learning platform[J].Educational Technology&Society,2011,(2):107-123.

[13]董林林.网络课程评价系统研究[D].南京:东南大学,2006:14-15.

[14]Zaharias P,Poylymenakou A.Developing a usability evaluation method for E-learning applications:Beyond functional usability[J]. International Journal of Human-Computer Interaction,2009,(1):75-98.

[15]Dringus L P,Cohen M S.An adaptable usability heuristic checklist for online courses[A].Proceedings 35th Annual Conference.Osaka:IEEE,2005:T2H-6.

[16]Lavie T,Tractinsky N.Assessing dimensions of perceived visual aesthetics of web sites[J].International Journal of Human-Computer Studies,2004,(3):269-298.

[17]魏温远.基于用户感知体验的在线培训系统可用性与使用意愿影响研究[D].杭州:浙江大学,2013:25-26.

[18]张悠.基于用户体验的教师网络培训课程可用性评价[D].北京:首都师范大学,2014:12-14.

[19]Davids M R,Chikte U M E,Halperin M L.An efficient approach to improve the usability of E-learning resources: The role of heuristic evaluation[J].Advances in Physiology Education,2013,(37):242-248.

[20]Burns P,Jones S C,Iverson D,et al.Usability testing of Asthma Wise with older adults[J].Computers Informatics Nursing,2013,(5):219-226.

[21]刘名卓,姜曾贺,祝智庭.视线跟踪技术在网络教育资源界面设计中的应用个案及启示[J].中国电化教育,2011,(4):71-76.

[22]燕保珠.眼动研究在网站可用性测试中的应用[D].北京:北京邮电大学,2011:22-23.

[23]孙敏.基于眼动技术的情感测量方法研究[D].沈阳:东北大学,2012:29-54.

[24]衷克定,吴迪.网络课程用户体验优化设计的实践探索[J].电化教育研究,2011,215(3):63-76.

[25]刘名卓,祝智庭.网络课程可用性个案研究[J].开放教育研究,2010,(6):81-88.

[26]杨凌霞.网络教学平台可用性评价研究[D].扬州:扬州大学,2011:32-66.

[27]韩锡斌,葛文双,周潜,等.MOOC平台与典型网络教学平台的比较研究[J].中国电化教育,2014,(1):61-68.

[28]王美静,王海荣.基于学习者视角的国外MOOC平台比较研究及启示[J].现代教育技术,2014,(7):26-34.

[29]Iniesto F,Rodrigo C,Moreira Teixeira A.Accessibility analysis in MOOC platforms.A case study:UNED COMA and UAb iMOOC[A].V Congreso Internacional sobre Calidad y Accesibilidad de la Formación Virtual.Antigua Guatemala:Springer,2014:545-550.

[30]Johansson S,Frolov I.An adaptable usability checklist for MOOCs:A usability evaluation instrument for massive open online courses[J].Umea University.2014.

[31]李艳,张慕华.国内外代表性MOOCs项目比较研究[J].开放教育研究,2014,(3):53-62.

[32]Yousef A M F,Chatti M A,Schroeder U,et al.What drives a successful MOOC?An empirical examination of criteria to assure design quality of MOOCs[A].Advanced Learning Technologies(ICALT),2014 IEEE 14th International Conference On Nanotechnology.Toronto:IEEE,2014:44-48.

编辑：小西

The New Development of User Experience Study on MOOC and Other Learning Platforms

LIU Shu-qing1JIAPeng-ru2MENG Zhao-peng1
（1.School of Computer Software,Tianjin University,Tianjin,China 300072; 2 .School of Education,Tianjin University,Tianjin,China 3 00072 ）

Current research of user experience on MOOC and other platforms mainly investigated usability dimensions including the aspects of efficiency,effectiveness,information organization and structure,which was perfect and penetrated gradually,but less attention has been paid to the dimensions of emotion and aesthetics.Methods used in these research were divided into two types:expert-centered methods and user-centered methods.The study of user experience on MOOC was less and not thorough enough and expected to be further improved in the aspects of theory and method.Future research could be developed in the following three aspects:making user experience study on MOOC become hot,comprehensive attention being paid to every dimensions of user experience to MOOC and other platforms,evaluating the user experience to MOOC and other platforms using a combination of several methods.

MOOC;e-learning;user experience;usability;learningplatforms

2015年4月25日

G40-057

A【论文编号】1009—8097（2015）12—0059—07

10.3969/j.issn.1009-8097.2015.12.009

本文为全国教育科学“十二五”规划2014年度教育部青年课题“慕课（MOOC）用户体验的实证研究”（项目编号：ECA140372）的阶段性研究成果。

刘书青，讲师，博士，研究方向为交互产品的用户体验、教育心理学、社会心理学，邮箱为liusq@tju.edu.cn。