MOOC线上学习多元评价模式的有效建构

陈 道 彬

(北京理工大学珠海学院外国语学院，广东 珠海 519088)

一、引言

在“互联网+”战略和教育部积极发展高校线上线下混合性教学的背景下，以现代信息技术与教学的融合为特征，大规模开放在线课程MOOC(Massive Open Online Course，慕课)成为新一轮高等教育改革的显著特征。2012年美国三大平台Udacity、Coursera和edX平台兴起，标志着“慕课”元年的开启。2013年伊始，国内一大批在线平台也陆续开发建成，在线教育用户呈现增长态势，随之全国高等院校MOOC课程建设也全面铺开，如中国大学MOOC、爱课程、超星学习通、学堂在线、网易公开课等。作为高校重要的一门公共必修课程大学英语，教育部2017新版《大学英语教学指南》指出，大学英语应大力推进现代信息技术与课程教学的有效融合，为外语教学提供全新的学习方式。同年，教育部办公厅下发了《教育部办公厅关于开展2017年国家精品在线开放课程认定工作的通知》，首批认定了490门精品课程，这一举措进一步促进了高校MOOC课程的发展。

在后疫情时代，MOOC成为高校大学课程和学生学习的一种新模式得以推广。MOOC作为一种新型在线学习模式，如何有效评估学习者的在线学习效果，如何有效进行课程考评，成为MOOC课程开发要考虑的重要问题。由于线上学习特点，教师无法随时进行有效的线上学情监控，只有建立一套适应慕课特点的质量评价指标体系，学生在线学习的效果与质量才能得到保障[1]。线上评价体系除了客观评价学生线上学习效果以外，同时也是衡量MOOC课程质量的指标之一，如何构建有效的线上评价体系，更科学、全面地评价学生线上学习效果，有待于进一步研究与探讨。

二、MOOC线上评价的特点与研究现状

传统的评价方式是师生线下的课堂评价，随着MOOC线上课程的普及，构建MOOC学习评价体系逐步引起人们的重视，它是检测线上教学和学习效果的主要手段，也是线上课程建设和可持续性发展的重要衡量指标。MOOC作为一种新兴的教育模式，刘路等综合国内外MOOC线上开展的教学情况发现，其低完成率及高辍学率使得MOOC的教育质量及评价问题日益突出，对学习者学习过程及成效的有效评估与认证是建立有效质量保障体系的重要环节[2]。长期以来，国内外对评价体系的研究主要集中在形成性评价与终结性评价二者展开，现行的多元评价体系结合了这两种评价体系以及其他形式评价为辅助，以多维度多层次评价为主要特点。

从20世纪80年代开始，国外学者主要关注终结性评价和形成性评价的区别，他们强调形成性评价和终结性评价两个阶段的各自功能与区别，认为形成性评价主要在于检测学习成效和改进空间，为教师和学生提供阶段性参考与反馈。终结性评估是经过连续性过程评价(continuous assessment)，最终起到结果作用的诊断性评价(diagnostic assessment)[3]。2012年随着MOOC的普及，Admiraal等结合美国几大主流MOOC平台的学习数据，指出MOOC的学习评价是线上课程的重要环节，线上评价以多元化评价方式为主流，评价过程强调线上学习者的主体地位，自我评价(self-assessment)和同伴互评(peer assessment)也常常作为线上评价的主要手段[4]。近年来，教育技术发展和外语教学模式与理念的不断创新，MOOC线上的评价方式、评价方法和视角也趋于多元化。吴娟和霍艳娟列举了欧美国家线上学习评价指标的开发特点[5]，其中包括，美国课程审查专业机构Quality Matters设立的评价指标维度，英联邦学习共同体(Commonwealth of Learning)发布的《MOOC质量保障与评估指南》，德国学者于2014年创建的MOOC设计质量保障标准，该标准将评价维度分为教学和平台技术两大方面，共细化到75个评价指标项。

各国在线课程评价研究取得了很多积极成果，目前国内专门围绕MOOC课程评价开展的研究还有待于进一步深入，特别是从学习者角度出发的MOOC课程质量评价指标体系[6]。由于MOOC线上学习者人数众多，学习者在线学习方式与时间上不同步，学习周期长，在MOOC开发中要考虑针性地设计课程标准化的评价模式，这样才能提高学习质量和在线学习完成率[7]。刘建达和李雪莲阐述了目前四个常见的英语课程教学评价方式，包括了终结性评价，形成性评价，综合评价(comprehensive assessment)和增值评价(value-added assessment)，并强调多元评价体系在现行大学英语教学中的重要地位[8]。可见，MOOC线上评价体系的建立需要以多元化和多维度为特点，构建以学生自主学习为特征的多元性和动态的评价模式，课程开发者和教师需要发挥过程性评价与评价反馈，提高MOOC线上评价指标的信度与效度。

三、大学英语MOOC线上多元评价模式构建

(一)《应用型大学英语》MOOC学习平台设置

《应用型大学英语》MOOC是本校和广东省线上线下混合式一流建设课程，该课程构建了以《中国英语能力等级量表》和《中国学生发展核心素养》为标准，形成性评价与终结性评价相结合的多元多维动态评价体系。特别加大形成性评估在课程评价中的比重，采取多样化的终结性评价方式。该课程线上平台为超星学习通(http://i.mooc.chaoxing.com)，截止2021年，已经累计使用了4轮。

学习通线上课程基于上海外语教育出版社《全新版大学进阶英语综合教程》第1册开发而来，按照课程教学目标，慕课以在线微视频和学习活动材料为主要学习资源。线上课程内容涵盖阅读能力、听力能力、跨文化能力、交际能力和写作能力，合计6个单元，按每个单元知识点进行设计。每单元由20个微视频组成，并按平台功能板块开发各个单元的学习活动与评测练习。每个单元均包含三大主题模块：8个课前主题导入视频(theme-related input)、6个主题拓展视频(theme-related extension)和6个课后学习产出视频(output/outcome-based)，一共120个微视频，每个微视频时长10分钟左右(详见表1)。

表1 MOOC学习通平台单元微视频内容

本校《应用型大学英语》使用的MOOC平台学习通用户群广泛，在国内使用面广。黄文祥等统计了2020年春季疫情期间线上教学平台资源，综合71所国内高校使用的教学平台使用情况[9]，结果发现使用率分位前三的是超星(32.98%)、雨课堂(25.00%)和中国大学MOOC(21.34%)，因此，本文探讨的构建MOOC线上学习评价模式有一定的社会参考价值。

大学英语MOOC课程设置结合每个单元的话题导入，设置教学目标与内容，以提高学生线上参与式学习为主。基于学习通平台功能板块，《应用型大学英语》MOOC线上课程总体设置包括：一是线上微视频。每个单元20个微视频，每个微视频内容包含“主题引入-本节学习目标-学习前测-沉浸式学习与互动-学习后测-内容预告”，需要学习者在线自主学习完成六个单元，合计120个微视频；二是交互式学习。作业与活动板块的功能设置多样化，作业模块主观题与客观题结合，讨论区设置互动式话题，章节客观题通过平台功能即时批改，学生讨论模块以同伴互动互评为主，结合教师评价、自我评价、生生评价和系统评价；三是异步自主学习任务。学生碎片化时间自主完成线上话题讨论、线上写作、翻译练习、线上章节小测、线上音频作业、线上抢答活动等；四是学习过程性评价。教师通过学习任务点完成情况、在线时间投入、生生互动次数、作业完成率等环节评价线上学习，利用后台生成的学习数据监督与评价学习效果。

(二)《应用型大学英语》MOOC线上评价环节设置

大学英语MOOC线上学习评价过程依据泛在式学习特点，结合学习通平台移动学习和即时学习的便利，利用学习通平台自带功能，强调对学习者个性化和差异化评价，以形成性评价为主结合终结性评价，以定量评价与定性评价，同伴互评与自我评价相结合。评价过程包含线上课前、线上课中、线上课后评价和期末学期总评(详见表2)。评价环节包括每单元20个视频的前测练习，章节测试，话题讨论，单元和期末考试；评价内容基于课程教学目标与教学设计，通过学生视角设置学习活动，包含听说读写能力，具体到每个单元前的词汇前测，主题讨论，学习笔记，线上互动，学习反思，课后产出等内容；评价主体多元化，即有教师评价和在线系统自动评价，又包含学生自我评价和生生评价，保证评价主体的多样化，避免了教师单一评价为主。最后评价指标比重依据线上微视频观看的完成度，作业完成情况，互动完成情况以及各类测试成绩，以百分制设置各部分比重。

表2 线上学习多元评价环节设置

(三)《应用型大学英语》MOOC线上评价指标与量化

《应用型大学英语》MOOC平台评价指标注重学习者的学习体验，提倡自主性、探究性的学习过程。线上学习多元评价的主体是学生，主要评价维度包括学生线上学习参与度，线上学习内容完成度，线上交互式学习和学习产出能力。该评价指标以学生学习的形成性评价为主线，包含多种评价模式，以一级指标为总体评价维度，看重自主学习能力的培养，涵盖学生个体、交互、产出与能力提升。综合前三轮本校学习通平台的使用情况与反馈，划分一级指标，二级指标和主要参数指标与量化(详见表3)。

一级指标包括学习参与度、内容完成度、线上交互学习、学习产出和学习能力提升；二级指标具体细化线上学习表现，包含自主学习能力的内容，包括学习元认知，情感因素，自我效能感感，交互合作等。最后，主要参数指标为平台板块项目的评分规则与标准，主要通过平台自带的评价功能板块和题库练习来实现。例如，线上活动板块(考勤，在线投票，主题讨论，在线问卷，分组任务等)，作业库(题库，作业库，试卷库，优秀作品库)、学习档案袋(学习反思，学生录制的视频，在线学习记录)和在线互动讨论模块等。

表3 线上学习多元评价参数指标与量化表

四、《应用型大学英语》MOOC多元化评价结果与讨论

大学英语MOOC学习通平台第三轮周期为2020年9月至2021年1月，本轮共有23个教学班级，合计913人。依据课程设置，线上评价过程包含课前、课中、课后和期末总评。利用多元化评价方式，按照评价指标与参数，进行线上学习过程性评价。综合本轮线上学习统计数据和评价分析结果来看，主要呈现以下几个特点。

线上课前导学阶段。学习通平台登录、微视频自主观看次数、小测和作业完成率呈现波动现象。临近线上作业时间节点和期末，登录次数陡增，参与学习互动活跃，微视频观看完成率也集中在同一时间段。所以，线上学习任务时间节点影响学生参与度与完成度，反映部分学习者的自主学习能力欠缺。因此，评价指标需要加强对线上时间段内的学习时长监控，平均统计各个时间段的实际学习时长，纳入评价指标，避免时间节点赶作业现象。

线上课中互动参与式学习阶段。评价过程与结果发现，学生在主题相关的开放式话题评论字数过少，语法小错误较多，学生线上互评、生生互动次数不足，学生的交互学习和参与性有待提高。据统计，每个学生按课程要求需完成24个话题讨论，由于在线学生人数多，教师在师生互动环节很难有效监控，这部分评分标准主要依赖平台统计的学生在线参与讨论次数和留言次数给分。另外，线上小组合作的作业、上传的音频作业也以教师主观性评价为主。相反，一些客观题类作业与测试，则可以利用平台作业设置功能实现即时评分。因此，对参与式学习过程的学生自评和生生互动，教师的主观评价应当细化标准，按等级制评分，提高主观评价的效度与效率。

线上课后拓展学习阶段。每个章节学习反思部分和音频录制作业完成率较高，但是完成质量有待提升。大多学生自我学习反思只是提到自己某个语言技能的薄弱点，缺少对今后学习态度、学习策略等方面的元认知反思。学习能力产出的微视频拍摄与跨文化探讨部分，完成作品参差不齐。例如第一单元主题是关于梦想，大多数学生只是录制与主题相关的文章录音，拍摄微视频和原创演讲的较少。因此，课后输出环节需要加强教师的动态跟踪，即时提供评价反馈意见，改进与提高学生的每次产出作品。

终结性评价与反馈。本轮MOOC平台考试题库总数631道，课程课外学习资料428个，线上共计发帖总数4720帖，参与互动人数为672，测验和作业共计166次，共有909人参与。统计平台课程客观题各类在线作业、测试和线上参与度、完成度和交互学习等情况，参照(表3)线上学习多元评价参数指标与量化表总评(参与度15%；完成度20%；交互学习15%；学习产出20%和能力提30%)，本轮线上最终合格人数为856，平均分为82.37，通过率93.75%。终结性评价结果总体客观反映了线上学习结果，同时也为今后进一步优化线上多元、多维评价体系提供参考。特别是在生生互动、师生互动部分，需要进一步细化评分标准，优化学生参与度与生生互动的评价指标，在多元多维评价的前提下，注重线上学习的动态评价过程。

五、大学英语MOOC线上学习多元评价模型与建议

本文基于学习通平台的多元化评价模式建构与结果反馈，认为今后应当对MOOC线上多元评价参数指标、线上学生参与环节和线上教师组织管理进行优化设计(如图1)，具体从以下三方面内容进行完善。

图1 MOOC线上学习多元评价体系模型

一是优化学习评价内容。作为大规模的线上开放课程，需要对线上评价内容进行筛选，特别是主观话题讨论部分，应当参照《中国英语能力等级量表》(2018)指南，线上评测内容选择、话题难易度、素材选用对标英语等级量表，针对不同层次学生，让其“有话可说”，避免线上学习完成率低、完成效果差。杨晓宏等强调混合式学习内容的设计，要注重课程特性与主体需求的有效衔接，进而构建移动学习资源和评价体系，以适应现代教育技术下的学习新模式[6]。

二是充分发掘MOOC平台自带的学习评价功能，改进评价模式与强调动态过程性评价，提高被评价者的配合度与积极性。借助MOOC在线平台线上功能特色板块，利用多种素材与多元测试形式，设置多样化的题型与活动，提高学生的学习乐趣与参与性，避免将课堂测试形式照搬线上。Admiraal等人的研究也表明，学生MOOC学习积极性与评价成绩呈现显著相关性，特别是利用线上电子档案，做到可视化管理线上学习记录与成绩变化，提升学生学习的成就感[4]。

三是发挥教师的线上教学组织和课后管理作用。由于学生自主学习能力存在差异，许多学生喜欢在时间节点前应付任务赶作业，因此需要教师加大在线学习的监控和组织，对学习者横向和纵向进行比较，通过评价反馈促进学习者调整学习状态。教师对学生的学习反馈是评估过程中一个关键因素，教育评估强调学生在学习过程中的进步与提高，发挥教师引导、监控教学过程的主导作用[9]。同时，在后台管理中合理分配教师职责，细分教师线上管理权限，健全课程教学团队的教师协作机制。

六、结语

MOOC线上多元评价模式是一种多维度、多指标的学习评价理念与方式。综上讨论，做好对学生学习的及时反馈和优化主观评价维度，是教师要解决的首要问题；对学习者而言，多元评价方式对教师与学习者要具有可操作性，能够客观、综合地评价学生各方面的学习成效。同时也应当认识到，评价的目的是为了提高学生认知自身不足，进而改进提高，是一种增值评价(value-added assessment)，需要发挥评价导向作用[8]。因此，线上评价不能单纯以分数来衡量学生的最终学习效果，线上评价应当借鉴形成性评价与MOOC学习者的线上学习数据，通过评价反馈促使学习者自我反思和改进提高。