慕课学习评价现状及自适应评价研究

杨丹 刘汉明

摘要：本文针对慕课学习评价中的诸多问题，提出了一种自适应慕课评价方法及其施测模式。自适应评价能够主动适应学习者水平，构造与其能力相当的测试，即“高水平高测，低水平低测”，减少了“低者高测”的焦虑与负荷。方法提供的能力测试的线性增长可以增强慕课学习者身份识别，减少网络作弊，增强慕课认证的可信度。自适应评价采用计算机系统完成，不受学习者数量的影响。慕课自适应评价施测模式流程清晰、操作性强，可以为慕课学习评价提供一个切实可行的方案。

关键词：慕课;学习评价;现状;自适应评价

中图分类号：G434  文献标识码：A  论文编号：1674-2117（2019）06-0110-03

引言

2015年4月13日，教育部颁布了《关于加强高等学校在线开放课程建设应用与管理的意见》（教高〔2015〕3号），强调构建“具有中国特色在线开放课程体系和公共服务平台”，预计“2017年前认定1000余门国家精品在线开放课程;到2020年，认定3000余门国家精品在线开放课程”。[1]该文件表明慕课已纳入中国高等教育市场，力图解决中国大学生对优质高等教育资源的迫切需求、适应技术进步和产业升级的应用技术型人才对职业慕课的巨大需求和高等教育质量改革的需求问题。

慕课以名校名师课堂、免费丰富的学习资源、优质的学习支持服务、多元化的评价机制等特点备受学习者青睐，但同时课程结业率低、学分认证遭质疑的问题也使慕课备受非议。缺乏有效监测，考核安全与维度，缺乏严格考核制度是课程结业率低、学分认证遭质疑的重要原因。慕课学习者的多样性、技术催生的网络作弊、异步的线上学习都给慕课学习评价带来了诸多困难，建立一个科学的慕课学习评价方法是慕课良性发展亟需解决的问题。

慕课学习评价现状

好大学在线、中国大学慕课、学堂在线及Coursera四大慕课平台，目前采用的学习评价方式可以归纳为三类：①教师评定，由慕课课程的教师或者其助教来评定。②同伴互评，由慕课学习者互相评定。同伴互评成绩主要由同伴评价、学习者自评及对同伴的评价组成，主要适用于主观题型，如简答题、论述题及论文评定。③计算机系统测试，由慕课平台的课程自动评分系统完成，适用于选择题、判断题等客观题型。归纳当前的研究成果，结合慕课四大平台实践操作方式，慕课学习评价呈现出如下态势。

（1）学习者规模巨大、多样性与时空异性，庞大的评价任务使得教师评定举步维艰。慕课学习者规模大，动辄数以万计，学业背景的多样性，且分布在世界各地，使得教师对学习者个体所作的协调、监督和指导非常有限，庞大的评价任务对教师的时间、精力都是重大挑战，教师很难完成评定。在四大平台中，只有少数慕课会针对部分学习者（如本校学生）采取教师评定。

（2）同伴互评提高了主观题的评价效率，但同时也陷入同伴之间不信任和互评质量不高的困境。在慕课平台中引入同伴互评机制，是鉴于平台中评价主体单一、缺乏对网络学习过程的支撑等问题。相对于教师批改和系统自动评分而言，同伴互评易给学习者带来亲切感，反馈也更快捷，减轻了学习者对评价的焦虑，及时产生激励作用，大大提高了主观题的评价效率。但MOOC学习者的语言文化背景、学习经历和知识水平各不相同，使得评价难以得到普遍认同，由此对互评也难以产生责任感及维持评价动力。在实际操作中，同伴互评也受到了不少学习者以及研究者的诟病，如Suen[2]指出，采用同伴互评的MOOC课程完成率通常较低，既可能是同伴评价满意度低的结果，也可能是要求学生提交开放式的作业所致，因为完成这类任务比起完成选择题，需要花费更多时间和精力。

（3）测试是课程自动评分系统的主要形式。在慕课学习背景下，自动评分系统记录学习者的各种学习行为数据。教师通过对该数据的观察、分析，展开学习评价。当前研究主要关注学习评价形式、问题及意义，对于评价实施、评价与高辍学率的关联的探讨明显不足。四大慕课平台当前采用的学习评价有单元测验/作业、嵌入式问题、期中/期末考试、论坛参与与课程视频浏览情况等方式。肖丽萍[3]对四大平台的200门课程的调查结果显示，使用次数最多的是单元测验，频率达82%;紧随其后的是期末考试，频率为79.5%;可见计算机测试仍然是慕课评价的主要形式。计算机化测试是随机抽题、统一施行的测试，对于学习水平不均的慕课学习者来说，容易出现“高者低测，低者高测”，对学习者能力估计不准确。且“低者高测”容易打击学习者学习自信心，增加学习焦虑与认知负荷。

慕课学习评价新方法——自适应评价

计算机自适应测验（Compu-terized Adaptive Test， CAT）是在项目反应理论指导下，运用计算机技术实现的一种现代考试类型。它的目标是对每一个考生构造一个最优的测验，主动适应被试能力水平提供与其难度相当的测试，即高水平被试测难题，低水平被试测易题，达到“因人施测”，准确估计被试能力。将计算機自适应测试应用于慕课学习评价，依据慕课学习者能力水平，构造与其能力相当的测试，可以准确估计学习者能力值。

计算机化考试是采取随机抽题、统一组卷的测试策略，学习者无论能力高低，皆受测于统一试题;计算机自适应测试则是先预估学习者能力初值，然后提供与其能力相当的测试不断精化能力值，直至准确估出能力值，每个学习者的测试都是独一无二的。由于测试难度与学习者能力值相当，学习者不会因为测试过难而焦虑、过易而骄躁，总是能从测试中获得学习成就感，激励并保持学习自信心，从而有效降低课程辍学率。

慕课自适应评价的实施

慕课自适应评价分两个阶段进行，首先建设慕课的自适应测试题库，然后在学习者学习过程中施与前测、中测和后测。

（1）建设自适应测试题库。首先依据慕课课程考核标准建设课程测试项目，为保证课程测试安全，要求测试的项目要保证充足的数量;然后根据双参数Logistic模型采用联合极大似然估计法估计[4]试题的区分度a、难度b，淘汰区分度低的试题，调整项目难度，使其分布合理，以确保在测量各种特质水平的被试时都有足够的试题。[5]

（2）施与前测、中测和后测（如下页图）。前测，在学习之前施与，确定慕课学习者能力初值θ0，提供对等难度的教学，保障其稍加努力就可以达到目标，激励其学习自信心。中测，在学习过程中可以多次施测，分为系统施测和学习者自测，满足定期与不定期测试。系统施测是应教师教学设计的需求，设置在固定阶段测试，反馈学习者学习状态，是教学问题的诊断器。理想状态下，随着学习深入，学习者能力值应呈上升趋势，上升越快，效果越好，若呈下降态势，教师则需重新审视教学，诊断问题，及时修正教学以保障学习顺利进行。学习者自测是满足学习者自评的需求，测试自己的能力随学习的深入是否在不断提高，是学习者学习的动力源泉;与此同时，若提高不明显，或者没有提高，那就要调整学习方法和策略，进入后续学习。后测，教学结束之后施与，是学习者综合能力测试，学习者能力值达到新的高度，以此判断课程是否达标。

慕课自适应评价的优势

（1）及时激励学习者，切实降低慕课辍学率。慕课自适应评价给每位学习者提供与其能力相当的测试，减少测试带来的焦虑和打击。学习者在自测中明晰自己的学业成就，感受学习进展，增强学习自信心，从而保障持续性学习，有效降低辍学率。

（2）提高慕课学习者身份验证，减少在线考试作弊，提高慕课学分认证的可信度。自适应测试通过前测、多次中测和后测结果，展现学习者能力值动态变化。正常情况下，随着学习的推进，学习者学习效果越来越好，能力值θ0，θ1，θ2……θn应呈连续的线性变化，如出现断层式的跳跃性提升，排除特殊原因，则需进一步审视学习者身份是否改变。

（3）建立完整的大数据，展现学习动态变化，诊断学习问题，改善慕课课程教学设计，有助于提高慕课平台学习資源的质量，加快慕课的推广，更好保障慕课的可持续发展。

结束语

慕课自适应评价可以动态展示学习取得的成就，激励学习者持续性学习，有效降低慕课辍学率;自适应动态测试可以诊断慕课教学方法、教学资源的问题，完善慕课课程，提高慕课品质;提高慕课学习者身份验证，增强慕课认证的可信度，扩大慕课信誉，促进慕课良性发展，使得更多的大学生可以共享优质高教资源，满足职业者对职业慕课的需求，促进传统教育变革，实现“将世界上最优质的教育资源送达地球最偏远角落”的美好愿望。

参考文献：

[1]中华人民共和国教育部.教育部关于加强高等学校在线开放课程建设应用与管理的意见[EB/OL].http：//www.gov.cn/xinwen/2015-04/28/content_2854088.htm，2015-05-26.

[2]Suen H K. Peer assessment for massive open online courses （MOOCs）[J].The International Review of Research in Open and Distributed Learning，2014，15（3）.

[3]肖丽平.慕课学习评价方式调查研究[D].南昌：江西师范大学，2016.

[4]Debevec P，YiZhou Yu，etal.Efficient View-Dependent Image-Based Rendering with Perspective Texture-Mapping[C].9th Eurographics Rendering Workshop，1998，105-106.

[5]杨丹，刘汉明.基于原始题植入的《现代教育技术》CAT系统的设计与实现[J].中国远程教育，2011.

作者简介：杨丹（通讯作者），讲师，硕士，主要研究方向为教学设计、自适应学习评价;刘汉明，教授，博士，硕士生导师，主要研究方向为数据挖掘、教育科学。