自适应混合MOOC模式:MOOC设计新范式
2019-10-24姜强李月孙洁赵蔚刘红霞
姜强 李月 孙洁 赵蔚 刘红霞
摘要:MOOC拥有庞大且异质的用户群,其组织形式构成“人人皆学、处处能学、时时可学”的学习型社会,提高知识传播的效率。但现有MOOC产生了大规模教学与因材施教间的矛盾,不能满足学习者个性化学习需求。通过梳理诠释MOOC的既有范式,剖析其设计理念及内在限度,在创生背景下提出了自适应混合MOOC设计新范式。并以项目组设计研发的跟它学自适应MOOC学习平台为应用示范,阐述了自适应混合MOOC新范式中平台功能架构、设计流程,注重理论和实际应用的结合。人工智能时代,自适应混合MOOC将沿着基于众包策略、情境感知、多模态、迁移学习等方面深度发展,突破传统设计范式的价值创新,推动教育改革走向个性化、差异化。
关键词:abMOOC;自适应;个性化学习;新范式
中图分类号:G434 文献标识码:A
一、引言
在MIT的OCW (Open Course Ware)的示范和指导下,开放教育资源运动不断地演化与进步,推动其研究与实践,进而诞生MOOC。它将开放教育从单纯的基于資源学习升级到了课程与教学方式的转变,所具有的开放性、易获取性等特征利于创建与共享教育资源,满足用户获取优质资源的学习需求,促进教育起点公平,是开放教育领域的一项创新发展新突破。然而,随着MOOC实践应用,大家对其推崇、赞美逐渐转为质疑与反思,MOOC尽管拥有庞大的用户群体,但每个用户都是独立的个体,有其独特的学习偏好、学习进程、学习期望等。既有的MOOC设计范式难以有效满足学生的个性化学习需求,一定程度上导致MOOC辍学率高、完课率低。鉴于此,本文在MOOC传统设计范式及其限度基础上,提出自适应混合MOOC设计新范式,并以项目组研发的跟它学自适应MOOC学习平台为案例示范,勾勒了个性化学习在MOOC设计新范式中实现的真实场景。
二、MOOC的传统设计范式:理念与限度
(一)cMOOC(connectivist MOOC)
基于联通主义学习理论的cMOOC,强调学习是通过学习者与学习对象之间在线交互发生的,利于激发学习者自组织学习与分享观点,生成更多的知识,实现社会知识建构与创造,结构模式如下页图1所示。cMOOC作为一种动态生成式的课程模式,其学习材料并不是预设好的,而是由教师在社交平台(如Wiki或Blog)中提出与某一主题相关的活动(包括课程介绍、相关资源、活动主题,通知公告等)作为学习的起点,组织学习者讨论,推进学习进程。学习者通过独立思考、与同伴进行交流分享从而获得知识,其生成的知识又可以成为课程材料并激发更多的知识生成,极大地拓展了学习者知识探索的限度以及学习能力。
在知识经济时代,cMOOC对于知识的创造、更新与共享具有重要价值,但该模式对教师和学生的要求相对较高。对教师而言,首先,课程内容是从一个学习主题出发,由学习者之间交互生成的,具有一定的不可控性和非结构化,教师需要具备很强的专业能力才能掌控教学过程;其次,把握教学活动、评估聚合的学习成果等也需由教师完成,当参与者达到一定数量级时,为教师增加了极其繁重的任务量,因此很难保障教学活动有效进行,从而影响课程的学习效果。对学习者而言,完成cMOOC需要自身具备良好的自主学习和元认知能力、媒介信息素养、批判性和创新性思维、沟通关联能力,能够自主地进行知识学习、成果交流与讨论,从而保证学习有效发生以及知识的再生成[1]。cMOOC具有去中心化、知识动态生成的课程结构和灵活的组织方式,课程资源散布在各个网络中,学习者能够自发的从不同网络中采用不同的方式进行学习,并在社交网络中与同伴进行资源分享和主题讨论。如果缺乏教师及时的指导与帮助,学习者很有可能陷入迷茫的困境,不知从哪里开始学起,如何分配时间与精力及下一步学习方向等。因此,cMOOC尚未形成一个成熟的、便于克隆的、易于多数教师操作的教学模式,大规模推广性不强。
(二)xMOOC(eXtended MOOC)
基于行为主义、认知主义和建构主义理论的xMOOC,融合了cMOOC的部分理念和传统教育结构化的课程组织形式,揭开了开放教育运动的新篇章,标志着知识学习的方式将发生变革。xMOOC具有确定的课程目标、系统化的课程内容和完备的教学过程,其教学模式主要包括在线视频讲授、在线测验以及线上线下讨论。与cMOOC不同,xMOOC更强调有组织学习内容和高效率传播知识,结构模式如图2所示。在课程开始前,由教师精心筛选、设计、组织、加工结构化的知识,以微课形式呈现预设的课程内容,学习者注册课程后有计划、有目标地进行学习。作为一种单向知识传递方式,视频授课更加要求学生在无人监督的情况下对学习内容与交互保持足够的关注。为保证学习效果,xMOOC中学习视频都比较短小精炼,并且会在其中穿插即时小测试,以保证学生注意力高度集中,增加学生对课程内容的理解,掌握自身学习状态、调整学习步调、修正学习策略。课后,学生需要在规定期限内完成并提交作业,采用系统自动批改、学生自评打分和同伴互评等方法,给出学习反馈[3]。
xMOOC结构化、标准化的内容使其具有很强的适用价值和推广性,但是,xMOOC主要以教授结构化知识为主,其程式化的结构特征注定其难以适应非结构化知识的传授以及研究性知识的习得,表明其本质是对传统课堂教学的复制。它强调的仍是一种借助于程序教学理论而形成的个体化认知方式和行为训练方式,尚未考虑到多对象、多需求和多模式的复杂性,无针对性的教学设计,所有学生具有相同的学习内容、学习流程,忽视了个性化学习需求,能力水平低的学生可能无法跟上课程进度,能力水平高的学生可能会觉得课程过于简单,没有挑战性,不利于培养学生的批判性思维、创新思维和高阶思维能力。此外,xMOOC缺乏在学习过程中产生的生成性知识,从而延长了知识生成、传播、消费的周期,使得教学中的知识更新有一定的滞后性。因此,xMOOC被诟病为“基于互联网的低成本教育材料分发与共享的‘工具”,人与资源之间的简单互动代替了人与人的交互,学生依然是独立的知识个体,缺乏深度学习[4]。
(三)bMOOC(blended MOOC)
从cMOOC和xMOOC的实践来看,各自具有优缺点,有必要将社交网络(cMOOC)和课程平台(xMOOC)、以活动为中心的学习方法(cMOOC)和以内容为中心的学习方法(xMOOC)以及参与者作为纯粹的知识接收者(xMOOC)与参与者作为知识生成者相结合(cMOOC),形成混合MOOC(bMOOC),结构模式如下页图3所示。学生可以在bMOOC的课程平台和社交网络中进行学习,学习资源一方面是由教师以模块和章节组织形式预先提供,另一方面是由学生在社交网络中生成的。
bMOOC有助于学生自我调节学习,从而减少网络迷航,提升学习效率和学习完成率,但它没有考虑到参与者的异质性特征,如年龄、学习背景、专业知识、学习风格、兴趣偏好、思维、目标、天赋、潜能、信念等方面,提供给学生相同的学习资源、路径、测试、反馈等,没有解决个性化需求,没有注重差异教与学,个性化、定制化将会成为未来的学习方向。
三、自适应混合MOOC:创生背景与新范式
(一)创生背景
个性化是学习中心的内在本质,在罗杰斯提出的创新扩散理论中,指出只有个人按照各自的节奏真正实施了创新,组织才会发生改变。从cMOOC、xMOOC到bMOOC,都无法做到将活动、内容、实例、甚至评价与学生个人信息相适应,以支持个性化学习。《教育信息化十年发展规划(2011-2020年)》提出推进教育信息化,应努力为每一名学生提供个性化学习环境和服务;国务院《“十三五”国家信息化规划》中提出促进在线教育发展,应提供高质量、个性化的在线教学服务;教育部《教育信息化“十三五”规划》指出普及网络学习空间应满足个性化学习需求;教育部《教育信息化2.行动计划》指出优化“平台+教育”模式,满足学习者、教学者和管理者的个性化需求,实现个性化学习体验;《加快推进教育现代化实施方案(2018-2022年)》明确了形成良性互动的个性化教育体系;国务院印发的《中国教育现代化2035》提出注重面向人人,因材施教,实现规模化教育与个性化培养的有机结合。这些政策都表明了随着时代发展,个性化学习已成为迫切的需求。将个性化自适应学习理念融人MOOC中,根据学生特征推送精准学习路径,有针对性提供最佳学习方法和建议、学习材料,利于学生更加清楚应该“学什么”“如何学”,自控学习进度,确保学习有效性,从而激发出最大的学习潜能[5]。
(二)MOOC设计新范式
基于个性化学习、建构主义及多元智能等理论的自适应混合MOOC(adaptive blended MOOC,abMOOC),纳入白适应特性,结合bMOOC特点,根据学习者特征等推送不同的学习内容、学习活动、学习评价等,并通过持续分析学习者的学习过程行为数据为其提供及时的、定制的帮助[6],结构模式如图4所示。abMOOC主要包括“数据环境(what)”“利益相关者(who)”“时间(when)”“方法(how)”和“目的(why)”五个维度,与现有模式主要区别在于资源活动的选择、组织和排序[7]。其中,在资源组织和活动空间方面,abMOOC实现动态知识图谱组织资源,包含着白适应学习平台和由社交网站、博客、论坛等组成的学习社区,平台允许不同背景的参与者访问不同的资源和活动;在资源设计和管理方面,教师收集与本课程主题相关的初始资源,学生可以根据学习兴趣在社区中生成多元化资源,通过自适应学习平台进行共享;在活动设计和管理方面,学生在学习过程中,abMOOC通过分析交互行为数据,进行诊断、预测,为学习者提供量身定制的课程活动,同时也有助于学生了解自身对知识的掌握情况。
1.数据环境(What)
大数据是设计abMOOC学习平台,实现个性化学习基础,通过序列模式挖掘(如AprioriAll算法)、聚类分析等,揭示数据中隐含的模式或真相[8]。教育大数据主要来源于三个方面,一是学习者的个人属性,包括性别、地区、家庭教育情况等,以及知识水平、认知特征、情感特征、元认知能力及错误/误解等个性特征;二是學生在“学习”“练习/测试”“评价”过程中产生的学习行为数据,除了包括登录次数/时间、浏览情况、练习/测试成绩等低阶信息,还包括视频点击流数据(暂停、播放、查找等)、学习行为序列数据以及依靠传感器在学习过程中获取的心理学和生物学数据,如眼动数据、手势数据、面部表情等高阶信息[9];三是学生在讨论社区产生的交互行为数据(如查看、提问、解答等)。
教育大数据的价值体现为三个“转向”,即从传统课堂的关注集体表现转向聚焦个体行为,从教师的主观评价转向依托数据的客观、多维评测,从学生的按部就班式学习转向白组织的个性化学习[10]。未来,以视频和图像为主的非结构化形式数据越来越多,数据量呈指数级增长,需要实时分析在线不同类型数据,为研究者、管理者提供学习风格、学习状态、学习差异等360度数据信息,实现学习者画像的高精准度和高分辨率,赋予教师“显微镜”式的观察能力和“望远镜”式的预测能力[11]。
2.利益相关者(Who)
abMOOC通过对学习者个人信息、学习行为数据、交互数据的分析,向不同的群体提供建议,受益者大致可分为学习者、教师、研究者(决策者)和家长。对学习者来说,可以设定恰当的学习目标,自我规范学习,调节学习计划、学习状态与学习进度。对教师而言,根据学习者的学习风格、认知水平、学习状态等,动态调整教学结构,推荐个性化学习路径和符合学习者认知习惯的学习资源。研究者或决策者通过比对不同课程、不同群体、不同平台间的数据结果,开展个性化教学管理、优化资源配置、精准教育扶贫、制定教学决策,最大程度实现教育公平。在家长方面,abMOOC借助数字技术建立与家长的联系,向家长提供学习者在线学习的数据报告,以帮助家长实时监测孩子的学习状态、学习情绪,构建教育信息化时代的家校联合。
3.时间(When)
abMOOC模式中“时间”维度除了课程时间进度(如课程计划)外,还包括学习者的学习过程,不仅要从时间的宏观层面分析还要关注对时间的微观分析。abMOOC主要围绕学习者的登录时间、访问教学模块时间以及与同伴的交互时间等进行分析,了解学生随时间变化的活跃度,精准、细致地跟踪、记录在线学习行为,多方位地分析学生的学习状态,提供个性化帮助。例如在abMOOC中,分析学生的视频点击流行为,即在不同时刻学习者与视频间发生的交互(暂停/播放视频、向前搜索、向后查找、改变播放速度等),通过学习分析仪表盘,直观地了解视频学习行为,进而探索学生的寻求行为信息,深入挖掘学习状态,帮助教师完善课程计划。
4.方法(How)
abMOOC涉及方法包括学习分析、自适应和人工智能。其中,学习分析是实现个性化学习的关键技术,主要采用数据挖掘、统计法、社会网络分析、语义学和社会学等方法,实现对学习者学习状态的描述、诊断、预测与干预等。从海量数据中收集、分析学习者留下的学习历史痕迹,提炼隐含的关于学习者学习过程、学习状态信息,进而探究个人行为与学业成绩关联性,优化学习过程。自适应包括两种适应方式,取决于控制或主动适应的主体是学习者还是系统,学习者控制学习是指学习者根据系统提供的反馈,主动适应系统,实现自组织学习,自主规划学习过程、自我量化、自我修正等;适应性学习是指系统根据学习者特征,适应性推送最佳学习路径、学习资源等[12],通过提供学习支架,以优化知识获取和回忆,促进个性化学习的发生。人工智能技术(如模糊逻辑、决策树、神经网络、遗传算法和隐马尔可夫模型等)为abMOOC开发提供了强有力的支持,有利于提供个性化学习内容、学习路径[13],同时提供用户友好的界面,支持交互式、探索性和实时用户体验,以实现灵活的数据探索和可视化操作。
5.目的(Why)
由于学习个体在思考、搜索、理解和问题解决方面的能力不同,abMOOC能够在教学过程中诊断学习者的具体学习需求,随后为其提供适当的教学处方,优化学习过程,使学习变得简单、快速和高效,实现个性化学习,推进基于数据决策的教育信息化发展。老子有云,“知人者智,自知者明”,abMOOC结合学习者的个人简况、历史记录数据以及学习者当前的学习状态(测试成绩、答题时间等显性数据),以可视化形式再现分析结果。为此,学习者能够对自己有准确认识,知道自己当前应该学习什么,并反思下一步应该如何学;教师诊断发现学习问题,调整教学策略,制定适切的学习活动。
四、应用示范——“跟它学”自适应MOOC学习平台
有意义的教育是帮助每个人成为最好的自己,把每个人的个性、特长、潜在优势充分发挥出来,为每个人去发现、开发他的最近发展区,为他可能的最近发展提供帮助。在新高考改革的時代背景下,开展精准教学、个性化学习等方面的实证研究,有助于推进教育信息化转段升级,提升教学质量,促进教育优质均衡发展。项目组基于abMOOC模式,设计开发“跟它学”智能个性化自适应学习平台[14],专注于“互联网+人工智能”技术,面向K12基础教育开展个性化教学应用。
(一)系统架构
“跟它学”平台是通过分析挖掘学习过程中产生的学习行为数据,以可视化形式呈现分析结果,帮助利益相关者(学习者、教师、家长)查看,诊断学习者的学习情况,不仅做到学习过程个性化,而且使分析结果个别化,系统设计架构如图5所示。正确率、情绪态度变化等,做到关注每一位学生的发展,向每一位学生提供适切的指导与沟通,给予人文关怀,减轻学生在线学习孤独感。家长通过登录网站或直接接收“学情分析报告”掌握孩子的学习情况,在家庭中充当“老师”的角色,正确、积极地引导孩子的学习。总之,跟它学平台以“学情分析”为桥梁,真正实现家校互通,帮助学习者、家长、教师摸清现状、看到进步、预见未来,为实现学校和家庭教育和谐统一及学生素质全面提升提供新路径。
(二)设计流程
跟它学平台实现过程主要包括数据收集与清洗、数据分析与建模、可视化表征与个性化服务,如下页图6所示。
其中,在可视化表征与个性化服务阶段,主要通过知识图谱、智能测试、学情分析和情感感知等实现学习诊断、反思、预测、优化等目标,体现在“学、练、评、情”四个方面,精准定位学习漏洞,自动调整学习难度以符合学习者的认知水平与能力,推荐并引导学习者进行最适合的学习活动。
其中,学生登录跟它学平台进行自主学习,通过课程讨论、答疑模块与教师、同伴交流讨论,并通过“我的学情”监控学习进度、发现学习问题,进而做出适时调整。教师根据“学情分析”模块及时追踪学生的学习状态,全方位、多维度的评估学生学习效果,了解学生的学习进度、学习时间、正确率、情绪态度变化等,做到关注每一位学生的发展,向每一位学生提供适切的指导与沟通,给予人文关怀,减轻学生在线学习孤独感。家长通过登录网站或直接接收“学情分析报告”掌握孩子的学习情况,在家庭中充当“老师”的角色,正确、积极地引导孩子的学习。总之,跟它学平台以“学情分析”为桥梁,真正实现家校互通,帮助学习者、家长、教师摸清现状、看到进步、预见未来,为实现学校和家庭教育和谐统一及学生素质全面提升提供新路径。
(二)设计流程
跟它学平台实现过程主要包括数据收集与清洗、数据分析与建模、可视化表征与个性化服务,如下页图6所示。
其中,在可视化表征与个性化服务阶段,主要通过知识图谱、智能测试、学情分析和情感感知等实现学习诊断、反思、预测、优化等目标,体现在“学、练、评、情”四个方面,精准定位学习漏洞,自动调整学习难度以符合学习者的认知水平与能力,推荐并引导学习者进行最适合的学习活动。
1.知识图谱
“跟它学”自适应学习平台通过机器学习、知识挖掘、自然语言处理获取知识,构建知识图谱,让学习有计划、有目标,让学习者可以更容易地、更准确地发现适合自己的内容,让学习不再有盲点。知识图谱以知识树的形式呈现每小节的所有知识点及其对应的扩展知识。当学习者完成某一知识点时,该知识点的背景框由灰色变为绿色,学习者可以选择继续学习下一个知识点,或是选择学习该知识点的拓展部分。每个知识点提供视频和文本两种呈现方式,根据学习者模型推送不同媒体格式、不同内容的知识点,为学生规划专属学习路径[15];针对学习难点和重点,推送与之相关并与学生当前学习水平相匹配的学习知识点、题型、学习材料等,实现精准分发。学习是一个持续性的过程,真正懂学生的自适应学习系统,不仅要知道学生当前“有什么”,更要知道学生“想要什么”,故而跟它学通过遗传算法和协同过滤算法,依据学习者兴趣偏好向其推荐扩展资源,补充与拓展学习内容。
2.智能测试
当学习者确定一个知识点后,可以选择进行“诊断测试”或者直接进行“课程学习”,把主动权交给学生,时刻体现学生主人翁的地位。系统根据学习者的学习情况,推送适切练习题,集中学习未掌握的知识点,让学习效率倍增,缩小优等生和普通生间的差距。同时,依据“最近发展区”理论,依据布鲁姆在认知领域的教学目标分类方法,合理设置练习难度梯度,即习题的难度符合学习者当前的知识水平,以维持和提高学生的学习动机和兴趣,尽管面对困难问题时,依然让学生保持较高的自我效能感。以强化测试类型为例(如图7所示),当学习者通过某个能力级别时,可以选择进入同一知识点的更高水平测试或进行下一知识点的学习;若学习者没有通过强化测试,页面将提示学习者重新学习当前知识点,并推荐学习相关知识点以帮助学习者深入学习并通过测试。当学习者完成强化测试类型的所有测试后,可以进入升级测试阶段。
3.学情分析
学情分析报告记录学生学习全过程的教育大数据,适时开展面向个人的学习质量分析和面向群体的教育质量监测。学生可以在“学情分析”中全方位的查看自己对全部知识点、某一知识点的把握程度,实时监控自己的学习进程,从数据的角度理性、客观地剖析自己,针对薄弱的知识点查漏补缺,如图8所示。教师根据“学情分析”及时追踪学习者的学习状态,全方位、多维度的评估学习者学习效果,了解学习者的学习进度、学习时间、正确率、情绪态度变化等,做到关注每一位学习者的发展,提供个性化指导。
4.情感感知
学习者在学习过程中的情感变化会对学习效果产生较大影响,一方面会影响其学习状态,如开心喻悦的心情会让学习者对学习保持高度的热情与积极性,维持学习动机;相反沮丧、愤怒的情绪会阻碍学习兴趣,甚至停止学习。另一方面,影响系统对学习者提供的反馈信息,如何时提供反馈,提供什么内容的反馈,以何种方式提供等。跟它学平台使用Python的第三方库SnowNIP对课程评论区、讨论区、我的笔记等文本数据进行情感极性分析,SnowNLP由Python语言编写,包括中文分词、文本分类、词性标注、情感分析、繁体转简体、转换拼音、提取文本关键词、
提取摘要、分割句子等功能,是最常用的中文情感分析方法。通过SnowNLP依次计算每条评论的情感极性值(情感极性的变化范围是[-1,1],一1代表完全负面,1代表完全正面,进而分为消极、中立、积极三类),以可视化视图形式呈现,用色彩变化程度区分学习者的情感倾向,颜色越深表示越积极,颜色越浅表示越消极,如图9所示,其中dl,d2,…,dn表示课程知识单元。
五、自适应混合MOOC模式发展趋势:突破传统范式的价值创新
abMOOC融合个性化学习理念,同时保留了cMOOC的颠覆性,打破了传统课堂的知识学习方式,强调知识的构建、创造与共享;也保留了xMOOC知识传递的高效率和明确的学习结果。人工智能时代,abMOOC将基于众包策略、情境感知、多模态分析、迁移学习等方面深度发展,突破对传统范式的价值创新。
(一)基于眾包策略的abMOOC学习,实现从个人智能向群体智能发展
众包是将信息或知识的生成过程外包给用户,并且利用各种类型的激励措施和质量控制机制引出可能潜在于普通人群“大脑”中的优质资源[16],以促进学习系统从强调个人智能走向群体智能,在信息社会中响应“人人为我,我为人人”的号召。将问题解决方法外包给教师群体,汇聚教师集体智慧,从更多有经验的优秀教师处获取多种解决方法,扩展学习材料的广度,支持在线教育内容的多样性[17],同时有助于年轻教师的成长。人工智能技术为abMOOC实施众包策略提供催化剂,不仅可以通过优化算法对学习者“赞”或“踩”动态排序,而且借助关联规则、强化学习算法、协同过滤算法、语义理解等,考虑答案与问题的相关性、内容质量、回答者的专业性、信誉度等综合排序,推动教育生态系统发展与进化。
[5]姜強,赵蔚等.大数据背景下的精准个性化学习路径挖掘研究——基于AprioriAII的群体行为分析[J]电化教育研究,2018,39(2):45-52.
[6]菅保霞,姜强等.大数据背景下自适应学习个性特征模型研究——基于元分析视角[J].远程教育杂志,2017,35(4):87-96.
[7] Mavroudi A,Ciannakos M,et al.Supporting adaptive learning pathwaysthrough the use of leaming analytics:Developments. challenges and futureoppmtunities[J].lnteractive Leaming Environments,2018,26(2):206-220.
[8]詹国辉,熊菲等.面向大数据的计算社会科学:一种诠释社会现象的新范式[J].科学技术哲学研究,2018,35(3):100-104.
[9]孙洁,姜强等.大数据背景下在线视频点击流行为可视化分析与思考——以香港科技大学VisMOOC项目为例[J].现代远距离教育,2017,(4):51-62.
[10]孙洁.基于学习分析的自适应学习设计及应用研究[D].长春:东北师范大学,2019.
[11]杨现民,,骆娇娇等.数据驱动教学:大数据时代教学范式的新走向[J]电化教育研究,2017,38(12):13-20.
[12]姜强,赵蔚等.自适应学习系统中双向适应交互评价实证研究[J].现代远程教育研究,2013.(5):106-112.
[13]牟智佳.“人工智能+”时代的个性化学习理论重思与开解[J].远程教育杂志,2017,35(3):22-30.
[14]跟它学教育.智能个性化自适应学习平台[EB/OL].http://www.gtstudy.cn/.2019-01-01.
[15]姜强赵蔚.多元化媒体资源适应陛推送及可视化序列导航研究[J]开放教育研究,2015,21(2):106-112.
[16] Heffernan N T.Ostrow K S,et aI.The Future of Adaptive Leaming:Does the Crowd Hold the Key?[J].lnternational Journal of ArtificialIntelligence in Education,2016,26(2):615-644.
[17] Saxton G D,Oh 0,et aI.Rules of cmwdsourcing: ModeLs,issuesand systems of control[J].lnformation Systems Management,2013.30(1):2-20.
[18] Kinshuk.Roadmap for Adaptive and Personalized Leaming in UbiquitousEnvironments[A].Kinshuk,Ronghuai Huang.Ubiquitous Learning Environments and Technologies[C].Berlin Heidelberg:Springer-Verlag,2015.1-13.
[19] Grawemeyer B,Mavrikis M,et al.Affective leaming:impmving engagementand enhancing leaming with affect-aware feedhack[J].User Modeling andUser-Adapted Interaction 2017,27(1):119-158.