从“数据”角度解读第六届LAK会议研究案例
2017-07-19陈鹏宇
陈鹏宇
[摘要]本研究对最新一期的学习分析领域的重要国际会议——学习分析与知识国际会议(Learning Analyticsand Knowledge Conference)所收录文章进行梳理与研究,着眼于实证类研究中对数据的收集、处理与呈现过程,从“数据”这个视角解读未来学习分析领域的价值与趋势。
[关键词]学习分析;数据;LAK
一、研究背景
学习分析技术最先出现在商业领域和社交网络领域,是指通过应用数据分析为教育系统的各级决策提供参考。最早以Academic Analysis即“学术分析”这一概念出现。直到2005年,学习促进会发布的报告中首次正式地提出了Learning Analytics——“学习分析”这一概念。
当前被广泛使用的定义一是学习分析与知识国际会议(LAK)年会上对学习分析的界定,即为了理解和优化学习及其发生的环境,对学习者及其所处情境的数据进行收集、分析以及形成报告。二是新媒体联盟在地平线报告中提出的界定,学习分析是以评估学生学业进展,预测未来表现,发现潜在问题和目的,对学生的大量数据进行解释的过程。
第六届LAK会议即最新一届会议,于2016年5月在英国爱丁堡大学举办。该次会议主题包括对话分析、学习者模型、可视化分析与仪表盘、机构视角的学习分析、理论概念模型、XAPI等。上述各个主题所收录的研究报告均强调了数据的重要性,大数据为教育宏观与微观决策提供科学可靠的依据。同时又否定了唯数据论的观点,认为只有冰冷的数据被赋予了教育的意义与人文的温度,学习分析才能够在理论与实践中体现最大价值,实现从大数据变为大影响。
数据是学习分析得以实现价值的基础,好的数据采集点,好的计算模型以及好的练习样本都是决定学习分析工具能否解决实际教学问题的关键。本研究立足于数据,围绕“数据从何而来”,“数据如何处理”,“数据被用到何处”三个核心问题,对2016年LAK的收录的相关文献进行分析,重点关注实证类文献有关数据的收集、处理与分析的部分,力求回答三个关键问题。旨在通过介绍国际优秀的学习分析案例中对数据的相关处理环节,扩大研究结果的共享价值,从而推进学习分析技术与工具在教学实践中的推广。
二、案例分析
(一)数据收集
学习分析涉及范围十分宽广,既有在线的教学也有线上线下相结合的教学。不同的学习环境,学习的过程数据的采集与捕捉的方式也不尽相同。
1.传统课堂
长久以来传统课堂的学习的效果、交互、绩效都是以结果数据——考试、平时成绩来进行评估。但是随着对过程的重视,单一的结果数据已经不能够满足大家的需求。因此,眼动仪、动作捕捉等人工智能技术被应用在了教育领域。ShuchiGrover等人为了解决在K12教育中合作学习问题的,通过引进Kinect与Monitors Eye Gaze等仪器工具,捕捉学生的表情、动作、眼神来评估协作学习小组成员的接近性、参与度、共同关注、交流、话题转换、活跃水平全面深入的评价小组协作学习的过程,增加了评价的深度与广度。
2.在线学习环境
许多高校、中小学一般都拥有功能比较完整的在线学习系统,大部分在线学习系统除了承担在线教学以外,往往还具备一定记录与评价功能。在原有工具基础上,在数据库挖掘相关数据用于描述学生学习过程、教师教学效果。Poquet等人通过将一般的在线行为与课程内容任务进行结合,细分为四个表征指标。观看视频的暂停与播放、视频附问题的回答正确率,课后练习正确率,课程中问题的回答正确率,以此作为预测学生期末考试成绩的预测参考。除了容易通过简单计算得出的数据以外,还有一部分研究者将目光方式在包含等多感情、线索的内容文本上,采用语义分析的现有工具对在线交流以及协作文本进行分析。由此可以衍生出来对学生情感情绪的分析,以及对认知存在感水平的判断与分析。
(二)数据处理
收集的第一手数据往往无法直接使用,需要通过清洗与计算才能够发挥作用。其中计算是数据处理过程中最为核心的环节。根据使用学习分析技术的目的不同,对数据的计算与处理方式也有所不同。
在预警系统或者预测模型中逻辑回归方程、贝叶斯模型是最为常见的算法。密歇根大学的Michael等人将利用逻辑回归方程,根据学生在过去学习活动的发生曲線来推测未来的学习过程中该学习活动发生的可能性,从而预测学生的学习状态发展趋势。
而在对预测与评估学生知识掌握程度与智能教学的学习分析工具中,贝叶斯模型则是较为常见的算法。奥地利格拉茨技术大学Behnam等人将贝叶斯模型用于一位数乘法的数学教学中。他们将贝叶斯模型结合机器学习,根据学生出现不同类型错误答案的概率预先判断学生可能存在的观念误区,从而帮助教师提供有针对性的教学干预。以色列本·古里安大学的Yossi等人基于贝叶斯模型创造了知识追踪的算法。该算法的变量包括部分学习成绩、多次尝试解决问题的推理步骤与所使用解决方法的难度。
(三)数据呈现
任何一个学习过程都会产生繁杂的数据,在计算机与智能设备的辅助与支持下存储与采集这些数据的瓶颈日益消失。如何简明扼要且高效地将数据呈现给非专业认识的普通用户——学生、教师与决策者。从研究案例来看,为用户提供选择权利,参与指标的定制能够有效提高数据的针对性,简化呈现结果,提高用户体验。Muslim等人从价值的角度制定一个可以私人定制适合自己的评价指标。这个学习指标工具从LMS到MOOC等等各种可能的学习系统。这个工具设计了一些系列比较人性化的功能,如何定义指标,如何可视化指标,从支持个人的自主学习和个性化学习的而角度以私人定制的方式来引导非专业人士制定适合于自己的学习评价指标。
三、讨论
(一)学习分析工具从实验室走向学校
在以往IJAK收录的学习分析相关研究显示学习分析工具在实验中的效果很好但是总是遇到推广难的问题。一方面是因为用于建模的数据量不够,所得出的模型无法适应于复杂的真实环境。另外一方面一些评价工具所确定的指标与教师、学生、机构的需求并不匹配,真实教学中人们并不追求科学与完整性,人们更加关心的解决问题的效率与效用。
因此大规模应用于真实学习环境中的学习工具一般为切实解决实际问题的简单工具。例如鲁汶大学的“红绿灯”预警系统仅仅关从资源与时间这两个点入手,通过计算资源的使用率与学生花费在资源上的时间来建立学习预警系统。这种较为简单的学习投入表征指标让该预警系统在推广上更加容易。
(二)结果的可视化
可视化是指将数据以图形等方式将数据反映的结果呈现出来。研究表明可视化能够有效地减轻人们的认知负担,帮助使用者更加快速地获得学会最关键的重要信息。在LAK会议收录的研究中许多工具并没有在核心基础算法创新上花费力气,而是在匠心独运,在最后的分析结果的呈现效果上做了许多可视化的设计。Unizin Sentiment VisuMizer工具通过分词技术,根据单词使用的频率做成文字云的形式,使用频率越高的词语显示的字体也就越大,这样能够让学生与教师非常直观地了解到一段时间内小组、个人习惯使用的词语,从而判断学生的情感状态以及关注的知识要点。
(三)指标的精细化与针对性
在早期的学习分析软件中,具体分析的指标的粒度是比较大的。例如一些工具用登录次数、参加讨论次数以及在线时长来表征学生的参与度。而在本次会议中不乏一次与教学内容与活动的设计紧密结合的表征指标。Pardo等人将预测成绩的指标细化到观看视频的暂停和播放、视频附在后面问题的回答率,练习正确率,课程中问题的回答正确率。这些精细化的指标能够准确地预测学生的学术水平,为教师提供干预的决策依据。
四、结论与展望
从2016年的学习分析大会收录的论文,可以看出学习分析从最初的概念的界定与实验室的探索逐渐沉淀到教学实践中。人们不再追求精美而复杂的数据模型,而是强调广泛的适用性与可推广性。從实验室走向教室,从繁复走向精简。这是学习分析的发展趋势。在大数据的背景下,依托学习分析,老师的教与学生的学将能够得到精准的描述与预测,教育不再一种只可意会不可言传的社会性活动,它也能够像自然科学一样,获取过程性证据,让每个步骤都有据可寻。同时学习分析还解放了学生与教师,通过实时地评估与描述,准确的语义分析,帮助教学参与者从繁杂的分析工作的解脱出来,腾出更多的精力来思考如何改进教学。同时学习分析为个性化学习提供了极大的方便与支持,在目前网络教学与面授教学师生比都存在较大压力的今天,学习分析将自动化发挥了它的最大效用,让每个学生都能够获得全面且深入的评估,提高他们的被关注感,提高存在感,进而促进学习。
(责任编辑:桂杉杉)