智慧教育背景下高校学生课堂行为数据挖掘与利用

柯斌 芦俊佳

摘要：在智慧教育的大背景下，教育大数据得到普遍重视，高校学生课堂行为数据作为教学过程数据成为现代教育的一个研究热点。以云南省X高校课堂原始视频为基础，对学生课堂行为进行了初步分类，并指出四个学生课堂行为数据挖掘利用方向：教学过程监测、学生学习风格分析、学生成绩预测预警、教师课堂教学评价。最后，提出两个后续研究方向：建立深度学习算法模型实现学生课堂行为自动识别、开发学生课堂行为应用软件。

关键词：智慧教育;高校;学生课堂行为;数据挖掘

中图分类号：G642        文献标识码：A

文章编号：1009-3044（2020）26-0148-03

Abstract： Under the context of smart education， education big data has been widely valued. As the data of teaching process， classroom behavior data of college students has become a research hotspot of modern education. Based on the original classroom video of X university in Yunnan Province， this paper preliminarily classifies the student classroom behaviors， and points out four directions of data mining and utilization of student classroom behavior： teaching process monitoring， students' learning style analysis， students' performance prediction and early warning， teachers' classroom teaching evaluation. Finally， two research directions are put forward： establishing deep learning algorithm model to realize automatic action recognition of student classroom behavior， and developing the application software of student classroom behavior.

Key words： smart education; universities; student classroom behavior; data mining

在传统教学中，学生的课程成绩等教学结果数据普遍得到重视，而教学过程数据如学生课堂行为数据并没有引起重视，随着机器学习在教育领域的交叉融合，代表着现代教育新方向的智慧教育慢慢得到普及和认可，教育大数据在教学过程中起到的作用得到越来越多的重视[1]，而以学生课堂行为数据为代表的教学过程数据成为智慧教育的一个新的突破口。

学生课堂行为是指学生在课堂教学过程中表现出来的行为总和，包括学习行為和非学习行为。学习行为主要有听讲、阅读、笔记、与老师语言交流等;非学习行为有玩手机、打盹睡觉、其他非学习活动等，任何课堂行为都是教学过程中反映学生学习的重要数据，因此课堂是收集和挖掘教学过程数据最好的地方。这些数据经过机器学习样本训练和特征提取后，可以自动识别课堂行为，最后进行数据挖掘利用，因此在教学过程监测、教学决策辅助、智慧教育[2]等方面具有重要的现实意义。

1 学生课堂行为分类

原始数据来源于云南省X高校阶梯教室拍摄的学生上课视频，经过后期剪辑、抽帧、学生样本抠图等预处理后得到机器学习的训练和测试数据，如图1所示，是学生课堂行为视频截图，红色矩形框标示出来的5个学生是比较理想的样本数据。经过统计分析，学习行为主要包括以下五大类：（1）听讲，指学生看黑板的动作行为，是最主要的学习行为;（2）阅读，指学生看书阅读的动作行为，也是常见的学习行为;（3）笔记，指学生书写记笔记的动作行为，是重要的学习行为，它是学习积极性的重要体现同时对学习成绩影响也比较大;（4）拍照，指学生举起手机拍摄课件的动作行为，虽然所占比例不多但也是记笔记的一种，属于学习行为，可以看出现今课堂上手机操作不一定都是非学习行为，它具有两面性，不能进行简单地否定;（5）师生交流，指学生与教师进行语言互动的动作行为，虽然所占比例很小但也是重要的学习行为。非学习行为主要包括三大类：（1）玩手机，指学生在课桌上面操作手机和课桌下低头操作手机两个动作行为，在大学课堂中属于比较典型的非学习行为;（2）睡觉，指学生趴在课桌上打盹睡觉的动作行为，也是常见的非学习行为;（3）其他，指左顾右盼、私底下讲话、注意力不集中、玩指甲、玩东西、整理衣物、打哈欠、喝水、按摩眼睛等与学习无关但经常出现的动作行为，种类较多且动作姿态特征较复杂。如表1所示，是学生课堂行为分类特征表，对各种行为的动作姿态特征进行了总结，为后继的深度学习行为识别提供基础。

2 学生课堂行为数据挖掘和利用

经过大量样本训练后，机器学习算法在一定程度上掌握了学生课堂行为的特征，可以自动识别学生课堂行为，从而进行数据挖掘利用。如图2所示，是学生课堂行为数据挖掘和利用的流程图：在教学过程中，采集到的学生课堂行为数据经过预处理和识别分析后，得到的这些教学过程数据可以反馈给后面的教学，对后面的教学进行干涉、辅助，以更好地进行教学，直至教学结束完成教学评估，通过几次教学循环形成良好的教学环境，最终提高教学质量。学生课堂行为数据的具体应用大体可以分为以下四个方向。

2.1 教学过程监测

教学过程监测是最基本的应用，通过不断反馈教学过程数据，教师可以主动的调整教学策略。学生整体学习行为的变化显示出学生整体对某个章节教学内容的接受程度和关注程度：接受程度高，说明教学内容简单学生容易理解，教师就可以把重难点放在其他部分;接受程度低，说明教学内容较难、学生难以长时间集中注意力学习，教师应该降低这部分教学内容的难度或者调整一下教学方式让学生更容易理解;关注程度高，说明学生整体感兴趣，教师应该以此为切入点抓住学生注意力加强学习效果;关注程度低，说明学生整体不感兴趣，教师应该调整教学方式以获得学生的关注。

2.2 学生学习风格分析

通过学生课堂行为识别，可以得到真实可靠的数据，分析出单个学生的学习风格、习惯和特点，甚至发现学生的兴趣点和特长。对于学生而言，可以了解自己的学习状态，更快地找到自己的兴趣点和学习方向，提高学习效率和效果;对于教师而言，可以更加了解自己的每个学生，从而实现因人施教和个性化教育，最终提高教学效果。另外，对优秀学生的课堂行为进行分析，可以总结出相应的学习习惯和经验，对其他学习能力较弱的同学可以起到借鉴引导作用。

2.3 学生成绩预测和预警

学生课堂行为可以表明一个学生在课堂学习中的投入程度，这些数据可以对学生的课程成绩进行简单的预测，如图3所示，是模拟的学生成绩预测预警流程图：首先输入视频经过抽帧预处理后的图像序列，经过人脸识别算法确认每个学生的身份信息，下一步再通过机器学习训练生成的算法模型自动识别学生课堂行为，并进行是否是学习行为的判断，如果成立，学习行为从0开始自动加1分，如果不是，学习行为记分不变，然后一直到视频抽帧图像序列全部循环完成识别和记分，在课程学时完成四分之一或二分之一的时候就可以对学生进行学习成绩预测[3]，如果学习行为所占比例大于等于85%，则判定为“优”，如果学习行为所占比例在85%和50%之间，则判定为“良”，如果学习行为所占比例在50%和20%之间，则判定为“中”，如果学习行为所占比例小于等于20%，则判定为“差”。对于判定结果为“差”的学生，可以在课程教学周期内进行系统预警，提醒这些学生长期下去期末考试成绩可能会不合格，以便学生做出调整预防重修。同时，学生成绩预测预警系统也可以预防学生考试作弊行为，如果一个判定结果为“中”或“差”的学生期末考试成绩为高分的话，有很大可能性为作弊。另外，学生课堂行为数据本身代表平时学习状态，可以直接给予一定的权重计算到平时成绩内，最后综合期末考试成绩得到最终的课程成绩，这种平时成绩计算方式比教师完全根据平时印象打分更加客观。

2.4 教师课堂教学评价

课堂教学评价体系有多个维度和指标，传统的课堂教学评价如学生评教和督导评教等往往效率低下，且带有较强的主观性，而学生课堂行为数据因其客观性可以作为课堂教学评价的重要参考指标[4]，这种基于教育过程数据的现代化课堂评价系统自动化程度高，大大提高了效率和精准性。一般来讲，单节次的学生课堂行为数据表明了学生的课堂投入程度，可以对单次课堂的教师教学进行评价;某门课程多节次的学生课堂行为数据表明了课程整体的情况，可以对这门课程的课堂教学进行整体评价;某门课程多个学期的学生课堂行为数据的变化对比从侧面表明教师教学行为的变化和改进程度，可以对教师进行长期综合教学评价。

3 小结和展望

学生课堂行为数据具有很大的开发利用价值，但在真正应用之前，还需要做很多基础研究和系统平台开发工作，下面提出两个后续研究方向：

3.1深度学习算法模型实现学生课堂行为自动识别

学生课堂行为自动识别是后期各种应用的前提和基础，深度学习算法模型实验流程如下：（1）建立学生课堂行为数据集，主要包括视频采集、预处理和样本标注三个环节;（2）模型训练与测试，对标注好的样本进行训练集和测试集划分工作，搭建深度学习环境，运用深度学习卷积神经网络[5]算法模型比如GoogLeNet Inception V3对学生课堂行为训练集分别进行训练，接着对测试集进行测试，得出初步实验结果;（3）实验评估与改进，对初步实验结果进行分析评估，提出改进措施，对两种方法进行了分析对比，证明改进措施的合理性，通过多次改进完善，最终使算法模型达到较高的识别率。

3.2 建立学生课堂行为数据应用软件开发

在实现深度学习算法模型学生课堂行为识别和目标检测[6]、人体动作识别[7]等其他关键技术后，就是各种教学应用软件的系统开发工作。前面提出的四大具体应用方向仅仅是初步的探索，软件系统的前期需求分析还应根据各高校相关教学部门的功能需求進行充分的讨论和验证，然后进入研发和测试阶段，最后才能投入使用。

总之，教育数据挖掘[8]只是技术手段，最终目的也是为了服务于教学，学生课堂行为作为教学过程数据在现代教育行业具有巨大的应用前景，真正体现了智慧教育的优势，是现代教育的趋势方向。

参考文献：

[1] 吴砥，饶景阳，吴晨.教育大数据标准体系研究[J].开放教育研究，2020，26（2）：75-82.

[2] 杨现民，余胜泉.智慧教育体系架构与关键支撑技术[J].中国电化教育，2015（1）：77-84.

[3] 吕品，于文兵，等.基于机器学习的学生成绩预测及教学启示[J].计算机技术与发展，2019，29（4）：200-203.

[4] 罗祖兵，郭超华.新中国成立70年课堂教学评价标准的回顾与展望[J].中国教育学刊，2020（1）：55-61

[5] 周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40（6）：1229-1251.

[6] 赵永强，饶元，董世鹏，等.深度学习目标检测方法综述[J].中国图象图形学报，2020，25（4）：629-654.

[7] 黄珊珊，郭忠文，孔勇强.基于骨架模型的人体动作识别方法[J].中国海洋大学学报，2019，49（S2）：164-169.

[8] 周庆，牟超，杨丹.教育数据挖掘研究进展综述[J].软件学报，2015，26（11）：3026-3042.

【通联编辑：王力】