计算机视觉识别技术在“智慧课堂”中的应用研究分析

王鹏程

(湖南民族职业学院，湖南岳阳414000)

1 计算机视觉识别技术概述

互联网技术的普及已经是必然趋势，传统的数据存储与数据传输已经无法满足现代信息社会的节奏快、效率高、稳定强等需求。计算机数据的稳定传输是依靠各种IT 设备(如交换机、服务器、PC)支持的，大量的数据传输所需的大量IT 设备则需要依托大型的数据机房来保证专业的电力系统及运行环境的安全。视觉识别技术是以计算机技术和通信技术的发展为基础的综合性科学技术，归根到底它是一种高度自动化的信息或者数据采集技术[1]。

2 信息化时代智慧课堂教育特征

所谓智慧课堂，是以建构主义学习理论为依据，以“互联网+”的思维方式和大数据、云计算等新一代信息技术打造的智能、高效的课堂。它是基于动态学习数据分析和“云、网、端”的运用，实现教学决策数据化、评价反馈即时化、交流互动立体化、资源推送智能化(见图1),创设有利于协作交流和意义建构的学习环境。智慧课堂的核心概念为：主动学习、学生参与、综合式课程设计。智慧课堂学习，教师课前必须投入更多时间、心力、更高专业技术、成本去结合教学内容。这种学习形式也让学生在课前必须投入长时间自主学习，在课堂上可与教师进行更深入的交流讨论，并提升与他人互动、合作学习，一同完成任务的能力[2]。

图1 信息化时代智慧课堂教育特征

作为科技行业巨头的阿里、腾讯、百度、华为、科大讯飞、英特尔、平安科技等公司对智慧教育提出了相应的解决方案，下面将分别介绍目前国内几种智慧课堂实现方案及特色。畅言智慧课堂核心技术有跨平台的多屏互动方法、装置及系统、全过程动态学习评价、智能翻译、智能批改、语音搜索等。

阿里巴巴推出了AliOS 智慧教育解决方案，智慧课堂是AliOS 场景化产品之一。该智慧课堂主要有以下三个特点:第一，实现了教育设备互联和统一管理，其中教育设备包括教育平板、教学一体机、电子班牌和学生手表等。第二，针对学生访问的网址、内容和应用进行安全防护。第三，建立EDUsuite 接入ISV 生态，满足学生教学需求，打破内容孤岛。腾讯智慧课堂提供软硬件一体化解决方案，通过AI 学情分析,实现因材施教，提高教学质量及学习效率。产品特点包括物联感知的智慧教室、包含直播录播和实时在线课堂等多教学模式以及包含课堂交互分析、学生表情识别和行为识别、教师语音转写和处理的课程评价和分析。

图2 智慧课堂教学流程

智慧课堂的特征是基于动态学习数据分析，智慧课堂从依赖于存在教师头脑中的教学经验转向依赖于对海量教学数据的分析。基于计算机视觉识别技术的智慧课堂通过在单一物理服务器上运行多台虚拟机(VM),计算机资源的利用可以得到显著提升。最终结果便是数据中心内硬件、能耗、冷却与空间需求降低了。智慧课堂教学可根据需求实时反馈评价结果。

3 新时代智慧课堂在教育中应用现状及优势

3.1 应用现状

第一，智慧课堂是基于“互联网+”的智慧终端设备，精准安排下一步教学，以实现个性化教学，将因材施教落到实处。第二，有效地形成性评价手段能够激发学生的思考热情和学习兴趣。传统课堂上，教师一般总是喜欢提问善于表达和积极举手的学生，从而使一部分学生失去了参与感。而智慧终端则是随机抽取，每一位学生都有被选中的可能，因此便会激发所有学生思考，让学生的思维始终保持在积极活跃的思考状态。第三，“一对一”的学习环境可以实现个性化的教与学。

图3 智慧课堂教学设计

智慧课堂是新时代课堂教学的一场革命，只有通过大胆实践、不断创新，积极开展利用智能技术加快推动人才培养模式、教学方法改革，探索泛在、灵活、智能的教育教学新环境建设与应用，才能引领推动中小学深入推进适合学生学习和思维发展规律的课堂教学新模式，为培养具有“创新精神、实践能力”的一代新人发挥重要作用。针对激发学生学习动机，让学生可于课前在网络上进行合作学习，或由电子书或自行探索在线资源方式获得印证或解答。学生在课堂探索电子书时，可和同学一起进行创造性学习专题，学习探索更多相关议题，教师也可在旁适当地给予协助及带动更多的讨论。与传统课堂不同的地方在于，智慧课堂虽于课前观看教学影片或教师准备之资料，并进行自我评估，但其课前的学习动机或许为被动式，学生无法与教材(影片)互动[3]。

3.2 智慧课堂教学的学生学习成效

学生于教学前、后进行成功智能(STAT)测验、成就测验及学习态度测量，其平均数和标准差如表1 所示。从表中可知，在组间差异方面，实验组后测平均分数均高于对照组(不论是STAT、成就测验或态度量表)；就组内的比较观察可知，后测平均分数均高于前测平均分数(不论是实验组或是对照组)。至于实验组和对照组前后测平均分数，是否具有统计上显著差异的意义，将使用独立

表1 实验组和对照组学习成效之平均数与标准差

样本单因子共变量分析和相依样本t 考验进一步检验[4]。

本研究以独立样本单因子共变量分析，了解学生成就智能表现在智慧课堂教学前后是否有显著差异。首先，以教学模式(组别)为自变项，STAT 后测总得分为依变项，STAT 前测总得分为共变量，进行组内回归系数同质性检定；结果未达显著水平(F＝1.439；P＝0.235＞0.05) ，接受虚无假设，表示实验组和对照组回归线的斜率相同，显示STAT 前测分数与组别(教学模式)之间没有显著的交互作用，可以两组学生之前测分数为共变量，以调整未经实验处理前，实验组与对照组学生既有的差异，继续进行独立样本单因子共变量分析。两组学生的STAT前后测分数经独立样本单因子共变量分析的考验结果如表3所示。由表3 可知，排除前测成绩(共变项)对后测成绩(依变项) 的影响后，自变项对依变项的影响效果检定之F 值为14.282(P＝0.000＜0.05)，达到显著水平，表示受试者的后测成绩会因教学法方式的不同而有所差异。由此可知翻转课堂教学和传统教学模式教学(自变项)的实验处理对于学生成功智能测验分数造成的效果具有显著的不同。

表2 实验组和对照组STAT总测验的单因子共变量分析摘要

4 计算机视觉识别技术在智慧课堂中应用

计算机视觉识别技术通过利用人脸识别、表情识别、文字识别、姿态识别、目标追踪等多种深度学习方法智能化分析学生和教师的上课状态，针对性地进行资源推送。为构建基于学情的智慧课堂服务师生，计算机视觉识别技术在智慧课堂中应用具体如下：学生疑惑度分析、教师生动度分析、黑板知识点检测和基于学情的知识点推荐[5]。

4.1 学生疑惑度分析

在将计算机视觉识别技术应用到智慧课堂构建中，首先要克服在课堂环境下视频中人脸较多，而单张人脸像素较低的难点，利用计算机识别技术的MTCNN 模型和Insgihtface 模型实现人脸检测以及人脸身份的高精确度。在单人单帧人脸状态分析上，利用静态表情识别模型给出最初始的判断之后，将人脸双眼以及鼻子三个关键点角度的检测纳入专注度评判标准，修正静态表情识别模型的最初结果，每个学生得出专注、困惑、正常三种上课状态。在单秒学生状态分析上，提出30 帧一秒的策略，对30 个单帧人脸疑惑度状态分析结果进行加权后得出此秒学生状态。对没有检测到学生人脸的帧以及秒数进行最近相似平滑处理，此秒结果如空缺，则相似于该学生最近检测状态，并且在此状态上波动，直到发现新的状态为止。

通过对学生关于当前知识点的疑惑状态，根据其疑惑情况，学习资源推荐模块向手机终端发送个性化、针对性的PPT、博客、视频等学习资源。

4.2 教师生动度分析

在课堂上，教师的行为状态可以反映出许多信息，比如从教师的授课语气以及授课姿态变化中，可以看出当前学生的上课状态以及当前知识点的重要程度，这些信息可以用来辅助智慧课堂的建设。

在将计算机视觉识别技术应用到智慧课堂构建中，需要针对课堂视频中的授课教师进行目标定位，然后再进行姿态识别、生动度计算。目标定位使用计算机MTCNN+InsightFace 人脸识别方法，框出视频中教师的人脸。姿态识别使用Open‐Pose 模型，检测出视频帧中人体姿态关键点的位置。生动度计算使用相邻若干帧的教师姿态关键点的欧式距离。最后得出课堂中教师生动度变化曲线，为智慧课堂的其他部分提供教师授课状态时间流信息。

4.3 黑板知识点检测

黑板在课堂中扮演着至关重要的角色，该模块关注于课堂教学过程中知识点讲述时间流，设计并实现能够自动分析课堂教学过程中知识点时间流的模块。

在将计算机视觉识别技术应用到智慧课堂构建中可以通过对YOLOv3 算法的适应性改变以应用于对课堂黑板的位置检测，继而将CTPN 网络与DenseNet 网络相结合，实现对于黑板中文字位置的检测与内容的识别，将识别结果与自定义知识库内容通过正则表达检索，分析课堂实时知识点内容。实时课堂知识点与学生当前疑惑度相结合进行分析，可以判断学生对当前知识点是否疑惑，并进行疑惑知识点的复习推荐。同时老师能够掌握学生的学习情况，搭建双方沟通桥梁，服务师生。

4.4 基于学情知识点推荐

为了最大限度地提升高校学生课堂学习效率，根据学情实时解决学生面对各个知识点产生的疑惑，需要对困惑学生及时推送相关知识点辅助资源。一个良好的模型不仅要执行速度快，而且要能推送最有效且个性化的辅助学习资源。

在将计算机视觉识别技术应用到智慧课堂构建中拟采用基于知识表示的(Knowledge Representation,KR)Surprise 模型构建学习者之间、学习资源之间的相互关系，利用协同过滤算法构建推荐引擎对KR 模型产生语义关系进行评分预测产生有效推荐条目，以消息队列的方式推荐给学生客户端。

5 结束语

智慧课堂面对学生可以分析其面部状况，面对老师可以分析其上课情况，面对黑板可以提取上课内容，获取课堂上教师姿态生动度、学生疑惑度、黑板知识点的所有信息，能根据学生上课情况，及时进行疑惑知识点的推送。互联网+教育融合创新不断发展，教育信息化推动质量提升形成内在动力，智慧教育和智慧课堂正在发生深刻变革与转型。