人体动作自动识别在智能课堂中的研究

蔡琼 陈鹏慧

摘 要：传统的教育已经面临严峻的挑战，智能课堂将慢慢取代传统的课堂。在智能课堂中，将通过人体动作（体感）自动识别和云端将相应的信息传递给学生手中的智能端（手机或平板电脑）。通过蓝牙脑电波设备将学生学习的状态传送给控制端，实时提醒教师进行课堂干预和管理。

关键词：人体动作;自动识别;智能课堂

中图分类号：F27 文献标识码：Adoi：10.19311/j.cnki.16723198.2021.06.021

现在国内高职教育，每个课堂人数还比较多，教师要兼顾课堂教学进度、教学质量、互动效果，往往做的不那么全面，教学效果也就大打折扣。教师也往往疲于奔命于教师授和学生是否听这个死循环中。研究者一直在探讨下一代的学习会变成什么样子，有什么样的可能性。教学活动中教师、学生、辅助工具等因素在教育教育过程中是一个整体，它们相互作用和相互影响制约，它们通过反馈完成。因此教学过程中的反馈的作用很关键，在教学中如果忽视教学反馈的作用，学生的学习效果会大打折扣。如何设计一个聪明（Smart）的课堂，通过信息甄别，能够使得教师更好的接收到学生的信息，高效的进行反馈。目前传统课堂已经有些无法满足新时代的学生需求。如何将学生留在课堂且不成为上课低头族，必须将课程进行创新，高科技融入现代的课堂中成了教育学者一直在思考的问题。因此，智能课堂开始进入大家的视线。目前国内外学者已经做了大量的研究，赛胜公司研发了一套产品，通过互动反馈技术（IRS），使得同学们利用遥控器参与到教学活动中，并将结果以投影实时显示，并将数据记录在后台。使得学生上课的时候不再和稀泥，能有效的提高学生上课的参与度，但它有它的缺点，在布线时候存在一定的困难，不够灵活。哈佛大学使用了一种IRS系统。这种交互式学习工具箱（ILT）能灵活的将各种手持设备红外表决器、手机、平板电脑、笔记本电脑等终端设备通过无线网络连接到一起，实现师生online实时互动，提高了教学效果。本文在研究者的基础上，研究了一种基于人体动作识别的互动式课堂，将高科技融入了课堂提供了一种可能性。在智能课堂的研究中应兼顾教学互动的同事还兼顾了教育公平，它削弱了师资力量的分配不平衡和地域差异注定了教育的不公。

1 人体动作識别

众所周知，人类在认知世界获取信息中最主要的部分来自视觉，他是人类认知世界的关键途径。随着科技的发展现代生活的智能化、自动化，计算机视觉成了学者研究的热点问题之一，人体动作识别就是其中最具挑战领域。近些年来人体动作识别研究取得了较大的发展，在现实生活中这个课题离我们越来越近，已经广泛应用于人机交互、虚拟实现等领域中。人体动作识别主要涉及计算机视觉、图像处理、数据挖掘模式识别等。其中在智能游戏中，通过识别人体的动作来代替传统的游戏手柄，通过感应人的动作（体感），使得游戏更加的逼真好玩;医院的智能看护系统中，通过摄像头采集视觉信息，通过识别关键动作信息，识别病患的意图，并将相应信息反馈给护理人员，将潜在危险遏制;在智能监控系统中，在无人值班的情况下，通过视频中人体动作的识别，自动的预警异常情况的发生，提高监控效率。在客运防疲劳监控系统中，实时监测驾驶司机打哈欠和眯眼的动作，防止驾驶员打瞌睡，减少交通事故发生的可能性，保障人们的安全。在老龄化严重的今天，很多老人独居在家中，因此研究智能家居服务机器人监控老人在家中跌倒等异常行为的检测，提高家庭的幸福指数。人体动作识别成了计算机视觉领域图像识别的热点研究问题，在人机交互、视频检索、智能控制实现中的应用广泛。已经有学者开始慢慢研究人体动作识别在智能课堂中的应用。一般来说人体动作识别一般分为三步。基于视频的人体动作识别首先从图像中检测运动信息并提取动作的特征信息，该步骤是动作识别中最重要的一步，他直接影响到识别系统的稳定和准确性。然后通过所提取的动作特征信息建立动作模型。最后通过学习分类器建立对应关系，学习分类器表示特征和动作类别高层语义信息。目前人体动作识别率已经比较高，在各种数据集中的典型动作如闭眼、睁眼、接电话、奔跑、抽烟、吃东西、打架、下车、拥抱、挥手、接吻、坐下、起立、静止站立、旋转、跳跃等识别率已经比较高。因此可以尝试将其应用到智能课堂中来检测教师在进行课堂教学中的各种动作指示，有效的辅助教学，提高课堂的智能化。

2 人体动作自动识别在智能课堂中的研究

教师的差异化一直影响着教育的公平，如何使得教育在小环境下（班级）的公平，使得每个学生都能理解到教师的意图，单靠学生自己肯定是不行的，这里可通过高科技的设备，构建人体动作识别系统。通过3D传感器的自动识别出教师的意图，学生通过智能手机应用程序给出相应的反馈，教师根据控制端实时的情况给出相应的反馈，构建真正意义上的公平的智能课堂。

2.1 传感器及坐标系选择

人体动作自动识别的传感器选择为微软旗下的Kinect，这款传感器还应用于微软所生产的体感游戏机x-box360等。Kinect共有三个摄像头，分别为RGB彩色摄影机1个，3D光深度传感器2个。Kinect底座上有一个马达会随着对焦物体移动而自动移动。它还包括四个麦克风，可以进行声音识别和声源定位。对于Kinect传感器微软公司提供了二次开发平台，供研究者进行功能拓展。在进行基于3D传感器Kinect的人体动作识别，建立右手笛卡尔世界坐标系，其中原点为Kinect传感器安装的位置，z轴方向为传感器指向的方向，y轴正向朝上，从Kinect传感器方向看x轴正向朝左。

2.2 典型动作的确定

在人体动作识别时，需要确定需要识别的动作，创建动作库。教师在进行教学工作中，上课步骤一般为四步教学法，依次讲解、示范、模拟、总结，对于教师来说希望学生做的就是认真听讲、主动思考、参与互动。这里我们可以将它们对应三个典型的动作。认真听讲对应的动作定义为低头，主动思考的动作定义为静止，参与互动的动作定义为挥手。系统通过自动识别这三个典型动作，将对应的指令发回到智能手机的同事将对应PPT和教案所涉及的地方进行实时的提醒和定位。若需对学生的要求更多，只需要在典型动作库中加入识别率较高的动作即可。通过典型动作的识别，学生不需要猜测教师的意图通过智能手机即可能实时的跟住教师的节奏，提高学习效率。

2.3 反馈

教师通过学生反馈端将状态实时反馈给教师。通过蓝牙脑电传感器，该脑电波采集模块分析脑电波。测出学生上课的实时状态，给出对应的报告供教师分析。根据对应的报告。并在正确的时机运用反馈，提高教学效果使得其达到最优状态。教学过程的反馈一般分为正时差反馈，同步反馈和负时差反馈，它们是通过反馈的时间点来区别的。正向反馈是指提前预料到的情况，教师在上课已经提前做好的准备;同步反馈是在教学过程中根据教师和学生之间的实时互动获取的反馈信息;负时反馈则是指在课程结束后，教师通过交流、作业互动等方式获取的学生学习心理情况。这里通过系统所反馈的学生状态信息，将对应的反馈加入实时反馈和负时反馈中来。

3 智能课堂的展望

如果教师不改变自己，只是照本宣科讲授，未来必将被机器人所取代。工业4.0时代已经到来，传统教育即将被信息社會所淘汰。未来的课堂必定是智能课堂。新的教育模式成为我国教育目前的迫切研究的问题。如何研究出能培养学生个性、差异化的教育模式。在微软2015愿景中提到，未来的教和学将变成这样，在未来的教室里，可折叠的桌椅上有一个触摸式平板电脑（可弯曲平板）加上3D打印机实时打印所需要的模型，学生通过移动终端学习，教师面对面在课堂中组织一个又一个生动的教学活动。还有教师不会面对面教授而是在所涉及的实景直观的教授。未来的教师如何适应移动互联、体感（人体动作识别）、意念识读等新技术的扑面而来，而不被淹没的高科技浪潮中，未来教师就跟需要做教的引导者和组织者，通过在工业4.0时代先进的信息技术，改变角色，使其自主学习先进的知识。无论主动还是被动，身处在这个新的时代，教师都必须勇于改变，否则必将被未来的教育革命所淘汰。

参考文献

[1]徐光祐，曹媛媛.动作识别与行为理解综述[J].中国图像图形学报，2009，14（2）：189195.

[2]李瑞峰，王亮亮，王珂，等.人体动作行为识别研究综述[J].模式识别与人工智能，2014，31（1）：986992.

[3]郭利，姬晓飞，李平，等.基于混合特征的人体动作识别改进算法[J].计算机应用研究，2013，30（2）：601604.

[4]蔡琼.判别式BoW分析结合自适应码本学习的人体动作识别.计算机应用研究，2016，5：15761580.

[5]刘婧.基于人体关节点的多人吸烟动作识别算法[J].计算机工程与应用，2020.