行为识别技术在教学中应用的探讨

金瑭

摘要；随着国家对教育重视力度的不断加大，教育质量成为一个关键问题，而如何评判教育质量也成为一个课题，传统的评判方法过于强调应试选拔的功效，过于注重量化和传统的笔试测验方法，已不能适应时代的进步要求，并不能全面的反应教学质量。当代的教学应更加注重学生和教师的全面综合素质，教学中的互动及学生给予的课堂现场反馈往往更能反映教学质量的高低，对于人才的培养及学生个人思维模式的形成，学习方法的掌握更有帮助。为了将教学质量提升一个更高的层次，提高学生的个人及教师的综合素质全面发展，应引人更为科学，高效，准确的评判方法，本文将探讨如何运用行为识别技术对教学质量进行评判，通过教师在课堂上的最真实的语言动作表现，与学生的互动频率及学生给予的最直观学习状态的反馈，建立一套新颖的评估体系，打破传统固有的应试教学评判思路，从而得出更为科学的分析结果，为改善及提高教学质量提供数据依据，更好地建立科学的教学评价体系，为评判教育质量注入新的元素。

关键词：行为识别技术；流程；应用

中图分类号；G424 文献标识码；A 文章编号：1009-3044（2017）07-0168-03

1传统教學评价方法的利弊

教学评价是依据教学目标对教学过程及结果进行价值判断并为教学决策服务的活动，是对教学活动现实的或潜在的价值做出判断的过程。教学评价是研究教师的教和学生的学的价值的过程。

目前传统的教学评价方法主要为：

1）对学生来说，考试成绩及名次排名成为唯一判别教学质量的标准。对于一直以崇尚应试教育的中国来说，能够比较好地反映学生的学习成效。此种方法固然好，但是却忽略了对学生学习过程中的考察，忽视了学生的自我思考，自我学习的能力培养，成为了只会考试的“考试机器”。对于学生的教育，应更加强调个人的实践能力，创新精神，心理素质的培养。学生如能够独立思考，举一反三，掌握学习的方法，能够快速领会知识点，抓住核心重点，这对其的成长及发展将是一生受用的，同事也能帮助学生树立一个正确的价值观。

2）对教师来说，通过公开课集体评审打分或制定关于教学课件制作质量，教学过程中语言的运用，板书的工整，教学内容的完整性及准确性等一系列指标形成的评分表，以人为方式打分判定。该方式具有一定的合理陲，同事也具有很大的主观性和片面性，往往无法量化，不能最客观的真实地反映教师的教学水平，这种评判方式也让许多教师怨声载道。

因此有必要引入更为合理，科学的评价方法，以提高教师及学生的主观能动性，全面提高教学质量。

2行为识别技术的基本流程

行为识别技术是目前比较新兴及热门的技术，它可被广泛用于公安，城市交通，安保，影视，考勤，信息录入等多方面。我们经常能从美国大片中看到这样的场景，要从人海中搜索识别某人，并精准地确定某人位置或识别某人的声音及图像，确定某人的身份，这些都是使用行为识别技术的范例。行为识别技术是通过分析持续的一段时间内获得的目标特征数据，判别是否发生空间，位移，频率等变化，并对这些数据加以汇总提炼和重新封装，从而获得有用的数据后展现在不同应用领域中。

行为识别的基本流程为；

1）由高清摄像机拍摄高清视频后，通过滤波降噪及图像增强对所拍摄视频图像进行预处理，将视频分为多个帧序列图像。

2）实时的建立不含运动物体的基准背景模型，将当前帧图像与上一帧基准背景模型进行相减，提取出前景图像，检测出运动的目标。

3）将检测出的图像区域的面积变化，分散度变化，像素变化等信息进行保存归类并逐一定义，将某一类特定范围内的变化定义为不同的特征库模板，并用自然语言将各特征模板进行分类，如“跑，跳，站立，行走”等。

4）当检测出运动目标后，将获取的数据与特征模板进行比对，进行行为识别，判断出运动的类型。

5）识别出结果后，将这些数据应用于各种应用中。

3行为识别技术在教学中的应用

现有的对教学行为的识别评估更多的是依赖人工进行。使用人工方式对行为进行识别，需要投入大量的时间和精力。对一节课的行为进行标记，通常需要一个专职人员耗费一节半课的时间。因此自动化的机器识别方式是提高行为识别效率的优选方案。同时人工行为识别方式，由于需要控制整体识别时间，难以针对每一个学生个体的行为进行记录。如学生在听讲时，坐姿的规范程度与专心程度存在关联，具备统计价值，但用人工方式去统计每一个学生的坐姿的工作量过高，且还面临标准是否统一的问题。此外如学生回答教师提问时，每一次提问时学生的举手人数，和累计举手学生的人数（同意学生会多次举手），都会带来大量的统计量，这些数据都更适合使用机器方式来统计。试想如引入了计算机对整个课堂的教师和学生行为进行检测，归类，将会用更客观的数据反映教师的授课模式，学生的反应等，帮助教师改进教学方式，同时也能找出教学的一般规律，寻求到更能调动学生积极性和主观能动性的教学方法，大大提高教学质量。为此建立一个以行为识别技术为基础的计算机自动教学评价方式，能够以量化的方式自动识别大量视频教学课件的教学过程，代替繁重的人工识别方式，同时还可以随时根据需要将识别数据对应的行为截图，达到良好的教学评价追踪是有讨论和研究价值的。在教学过程中，可将教师和学生的行为分别进行独立识别统计，将结果的数据以各种独立或者联动的方式展现出来。

3.1基于行为识别的教学评估总体结构

在该设想结构中主要包含教师行为识别和学生行为识别两大部分，从这两部分获得的数据保存在教学过程行为识别结果数据库中，并充分地被运用，封装，重组聚合并直观的展现出来，可成为评估教学质量的利器。

3.2教师行为识别系统设想

教师行为识别主要是对课堂上教师的课堂教学过程进行行为及语音情感识别，以便统计课堂过程中教师的整体教学情况，如教师哪些时间面朝学生，哪些时间面朝黑板，在教室内来回走动了多少步或走动距离估计，以及教师说话时的语调，语速等。将这些数据提供给以后的评估系统做统计分析使用。

教师行为识别的内容可以包括：

1）人体检测：对教师视频进行人体检测，将人体区域框选出来。

2）运动检测：运用目标跟踪技术跟踪教师在教室内走动的轨迹。

3）跟蹤检测：根据教师的运动轨迹估计教师的运动距离。

4）面部朝向检测：对视频中的帧图像数据进行视频识别，对老师视频进行人脸检测，如果检测到人脸，则判定教师此时面部朝向学生，否则判定教师面部朝向黑板。

5）语音情感识别：对视频中的语音信号进行识别，判断教师当前说话的语速和语调等。

整个教师行为识别系统由上述的各个子模块依次组成，首先老师检测模块将检测到的老师信息记录（此时的位置、时间点）下来，老师跟踪模块将根据检测到的老师的位置和时间信息作为跟踪的上下文，建立跟踪过程。

人脸检测子模块是通过检测老师的人脸是否面对镜头，或者面对黑板，以此来统计整个课程中教师面对学生和面对黑板的时间。

语音情感识别将老师的语音信息作为输入，识别老师讲课的语速语调等情感因素。

在上述检测到的信息的基础上，将这些信息通过教师行为及语音情感识别数据访问子模块写入到数据库供以后的管理平台进行查询。

针对每个课程进行教师行为及语音情感识别，得出课堂教学期间老师的动作及语音情感数据等，在数据展示层进行展示。初步效果草图如图所示：

将教师行为及语音情感识别初步分为六种状态：情感温和、负面情绪、语速合适、语速过快、面朝学生、背朝学生。用基于时间线的方式展示老师在某个时间段的情感及行为状态。

3.3学生行为识别系统设想

学生行为识别主要是对课堂上每个学生的课堂学习过程进行姿态及动作识别，统计课堂的一些活动参与情况，如典型的提问问答环节。教师提出问题后，较为积极的学生将会参与举手回答，被点上名字的同学将会站立回答问题等。每个学生在不同时刻的脸部朝向也会作为学生上课专注度的一个度量。同时也可加入对课堂上每个学生的课堂学习过程进行表情识别，将每个学生在不同时刻的学习表情分为专注、疑惑、三心二意三种状态。将每个时刻检测到的人脸进行识别、获取每个人脸所对应的学生信息，并同时需要对人脸进行表情识别，将不同学生、不同时刻的表情状态写入到数据库。将这些数据提供给以后的评估系统做统计分析使用。

学生行为识别的内容可以包括：

1）人脸检测：根据教学视频中抽取的视频帧对图像中的人脸进行检测，将每个图像中检测到的多个人脸的信息进行记录（包括人脸区域的图像数据、位置、大小、角度、时间点等信息）。

2）人脸跟踪：将教学视频中连续检测到的人脸建立轨迹跟踪，形成一个个tracldet（视频中同一人脸在连续的不同的时刻检测到的关联集合）。将每一个tracldet的信息进行记录，tracklet中每个条信息即为人脸检测中的信息。

3）人脸识别；基于每一个tracklet进行人脸识别，得出tracklet的人脸是属于班级的哪一个学生。

4）人脸特征点检测：基于每一个检测出的人脸图像，运用人脸特征点检测算法得出人脸的特征点位置（如眼睛，眉毛、鼻子，嘴巴的特征点位置）。

5）表情识别：在特征点定位的基础上，进行人脸特征提取，将特征作为表情识别器的输入，将当前的人脸图像识别为专注、疑惑、三心二意三种状态之一。

6）举手检测：对视频中的帧图像数据进行视频识别，将人脸检测识别和举手检测相结合，得出在某个时刻谁举了手。

7）站立检测；对视频中的帧图像数据进行视频识别，将人脸检测识和举手检测相结合，得出在某个时刻谁站立回答了问题。

8）脸部朝向检测：对视频中的帧图像数据进行视频识别，将人脸检测识别和脸部朝向检测相结合，得出在某个时刻谁的人脸朝向数据。

整个学生人脸识别识别及表情识别系统由上述的各个子模块依次组成，首先人脸检测模块将检测到的人脸信息记录下来后将信息作为目标跟踪子模块的信息输入，目标跟踪模块根据人脸出现的位置和时间信息对人脸进行跟踪，并形成一个个tracklet（每一个trackelet是同一个人脸在连续视频帧中出现的情况）。人脸特征点检测在检测到的人脸的图像数据上采用特征检测点算法来对人脸的特征点进行标记，标记的特征点及其他人脸特征信息作为表情识别的输入信息，经过表情识别算法输出了特定的表情状态。

在人脸跟踪的基础上，采用基于track[et以及基于视频人脸的约束信息（时间和位置信息），用聚类算法进行人脸聚类，并根据最终的聚类结果对检测到的人脸进行识别。

在表情识别和人脸识别的基础上，可以得出每个人脸的表情状态，通过人脸信息及表情状态数据访问模块记录到对应的数据库中供以后的评估系统访问查询。

针对每个课程进行学生人脸识别和表情识别，得出课堂教学期间学生们的情感数据，在数据展示层进行展示。初步效果草图如图所示。初步效果草图如图6所示；

将学生的表情状态分为三种状态：专注、有疑惑、三心二意。用基于时间线的方式展示学生在某个时间段的情感状态，绿色表示表示在专心听讲状态，黄色表示处于疑惑状态，红色表示三心二意状态。每个班级的学生可以统一展示，也可以查询单个学生进行展示。

整个学生姿态及动作识别系统由上述的各个子模块依次组成，首先举手检测模块将检测到的举手信息记录（举手的位置、时间点、所关联的人脸）下来，站立检测模块将检测到的站立信息记录（站立的位置、时间点、所关联的人脸），头部朝向检测模块将检测到的头部朝向信息记录（头部的朝向角度、时间点、所关联的人脸）。

在上述检测到的信息的基础上，对关联的人脸进行识别，得出检测的信息属于班级里的某个（些）同学，将这些信息通过姿态及动作识别数据访问子模块写入到对应的数据库中供以后的评估系统访问查询。

针对每个课程进行学生姿态及动作识别，得出课堂教学期间学生的姿态及动作数据，在数据展示层进行展示。初步效果草图如图8所示；将学生的上课姿态及动作分为四种状态：正常状态、举手、站立、朝向角度特殊。用基于时间线的方式展示学生在某个时间段的姿态及动作，绿色表示在正常状态，紫色表示处于举手参与问题回答状态、黄色表示处于站立回答问题状态，红色表示朝向角度特殊状态。每个班级的学生可以统一展示，也可以查询单个学生进行展示。

4总结

课堂教学质量与其活跃程度密不可分，主要体现在师生动态体感行为变化，包括学生的举手、站立、头部朝向和教师的活动范围及距离、面向黑板及学生等不同状态。此外，师生的情感变化也影响着教学质量，如教师的情感与其上课投入程度相关，学生的情感与其知识的掌握相关。因此，体感与情感特征的融合不仅客观地反映了整个课堂的教学质量，同时可识别每个学生的上课状态，实现个性化的辅导。引入行为识别的教学评估系统可以实现对整个课堂乃至整门课程的教学行为评估，也可实现基于学生个体以及基于班级学生全体的学习行为评估。

该评估系统所获取的数据是非常科学和绝对客观的，将这些数据加以合理的利用，将会起到提高教学质量的根本作用，为我国的教育事业的腾飞和更上一层楼添砖加瓦。