基于教室监控视频的课堂行为计数分析

欧温暖 ， 田绪红， 朱同林

（1. 华南农业大学农业多媒体技术研究所，广东 广州 510642；2. 华南农业大学信息学院，广东 广州 510642）

随着科技的进步和经济的发展，人们的社会生活水平不断提高，校园的教学、管理等方式也发生了很大的变化。其中，大多数学校出于对教学场所中多媒体设备、教学状况、公共教室利用情况、考试等原因，都在教室安装了视频监控系统，并进行视频录制与存储，为监督教室安全、教学质量评估及监考考场等提供一种崭新的手段。

基于视频图像的分析一直是计算机视觉和数字图像处理领域研究的热点和难点。近年来，国内外涌现许多基于视频分析的研究成果[1-3]，但大多数都局限于对运动目标的检测与跟踪，在行为统计方面却很少涉及。闫敬文等人提出的基于视频图像处理的人数统计方法[4]，使得人数统计技术有望从实验室进入实际应用领域；但由于该方法是根据人的头发颜色进行识别，只能应用在某些特定的场合。郑泽文等提出的基于运动信息的教师到课情况检测[5]，虽然较好地检测教师到课情况，但课堂行为统计方面同样没有涉及。

课堂教学监控是课堂教学管理的重要环节，学生的课堂问题行为将直接影响着教学效果[6-7]。考虑到教室视频可获取及时、准确、具体、直观的信息，而目前对这些信息基本上只是进行存储，仅在出现异常或者有争议情况下才调出来进一步求证。基于上述考虑，本文尝试利用计算机对教室监控视频中容易被察觉的外在行为进行分析，进而统计出课堂上出现访问讲台和出入教室的人数。这不仅能够很好地利用计算机协助开展课堂教学监控任务，而且大大地减少监控所需的物力和人力。通过分析计算机的统计结果，学校相关部门可以及时了解并掌握课堂教学的情况，并采取相应措施对课堂教学现场实施有效的监控，具有一定的现实意义和应用价值。

1 教室监控视频运动目标检测

视频中的运动目标只有在连续的图像序列中才能体现出来，故运动目标检测过程其实就是在连续图像序列中寻找差异，并将其提取出来。实现运动目标完整检测的流程图如图1所示。

图1 运动目标检测流程图

1.1 图像预处理

1.1.1 图像灰度化

为了统一进行处理和节省存储空间和图像处理时间，通常需要将索引图、真彩色图转换为256级灰度图像，灰度值范围为0～255。

1.1.2 图像分割

图像分割的主要目的是将图像划分为与其中含有的真实世界的物体或区域有强相关性的各个组成部分[8]。图像二值化可以将图像中目标和背景分离出来，用公式表示为

1.2 运动目标检测

目前常用的运动目标检测方法主要有3种：帧差法[10]、背景差法[11]和光流法[12-13]。实验给出帧差法和背景差法的检测结果，如图2、3所示。

图2 帧差运动目标检测

图3 背景差运动目标检测

从检测结果可以看到，背景差法可获得关于运动目标区域的完整而精确的描述，定位准确，不会扩大运动区域；但算法的不足之处体现在对光线、天气等环境条件的变化十分敏感。帧差法对环境和光线变化有很强的适应性，并且算法原理简单，易于实现；但帧差法进行目标检测和分割精度较低，容易产生“空洞”现象，后续结合图像去噪和数学形态学处理，获得比较满意的检测效果，从而弥补该方法的不足。本文采用帧差法对运动目标进行检测，并利用连续的两次闭运算消除运动目标所产生的“空洞”现象。

1.3 运动目标标记

实际中检测到的运动目标有可能被分割成彼此分离的连通区域，我们需要寻找图像中所有目标对象，并且将属于同一目标对象的所有像素用唯一的标记值进行标记，把各个连通区域区分出来。利用该标记算法我们能够准确识别每个目标，并求出每个连通区域各自的参数（面积、周长等），然后根据各个区域的几何特征剔除一些在面积和形状上不符合实际跟踪目标条件的区域，保留可能的运动目标区域。对运动目标的标记结果如图4所示。

图4 运动目标标记结果

2 基于视频分析的课堂行为统计

为了对在课堂上进出教室、出入讲台这两种行为进行分析统计，本文提出一种基于视频分析的课堂行为统计方法，通过对跟踪目标和监控区域的位置状态信息进行建模，给出了4种不同的位移模型。

2.1 监控区域设定

由于不同教室中的摄像头的分布位置不同，因而在采集到的视频中静态背景也会有所差异。图5给出在不同的视频中设置教室中的门作为监控区域的情况。

图5 监控区域设置

2.2 运动目标移动情况分析

考虑运动目标相对监控区域的移动情况，我们将运动目标的中心位置（即矩形的中心位置）当作运动目标所在的位置，记为运动点。当运动点出现在监控区域内时，我们认为运动目标进入监控区域；否则认为运动目标在监控区域外，如图6、图7所示。其中绿色框代表监控区域，红色框代表运动目标，圆心黑点表示运动点，箭头表示移动路径。

图6 运动目标相对监控区域的位置

图7 运动目标相对监控区域的移动情况

针对运动点的起始位置b和终止位置e两个状态，可确定运动目标相对监控区域Z的移动情况，共有如下4种位移模型，并分别给出判定条件：

· 当起始点b和终止点e都出现在监控区域内，认为运动目标在监控区域内移动，如图7(a)所示，满足判定条件

· 当起始点b出现在监控区域内，终止点e出现在区域外，认为运动目标从监控区域内移动到区域外，如图7(b)所示，满足判定条件

· 当起始点b出现在监控区域外，终止点e出现在区域内，认为运动目标从监控区域外移动到区域内，如图7(c)所示，满足判断条件

· 当起始点b和终止点e都出现在监控区域外，认为运动目标在监控区域外移动，如图7(d)所示，满足判断条件

2.3 课堂行为计数分析

结合上述4种不同的位移模型，实验对采集的课堂监控视频进行分析，并对在课堂上进出教室和上讲台的行为进行统计。

2.3.1 课堂上进出教室的人数计数

· 运动目标进入教室

图8所示为运动目标进入教室的视频监控过程。当对运动目标的标记首次出现在监控区域范围内，并逐渐移动到监控区域范围外，到最后在监控区域范围外消失，此时判定运动目标进入了教室。

图8 运动目标进入教室视频监控过程

· 运动目标走出教室

图9所示为运动目标走出教室的视频监控过程。当对运动目标的标记首次出现在监控区域范围外，并渐渐移动到监控区域范围内，到最后在监控区域范围内消失，此时判定运动目标走出教室。

图9 运动目标离开教室的视频监控过程

· 运动目标没有进出教室

图10所示为运动目标从教室门口走过的视频监控过程。当对运动目标的标记首次出现在监控区域范围内，到最后在监控区域范围内消失；或者，当对运动目标的标记首次出现在监控区域范围外，到最后在监控区域范围外消失；对于上述两种情况，则判定运动目标没有进出教室。

图10 运动目标从教室门口走过的视频监控过程

2.3.2 课堂上走上讲台的人数计数

图11所示为运动目标上讲台的视频监控过程。在对课堂上上讲台的人数进行统计之前，同样需要将教室中讲台所在的区域设置为监控区域。

图11 运动目标上讲台的视频监控过程

2.3.3 多运动目标情况分析

在实际的环境当中，有可能出现连续多个人一起进出教室或上讲台的情况。对于出现这种情况，利用本文的检测方法检测到的多个运动目标会构成同一个连通域，此时的多个运动目标只会形成一个标记，如图12所示。

图12 出现连续多个运动目标的情况

从上图可以看出，当连续出现多个运动目标时，标记运动目标的矩形框宽度发生了明显的变化。针对上述情况，可以根据矩形框的实际宽度值判定所监控到的运动目标个数，这里根据实际采集的视频情况，只考虑最多连续出现3个运动目标的情形。实验对连续出现多个运动目标的情况进行采样学习。表1列出不同目标个数的出现同所标记矩形框的宽度值d的之间的关系。

表1 连续出现多个运动目标判定条件表（单位：像素）

3 实验结果及分析

本文所用的实验数据来自华南农业大学第3教学楼的课堂教学监控录像，用到的摄像机和图像参数如下：

· 有效像素：PAL:752×582 NTSC:768×494

· 最低照度：彩色0.1/0.14Lux

黑白0.01/0.014Lux

· 水平解析度：540TVL(彩色)

600TVL(黑白)

· 信噪比：大于50dB

· 镜头：2.1-11mm Φ14

· 图像宽度：240像素

· 图像高度：192像素

· 图像水平分辨率：96DPI

· 图像垂直分辨率：96DPI

· 图像位深度：24

实验对采集到的10个视频录像（图13所示）进行分析，并统计出课堂上进出课室的人数和上讲台的人数。所得到的实际值和测得值如表2、表3所示。

图13 实验采集的10个视频录像数据

表2 课堂上进出课室的人数统计结果表

表3 课堂上访问讲台的人数计数结果表

从对课堂上进出课教室人数进行统计的结果可以发现，视频2中进出教室人数的测得值比实际值都少了1人，原因是在视频2中，监控区域同时出现了进出教室的运动目标，即一个人正走出教室，一个人正进入教室。对于这种情况，两个人会走在一起然后分开，因而影响统计结果。本文目前没能对该情况进行处理，有待后续进一步研究处理。但排除视频2中出现的情况，其他的视频的测得值和实际值完全吻合。

针对课堂上访问讲台的人数的计数结果，情况同对课堂上进出课室的人数计数情况类似。当刚好出现两个人同时上下讲台的时候，也会对实验的结果产生影响，如视频5、视频10统计得到的结果。

但从实验的总体分析结果可知，实验中所采集到的教学视频监控录像普遍适合用本方法进行分析处理。

4 结 论

针对教室监控视频中出现的课堂走动行为，本文提出了一种基于视频分析的课堂行为统计方法，通过对跟踪目标和监控区域的位置状态信息进行建模，实现对在教堂上进出课室人数和上讲台人数进行统计。实验分析结果验证了算法的有效性，对教学视频监控，具有一定的应用价值。

针对算法存在的不足，本文将在接下来的工作中进一步考虑对同时出现往相反方向运动的多目标情况进行处理，以期能达到更大的应用范围和价值。

[1]Behrad L, Shahrokni A, Motamedi S A, et al. A robust vision-based moving target detection and tracking system[C]//Proceedings of Image and Vision Computing Conference, Dunedin, New Zealand, 2001: 26-28.

[2]伏思华, 张小虎. 基于序列图像的运动目标实验检测方法[J]. 光学技术, 2004, (4): 215-217.

[3]舒 恒. 基于视频的人体运动检测与跟踪[D]. 北京:北京理工大学, 2008.

[4]闫敬文, 樊秋月. 基于视频图像处理的人数统计方法[J]. 汕头大学学报(自然科学版), 2008, (2): 69-73.

[5]郑泽文, 陈庆章. 基于运动信息的教师到课情况检测[J]. 浙江工业大学学报, 2010, (4): 420-425.

[6]陈 美. 浅论课堂教学监控[J]. 吉林教育, 2011, 14: 48.

[7]张伟静. 如何有效的应对课堂问题行为[EB/OL].http://www.qtedu.net/eduzl/jsgd/200711/81923.html.(2007-11-22).

[8][美]Sonka M, Hlavac V, Boyle R. 图像处理、分析与机器视觉(第 2版)[M]. 艾海舟, 武 勃, 译. 北京:人民邮电出版社, 2003: 83-144.

[9]贾永红, 崔卫红, 余 卉. 数字图像处理实习教程[M].武汉: 武汉大学出版社, 2007: 75-76.

[10]Liption A, Fujiyoshi H, Patil R S. Moving target detection and classification from real-time video[C]//Fourth IEEE Workshop Application of Computer Vision, 1998: 8-14.

[11]Nir F, Stuart R. Image segmetation in video sequence:a probabilistic approach[C]//International Conference on Uncertainty in Artificial Intelligence, 1997:175-181.

[12]Tekalp A M. Digital video processing [M]. Beijing:Tsinghua University Press, 1998: 181-186.

[13]Horn B, Schunch B, Detemining. Optical flow [J].Artificial Intelligence, 1981, 17: 185-203.