课堂智能导播系统设计与工程化应用

朱 俊

（中国电子科技南湖研究院，浙江 嘉兴 314001）

0 引言

智慧校园是我国提出的智慧城市发展战略的重要组成部分。课堂教学导播系统可以促进数字化教学信息的最大化利用，是智慧校园中校园物联网不可或缺的关键环节[1][2]。课堂教学导播系统整合了多媒体课件、电子白板、传统黑板等硬件或软件教学资源，并应用计算机网络技术和多媒体技术对课堂教学过程进行录制和实时广播，师生们可以对优质课堂教学视频进行直播、点播。课堂教学录播系统可以将线下课堂教学内容直接转化为高质量的数字化教学资源，从而提高各个地区的教学资源数字化水平，促进优质教学资源共享，拓宽了教学范围，使经济落后地区与经济发达地区有同等享受优质教学资源的机会，有利于解决我国当前存在的教育发展不平衡问题[3][4][5]。

然而，目前市面上的课堂导播系统存在诸多不足。例如，拍摄手法单一、不能在多个镜头之间合理地切换、教学视频从录制到剪辑都必须要专业人员进行操作导致耗费大量的人力物力等。这些因素使课堂导播系统的用户体验感降低，从而阻碍了相关产品的推广[6]。针对课堂导播系统存在的不足，本文设计出了一种全新的课堂智能导播系统，能在日常课堂中实现传统的演播室功能。智能导播系统在整个课堂教学的录制过程中将摄像机放置在教室的固定位置，同时整合教师屏幕、电子白板等多媒体教学设备，可以同步呈现师生活动视频、板书视频以及主讲教师计算机课件的内容，实时自动剪切合成教学视频，在不同场景下呈现给观众最关注的画面，既可以校内视频观摩，又支持网络远程直播和点播。

1 课堂智能导播系统总体设计

本文课堂智能导播系统设计以宽6.3米、长9.0米可容纳40名学生的标准中小学教室为例。在教室中一共排布四路输入视频和一路输出视频。四路输入视频分别为：一路摄像机A，拍摄教师；一路摄像机B，拍摄黑板特写视频；一路摄像机C，拍摄学生视频；一路录制教室教师教学电脑屏幕视频。输出的视频为一路合成视频。三路摄像机在教室中的安装位置如图1所示，输出的合成视频布局如图2所示，用户可以根据个人习惯与偏好调整各个小视频框的大小和位置。

图1 教室中摄像机安装位置示意图Figure 1 Schematic diagram of the installation position of the camera in the classroom

图2 三合一视频布局图Figure 2 Three-in-one video layout

合成视频具体实现的功能如下：视频框Ⅰ根据运动目标检测算法输出的切换触发信号，以及制定的切换策略对应的教学场景，在黑板路视频、教师屏幕路视频、学生路视频、课堂信息之间切换；视频框Ⅱ显示教师路视频经处理后放大的特写视频；视频框Ⅲ显示学生路的视频。输出的合成视频能根据教师在教学时的侧重点自动选择最适合用户观看的输出场景模式。

课堂智能导播系统的视频处理流程如图3所示。标准配置的课堂录播系统中，输入的视频为四路RTSP（Real Time Streaming Protocol）协议的H.264视频流，帧率为25f/s，码率为2Mbps，分辨率为1920*1080。四路视频流经过解码器解码成YUV422格式图片帧，输入到视频合成切换策略模块。该模块根据摄像机A路视频目标检测算法中对前景目标（教师）的中心坐标判断的结果，选择不同的合成策略，输出到编码器。最后，编码器将剪切好的视频帧压缩为H.264格式的视频流。其中，输出视频流的标准配置为：视频帧率为25f/s，码率为2Mbps，分辨率为1920*1080，并以RTMP（Real Time Messaging Protocol）协议封装后进行推送。

图3 视频处理流程图Figure 3 Video processing flow chart

2 视频自动导播功能

在不同的教学场景下，用户关注的视频内容有所差异。比如，老师在讲解电子课件时，用户更关注电子课件中显示的内容；老师在书写板书时，用户更关注黑板上的内容；老师在通过提问题的方式与学生互动时，用户更关注师生互动的过程；老师走下讲台巡视辅导时，用户更关注学生区域的实况。课堂智能导播系统将综合考虑各种应用场景，合成的视频可以同步呈现师生活动视频、教学板书视频以及主讲教师计算机课件的内容，重点突出观众最为关切的内容。

本文设计的自动导播功能的基本原理如下，预先设定好不同的教学场景，根据教学场景选择对应的视频合成策略。根据摄像机B视频中检测得到的教师中心坐标，以教师的中心坐标点进入不同的区域作为触发条件，执行相应的剪辑策略，并将合成的重点内容在图2的视频框Ⅰ中显示，从而达到将四路原始视频剪辑成最适合用户观看的合成视频的目的。其中，教师中心坐标可以应用运动目标检测相关算法计算得出[8][9]。

由于系统中各个摄像机机位是固定的，教师摄像机拍摄的教室内讲台、黑板等物品在画面中的区域也是固定的，因此可以将教师路视频图像划分为黑板区域、讲台区域、学生区域和边缘区域共四个区域。典型的教师路摄像机拍摄的画面及具体的区域划分如图4所示。

图4 教室路摄像机区域划分图Figure 4 Area division map of teacher road camera

教师走入不同的区域后，相对应不同的教学场景，将根据视频切换策略执行不同的视频切换动作，具体的教学场景及视频切换策略如下。

（1）当教师走入讲台区域时，如果教师的计算机处于开启状态，说明教师在讲解课件，用户需要重点关注课件的内容，则合成视频Ⅰ框对应显示教师课件视频流；

（2）当教师走入黑板区域时，说明教师在书写板书或是在讲解板书的内容，用户需要重点关注板书内容，合成视频Ⅰ框则对应显示板书内容，具体为经过摄像机B抠取的局部视频内容；

（3）当教师走到教室外区域时，说明教室里没有老师在上课，用户需要关注教师、班级、科目等课程说明信息，合成视频Ⅰ框则对应显示课堂信息；

（4）当教师走到学生区域时，说明教师在讲台下对学生进行讲解或单独辅导，用户需要关注学生的信息，合成视频Ⅰ框则对应显示学生路摄像机的画面。

课堂智能导播系统功能如表1所示。

表1 课堂智能导播系统功能表Table 1 Function of classroom intelligent directing system

图5 以教学课件为显示重点的视频图例Figure 5 Videos focus on teaching courseware

图6 以板书为显示重点的视频图例Figure 6 Videos focusing on blackboard

图7 以师生互动为显示重点的视频图例Figure 7 Videos focusing on teacher-student interaction

图8 以课程信息为显示重点的视频图例Figure 8 Videos focusing on coursing information

3 黑板特写剪辑功能

黑板路视频是课堂智能导播系统的一个重要组成部分。市面上的课堂导播系统黑板特写功能一般会将黑板以外的物体如墙、窗帘以及授课中的教师等拍摄入内，这不仅会导致画面杂乱，影响美观，而且会难以突出黑板这个拍摄主体。

为了提高摄像画面的美观简洁程度，在功能设计上，应该避免摄像机B将上课中的教师拍摄进黑板路视频中。常用的黑板尺寸大小为1.2m*2m，经过实验，将摄像机安装于距离黑板上沿水平距离为0.8m、距离黑板墙面水平距离1m，调整摄像机拍摄角度及焦距后，可以达到上述效果。但是，摄像机距离黑板过近，会产生比较严重的畸变，影响视频画面美观程度。按上述选定的位置安装并调整摄像机后所拍摄的黑板如图9所示。因此，需要用适当的算法对黑板畸变进行矫正。矫正的步骤如下：

图9 矫正前拍摄的黑板画面Figure 9 Blackboard image taken before correction

（1）通过标定获取黑板的位置。由于摄像机安装后拍摄角度、黑板安装的位置是固定的，我们可以通过标定软件对黑板所处的拍摄画面位置进行标定。

（2）剪切出完整的黑板。根据标定结果从拍摄的整体画面中剪切出只包含黑板的画面。

（3）畸变矫正。将剪切出的黑板通过畸变矫正算法模块进行矫正，消除畸变。

矫正后的黑板如图10所示。可见经过矫正处理后黑板视频的美观程度有了较大提升。

图10 矫正后摄像机B路拍摄的画面Figure 10 Blackboard image taken after correction

4 结语

随着课堂导播系统在实际应用中的逐渐普及和相关研究的不断深入，课堂录播系统功能也越来越完善。课堂智能导播系统能实时生成优质的教学视频，今后一段时间还会成为人们研究的热点，希望本文的研究能够为课堂智能导播系统的发展提供参考和借鉴。