图像识别技术在网络录播系统中的应用研究

张志刚 赵振宇 张国兵

（石家庄铁道大学 河北 050043）

0 引言

高校教学中使用录播的地方越来越多，对教学课堂进行高效全方位的录制和直播已经成为当今教育所要解决的迫切问题，若每次都要进行专业人士拍摄则会浪费人力物力，所以一个教室跟踪和学生定位系统将大大降低工作量和难度。本文的究工作就是基于目前图像识别研究中已经相对成熟，且已有成功应用案例的技术，构造录播系统的典型框架结构，给出基本设置，讨论利用图像识别可以获取的信息，从而分析如何解决实际应用中的问题。

1 图像识别技术

在人工智能处理中图像识别系统经常采用的重要方法之一是利用图像匹配模型进行目标的定位、跟踪、识别。图像识别占有非常大的比例，其能够利用图像匹配模式进行相关目标的定位识别与跟踪实现图像自动匹配或者是一个图像和另一图像上的模式追踪等。当前最为流行的图像匹配是模板匹配法，即根据两幅图像之间的关系寻找出其中的关联并进行综合，利用相关性运算得出模板图像与待匹配的图像以求出之间值来判断其中的匹配度，模板匹配是图像匹配中较为简单的模式识别方法。

图像识别系统经常采用的另一个重要方法是利用原型匹配模型识别有一定相似程度的目标。这种模型假设在长期记录中存储的并不是所要识别的无数个模板，而是图像的某些“相似性”。其原型是在图像识别系统中抽象出来的较为相似的图像，原型相似较高的话该图像就会被识别。类似人本身不仅能够对脑中事物的模板进行相同的识别还能够对其中不同于脑中模板的图像进行识别。另外还有一种模型叫做分层识别模型，其将图像分为几个层次，且每层次中的职责和特征分析的机制都是不同的，它们之间都按顺序进行运行并得出最后的识别图像。

2 基于图像识别技术的网络录播系统工作原理

2.1 网络录播系统的一般结构

当前在我国学校中使用各种网络录播系统，且大多数的网络录播系统的应用技术也都不相同，将这些系统进行逻辑上的抽象，可得出其逻辑结构还是大致相同的，其大致的框架机构能够列出如图1所示。

图1 网络录播系统一般结构

事件驱动方式是当前网络录播系统控制中采用最多的方式，在教师的能够触发信号产生的地方安装装置以对教学过程中所发生的事情进行确定和记录再对其进行调度控制，其中对图像识别技术的利用率比教师运动跟踪的利用率只低一点。网络录播系统可以获取的常用触发事件源有：

（1）时钟计时触发：计算机内部时钟中断，外部时钟信号。

（2）教师运动触发：红外线追踪，无线感应，图像识别等。

（3）板书定位触发：常用无线感应等。

（4）使用电脑触发：按动鼠标，键盘等操作计算机的动作。

（5）音源定位触发：话筒按键，按钮，音源方向驱动定位等。

（6）视频展示台、DVD 等其它视频源接入触发：许多系统几乎不考虑。

2.2 利用图像识别技术构造录播系统的典型框架结构

对图像识别技术中产生出的录播系统的框架结构如下图1所示，图2是教室的俯瞰图，其中标记的A1，A2都是可调摄像机的安放位置，而G1，G2都是固定安装的摄像机的安放位置。屏幕、DVD以及视频展示台的视频源都是以讲台作为假设地的，对于音源信号的地点未标出。

图2 录制教室俯瞰图

2.3 可以获取的教学过程信息

基础语音识别与图形识别是相结合的，因此在教学过程中，自动录播系统都是有着较强的控制能力的，对于一些有意义的信息都能进行记录，如表1所示。

表1 可以获取的教学信息

图像信息分类 信息源 识别类容可定位教师，特写可定位教师，移动从教师画面提取的信息教师专用可调摄像机图像对应的音频 不可定位教师，无音频不可定位教师，有音频计算机屏幕对应的音频 屏幕较大区域间隔变化从计算机频幕提取的画面信息是否有屏幕信号屏幕是否变化、时间分布是否有视频信号视频展示台 视频信号空间、时间分布从视频展示台提取的信息 视频变化，且有音频学生区无人站起，无音频学生区无人站起，有音频从师生互动画面提取的信息学生区固定摄像机学生区音频输入 学生区有人站起，无音频学生区有人站起，有音频

3 子系统介绍

3.1 录播中控系统

集成录播控制台帮我们实现的一键式的开始和关闭系统一键式的开始和停止录播，使教师无需经过技术性培训就可以进行讲课；录播控制台给我们提供了传统式的按键操作模式，还配备了先进的数字化的触摸时操作系统，我们可以进行云台镜头的控制，还有手动的导播、鼠标的跟踪点击导播等等。

3.2 教师跟踪系统

所谓教师跟踪系统，即属于图像定位里面的一种。不管是教师在讲课时的来回走动还是书写讲课板书等。教师跟踪系统它都可以采用不同的方法来进行自动的对焦来进行跟踪拍摄，并且画面输出很稳定。教师跟踪系统同时还采用了先进的自动智能化操作模式，免去了人工的操作，上课的教师就按照以往一般的讲课模式来进行正常教学就可以了。免除了佩戴专用跟踪设备给教师带来的一些不适感，是教师更专心的教学。教师图像的跟踪拍摄的方法策略：①当教师在教室里面来回的走动时，教师跟踪系统将会自动的进行对焦并进行近景拍摄；②当启动录播系统和多个人一起出现在讲台上的时候，教师跟踪系统将会自动的进行对焦并且进行全景式的拍摄；③当教师不在课堂上来回走动授课和书写板书时，教师跟踪系统将会自动的进行对焦并进行特写拍摄。

3.3 学生定位系统

学生定位系统可以实现对正在发言的同学进行跟踪定位并进行特写式的拍摄。学生只要站起发表言论或者回答老师所提出的问题时，该系统可以自动的启动学生摄像机对正在说话的学生进行跟踪定位并且特写式的镜头拍摄，当学生结束说话后，系统将会自动转回原有的教师跟踪系统。

3.4 智能导播系统

对课程进行过程录制过和多路段视频信号源、视频和音频文件与计算机画面间的自动转换等都是自动式录播系统的主要功能，系统会跟随着教学活动的变化采用智能的选择性切换方法，并且会实现带有特效功能的智能式导播。

3.5 课件实时录制系统

课件实时录制系统能简单方便的将整个课堂的教师讲课的情景实时录制下来，并且自动生成带有视频音乐和电子文档的流媒体课件，其课件压缩率很高，可以实现真个过程动态情景的抓拍、可以自动生成文字索引等功能。

4 图像识别技术在网络录播系统中实际应用

4.1 事件识别功能

一般在实际应用中电脑或者 DVD格式的录像片播放模式是教师最常用的方式，系统调度决策没有足够的外部触发的事件，且传统形式的外部事件触发技术并不难很好确定调度方案，这就会造成录制文件并不难将录像的全部信息容纳在内，智能识别教学现场信息是这类问题的有效方案，教师在进行录像播放时一般其话筒是没有声音的，且学生区也无能够互动的发言，再加上板书这一过程，所以能够进行外部触发的输入将近于无，屏幕图像变化和 DVD信息的变化会伴有声音等，将这些特点进行综合就会产生较高的预测性。

4.2 学生发言定位功能

摄像机在学生发表言论时如何对其进行定位和特地额是当前自动录播系统所面临的问题之一，当前主流技术都是采用外部事件触发技术，即对已经预先设好的位置进行摄像机调整，将学生的位置进行大致的定位。只有将能够探测外部事件触发的设备进行增加才能对特写和定位的效果提高，但是这样一来就睡使得系统出现错误的几率增高。图像识别技术即将固定摄像机和可调式摄像机进行交叉定位，这样对正在说话的学生进行比较准确的定位，然后在让可调摄像机移动位置以进行相关特写。再对教学过程中会发生的其他时间进行分析和组合，就会使得一些诸如未发言学生而进入特写等情况的错误减少。

4.3 教师授课的行为偏好分析

一般教师进行教学时都会有一个特点就是分析讲课内容，利用计算机、板书以及视频音频等信息再结合其他时间以获得。识别板书并不代表识别板书内容，而是根据时间间隔在授课时医用智能世界技术对教师言语动作进行分析，比如对教师移动黑板、板书持续时间等事件的分析，结合时间时间序列，将会在一定程度上捕捉到教师的讲课偏好，另外若对讲课过程中使用的计算机屏幕进行类似处理则会大致分析出教师使用电子教案时出现的相关偏好。分析教师授课时的音频以及其他事件，能够对教师的特色偏好捕捉。然后调度系统对这些偏好进行分析处理，则会对将要发生的事件进行预测，以得出可适应的调度规则。

5 小结

当今教育信息文化支撑体系中网络录播系统是其中的一项重要内容，而其中人工智能的领域中图像识别又是重点内容，因此图像识别是能够使录播系统进行智能化网络调度的重要环节。多媒体技术以及自动控制跟踪技术和网络流媒体技术等只有在结合图像识别的网络录播系统之后，才能将由教师、学生以及多媒体等电子教案所发出的 VGA信号吉祥鸟智能化跟踪切换，才会使得教师以及学生的教学过程以及多媒体的使用过程等进行单画面或者多画面的视频记录并生成对应的课例视频，然后再利用流媒体技术以达到网络直播。

[1]张林，俞扬，朱怀宏.一种对图像中给定图形的定位方法[J].微机发展.2003，（9）：1-2.

[2]陈宗让，李晓铭.课堂教学自动录播系统图像跟踪技术研究[J].现代教育技术，2009（3）：13-15.

[3]夏宇.电脑硬道理— —网管实战[M].重庆：电脑报电子音像出版社，2010（1）：11-12

[4]卢桂馥，刘金飞，王勇.基于微粒群算法和脉冲耦合神经网络的图像分割算法[J].计算机技术与发展.2008.18（7）.90-92.

[5]杨小冬.自动图像识别系统图像分割算法的研究[J].南京大学学报，2009，4（4）11-15

[6]张飞碧.全自动智能录播系统的架构分析[J].中国电化教育.2008，（5）：104-108.

[7]康剑莉，陈罡，毛金明.基于Cabor小波特征的磨粒图像识别新方法[J].激光与红外，2010，（3）：12-14

[8]朱秀昌视频监控技术的智能化趋势[J].中兴通讯技术，2010，16（6）：32-34