EPTZ智能跟踪摄像机在云录播中的应用

2016-08-08沈宏兴

广西广播电视大学学报 2016年2期

关键词：跟踪目标录播全景

沈宏兴

（上海交通大学教育技术中心，上海　200240）

EPTZ智能跟踪摄像机在云录播中的应用

沈宏兴

（上海交通大学教育技术中心，上海200240）

文章介绍一款基于EPTZ的智能跟踪摄像机，为4K高清固定镜头摄像机，采集讲台区域全景图像，经内置芯片计算，抠出拍摄目标所在区域场景；芯片可对全景图像的像素隔点取像，即电子变焦；跟踪和电子变焦同时使用，再配以一定的策略，即可实现智能跟踪。该款摄像机已经在云录播系统中成功应用。

智能跟踪；EPTZ；高清摄像机；云录播；抠像

引言

互联网的高速发展使网络学习进入每个人的日常生活，而网络学习需要大量的学习视频资源，由此催生出自动录播产品。《教育部关于国家精品开放课程建设的实施意见》推动了精品课程的建设，各高校纷纷安装自动录播系统，录制了大量的视频课程，为学生的课外学习提供了很好的辅助材料。

最近几年智慧教室如火如荼，“智慧”带有“记忆”和“传播”，自动录播系统是智慧教室的标配；既然是智慧教室，那自动录播系统也应该具有智慧；云计算技术的强力推动，也使得录播系统发展为云录播。正是因为有大的需求，又有强大的技术推动，可预见，在不久的将来，智能的云录播将普及于我们的每一所学校、每一间教室。

鉴于这样的大环境和大趋势，上海交通大学通过校企合作，在2015年研制安装了一批基于EPTZ智能跟踪网络摄像机的云录播系统。使用一年，录制效果超出预期。

一、常见录播系统中的跟踪摄像系统

目前，传统的智能跟踪摄像系统方案中一般包含3—5台主摄像机、全景辅助摄像机、定位装置和控制主机，工作原理基于图像处理算法，对全景摄像机摄取图像进行分析，通过云台控制跟踪摄像机的镜头缩放和拍摄角度进行实时跟踪教学对象，主机根据定位装置判定教学动作后控制摄像机跟踪拍摄并场景切换。根据录制模板，将相应图像信号传至录像装置，进行编码压缩后存储在存贮装置中。其缺点是整套系统体构造复杂，安装及维护工作相对繁杂，云台长时间运作容易发生故障，而且成本昂贵。

另一种改进的方案是具有跟踪功能的智能球形教学摄像机，该摄像机内置双镜头和CPU蕊片，通过视频采集模块对固定摄像头进行视频数据采集，视频解码器将视频数据信号传给主CPU进行实时处理，采用算法及策略计算目标信息，由从CPU根据设定的跟踪区域及教师或学生的活动情况驱动控制板对CCD摄像头进行运动控制及光学镜头控制，实现对教师或学生的智能跟踪和远景近景之间切换。与传统方案相比，其可以简化系统构造，降低成本。但是，由于该方案采用单摄像机内置双镜头，增加CPU的处理负担，如果采用主、从CPU设计使其内部结构相对复杂，增加不可靠性。另外，其通过运动电机控制CCD摄像头转动以及镜头拉伸过程中，会产生垃圾镜头，不能实现场景画面的无缝切换。

由此可见，传统的录播系统设施繁多、安装复杂、成本高、故障概率高，经常困扰录播管理人员。应用需求和技术发展的推动，一种创新的智能跟踪摄像方法和装置顺势而生。

二、EPTZ智能跟踪摄像机工作原理

（一）智能跟踪摄像机组成

智能跟踪摄像装置包括图像传感器模块、缓存模块、预设置模块、图像分析模块、抠图模块以及编码模块（见图1）。在预设置模块中设置场景切换规则，并设置全景视频图像的范围。根据在预设置模块中设置的全景视频图像范围，摄像机通过高分辨率图像传感器对全景视频图像进行实时采集，所采集全景视频图像放在缓存中。图像分析模块通过图像缩放处理芯片按照采集顺序按帧依次提取存放在缓存中的全景视频图像，并进行图像缩小处理。图像缩小处理后的全景视频图像输出高性能DSP进行图像分析，识别场景状态。抠图模块从缓存中提取所分析全景视频图像对应帧的原始采集图像，根据预设置模块设置的场景切换规则，通过图像裁剪缩放处理芯片对该原始全景视频图像进行裁剪缩放处理，提取场景画面。编码模块提取的场景视频图像进行图像编码，并保存到存储器中或者进行直播。

图1　　智能跟踪摄像机组成

图2为智能跟踪摄像工作步骤，安装摄像机对全景视频图像进行采集后，首先设置摄像中的场景切换规则以及全景视频图像的范围；其次对采集的全景视频图像进行图像分析，识别场景状态，根据场景切换规则，从全景视频图像的画面中提取全部或部分内容作为场景画面，再对上述视频图像进行图像编码，最后输出跟踪后的图像。

图2　　智能跟踪摄像工作步骤

图3　　智能跟踪摄像工作流程

（二）利用高斯建模进行分析图像

高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化图像，将一个图像分解为若干的基于高斯概率密度函数形成的模型。对图像背景建立高斯模型，图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果目标区域和背景区域相比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应背景中心灰度。

在录播视频画面中划定跟踪目标的识别区域后，可以对所述识别区域进行高斯背景建模，提取运动目标；对所述运动目标进行特征分析，判断该运动目标是否符合跟踪目标的类别，进而可以判断场景状态为跟踪目标不在识别区域或者单个跟踪目标在识别区域或者2个及以上跟踪目标进入识别区域。通过识别区域划定、运动目标提取和目标特征提取的过程实现全景视频图像分析，并识别场景特征，能够有效地实现跟踪目标的识别和跟踪，跟踪过程中画面平滑自然，并能够准确地识别场景状态。

（三）EPTZ工作流程

EPTZ是英语Electronic Pan Tilt Zoom的简写，直译为电子上下左右变焦，一般翻译为电子云台，意思是利用数字图像处理技术对所需图像上下左右全方位移动及镜头变倍、变焦控制，而不是物理的云台和变焦镜头。

在摄像机拍摄的全景图像范围内，当目标出现后，通过其程序设置，预置位自动触发锁定某个运动目标，摄像机进行针对被锁定的运动目标进行视觉导向的自动跟踪，以确保跟踪目标持续出现在镜头中央。跟踪技术采用了Meanshift、光流法、Kalman滤波估计等视频目标跟踪技术算法，提高了跟踪的可靠性（见图3）。

该摄像机安装于教室后墙，正对教师。教师日常上课时，摄像机全景拍摄图像，当计划选择场景画面为教师特写时，先识别出跟踪目标所在区域，以跟踪目标为中心提取一定大小的画面作为特写画面；当计划选择场景画面为全景时，直接提取全景视频图像作为全景画面。分别通过特写画面抠取和全景画面抠取实现场景画面提取，可以高效地从全景视频图像中提取特写画面或者全景画面。全景图像为4K高清，即像素3840*2160，抠图成像为全景图像的四分之一，即像素点位数1920*1080，所以最终输出图像为2K高清图像。

（四）智能切换场景的策略

为了取得良好的图像拍摄效果，智能跟踪摄像机具有一整套抠图切换规则，主要有：

1.上课时，教师在讲台区域，场景状态为单个跟踪目标在识别区域，场景画面切换成跟踪目标特写画面；

2.当教师在讲台前原地静止站立讲课时，场景画面可能为长时间为特写画面，为防止画面单一观看疲劳，设定20秒后切换成全景画面，10秒后再切特写。

3.当教师走下讲台区域，全景图像中没有教师出现时，场景状态为跟踪目标不在识别区域，场景画面切换成全景画面；

4.当有学生演讲或迟到经过讲台区域，讲台区域有2个以上人员时，摄像机不跟踪特定某个目标，场景画面切换成全景画面；特写画面切换设置、全景画面切换设置和防疲劳切换设置能更好地适应课程拍摄的特点和要求。

三、云录播系统组成与使用

云录播系统是将教师上课场景全程录制，视频实时上传云端服务器的课程录制系统。云录播完全依赖网络传输与存储，本地不保存视频；录制的内容包含教师图像、声音和PPT等，一套最简易的云录播设施包含EPTZ摄像机、话筒及混音编码器、VGA编码器等组成学生摄像机和拾音器。

借助于EPTZ智能跟踪摄像机，在普通教室内拍摄的图像能看清教师的肢体语言与表情，同时也看清教师板书，与VGA编码器组合，上传网络服务器，即可形成高质量的课程视频。由于本套云录播系统构造简单，成本低，故障率低；工作人员管理工作量不大，我校利用17套云录播系统，仅需1名日常管理的技术人员，一年内录制了110门课程，达4000余学时，这个数字在以前是无法想象的。图4、5分别为讲台区域全景、教师板书场景视频截图。

图4　讲台区域全景　

图5　教师板书场景

学生选课造成了大学教学名师的课供不应求，一师多课堂的网络上课形式在校园内越来越普遍，这就需要自动录播系统的支撑；校际合作，同上一堂课，也经常用到云录播系统；上海交通大学援建西部地区高校，利用云录播系统每天晚上实时推送课程到宁夏大学和西藏大学；学校注重教学质量的提高，建设网上教学督导平台，云录播系统将被大面积应用。