监播系统中视频关键帧抽取器的设计与实现

柯 磊，庞 龙

（1.攀枝花学院 交通与汽车工程学院，四川 攀枝花 617000；2.中国传媒大学 信息工程学院，北京 100024）

经过多年发展，我国已经建立了初具规模的广播电视信号实时监测系统，对于准确掌握全国广播电视安全播出情况起到了至关重要的作用[1-2]。随着广播电视政府主管部门对播出秩序与宣传工作的进一步加强管理，如何实现广播电视节目内容与频道的高效鉴别成为广播电视监测工作者需要迫切解决的问题[3-4]。此外，除了传统的电视节目，多种媒体平台节目的出现也对全媒体监播提出了需求。

针对这个问题，本文创新性地研究出了一种集模拟信号采集、存储和传输为一体的播出监控设备——模拟抽帧器，为全媒体监播系统的建立做出了贡献。模拟抽帧器是以搭载Linux操作系统的ARM处理器S3C2440A为主体，配合JPEG2000编码芯片ADV212、协处理器FPGA芯片EP3C25等器件搭建而成的硬件设备。模拟抽帧器以循环抽帧，响应调度的方式实现了对全媒体监播系统中模拟信号部分的多模式、多任务监播。

1 全媒体监播系统

“全媒体监播”可以理解为以电视信号监播为主，在经过简单设备改进和网络升级后可以实现对互联网、手机等多种平台视频信息的监播。全媒体监播系统对平台和设备的通用性与灵活性要求很高，能够适应不同平台，不同制式的视频节目[5-6]。

如图1所示，全媒体监播系统自下而上分为4个部分：

图1 全媒体监播系统结构示意图

1）数据采集系统主要由针对模拟信号的模拟抽帧器和针对数字信号的数字抽帧器组成。配置于电视、互联网、手机前端，针对视频节目进行数据采集、压缩，最终以图片形式存储于硬盘中。每帧图片有对应的城市代码、频道信息、时间信息、压缩质量等属性。数据采集系统能够通过IP网络与上层的网络传输系统和调度控制系统进行交互，响应控制指令进行数据的采集和回传。

2）网络传输系统主要由网络传输服务器、数据中心服务器和数据库组成。网络传输系统有二级结构，下层是网络传输服务器，负责帧数据的回传和抽帧器的控制，上层是数据库和数据中心服务器，负责数据的汇总。

3）调度配置系统主要由2台高性能服务器组成，分别作为调度控制和配置控制节点使用。调度控制通过访问数据中心的网络服务器信息，找到抽帧器连接的网络服务器节点并发送实时数据回传调度指令，通过网络服务器转发指令，将抽帧器上传的数据回传给调度控制节点。配置控制以同样的方式连接网络服务器，使用网络服务器中转配置指令。

4）数据分析系统主要由数据库和控制分析系统组成，负责对采集到的数据进行图像比对、水印比对、人工识别和数据挖掘等进一步处理，从而提炼出有价值的信息。这种分析和挖掘是基于客户需求的，能够将最终的数据以表格、柱状图、饼图、曲线图、报表等客户要求的形式呈现出来。

本文主要研究的对象是全媒体监播系统中模拟抽帧器的优化设计及产品实现，作为全媒体视频监播系统中的底层设备，其功能实现和稳定性关系到整个监播系统的正常工作，因此具有十分重要的意义。

2 硬件平台设计

2.1 功能需求与设计指标

模拟抽帧器应该实现对播出前端的视频节目进行数据采集、压缩、存储和上传的功能，对其要求具体来说有以下4个方面：

1）循环抽取。抽帧器能够配置在有线电视终端，对各路频道播放的节目进行图像采集和压缩。图像采集包括对整幅图像（全屏图）和图像中台标区域（台标图）的采集，图像压缩是指针对某一频道的图像信号，选择奇场或偶场图像进行压缩。

2）本地存储。抽帧器能够将压缩好的图像文件存储到本地的硬盘中，图像文件中应该额外加入产生该图像的抽帧器的城市代码、频点信息和时间信息（精确到毫秒）。

3）远程控制。抽帧器能够接收、解析和响应网络服务器发送或转发的调度指令，完成本机的工作模式、工作时间、监控频道等参数的设定，并根据接收的配置参数进行稳定抽图和图像回传。

4）应急响应。抽帧器能够响应网络服务器转发的应急指令，并做出工作模式的紧急调整，实现对频道节目的实时监控。应急模式结束后，抽帧器能恢复到原有的工作模式继续工作。除了实现上述功能以外，抽帧器还要达到以下的技术指标：

（1）抽帧频率。抽帧频率是指抽帧器每秒采集的图像帧的数目，频率越高，抽帧器的处理速度越快，设备的实时监控性能越好。这里规定抽帧器的抽帧频率不低于10 f/s（帧/秒）。

（2）存储能力。考虑到监播的时效性和节目播放的特点，每台抽帧器应至少能够存储7天共168 h的图像数据。

2.2 基本工作原理

如图2所示，假设抽帧器有n路模拟信号输入，则数据采集模块的输入为n路模拟电视信号或模拟视频信号，输出为1路数字视频信号。对于“n选1”的方法，笔者采用了多路视频间插复用的技术。

从通道1信号某一场的起始位置开始统计，很好理解此时通道1产生的图像数据P1可以被捕捉和输出。我们假设一场图像的时长为t，那么设备选中通道1的时长为t1=t。当通道1信号捕捉完毕后，设备自动切换到通道2进行信号捕捉，此时通道1利用这个时间间隙进行频道切换操作，通道1将进入不稳定状态。当通道2被选定时，其中的信号可能并没有位于图像场的起始位置，此时需要等待一段时间直到捕捉到图像场的起始位置，然后开始通道2的图像数据输出，设备选中通道1的时长为t2＞t。当通道2信号捕捉完毕后，设备自动切换到通道3进行信号捕捉，此时通道2利用这个时间间隙进行频道切换操作，通道2将进入不稳定状态。以此类推，当通道n完成图像数据的输出后，信号将切换到通道1进行新一轮的数据采集，此时通道1已经利用设备对其他n-1路信号捕捉的时间完成了频道切换。

图2 多路视频通道抽取的工作原理

事实上，与每一场图像的时长相比，频道的切换需要花费的时间更多，尤其是对于模拟电视信号，当图像质量较差时，频道切换时间甚至可能是一场图像时长的十几倍。所以采用这样间插复用的方式之后，换台操作本身基本不会影响到抽取效率。在通道数目，即n值的选择上，n太大则成本太高；n太小则不能保证抽取效率。综合考虑这些因素，最终n取为4。在后面的验证部分，通过试验结果证明了通道数选取的合理性。

2.3 系统方案设计

根据任务及要求，对抽帧器设备做如图3所示的方案设计，该方案中抽帧器包含数据采集模块、数据压缩模块、核心处理器、数据存储模块、网络传输模块和人机交互模块共6个核心模块。

图3 抽帧器方案设计示意图

抽帧器各模块的功能及接口参数如下：

1）数据采集模块：如果输入为模拟电视信号，则对输入信号进行中频变换，转化为CVBS信号后进行模数转换产生数字视频信号输出；如果输入为模拟视频信号，则直接进行模数转换产生数字视频信号输出。由于技术指标中要求抽帧速度不低于10 f/s，因此必要时采用多路信号源输入并引入间插复用机制保证最终产生单路稳定的数字视频信号。

2）数据压缩模块：负责将输入的数字视频信号按场抽取并压缩编码为固定格式的图像。图像压缩可选用JPEG或JPEG2000等静态图像压缩算法，也可采用MPEG，H.264等活动图像压缩算法，并把待压缩图像作为非预测帧进行编码。由于要求输出的图像不是完整的一帧，因此该模块应该支持对定制视频格式的处理，同时可以对压缩率、图像输出格式、图像输出区域进行控制，较灵活地实现视频流到图像帧的转变。

3）核心处理器：核心处理器是整个设备的大脑，总体控制和协调各模块的工作。一方面它能够接收上层的配置信息对抽帧器的工作模式进行配置，接收上层的调度指令将图像数据读取并回传；另一方面它能控制将图像数据存储到本地的存储设备中，同时对存储设备进行基本的增删改查操作，实现其容量预警、扇区避让等功能。除此之外，还负责根据工作模式和工作状态的不同，向人机交互模块发相应指令进行控制和响应。

4）数据存储模块：主要负责图像数据的本地存储，在核心处理器的控制下实现对本地文件的增删改查。技术指标中规定该模块需要保证至少7天148 h的数据存储量。

5）网络传输模块

功能描述：主要负责抽帧器设备与上层设备的交互。一方面接收上层设备发送的配置信息和调度指令，交给核心处理器响应；另一方面在核心处理器的控制下将本地的图像数据传送至上层设备。另外负责访问NTP服务器完成抽帧器的网络校时。

6）人机交互模块：包含指示灯、液晶屏、按键等人机交互控件，便于人们控制和调试抽帧器。

2.4 硬件平台实现

设备的信号处理板由以下3个主要的功能模块组成：数据采集模块、处理器模块、压缩/存储模块。

1）在数据采集模块中，模拟高频头FQ1216能够从有线电视网络中接收电视信号，进行频点选择和降频后输出CVBS信号。经过模数转换芯片TVP5154转换成数字信号，最后经过四选一的操作输出单路数字视频信号。

2）作为主处理器，ARM处理器S3C2440A需要管理、协调系统各模块的工作，负责配置指令的接收和图像数据的传输。同时，FPGA协处理器EP3C25能够提供足够的逻辑单元、内部存储器、时钟管理器等，协助主处理器完成系统功能的实现，增加了设计的灵活性。

3）由于抽帧器要求能够获得某帧图像中奇场或偶场的图像数据，因此在数据采集模块中标准的数字视频流会进行拆分和重新组合，形成包含行场同步信号的场视频流，显然这是一种用户定制的非标准视频格式，需要数据压缩模块提供相应的接口来进行处理和压缩。正是基于这一点需求，笔者使用ADV212编码芯片对输出的图像进行进一步的压缩处理。

在本地存储方面，选择希捷公司的SATA串口硬盘ST9500420AS作为抽帧器图像数据的主要存储设备，存储空间500 Gbyte，转速7 200转/秒，缓存16 Mbyte，完全可以满足抽帧器读写和存储的要求，抽帧器的硬件实现框图及成果如图4～图5所示。

图4 抽帧器的硬件平台实现框图

图5 抽帧器的硬件平台实现结果

3 验证与设计结果

3.1 闭环功能测试

闭环功能的测试，即针对抽帧器功能的测试，这些功能与上层设备的干预无关，只与抽帧器自己的工作状态有关。抽帧器的闭环测试是抽帧器设备稳定工作的基本保障，站在全媒体监播系统的角度来说，这也是整个系统稳定运行的保障。根据抽帧器的功能要求，闭环测试主要包括抽帧测试和存储测试两个方面。

抽帧测试主要包括对台标图的抽取和对全屏图的抽取，二者的区别在于图像的大小和区域不同。如图6所示为台标图的示例，图像大小为230×74，图像格式为JPEG2000。

图6 台标图抽取结果示例

如图7所示为全屏图的示例，图像大小为718×289，图像格式为JPEG2000。全屏图一般为某帧图像中的奇场或偶场，是每个频道内容的直接体现，也是监播系统中主要分析和处理的对象之一。通过对抽帧器进行的全屏图和台标图的抽取功能测试，事实证明抽帧器能够进行流畅的图像抽取工作。

图7 全屏图抽取结果示例

3.2 联调功能测试

联调功能是抽帧器和上层设备交互的测试。根据抽帧器的工作模式可以分为常规模式下图像抽取与回传和应急模式下图像抽取与回传。

1）常规模式下图像的抽取与回传

常规模式下，抽帧器根据配置文件可能工作于两种状态下：边抽边传和定时抽取定时回传。需要注意的是，常规模式下无论哪一种工作状态，抽帧器始终与网络服务器进行交互。

边抽边传是指抽帧器每抽取一幅图像，就回传一幅图像，同时将图像保留至本地硬盘中做备份，7天之后删除。这种方式的优势在于实时性好，上层设备可以实时地对抽回的图像进行分析和处理，并调整抽帧器的工作状态。这种工作状态往往适用于对一些直播型节目的监控，作为常规模式的主要工作状态。

定时抽取定时回传是指抽帧器以24小时为周期，在一定时间段内抽取图像存至本地，在另一时间段内将图像回传至上层设备，本地保存的图像7天之后删除。这种方式能够很好地利用凌晨的网络空闲期进行图像上传，适用于工作时间网络拥塞严重的场景，缺点是时效性不强。通过对两种状态下的抽帧器工作进行了功能性测试，结果证明抽帧器能稳定地在上述两种工作状态下工作。

2）应急模式下图像的抽取与回传

应急模式是指抽帧器接到临时的调度指令，打断原有的工作状态执行新的监控任务。应急模式的发起者是调度中心，响应应急指令的抽帧器需要实时地将图像回传至调度中心进行监看。这种模式适用于有人举报播放非法节目时的应急处理，能够在第一时间采集会举报对象的节目信息。发起应急模式的调度中心界面如图8所示，图中调度中心正在窗口2对ID号为1120的模拟抽帧器进行实时监控，监控频道为CCTV1。

图8 应急模式下抽取结果示例（截图）

3.3 技术指标测试

1）抽帧频率的测试

为了测试抽帧器的实际抽帧频率，在应用程序中添加了定时器，并按表1中的内容进行测试。输入为4路模拟电视信号，信号质量较好。

表1 抽帧速度测试结果

从表1中可以看出，在抽帧器工作30 min后，各种工作模式下的抽帧速度趋于稳定。其中闭环测试的全屏图抽取模式和联调测试的定时抽取定时回传模式工作情况类似，都是由抽帧器抽取图像存至本地，在这种情况下，抽帧器的抽帧速率可以达到10.2 f/s；而联调测试的边抽边传模式和应急模式工作情况类似，需要抽帧器完成图像抽取、存储和回传的功能，此时由于和上层设备存在数据包的交互，抽帧速度基本控制在每2秒抽1帧。

这里需要说明的是，抽帧器的抽帧速度和模拟信号的质量有关，当信号非常好时，闭环测试下的全屏图抽取平均速度可以达到接近11 f/s，但是当信号十分差时，全屏图抽取平均速度可能降到6 f/s左右。为保证信号质量，在设计抽帧器设备时加入20 dB增益的信号放大器。经过测试证明，抽帧器的性能和功能均达到技术要求。

2）存储量评估

抽帧器平均每幅图的大小约为40 kbyte，那么抽帧器7天内产生的平均数据量为：（50 kbyte/幅×10幅/秒×86 400秒/天）×7天，约为288.4 Gbyte，抽帧器的硬盘容量为500 Gbyte，完全具备存储抽帧器7天内采集数据的能力。

4 小结

我国目前已经建立了中央、省、市、县的四级节目播出体系，而针对这种体系所建立的监播系统却只能涵盖到中央、省、市三级，对于县级的监播一直处于空白。已有的监播系统采取的是“举报回看”的方式，会导致监播的滞后性。针对这些问题，本文提出了一整套循环抽帧和远程调度监播的方法，成功研制了硬件设备即抽帧器，实现了对监播数据的高效采集和快速响应和回传，为我国建立新的监播体系做出了有益的探索。

[1] 黄忠宝.实用电视监播系统[J].电视技术，2001，25（8）：77-79.

[2] 王新舸，罗志强.代表帧及其提取方法[J].电视技术，2010，34（10）：26-28.

[3] 陈秀新，贾克斌，邓智玭.融合时序特征和关键帧的视频检索方法[J].电视技术，2011，35（3）：21-24.

[4] 吕晨，温淑鸿.基于I帧数据采集的广电监播系统关键技术[J].电视技术，2012，36（18）：79-81.

[5] 龙清.基于颜色特征的电视图像检索[J].电视技术，2012，36（8）：68-71.

[6] 王海涛，马建仓.广播电视监播系统简介[J].电声技术，2007（12）：73-76.