视频粘滞现象的自动解除

尹 旭，孙海民

（1.河北省卢龙县广播电视台，河北 卢龙 066400；2.河北民族师范学院，河北 承德 067000）

责任编辑:任健男

0 引言

随着科学技术的发展和数字化摄录制播设备的日新月异，大量数字化设备已经被广泛地应用于数字电视节目的制播领域中。数字化、网络化、自动化是当前电视业最流行的三个词汇，也是各个电视台的奋斗目标[1]。节目数字化是指实现无损存储，制作网络化是指实现无带编辑，播出自动化是指实现无人值守。目前数字化、网络化都已完全实现，缺少的就是具有真正意义上的自动化了。

在节目播出过程中出现视频粘滞现象、计算机发生死机等中断或异常时往往也同样离不开人的参与。视频粘滞现象的自动解除从理论上来讲可以分为事前解除、事中解除和事后解除。若能够事前解除是最理想不过的，那样就能够彻底地将视频粘滞现象消灭于无形之中，而事后解除除了对视频粘滞现象的产生与解除具有一定的研究价值之外，没有太大的存在意义。事中解除即视频粘滞现象，已经发生或正在进行之时将其解除（以下称为“视频粘滞现象的自动解除”），有着相当的现实意义的。本文仅就如何自动解除视频粘滞现象的问题发表一下自己的拙见。

1 硬盘播出系统中的“时码线”

在不改变原有硬盘播出系统的原则下，将非线性编辑系统的时码线引入到硬盘播出系统中，再在播出时码线上配以码率检测程序，用这个检测程序来自动地检测缓存是否溢出和出现静帧现象。如果缓存溢出，且出现静帧时间已超过0.3s（借鉴大导演新贵版DN2000PLUSSDI的做法），它就自动地将播出时码线上的播出标尺实施暂停处理，暂停之后再帧进，最后再解除暂停进行正常播放。如果缓存没有发生溢出，它就不会影响正常的播放了。这个策略不但能自动地实现暂停、帧进与播放的转换，还能准确、及时地将视频粘滞现象转化为视频粘滞效应，从而将视频粘滞现象彻底地消灭在萌芽状态[2]。

1.1 硬盘自动播出系统工作原理及组成

硬盘自动播出系统（HardDiskAutoPLAYSystem），简称自动播出，其工作原理是:首先将要播出的电视节目信号通过采集系统进行数字化采集，即将节目源的模拟视音频信号格式转换成标准的MPEG-2格式，通过节目上载软件，将压缩后的节目存储在计算机的硬盘中；然后通过自动播出控制软件编排节目播出表，通过审查后控制硬盘自动播出服务器进行播出。该系统主要由视频服务器、数据库服务器、上载控制站、播出控制站、上载矩阵等组成。现行的硬盘自动播出系统使用的大多数数字视音频文件都是MPEG-2格式的。

1.2 MPEG-2中ES，PES，TS和PS之间的关系

在MPEG-2中，模拟视音频信号是经过抽样、量化及压缩编码形成不分段的、连续的基本码流ES（Elementa⁃ryStream），每个ES由若干个存取单元AU（AccessUnit）组成。然后再把ES流分割成段，并在每个AU中插入PTS（PresentationTimeStamp）/DTS（DecodingTimeStamp）标志，加上相应的头文件打包变成打包基本码流PES（PacketizedElementaryStream）。每个PES包内只能存在一种性质的ES。在传输时将PES包再分段打成有固定长度188byte的传输流TS（TransportStream）或可变长度的节目流PS（ProgramStream）。从ES到PES的示意图见图1。传输流TS和节目流PS两者的区别如表1所示。从图1和表1可知，PS和TS是可以相互转换的，PES只是PS转换为TS或TS转换为PS的中间步骤或桥梁，是MPEG-2数据流互换的逻辑结构。

1.3 MPEG-2系统的构成

就MPEG-2系统而言，该系统又是由视音频编码器、编码缓存器、系统编码器及复用器、信道网络编解码器及存储环境编解码器、系统解码器及解复用器、解码缓存器和视音频解码器构成，是将视频、音频及其他数据基本流组合成一个或多个适宜于存储或传输的数据流的规范。其中，编码缓存器和解码缓存器延迟是可变的；信道网络编解码器及存储环境编解码器从视/音频编码器输入到视音频解码器输出，延迟是固定的。这表明，输入视/音频编码器的数字图像和音频取样，经过固定的、不能改变的点到点延迟后，应该精确地同时出现在视音频解码器的输出端，使解码缓存器无上、下溢出，无视频粘滞效应或视频粘滞现象的发生。

表1 TS流和PS流的区别

1.4 硬盘播出系统中也存在着一条潜在的“时码线”

从MPEG-2系统的构成来看，非线性编辑系统和硬盘播出系统本身就是个完整的MPEG-2系统。在非线性编辑系统中，为了延续人们已经习惯的线性编辑系统的编辑思维方式，主要强调的是节目的编辑与制作，即编码部分（合成节目），所以使用最多的就是MPEG-2系统的前半部分，在人机操作界面上采用了比较简单、相对直观的时码线编辑方式，输出合成的主要是节目流PS（数字化的视音频文件）。在硬盘播出系统中，由于大量使用了各种节目的视音频文件，强调的是节目的完整播出，而不是节目的编辑与修改，所以使用最多的就是MPEG-2系统的后半部分（解码部分），在人机操作界面上广泛采用的是图形化的操作界面（表处理方式），仅用鼠标就可完成播出节目单的编制、删减与合并等工作，可以实现节目的自动播出、定时切播、插播和循环播出、录像机的手动控制、键混信号的键入和键出等，所输出的节目信号主要是用于数字化传输的传输流TS。典型的播出系统（节目流解码器）如图2所示。图中DSM为数字存储媒介。所以，非线性编辑系统和硬盘自动播出系统在对视音频文件处理的本质上都是完全一样的，只是外在的表象方面有所不同。因此，那条潜在的“时码线”是客观存在的。

2 视频粘滞现象的自动解除

2.1 对MPEG-2图像组（GoP）帧间编码结构的解读

MPEG-2标准中定义了3种类型的帧:I帧，帧内编码，提供压缩数据流中的随机存取点；P帧，前向预测编码，利用前一个I帧或P帧作为参考帧；B帧，双向预测编码，利用其最近的前向和/或后向I帧或P帧作为参考帧，不能作为其他帧的编码参考。

在MPEG-2中允许以相当灵活的方式组织I帧、B帧、P帧。MPEG-2典型的I帧、P帧、B帧间的预测关系如图3所示[3]。

从图3可以看出，在使用MPEG-2的视音频文件进行编辑和播放（检查）时，如果能够人为地直接或间接地中断P帧的前向预测和B帧的双向预测关系，让I帧实施暂停，然后再重新插入I帧，重新建立起P帧的前向预测和B帧的双向预测关系，随后再进行正常的视音频编辑和播放（检查），就可以完全而又彻底地将视频粘滞现象转化为视频粘滞效应了，人们在监视器（或电视机）上所能看到的也就只能是画面的略微一闪而已。就此而言，笔者在处理“金奇糖康”广告中的视频粘滞现象的做法也就得到了相应的验证。它的具体做法是:在视频粘滞现象出现时，马上找到出现视频粘滞现象的那帧画面，果断地将其删除掉。删完之后，视频粘滞现象不但已经得到了解决，而且对视频画面没有产生任何影响。究其原因就是，出现视频粘滞现象的视频粘滞点正好处在那个镜头内部运动的剪接点上（运动镜头的起始帧画面），而紧随其后的下一帧画面却又恰好是不存在任何问题的画面。

2.2 能够自动实现中断与播出的静止图像检测流程图

在非线性编辑系统和硬盘播出系统中，要实现这种所谓的“中断”还是比较容易的，那就是在播出软件中再加上一个码率检测程序和一个能够自动实现中断与播出的检测程序就可以了。这个能够自动实现中断与播出的检测程序的检测流程如图4所示。

图4 静止图像的检测流程

2.3 MPEG-2解码缓存的溢出

缓存的溢出是一种软件中由于边境条件、函数指针等设计不当而造成的址空间错误，它的发生原理是:向一个有限空间的缓冲区中拷贝或输入了过长的字符串，这时就会有许多意想不到的事情发生，超过的那部分字符将会覆盖与数组相邻的其他变量的空间，使变量出现不可预料的值。在MPEG-2系统中，这种缓存的溢出往往直接表现为视频粘滞现象的出现或视频粘滞效应的发生。

目前标准数字电视采用的是MP@ML主类和主级，而HDTV采用的是MP@HL主类和高级。以MPEG-2 MP＠ML为例，它能够提供720×576，25 f/s的ITU-R601建议图像质量，最高码率为15 Mbit/s，在压缩比为30∶1以内时可提供广播级质量的编码图像。这就是说，在编码码率大大高出15 Mbit/s之后，解码器的缓存就容纳不下那么多的数据而要发生溢出了，在监视器（或电视机）中就有可能表现为静止画面的出现（视频粘滞效应或视频粘滞现象）。然而，在MPEG-2 MP＠ML的实际应用中往往采用的都是恒定比特率CBR（Constant Bit Rate）和可变比特率VBR（Variable Bit Rate）进行传输的，在传输过程中当瞬时码率超过恒定比特率或可变比特率的上限时，就完全可以认为解码器的缓存已经发生了溢出。恒定比特率或可变比特率的上限都是已经人为设置好的一种系统参数。

2.4 MPEG-2瞬时码率的提取

当MPEG-2的瞬时码率远远大于恒定比特率或可变比特率的上限时，解码器的缓存就会发生大量溢出，从而引发视频粘滞效应或视频粘滞现象。那么，在非线性编辑系统和硬盘播出系统中PS流的瞬时码率又该如何提取呢？由于MPEG-2是在将视频、音频的PES流以及辅助数据按不同的格式经过再次打包之后再进行复用的，即分别生成了TS流和PS流。TS和PS是通过PES实现的彼此相容、相互依存、生死与共的关系的。所以，只要能够检测出它们之中的任何一种码率也就可以了。借鉴ATM（Asynchronous Transfer Mode）或CATV（Community Antenna Television）网络传输中对接收端MPEG比特率的测量算法。在恒定比特率MPEG-2传输流CBR中瞬时码率的提取公式为

在可变比特率MPEG-2传输流VBR中瞬时码率的提取公式为

式中:Rf为2个连续过程和更多的PCR之间的运行时间比特率，即瞬时码率；ΔSTC为相邻2个STC间的差值；ΔPCR为相邻2个PCR间的差值；K为常量，恒定比特率；Δb为相邻2个PCR间的比特数。当瞬时码率大于或远大于恒定比特率K或可变比特率的上限时，非线性编辑系统和硬盘播出系统就自动开启静止图像检测程序。

2.5 静止图像的检测与视频粘滞现象的自动解除

在播放（检查）MPEG-2格式的数字化视音频文件时，如果码率检测器一旦检测到解码缓存器已经发生了溢出，静止图像检测程序就会马上开始工作。先截取I帧图像，询问是否已经截取。如果还没有截取，就将已截取的I帧图像作为参考帧，再次进行截取；如果截取了，就将前后2次截取的的I帧图像进行比较，看看它们是否一样。如果2幅图像完全一样，程序中的计时器就开始工作，看看图像一样（静止）的时间是否达到了0.3 s。如果没有达到，就继续截取；如果达到了，就对正在播出的MPEG-2格式的数字化视音频文件实施暂停，从而中断I帧、P帧、B帧的预测关系。暂停之后再继续进行新的播放，重新建立起I帧、P帧、B帧的预测关系。

从上面的分析中还可以看出，笔者在曾经提到的、能够自动解除视频粘滞现象的应对策略（全自动方案）中还存在着一定的缺陷。在这个策略中，不但可以在不改变原有硬盘播出系统的原则下就可以完全实现视频粘滞现象的自动解除，而且即使在播出时码线上配好了码率检测程序，也不用将播出时码线上的播出标尺在实施暂停处理之后再帧进，除非将前面提到的检测程序变为事前检测。正确的做法是在实施暂停之后马上就可以直接进行正常播放操作。

3 结论

不管是在非线性编辑系统里，还是在硬盘播出系统中，都可以通过添加码率检测程序和静止图像检测程序将MPEG-2格式的数字化视音频信号在播出（检查）过程中出现的视频粘滞现象完全转化为视频粘滞效应。另外，在视音频文件采集或导入过程中，如果没有发生视频粘滞现象（在采集或导入过程中直接发生视频粘滞现象的几率几乎为零），采用上述方法就可以免去节目上载前的二次审查，从而有助于提高工作效率。

[1]卞德森.硬盘播出系统的数据安全技术[J].电视技术，2000，24（8）:58-60.

[2]尹旭.硬盘播出过程中出现的视频粘滞现象及其应对策略[J].现代电视技术，2009（6）:130-133.

[3]张嫘，黄焱.一种压缩域原始视频资料的摘要方法[J].广播与电视技术，2008（1）:55-58.