多路高标清电视信号安全监测技术研究与实现

张 赟，练益群

（浙江传媒学院 浙江广播电视技术研究所，浙江 杭州 310018）

多路高标清电视信号安全监测技术研究与实现

张 赟，练益群

（浙江传媒学院 浙江广播电视技术研究所，浙江 杭州 310018）

提出了多路高标清电视信号安全监测的关键技术。该方法以多路高标清数字电视信号为输入，能够实时采集并处理视音频信号，自动检测多路信号的精确延时、内容一致性和缺陷。提出了高效的视音频匹配和分析算法，并开发了软件系统实现多路高标清电视信号的安全监测。实验表明，该系统能大大提高电视台多路传输监测的自动化程度、监测精度和生产效率，降低成本，避免人工方式下可能发生的错检和漏检，具有广泛的应用前景和良好的社会效益。

高标清电视；安全监测；延时；一致性

无论是传统广播电视还是网络新媒体，电视信号监测技术是保障安全播出的一种基本手段。从监测方式来看，主要分为人工监测和自动监测。随着各级电视台频道规模的扩张，用户收看节目方式的多样化，网络、软硬件等技术的发展，视频信号监测所包含的内容越来越广泛，工作量越来越大，对安全监测的要求也越来越高，从而导致这项任务所面临的挑战日益严峻。在新形势下，迫切需要开发出新一代的自动监测系统，采用计算机视音频处理技术实现自动监测，替代繁杂的人工监测，提高监测效率和准确性。

1 多路电视信号安全监测系统设计

1.1 系统总体设计

多路高标清电视信号安全监测系统流程如图1所示。

图1 多路电视信号安全监测系统流程图

1）多路信号采集：通过视频采集卡将多路数字电视的SDI信号采集到PC机中；

2）信号延时配准：通过分析和匹配多路电视信号的视音频内容，确定其精确延时；

3）信号一致性检测：根据多路信号的延时量，确定多路信号比较的时间偏移，实现多路视音频内容的一致性比较；

4）视频缺陷检测：对多路信号的视频内容进行分析，实时检测出缺陷，如彩条、黑场、彩帧等；

5）报警和日志系统：根据信号一致性和缺陷检测的结果，对异常情况报警并记录到日志系统中。

1.2 信号延时配准

在电视信号传输过程中，由于传输介质、具体线路的不同，会造成多路电视信号在时间上的不同步。如图2所示，主备2路信号的内容一致，但是存在一定延时，此时若直接进行多路信号比较会造成2路信号完全不一致的结果。为了准确检测出多路信号的内容一致性，需要对其进行时间配准。一般说来，视频和音频的延时需要分别处理，因为两者不完全同步。视频以帧为单位，而音频以采样点为单位，例如采样频率为96 kHz的音频信号每帧有3 840个采样点。此时2路音频信号在帧内即使仅相差1个采样点，都会造成2路音频比较的不一致，所以音频配准要求更加精确。

图2 主备两路电视信号延时配准示意图

主备两路信号（S1，S2）延时配准的算法描述（伪代码）如下：

输入：两路SDI接口的视音频信号S1，S2

输出：两路信号的视频延时Tv、音频延时Ta

初始化：Tv=-Tmax,Ta=-Tmax*M

重复：Diffv=VideoCompare(S1(t+Tv),S2),Tv++

Diffa=AudioCompare(S1(t+Ta),S2),Ta++

直到：(Diffv＜σv且Tv＜Tmax)或(Diffa＜σa且Ta＜Tmax*M)若以上条件不满足则配准失败，则 Tv=Ta=0

其中输入是2路SDI接口的视音频信号，输出是视频和音频的延时量。算法的主要思想如下：在t时刻S2的视音频数据与另一路信号S1在t时刻前后一段时间（通常5～10帧）的视音频数据进行匹配，若匹配成功，则输出当前视音频信号的时间偏移Tv，Ta。对于两路视频信号配准，每次只需要进行帧间偏移；而对于音频配准，由于音频数据以采样点为单位，因此需要对2路音频数据同时进行帧间和帧内偏移（M= 3 840个采样点）。为了实现高效的音频数据匹配，本文采用基于KMP的模式匹配算法[1]来减少不必要的帧内偏移，从而提高效率。

1.3 信号一致性检测

多路电视信号的一致性检测是电视节目安全播出的重要技术，在实际的播出过程中，经常会出现由于人为误操作和恶意破坏而造成的多路信号不一致，如台标和字幕篡改、拉道、黑线等故障，此时需要及时发现并处理，从而确保节目的安全播出。如图2所示，经过延时配准的多路信号，将在一定偏移的基础上进行匹配。

视频匹配：与其他图像匹配不同，如SIFT特征[2]匹配，其目标是匹配2幅图像中尺度、旋转不变的特征，从而计算其相似性，本文的目标是检测2路视频画面是否完全一致。信号一致性检测要求视频匹配必须在一帧时间（1/25 s）内完成，而每帧视频画面的数据量巨大（尤其是高清电视），这就要求算法满足高效性和实时性。如图3所示，首先对当前2路视频画面进行灰度化，然后算出2幅图像的差分，并进行自适应阈值的二值化[3]，最后通过对差分图像的分析来判断一致性。图4给出了不同情况下2路视频画面的差分结果，图4a中的差异点是散乱分布的，而图4b表示2路画面的差异点集中于左上角的字符“浙江”。一般说来，图4a所表示的差异是人眼难以识别的，而图4b的差异是显著的，但是左右图上差异点的数量差别并不大，因此仅凭差异点数目的统计难以判定画面一致性。为了让系统具有容错性，首先对二值化后的差分图像进行腐蚀操作，去除散乱分布的差异点；然后对二值图像中的白色像素分别进行水平和垂直投影。如图4c所示，最后通过分析水平、垂直投影的结果得到差异分布的重要性区域，并计算出该区域内差异点所占的比例r（r=差异点的个数/总的像素个数）。本文设定了阈值σ1=0.02，此时若r＞σ1，则表示2路视频画面不一致。本文提出的方法能够检测2路视频画面中的非显著性差异，避免恶意的文字注入、台标替换等。为了提高算法效率，本文首先对重要区域进行一致性判断，如左右角、上下边缘等。

图4 2路视频画面差分结果分析

音频匹配：与视频信号相比，音频信号是一维的，因此音频匹配的计算量大大减少。如式（1）所示，通过帧内所有采样点的平均距离来度量2路音频的相似性。设定阈值σ2=-15，若sim(S1,S2)＞σ2，则表明2路音频内容相似。为了提高音频匹配的稳定性，本文对连续10帧音频数据进行匹配，若一半以上的音频帧匹配为相似，则说明2路音频内容一致。

1.4 信号缺陷检测

本文在信号一致性检测在基础上，进一步研究了视频缺陷检测，如彩条、黑帧、彩色帧等[4]，并提出了简单高效的解决方案。

1）彩条检测

彩条是电视播出中经常出现的现象，一般说来，彩条是电视节目中的标准信号，其画面由8种不同颜色的彩条依次拼接而成。基于颜色的匹配是最直观的方式，但是由于信号的采集和传输会带来颜色偏移和形状拉伸等变化，因而容易造成彩条的误检。一般说来，彩条图像具有简单、清晰的边缘，本文提出了基于边缘检测的方法来提高检测的稳定性和准确性。如图5所示，首先将采集到的彩条图像进行灰度化，然后进行边缘检测，最后通过分析边缘检测的结果来判定是否为彩条。本文的信号检测要求很高的实时性，而边缘检测的时间消耗较大，为了提高效率，本文仅截取部分彩条进行边缘检测。由于Canny算子[5-7]具有定位准确、信噪比高等优势，本文采用自适应的Canny算子准确高效地检测彩条边缘，如图5所示，彩条图像的7条直线边缘都准确地检测出来了。最后，对边缘图像进行连续多次行扫描（通常15～20次），若每次扫描都能交替检测出7条直线，则说明当前画面为彩条。

图5 彩条检测的算法示意图

2）黑场和彩色帧检测

黑场和彩色帧即颜色均一的图像，如图6a所示。基于颜色统计的方法[8]虽然简单，但是其稳定性和实用性较差。为了准确、鲁棒地判断黑场及彩色帧，本文提出了基于梯度的方法。如图7所示，首先对图像进行灰度化并通过Sobel算子[3，6]计算出每个点的水平和垂直梯度，并对梯度进行中值滤波；然后分块计算出滤波后的梯度均值，图6c给出了分块的方式，其中的小块是台标、标题等重要性区域；最后对每个分块的均值进行阈值判断，若不超出阈值则说明该帧是单色图像，并进一步地通过单色图像的平均颜色值来判断黑场和彩色帧。本文提出的方法能够处理多种特殊情况，如图6b所示，此时图像除了台标其余部分颜色基本均一，通过以上处理，能够准确判定出该图像既不是黑场也不是彩色帧，从而有效地避免了误报。

图6 黑场和彩色帧示意图

图7 黑场和彩色帧检测流程图

2 实验结果及分析

基于以上算法，本文开发了多路电视信号安全监测软件系统，主界面如图8所示。该系统的主要功能是实时检测主备2路高标清电视信号的一致性和缺陷。左上角是2路信号的视音频格式，右上角是视音频信号的正确性指示，中间是当前多路视频内容，下面分别是多路音频的音柱、系统运行日志以及延时数值。软件开始运行后，系统首先自动检测当前2路信号的延时并配准，然后实时检测2路视音频的一致性和缺陷，当检测到错误时，系统会进行音频报警，将错误信息记录到日志窗口和文件中，并实时保存不一致性图像。如图9所示，当2路视频、音频信号不一致时，系统能够准确地报警并记录当前错误。

本系统的运行环境如下：Intel（R）Core（TM）i3-4130 3.4 Gbyte，4 Gbyte RAM，2路输入/出的SDI视频采集卡。对于高清和标清数字电视信号，每帧视音频数据的检测计算时间分别为28 ms和17 ms，检测准确率达到95%以上。本文开发的系统在浙江省广电集团节目制作中心的高标清频道进行了试用，结果表明系统操作简单、运行高效、准确性高，能够大大减轻劳动强度，提升电视信号监测的自动化程度，具有广泛的应用前景。

3 小结

本文提出了高效的视音频匹配和分析方法用于多路高标清电视信号安全监测，能够实时采集多路高标清电视信号，自动检测多路信号的精确延时、内容一致性和视频缺陷。基于以上方法，本文开发了软件系统实现多路高标清电视信号的安全监测，该系统能够大大提高电视台多路传输监测的自动化程度、监测精度和生产效率，降低成本，有效地避免人工方式下可能发生的错检和漏检，为媒体产业的现代化提供技术支撑。本文开发的系统已经在浙江广电集团的高标清播出部门进行了成功应用，具有广泛的应用前景。

图8 两路高清电视信号安全监测软件系统主界面

图9 2路高清电视信号监测出错界面（截图）

笔者今后的工作重点是继续深入研究高效的视音频处理算法用于信号一致性比较和缺陷检测，如马赛克检测、视音频质量检测。更多难题有待研究，如视音频特征提取与表示，视音频处理算法的实时性等。

[1] 严蔚敏，吴伟明.数据结构（C语言版）[M].北京：清华大学出版社，2013．

[2] LOWE D G.Distinctive image features from scale-invariant key⁃points[J].International Journal of Computer Vision，2004（2）：1-28.

[3] 冈萨雷斯.数字图像处理[M].3版.阮秋琦，译.北京：电子工业出版社，2011.

[4]孙水发，雷帮军，刘军清，等.基于OpenCV的数字视频缺陷检测快速算法[J].计算机工程与应用，2010，46（32）：144-146.

[5] CANNY J.A computational approach to edge detection[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1986，8（6）：679-698.

[6] 龙清.基于Sobel和Canny算子的电视字幕检测[J].电视技术，2011，35（13）：67-69.

[7] 陈世文，刘越畅.一种基于最小交叉熵的Canny边缘检测算法[J].电视技术，2013，37（1）：165-168.

[8]周锋，魏蛟龙，郑金福，等.电视信号中黑场与静帧的监测[J].有线电视技术，2005，29（16）：89-91.

Research and Implementation of Safety Monitoring for Multi-channel HD/SD TV Signals

ZHANG Yun,LIAN Yiqun
（Zhejiang Institute of Radio and TV Technology,Zhejiang University of Media and Communications,Hangzhou 310018,China）

Key techniques for safety monitoring of HD/SD TV signals is proposed.This method takes multi-channel HD/SD TV signals as input,automatically detects the delay,consistency and defects of multi-channel signals.Efficient algorithms for video match and analysis are proposed,and a software system for monitoring multi-channel HD/SD TV signalsisdeveloped.Experimentsshow thatthe system can greatly enhance the automation of multi-channel monitoring,accuracy and efficiency,reduce cost,avoid the faults of human beings,has promising applications and good social benefits.

HD/SD TV；safety monitoring；delay；consistency

TP391

A

10.16280/j.videoe.2015.04.007

2014-08-01

【本文献信息】张赟，练益群.多路高标清电视信号安全监测技术研究与实现[J].电视技术，2015，39（4）.

浙江省自然科学基金项目(LY14F020050)；浙江省科技计划项目（2013C33072）；浙江广播电视技术研究所2014年度科研项目（2014004）

张 赟（1984—），讲师，主研视频、图像编辑与处理，计算机视觉；

练益群（1955—），女，教授，主研广播电视技术、媒资管理。

责任编辑：闫雯雯