基于深度学习的智能化电视节目上载检测技术

【摘要】本文从电视节目的有效上载对安全播出的重要性入手，分析了传统的电视节目上载检测中存在的诸如上载操作流程精确管控难度大、素材技审中的视音频隐藏问题多、音视频素材敏感信息筛查难度大的问题，针对上述问题逐个加以分析并提出解决的技术方法，通过完善和汇总提出了基于深度学习的智能化电视节目上载检测技术方案。

【关键词】深度学习;人工智能;电视节目上载;媒资;智能化

中图分类号：TN92                            文獻标识码：A                            DOI：10.12246/j.issn.1673-0348.2022.05.006

电视节目的安全播出与上载是相辅相成的关系，电视节目的安全播出依赖于有效的节目上载工作，为确保电视节目播出的安全性和高质量，就必须要重视电视节目的上载工作。近年来，我国的广播电视事业取得了飞速的发展，前期传统的硬盘播出系统这一电视节目上载设备为实现我国电视数字化的目标起到了巨大的推动作用，但随着科学技术的不断发展，上载技术也在与时俱进地快速发展，正朝着智能化和自动化的方向不断地迈进，从而推动着我国电视节目播出技术向着数字化智能化快速转型。

1. 传统的电视节目上载检测方法存在的问题

传统的电视节目上载检测方法存在的三大关键问题如下：

上载操作流程精确管控难度大：急需解决上载前人工审查流程复杂的难题。

全台网架构下的正常节目播出流程如下：上载人员操作上载工作站，控制上载服务器和录像机，通过录像机播放P2节目记录卡，将录像机输出的SDI信号编码成素材文件，再通过全台网通信网络传输至播出媒资进行保存。节目播出前，通过全台网通信网络，将素材文件从播出媒资传输至播出服务器，再通过播出工作站控制播出服务器将素材文件解码成SDI信号进行播出，具体网络架构图如图1所示。

电视节目的上载工作需要经过比较繁琐的流程，如在进行P2卡上载时，首先要查看P2卡盒上标注的节目时长，节目名称及播出时间等信息;再核查P2卡自带的唯一卡号是否与导播提供卡号的相一致;还需要按照节目制作技术规范规定检查提示字幕，首帧活动画面，核对TC码等上载操作。当上载的工作量很大时，上载人员面对上载前繁杂的审核流程，就容易发生某些环节审核不到位的情况，从而导致播出事故的发生。

素材技审视音频隐藏问题多：急需解决上载节目技术质量评价“零差错”难题。

虽然电视台通常设有技术审查部门，专门负责播出质量的审查，由于种种原因，依然有一定数量未经技审或技审不严的磁带会送到上载岗位。尽管传统的上载方法具备严格的软件自动技术审查机制，但软件自动技术审查并不能检测因人为造成的节目内容错误以及软件无法检测的节目内容缺陷。这就需要通过人工审看、审听，在上载岗位对电视节目进行上载的同时，保证至上载服务器播出节目的技术质量及节目内容的完整性不存在任何问题。但人工的审看、审听流程难免会出现失误和遗漏，在上载环节未能及时发现技审遗漏的技术质量缺陷，就有可能影响到安全优质播出目标的实现。

音视频素材敏感信息筛查难度大：急需解决媒资系统的出入库筛查效率低的难题。

电视台传统的媒资系统的入库和出库的审核都采用纯人工的方式。对于每个素材中的大量音视频的敏感信息筛查，纯人工的方式难免会有疏漏和差错，同时由于人力成本的问题导致大量内容处理存在局限。而基于人工+自动识别的媒体资产管理系统也同样存在着识别准确度不高以及识别效率低的问题，这将导致媒资系统出入库审核难度加大，可以作为提升媒资系统的出入库质量水平的研究和优化的方向。

2. 背景技术

2.1 深度学习技术

深度学习（DL，Deep Learning）是机器学习（ML，Machine Learning）领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能（AI，Artificial Intelligence）。

以往人工智能研究的方向之一，是以所谓“专家系统”为代表的，用大量“如果-就”（If-Then）规则定义的，自上而下的思路。人工神经网络（Artificial Neural Network），标志着另外一种自下而上的思路，它的基本特点是试图模仿大脑的神经元之间传递，处理信息的模式。特征学习（表征学习）通过机器学习技术自身来产生好特征，这使机器学习向“全自动数据分析”又前进了一步。

典型的深度学习模型有卷积神经网络（Convolutional Neural Network）、深度信任网络模型DBN（Deep Belief Networks）和堆栈自编码网络（Stacked Auto-encoder Network）模型等。基于卷积神经网络的模式识别系统是实现的最好的模式识别系统之一，尤其在手写体字符识别任务上表现出非凡的性能;深度信任网络模型可用于提取音乐的特征，用于音乐风格的分类等;堆栈自编码网络可用于遥感图像的识别等领域。

2.2 智能文本及音视频检测

智能文本检测分为文本检测模型和文本识别模型两个阶段。文本检测模型的目标是从图片中尽可能准确地找出文字所在区域;文本识别模型的目标是从已分割出的文字区域中识别出文本内容。基于深度学习的技术解决方案从特征提取、区域建议网络（RPN）、多目标协同训练、Loss改进、非极大值抑制（NMS）、半监督学习等角度对常规物体检测方法进行改造，极大提升了自然场景图像中文本检测的准确率。

智能音频检测首先会将音频识别为文字，再通过高精度的文字内容审核系统进行审核，由于文字有着更多的上下文关系，有具体的关键词和场景，不仅可以快速验证是否安全合规，而且可以为音频打上标签、分类的信息，有助于业务的精细化运营;其次如果音频并非识别为文字，再通过大数据算法，对声音的频率、音色等进行分析，识别是否涉及违规内容。

智能视频检测是计算机视觉领域的热点研究方向和应用方向，人脸识别是指利用人脸视觉特征信息分析比较后进行身份鉴别的计算机技术，人脸识别技术属于生物特征识别范畴。智能视频检测通过人脸识别技术构建实时自动的人脸识别系统，可用于视频中关键任务的快速发现和定位，有助于后期的视频处理工作。

3. 技术方法设计

3.1 智能化自动上载校验机制

本方案创新性地采用了自动化上载校验机制，在节目上载前对其进行相应检查以及预览，这样可以避免意外事故发生，确保电视节目安全播出。

3.1.1 视频素材最小时长自动检测

硬盘播出系统中有明确的播出要求，如果视频素材内容小于5秒，是无法有效播出的;若不及时删除小于5秒的视频素材内容，就会使电视节目始终停留在上一条素材内容的最后一帧画面上，节目的伴音也多掺杂着杂音，这样就会影响整个电视节目的播出效果。因此，传统方法中，电视节目的上载人员需要对整个素材内容进行相应的预览分析，检查是否有小于5秒的视频素材。本方案将自动化检测节目的TC码的方式计算节目时长，一旦发现上载的电视节目中出现小于5秒的素材内容，硬盘播出系统就会自动报警通知相关工作人员将其删除，以此保证电视节目正常播出。

3.1.2 上载节目信息自动检测

在进行P2卡上载时，本方案首先将按照节目制作技术规范，通过自带OCR识别功能的摄像头自动化检测发现P2卡盒上标注的节目名称，播出时间及节目时长等信息，并自动核查P2卡自带的唯一卡号是否与导播提供的一致;然后上载软件再通过OCR技术自动化发现并检测提示字幕，识别并核对首帧活动画面中的人脸信息，并自动完成核对TC码等上载操作。

3.1.3 节目内容重要信息识别及自动审核

对于节目内容本身，本方案首先将在所有节目头、尾30秒、中间内容间隔选点处20秒自动提取每帧的图像进行审看分析，使用智能文本检测技术自动发现节目名称，使用智能视频检测技术自动识别主持人，通过核对节目名称和主持人等信息确定节目内容本身是否有任何疑似错误，如有疑似问题则安排上载人员人工回头找点按25帧/秒重新进行播放审看，这样就严格执行了相关的上载规定流程操作，确保将节目内容缺陷的检出率提升到99.9%左右，大大提升了节目内容审看的工作效率和质量。

3.2 智能化自动软件审看机制

方案通过智能文本及音视频检测技术，以软件自动技审的形式提高对上载节目质量的评价效率。自动技审软件能够根据用户设置的参数模板进行动态比对，自动检测发现上载至上载服务器中的节目素材存在的黑场，彩场，彩条，静帧，静音等播出质量问题，并提供可靠检测结果报告，如图2。

根据技审结果对素材进行再次软审看功能，通过点击错误列表准确定位错误帧的位置，进行复审，如图3。这样可以弥补人工审看审听的疏漏，在降低工作人员的劳动强度的同时又提高工作效率和技术审查的准确率，更加有效的避免了播出事故的发生。

3.3 智能化媒体资源筛分机制

本方案采用了智能化的AI语音识别和人脸识别技术，集合媒体资产管理场景筛分应用，实现了全自动化的媒资入库、出库流程。在素材入库的时候，会走正常的入库主流程，包括提交、编目、归档;本方案新增媒资入库旁路流程，来完成AI智能识别功能。语音识别和人脸识别的结果会作为编目信息自动记录到素材编目元数据中去。媒资出库的时候，审核期间若发现存在敏感素材，可打回素材出库申请，并通知媒资管理员修改素材密级。

通过语音识别技术和人脸识别技术，自动提取资料的音频和视频与智能库里的关键字和图像进行对比。实际应用到媒资业务界面上，在素材入库后，智能识别的结果可以作为编目信息自动记录，入库内容自动标注了语音信息和关键人物信息;素材出库时，智能识别的结果罗列出来，并可以直接点击识别结果定位关键帧位置，直观的作为审核参考;也可以根据实际需要选择再次进行AI语音识别和人脸识别处理。这样就极大地方便了媒资入库的管理工作，提高了媒资编目和出库审核的正确率和效率，保障了媒体发布的意识形态安全，实现了广电媒体资产智能化管理。

4. 本技术方案的主要实施步骤

本技术方案的主要实施步骤可分为三步：节目素材的智能化自动上载、节目素材的智能化自动审看和节目素材的智能化媒体资源筛分。各步骤的主要内容如下所示：

4.1 步骤一：节目素材的智能化自动上载

在节目上载前，进行视频素材最小时长自动检测、上载节目信息自动检测和节目内容重要信息识别及自动审核等检测工作，避免因为人为原因导致的节目内容错误，确保节目的完整性和正确性。

4.2 步骤二：节目素材的智能化自動审看

自动检测并发现上载至上载服务器中的节目素材存在的黑场，彩场，彩条，静帧，静音等播出质量问题，并通过软审看方式实现复审，避免节目出现难于发现的节目内容缺陷，确保节目的技术质量不出问题。

4.3 步骤三：节目素材的智能化媒体资源筛分

通过新建媒资入库旁路流程，用于完成AI智能识别功能，语音识别和人脸识别的结果会作为编目信息自动记录到素材编目元数据中去，提高了媒资编目和出库审核的正确率和效率，确保了媒体发布的意识形态安全。

5. 小结

基于深度学习的智能化电视节目上载检测技术方案，通过对节目素材的智能化自动上载，确保了电视节目的完整性和正确性;通过对节目素材的智能化自动审看，确保了节目的技术质量标准得到满足;通过节目素材的智能化媒体资源筛分，确保了媒体发布的意识形态安全;从而真正实现了智能化的电视节目上载检测，大大提升了上载工作效率和素材本身问题的检出率，极大地降低了电视播出事故发生的概率，符合未来电视节目上载技术的数字化和智能化的发展方向，因此具有较高的借鉴意义。

参考文献：

[1]闫瑞.电视节目上载与安全播出的关系[J].西部广播电视，2017（15）：203.

[2]李开复，王咏刚.人工智能[M].北京：文化发展出版社，2017：35，9.

[3]姚良.影响IPTV业务质量的关键因素及质量提升措施探讨. 电信科学，2009，25（3）

作者简介：周丽丽，1981，女，汉，江苏海安人，工程师，目前从事电视节目上载方面的工作，主要研究方向为电视播出技术.