广播电视节目内容智能审核系统设计与实现

2023-12-13肖建波唐思腾

电视技术 2023年10期

肖建波，唐思腾

（贵州广播电视台，贵州贵阳 550002）

0 引言

随着互联网的快速发展，媒体内容不断丰富，节目内容涉及政治、经济、科技及娱乐等各个领域，内容安全要求越来越严格。在媒体深度融合的背景下，节目形式多种多样，仅仅依靠原有的人工审核方式，容易造成审核不及时、漏审等问题，给媒体内容安全带来极大隐患。以人工智能（Artificial Intelligence，AI）为基础，对视频的内容进行自动化理解、给出内容结果并自动进行审核的系统是大势所趋[1]。通过人工智能对视频、音频、图片及文字进行全面合规性审核，能够降低90%的人工成本[2]。目前，各大媒体机构都在建设内容智能审核系统，比如将人工智能技术引进出版行业，为数字出版作品把好质量关，推动数字出版事业转型升级，实现高质量发展[3]，如黑龙江省敏感人物监测系统的实际应用[4]，国家广播电视总局广播电视规划院研制的内容安全云审核系统[5]等。

为提高媒体内容安全把控能力，贵州广播电视台结合国家“十四五”规划对于智慧广电、智慧化监管的相关要求，技术团队充分运用大数据、人工智能及云技术等建设了智能监管体系和制播管理体系，在内容安全审核把控上，自主研发建设了广播电视节目内容智能审核系统，已经在节目生产中发挥了重要作用，更好地辅助了节目人员把好内容关口、守好舆论阵地，有效地提升了贵州广播电视台节目内容生产的安全保障水平，达到了预期效果。本文主要介绍基于AI 智能识别技术的广播电视节目内容智能审核系统的设计及实现。

1 系统总体设计

1.1 设计目标及原则

贵州广播电视台的广播电视节目内容智能审核系统基于以下目标及原则进行设计：

（1）建立广播电视节目文件自动送审与审核信息反馈机制；

（2）以AI 本地审核引擎为基础，建立节目内容审核信息管理和全频道审核监控；

（3）节目内容审核全流程自动化；

（4）松耦合设计，内容审核不影响现有广播电视安全播出系统；

（5）统一规划，整体设计，对外提供审核通道；

（6）具备较高的可靠性和安全性，充分考虑完善的应急方案，紧急故障情况下的应急手段和快速恢复能力；

（7）系统功能齐全、结构清晰、扩展灵活，能够满足按需增长的要求。

1.2 总体设计

贵州广播电视台广播电视节目内容智能审核系统总体设计如图1 所示，主要由AI 审核系统、AI 引擎部分、审核数据以及广播电视业务系统4 个部分构成。

图1 广播电视节目内容智能审核系统总体设计图

AI 审核系统包括任务调度、图片审核、视音频审核、调度管理、统计分析及权限管理等功能，通过统一入口、统一认证的方式自动调用AI 引擎，通过任务调度合理分配AI 引擎资源进行图片审核和视音频审核，针对不同的频道，在调度管理中可以设置不同优先级，最后反馈审核结果并对审核结果进行统计分析。各功能模块的工作流程如下。

（1）任务调度负责根据调度规则向AI 引擎发起审核。调度规则为根据广播电视的节目单数据，拆分成单条节目，根据单条节目id 查询视频数据。如果找到视频则将视频名字及视频信息则进行拼接，并向AI 引擎发起Web 请求，然后将审核结果进程存储；否则，将该条节目审核标注为视频未上载后存储在临时表中，重新开启任务定时检测该临时表。

（2）图片审核及视音频审核负责发起视频和图片审核，将视频审核结果与节目单进行关联后响应用户请求。

（3）调度管理负责任务调度管理，根据节目频道属性进行优先级设置。卫视频道、公共频道等重要频道的节目优先级较其他频道优先级高。重点时段、重要节目的审核任务优先级最高。

（4）统计分析主要负责大屏显示，根据不同权限展示该权限范围内节目近7 天的审核情况，对审核结果进行分类呈现，包括“AI 审核中”“AI 审核通过”“AI 审核不通过”“AI 审核失败”“未上载”“人工审核通过”“人工审核不通过”“人工审核失败”等类别。其中，“AI 审核中”表示该视频正在审核中，“AI 审核通过”表示AI 引擎未审核出敏感信息，“AI审核不通过”表示AI 引擎审核出了敏感信息，需要人工确认；“AI 审核失败”表示AI 引擎或者AI 审核系统出现故障或者视频本身出现故障，“未上载”表示AI 审核系统未搜索到该视频，“人工审核通过”表示人工已经审核并确认无误，“人工审核不通过”表示人工已经审核并发现节目内容存在不能播的敏感信息，“人工审核失败”表示系统人工审核故障。

（5）权限管理主要负责用户角色配置管理，支持用户导入导出、创建、修改及删除，能够进行角色权限分配。每个电视播出频道单独设置权限，该频道节目人员不能查看其他频道内容信息。

AI 引擎是整个系统的核心部分，通过对视音频及图片进行抽帧比对，提供基本的审核功能，具体包括以下功能：

（1）具有图像审核、文本审核、语音审核、短视频审核及长视频审核等审核类别；

（2）支持定义敏感信息库，包括人脸库和敏感词库，将一些落马官员、劣迹艺人、分裂暴恐人物等各类敏感人物的信息入人脸库，敏感词汇收入敏感词库，支持定期更新；

（3）具备易用性较高的自定义库设置功能，可上传、编辑自定义人脸；支持自定义人脸的添加、修改及删除；自定义人脸在审核中实时生效，支持自定义人脸库的导出、备份及恢复；

（3）支持智能识别视频、图片中的敏感人物，并精确定位到视频帧，点击可将视频定位到该时段播放；

（4）支持应用程序编程接口（Application Programming Interface，API）、Web 管理页控制管理、结果查询，支持标准化API 接口；API 接口具备完善功能，可控制审核流程、审核模块、优先级、任务配置、自定义库、人脸翻库以及多维度查询结果等。

审核数据包括了广播电视的视频和节目单数据。视频数据为待播视频，节目单数据为播出预播单。

广播电视业务系统负责电视全部频道的电视安全播出，在播前环节，将视频数据通过转码系统进行转码后，通过摆渡系统将转码后的视频传输到审核系统中，在广播电视业务设计中详细介绍。

1.3 系统主要特点

广播电视节目内容智能审核系统具有以下特点。

（1）建立了全台统一的节目文件自动传输及审核查看机制，实现了全台全频道待播节目内容审核的集中管理。

（2）采用自动审核机制，自动同步节目编排环节的节目单，自动同步视频文件，自动根据节目单发起审核。系统实时检测用户编单保存的文件夹，当有新节目单时同步，系统检测到新节目单时，做去重处理后，发起AI 审核。

（3）采用松耦合设计，实现了在网络隔离下视频的内容审核和查看。根据相关要求，传统电视播出系统需要物理隔离，但传统的审核流程很难再次开发。为了满足时效性及对外开放的要求，AI 审核系统以旁路的方式工作，审核流程及审核结果不影响传统电视播出流程。

（4）设计重播重审机制，广播电视要求所有节目重播重审核，为了提高审核效率，设计了敏感信息库不更新则重播视频不重审、人脸库更新则全部视频重审的重审机制。

（5）采用不同优先级的审核机制，根据不同频道、不同时段自动设置审核优先级，保证重点频道、重要节目的视频能够及时返回审核结果。

（6）采用转码后进行视频传输的方式，广播电视视频都是50 Mb·s-1的高码率视频文件，通过串口方式在不同网络间传输速度很慢，系统在兼顾AI审核引擎抽帧下降低视频码率，提高了传输效率。

（7）采用分频道设置不同权限，各频道只能查看自己频道的节目内容，并且对节目进行视频审核也不会影响其他频道，保证了安全性和责任明确。

（8）将AI 审核系统置于互联网环境中，与广播电视业务网络隔离。在满足广播电视业务的同时，能够对外提供审核服务。

2 广播电视业务设计

广播电视业务系统内容审核需要考虑以下3 个方面问题。

（1）系统是一个未接入其他网络的独立系统，采用摆渡系统进行视频传输，由于广播电视视频是50 Mb·s-1高码素材，传输时间长，容易造成拥堵且效率低。

（2）视频审核没有规律，不便于节目人员审核。生成节目单后，需要确认已经提交的节目单里面的内容是否全部通过审核。

（3）每天24 h 播放，有部分重播素材，若全部重播重审，会造成大量资源浪费，因此需要考虑重播重审核机制。

综合考虑，兼顾效率和安全，设计的广播电视业务流程如图2 所示。

图2 广播电视业务流程

播出系统分为节目单编排部分和视频处理部分，频道节目人员每天生成节目单后，需要提交到最终播出。系统会实时监听节目单文件夹，在提交到播出前，如果有新增节目，自动同步软件会将新增节目单同步到摆渡系统。自动同步软件只同步lis 格式的节目单文件。在视频处理部分，当存储区域有新增视频，转码软件会对新增视频进行自动转码。转码采用集群的方式，管理4 个转码子节点。有新任务时，将转码任务分配给空闲转码节点，转码成功后同步到存储区。在视频转码部分，重播素材不会重新转码，即只有新增素材才会转码。

摆渡系统采用PCI-E 串口方式进行文件传输，具有内嵌杀毒引擎、深度文件检测以及MD5 数字校验等安全功能。摆渡系统包括主机和从机，当配置目录有新增文件，会自动同步到另一台主机上。播控系统和审核系统分别将存储挂载到摆渡系统上，实现播出系统到审核系统的文件传输。

审核系统根据节目单和视频，向AI 引擎发起审核并处理审核结果。当检测到新节目单，会发起审核流程，为了便于节目人员查看审核结果，在反馈结果上将节目单、视频及审核结果进行关联呈现。审核系统处理重播重审核素材时，先查询AI 引擎人脸库更新情况，只有在人脸库更新且重审素材时间在人脸审核时间点之前，审核系统才发起审核，否则会查询已有的审核结果，不会重新发起审核。

广播电视节目内容智能审核系统关键设计在于：根据节目单发起审核并根据节目单查看审核结果；对于重播素材不是简单的全部审核，而是充分考虑了人脸库更新时间。