新一代短视频节目智能监管系统设计与实现

司凯威

国家广播电视总局二九三台 河南省 郑州市 451162

引 言

伴随着移动互联的高速发展和智能终端的普及，抖音、快手等短视频应用程序成为广大群众收听收看视听节目的重要途径。根据中国互联网络信息中心调查表明，截至2021年6月，中国短视频用户达到8.88亿，短视频应用的人均单日使用时长为125分钟。在短视频应用程序展现巨大的商业价值的同时，个别账号运营者趁机传播包含色情、低俗、侵犯版权等内容的视听节目。为维护广大网民的收听收看权益和引导行业健康发展，在政府相关部门的指导下，中国网络视听节目服务协会联合国内主要视频网站，制定了《网络短视频平台管理规范》和《网络短视频内容审核标准细则》对短视频内容、标题、名称、评论、弹幕、表情包等给出了具体规定。

相对于互联网视听节目传播，通过移动应用程序传播的短视频节目具有数量多、内容丰富、互动性强、推送算法属性强、矩阵式传播等特点［1］。人工操作智能终端逐个监看的工作方式存在劳动强度大、耗时长、覆盖范围小、监看周期长、证据保存难度大等问题。因此，亟需建立短视频节目监管平台对违规内容进行识别和预警，提升工作的效率。

1 系统组成

为满足智能终端控制、音视频和通讯数据实时采集、采集数据识别和数据展示、平台维护升级等需求，该系统使用了智能终端、工控机、调度服务器、数据库服务器、发布服务器、无线路由器和交换机等设备。根据设备分工，分为监管对象、控制与采集、音视频数据处理、展示与维护等子系统，如图1所示。

图1 系统组成示意图

1.1 监管对象

监管对象主要指运行在智能终端上的抖音、快手、西瓜视频等短视频应用程序。利用数据库服务器和磁盘阵列存储应用程序的版本、下载地址、存放地址、账户信息、连接配置等信息，以便对短视频应用程序管理。

1.2 控制与采集

控制与采集子系统主要包括安装有千兆网卡的控制电脑、无线路由器、镜像交换机等。为简化控制程序设计，智能终端是基于安卓操作系统的智能手机和平板。为同时实现对多个智能终端的控制和避免通讯数据的干扰，控制电脑与智能终端的数据通过USB线缆进行交互。镜像交换机的上联口连接公共互联网，监控口连接控制电脑，下端口连接无线路由器。承担相同短视频节目监管的智能终端连接同一个无线路由器，以便通信数据的后期处理。

1.3 数据处理与存储

数据处理与存储子系统主要包括有调度服务器、图像处理服务器、音视频处理服务器和采集数据服务器。数据库服务器安装有支持高并发的MySQL数据库。为保证文本、音视频、通信数据的存取速度，数据存储使用了大容量的磁盘阵列。为利用最先进的数据处理算法，图像处理服务、音视频服务和IP代理服务均由某互联网厂商提供。服务器之间通过汇聚交换机进行互联。

1.4 网络安全管理

为了防止因长时间刷取特定内容而被短视频平台屏蔽，在网络中使用了IP代理和地址池，定时修改定位信息、IP地址等信息。

2 系统软件设计

为实现对多个短视频应用程序的实时控制、音视频采集、通信数据抓取、节目内容识别、预警信息分级等功能，兼顾后期软件维护和升级的需求，本系统可以分为基础支撑层、控制与采集层、数据处理层、业务应用层等，如图2所示。

图2 软件架构图

2.1 基础支撑层

基础支撑层为智能终端控制、数据采集、数据存储等提供硬件支持和软件环境。将智能终端的配置信息和采集数据存储在磁盘阵列和MySQL数据中，达到一次配置长期使用的效果。

2.2 设备控制与采集层

设备控制与采集层主要负责智能终端的控制、音视频数据采集和通信数据的抓取等任务。数据控制模块通过安卓系统的调试（以下简称ADB)命令实现对短视频应用程序的安装、卸载、打开、切换、捕获、关闭等操作。为防止被短视频平台屏蔽，所有的应用软件均通过手机号登录。智能终端数据采集主要是利用ADB命令获取短视频应用程序的布局信息、截屏、音视频录像等数据。通信数据采集主要是对控制电脑的网卡数据进行实时抓取，以得到IP、域名、图片、音视频等后台信息。

2.3 数据处理与存储层

数据处理与存储层主要是利用XML文件格式化、关键词比对、图片识别等技术对采集到的数据进行处理，提取弹幕、评论、账户信息、违规内容等信息。为缩短项目开发周期和利用最新的研究成果，在图片识别和音视频比对方面采用了购买某互联网企业提供的音视频识别功能。在通信数据分析方面，主要是利用pyshark调用wireshark的数据分析函数，实现IP、域名、音视频等提取。

为便于对采集的文字、图片、音视频、通信数据等数据的存储和查询，将所有的文件按照采集时间进行命名，并将文件的MD5值和路径保存在数据库中。

2.4 业务应用层

该层主要实现对节目信息的展示和参数配置。短视频节目信息模块提供节目账号、节目、链接、域名、IP、开办主体等信息的查询服务。按照预警等级，将违规账户、节目、标题、评论等相关数据推送给研判人员。在系统管理模块中，可以对智能终端、应用程序、关键词、账户信息等资源进行动态管理。

3 关键技术

3.1 智能终端控制

为实现对智能终端的实时控制，主要使用了安卓系统的通用调试工具。该工具通过命令的方式，能够完成短视频应用程序的安装、启动、切换、录制屏幕等操作。智能终端常用控制表，如表1所示。

表1 智能终端控制命令表

3.2 通信数据采集

利用pyshark模块调用安装在控制主机上的网络通信监测软件wireshark，实现对运行短视频应用程序的智能终端与网络服务器之间的通信数据［2］。首先是配置实时采集用的网卡参数，然后是对传输的网络数据包根据目的地址进行实时过滤，最后是使用过滤命令对其中的图片、音视频数据信息进行提取。通信数据采集命令，如表2所示。

表2 通信数据采集命令表

3.3 加密数据处理

在短视频监管中发现，部分短视频应用程序为了防止平台节目被恶意获取，采用了HTTPS协议传输账户、标题、评论、弹幕等信息。为获取相关的监管数据，本系统主要采取了以下措施：一是解析通信数据，获取图片、音视频、IP地址等数据。二是利用某服务商提供的图像识别服务对截屏文字进行识别，然后进行解析获取。三是使用了ADB命令获取短视频应用的布局信息，然后通过XML解释器获取相关信息。

结 论

短视频节目智能监管系统利用智能终端控制、通信数据采集、音视频数据识别等技术，解决了原有短视频监管中存在的劳动强度大、耗时长、覆盖范围小、监看周期长、证据保存难度大等问题。实践证明，该系统具有自动化程度高、配置灵活、周期短、劳动强度低等优点，有效提升了短视频节目的工作效率和质量。下一步，在提升软件稳定性的基础上，引入虚拟化的理念，提升系统并行控制和采集短视频应用程序的数量。