直播中不良信息监测技术研究

◆肖红威

（中国移动通信集团湖北有限公司 湖北 441000）

1 前言

通过相关数据可知，2021 年我国在线直播用户数量为6.35 亿人，预计2022 年将增多为6.6 亿人。然而由于直播提供者对利益的驱使，网络直播中经常出现不健康或违法信息来毒害网民，比如：涉黄、涉赌、涉毒、涉暴等信息，侵犯个人隐私等人身权利、虚假信息、造谣、诈骗等，冲击了社会道德、扰乱了社会秩序，甚至违法犯罪，引起社会的广泛关注和担忧。因此，本文通过对直播中不良信息分析，研究了不良信息监测的关键技术，提出一种直播中不良信息智能检测模型，可作为治理直播中不良信息的技术参考，促进直播行业健康发展。

2 直播中不良信息的分类

①色情信息。是过度地宣扬两性关系、挑逗接收者性欲、导致普通者精神堕落的信息。

②暴恐信息。是含有宣扬暴力、破坏、恐怖、宗教极端、民族分裂等的信息。

③违背公德信息。是对公共生活中最起码、最简单的规范和要求进行人为破坏。

④政治敏感信息。攻击我国政治制度或法律制度、分裂国家、损害国家形象、破坏社会稳定、损害民族与地域团结、违背国家宗教政策、恶意中伤或损害人民军队、国安、警察、行政、司法等国家公务人员形象和共产党党员形象的内容。

⑤违禁或违法信息，指违反国家有关规定或侵犯国家和个人权利的信息。

3 直播中不良信息智能检测模型

由于发送方和接收方都可使用移动终端，直播打破了时间和空间上的限制，而且还具有较强的实时互动性，直播监控面临了更大挑战，亟需创新技术来解决监管问题。从技术角度分析，直播是结合通信技术、数字技术和多媒体技术的综合信息服务，且直播仍然以文字、图像、音频为主要信息载体，而直播中的不良信息也是如此[1]。因此，综合考虑直播中各种信息存在的形式，为提高直播中不良内容监测的高效性和准确率，本文建立一个了直播中不良信息智能检测概念模型，如下图1 所示。

图1 直播中不良信息智能检测概念模型

4 直播中不良信息监测关键技术

4.1 不良文本监测技术

（1）关键词识别算法

基于百万级违规词库的进行关键词语义匹配识别。文本内容经过分词后，算法对分词进行变种识别和修正，通过词向量模型进行向量化操作，转换出语义特征，以语义特征相似为目标，通过海量数据高效检索技术进行关键词匹配。

由于涉及黑产的经济利益，内容安全是一个充满着对抗和升级的领域。当不良内容被系统检测并拦截以后，黑产通过对关键词做变种处理的方式，不断试探系统的识别能力。主要的变种手段有：

①使用同音字替代，如微信写成威信；

②直接使用拼音，如裸聊写成luo 聊；

③使用形近字替代，如裸聊写成果聊；

④使用拆字替代，裸聊写成衤果聊；

（2）文本分类算法

文本分类算法主要运用的是传统的机器学习模型。以传统机器学习模型为基础，主要涉及了下述环节：

①数据分布调整。一是做类别平衡处理，二是做数据增强。类别平衡常用的方法有数据过采样和数据欠采样，目的是让各个类别的样本数量更加合理，有利于模型的训练。文本的数据增强包括增词、减词和样本交叉等方式，目的是降低过拟合风险，提高模型泛化能力。数据增强需要结合业务场景谨慎地选择合适的方式，这个一般是跟数据过采样结合使用的。

②特征工程。主要囊括特征选择、特征定义以及特征表征。特征选择有PMI、IG 和针对业务场景自研的一些方法，目的是降维和优化特征空间。特征定义指的是模型输入基于哪些维度，包括词、ngram、主题模型、词向量等维度，还包括运营自定义的一些规则。特征表征主要定义各个特征维度值的计算方法，用得比较多的是TF-IDF，有些场景也有直接用TF 或TF 百分比的。

③模型选择及对应的超参数优化。这个主要根据不同场景下文本特点选择合适的模型，使用较多的模型包括SVM、LR、GBDT 等。

④模型效果评估。训练好模型之后，我们需要评估其效果。首先在离线测试集上面测试，如果效果指标保持稳定或者更好，则用线上抄送的数据进行实时测试，命中数据抽样人工标注，获得最真实的线上效果。

（3）文本指纹识别算法

文本内容经过分词后，将分词送入深度特征提取网络，进行文本特征空间中的指纹信息提取，进而将提取指纹特征和文本样本库中的已有指纹特征进行相似匹配，匹配成功则返回相应类型。

（4）文本聚类算法

文本内容经过分词后，将分词送入深度特征提取网络进行语义特征提取，提取的特征通过实时聚类算法形成多个团簇，通过筛选聚集度较高的团簇找到对应的高频文本。

（5）深度学习模型

深度学习模型是通过和传统机器学习模型集成的形式被应用于在大多数场景的[2]。其中传统机器学习模型配置一个较低的阈值，深度学习模型配置一个较高的阈值。先用传统机器学习模型对待检测文本进行检测，如果检测出有问题，再使用深度学习模型进行进一步检测。

语言模型的使用也是深度学习模型的应用场景之一。其主要包括两种类型，即以深度学习的语言模型以及以统计为基础的N 元文法语言模型。N 元文法语言模型属于早期的语言模型，深度学习技术流行以后，基本都被深度学习语言模型替代了。我们的语言模型经过几次技术升级，目前使用的是基于BERT 的语言模型，使用蒸馏技术得到的一个简化版，兼顾效果和性能。

模型的更新维护为了提升模型效果，一般有两种方式：第一种是补充更多的数据，特别是badcase 的数据；第二种是技术升级，用更好的算法对模型进行改进。模型更频繁的维护方式是补充训练数据，这也是效果提升最直接的方式。

4.2 不良音频监测技术

（1）声音分类算法

声音分类算法由传统方法和深度学习方法共同组成，算法用于区分不同声音类型，在不良场景中可以对敏感声音类型进行识别。深度学习方法通过建立卷积神经网络和递归神经网络对语音数据进行建模，使用在图像识别等任务中表现较好的卷积神经网络例如VGGNet，ResNet 等作为基础网络对声音特征进行学习，由于音频特征具有时序性，通过建立递归神经网络可以学习语音中的时序关系，提高分类的准确性。

（2）语音识别算法

语音识别算法即语音转文字算法主要通过基于深度学习的端到端模型实现，算法用于反垃圾场景中的敏感语音信息提取[3]。基于深度学习的端到端语音识别模型将声学模型，发音模型，语言模型统一成整体建立Seq2Seq 模型，不像传统方式那样需要独立的发音模型和语言模型。端到端语音识别模型主要包括CTC，注意力，CTC 联合注意力，RNNTransducer 四种技术实现，其中CTC 联合注意力和RNNTransducer 是重点实现方式。数据方面的工作包括语音标注数据和语料数据的收集，和场景相关的语音、语料数据对于模型效果的提升有较关键的作用，除此之外，在鲁棒性以及模型识别能力方面，频域和时域数据增强发挥了极为重要的作用。通过语音转写数据的收集和标注，模型可以进行端到端训练，实现语音信息转文字的算法功能，从而实现敏感文字信息的提取。

（3）音频模板匹配算法

算法使用语音指纹技术，首先从连续的语音中抽取具有良好不变性的特征，将其进行特征编码转换，转为可以快速检索的形态。在实时的匹配中还需要佐以时间维度的校验。

（4）声纹识别算法

算法使用了混合带宽训练，将语音转换为高层级的语义特征，同时算法会自动聚焦到业务希望捕获的特征维度，依赖这些特征组合完成分类决策。

（5）语音识别关键词检测算法

关键词音频识别算法会共享部分音频转文字的技术，但在匹配到关键词相关特征时，会通过加重关键词特征的权重，提升关键词的识别率。

4.3 不良图片检测技术

（1）相似图片匹配算法

算法对图片提取全局高层语义特征和重点区域浅层属性特征，其中全局特征通过深度特征提取网络转换获得，局部特征通过注意力机制进行空间定位获得，分别对全局和局部特征进行相似度比对，结合两者匹配信息综合判断图片是否相似。

（2）目标检测算法

目标检测算法主要用于提取图像中的关键区域，并屏蔽图像中的背景和干扰信息。目标检测算法主要参考了SSD，YOLOv3，RefineDet等通用目标检测网络结构[4]。由于不良场景中的图片存在图像质量低、目标不清晰、特征模糊等特点，检测部分需要重点解决小目标、多尺度等问题。针对小目标问题目标检测算法引入了类似特征金字塔的结构进行了特征融合，结合浅层特征的高分辨率信息和高层特征的语义信息来提高检测算法对于小目标的召回能力；而针对多尺度问题目标检测算法主要采用了多尺度训练的方式进行了优化。

（3）图像分类算法

图像分类算法针对图像整体内容进行类别区分，判定图像是否包含不良类别信息。图像分类算法参考了基于深度学习的通用分类网络，例如ResNet，SENet，MobileNet 等。在图像分类过程中，针对识别对象特征较小难以区分的问题，图像算法采用注意力机制Attention让模型聚焦有效信息，提升最终分类的效果[5]。此外，针对业务数据分布广泛、训练样本需求量大的问题，算法采用了样本挖掘、主动学习等方式，迭代扩充训练样本数量，并通过数据过滤捞取最有效的样本。

（4）涉黄图像识别算法

送入一张图片到用于分类任务的深度神经网络进行识别，输出是否含有色情内容的决策。深度神经网络使用海量色情标注样本数据构建图片训练样本集，通过训练样本集调整深度神经网络参数，训练完成后神经网络学习到色情图片分类能力。

（5）涉政图像识别算法

送入一张图片到用于分类任务的深度神经网络进行识别，输出是否含有涉政内容的决策。深度神经网络使用海量涉政标注样本（涉政人物、涉政旗帜等场景）数据构建图片训练样本集，通过训练样本集调整深度神经网络参数，训练完成后神经网络学习到涉政图片分类能力。

（6）暴恐图片识别算法

暴恐图片分类算法采用TPC-AR 的算法，框架主要分为算法训练和算法测试两个部分。

图2 暴恐图片分类算法框架

网络训练过程：

数据预处理，网络搭建→网络训练优化→网络模型

①数据集的构建：从文件夹中读取暴恐图片文件从而创建相应的标签文件和训

练使用的输入数据；

②模型的搭建和模型参数的配置；

③网络模型的训练：使用创建好的输入数据更新网络模型的参数，当模型的loss

值或者训练次数达到预期时保存训练好的网络模型。

网络测试过程：

测试数据集→模型预测→预测结果，计算准确率

①将创建好的测试数据集通过已经完成训练的网络进行预测，从而计算模型的准确率等指标。

②通过恒等映射的方式取代高速公路网络中的变换门与携带门。

③采用残差网络模型对暴恐图片进行分类。

（7）广告类图片算法

送入一张图片到用于分类任务的深度神经网络进行识别，输出是否含有广告内容的决策。深度神经网络使用海量广告标注样本数据构建图片训练样本集，通过训练样本集调整深度神经网络参数，训练完成后神经网络学习到广告图片分类能力。算法训练样本为海量广告标注样本，在实现过程中使用了图片篡改识别、多任务学习、半监督训练等先进技术手段。

（8）图片文字转换（OCR）

采用了基于深度学习的自然场景文字检测识别算法，应用于视频、图像中敏感文字信息的识别，技术实现由文本检测和文本识别两部分组成。第一部分是文字检测，用于定位图片中文字的位置，不良场景图片中的文字排版复杂、文字形状多变，现有的一般方法较难解决困难样例，通过数据、模型层面的优化，针对这些类型文字具有较好的检出能力。第二部分是文本识别，基于检出区域对文字内容进行识别，主要采用注意力机制（Attention）和CTCloss 相结合的方法，并将不同文字朝向的识别模型融合在一个网络中，处理实际场景中出现的各类变种文字。针对以下困难样例有较好的支持：

①文字存在旋转、仿射变换

②竖排或其他特殊排版

③特殊字体

④手写体

（9）人脸识别算法

人脸识别算法用于识别敏感人物，由人脸检测、人脸对齐、人脸识别三部分组成。

①人脸检测模型用于确定图像中人脸的位置信息，人脸检测算法针对不良场景中存在的模糊小脸、侧脸、遮挡人脸等难点进行了模型层面的优化。

②人脸对齐模型通过预测人脸上的关键点来确定人脸有辨识度的区域位置，并使用仿射变换将不同人脸的相同关键点对齐到相同的位置，从而降低人脸输入的噪声，使得后面的人脸识别模型能专注于学习区分每个人的特征。

③将前面经过人脸检测和对齐后的人脸区域送入人脸识别模型获得人脸特征，人脸识别的关键在于对每张人脸提供一个有辨识度的特征向量，人脸识别算法针对不良场景出现的模糊小脸、侧脸、装饰品、年龄变化、漫画等复杂问题进行了长期定向优化。

4.4 不良视频监测技术

（1）视觉显著度兼容互补性的关键帧提取

视觉显著度兼容互补性的关键帧提取方法：首先考虑亮度显著度（对视觉较敏感）、局部二值特征显著度（对亮度具有不变性）、运动显著度，分别提取关键帧。然后再根据帧和帧之间的相关系数的大小，来消除多余的关键帧，如图3 所示：

图3 视觉显著度兼容互补性的关键帧提取的算法结构

（2）视频模糊匹配

在视频匹配中，由于时间维度上的信息较多，需要先抽取时间维度上关键帧序列，并捕获图像空间位置上的重要信息，将其编码成高级语义特征录入到数据库。实时匹配时会使用相同的方式抽取特征并完成与数据库的比对。

（3）涉黄视频识别算法

涉黄视频识别算法中，同样需要对视频中的关键帧进行捕获，但关键帧抓取时需要考虑单帧上的语义特征是否有涉黄嫌疑。在快速捕获到嫌疑度较高的时间范围后，需要结合一定时间范围内的运动信息、内容信息来做出是否涉黄的判断。

（4）涉政视频识别算法

涉政视频识别算法中，同样需要对视频中的关键帧进行捕获，但关键帧抓取时需要考虑单帧上的语义特征是否有涉政嫌疑。在快速捕获到嫌疑度较高的时间范围后，需要结合一定时间范围内的运动信息、内容信息来做出是否涉政的判断。

（5）暴恐视频识别算法

暴恐算法实现过程和涉黄算法类似。暴恐视频识别的难点在于违禁元素内容的多样化，对多种多样的语义特征需要更好的区分。在时间维度、空间维度算法会自动聚焦到细节内容，并结合具有区分度的语义特征完成判断。

5 结束语

综上所述，在各类媒体的融合发展背景下，网络视频直播逐渐演变成宣传推广和获取盈利的重要方式，运用以上技术手段，可有效监测直播中的不良信息，以便于及时切断有害信息传播链条，净化网络环境。与此同时，技术既有好的一面，同时也有消极的一面，人们必须正确、全面、客观认识网络直播。当前，政府监管部门、立法机关以及行业自律组织不断加大了管理、规范力度，今后网络直播的发展必将越来越好，逐步成为一种内容丰富高质、快捷、传递正能量的重要媒介。