语义增强的多模态虚假新闻检测思考

2022-02-19福建师范大学协和学院信息技术系陈耿

数字技术与应用 2022年1期

福建师范大学协和学院信息技术系陈耿

本文主要以语义增强的多模态虚假新闻检测思考为重点进行阐述，首先分析语义增强的多模态虚假新闻检测背景，从文本语义编码器模块建立、视觉语义编码器模块建立、多模态结合模块建立、分类模块建立几个方面深入说明并探讨语义增强的多模态虚假新闻检测创新与实践，旨在为相关研究提供参考。

1 语义增强的多模态虚假新闻检测背景

1.1 虚假新闻实际特征

一般而言，若新闻内容呈现出虚构倾向，偏离真实化生活，则这个新闻可能是虚假新闻。人们阅读过程中依旧会感受“这是实际发生的事实”。虚假新闻整体涉及三个层面：第一个层面是单一化假新闻，由于网络体现出匿名特征，还可以言论自由，若有人故意编造新闻，会出现相关信息图片在多次转载后出现文字和标题不贴切现象；第二个层面是煽动化的假新闻，信息可能由不法分子创造，引出社会动荡，捏造极端性文字，让图片存在血腥暴力的特色；第三个层面是与利益存在关系的假新闻，个体以获取利益为前提，擅自发布醒目标题，与新闻主旨相匹配，多数情况可以吸引眼球画面，新闻内容以广告或推销为主[1]。排除虚假新闻主体，新闻发布者总是发布不切合实际新闻信息，尤其是运用固有社交媒体平台中张贴与新闻主旨没有关系的信息标签。所以虚假新闻经常来源于多种类型模态信息，因此怎样得到上述特点是创设模型关键。

1.2 多模态虚假新闻检测现状

立足于分析对象本质特征，虚假新闻检测划分事件检测以及微博检测，前者是通过相同类型事件信息，综合判断新闻消息是否具备可信度，需要一定时间支持，部分关键虚假性新闻在事件产生前大范围存在于社交媒体内，可能在较短时间内生成负面影响；后者对单一微博信息具备真实性和事件检测结果互相对比，此种模式在具体应用期间能保证检测时效性，所以备受研究者重视，那么微博模式的虚假新闻检测分析更具备意义和价值[2]。诸多文献通过文本内容及传播内容生成虚假性新闻，以文本内容为基础形成虚假新闻，固有语言风格模型构建早期语言学基础、主题基础特征等，还包含深度模型为前提的自动化信息高层特征。社交上下文检测方法尤其存在于用户行为的真实性层面和网络信息传递层面，起到一定作用。

最近几年，部分工作逐步体现出视觉模态对虚假新闻检测起到显著价值，虚假新闻信息图片包含图片误用、图片篡改两种形式。图片误用没有刻意修改，来源其他类型事件或被错误感知的真实性图片；图片篡改是运用工具刻意改动像素，也是自动转变某种算法的非具体化图片。现有视觉模态强调借助图片取证和语义特征与上下文特征，全面完成虚假新闻信息检测[3]。

除此之外，文本模态类型、视觉模态类型在一定程度给虚假信息检测带来补充性信息，关联多模态信息开展虚假新闻检测是比较重要的问题。神经网络检测方法是对多模态数据、虚假新闻检测结合，产生含有注意力表现的一种循环网络融合文本以及社交信息，提供虚假新闻检测的泛化功能。随后借助对抗学习理念纳入事件类型，模型学习被赋予和事件无关的多模态性能；依托编码器与解码器创设多模态新闻特征传递过程，对于虚假新闻检测有效性条件，在事实知识匮乏情况下，是无法全方位感知多模态新闻事件内部语义的；结合外部图谱对文本实体概念进行具体分析，能够得到语义体系。通过网络建立文本模型和建立图片模型的交互体系，上述操作方式可彰显外部知识图谱优势，强化人们对新闻语义掌握[4]，可是创设图片语义信息时依旧表现出不足。基于此，对于上述工作任务，提倡语义增强的多模态虚假新闻检测，对外部知识的文本信息与图片信息进行处理，全面关联不相同类型模态的异构基础特征进行新闻检测，存在一定现实意义。

2 语义增强的多模态虚假新闻检测创新与实践

在创设虚假新闻检测方法过程中，应保持创新理念，切合实际的建立相关的模块，即文本语义编码器模块、视觉语义编码器模块、多模态结合模块和分类模块。

2.1 文本语义编码器模块的建立

文本是新闻事件集中阐述主体，涉及大量数据信息，给新闻真实性判断提供多个条件。目前存在的方法是借助循环设神经网络建模文本上下文数据，捕捉文本表现层实践模式。因为特征提取阶段匮乏一定真实知识加入，那么此类型的方式体现出感知新闻文本内容实体能力的局限性，不能完全得出虚假新闻语义线索。BERT（预训练模型）不只体现建模功能，还可在语料内部生成常识知识，百度提倡知识增强语义代表模型，即ERNIE，其内部结构和BERT存在一定关联，借助Transformer编码器功能形成相关Self机制，完成上下文数据建模。和BERT存在差异，ERNIE涉及的词句与实体单元，能够延伸部分知识类的语料预训练空间[5]，还可全面了解建模实体知识，增强模型现有语义表达水平。换言之ERNIE不只对上下文编码器所含有的词句表达，还可充当知识保存器，在句子表达含义生成阶段完整的保存对应知识。所以ERNIE可充当文本模态信息提取器，体现建模文本拥有表现层性能。

在此需要注意，社交媒体文字图片相关新闻信息是新闻重点表现形式，可借助百度预训练形式进行文字模型提取，实现新闻信息检测模块建设。

2.2 视觉语义编码器模块的建立

与真实性新闻信息配图对比，虚假新闻图片质量不高，体现出冲击力与情感煽动的问题。实际方法是在卷积神经网络支撑下得到颜色信息、边缘信息及纹理信息。因外部知识匮乏，此类型视觉特征以感知层为主，不能全面了解新闻图片内层语义[6]。本质上，新闻图片和新闻性的视觉实体存在关系，尤其是名人信息、地标信息、旗帜信息，确切的判断可让人们全方位掌握多模态语义，得到虚假新闻线索。因此相关人员要利用图片表示名人信息与地标信息过程，分析图片包含的地点和新闻文本是不是匹配，识别图片物体，判断文本实体作用处理多模态新闻冲突点。同时应关联视觉特征向量模型，关联外部模型图片视觉实体模型的本质语义。另外要想科学的判断图片名人信息与地标信息真实性，即创设信息集，全面检测信息可靠性。考虑到中文标注信息集相对较少，通过百度平台可提供对应接口体系。强调名人信息检测模型的构建，达到判断公众人物数据真实性的目的；形成地标检测模型，达到判断中外地标真实性的目的；形成旗帜检测模型，达到国旗国徽与民族服饰信息真实性判断的目的；形成敏感目标检测模型，达到判断疾病表征与爆炸火灾以及暴恐信息真实性的目的。由此获取实体组成列表，提供外部知识的实体语义信息数据，在ERNIE网络内纳入实体列表信息，得到实体表达序列。

2.3 多模态结合模块的建立

经过上述两点操作，得到文本的表达结果与文本图片结合表达的结果，之后需求对多种类型的异构特点加以统一化多模态信息传递。图片中会存有两个或者两个以上的视觉主体，然而并不是全部检测的实体都可提供虚假新闻检测的便捷条件，关联全部的实体数据信息，可能引出信息冗余与噪声不足的现象。初步明确和文本相互感应的视觉实体更关键，所以要关联文本引导注意力机制[7]，研究不相同图片区域对语义理解产生的差异性效果，应将这些信息互补，拼接多个组成特点，获取新闻多模态表示模型。

2.4 微信公共平台模块的建立

微信公共平台是当今社会一种典型媒介，强调和受众之间深化沟通，人们借助此平台互相传递信息，受众明确指令之后接收图片与文字，适应大众对主题阅读的兴趣需求，对多模态语言传递进行反馈调节。因此多模态的信息检测中，可适当纳入微信平台，提高大众对新闻检测的参与程度，诠释多模态话语互动的内涵。

2.5 分类模块的建立

得到输入新闻多模态表示形式，把信息传递给全连接层再具体分类。

首先是数据集。虚假新闻分析阶段，公开性多模态数据集不多，在之后实验中要探索中文形式微博数据集性能，然而模型也可作用在英文形式新闻数据集表达上，主要是由于文本模型强调深层语义信息的交互和文本表现间关系不密切，那么语言形式和模型两者互相影响要在后续工作中全面被检验。划分信息数据与检验信息过程，归纳全部的信息总结不相同形式的事件[8]。以此为前提，分类处理事件级别，确保训练信息与检验信息不会和新闻信息存有交叉的部分，因为综合数据量不多，那么可依托训练集形式与检验集形式以及测试集形式全面进行研究。

其次是实验设计。在虚假新闻检测评估上，实验设计指标包含准确率项目与假新闻种类项目、新闻召回率项目，选取图片翻转的形式让假新闻检测评估更为具体化。

（1）对比结构。利用卷积神经网络对文本信息分类展现，引进多种形式的卷积核，数目参数是100；循环神经网络充当文本类别划分的经典形式，注意力机制重叠网络是理解是对比体现，网络隐层单元参数调整为128；预训练语言模型更为广泛的存在于自然语言加工中，任务数据集微调结束对比Transformers以及BERT模型结果[9]。

（2）单视觉模态判断思路。利用视觉特征提取器获取信息，微调文本任务数据集。

（3）多模态判断思路。把注意力机制为核心设置神经网络作用在融合文本中，体现对比结果公平性，转移处理社交特征的结构模块。把预训练文本模态特征与视觉模态特征互相关联，在新闻事件分类器中融入虚假新闻数据；关联多模态编码器与新闻检测器的任务模型设置，提取预训练特征，有效的形成中间表达形式，作用在输入特征与虚假新闻的类别筛选上。

（4）结果情况。分类准确率明显大于其他对比方式，语义增强的多模态模型可让虚假新闻检测效果提升，特别是虚假新闻的召回，表明模型能够分析多模态语义线索，即观察存在缺陷方法内容的虚假性新闻，具体如表1所示。