基于Encoder-Decoder-Detector的多任务谣言检测模型

2023-10-25王菽裕许晓宇

无线互联科技 2023年16期

王菽裕,许晓宇

(西藏民族大学信息工程学院,陕西咸阳 712082)

0 引言

随着科技的发展和社交媒体的扩张,谣言传播范围广泛,谣言检测也逐渐引起人们的广泛关注。早期使用手工制作特征的方法由于效率低下而被淘汰,近年来逐渐采用深度学习方法。

深度学习方法在谣言检测领域得到了广泛应用,可分为两类。第一类方法主要关注文本挖掘和学习文本语义特征。例如,早期的研究中,Jing等[1-2]使用了递归神经网络(RNNs)包括LSTM和GRU来学习谣言检测中的说法表示。另外,Feng等[3]通过使用卷积核提取文本中的特征训练卷积神经网络(CNNs)。据Huang等[4]的研究表明,谣言和非谣言通过传播形成了不同的结构。

Lin等[5]为了增强谣言检测模型的结构信息学习能力,提出了一种获得文本、传播和结构信息的方法,由编码器、解码器和检测器3个部分组成。编码器采用高效的图卷积网络,将初始的文本信息视为输入,并通过传播来更新节点特征,从而学习文本和传播信息。编码器生成的节点特征将被用于随后的解码器模块,该模块使用AutoEncoder方法来学习整体的图结构信息。同时,检测器利用编码器的输出对谣言事件进行分类。然而在编码器部分忽略了考虑谣言传播的时间特性。近年来,图神经网络的研究引起了人们的广泛关注,许多研究者提出了一些方法,其中GCN对图结构的特征提取是最有效的。GCN也在许多领域都有很好的应用,如蛋白质界面预测、文本分类和社区检测。某个问题是基于图或者节点之间的关系时,使用GCN对图进行操作,可以更好地获得节点的高级特征。为了进一步提升谣言检测的准确率,改进Lin等[5]中的特征提取模块,也就是在考虑谣言的静态全局结构特征的同时,还要考虑谣言传播的时间特性。在解码部分,涉及多任务模式完成谣言检测,任务一是完成谣言全局静态结构特征的恢复,任务二是完成谣言检测(是或者否)。本文主要贡献在于以下几点:

(1)提出了多任务谣言检测模型ED2,任务一可以直观观测谣言传播的全局结构特征;任务二实现谣言的检测。

(2)改进了谣言特征提取模块,一方面考虑全局结构特征,一方面考虑谣言传播时间特征。

(3)在公开数据集上验证了所提模型的谣言检测准确率,能达到最好的效果。

1 问题定义及模型

1.1 问题定义

数据集具备相应的标签,通过监督学习的方式训练网络模型,模型输入和输出可以表示为:

(1)

1.2 模型

为了实现谣言检测,笔者设计了如图1所示的多任务谣言检测模型ED2,共包括3个模块。Encoder模块,用于实现谣言信息的特征提取,该模块的设计思想是通过改进前人模型,主要区别在于考虑全局静态结构特征提取的同时,还需要考虑时序特征提取,为此引入第二分支LSTM用来实现该目标。两个分支提取的特征具有相同的形状,通过级联操作拼接为中间特征。中间特征将用于后续两个模块的输入,也就是实现两个子任务。分别是谣言结构恢复模块Decoder,该模块通过将中间特征转置再与中间特征进行点乘操作,得到的特征向量经过激活函数恢复可表示信息全局结构特征的邻接矩阵A。任务二是谣言检测模块Detector,中间特征经过最大池化和平均池化操作,将两者的输出进行拼接,依次输入到全连接层和激活层得到谣言检测的判断。

图1 多任务谣言检测模型ED2

Encoder模块。设初始输入xi表示一个帖子,该帖子用TF-IDF表示为固定词汇表中的单词向量。A为邻接矩阵,表示帖子之间的关系。分支一中使用原始GCN论文中使用的1stChebNet方法,GCN通过聚合邻居的特征来更新节点特征。它对信息流如何通过传播从源帖流向当前节点进行建模。单层GCN一般效果较差,因此该模块结构采用两层GCN来增强学习能力,公式如下:

H1=GCN(xi, A)

(2)

H2=GCN(H1,A)

(3)

分支二中使用原始LSTM结构,用于提取时序特征,具体可以表示为:

M=LSTM(xi)

(4)

因为H2和M具有相同的形状,通过拼接两个特征向量得到中间特征Z。

Decoder模块。该模块主要是用于恢复谣言传播全局结构特征,可以监督特征提取模块更好地提取到既能反映谣言传播结构又能反映谣言传播时间上的中间特征Z。该模块用公式表示为:

(5)

Detector模块。检测器模块以中间特征作为输入,目的是将事件分类为细粒度标签。该模块采用最大池化和均值池化运算将所有节点信息聚合为事件表示。其公式为:

(6)

2 实验

本节介绍实验中使用的微博数据集,将提出的模型ED2与基线模型VAE-GCN进行比较。与其比较的基线模型是VAE-GCN,用GCN作为编码器,变分GAE作为解码器。实验结果如表1所示。

表1 谣言检测在微博上性能比较

表1显示了两个模型在微博数据集上的性能。本文提出的模型ED2在4个指标上基本得到了提升。其原因主要在于特征提取模块考虑了提取双重特征,即全局结构特征和传播时序特征。ED2模型使用GCN通过传播来更新节点的表示。由于频谱卷积方法在图数据上具有较高的准确率,实验结果表明,ED2可以学习到更高层次、更好的特征表示方法。结合结构表示,ED2模型更加关注传播的最终全局结果,这有助于进一步提升谣言检测的性能。