基于多模态社交情感分类的高校学生心理健康分析*

王 芳赵小明

（1.中国石油大学（华东）青岛软件学院、计算机科学与技术学院 青岛 266580）（2.中国石油大学（华东）控制科学与工程学院 青岛 266580）

1 引言

大学生心理健康教育是高校思想政治工作的重要内容，关乎大学生身心健康和长远发展。特别是辅导员的工作性质赋予了心理育人的独特优势。对于高校学生群体，社交媒体，即时通讯手机应用已经成为他们记录生活、表达观点、分享交流的主要载体［1］。这些社交数据中蕴含的信息能够真实准确的反映高校学生情感现状和心理状态，可以为大学生心理健康教育提供有效的数据支持，为构建高校学生心理预警机制提供新的数据保障［2］。高校学生群体在网络社交发表内容不局限于文本表达形式，图像和网络表情作为补充信息常常与主体文本共同出现。本研究聚焦高校学生网络情绪情感表达问题，依托学生朋友圈和微博数据，提出了一种基于多模态社交情感分类的高校学生心理健康分析方法，将情感状态表达划分主体情感和侧面情感，实现对学生情感更细粒度的分类，并提出一种多模态数据融合方法，以文本数据为主体，利用文本、图像和网络表情共同对主体情感进行分类，利用图像和网络表情两种模态数据得到两种侧面情感，实现对主体情感的补充。

2 相关工作

近年来，对于高校学生群体进行情感分析方法主要分为传统机器学习的方法和基于深度学习的方法。基于传统机器学习的方法指使用常见的有监督或无监督方法，基于社交文本构建复杂的特征工程。Wang等［3］提出了一种新的主题情感分析模型，有效感知学生对不同话题的情感倾向，为提高教学实践中的信息服务质量提供有力的实践参考。Iram等［4］提出了一个自动化方法来检测学生在Facebook上发布的相关问题是积极的、消极的和中性的。仲伟伟等［5］提出一种利用模糊聚类算法对高校学生在微博等网络社交平台的文本状态进行情感分析的方法，有效地发现学生的心理健康问题。

而基于深度学习的方法为当前情感分析的主流方法，Yan等［6］对学生在论坛上发出的消息进行情感分类，然后应用广义线性混合效应模型以统计显着的方式估计新冠肺炎和在线教学对人们情绪的影响。刘丽等［7］此提出了一种结合条件随机场和复杂句式的跨粒度情感分析方法，对学生微博进行细粒度情感分析，同时分析微博文本的情感倾向，实现对学生总体情感倾向的跨粒度分析。王曙燕等［8］针对高校学生论坛语句具有篇幅短、口语化与多流行用语等特点，提出了一种基于RoBERTa-WWM的高校学生情感分析方法，充分学习语句的局部特征与上下文语境信息。

在情感分析领域，多模态因为其考虑了不同模态的数据，所以成为了一种有效的提高情感分析效果的方法。宋云峰等［9］提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM，刘路路等［10］对文本和图片的多模态数据进行了方面级情感分析，在公开数据集上均取得了不错的提升效果。然而上述研究缺乏针对高校学生群体发表网络动态场景下综合考虑多种情感进行分析，应该将多模态与多情感联系起来综合考虑特定群体的情感分析。因此，我们提出了融合不同模态的数据进行主体、侧面情感综合考虑的情感分析方法。

3 模型方法

3.1 整体架构

本研究基于高校学生群体将朋友圈和微博数据，提出的情感分析方法主要分为三部分。首先是融合文本、图像和网络表情特征的主体情感分析模型。其次是将网络表情转换为文本，然后通过计算文本相似度来得到侧面情感1。最后是对动态的配图进行情感分类，得到侧面情感2。所以将高校学生的情感分析任务定义为从主体情感空间和侧面情感空间中得到的情感组合。

图1 模型结构图

3.2 文本特征提取

BERT［11］作为通过多头自注意力机制可以学习到文本中的局部特征和全局特征，并且考虑了文本的上下文环境信息，本研究使用BERT（BERT-Chinese-case）预训练模型来提取文本特征，并获相应的文本向量。对于高校学生群体在朋友圈或微博发布的动态中的文本定义为T，T可能包含多个句子Si。

对于每个句子Si由单词序列构成（见式（2））。

BERT作为文本编码层BERT Encoder对文本向量进行编码，得到文本向量H（见式（3））。

3.3 图像特征提取

本研究使用在ImageNet数据集上训练的VGG16［12］模型作为预训练模型获取图像特征。对于高校学生发布的动态数据中给定配图集合P，其由1到J张图片组合而成。

经过VGG16网络后，在最后一层池化层POOL可以获取图片的特征向量Hp，对于集合P中每一张图片pj都可以得到响应的特征向量Hp j。

3.4 主体情感计算

在提取文本和图像特征后，将文本特征向量H，图像特征向量Hp和网络表情文本向量He进行特征拼接和融合，得到融合后的向量Hc。由于网络表情本身是根据指定文本确定的小图像，所以可以将网络表情转换为文本表示，然后将文本特征向量H和网络表情特征向量He进行向量拼接，通过拼接函数得到拼接后的特征向量Hce。

由于文本和图像两者的表达有很大的区别，所以本研究通过添加全连接层融合文本特征向量Hce和图像特征向量Hp，经过全连接层后得到最终的多模态数据的融合特征向量Hc。式（7）中θ为全连接层参数。

将得到的融合特征向量Hc经过GRU［13］层和全连接层，最终得到预测出的主体情感。形式化的，对于t位置的输入为It，当前位置的隐藏层的向量表示为，前一个位置的隐藏层的向量表示为。σ为Sigmoid函数，用于控制更新的门控单位表示为U，其中的学习参数为Uw。对于更新门控的定义见式（8）。

用于控制重置的门控单位表示R，其中的学习参数为Rw：

tanh为激活函数，Hw对于当前位置的隐层输出的计算过程见式（10）。

Outw为输出层的学习参数，最终当前位置输出yt计算过程见式（11）。

通过GRU层后再经过全连接层，通过SoftMax激活函数，最终可以得到预测的主体情感͂（见式（12））。

3.5 侧面情感计算

正如3.4节中所述，网络表情作为一种特殊符号，虽然具有图像的形式但本质上是通过文本对其进行指定的定义含义。类似的，作为文本，将网络表情转换为文本输入后，经过文本编码层BERT Encoder后得到网络表情的文本向量He。如果数据中存在多个网络表情，则将所有网络表情得到的文本向量拼接起来再进行情感分类。将得到的文本向量通过全连接层后直接计算侧面情感。通过3.3节部分提取图像特征后，可以得到动态中配图的特征。通过VGG16模型可以直接进行图像的侧面情感分类。

4 实验结果与分析

4.1 实验设置

本研究收集了312名高校学生的朋友圈和微博动态构建情感数据集MSD（Multimodal Sentiment Dataset）作为实验数据集。数据集总共有5482条样本。本研究将高校学生情感表达分为了主体情感和侧面情感，其中主体情感分为正向（1863条）、负向（2100条）、中性（1519条）3种，侧面情感包括喜悦、支持、祝福等9种合计5480条。

4.2 结果分析

在本文提出的情感分析方法在数据集MSD上进行迭代训练，表1中的实验结果表明，在数据集MSD上我们的方法对于含有不同模态的社交动态可以提取主体情感，比其他方法取得了更好的抽取效果。

表1 不同模型在MSD数据集上主要情感分类的性能

对于侧面情感分类实验，实验结果在表2列出，实验表明本研究提出的方法可以有效的对网络表情和配图两种不同模态数据单独进行侧面情感的分类。

表2 不同模型在MSD数据集上侧面情感分类的性能

为进一步论证所提出方法的有效性，在公开数据集Yelp［14］进行了进一步的测试，实验结果在表3中列出。

表3中包含了Yelp数据集中5个不同的美国城市，其中，a和m分别表示参与实验的算法平均池化和最大池化两个超参数。实验结果表明，本文所提出的方法，在公开数据集Yelp上相较于其他的基准算法至少提升了6%的准确率。

另外，我们在Twitter反讽数据集上进行了对比实验［18］，实验结果在表4中列出，实验结果表明我们的方法在Twitter反讽数据集上相较于其他方法提高了4%左右的准确率，3%左右的F1值。

5 结语

针对高校学生心理健康状态分析任务中学生社交动态数据模态的多样性和学生情感表达的复杂性，本研究提出了一种基于多模态社交情感分类的高校学生心理健康分析方法，通过将情感表达划分为主体情感加侧面情感补充的方式来简化了复杂的情感表达，并尽可能还原情感表达的完整性。同时提出一种多模态数据融合方法，利用文本、图像和网络表情共同对主体情感进行分类，并分别利用图像和网络表情两种模态的数据表征两种侧面情感，实现对主体情感的补充。实验表明，本研究各项指标在多个数据集上都有较高的预测效果，可以有效地对高校学生社交数据进行情感预测。通过对高校学生心理状态和情感表达的分析，为广大教育工作者提供了直观的指导，实现了高校学生工作与新技术的结合，推进了线上线下相结合的心理工作机制，增强了网络平台建设的亲和力和针对性。