一种基于LSTM 和ResNet 网络的情感极性分析方法∗

刘 星，杨 波，郁 云

(南京信息职业技术学院数字商务学院，江苏 南京 210023)

近年来，党委政府高度重视新生态企业家的思想引领工作，习近平总书记强调“要关注他们的思想”，“同他们交思想上的朋友”。建立思想状况分析研判与预测机制，是促进新生代企业家健康成长、促进民营经济健康发展的有效途径。企业家在社交网络平台非常活跃，对于平台文本进行情感极性分析，能够快速掌握民营企业家的舆论思想走向和观点。

社交平台使用简单，可随时随地发布博文，企业家乐于在社交平台上分享自己生活中的点滴，表达对某件事的观点或情感，属于最流行的沟通方式和情感倾诉工具，多年来已积累了数量巨大且富含情感色彩的文本数据。基于网络文本数据的情感分类，可以监测社交平台用户的情绪走向，不仅能根据用户的情绪变化进行针对性的内容推荐，以达到在必要情况下实施心理干预和情绪安抚的目的，还能通过监测对某一事件的大众情绪来把控舆情走向，降低突发公共事件发生的可能性。因此，从社会层面考虑，基于社交平台文本数据的情感分类，对民营企业家的思想动态研判具有重要研究意义。

1 相关工作

对文本数据的情感分类大致可分为基于情感词典、基于机器学习和基于深度学习的分类方法。情感词典是一个具有情感倾向的词汇集合，在该词典中，每个词汇代表不同的情感色彩，并使用数值化的方式标识情感的倾向程度。Wu 等[1]提出了一种有效的基于情感程度词典的中文情感分析方法，将基本情感价值词库和社会证据词库相结合，在特定的中文文本情感分析中得到最高的准确度即88.5%。Zhang 等[2]将情感字典和统计相结合，使用逐点互信息和聚类函数进行逐层聚类以预测情绪。

近年来，随着机器学习的快速发展，越来越多的学者将机器学习的一些算法运用到情感分类中，常用的算法有支持向量机SVM、朴素贝叶斯NB、随机森林等[3]。Go 等[4]描述了对推特文本数据进行预处理的过程，能够有效提高情感分类的准确率，并使用监督学习的方式在数据集上进行模型训练，实现了超过80%的情感分类准确率。Mertiya 等[5]使用合并的朴素贝叶斯和形容词分析方法来找出模糊推文的情感极性，在测试数据上达到了88.5%的准确率。Zhu 等[6]利用Word2Vec 提取目标语句的情感特征，并使用机器学习中的SVM 分类器进行分类，在此基础上加入构建好的情感词典进行集成学习，并最终用于情绪预测。

国内将深度学习应用于情感分类的研究刚刚起步，Cao 等[7]采用了连续词袋CBOW 模型构建词嵌入，然后输入到CNN 和SVM 模型进行情感分类。段宇翔等[8]提出了结合词向量、长短期记忆网络和卷积神经网络CNN 模型，在测试集上取得了88.02%和93.03%的微博文本情感分类效果。杨晨等[9]在在最新的预训练语言模型BERT 基础上，提出了一种侧重学习情感特征的预训练方法，利用情感词典改进BERT 预训练任务，相较于原BERT 模型，提高了1 个百分点的精度。

但是，研究发现，目前的情感分类方法仍存在以下问题:①现有的机器学习方法很大 程度上依赖于前期提取的特征，一定程度上限制了分类的准确率；②未考虑到文本分类中的时间序列因素，因此分类结果难以有效融合时间特征。本文提出了一种基于ResNet 和LSTM 的用户情感极性分类方法。实验结果表明，该模型在分类准确度上有较显著提高。

2 基于LSTM-ResNet 的文本情感分析

2.1 LSTM 时序预测模型

对于给定序列x＝(x1，x2，x3，x4，…，xn)，应用标准的RNN 模型，可以计算出一个隐藏层序列h＝(h1，h2，h3，h4，…，hn)和一个输出序列y＝(y1，y2，y3，y4，…，yn)。

式中:W为权重系数矩阵，b为偏置向量；fa为激活函数(激活函数可以用tanh 函数，sigmod 函数等)；下标t表示时刻。

虽然RNN 能对非线性时间序列的数据进行预测，但是仍然存在梯度消失、爆炸的问题以及需要预先确定延迟窗口的长度。因此，LSTM 模型应运而生[10]。如图1 所示，x为输入模块，则隐藏层计算可以表示为:

式中:i，f，c，o分别为输入门，遗忘门，细胞状态和输出门。σ和tanh 分别为sigmoid 和双曲正切激活函数。

2.2 ResNet 残差网络

残差网络作为2015 年ImageNet 竞赛(Image Net Large-Scale Visual Recognition Challenge)的冠军，其top5 错误率(预测的前5 个类别中不包含正确类别的比例)为3.57%。VGGNet(Visual Geometry Group Net)和GoogLeNet(Google Inception Net)的成功，说明网络越深，模型表现越良好。然而，单纯堆叠神经网络层数会使网络模型退化，导致后面的特征丢失了前边特征的原本模样，产生梯度消失或者梯度爆炸等问题，造成训练和测试效果变差。为了解决模型“退化”的问题，何凯明等[11]提出了残差结构(见图2)。残差链接为一根跳连线，能够从全连接层之前直接链接到非线性层，即:

图2 残差网络ResNet 的核心结构

2.3 LSTM-ResNet 融合的网络模型

将LSTM 与ResNet 进行融合，能够在加深LSTM 层数的同时，避免层数爆炸和梯度消失的情况，因此该模型经常被应用到时间序列的预测中。如李自立等[12]，结合了LSTM 和ResNet，取得了很好的预测效果，展现出较强的特征提取和预测能力。因此本文同样将LSTM 与ResNet 进行融合，将其应用到情感分类中，网络结构如图3 所示。

图3 LSTM-ResNet 模型总体结构图

输入层为经过预处理的文本向量，隐藏层由LSTM 层、全连接层组成，其中引入了ResNet 残差网络结构，ResNet 加入了一根跳连线，能够在全连接层之前直接短接到非线性层上，直接连接过来的恒等映射x和非线性输出F(x)两路值元素的对应相加。这样可以有效缓解由模型堆叠引发的梯度消失的问题。图3 所示即为ResNet-LSTM 的总体结构，分为输入层、隐藏层、输出层。其中，输入层中输入的是经过预处理、分词、去停用词后的文本向量x1，x2，x3，…，xL。隐藏层为ResNet-LSTM 网络。输出层为预测向量P1，P2，P3，…，PL。

基于LSTM-ResNet 的文本情感分类算法如算法1 所示。其中，输入为训练数据集、对应情感标签集，验证集比例以及待检测的样本集；输出为待检测样本集的情感分类集。主要为预处理、向量化表示、划分训练集测试集、训练R-LSTM 模型及测试输出。其中，训练集和测试集是不能有重叠交叉的，因此，设置划分比例参数θ，可以将数据集划分为训练集和测试集两部分，训练集主要用来训练模型，而测试集则用来验证模型的效果，如公式model ←RLSTM(DSVT，DSVV，YT，YV，ω)，经过R-LSTM 训练后得到模型model，并保存在本地，以备后续验证集测试使用。

算法1 基于LSTM-ResNet 的文本情感分类模型

3 实验结果分析

3.1 实验平台及参数

实验数据来源于网络社交平台以及线下调研。如新浪微博是中国最大的社交媒体平台之一，其内容具有很高的及时性和开放性，对于一些突发事件(如此次新冠疫情)，可以提供大量的研究数据。线下调研，主要形式是组织企业家座谈，记录其对突发事件的评论。在获得实验数据后，对数据进行去重、去除无效值等处理后，对评论文本进行标注，实验数据样例如表1 所示，情感倾向为{消极、中性、积极}，对应的标签为{－1，0，1}。实验模型参数如表2 所示，其中为LSTM 和改进的R-LSTM 在参数上保持一致。

表1 实验数据样例

表2 实验参数说明

本文在衡量算法的准确性时采用准确率(Accuracy)和F1 值来度量不同分类模型的性能，相关定义如下:

式中:FN 为被错分的正样本数，FP 为被错分的负样本数，TN 为正确分类的负样本数，TP 为正确分类的正样本数。P和R分别为查准率和召回率，定义如下:

3.2 实验结果对比

本文在对比情感分类效果时，评估数据集为TS1 和TS2，评估参数分别为F1 值和准确度Accuracy。

以单独使用LSTM 作为基线模型，与所提出的评估模型(R-LSTM)进行对比。其中基线模型中网络参数与所提出评估模型中的训练参数保持一致。

如表3 所示，经过ResNet 残差网络改进的LSTM 模型的性能要比贝叶斯＋形容词、LR 以及SVM 方法好一些，也比单独使用LSTM 算法的效果稍好些，同时也论证了本文所提出改进模型的有效性和可行性。因此，通过实验结果，可以看到RLSTM 一定程度上提升了情感极性分类的精度。

表3 实验结果

4 结论

本文提出一种基于ResNet 残差网络改进的LSTM 长短时间序列分析方法。实验结果表明，与支持向量机、朴素贝叶斯等传统分类器相比，基于改进的ResNet 与LSTM 的文本情感极性分类方法在分类精度上有一定提升；与LSTM、循环神经网络等深度学习方法相比，该方法在保证运行效率的前提下能获得更高的分类精度。本方法能够用来对社交平台的文本情感进行情感极性分类和预测。在实际应用中，可实时获取企业家发文所表达的情感极向，在热点事件的舆论监测方面具有实用意义。企业家在社交网络平台非常活跃，对于平台文本进行情感极性分析，能够快速掌握民营企业家的舆论思想走向和观点，并引导其健康成长，促进民营经济健康发展。