深度学习在情感分析中的应用研究

于 营，贾树文，高华玲

（1. 三亚学院信息与智能工程学院，三亚 572022；2. 三亚学院陈国良院士团队创新中心，三亚 572022；3. 三亚学院盛宝金融科技商学院，三亚 572022）

0 引言

情感分析（sentiment analysis）在自然语言处理领域是一个重要的研究方向。随着当前业务环境和应用场景的变化，人们的需要越来越多地集中在一些情感分析处理方面。深度学习技术正在成为解决情感分析任务的一种新的方法。深度学习技术具有自动学习、非线性建模等特点，使得机器算法能够更好地适应数据，从而更好地完成情感分析任务［1］。

情感分析在自然语言处理领域有着广泛的应用。它可以帮助公司理解市场和客户需求，同时也可以帮助个人打破信息泡沫，了解当前事件的全貌。在此背景下，使用深度学习技术进行情感分析已成为研究热点。

1 相关研究

深度学习在自然语言处理的子领域情感分析方面取得了重大进展。使用深度学习模型进行情感分析已经获得了极大的关注，因为它能够学习单词之间复杂和非线性的关系。

深度学习在情感分析中的早期应用之一是使用卷积神经网络（CNN）进行情感分类。CNN在学习文本数据的局部和全局特征方面取得了成功，并已被用于二元和多类分类等情感分析任务［2］。循环神经网络（RNN）及其变体，如长短期记忆（LSTM）和门控递归单元（gate recurrent unit,GRU）［3］也被用于情感分析任务。RNN 对于情感分析等序列分类任务特别有用，主要因为它可以提取其中序列中蕴含的时间上下文信息。

最近，基于深度学习的模型，如基于注意力的模型、Transformer和预训练的语言模型［4］已被用于情感分析任务。基于注意力的模型，如注意力编码器-解码器模型（attentional encoder-decoder model）［5］和基于Transformer 的模型，如BERT（bidirectional encoder representations from transformers）［6］和GPT-2（generative pre-training transformer-2）［7］在各种情感分析任务上显示出显著优势。这些模型利用自注意力机制提取重要的词嵌入并学习文本数据的上下文，从而实现对情感的准确分类。

2 实验设计

本实验基于Transformer 结合预训练语言模型，进行情感分析任务的实现。Transformer 体系结构是一种深度神经网络体系结构，它使用自注意力机制计算输入序列的表示。这种架构通过允许模型考虑序列的完整上下文，而不是只考虑当前或邻近的单词，彻底改变了NLP 任务。结合自注意力机制，Transformer 可以捕获序列中单词之间复杂和长期的依赖关系，使它们在自然语言理解任务中非常有效。

在所提出的方法中使用BERT作为预训练模型。BERT 是谷歌开发的最先进的预训练语言模型，在大量的文本数据上进行训练，并学习以上下文敏感的方式表示句子中的每个单词。为了将这种方法应用于情绪分析，预训练的BERT模型可以在一个标记的情绪数据集上进行微调，比如快乐、悲伤、愤怒或恐惧。在微调过程中，BERT 的权重被更新以优化模型在特定情绪分析任务上的性能。

总之，将转换模型与预训练语言模型（如BERT）相结合，为NLP 情感分析创建了强大的深度学习方法。该方法利用Transformer 模型的上下文理解和自我注意机制，以及BERT等预训练模型的优越性能和适应性，提供准确高效的情绪分析结果。

2.1 实验环境

硬件环境：CPU Intel i7-8700，GPU Nvidia GTX1060 6 GB

软件环境：Python 3.8版本，TensorFlow 2.6.0

2.2 数据集

本实验采用Stanford Large Movie Review Dataset，该数据集是一个公共数据集，包含各种电影评论以及对评论的二元判定（正面还是负面）。数据集中含50000个标注的电影评论文本，被平均分配到25000个训练集和测试集中，另外还有额外的未标记数据可供使用。在训练前，首先应对Stanford Large Movie Review Dataset 进行以下预处理：

（1）划分数据集为训练集、验证集和测试集；

（2）提取每个评论的单词，并将其转换为数字形式的语料库，使用Keras Tokenizer 的num_words属性来控制访问的单词数；

（3）将每个评论的数字化的词汇填充为固定长度，使所有评论的长度相同；

（4）通过随机扰动集中的评论，增强模型的泛化性。

2.3 模型设计

本实验设计了一个基于Transformer 的深度卷积神经网络模型，并与改进的朴素贝叶斯算法（NB variants）、全连接神经网络（DNN）、循环神经网络（RNN）、门控递归单元（GRU）进行对比。

将文本转换为相应的词向量，并将其馈送到多层感知机和卷积神经网络模型中进行训练和测试［8］。卷积神经网络模型中的卷积层和池化层可以帮助提取文本本身特征，遗忘门、输入门、记忆单元和输出门的设置为了更好地提取上下文特征，提高模型的准确率。具体来说：

（1）嵌入（Embedding）层：将向量编码为单词向量，其中每个单词通过查找嵌入矩阵来得到；

（2）卷积（Convolution）层：将嵌入向量进行卷积操作，然后与重复的ReLU 和max-pooling层结合在一起，使最重要的特征被留下来；

（3）遗忘门（Forget gate）层：决定哪些信息需要被遗忘，哪些信息需要被保留；

（4）输入门（Input gate）层：决定哪些新信息需要被加入到记忆单元中，哪些信息需要被忽略；

（5）记忆单元：存储当前时刻的记忆信息，以及由前面时刻传递来的信息；

（6）输出门（Output gate）层：决定哪些信息需要被输出，哪些信息需要被隐藏；

（7）平铺（Flatten）层：将卷积层输出的结果拉直，以便连接全连接和dropout两个层；

（8）全连接（Dense）层：将特征映射到标签空间，这里是正面或负面；

（9）Dropout 层：随机删除一定比率（在实验中为0.5）的神经元，以防止过拟合。

2.4 模型优化参数

（1）Batchsize：64；

（2）Optimizer:Adam优化器；

（3）激活函数：ReLU加sigmoid；

（4）损失函数：使用Cross-entropy 误差函数进行二分类；

（5）评估指标：准确率。

3 实验结果与分析

3.1 实验结果

经过多次实验，最终结果表明，我们所提出的模型在测试集上的准确率为94.18%，而DNN 模型只有85.16%的准确率。这表明卷积神经网络与深度学习开发的模型可以更好地识别文本中的情感，这是由于CNN 擅长处理文本、图像等数据。并且，将该模型与朴素贝叶斯算法进行了对比，使用了预处理后的情感分析数据集，实验结果表明，本文所提出的深度学习模型确实优于传统机器学习方法。表1展示了本文所提出的模型和对比模型在Stanford Large Movie Review Dataset 数据集上所取得的准确率结果对比。

表1 实验结果总结与对比

3.2 RROOCC结果

通过绘制ROC 曲线和查看混淆矩阵来评估模型的预测精度，结果表明模型在整个测试集中的预测精度都很高，具有良好的泛化能力。

图1 不同模型的ROC曲线对比

3.3 结果分析

采用BERT进行预训练的深度卷积神经网络模型，在情感分析上取得了最先进的结果，这种方法可以提供高度准确的情绪分析结果。

通过实验可以看出，本文所提出的深度学习模型在准确率上较之前的模型有了很大的提高，尤其是在采用了BERT 的预训练参数之后，模型的准确性进一步提升。我们的模型具有出色的上下文理解能力，这是由于BERT是在大量文本数据上训练的，因此它可以获取句子中单词的上下文语义信息，这对于情感分析至关重要。通过理解上下文，模型可以识别文本情感内容的细微差别，其自注意机制允许它捕捉句子中单词之间的依赖关系。预先训练的模型可以针对特定的任务进行微调，使这种方法对不同的应用程序具有高度的适应性。通过重用预训练模型的知识，微调需要更少的标记示例，使得在标记数据稀缺的情况下应用这种方法成为可能。

4 结语

通过本次实验，我们看到了深度学习技术在情感分析中的高准确率和精确度。与传统的机器学习方法相比，深度学习技术可以更好地处理文本数据中的非线性特征，并且能够从数据集本身中学习出更多的语义特征，更好地进行情感分析。同时，我们在使用不同的工具和结构时，也发现了卷积神经网络模型能更好地提高模型的效果的趋势，其中，因为该模型可以较好地提取文本之间的关联信息，以及处理文本中的局部信息，而在情感分析任务中表现了较高的准确度。

然而，实验结果受到数据集的影响，数据集所包含的样本特点和实际应用场景有一定的不确定性。在今后的研究中，我们可以进一步探索情感分析的实际应用场景，并根据具体的任务需求对深度学习方法进行适当的调整和优化。通过增加数据集的多样性，验证模型的泛化性，并精细化深度学习模型的网络结构，以提高模型的准确率和鲁棒性，从而更好地推进情感分析技术的发展和创新。