基于神经网络的网络舆情情感分析

李亚飞，张 璞，史欢欢

(河北政法职业学院，河北 石家庄 050046)

0 引言

随着时代的进步和社会的快速发展，截止到2021年12月，中国网民数量已达9.89亿，互联网成为了公众发表意见的重要平台，微博、博客、论坛、新闻等网络应用已经成为社会生活中最大的民意网站。随着传统门户网站和新媒体平台的爆炸式发展，公众参与网络互动的热情和参与度突飞猛进。因此，用户产生了大量有价值的、带有主观意见的公共信息，同时这些信息会影响事件的发展，我们可以了解公众舆论对某项政策、事件或产品的态度和意见，提取民意趋势，准确收集民众意见，把握趋势，帮助政府和企业做出及时有效的决策。

然而，传统的情感分析技术中基于文本统计信息和知识词典的特征提取方法只考虑了词与词之间的形态联系，往往忽略了很多内涵信息。对于需要考虑深层含义的舆论信息，很难做出感性的判断。深度学习通过构建非线性多层网络结构来学习复杂函数[1]，证实了深度学习在自然语言处理中的有效性，并验证了学习深层结构化语义信息的能力。

1 基于深度学习的舆情分析

深度学习模拟人类大脑进行分析和学习，通过多层非线性网络的叠加模型，将数据转化为高层次、抽象的特征表达式。该方法已成功地应用于图像处理和语音识别，为情感分类提供了新的思路。基于深度学习的方法主要分为两个步骤：首先将需要分类的评论预料表示为语义词向量；其次，利用不同的语义合成方法，得到与之相对应的句子或文档的特征表达式，最后通过深度神经网络提取情感特征，采用不同的融合方式进行情感分析。Glorot等人[2]将深度学习方法应用于大规模在线评论的情绪分析，通过提取更深层次的文本表达特征，大大提高了文本表达的准确性。Mikolov等人[3]对神经网络模型进行了优化，提出了RNN。通过重复使用隐藏层，与新增的时间信息共同计算新的隐藏层。因此，隐藏层包含了所有的上下文语义信息，减少了参数，降低了复杂性。Sundermeyer等人[4]在2012年解释了如何使用 LSTM（Long-Short-Term Memory Recurrent Neural Network）构建语言模型，该模型可以解决文本内容的远程依赖问题。Liu等人[5]在2015年使用不同长度和时间步长的 LSTM 进行情感分类。Kim[6]在 2014年使用 CNN对预处理后的单词向量进行分类，获得了较高的分类精度。Lee[7]使用CNN和RNN将文本发送给ANN进行分类。长短时记忆（LSTM）算法作为一种特殊的递归神经网络（RNN）在情绪分析方面表现出色。例如，Pathak等人提出了一种基于深度学习的主题级情感分析模型，该模型采用了包含正则化约束的在线潜在语义索引和主题级注意机制的 LSTM网络[8]。Barachi等人使用双向LSTM从大量关于气候变化的在线帖子中提取多种情绪[9]。Agüero-Torales等人对相关问题进行了很好的综述[10]。他们发现，随着解决更困难的情感分析任务需求的增加，需要具有更精细架构的深度学习算法。

LSTM广泛应用的同时也在不断更新，Cho[11]等人构建的GRU单元在很多问题上有着和LSTM相似的表现而结构更加简化。Yao[12]等人则为改进传统 RNN结构提供了更多思路方法，实现了Depth Gated RNN模型。Hinton[13]等人首次提出了深度学习的概念，认为深层神经网络的特征学习能力很强且通过逐层初始化的方法克服了训练的难度，激发了学者们对深度学习的研究热情，之后深度学习被广泛应用到自然语言处理领域。Lecun[14]等提出了用于文本分类任务的CNN卷积神经网络，CNN具有多层网络结构，也是深度学习领域首个训练成功的算法。国外的研究学者们通过对深层神经网络不断地改进，优化了多种变体结构，推进了深度学习的研究。如Socher R分别提出了递归自编码 RAE模型、Matrix-Vector RNN模型、RNTN模型，RNTN模型[15]，采取减少参数总量的方式，具体方法是按线性变换的规则处理若干分量，在坐标变换的环节引进张量，从而优化了性能效果；Socher R[16]之后在RNN单元结构中引入门机制并进行文本分类实验，克服了梯度消失的问题，并将改进后的结构称为LSTM；但 LSTM 对于输入信息的处理是从序列第一个开始，而不能从最后一个往前记忆，为解决LSTM单层结构不擅长处理反向序列信息的问题，Brueckner R[17]引入LSTM反向层连接LSTM正向层，设计对比实验表明了双层模型更擅长前后文的特征提取。Ghosh S[18]等人为强化模型对文本的信息提取，受到特征融合理念的启发，考虑词汇的外部情感因素并结合LSTM算法，从而提高了分类效果。Yoon Kim[19]等人基于CNN在图像领域的应用，提出并构建了改进的卷积网络并用于文本分类任务，以预训练的英文单词向量作为单通道输入，得到的 Text-CNN在英文语料库的表现较好，但不擅于学习更复杂情境下的语意和表征，且在面对中文领域的情感判别问题上仍需改进。国内也有一些研究学者们着手对深度学习情感分类模型展开了研究。梁军[20]等人抛弃传统的人工决定特征的方式，将 RAE模型和深度学习模型相结合进行分类实验，由实验结果发现模型对特征的提取和学习的性能得到了优化，从一定程度上对情感判别处理做出了改进。之后梁军[21]等人引入情感极性转移模型提取词汇和语句两者之间前后的联系，并结合LSTM特征提取的优势，提高了情感分析的效果，从而有效完成对微博中文文本的情感识别任务。唐都钰[22]等人结合了几种神经网络模型进行文档分类任务，利用卷积神经网络和长短期记忆神经网络学习句子表示，用门控循环神经网络GRU学习文档表示，经过实验结果和分析验证，CNN和LSTM结合的模型在文档分类任务上取得了不错的效果。刘龙飞[23]基于 CNN词向量原始特征的选取上做了相关工作，采用字级别和词级别两种方式，尝试解决微博的情感分析判别问题，在COAE2014语料集上取得了较高的准确率。何炎祥[24]等人研究微博文本的情感分析，输入层结合了中文词和表情符号两者的情感因素进行考量，提出 EMCNN模型，相比于传统CNN，EMCNN对情感特征的选取更丰富，更适用于解决微博文本领域的情感分类问题。同年庞亮[25]等人在解决文本匹配任务时，选取了三个经典数据集，涉及的领域分别是问题陈述、自动问答和信息搜索，通过若干种文本匹配模型之间的对比分析，列举出各自的优势和不足，最后分析与展望了深度文本模型的发展前景。

李洋[26]等人提出将CNN和BILSTM两种算法相结合，对于文本对应的词向量，首先建立CNN对其局部表征更有效地提取，而文本的全局特征则采用BILSTM更好地记忆上下文信息，之后结合两种互补的情感分类方法提取的特征，通过对比在两种数据集上的实验结果，这种特征融合的方法对提升文本分类的准确率起到了很大作用。之后王丽亚[27]等人提出了 CNN-BILSTMAttention网络结构用于处理情感极性分析任务，也就是在深层网络的最后加入注意力机制。CNN的优点在于处理局部特征提取任务时，对词向量表征的学习性能和提取能力更强，而BILSTM更擅长于处理文本前后文相关信息的表征提取，最后为了进一步提升文本分类的效果，加入了注意力机制。通过实验结果验证，增加了attention层的模型在重要特征的提取方面表现更好，分类效果也更准确。

前不久Google开源的BERT——Bidirectional Encoder Representations from Transformers深度学习模型，在应用于自然语言处理领域若干问题上的表现，普遍刷新了最好记录，从而成为NLP领域的研究主流。杨晨[28]等人在BERT的基础上，加入情感词典改进了预训练任务的效果，并且基于上下文词的细粒度侧重对文本偏向情感的特征学习，通过对多个流行数据集进行实验对比，比传统BERT模型取得了更先进的成果。史振杰[29]等人提出BERT和CNN相结合的网络模型，句子语义的表达借助BERT模型得出文本向量，采用CNN对句子的局部特征进行抽取，实验数据集选取有标签的电商评论数据集，并取得了较好的性能。堪志群[30]等人则是将BERT与双向LSTM相结合，克服了传统语言模型不能很好的利用词向量表达词语的多义性的缺点，基于微博文本数据上的情感倾向性对比实验得到了91.45%的F1值，优于主流的情感分析模型。

2 结论

现如今社交网络平台十分发达，社交媒体上有海量用户发布信息数据，为网民社交舆情情感分析提供了大量数据基础，通过对数据的筛选、分类、标准化等方法之后，提炼出信息中所包含的舆情情感，对这些情感进行分类标记，从而实现对网络中舆情的产生、传播、发展的监控，可以有效的了解民众对于企业产品的使用体验和企业品牌的情绪，对于企业个性化营销和公司品牌推广有着指导性的意见。同时，对网络信息中所包含的网民情绪的提取和分析，能够及时有效的获取到网民对于当前政策法规的满意度，帮助政府深度挖掘公民对于政府的舆情情感，为政府制定相关政策、出台相关法规、提供公民舆情情感的参考和建议具有十分重要的意义，未来在企业个性化营销、企业品牌推广等方面也将具有广阔的应用前景。