基于深度学习的中文情感分析研究

杨丹 张梦 朱毅

摘要：网络中充斥着许多带有强烈情感的评论和信息，对这些信息的分析成为了解人们意见的主要途径。情感分析是自然语言处理（natural language processing， NLP）的一个方向，用来判断文本描述的情绪类型。通过建立用户自身的情感标志模型来识别语句的情感特征，并将设计好的模型利用深度学习框架进行情感分析，最终得到各模型的准确率。利用TensorFlow深度学习框架，对公开数据集分别采用CNN、LSTM模型进行情感分析和比较研究。验结果表明，LSTM模型在实验中表现较佳并可为相关情感分析模型的优化提供一定的意义。

关键词： 情感分析;卷积神经网络;长短期记忆神经网络

中图分类号： TP391        文献标识码：A

文章编号：1009-3044（2019）21-0188-00

开放科学（资源服务）标识码（OSID）：

Abstract：In the Internet there are full of comments and information with strong emotions， and the analysis of such information becomes the main way to know people's opinions. Emotion analysis is a direction of natural language processing （NLP）， which is used to judge the types of emotions described in text. The emotional feature of the sentence is identified by building the user's own emotional model， and the designed model is used for emotional analysis with the deep learning framework. Finally， the accuracy of each model is obtained. Using the TensorFlow deep learning framework， the open data sets were analyzed and compared using CNN and LSTM models. The experimental results show that the LSTM model performs better in the experiment and can provide some significance for the optimization of related emotion analysis model.

Key words：sentiment analysis;convolutional neural network;long short-term memory network.

随着电子信息技术的蓬勃发展，人们在日常生活当中的情感需求不断增加，进而微信、微博等社交网络的使用人数也在不断增长，这些带有情感的交流信息也在逐渐引起学者们的关注。近年来，由于人们不断研究的神经网络的推进，及深度学习的发展，在CNN、RNN等模型下进行自然语言情感分析也取得了许多突破。情感分析顾名思义即是将信息发送者所传递的信息通过一定方法进行分析得到其中隐藏的观点及其态度。目前情感信息分类的首要目标为：基于情感词的标注[1]。其主要将表示情感的词分为，正面情感词和负面情感词，通过比较一句话中正负情感词的相对数量，来判断句子的情感。目前，市面上已经浮现出大量有关于情感分析的方法，如：基于情感词典切分类方法[2]，是机器学习在情感分析方面从零到有的突破;CNN模型[3]，使用词向量分类文本;RNN模型[4]，利用上下文构建模型;递归神经网络模型[5]，发掘隐含特征，大大提升分类的准确性;在日新月异今天，越来越多的研究人员选择使用深度学习技术来对文本进行分析，但在缤纷多样的方法中，我们将通过比较得出最有效的方法进行情感分析。

在以往的分析方法中，研究者的关注点往往落在CNN模型与LSTM模型上，这两种不分伯仲的研究方法各自在各自的领域发挥着无比强大的作用，CNN模型利用词向量对文本进行分类，LSTM模型利用正反向量进行处理，显而易见LSTM模型作为新一代的模型，在功能完善方面已经远远超过CNN模型，但在情感分析孰轻孰重我们还应该再做进一步的比较。

本文运用CNN和LSTM两种分析模型进行对比，通过在公开数据集上的相关实验，证明 LSTM模型在情感分析方面的有利及重要性。

1  情感分析模型

1.1 CNN模型

CNN（Convolutional neural network，CNN，卷积神经网络）是一个多层的神经网络，它作为当时具有突破性的模型被研发出来，其基本结构为输入层、卷积层、池化層、全连接层、输出[6]，如图1所示。

传统中文文本分类采用支持向量机（SVM）模型，该模型的缺点是：只统计文本出现的频率，不考虑词语之前的序列关系。

CNN模型首先需要进行预处理，将样本转换为词向量， 句子中的每个词语对应一个向量机。通过分析句子长度较短、结构，采用词嵌入向量表示， 使得 CNN 模型在处理文本情感分析这一类问题上成为可能。

通常一个卷积神经网络模型分为三层：

① 卷积层。卷积层为模型的输入层。其功能是对数据进行特征提取，内部包含多个卷积核，通过卷积核中的每个元素都对应一个权重系数。卷积运算包含一个滤波器，通过滤波器将每个词按序排列，将初始的句子矩阵转化为词向量。

②  池化层。池化层的主要作用为下采样，通过对 feature map进行采样分析，滤除非重要成分，简化系统参数数量，从而提高运算效率。本文采用最大池化来提取关键特征。

③  全連接层。选择 ReLU 作为其激活函数. 其目的是为防止过度拟合，需要设置Dropout= 0.5. 最终提取的特征传到分类器， 采用 Softmax 函数计算每个标签的概率。

1.2 LSTM模型

LSTM（LongShort-TermMemory，长短期记忆网络）是由RNN（Recurrent neural network，循环神经网络）演变而来[7]，但它的有效性远远大于RNN。解决了RNN数据距离较长难以收敛的问题，通过加入判断信息是否有用的处理器有效地解决了其他神经网络的长距离依赖问题。并且在一定的程度上解决了两大问题：RNN梯度消失及梯度爆炸，他在CNN与RNN的基础上都更进了一步。

一个处理器（cell）包含遗忘门（forget gate）、输入门（input gate）和输出门（output gate）三扇门，如图2所示。

遗忘门：在遗忘门连接上一个处理器ht-1的输出，并通过在本单元输入的xt在[ht-1，xt]内产生一个[0，1]以内的值，从而控制上一单元的遗忘程度。

输入门：输入门主要控制信息的输入，输入门通过yanh函数差生一个新的候选向量C来控制信息被加入的多少。

输出门：输出门控制当前处理器有多少信息被过滤掉，先激活当前单元，然后控制过滤的程度。

LSTM这种三门细胞的设计，使得LSTM可以记忆、更新长距离的信息，从而可以实现对长距离信息的处理。每扇门都利用xt和ht-1作为输入，利用这些输入计算一些中间状态，并将信息汇总到ht。这些门作为不同的模块，执行不同的功能。输入门决定在每个输入上增加多少信息，遗忘门决定丢弃什么信息，输出门则根据中间状态来进行输出[8]。从抽象的角度来看，LSTM能更好地保存文本种测长期依赖关系，这也是LSTM在进行情感文本分析时的优势所在。

2.实验与分析

2.1数据集

本文中采用（ChnSentiCorp_htl_ba_2000）公开数据集中“有关中文情感挖掘的酒店评论语料”[9]作为训练集与测试集，选用正负各1000的平衡语料作为数据集进行分析。数据集样例见表 1。在这里停用词使用的是中科院计算所中文自然语言处理开放平台所发布的中文停用词表，其中包含了1208个停用词。

表 1   数据集样例

2.2 数据预处理

采用Jieba分词分别对正向语料词汇及负向语料词汇进行分类分词处理。分类分词处理结束后利用停用词表分别对正负预料过滤停用词。删除评论中的无用词、无效符号和标点符号。取最后利用Wiki中文语料的Word2vec模型[10]将文本信息转化为特征词向量。

2.3 实验结果分析

CNN、LSTM模型的正确率分别为0.82和0.856。实验横向对比了两种模型的正确率，前期数据处理后各个模型性能表现基本一致，充分证明了深度学习对于情感分析研究的可行性。LSTM就结果而言效果略优于CNN模型。

3 结论

经过上述实验及对比分析结果表明：

①本文基于深度学习主要介绍了常见神经网络模型，比较两个深度学习模型的差异，验证了本文思路的正确性。

②采用分词预处理词向量方法进行实验，使得词向量质量的提高，进而提高模型的准确率。CNN模型就结果而言并不能体现出自身的优势。

③基于上述LSTM模型处理中文情感分析有较好的性能的特点，利用LSTM及其相关模型解决其他语言的情感分析，能否找到类似的模型作为下一步研究工作的重点。

参考文献：

[1] 孟仕林，赵蕴龙.一种融合情感与语义信息的情感分析方法[J].计算机应用，2019（9）.

[2] 伍行素，陈锦回.基于LSTM深度神经网络的情感分析方法[J].上饶师范学院学报，2018（8）.

[3]KIMY.ConferenceonEmpiricalMethodsinNaturalLanguageProcessing[C].Doha：ACL Press，2014：1746-1751

[4] Siwei Lai， Liheng Xu， Kang Liu， et al. Recurrent convolutional neural networks for text classification[C].

Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence， 2015： 2267-2273.

[5]SOCHERR，PERELYGINA，WUJY，etal.Seattle，WA，USA：ProceedingsofConferenceonEmpiricalMethodsinNatu- ralLanguageProcessing[C]，Seattle：ACLPress，2013：1631-1642.

[6] 周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017（40）1229-1251.

[7] 李枫林，柯佳.基于深度学习框架的实体关系抽取研究进展[J].情报科学，2018（8）.

[8] 芦金宇.tensorflow项目实战（LSTM情感分析）（2018-03-03）.https：//blog.csdn.net/ch1209498273.

[9] 情感分析 训练集数据 中文情感挖掘的酒店评论.https：//download.csdn.net/download/qzwdh/9874251.

[10] 利用Python实现wiki中文语料的word2vec模型构建.http：//www.jianshu.com/p/ec27062bd453.

【通联编辑：唐一东】