基于BGRU-CapsNet的情感分析算法研究

应伟志，于 青

（天津理工大学计算机科学与工程学院，天津300384）

文本情感分析是网络舆情分析的一个关键任务，也是自然语言处理领域的一个重要研究方向[1]。深度学习技术目前已经成功地应用于自然语言处理领域[2-4]，有许多学者对其进行了研究。DERIU等[5]使用大量数据用于训练卷积神经网络（convolutional neural network，CNN），并将预测结果与随机森林分类器相结合，优化了情感极性分类。TANG等[6]提出了利用情感嵌入将文本的情感与词的情境共同编码，并开发出能够裁剪损失的神经网络。吴冬茵等[7]提出了使用深度神经网络得到文本表示，然后基于高斯过程迁移数据集，提高文本的情感分析性能。ZHANG等[8]提出了一种基于语义规则的邻域适应环境的情感分析胶囊网络（capsule network，CapsNet），可以增强句子的综合表示学习。

上述文献在情感分析领域做了大量有益的工作。然而，上述文献并没有充分利用文本的前向和后向信息，而且提取文本信息的方法也存在着局限性。因此，本文提出了一种基于双向门控循环神经网络（bidirectional gated recurrent neural network，BGRU）和CapsNet的情感分析算法来解决上述问题。

1 准备工作

1.1 双向门控循环神经网络

标准的循环神经网络（recurrent neural network，RNN）利用上文信息按照正向输入序列的方式来处理序列问题，但不考虑下文信息。针对这一问题，SCHUSTER等[9]提出了双向循环神经网络（bidirectional recurrent neural network，BRNN）模型。该模型能够同时存储上下文信息，它的核心思想是：利用两个RNN依次处理正向和反向序列，然后将各自的输出共同连接到输出层中，进而记录相关信息。在BRNN模型的基础上，将BRNN模型中的隐藏层神经元替换成门控循环单元（gate recurrent unit，GRU）记忆单元，就可以得到BGRU模型，其网络结构如图1所示。

图1 BGRU网络结构Fig.1 BGRU network structure

对于给定的n维输入(x1,x2,…,xn)，在t时刻，BGRU的隐藏层输出其具体计算过程为：

在该模型中，将正向GRU节点与反向GRU节点的输出进行拼接，可以得到ht，它能够被认为是文本的情感特征，进而连接至CapsNet层，计算公式为：

1.2 胶囊网络

CapsNet是SABOUR[10]为解决卷积神经网络在空间感知方面的不足而提出的一种新的神经网络结构。CapsNet与普通神经网络的不同点为：CapsNet中的神经元是向量（值集），而不是标量（单个值），即CapsNet中的神经元被称为向量神经元。向量神经元中的每个值都代表一个特定的属性，比如姿势、速度、颜色、纹理等。向量神经元也具有特殊的属性，其值表示为向量的长度，即神经元所表示的实例存在的概率，表示向量的长度在区间[0，1]。因此，每个属性构成向量神经元的方向，实例存在的概率构成向量神经元的长度。标量神经元（普通神经元）与向量神经元的前向传播过程如图2所示。

图2 标量神经元与向量神经元的前向传播过程Fig.2 The forward propagation process of scalar neuron and vector neuron

标量神经元进行前向传播的过程如下：1）将输入标量xi与权重Wi相乘；

2）对加权的输入标量进行求和，得到标量a；

3）使用非线性函数将标量a转化成标量hj。

向量神经元进行前向传播的过程如下：

1）将输入向量ui与矩阵Wij相乘得到新的输入向量

3）对加权的输入向量求和成向量sj；

4）用非线性函数（squash）将向量sj转化成向量vj。

本文使用的是向量神经元，因此仅介绍向量神经元的前向传播公式，其为：

以上公式中，i表示输入层神经元的下标，j、k表示下一层神经元的下标，W是需要通过学习获得的参数，b和c的值由动态路由算法确定，该算法将在下一小节进行描述。式（7）中用到的squash函数是文献[10]为CapsNet而特殊设计的激活函数。

1.3 动态路由算法

动态路由算法的关键为：低层向量神经元将其对应的输出发送给对此表示“同意”的高层向量神经元。低层向高层的映射关系如图3所示。

图3 低层向高层的映射关系Fig.3 Mapping relationship from low level to high level

低层向高层的映射关系（单个神经元）如图4所示。

图4 低层向高层的映射关系（单个神经元）Fig.4 Mapping relationship from low level to high level（single neuron）

在图4中，u1按照概率分成4份，分别向v1、v2、v3、v4传递信息。这里提到的概率就是式（5）中的耦合系数cij，具体为c11、c12、c13、c14。要得到cij，只需要求得bij即可，bij更新的过程就是用动态路由算法计算得到的。将bij初始化为0，用下面的式子进行更新。动态路由算法的具体过程如算法1所述。

算法1：动态路由算法。

2）对于l中每个胶囊i和l+1层的每个胶囊j：bij←0。

3）对于r次迭代，做如下操作。

4）遍历l中每个胶囊i：cij←softmax(bi)。

5）遍历l+1层的每个胶囊j：

6）遍历l+1层的每个胶囊j：vj←squash(sj)。

7）遍历l中每个胶囊i和l+1层的每个胶囊

8）返回vj。

2 基于BGRU-CapsNet的情感分析算法模型

2.1 模型细节

本文提出了一种基于BGRU和CapsNet的混合神经网络情感分析模型，模型结构如图5所示。它由4个模块组成：词向量模块、BGRU模块、CapsNet模块和分类模块。假设输入句子Z=[w1,…,wi,…,wn]，模型的目标是预测句子Z的情绪极性，即积极的（P）或消极的（N）。

图5 模型结构Fig.5 Model structure

词向量模块：该模块的目标是将每个单词都表示为多维分布向量。具体做法如下：将包含n个单词的句子输入到嵌入层，每个单词都将转换为大小为d维的单词向量。最后，嵌入层能够将每个句子表示编码为矩阵Z=[w1,…,wi,…,wn]∈ℜn×d，在矩阵Z中wi=[xi1,…,xij,…,xid]对应句子中单词wi的单词向量。

BGRU模块：该模块简化了门结构，并加快了训练速度，使用BGRU可快速获取文本的隐藏表示。通过式（1）和式（2）计算正向GRU和反向GRU的值，然后使用式（3）将前向和反向输出拼接为下一层的输入。

CapsNet模块：将CapsNet与BGRU相结合，实现情感分类。CapsNet可提取更丰富的文本信息，能够有效地编码单词的位置、语义和句法结构。它能够提高文本的表达能力，获得更多的重要线索。CapsNet的输入为ht，这是BGRU上一层的输出。具体操作如式（9）、式（10）和式（11）所示：

式（9）中，Wio表示权值矩阵，它控制输入层和输出层之间的连接强度。式（10）中，cio为动态路由算法迭代更新的耦合系数。输入层和输出层的耦合系数之和为1，它由softmax计算得到。另外初始化bio为0。

非线性激活函数squash用于对式（10）中的输出向量进行归一化，具体计算公式为：

Capsule中的动态路由算法如图6所示。

图6 capsule中的动态路由算法Fig.6 Dynamic routing algorithm in capsule

耦合系数向量初始化为c=[c11,…,ct1,…,cn1]，根据式（9）、式（10）和式（11）获得输出v1。在每轮迭代中，通过计算分量ht对输出v1的影响来迭代更新向量c。随着向量c的变化，序列文本中重要特征的权重逐渐增加。耦合系数cio越大，重要语义特征的权重就越高，这将有助于提高分类准确性。

分类模块：将CapsNet提取的语义矩阵输入到dropout层，防止过拟合。其作用为在训练过程中，隐藏层中随机选取一些神经元不起作用，但是仍将它们保留在下一个输入样本中，其他神经元参与计算和连接过程。将向量矩阵输入到全连接层进行降维，最后通过sigmoid激活函数计算情感类别的概率分布。

具体的基于BGRU-CapsNet的情感分析算法如算法2所示。

算法2：基于BGRU-CapsNet的情感分析算法。

输入：文本数据。

输出：情感类别的概率分布。

1）用预训练的词向量表示训练集中的每个句子。

2）截断或补齐使得每个句子的长度都为170。

3）对于每个批次（epoch=1，2，…，N）做如下操作。

（1）选择含有M个样本的随机小批次训练集。

（2）对于每个训练样本（i=1，…，M）做如下操作。

动态路由程序（输入向量u^o|i，迭代次数r）。

通过sigmoid计算情感类别的概率分布y。

结束

结束

2.2 模型训练

使用sigmoid函数作为分类器，如式（13）所示：

样本为{xij，yi}，yi=0表示消极，yi=1表示积极。X是样本特征向量，ωi是可训练的参数矩阵。

选择交叉熵损失函数。训练模型参数ωi:yi为输入xij的真实类别，hωi(xij)为预测输入xij属于类别1的概率J(ωi)，如式（14）所示：

选择使用自适应学习率优化算法（adaptive moment estimation，Adam）优化器，它在RNN中表现良好，其参数与默认值相同。

3 实验与分析

3.1 数据集

本文在情感分类实验中选取的数据集都是消费者网购后的评论，主要涉及手机、书籍和牛奶。有两种类型的评论情绪标签，0是消极情绪，1是积极情绪。数据集总数为21 105，训练数据集数量为17 094，验证数据集数量为1 900，测试数据集数量为2 111。数据集说明如表1所示。

表1 数据集说明Tab.1 Dataset description

3.2 模型参数设置

实验参数设置如表2所示。

3.3 比较模型

将本文提出的模型与下列模型进行对比实验以验证提出模型的有效性。

·双向长短时记忆循环神经网络（bidirectional long short-time memory，BLSTM）：XIAO等[11]提出的利用BLSTM进行中文文本情感分析的模型。

·BGRU：曹宇等[12]提出的利用BGRU进行中文文本情感分析的模型。

·CNN：王煜涵等[13]提出的利用CNN进行推特文本情感分析的模型。

·CapsNet：YANG等[14]提出的基于动态路由的CapsNet用于文本分类的模型。

·BGRU-注意力机制（Attention）：王伟等[15]提出的基于BGRU-Attention的文本情感分类模型。

3.4 实验评估指标

使用网络文本情感分析中广泛使用的评估指标来评估提出的模型。评估指标包括：准确度（accuracy）、精准率（precision）、召回率（recall）和F值（F-measure）。为了描述这些评估指标，需要引入分类结果的混淆矩阵，如表3所示。

表3 分类结果的混淆矩阵Tab.3 Confusion matrix of classification results

在表3中，TP指分类器将积极数据正确地分类为积极数据，FN指分类器将积极数据错误地分类为消极数据，FP指分类器将消极数据错误地分类为积极数据，TN指分类器将消极数据正确地分类为消极数据。

准确度能够反映模型正确分类的能力，准确度值越高代表分类器的性能越出色，准确度的计算公式为：

精准率是指在所有被预测为积极的文本中实际为积极的文本所占的比例，它能够评估分类器的正确性，精准率越高表示分类器对某类样本的预测能力越强，精准率的计算公式为：

召回率是指实际为积极的文本中被预测为积极的文本所占的比例，召回率越高代表分类器的分类效果越好，召回率的计算公式为：

F值是准确度和召回率的调和平均，它可有效地平滑二者之间的影响，F值的计算公式为：

3.5 实验结果分析

实验结果比较如表4所示。网络输入都是使用单词转换成向量训练的跳字模型（continuous skipgram model，skip-gram）词向量。从表4中可分析出，本文提出的BGRU-CapsNet模型准确度为93.51%，F值为93.54%，均优于其他模型。与BGRU和CapsNet模型相比，它证明了本文提出的模型的有效性。BGRU可以有效地学习文本上下文的特征，而CapsNet可以提取更丰富的文本信息，提高文本表达能力。将两种模型进行结合可以提高情感分类的准确性。

表4 实验结果比较Tab.4 Comparison of experimental results

图7 为验证集准确度变化图，从图7可知，6组模型的准确度都随着迭代次数的增加而增加，经过第3次迭代后，所有模型的准确度都达到了88%以上。然而，本文提出的BGRU-CapsNet模型达到了90%以上，并且随着迭代次数的增加准确度稳步上升，不像其他模型具有更大的波动性。

图7 验证集准确度变化图Fig.7 Validation set accuracy ratechangegraph

图8为验证集损失率变化图，从图8可知，本文提出的BGRU-CapsNet模型的损失率随着迭代次数的增加逐渐趋于稳定，并且均小于其他对比模型。从图8中还可分析出，BGRU-CapsNet的损失率比其他模型下降得更快，这足以说明本文提出的模型收敛得更快，效果更好。

图8 验证集损失率变化图Fig.8 Validation set lossratechangegraph

4 结论

由于上下文的信息有限，对文本进行情感分析是一项十分困难的任务。本文提出了一种基于BGRU和CapsNet的混合神经网络模型，该模型不仅充分利用了文本的前向和后向信息，而且缩短了相互依赖特征之间的距离。它可以提取更丰富的文本信息，提高词汇、语义和句法结构的表达能力。实验结果表明，该模型能显著提高文本情感分析的准确度。

虽然本文提出的模型可有效地提高文本情感分析的准确性，但在实验中发现模型所需耗费的时间代价较高，下一步计划将解决时间代价高的问题。