结合句法增强的多通道方面级情感分析模型

牛利月，郑秋生，张 龙，王 鹏

（1 中原工学院 前沿信息技术研究院，郑州 450007；2 河南省网络舆情智能检测与分析重点实验室，郑州 450000）

0 引言

方面级情感分析（Aspect -Based Sentiment Analysis，ABSA）是近年来自然语言处理（Natural Language Process，NLP）领域的一个重要研究方向，现已广泛应用于电商评论分析等多个领域，方面级情感分析任务的目标是预测句子中特定方面术语的情感极性。例如，给定句子“The food in the restaurant was ok，but the service was slow”中，对于给定的方面词“food”，其对应的观点词“ok”表现出积极情感，对于方面词“service”、观点词“slow”表现出消极情感。与文档级或者句子级情感分类相比，方面级情感分析任务的主要挑战是如何设计有效的算法，对相应的观点词和方面词进行有效建模，使得模型能够判定给定方面词在语境中的情感倾向。

传统的方面级情感分析方法有基于情感词典的方法和结合人工设计特征的机器学习方法。近年来，深度学习的方法在情感分析任务中被广泛使用并取得了可观效果。值得关注的是，结合注意力机制的神经网络模型也已应用在方面级情感分析任务中，且已验证具有明显的优越性。

然而，注意力机制也有其局限性。因缺少句法的约束，在某些情况下，注意力机制可能会错误地捕获方面词与情感词之间的线索。例如，在句子“The packaging should be more delicate”中，对于特定方面词“packaging”，注意力机制往往给单词“delicate”分配更多的关注，因此导致模型针对该方面词取得了相反的情感极性。

图卷积神经网络（Graph Convolutional Networks，GCN）结合依存句法依赖树获取句子信息，近年来被广泛应用于方面级情感分类任务中，并且取得了长足的发展。句法信息能够有效地建立方面词与意见术语之间的关系，可用作获取方面级情感信息的关键，且能够从根本上解决长序依赖的问题。图卷积神经网络GCN 以其处理图结构的优势，在捕获远程单词之间的依赖关系上表现出很大的潜力。

但是，由于人类语言的复杂性，在缺乏句法特征的句子中，句法分析会出现解析错误，句法结构分析的误差会影响情感分类的准确率。

为解决以上问题，本文提出了结合句法增强的多通道方面级情感分析模型（Syntactic enhanced multi-channel aspect emotion analysis model，SE-MCGCN），旨在综合提取句子的语义和句法特征。该方法借助依存句法树，构建基于特定方面句法依赖树，使用图卷积神经网络GCN 提取句法树信息；同时采用单词共现的方法构建单词共现图，使用GCN 提取共现图信息，Bi-GRU 提取句子语义信息，将提取的信息融合进行情感分类。模型在公开的数据集上与基线方法进行实验比较，以研究其工作性能。

1 相关研究

注意力机制能够有效分析每个单词及其相关的语义成分，从而提取语境中的重要信息。将注意力机制与深度学习方法融合的相关研究工作，已经在方面级情感分析任务中取得了不错的成果。如：文献［6］中将注意力机制与LSTM 结合在一起，提出AE-LSTM、AT-LSTM、ATAE-LSTM 三个模型，通过注意力机制去获取对不同方面词更重要的上下文信息。文献［7］提出了一种既考虑目标注意力又考虑上下文注意力的交互式注意力网络（IAN），使用2个注意力网络交互式检测目标词和上下文重要词。文献［8］采用多头注意机制（multi-head attention）来捕获距离较远的情绪特征，从而对不相关信息确保了更强的鲁棒性。文献［9］提出了一种基于注意的层次位置感知网络（HAPN），引入位置嵌入来学习句子的位置感知表示，并进一步生成语境词的特定方面词表示。此外，基于transformer 和Bert 等预训练模型在方面级情感分析任务中也取得了可观的进展［10］。

句法分析有效地在方位词和观点词之间架起了一座桥梁，解决了句子长距离依赖问题。句法信息融入到句子表征过程中来处理方面级情感分析任务的相关工作取得了不小的成就，也逐渐成为方面级情感分析任务的研发基础。文献［13］提出了一个近似加权卷积网络，利用上下文词与方面的句法接近度、即接近权重，来确定其在句子中的重要性。

近来，基于GCN 的模型在NLP 中受到越来越多的关注。鉴于GCN 能够处理图数据，包含丰富关系信息的依存句法树与GCN 结合，为方面级情感分析研发提供了可行性依据。文献［14］在句子的依赖树上构建图卷积网络，利用句法信息和单词依赖，提出一种特定方面的情感分类框架ASGCN。文献［15］提出了句法和词汇的概念层次，并以此为基础建立了层次句法图和层次词汇图，随后设计了双层交互式图卷积网络以充分融合层次句法和词汇图。文献［16］重新构造和修剪一个普通的依赖解析树，设计了一个基于目标方面词为根节点面向方面的依赖树结构，提出了一个关系图注意网络（R-GAT），来编码新的情绪预测树结构。

2 研究方法

本文提出了一种结合句法增强的多通道方面级情感分析模型SE-MC-GCN，模型整体架构如图1所示。该模型首先将输入文本分别表示为基于方面词的句法依赖树和单词共现图，分别使用2 个GCN网络学习图表示，同时使用Bi-GRU 编码句子语义特征，将3 个输出特征池化后进行融合，最后通过softmax 分类器得到情感极性。

图1 结合句法增强的多通道方面级情感分析模型Fig.1 Syntactic enhanced multi-channel aspect-based emotion analysis model

2.1 文本图构建

2.1.1 基于方面词的句法图

句法依赖树通常使用依存句法分析的方法帮助构建。依存句法分析是在语法理论的基础上，对自然语言进行的一种句法分析形式。句子中的任意2 个词之间都存在着某种支配和被支配关系，句法分析的结果是有向的依存关系树，可以表达句子整体结构。

依存句法分析得到的句法树，通常不是以基于方面词的句法树。为了更好地建模方面词与观点词之间的关系，将方面词作为依存树的根节点，转换原来的根节点为叶子节点，得到基于方面词的句法图。给定句子“I like this ring because it is beautiful”，原来的依存句法树如图2（a）所示，转换为基于方面词的句法图如图2（b）所示。

2.1.2 单词共现图

使用单词共现的方法构建文本图，是将每一个文档都看作是一个独立的拓扑图，单词作为图的节点，利用单词之间的共现关系建立边。该方法使用一个固定大小的共现窗口在文档中滑动统计单词共现信息。

图2（c）则是使用单词共现方法，设置共现窗口3 时构建的文本图。

图2 句子“I like this ring because it is beautiful”的文本图Fig.2 The graph of the sentence“I like this ring because it is beautiful”

2.2 编码器

2.2.1 图编码器

设目标图（，，）。其中，、、分别表示图的节点、边和邻接矩阵。

图卷积神经网络GCN 学习图的节点信息的过程可以表示为：

其中，h、h分别表示第1 层和第层的节点；W表示权重矩阵；是非线性激活函数。

对图2（b）、（c）中构造的句法图和单词共现图，分别使用GCN 捕获每个节点与其相邻节点之间的信息传递，信息交互公式如下：

2.2.2 Bi-GRU 编码器

输入序列｛，，…，x｝，将每个单词映射到低位向量，得到e＝｛，，…，ex｝，e∈ℝ ，是词向量维度。模型中GRU 的前向传播公式如下：

Bi-GRU 联合2 个方向相反的GRU，其传播过程如下：

2.3 特征融合

在句法图、单词共现图和句子编码信息上执行池化操作，得到：

模型采用高速网络机制，最终的句子表示为：

与拼接相比，高速网络机制通过使用门控单元，将输入的句法树提取信息、单词共现图提取信息和提取句意信息通过网络进行调节。信息可以跨多个通道传输，选择出比较重要的特征完成融合。

2.4 情感分类器

将融合后的句子经过全连接层后，输入分类器中，输出最后的情感极性的概率分布，公式如下：

2.5 损失函数

模型使用交叉熵损失函数，为防止模型过拟合，采用正则方法进行训练，参数和权值通过反向传播更新。损失函数可以表示为：

3 实验与结果分析

3.1 数据集

为验证模型的有效性，实验采用的数据集为：Laptop数据集、Restaurant数据集（Rest14）与Twitter 数据集。实验数据被标记为3 种不同的情感极性，即正面、中性和负面。数据集详细信息见表1。

表1 数据集详情Tab.1 Dataset details

3.2 实验参数设置

实验中，对每个输入的句子使用Stanford 句法解析器（https：／ ／stanfordnlp.github.io／CoreNLP／）构建依存句法树，使用共现窗口（3）构建单词共现图。同时对每个单词使用Glove 预训练的300 维词向量进行初始化；将Bi-GRU 的隐藏状态设置为300。为防止模型过拟合，设定为0.5，正则的权重设置为0.000 1；采用作为优化器，学习率设置为0.001。此外，本文使用准确率（）和宏观值（Macro）来衡量模型效果。

3.3 实验结果

为了验证模型在方面级情感分析任务上的有效性，实验中对一些基线模型进行了比对，实验结果见表2。

表2 情感分类结果Tab.2 Sentiment classification results

由实验结果可知，与基于注意力机制结合深度学习的方法（Attention-based），以及句法分析结合图神经网络的方法（Syn-based）相比，本文模型有效地结合了句法和语义特征，准确率和值都优于大多数方法。考虑到Twitter 数据通常缺乏句法特征，本文模型有效地结合了语义信息，补充语法特征缺失，从而获得更高的精度。

同时，实验中对比了基于Bert 的预训练模型，本文模型结果仍然是这组数据中较好的。以上结果证明，本文模型能够有效捕获句子语义和句法特征。

3.4 消融实验

为了验证不同模块功能对模型的影响，进行了消融实验对比。

从表2 可以看出，以本文模型SE-MC-GCN 作为基线模型，分别去除句法图编码、贡献图编码、和句子语义编码模块，都会使实验结果有所降低。以Twitter 数据为例，去除句子语义编码实验结果下降较为明显，也进一步验证了本文模型中语义编码模块的有效性。此外，特征融合模块去除高速网络机制，替换为向量拼接，实验效果也有所下降，证明高速网络机制更好地保留了对结果有用的特征。因此，模型SE-MC-GCN 中每个模块都对整体结果有一定的贡献。

3.5 GCN 层数影响

实验中涉及到使用的门控图神经网络的层数，本文在Laptop 数据集上对比了不同层数的图神经网络对实验最终性能的影响，结果如图3 所示。

由图3 可知，当GCN 层数为3 时，对于数据集Twitter 和Rest14，实验效果相对最好；对于Laptop数据集，GCN 层数为4 时实验效果相对最好。

图3 不同GCN 层数对实验结果的影响Fig.3 The effect of different GCN layers

3.6 单词相关性分析

为了分析模型捕获重点信息的能力，采用掩码实验分析单词相关性，计算公式如下：

其中，h是句子表示，h是掩盖掉单词的句子表示。如果（，）等于0，说明单词对句子没有贡献度。

以句子“I bought the cup，that were many roses on the box，it was beautiful”为例，其方面词为“cup”，方面词对应的情感极性为正面，可以看出观点词“great”对方面词的情感贡献比较大。

CDT 和SE-MC-GCN 单词相关性对比结果（句子方面词为‘cup’）如图4 所示。由图4 可以看出，相比CDT 模型，本文模型增强了对重点信息的捕获能力。CDT 和SE-MC-GCN 单词相关性对比（句子方面词为‘cup’）。

图4 CDT 和SE-MC-GCN 单词相关性对比（句子方面词为‘cup’）Fig.4 Word correlation comparison between CDT and SE-MC-GCN（sentence aspect word as ‘cup’）

4 结束语

句法分析对文本理解有重要的帮助，在方面级文本情感分析的任务中，能够有效地建立方位词和观点词之间的依赖关系。基于此，本文提出了基于句法增强的多通道方面级情感分析模型，对句子的句法图、单词共现图分别编码，与句子语义特征融合，目标是捕获句子句法信息和语义信息，在特征融合部分采用高速网络机制，用来选择对模型效果更好的特征。实验结果验证了模型的有效性。