APP下载

面向方面级情感分类与深度学习的分层网络模型①

2020-03-09李重霖李明轩谢卓亨张楚其陈珂

广东石油化工学院学报 2020年6期
关键词:极性语料分层

李重霖,李明轩,谢卓亨,张楚其,陈珂

(1.广东石油化工学院 自动化学院,广东 茂名 525000;2.广东石油化工学院 计算机学院,广东 茂名 525000)

基于方面的情感分类是情感分析领域的细粒度子任务,也是一个深层次的情感分析任务[1-3]。与一般情感分析不同,基于方面的情感分类旨在推测特定目标词在不同语境下的情感极性。同一个句子,针对不同的目标可能会出现完全相反的情感极性。基于神经网络的方法在情感分析中已经得到广泛应用,取得了较好的性能。注意力机制在关系分类、机器翻译等相关领域中具有优异的表现性能[4,5]。同时,注意力机制能很好地与神经网络相结合,在基于方面的情感分类中获得更好的结果。然而,这些方法只能在训练模型时专注于方面本身,忽略了目标词语对句子的影响,且无法在整个语料中提取该方面的重要信息。

一般来说,同一个语料中表达相似观点的句子具有相同的情感极性,因此同一语料中不同句子之间的关系,对于基于方面的情感分类很重要。例如,一些短句没有任何明显的情感词来预测极性,仅仅考虑独立句子就很难预测这些句子的情感极性,而语境关系可以用来处理这些情况。

基于此,本文提出了一种层次化的区域性CNN-LSTM模型,在训练过程中考虑分区域和句子层面的注意力,同时利用句子内部和句子间的关系。分层区域CNN旨在通过获取接收的多个区域来搜索句子之间的关系,并且新的分层输入能够在整个搜索中提取方面的长距离依赖性。分层LSTM体系结构由单词级别和句子级别LSTM组成。单词级别的LSTM可以接收单词级别的顺序输入和注意力,集中考查句子的不同方面即不同的目标。句子级别LSTMs能够通过从分层区域CNN接收的连续输入来获取句子级别的注意力,用以表达句子在整个评论中的重要关系信息。

1 分层分区域CNN-LSTM模型

本文提出的CNN-LSTM模型,主要考虑关注单词级和句子级的情感信息,充分利用更多丰富的句子和整个语料的特征信息。模型分4部分:(1)区域CNN:接收几个不同区域的上下文输入。(2)分层输入层:向分层CNN输入与语料嵌入矩阵。(3)合并层:将语料信息与区域CNN输出的功能相结合。(4)分层LSTM:利用单词级和句子级的注意力来获得更深入的信息,来自句子内部和句子间的关系。

1.1 任务定义

给定一个句子s= {w1,w2,...,t,...,wn},其中t是句子中的一个目标,句子中有0个或多个目标对应不同的方面。每个方面由一个实体和一个属性组成,例如FOOD#QUALITY,基于方面的情感分类旨在预测句子中不同方面的情感极性。对于每个方面,生成一个嵌入a∈Rm的m维表示方面,其中a是实体和属性嵌入的平均值。

1.2 区域CNN

区域CNN是针对输入长文本任务的CNN的改进,根据目标将语料的每个句子划分为一个或多个区域。本文的区域CNN主要受区域CNN-LSTM长文本情感分析模型的启发。对于评论中的每个句子,都非常注意目标和目标周围的单词,例如s={w1,w2,...,t1,...,t2,...,wn},句子中有两个目标,根据目标将这个句子分成两个区域。对于每个区域,都会将该区域的长度切断或填充到目标上,并将其作为输入提供给区域CNN。由于s={w1,w2,...,wn}是一个没有任何目标词的句子,可以直接将它切割或填充到长度为h的区域。

1.3 分层区域CNN

1.4 分层LSTM

2 实验结果与分析

2.1 实验数据集

在Semeval2016任务5的两种语言的4个数据集上进行实验。每个数据集包含一系列客户评论语料,每个评论包含几个句子和方面,其统计信息见表1。本文删除了没有超出任务范围的方面的句子。

表1 数据集统计信息

在实验中,使用Glove初始化英文的词向量和中文的Leipzig Corpora Collection。并使用了300维的单词向量,在CNN中分别设置了3,4,5个具有100个特征映射的窗口。训练所有模型的最小批量为32,退出率为0.5,L2正则化权重为0.001,以及采用Ada Grad的更新规则。区域长度设为50,并且对中文数据进行细分。

2.2 典型模型实验

将本文模型与几种典型模型进行比较,其中包括ATT-CNN,LSTM,ATT-LSTM,HP-LSTM。

(1)RCNN-LSTM模型。该模型为本文构建的模型,没有在CNN架构中使用分层输入层,不能考虑整个评论中方面的长距离依赖性。(2)HRCNN-LSTM模型。该模型为本文的完整模型,它能够在整个预测过程中捕捉深度依赖的方面。(3)ATT-CNN模型。基于注意力的CNN模型,主要在语句对建模方面有较好的性能,本文使用类似的模型来接收单词嵌入和方面嵌入,以便能够关注预测中的方面。(4)LSTM模型。标准的LSTM,没有加入针对方面的注意力,无法准确推断同一句中不同方面的情感极性。(5)ATT-LSTM模型。基于注意力的LSTM模型,可以集中关注句子的不同方面。该模型实现了方面级别情感分类,但使用独立句子作为输入并嵌入额外的方面向量。(6)HP-LSTM模型。一个能够利用句子内部和句子间关系的层次LSTM模型,这个模型考虑了方面和整个评论之间的关系。

在不同领域数据集上,采用本文的RCNN-LSTM和HRCNN-LSTM模型及几种基于神经网络的模型进行基于方面的情感分类的二元预测(正面和负面),其准确性见表2。

表2 二元预测准确率 %

由表2可知,本文模型在所有领域数据集上的二元预测准确率超过其他模型。相对于二元预测的结果,本文模型比其他基于神经网络的模型具有更好的性能,表明本文方法的有效性。此外,与RCNN-LSTM相比,使用分层输入层的HRCNN-LSTM在所有数据集上的准确性有所提高,揭示了CNN分层输入在本文方法中是有效的。

2.3 根据目标划分区域的影响

本文采用了基于目标划分的两种策略:一是根据目标将评论的每个句子分成几个区域;二是将一个单独的句子作为数据集的一个区域,通过两种策略验证本文基于目标划分区域方法的有效性。基于目标划分区域,采用本文的两种模型在不同长度区域内测试其准确率,其结果如图1所示。图1中,TAR为根据目标划分评论区域,DIR为使用单个句子作为区域。

图1 本文模型具有不同长度区域的分类准确率

由图1可知,HRCNN-LSTM和RCNN-LSTM在基于目标划分区域方面比直接使用单个句子作为区域的效果更好。这表明了根据目标划分区域是必要的。

2.4 典型例子分析

采用HRCNN-LSTM(本文模型)、ATT-LSTM和HP-LSTM在餐馆数据集上进行预测,其结果见表3。

表3 典型样例分析

表3中例1是一个短句,没有任何明显的情感词汇,ATT-LSTM模型的独立句子分类器预测了一个错误的标签,而HP-LSTM和HRCNN-LSTM通过捕获评论的上下文关系识别正确。表3中例2是一个模棱两可的句子,ATT-LSTM和HP-LSTM都不能推断模糊句子,而本文模型却揭示了正确的答案。例2在同一评论的其他句子中仍然可以表现出情感极性,表明提取某个方面的远距离依赖性的意义。对于例3和例4中给出的多方面和模糊句子,本文HRCNN-LSTM能够有效地区分不同方面的情感极性。

3 结语

本文提出了一个层次化区域性的CNN-LSTM,并采用一个基于方面的情感分类的CNN层次化输入层。该模型能够通过分层体系结构在整个评论中提取方面的长距离依赖性,并通过探索单词级和句子级关注来捕获句子的内部和相互关系。通过对SemEval-2016基于方面的情感分类任务的多个领域数据集进行实验,验证了本文模型的有效性。

猜你喜欢

极性语料分层
基于归一化点向互信息的低资源平行语料过滤方法*
有趣的分层现象
跟踪导练(四)
雨林的分层
有趣的分层
香椿子不同极性部位对糖尿病周围神经病变的保护作用
表用无极性RS485应用技术探讨
《苗防备览》中的湘西语料
国内外语用学实证研究比较:语料类型与收集方法
Reliability assessment consideringdependent competing failure process and shifting-threshold