基于BiLSTM-CNN-MultiHeadAttention-Dropout 的物流评论情感分析

2023-12-12蒋洪伟

物流科技 2023年23期

靳宁，蒋洪伟

0 引言

随着互联网的迅猛发展，电商行业也随之快速成长，网上购物的用户量逐渐增多，这使得物流行业蓬勃发展起来。而与此同时，物流也在深深地影响着人们的生活。据统计，在淘宝、京东、拼多多以及唯品会等电商平台进行购物的用户数达9.82亿。在这种如此大的购物规模上，很多用户会在购物平台上进行评论，包括但不限于个人喜好，使用感想，价格以及物流服务等各个评论信息。用户网上的评论是目前消费者对购物体验感、物品满意度发表意见的重要渠道，这也是商家根据评价进行采长补短的信息来源。同时随着政府对于网络平台的监管，在线评论的真实性、可靠性也一直在提升；更便利的一点在线评论相比较传统调研市场而言，不受时间、地域、行业的限制，可以最大程度的展现客观、真实、全面的市场需求。

而随着电商行业的发展、市场竞争的加剧及经济上的迅速成长使得顾客在商品的选择上愈加多元化，因此如何留住顾客是每个商家都要思考的问题。而方法上除了提供更佳优质的商品，还需提供适时、适量的物流服务来进行购物体验的满意度提升。更多的企业开始注重物流体验，但由于网络上的信息量大且杂，更新迅速，人工难以实时监控并精准处理如此庞大的信息海洋，因此使用技术进行情感分析成为当前的主流方法。

1 国内外研究现状

文本情感分析可以按分析粒度分为篇章级情感分析、句子级情感分析和方面级情感分析。为了能够站在某一具体方面判断评论文本的情感倾向，方面级（Aspect-level）文本情感分析被提出。作为细粒度情感分析，它能够站在某一具体方面判断评论文本的情感倾向，更深入的挖掘用户情感信息，比如“物品包装的不错，但是物流太慢了。”这条评论，从“包装”的角度来看，该评论的情感倾向是正面的，而从“时效”的角度来看，该评论的情感倾向是负面的。诸如此类的评论文本，如果只给出一条评论的整体情感倾向，对用户来说不具有参考价值，甚至还有可能会误导用户。

在以往研究中，大多采用机器学习的情感分析方法，主要是基于统计机器学习算法对大量有标注或无标注的语料进行特征抽取，最后进行情感分析输出结果。马梦曦等[1]将文本通过TF-IDF 方法进行特征获取后再以支持向量机进行分类。刘楠[2]以基于朴素贝叶斯分类器方法进行微博发文者的情感分析，并进一步分析大众情感的分布。梁海天[3]以京东生鲜为例，通过SnowNLP 机器学习的方法对用户评论的情感进行打分，从而对京东自营物流服务过程中出现的问题进行修正、建议，使得京东物流服务质量得到改善。

近年来，深度学习在传统特征选择与提取框架上取得巨大突破，通过对隐藏层的训练，可以自动学习结构关系，在情感分类中具有极大优势。

Hinton[4]在数据评论文本中使用卷积和池化操作来提取特征；Huang 等[5]将CNN 与门控结构结合；Fan 等[6]将卷积神经网络与注意力机制相结合，使得该模型可以同时捕获句子中的单词和多单词表达特征；文献[7-9]，采集用户评论信息，通过情感分析将用户在网络上的评论处理，用数据方法进行呈现。Wang[10]提出基于目标嵌入的基于注意力的LSTM 模型，使模型注意句子中的重要部分，该方法相较于传统的机器学习方法和单一的卷积神经网络方法效果更佳。薛雨[11]使用的CNN-Softmax 模型引入了更深层次的卷积结构，该模型比传统二叉树的模型在性能上有所提升，具有较强的实用价值。陈旭、潘峰等[12]使用双向GRU与Attention 并行的方法对接种新冠疫苗人群在微博上的评论进行情感分析，相较传统方法的模型效率有了一定提高，对于新冠疫苗的接种工作起到了监督作用。李春雨[13]以Yelpzip 数据集中的评论文本为背景，采用Bi-GRU+Attention 的方法充分考虑了上下文对分类的影响，提高了模型效率以及模型识别的精确度。

在情感分析方面，情感特征是比较难以捕获的。虽然卷积神经网络能够获取局部特征，Attention 机制能够对局部特征进行信息进一步抽取，但是情感分析是一个全局语义信息的分析，因此需要考虑全局信息在里边。针对上述问题，本文提出基于BiLSTM-CNN-MultiHeadAttention-Dropout 的网络结构进行文本情感分析，并爬取某电商平台的物流评论数据对本文提出的模型进行验证与评估。

2 基于BiLSTM-CNN-MultiHeadAttention-Dropout 的情感分析模型

2.1 BiLSTM-CNN-MultiHeadAttention-Dropout 模型框架

模型主要由BiLSTM、CNN、MultiHeadAttention、Dropout 机制构成，模型结构如图1所示。

图1 模型结构图

本文通过Word2vec 模型对爬取的物流评论文本数据进行训练以实现词语的语义信息与词语特征的分布式表示，将物流评论数据输入BiLSTM 模型并进行降维处理，使得数据中的文本句子形成一个词向量矩阵S=[W1,W2,…,Wi]，其中句子当中的第i个词语表示为词向量Wi，句子长度为l；在BiLSTM 层完成上下文语义特征提取后得到上下文隐藏矩阵，并通过MultiHeadAttention 机制对上下文矩阵进行特定优化处理；由于特定方面缺少对句子信息的关注，为了得到包含句子信息的特定方面表示，采用MultiHeadAttention 机制优化给定方面。优化后的特定方面矩阵A如式（1）所示，其中，A∈Rn×2dh。

将优化后的特定方面和上下文进行连接，通过CNN 网络来抽取这些局部情感信息，并加入Dropout 机制进行优化处理，防止过度拟合，获取最终特征表示并用softmax分类器对注意力得分进行数值转换，计算出分类结果，即将输出维度转换为标签向量的维度，完成分类任务。

2.2 卷积神经网络

卷积神经网络（Convolutional Neural Network, CNN），本质是一个多层感知机，最早应用到图像识别领域对猫视觉皮层细胞进行研究。CNN 包含卷积层、池化层、全连接层，结构如图2 所示。

图2 CNN 结构图

将句子以向量的形式表示在输入层，对于数据集中的长度是n的句子，其矩阵表达式可表示为：E∈Rn×4dh，其中d为词向量维度；卷积层进行局部特征提取，使用卷积核进行卷积操作，得到卷积层特征矩阵，如式（2）所示。

其中：W为权重矩阵，b为偏置量，f为卷积函数。之后经过池化层提取出重要特征，在全连接层进行组合输出。

2.3 长短期记忆网络（LSTM）

长短期记忆网络（Long-Short Term Memory, LSTM）是为了解决长依赖问题而衍生出的一种特殊的RNN 网络，其核心在于细胞状态及“门”结构。“门”结构分遗忘门、输入门和输出门，首先，将前一个隐藏状态和当前输入：Xt传递到sigmoid函数中，然后将新得到的细胞状态传递给tanh 函数，最后将tanh 的输出与sigmoid 的输出相乘，以确定隐藏状态应携带的信息。再将隐藏状态作为当前细胞的输出，把新的细胞状态和新的隐藏状态传递到下一个时间步长中去。具体结构如图3 所示。

图3 LSTM 结构图

2.4 MultiHeadAttention 机制

MultiHeadAttention 机制借鉴了人类注意力的说法，在训练过程中，输入的权重是不同的，对比Attention 机制，MultiHeadAttention 扩展了模型专注于不同位置的能力。MultiHeadAttention 机制的计算主要涉及到以下三个阶段，如图4 所示。

图4 MultiHeadAttention 机制结构图

第一步：V、K、Q是固定的单个值，计算Query 和Key 的相似度，得到对应权重系数。后对权重系数进行加权计算得到注意力得分si，如式（3）所示。

第二步：使用softmax函数对注意力得分进行数值转换，进行归一化处理，得到权重系数，如式（4）所示。

第三步：根据权重系数对Value 进行加权求和，如式（5）所示。

2.5 Dropout 机制

Hinton 等在2012 年提出Dropout 机制，来解决神经网络过拟合的问题，使用Dropout 机制前后情况如图5 所示，左图为标准神经网络结构图，右图为使用Dropout 机制修改后的神经网络结构图。

图5 Dropout 使用前后对比图

Dropput 机制的工作流程大致如下：

第一步：在保持输入输出神经元不变的情况下，将隐藏的神经元随机删除一半，之后将输入神经元通过修改后的网络进行正向传播；随后再将得到的损失结果反向传播回来；

第二步：通过小批量的样本训练后，使用随机梯度下降法对没有删除的神经元更新参数（W, ）b。未删除的神经元已更新，并将已删除的无变化神经元恢复；

第三步：不断重复以上两步骤。

3 实验与分析

3.1 实验环境

本文所需要的实验环境如表1 所示。

表1 实验环境

3.2 实验数据

本文选取的数据集是爬虫采集的某电商平台的商品评论数据，该数据集中爬取到有效数据样本量64 816 条，样本信息如表2 所示。

表2 物流评论数据集样本信息

利用结巴分词完成词性标注后利用TF-IDF 模型进行关键词抽取工作，在对文本完成文本数据的清洗、分词、词频统计等预处理工作后，然后利用Word2vec 模型构建物流关键词库，提取出的部分物流词库词频如表3 所示。然后利用深度学习模型对物流评论进行情感识别。对于情感类别标签数据：负面消极情绪用-1 表示；客观中立情绪以0 表示；正面积极情绪则记为1。

表3 物流关键词及词频样本信息

负面消极情绪的评论包括对对物流时效性、包装完整性、配送服务、第三方快递选择等物流相关问题提出的意见或抱怨；客观中立情绪的评论包括对一些事物的客观评价，或者对其他方面满意但对物流方面提出了意见等；正面积极情绪的评论包括对物流相关方面提出的赞扬或满意的态度、描述自己的喜悦，或者对他人的鼓励和正面的建议等。

3.3 评价指标

本文通过准确率与其他深度学习的模型进行对比，相同条件下，模型训练后的准确率越高，模型效果越好。

混淆矩阵是判断分类好坏程度的方法之一。二分类的混淆矩阵如表4 所示。

表4 评测指标（metric）

如表4 所示，可以将结果分为四类：

真正例（True Positive,TP）：真实类别为正例，预测类别为正例；

假反例（False Negative,FN）：真实类别为正例，预测类别为反例；

假正例（False Positive,FP）：真实类别为反例，预测类别为正例；

真反例（True Negative,TN）：真实类别为反例，预测类别为反例；

准确率（Accuracy）：分类正确的样本数/所有样本数量，具体如式（6）所示。

AUC：可理解为ROC 曲线下的面积，AUC越大代表模型的性能越好；其中，m为总样本个数，具体详见式（7）所示。

3.4 模型参数

由于模型参数不同会使得最后运行结果不同，找到合适的模型参数也是实验中重要的一个环节。在本文模型中，BiLSTM模型其隐藏层维度为128，参数大小为128，CNN 卷积核窗口大小为[3,4,]5 ，Dropout 为0.75，学习率为0.001，L2 正则化参数为0.000 1；模型输入批次的大小决定了模型的效果，本文采用了参数的大小分别为64,128,256,512 做了对比，由表5 所示，参数的大小为128 的loss 值最低，且训练时间更短。

表5 输入批次对比

模型当中CNN 的卷积核大小对模型准确性影响比较大。本文针对此数据集进行了参数调优，对不同的卷积核大小的设定进行比对，对比结果如表6 所示。

表6 各卷积核取值的实验结果

3.5 实验结果与分析

为了验证模型的有效性，本文另择CNN，BiLSTM，Attention-CNN，Attention-BiLSTM，Attention-BiLSTM-CNN 模型与本文提出的模型进行对比，具体对比结果如表7 所示。

表7 各分类算法的实验结果

本文实验中，AUC曲线图如图6 所示。

图6 AUC 结果图

由表7 中的结果数据可以看出CNN，BiLSTM，Attention-CNN，Attention-BiLSTM，Attention-BiLSTM-CNN 模型准确率分别为85.14%，86.07%，87.50%，89.08%，90.06%。本文模型在准确率上较其他模型提高到了90.62%，充分证明了本文模型的适用性以及有效性。本文模型使用的BiLSTM 可以对长序列文本信息能够进行长短记忆，利用的CNN 模块可以捕捉有效特征，并且本文所加的MultiHeadAttention 机制能够对有用特征进行加强，并通过Dropout 机制对模型进行隐藏单元的过滤使模型能够避免过拟合，使模型预测更加准确。