基于多层次注意力网络的多模态情感识别研究

吴秉坤

实现多模态情感识别体系的融合需对传统融合模式进行有效优化，构建多层次注意力网络模型以对模态内和模态间的特性信息进行学习，并且要提高情感识别性能。实现上述内容，需要我们分别从特征级、决策级、多层次注意力网络模型融合三方面进行研究。

融合多模态信息对于构建完整的计算机网络体系，实现多种类型信息的快速精准识别有重要作用。在具体实践过程中，多模态信息的融合有不同的方式。为取得更好的融合效果，需首先对不同融合方式的原理与流程进行全面了解，确保多模态信息能够在融合完成后取得良好的运行应用效果，获得更好的信息识别效率和质量。为数据计算、信息分析提供重要支持。

（一）特征级融合模式

此融合模式具有简单易行的特征。在多模态融合的早期研究中，属于常用融合方式。在具体实践中需要把握以下几方面要点。一是分别针对语音和文本模态的情感特征信息进行有效提取，完成对语音信息的预处理工作，对语音中的手工特征MFCC进行提取。提取完成后进一步进入深度学习环节，在这一学习过程中，需要借助BiLSTM模型的辅助，对于语音信息中的文字信息依赖时间维度特征进行明确。随后，引入多头注意力机制聚合模型中的一部分处在隐藏状态下的信息，进一步识别语音的情感特征。由此可见，这种识别方式具有逐步深入的特点，需要在识别过程中对上下文时序信息以及聚合特征信息进行全面了解，最终形成显著的文本情感特征信息，并且用语音与文本的情感特征向量进行表示。随后，将其输入至全连接层，由全连接层实现进一步的线性转换。转换完成后，不同特征之间的相关性能够明确显示。

（二）决策级融合模式

决策级融合模式需要考虑模态信息之间的差异，对独立的模态进行情感维度的建模分析。通过情感分类器这一设备的辅助，可获得单模态情况下的情感识别结果。随后，结合单模态识别结果，运用决策方法实现识别结果的融合，得到情感分类的最终结果。在具体研究时，还需要引入加权决策融合方法，搭建多模态情感识别框架。由于语音和文本特征已经实现了初步提取，并且以单模态形式输入到了全连接层中完成了映射过程。因此，分类器辅助下能够得到独立的情感分类结果和文本基础上的情感分类结果。为取得不同模态的最优值，需要通过加权分析的方式，利用均方误差原理最小化原理对加权决策中的最优权重进行分析。分析过程完成后，可基于分析结果和数据信息完成决策过程。

（三）模型级融合模式

此模式是区别于传统模式的一种模型构建方式。能够克服独立的构建模式存在的不足，实现跨模态交互信息建模。在多模态情感识别框架中，包含了特征提取、跨模態注意力、情感分类三个基本模块。其中，在跨模态注意力模块应用过程中，需要对多模态特征的交叉信息进行建模分析。这种分析模式需要优化多头注意力机制，在跨模态背景下形成新的注意力机制，达到优化语音、文字呈现效果的目标。同时，在跨模态背景下，语音和文字的特征嵌入表示方式也需要得到优化。具体来说，在跨模态机制下，需要通过学习不同的语义交互权重信息，调整语音文本特征表示方式，对语音和文本模态中的交互信息进行捕捉分析。通过对交互信息的系统性分析，将其基于转换形成具有一致性的模态状态。

情感分类模块可用来关注联动后的语音与文字多模态融合特征，并且将特征信息用系统而明确的方式进行表示。当这些信息进一步输入到全连接层后，也需要进行线性变换，融合特征之间的相关性可基于深度学习，得到预期结果，完成学习后，进一步进入到映射输出环节，继续应用分类器设备对语音和文本的多模态情感识别结果进行分类呈现。

不同的多模态模型在数据分析时所得的结果、分析效率、分析精准度都会受到多方面因素的影响。多模态分析结果的评价需要基于不同的识别模型和网络模型进行精准识别分析。通常情况下，为验证多层次注意力网络模型的多模态融合框架有效性，需引入IEMOCAP数据集进一步通过实验的方式进行验证。从具体应用效果方面来讲，多层次注意力网络模型的融合框架可分别基于综合性指标进行分析，并且获得最高的分数水平，较之基准模型有非常显著的应用优势。

在计算机网络的多模态模型构件中，基于多层次注意力网络构建多模态情感识别模型能够从多角度实现信息的全方位识别。同时，识别效果也更加完善。识别过程完成后，所得信息在完整性和清晰性上能达到一定水平。因此，可在计算机系统支持下的多模态构建实践中，优先选择基于多层次注意力网络的情感识别模型进行应用。

作者单位：福州大学物理与信息工程学院