浅析BILSTM在音乐情感识别中的应用

2020-11-30商铭娟

科学与信息化 2020年30期

摘要音乐作为生活中必不可少的情感表达和寄托的工具，如何将其进行更好的分类，成为研究的热门话题。本文根据音乐数据本身上下文的相关性，提出基于双向长短时记忆网络的音乐情感识别模型，同时改善了基于传统神经网络的识别模型因手工提取特征导致识别率不高的问题。

关键词音乐情感识别;深度学习;BILSTM

引言

音乐在人们的日常生活中扮演者重要的角色，数字音乐的快速增长使得音乐信息检索技术迅速发展，音乐情感识别的研究逐渐成为热点。

音乐情感识别研究主要有音乐特征提取和情感识别模型两大方向，主要基于纯音频分析[1]、纯文本分析[2]和文本音频相结合[3]的研究方式。由于音乐的低层次特征很难对情感有准确的表达，所以将深度学习应用到音乐情感识别，以解决手动提取特征识别率不高的问题。本文采用深度学习中的BILSTM构建音乐情感识别模型。

1情感模型

在音乐情感识别研究中广泛应用的有离散类别情感模型和连续型情感模型两个大类别。离散型情感模型中具有代表性的是Hevner 情感模型[4]，连续型情感模型中具有代表性的是Thayer二维情感表示模型[5]。本文根据数据集的特点和研究的可行性进行综合衡量，采用离散型的情感模型，将情感类别划分为平静，快乐，悲伤，愤怒和可怕五类构建情感模型。

2BILSTM神经网络

BILSTM即双向LSTM。为了解决RNN在训练过程中经常出现梯度消失和梯度爆炸，研究人员专门设计出LSTM网络。由于音频数据的高相关性，并且音乐情感不仅和它之后的数据相关，也和它之前的数据相关，而LSTM网络结构只能单向性的对音频特征进行提取，所以本文采用BILSTM神经网络结构，双向LSTM采用正向特征提取和反向特征提取相结合的方式，对音频数据进行处理，使得提取的特征更加的健壮和全面，提高音乐情感是识别的准确率。

3识别模型

3.1 数据集

本文所用到的数据来自赖尔森（Ryerson）情感言语和歌曲视听数据库（RAVDESS），包含1012首歌曲文件，每个文件都有标记好的情感。每个文件都由模态、人声通道、情感、情绪强度、声明、重复和演员这7个标识符唯一命名。

3.2 特征提取

梅尔倒谱系数特征（MFCC）提取过程为：首先对音乐信号进行预加重处理，然后对其进行加窗分帧处理以提取短时特征。音乐的片段一帧信号一般在10ms～30ms时间内，这是由音乐信号的短时平稳性特征决定的，用一帧信号的特征来表征其短时特征，就是用有限长度的可移动窗口对音乐信号进行截取，常用的窗口包括矩形窗、汉宁窗、汉明窗等，这就是加窗分帧的方法，表达式如下：

3.3 识别过程

基于BILSTM的音乐情感识别模型如图1 所示。

首先依据音乐情感模型建立训练集和测试集，对音乐数据先进行预处理，然后特征提取，将训练数据的特征作为原始输入输入到BILSTM网络中，通过多次迭代训练模型，然后将经过相同的预处理和特征提取后的测试数据，输入构建好的分类模型中，得出分类结果。

4结束语

传统的基于机器学习的音乐情感识别存在一定的局限性，导致识别准确率并不理想。伴随着机器学习的快速发展，深度学习逐渐进入研究者的领域，本文基于深度学习的强大的特征提取能力，结合音频数据高上下文相关性的特点，构建了BILSTM音乐情感识别模型，理论上能获得更好的识别准确率，有一定的研究价值和意义。

参考文献

[1] 蔡宸.基于音频信号处理的音乐情感分类的研究[D].北京：北京邮电大学，2017.

[2] 王洁，朱贝贝.面向中文歌词的音乐情感分类方法[J].计算机系统应用，2019，28（8）：24-29.

[3] 陈炜亮.音频文本混合的歌曲深度情感识别[D].合肥：合肥工业大学，2017.

[4] K. Hevner. Experimental studies of the elements of expression in music[J]. American Journal of Psychology，1936，48（2）：246-268.

[5] R. Thayer.The biopsychology of mood and arousal[M]. Oxford University Press，1989：71.

作者簡介