基于SE-TCN的无人机异常时间序列检测

周激扬　康维新

关键词：无人机；异常检测；时序卷积神经网络；通道注意力机制

一、引言

无人机以其机动性好、价格低廉、方便快捷、无人驾驶等优点受到世界各国的重视，并且在军事和民用领域都得到了广泛应用[1]。然而，无人机在飞行过程存在诸多影响因素，这些因素能够对无人机飞行质量造成限制，同时降低无人机在各个领域应用价值，为从根本上解决这些因素的实际危害，异常检测技术逐渐成为无人机的应用要点。传感器所采集到的无人机数据通常以时间序列的形式展现，无人机数据是一系列与飞行和运行状态相关的参数， 而无人机数据异常检测技术旨在监测航空器关键部件的状态、发现机组飞行操纵等问题，从而完成对无人机设备的故障预测与健康管理工作，有利于维修维护、消除安全隐患和确保飞行安全。随着机器学习技术的发展，神经网络被运用于处理数据量庞大的时间序列中，并且对于时间序列中数据所产生的异常进行检测与预测。在机器学习模型进行时间序列建模过程中，时间序列预测可以判断事物发展趋势，高效的预测模型可为应用决策提供有力依据。

二、时序卷积神经网络

时域卷积神经网络（Temporal Convolution Network，TCN）是Shaojie Bai 等人在卷积神经网络的基础上提出的一种用于处理时间序列数据的网络结构。TCN 网络由多个残差模块组成，每个残差模块中包含空洞因果卷积（Dilated Causal Convolution）、非线性激活函数、Dropout 和恒等映射网络。非线性激活函数、Dropout 和恒等映射网络能够有效抑制网络过拟合，提高网络学习速度和准确率。空洞因果卷积中的扩张因子和卷积核大小与TCN 感受野范围有关，越大的扩张因子和卷积核，TCN 拥有越大的感受野。同时，扩张因子会随着卷积层基于SE-TCN 的无人机异常时间序列检测的加深呈现指数式增量，这保证TCN 能够处理更长的时间序列数据[7]。

为了使TCN 不仅仅是一个过于复杂的线性模型，需要在卷积层的顶部添加ReLU 激活函数[8] 来引入非线性。非线性激活函数ReLU 在一定程度上解决了软饱和的情况，当X ＞ 0 时可以保持梯度不降，使得梯度消失问题得到解决。同时，为了防止过拟合，在每个剩余块的每个卷积层之后通过Dropout 引入正则化。

已经有研究证明，在时间序列预测和分类任务中，时间卷积网络在多种任务和数据集上的性能优于LSTM、GRU 等典型的递归神经网络，相比于递归神经网络，TCN 可以记住更长的历史信息，捕获更全局的时间序列特征。

三、通道注意力机制

注意力机制作为一种人类处理信息时采用的机制，它能够帮助模型更好地学习不同属性之间的相互关系，防止神经网络在训练过程中给每一个预测因子赋予相同的权值，忽略其中的重要信息[9]。本文引入通道注意力机制，通过计算时序卷积神经网络中各个隐藏层输出的向量权重，对于不同的异常类型，突出影响较大的特征，从而提高异常检测精确度。

由于输入到网络中的时间序列复杂多样，一般经过传统TCN 比较困难提取显著性信息。为了使网络模型更像人类感知系统一样具有提取高价值，显著性信息的能力，在模型中融入注意力机制具有重要意义。因此，本文设计了一种通道注意力模块，在通道注意力的基础上，加上了全局最大池化（Global Max Pooling ，GMP） 结构，使得网络能够重点关注最重要通道信息，增大显著性特征的权重，提取显著性特征，在特征通道维度上充分挖掘重要时间序列特征信息，提取到更加具有层次感和判别力的特征。

通道注意力机制分为以下三个部分：

（1）Squeeze（Fsq）：通过全局平均池化，将每个通道的二维特征（H×W）压缩为1 个实数，将特征图从 [h，w， c] ==> [1，1，c]。

（2）Excitation（Fex）：给每个特征通道生成一个权重值，论文中通过两个全连接层构建通道间的相关性，输出的权重值数目和输入特征图的通道数相同。[1，1，c]==> [1，1，c]。

（3）Scale（Fscale）：将前面得到的归一化权重加权到每个通道的特征上，并逐一将通道乘以权重系数。[h，w，c]×[1，1，c] ==> [h，w，c]。

针对时序卷积神经网络本身所具有时空特性，其每个隐藏层都能包含历史时间序列的信息。对于隐藏层进行全局池化，针对各个隐藏层增加注意力，生成权重。对于各个隐藏层的权重值进行归一化操作，取每个隐藏层输出效果均值与分配的权重，得到最终检测精度。

四、实验与分析

（一）实验环境

本文实验采用Pytorch 深度学习框架，使用Python语言编程实现， 实验运行环境为 JetBrains PyCharmCommunity Edition 软件，操作系统为Windows 10（64 位），内存为16GB，通过RTX-2060 GPU 加速，完成实验。

（二）数据获取

在Ubuntu 系统中开启的Ardupilot 无人机仿真器，针对微电机的电流数据、电池输出电压数据和传感器的三轴加速度数据等数据进行仿真，得到正常数据集。对于完成仿真得到的无人机正常数据集进行异常注入。固定值零点漂移异常是指传感器的输出值在某一时刻开始出现一个常量偏置误差的情况，这个常量大多情况是波动的，理想状态下保持不变，该值可以为正值也可以为负值。

（三）参数选取

为了防止过拟合，通过训练集训练预测模型，并通过验证集进行Early stop 以防止模型在训练集出现Overfitting 的现象。每组样本数Batch_Size = 100，Dropout 比率為0.2，优化 器选择随机梯度下降算法时，TCN 预测效果较好。Kernel Size 等于2，即每一层的输入，是上一层的两个时刻的输出，Dilations = [1， 2， 4， 8]，即每一层的输入的时间间隔有多大，Dilation=4，即上一层每前推4 个时间进一步地输出，作为这一层的输入，直到取够Kernal size 个输入。由于时间序列波动性较大，滑动窗口长度对应的预测效果好坏也有波动，综合考虑预测时效以及预测准确度，这里选择滑动窗口长度为128。

（四）结果对比

对于无人机仿真得到的正常数据集与三类完成故障注入的数据集进行基于TCN 网络的时间序列异常检测。同时，对于TCN 网络添加通道注意力机制，设计对比实验。

图3 为了防止过拟合，通过训练集训练预测模型，并通过验证集进行Early stop 以防止模型在训练集出现Overfitting 的现象。由图3 可知，时序卷积神经网络在进行60 次迭代后，精确度与loss 值趋于收敛，且测试集的精确度上升速度略高于训练集。

根据表1 可得，改进通道注意力机制的时序卷积神经网络算法相比于传统的时序卷积神经网络算法，正常数据集与三类异常数据集的检测精确度得到了一定的提高，因此改进算法具有明显的优越性。

五、结束语

本文针对无人机时间序列异常行为检测中的关键问题，主要提出了基于时序卷积神经网络的算法，以提升对无人机时间序列上出现的异常行为检测的准确率和效率。在无人机飞行时间序列的特征提取方面，根据时序卷积神经网络中各隐藏层包含的空间特性结合通道注意力机制，并对改进后的时序卷积神经网络的KernelSize、Dilation、滑动窗口等关键参数进行设置。进而，提出了结合通道注意力机制的时序卷积神经网络异常检测算法，对无人机异常行为进行检测。仿真结果表明，本文所提出的方法可有效提高无人机异常行为检测的准确性和效率。解决了无人机异常行为检测中的关键性问题，进一步降低了无人机异常行为检测难度。下一步，将在此方法的基础上进行回归实验，并在原模型上进行改进以提升对于无人机时间序列数据的异常行为召回率，降低异常检测的误检率和漏检率。

作者单位：周激扬 康维新 哈尔滨工程大学