基于无人机载的东北虎多目标跟踪算法

徐其森， 谢永华

(东北林业大学机电工程学院，黑龙江 哈尔滨 150040)

生态文明建设关系人类未来，但由于近年来全球温度变高，气候剧烈变化对我国东北地区生态环境影响巨大。其中东北虎作为维持东北野生动物生态多样性中重要的一环，对东北虎生活习性以及生存状态的研究至关重要。故本文重点研究基于无人机载的东北虎多目标跟踪算法，为野生动物调查奠定基础。

在东北虎视频数据收集方面，传统的手持相机数据收集办法[1]，时通常会受到东北虎生活习性以及活动范围的巨大限制，如东北虎活动范围的不固定，东北虎活动环境的限制，以及拍摄野生动物过程中人类行为对其他野生动物的惊扰，或者大型攻击性动物对人身安全的威胁，这些都致使数据收集困难等问题。已有的研究是根据其他野生动物的生活习性，如根据大兴安岭南段的马鹿和狍子等野生动物活动规律，来判断东北虎的活动范围[2]。然后在野生动物活动的范围内部署陷阱相机，这样可以避免对野生动物的惊扰。但部署陷阱相机费时费力，且容易遭受动物对相机的破坏，致使设备损失严重，而且未能完全解决环境对数据收集的限制[3]。近年来随着无人飞行器技术的发展[4-5]，地形限制问题上有了新的解决方案，例如在中国野生亚洲象调查研究及监测中的应用使用了无人机技术，从空中拍摄，可以解决地形因素对数据收集的限制[6]。但收集数据时依然存在飞行器噪音对动物惊扰以及摄像机抖动问题，导致收集到的视频质量不佳。

随着生态文明建设的发展，如何对东北虎进行有效地保护，并依托合理的科学依据，对东北虎多目标跟踪，已成为一个重要的研究课题。东北虎的多目标跟踪分为目标检测和多目标跟踪两部分。传统的目标检测算法如背景减法、帧间差分法和光流法无法满足实时性要求[7]。近年来随着深度学习的兴起，卷积神经网络已广泛应用于各种数据图像的分类、特征提取、目标识别。例如医疗影像检测，高空卫星遥感图像检测，野生动物的鸟类识别，准确率已达到70%以上[8-9]。神经网络的目标检测算法得到快速发展，此类算法可划分为单阶段(One-stage)和两阶段(Two-stage)检测算法两类。One-stage算法主要有YOLO系列算法、SSD、RetinaNet等[9-12]。Two-stage 算法主要有 R-CNN、Fast R-CNN[13-14]、Faster R-CNN[15]等，与Two-stage算法相比One-stage算法速度更快、准确度更好。在多目标跟踪的目标跟踪阶段，基于匈牙利算法与卡尔曼滤波的优化算法，如SORT、DeepSORT算法，能够达到快速跟踪的目的，其中DeepSORT 算法在基于SORT 的基础上，加入重识别模块提取深度表观特征提高了多目标的跟踪成功率[16-17]。已有研究使用Yolov3在奶牛个体与行为识别[18]、烟火等检测[19]中mAP达到了90%以上，常被用于多目标跟踪的检测器、检测视频中的目标[20]。在使用YOLO系列作为检测器配合DeepSORT在交通领域利用监控视频对行人、汽车进行多目标检测与跟踪，但其跟踪成功率依赖目标检测器的准确率和特征区分的效果，其跟踪速度等指标与目标检测速度密切相关[21-22]。在日常一些小型低算力设备使用中，由于目标检测网络参数量大，训练速度慢，多目标跟踪时速度慢，不适于在低算力设备上使用。

综上所述，为能够收集数据时提高数据收集效率。为了能够在低算力设备上在保持或提高准确率的情况下，提高多目标跟踪速度。本文重点研究轻量目标检测网络，提升轻量型网络在目标检测的鲁棒性，同时提高多个东北虎的目标跟踪准确率。

1 野生动物多目标跟踪研究方法

1.1 数据集的获取

定义内在收集东北虎的图像数据时，由于野生东北虎数量稀少，避免对野生动物的惊扰，选择在东北虎林园收集东北虎的数据。为提高收集效率，减少地形对试验的限制，树林等障碍物对动物的遮蔽，以及降低人类行为对生态环境的影响，采用大疆无人机搭载摄像头(型号：M3000RTK)，收集野生动物视频数据。东北虎图像如图1所示。

图1 东北虎林园拍摄的东北虎

无人机搭载机械防抖云台和可见光摄像头，具有转速高，可变速，拍摄的视频较为稳定的优点，十分适合需要快速捕捉目标的场合。本研究所有的实验数据在低空45°飞行，噪音130 db，飞行速度7 m/s，为丰富数据，分近距离5～10 m拍摄和远距离25～30 m拍摄。

1.2 多目标跟踪技术路线

本研究旨在利用深度学习方法对无人机拍摄的东北虎进行多目标跟踪，技术路线如图2所示。

东北虎多目标跟踪系统共五个步骤。第一步，对东北虎数据的收集，筛选，标注。 第二步，对目标检测模型的训练。第三步，对重识别网络的训练。第四步，使用制作好的东北虎数据集对多目标跟踪的实现。第五步，通过对东北虎的目标检测，重识别，多目标跟踪的三种结果的探讨，多方面评估东北虎多目标跟踪模型的效果。

图2 多目标跟踪技术路线

1.3 目标检测模型

1.3.1 Yolov4-Tiny目标检测模型

Yolov4-Tiny系列是2020年提出Yolov4系列的单阶段目标检测模型的轻量型，主要结构融合了加权残差连接，跨阶段部分连接，跨小批量标准化，自对抗训练，Mish激活，数据增强，正则化等，外加一个特征金字塔来处理不同的对象大小，但在参数量以及准确率上，该模型依然存在优化的空间[21]。

1.3.2 MobileV3模型

该模型是2019年提出轻量型分类模型。它每一个块(Block)结合了逆残差结构，深度可分离卷积层，注意力模型，新型的激活函数，具有参数少，运算量低的特点[22]。选择该模型对Yolov4-Tiny进行优化可以降低参数量，并提高目标检测的准确率。

①逆残差结构如图3所示。

②深度可分离卷积层，能够更高效的提取东北虎的特征。

③利用h_swish代替swish函数。在结构中使用了h_swish激活函数，代替swish函数，减少运算量，提高性能。公式如：

(1)

④加入了轻量型注意力模型SE，注意力机制的加入有利于东北虎个体之间的识别。

图3 逆残差结构

1.3.3 PW卷积层

PW卷积层(Pointwise Convolution)的运算与普通卷积运算比较相似，它的卷积核的尺寸为 1×1×N，N为上一层的特征通道数。所以这一步的卷积运算会将上一步的特征图在深度方向上进行加权组合，生成新的特征图，有多少卷积核就有多少特征图输出。选择PW卷积层对Yolov4-Tiny模型进行优化是其比普通卷积层具有更好的特征提取功能，且增加的参数量在可控范围内，不会大幅度增加浮点运算数。

1.3.4 改进后的网络结构

本文为追求检测网络模型的轻量化，结合MobileV3具有准确率高和参数量少的特点，PW卷积层特征提取效果好的特点，分别使用MobileV3Small与PW卷积层的结合结构代替Yolov4-Tiny骨干网络，用于东北虎的多目标跟踪的检测环节，如图4所示。

图4 Yolov4-Tiny与MobileV3，PW结合的网络结构

1.4 DeepSORT多目标追踪算法

1.4.1 目标重识别模型

SE-ResNet50模型是在残差块中间加入注意力机制，加强了有鉴别力特征的提取以及特征的多样性。在残差块的特征提取优势上，融合池化层和步长卷积以避免因减少层数带来的空间参数的损失，然后将提取的特征图进行加强。

1.4.2 多目标跟踪算法流程

DeepSORT多目标跟踪算法是融合了卡尔曼滤波算法和匈牙利算法，并在此基础上加入了目标重识别模型，用于对东北虎深度表观特征的提取。

将改进的Yolov-Tiny目标检测模型训练好，用于东北虎视频中检测东北虎，将东北虎检测结果作为 DeepSORT跟踪器的实时输入，将训练好的SE-Resnet50作为DeepSORT的深度特征提取环节。东北虎多目标跟踪算法流程图如图5所示。

1.5 评价指标

1.5.1 目标检测指标

为评价目标检测效果，引入广义交并比(GIoU)来量化预测框A和真实框B的贴合程度，广义交并比计算公式为：

(2)

式中：A∩B为预测框与真实框重叠区域面积。A∪B为预测框与真实框覆盖区域面积。C为不管A与B是否相交，C是包含A与B的最小框(包含A与B的最小凸闭合框)，在图像预测时产生4 种情况，真正例(TP)，假正例(FP)，假反例(FN)，真反例(TN)。根据这四种情况计算准确率和召回率来评价分类效果。准确率与召回率是对立的关系，为了兼顾两者，引入准确率-召回率(PR)曲线与坐标轴围成的面积为平均检测精度(mAP)。此外，引入模型的参数量以及浮点运算数(FLOPS)来评价模型的复杂程度以及运算量。

图5 多目标跟踪流程

1.5.2 多目标跟踪指标

(1)IDs为指目标的身份(ID)编号总共发生了多少次变化，值越小越好。

(2)多目标跟踪准确率(MOTA)计算公式为：

(3)

式中：FP为假正例出现次数。FN为假反例出现次数。IDs为身份变化数量，指目标的ID编号总共发生了多少次变化。GT为标注的目标个数。MOTA为多目标跟踪准确率。

(3)多目标跟踪精确度(MOTP)，用于鉴别检测器的精度，MOTP的值越大表示检测器的效果越好，计算公式为：

(4)

式中：ct为当前帧匹配成功的数目，di，t为检测框和真实框的交并比，i为当前检测目标t为帧序号。MOTP为多目标跟踪精确度。

(4)FPS为模型每秒处理的图像帧数，值越大处理效果越好。

2 实验结果以及分析

2.1 实验准备

本文中实验中的硬件环境为Intel(R)Core(TM)i7-9700K 3.00GHz的CPU与NVIDIA GeForce GT 730Ti 8GB的GPU，软件环境为python3.6、pytorch 1.6.0。

2.2 验结果与分析

2.2.1 目标检测结果与分析

对四种目标检测网络在东北虎数据集上进行训练，目标检测结果进行分析，目标检测结果见表1。

表1 目标检测结果

从表1可以看出四个目标检测网络模型在东北虎等目标检测中Yolov4-Tiny与MobileV3Small，PW结合mAP，参数量只有Yolov4-Tiny的53.98%，浮点运算数只有Yolov4-Tiny的32.55%。但mAP比Yolov4tiny增加2.63%。

可看出MobileV3以及PW卷积层结合替换Yolov4-Tiny的骨干网络在东北虎等目标检测中表现是极为优异的，比之原结构能更好的识别东北虎等目标的特征，提升鲁棒性，大幅度降低模型参数量，提高训练速度。

2.2.2 重识别与多目标跟踪结果与分析

SE-Resnet50重识别模型的 Rank-1、Rank-5、Rank-10达到了90.8%，96.3%，99.4%。原网络重识别模型Rank-1、Rank-5、Rank-10为89.1%，95.8%，99.2%。

并将改进Yolov4-Tiny的目标检测模型与DeepSORT多目标算法的结合模型进行了对比，多目标跟踪各指标见表2、表3。

表2 原重识别模型的多目标跟踪结果

从表2中可以看出目标检测模型的不变时，重识别模型为SE-Resnet50比原重识别模型各项指标更优异。

当目标检测模型为Yolov4-Tiny与MobileV3 Small，PW结合时，重识别模型为SE-Resnet50比原重识别模型的MOTA提高4.3%，MOTP提高1.2%，身份切换次数为原来的53.84%，帧率高了0.73 s/f。

表3 SE-Resnet 50为重识别模型的多目标跟踪结果

当目标检测模型为Yolov4-Tiny时，重识别模型为SE-Resnet50比原重识别模型的MOTA提高6%，MOTP提高3.4%，身份切换次数为原来的69.56%，帧率高了1.22 s/f。

当重识别模型不变时，目标检测为Yolov4-Tiny与MobileV3，PW的结合比Yolov4-Tiny的目标跟踪结果更优异。

当多目标跟踪算法的重识别模型为原模型时，Yolov4-Tiny与MobileV3Small，PW结合的模型比Yolov4-Tiny模型的MOTA提高9.3%，MOTP提高5.5%，身份切换次数降了43.34%，帧率高了2.28 s/f。

当多目标跟踪算法的重识别模型为原模型时，Yolov4-Tiny与MobileV3Small，PW结合的模型比Yolov4-Tiny模型的MOTA提高7.6%，MOTP提高3.3%，身份切换次数降了56.25%，帧率高了4.23 s/f。

多目标跟踪结果中各效果图，(Yolov4-Tiny与MobileV3Small，PW结合缩写为YM3SP)如图6。

图6 多目标跟踪效果图

由图7可见，目标检测网络为Yolov4-Tiny的结合配合未改进DeepSORT算法目标跟踪效果最差，为Yolov4-Tiny和MobileV3Small，PW结合配合未改进的DeepSORT与Yolov4-Tiny配合改进的DeepSORT时效果图相近，为Yolov4-Tiny和MobileV3Small，PW结合，配合改进的DeepSORT的结合模型效果最好，且能够跟踪到小目标的东北虎。

从表2、表3以及图7可看出MobileV3与PW结合替换Yolov4-Tiny的骨干网络配合结合SE-Resnet50的DeepSORT的跟踪器在东北虎多目标中能够更好的提取不同东北虎的特征，能够跟踪到较小目标，可以提高多目标跟踪准确率的指标，减少目标ID切换次数，提升跟踪速度。

3 结论

本文基于数据收集困难的问题，提出了在数据收集阶段使用大疆无人机搭载摄像机拍摄东北虎，有效避免了地形等因素对数据收集的影响。基于目标检测算法模型复杂，参数量大不适于低算力设备部署的问题，选择Yolov4-Tiny作为基准算法，通过MobileV3系列以及与PW卷积层结合模型替换Yolov4-Tiny模型的骨干网络作为检测器，简化了模型复杂度，减少了参数，通过SE-Resnet50目标重识别算法提取东北虎具有鉴别性的特征，增强了较小目标跟踪效果，有效提高了检测准确率以及跟踪准确率的情况下降低了参数量，实现东北虎的多目标跟踪同时减少了标号变化现象，提高了多目标跟踪速度。