基于深度学习的井下运动目标跟踪算法研究

张玉涛，张梦凡，史学强，任 瑶，刘 锐，陈晓坤

(西安科技大学 安全科学与工程学院，陕西 西安 710054)

我国是一个煤炭工业大国，煤炭不仅是我国的主体能源，而且是国民经济的重要产业。2018年数据显示我国煤炭产量已经接近全世界总产量的二分之一[1]。由于煤炭的开采环境复杂，导致煤矿事故频发，造成了人员伤亡和国家经济损失。因此，如何保证煤炭的安全生产是煤炭行业未来发展的关键。相关数据表明，煤矿井下80%以上的伤亡事故发生原因都与井下作业人员不遵守生产规范，进行违规操作有关。因此，对井下作业人员和各类井下设备进行实时定位管控，从而及时发现异常情况并采取措施，能够有效降低各类伤亡事故发生的概率[2]。

目前，大多数煤矿采用识别卡定位[3]、RFID射频识别技术[4]和Zigbee技术[5]等方案实现跟踪定位，不仅使用成本高，并且易受井下复杂电磁场环境的影响。近年来，在煤矿开采智能化的趋势下，煤矿井下已逐步实现监控摄像覆盖，以供工作人员实时监控。另一方面，计算机视觉技术取得了显著的进展，并在煤矿井下火灾识别[6-8]、煤矿工人人脸识别[9-11]等众多领域得到了广泛的应用。同时，目标跟踪技术也日趋成熟，为煤矿井下运动目标跟踪定位的研究提供了新的思路和理论基础。将视觉目标跟踪技术应用于煤矿安全领域，将进一步提高矿井数字化、智能化水平，降低事故伤亡率，确保矿井生产安全。

因此，结合煤矿井下场景复杂、存在大量小目标和跟踪目标尺度变换大等特点，本文提出了一种基于深度学习的井下运动目标跟踪算法。该算法以孪生跟踪器[12]为基础框架，设计了一种局部-全局的匹配网络。该网络通过局部匹配来增强小目标的跟踪性能，通过全局匹配充分利用整体信息，适应目标的尺度变化，并使用空间注意力机制抑制复杂背景信息的干扰，从而提高定位精度。最后，设计了一个无锚框的分类-回归网络，以避免引入大量需要预先设定的超参数，并降低计算复杂度。对比试验证明所提出方法在煤矿井下运动目标跟踪任务中具有良好的跟踪精度和实时的运行速度。

1 基于深度学习的目标跟踪算法

1.1 算法整体流程

算法的总体流程如图1所示，将待跟踪目标模板和待检测区域作为网络的输入，分别输入具有相同结构和权重的孪生网络中进行特征提取，随后，将待跟踪目标的最后三层输出特征(模板特征)和待检测图像的最后三层输出特征(检测特征)输入到局部-全局匹配网络(Local-Global Matching Network，LGM)实现模板特征与检测特征的匹配。最后，将匹配后的特征分别输入分类分支和回归分支，分类分支用于对目标位置的粗略定位，回归分支用于对目标所在区域进行精确估计。

1.2 特征提取网络

特征提取网络由两个结构和参数完全相同的分支构成，分别为模板分支和检测分支。其中，模板分支的输入为模板图像z，通过第一帧图像以目标中心位置为基准结合目标尺寸裁剪得到，大小为127×127；检测分支输入为检测图像x，由当前帧图像(第k帧) 的前一帧(第k-1帧)预测的目标中心位置和目标尺寸大小为基准裁剪得到，大小为 255×255。本文采用ResNet-50[13]作为特征提取网络，共包含五个特征提取阶段，不同阶段特征感受野变化很大。其中，浅层特征主要提取低级信息，如颜色、形状等信息，这些特征信息对于定位目标位置十分重要。而深层特征具有丰富的语义信息，在运动模糊、目标形变严重等具有挑战性的场景中有利于跟踪目标。同时，考虑到ResNet-50的前两个特征提取阶段存在较多噪声信息，本文使用后三个阶段的特征进行目标跟踪。为了保持特征图的分辨率，本文移除了最后两个阶段的下采样操作，并使用空洞卷积[14]提高感受野。具体的，第四个阶段空洞卷积的洞率设置为2，第五个阶段空洞卷积的洞率设置为4。不同阶段特征图尺寸的变化情况见表1。并且，为了降低计算量，在特征提取网络的后三个阶段使用1×1卷积将输出特征通道数降维至256。为了便于表示，模板特征表示为FiZ(i=3，4，5)，检测特征表示为FiX(i=3，4，5)。

表1 特征提取网络各阶段输出尺寸

1.3 全局到局部匹配网络

在获取模板特征和检测特征后，孪生跟踪算法使用互相关操作实现模板特征与检测特征的相似性匹配。这种方法将目标特征作为一个整体与检测特征进行匹配，引入了大量背景信息。并且，这种匹配方式忽略了局部对应关系，不利于小目标的跟踪。而局部匹配方式由于缺少全局语义信息，不利于对尺度变换大的目标进行跟踪。为了解决这些问题，本文设计了局部-全局匹配网络。包括局部匹配网络和全局匹配网络两部分。

1.3.1 局部匹配网络

使用原始互相关操作[12]忽略了局部对应关系并引入大量背景信息，为了解决这个问题，设计了一种局部匹配网络计算目标特征与检测特征的局部关系。首先，本文分别在通道维度上级联模板特征和检测特征，计算过程见式(1)：

式中，⊕表示级联操作。

其次，通过缩小匹配区域来实现局部匹配。具体的，本文将模板特征FZ分解为w×h个节点，将检测特征FX分解为W×H个节点，其中w和h为模板特征的长和宽，W和H为检测特征的长和宽。模板特征和检测特征的通道数均为768，每个节点大小为1×1×768。使用VZ表示模板特征的节点集合，使用VX表示检测特征的节点集合。随后，通过计算VZ和VX中每个节点的内积得到每个局部区域的相似度。为了更好的学习相似度匹配，对VZ和VX进行线性变换使其处于同一特征空间下，再利用变换后的特征计算节点之间的内积，计算过程见式(2)：

si，j=(wZviZ)T(wXvjX)

(2)

式中，wZ和wX表示线性变换矩阵，viZ和vjX为模板特征中的第i个节点和检测特征中的第j个节点。si，j表示模板特征中的第i个节点和检测特征中的第j个节点的相似度。随后，使用softmax归一化函数反映不同局部区域的相似度：

之后，计算搜索特征中节点vjX与模板特征中所有节点相似度之和qj：

qj=∑k∈VZni，j

(4)

qj值越高，搜索特征中局部区域vjX越有可能是前景，需要设置更高的权重。因此，使用qj对vjX加权：

vlm=qjvjX

(5)

将重新加权后的特征组合为局部匹配特征FL。局部匹配网络结构如图2所示。

1.3.2 全局匹配网络

原始互相关操作对模板特征与检测特征的整体信息进行匹配，引入了大量背景信息，并存在大量未激活通道。为此，本文使用空间注意力机制抑制模板特征中的背景信息。空间注意力机制结构如图3所示，首先，对模板特征FZ分别进行基于通道的全局最大池化和全局平均池化操作得到两个尺寸相同的二维特征图Fmax和Favg。随后将Fmax和Favg进行级联得到高效的特征表示。其次，将级联后的特征图通过一个3×3卷积层和sigmoid操作得到空间注意力图Satt。空间注意力图Satt反映了需要强调的目标区域和需要抑制的背景区域。最后，将空间注意力图Satt与模板特征FZ逐元素相乘以获得优化的模板特征EZ。

随后，本文使用深度互相关操作[12]计算优化模板特征EZ与检测特征FX的整体匹配，得到全局匹配特征FG，如图4所示。最后，对局部特征FL使用自适应池化操作使得其空间分辨率调整与全局匹配特征FG保持一致：

式中，conv1×1表示1×1卷积；RELU表示RELU层。局部-全局匹配特征Fl-g以局部匹配和全局匹配两种方式计算模板特征和检测特征的相似度，可以有效利用目标的整体语义信息和局部细节信息。

1.4 分类-回归网络

在实现模板信息嵌入后，本文将跟踪任务将分为分类和回归两个子任务。为了实现目标跟踪框的精确估计，已有方法通常使用多尺度搜索策略或预设锚框策略，从而引入大量超参数和计算量。 并且，超参数需要根据数据分布的先验信息预先设定，非常依赖参数的设置经验。因此，本文采用无锚框的分类-回归网络避免人为的设定参数。具体的，将局部-全局匹配特征Fl-g分别输入分类分支和回归分支。其中，分类分支由一个通道数为2的1×1卷积构成，预测特征图的每个空间位置(x，y)属于目标和背景的概率，回归分支由一个通道数为4的1×1卷积构成，预测空间位置(x，y)与目标边界框四条边界的偏移量(l，r，b，t)，从而确定最终的预测框。最终特征图上的每个像素仅进行一次预测，不仅降低了网络的计算复杂度，并且避免了依赖经验的超参数设置(如基于锚框方法中的锚框比例大小设置)。

2 试验分析

2.1 构建数据库

使用公开数据集ImageNet VID[15]和YoutubeBB[16]作为训练数据集。并根据需要，由互联网收集40个煤矿井下视频作为测试数据集，总帧数为7500张。采用开源工具lambel软件对视频中的目标进行人工标记、注释和编号。数据集一共含有3类标注目标，分别是人、安全帽和车。

2.2 实现细节

实验平台为使用Intel-Xeon(R)4214 CPU(2.2GHz)，64GB内存和四张显存为11GB的NVIDIA GeForce GTX2080Ti GPU的计算机。操作系统为Ubuntu16.04。本文算法使用端到端的方式进行训练，使用随机梯度下降法(SGD)进行优化。在训练过程中，分类任务和回归任务分布使用Focal loss[17]和IoU loss[18]损失函数，批处理量(batch size) 设置为96，初始学习率(learning rate)为0.001。

2.3 试验验证

为了证明所提出算法的可靠性和稳定性，与常用的目标跟踪算法在测试数据集下进行了对比。使用准确率(AUC)和识别率(Presion)[6]作为评估指标。与已有跟踪算法相比，本文算法在煤矿井下场景性能明显优于常用的目标跟踪算法，其比较结果见表2。不同场景下的跟踪效果如图5所示：(a)目标尺度变化；(b)光照变化；(c)小目标；(d)大目标。跟踪结果表明了所提出算法能够在各种具有挑战性的场景下取得良好的跟踪效果。

表2 本文算法与其他算法在测试数据集下比较结果

2.4 跟踪速度分析

算法与其他算法运行速度和模型大小比较结果见表3。获益于无锚框的分类-回归网络，本文算法具有更快的运行速度。在实验平台上能够达到57 FPS的推理速度，远远满足了实时运行的要求，便于在煤矿井下进行实时跟踪。

2.5 局部-全局匹配网络作用

为了研究局部-全局匹配网络在所设计的目标跟踪算法中的作用，本文进行了3组试验，分别使用局部匹配网络，全局匹配网络和局部-全局匹配网络，性能对比见表4。由表4可知，同时使用局部-全局匹配网络能够显著提升目标跟踪的性能。

表3 本文算法与其他算法速度和模型大小比较结果

表4 有无局部-全局匹配网络的算法性能对比 %

3 结 语

为了有效对井下作业人员和各类井下设备进行实时定位管控，提出了一种基于深度学习的目标跟踪算法。针对煤矿井下场景复杂、存在大量小目标和跟踪目标尺度变换大时容易出现跟踪错误的问题，提出了局部-全局的匹配网络，有效提高了煤矿井下场景的跟踪性能。同时为了避免大量超参数的设置并适应实时跟踪的需求，设计了无锚的分类-回归网络，有效降低了算法的计算复杂度。所设计的跟踪模型在跟踪人员、安全帽和车辆等目标展现了较高的跟踪精度。此外，对于煤矿井下由于光照条件差导致无法跟踪的问题仍需进一步研究。