基于目标检测与跟踪组合模式的智能枪瞄技术研究

管秀云，郭永红，李旭光，赵登辉，史 超，崔令飞，温 昕

(1.中国兵器工业标准化研究所，北京 100089；2.中国兵器工业计算机应用技术研究所，北京 100089)

1 概述

在武器装备中，瞄具是不可或缺的重要装置，瞄具能够为武器提供准确的瞄准角，从而实现武器装备对目标的准确打击。随着社会的进步和计算机技术的广泛应用，特别是近几年图像处理以及深度学习等相关领域的深入研究，为武器装备瞄具的发展提供了更多的方向。基于武器战术性能和目标机动性能的提高，武器的瞄具逐步向全天化和高度自动化等方向发展，逐步形成完整的武器控制系统。本文将计算机视觉领域的运动目标检测与跟踪相关技术应用到枪械瞄具中，为瞄具的智能化提供一种可实现的手段。

1.1 枪械瞄具的发展现状

瞄准具是武器装备的重要组成部分，根据武器分类，可以分为枪械瞄具、火炮瞄具、坦克瞄具和航空瞄具[1]。其中的枪械瞄具按照结构和作用原理可以分为机械瞄具、激光瞄具和光学瞄具。

机械瞄具是最早的瞄具装备，其结构简单、坚固、耐用，因此在枪械方面具有很广泛的应用[2]。激光瞄具是利用激光束进行瞄准的装置，主要由激光器和高低、方向调整机构组成，基于激光光束直线传播的原理，只要光束对准目标，就可以射击。激光瞄具能够使用双目瞄准，具有反应快、射击准的特点。光学瞄具是由瞄准镜、方向、表尺分划筒和高低机等装置组成，在枪械光学瞄具中主要分为望远式和反射式瞄具[3]。反射式光学瞄具是最近几年新型瞄具，主要通过精确的光学曲面反射透镜，将瞄准器内的光线发射出去，这种瞄具忽略了视线偏移的影响，实现快速瞄准，例如，SIT公司IPSC竞赛手枪上装有反射式瞄具[4]。在智能瞄具方向，俄罗斯卡拉什尼科夫集团公司已研制出由人工智能元件杀伤系统组成的步枪系统，该系统可以做到识别、瞄准、跟踪、射击一体化。

1.2 运动目标跟踪的发展现状

依据运动目标的表达和相似性度量，运动目标跟踪算法可以分为4类：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。跟踪算法的精度和速度很大程度上取决于对运动目标的表达和相似性度量的定义，跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。

基于主动轮廓的跟踪包括Kass等提出的主动轮廓模型Snake[5]，是在图像域内定义的可变形曲线通过对其能量函数的最小化。基于特征的跟踪不考虑运动目标的整体特征，只通过目标图像的一些显著特征来进行跟踪。除了用单一的特征来实现跟踪外，还可以采用多个特征信息融合在一起作为跟踪特征。基于区域的跟踪基本思想是得到包含目标的模板[6]，该模板可通过图像分割获得或预先人为确定，模板为略大于目标的矩形，也可为不规则形状。基于模型的跟踪通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪目标进行模型的实时更新。

纵观目前运动目标的跟踪算法，大多是基于较单一的工学视角，还存在一些尚未很好解决的共性问题，如跟踪过程中目标物形状、尺寸、位置、运动方向的改变，背景环境及光照条件的改变，目标物被遮挡及部分遮挡的情况等。

本文基于目标检测算法SSD网络和目标跟踪核相关滤波KCF，设计了一套基于视觉检测的实时目标跟踪方法，为了提升模型性能，采用图像序列分组的方法，对图像序列以组为单位分别设置检测帧和跟踪帧；采用一种新的组间逻辑匹配算法最大性能地提高检测与跟踪效率，并且设计前端展示界面，对枪械提供指定的偏移方向。本文介绍了枪瞄技术的国内外现状，给出了系统的整体框架；介绍了目标检测和目标跟踪的算法原理，并且详细阐述了组间匹配机制的算法原理；下述进行试验并分析试验结果。

2 系统总体框架

本文设计的智能瞄具系统基于计算机视觉任务中目标检测与目标跟踪的相关算法，目标检测算法使用SSD网络，目标跟踪算法使用KCF。

首先，通过瞄准镜对物体进行瞄准，首次对目标进行人为点标记，移开瞄准镜且保证目标物未出大视野区域，随后对目标物跟踪M帧，将上述过程记为初始组，数量记为1，人为点标记记为初始帧，则初始组共包括(M+1)帧图像序列。

然后，提出将后续视频图像序列进行分组识别，每一组包括目标检测帧和目标跟踪帧，在目标检测帧中，基于目标检测算法实现目标物的重检测、目标物特征重提取等过程，在目标跟踪帧中对本组目标检测到的目标物进行跟踪，且设置目标跟踪帧为M，M的设置应进行最优选择，将上述过程记为更新组，数量记为N，每组包含(M+1)帧图像序列。

图1 系统整体框架图

智能瞄具系统瞄准镜区分为大视野区域与小视野区域，大视野区域被定义为瞄准镜不变焦距时所能看到的区域S，且在整体过程中目标物包含于S；小视野区域被定义为瞄准镜扩大α倍所能看到的区域S′，α为给定整数且不改变。在智能瞄具系统目标检测与目标识别过程中，瞄准镜视野被定义为小视野区域S′，示意图如图2所示。

智能瞄具系统前端由标准瞄准镜和智能指针两部分组成，图2表示目标物跟踪过程，此时，智能指针的指向表示待跟踪目标物所在位置，智能指针的长度表示瞄准镜与目标物之间的相对长度；待再次识别到目标物之后，瞄准镜状态由图2转变为图3，此时，智能指标为一个圆点，表示瞄准镜中心已经与目标物再次重合，且瞄准镜会闪烁数次，提醒射击者可以进行射击。

图2 瞄准镜瞄准过程前端设计

图3 瞄准镜符合射击条件前端设计

3 主要算法

3.1 SSD网络

SSD方法[7]基于前馈卷积网络，产生固定大小的边界框集合和框中对象类别的分数，并通过非最大化抑制步骤产生最终的检测结果。通过使用AlexNet[8]、VGG16[9]等已经成熟的网络结构，截止全连接层之前的全部卷积层和池化层作为图像特征网络。SSD的基本网络结构如图4所示。

图4 SSD基本结构

通过向网络添加辅助结构，可产生具有如下主要特征的检测。

1)多尺度特征图检测：将卷积层添加到截断的基础网络末尾。随着尺寸逐渐减小，得到多个尺寸检测的预测值。检测的卷积模型对于每个特征层是不同的，这些层预测了不同尺寸和宽高比对默认框偏移及其相关置信度。

2)检测的卷积预测器：每个添加的特征层可以使用一组卷积滤波器产生固定的预测集合。对于具有p个通道的大小为m×n的特征层，使用3×3×p的卷积核进行操作，产生类别的分数或相对于默认框的坐标偏移。

3)默认框与宽高比：将一组默认边界框与顶层网络每个特征图单元关联。默认框对特征图作卷积运算，使得每个框实例相对于其对应单元格的位置是固定的，在每个特征映射单元中，预测相对于单元格中的默认框形状的偏移，以及每个框中实例的每类分数。默认框类似于Faster-RCNN中使用的anchor boxes，但SSD将其应用于不同分辨率的特征图中。在多个特征图中使用不同的默认框形状，可以有效离散可能的输出框形状空间。

3.2 KCF算法原理

(1)

式中，λ用于控制系统的结构复杂性，即VC维以保证分类器的泛化性能，对式1进行最小二乘法求解得：

ω=(XHX+λ)-1XHy

(2)

在KCF算法中，训练样本和测试样本都是由基础样本xi=(xi1,xi2,…,xin)产生的循环矩阵Xi构成的，即：

(3)

Xi可以通过离散傅里叶矩阵F得到。

(4)

(5)

(6)

(7)

(8)

图像序列中，对于目标发生变化或者存在部分遮挡时，会造成严重的漏检现象，如果仅使用单一的检测算法，将无法克服此种情况的发生。KCF是快速目标跟踪算法，故本文目标跟踪模型SSD进行模型更新，利用模型检测到第1帧目标边界框之后启动KCF进行目标跟踪，为了避免跟踪的丢失，重新更新为检测模型。因此，KCF算法起到的作用是：1)加强图像序列中目标检测对姿态、角度等变化；2)在DTD模型中起到链接和加速的作用，提高了整个系统的检测速度。

4 试验与结果分析

测试数据集由两部分组成：1)使用目标跟踪数据集VOT2017[10]中的长时间目标跟踪序列；2)在自建的10段动态图像序列上进行目标检测与跟踪，使用的评估指标为准确率和速率。

首先，利用训练好的模型迁移到检测网络中进行边界框回归和分类回归的微调。选择5种宽高比的默认框，分别为1.0、2.0、3.0、0.5和0.33，并且设定默认框的最大尺度为0.95，最小尺度为0.2。6层卷积特征中每一个特征单元的默认框个数分别为4、6、6、6、6、6。训练过程中，IOU在[0.5, 1]区间内的为正样本，在(0.2, 0.5)区间内的为负样本，在[0, 0.2]区间内的作为难例。另外，本文的学习率是初始化为0.1的指数衰减的学习率，并且随机初始化权值和偏置项。KCF跟踪器中正则化系数为0.000 1，目标物体向外padding的倍数为2.5倍，高斯目标的带宽系数为0.125，提取图像的特征为hog特征并且采用多尺度的方式。时间阈值设定为每50帧进行一次更新。VOT2017测试结果如图5所示。

图5 VOT2017测试结果

利用自建的10段动态图像序列(每段图像序列时间均大于10 min，频率为30 Hz，即每段序列均大于18 000张)来测试模型的性能，GPU选用GTX1070ti，显然，SSD-KCF模型对于动态图像中序列的角度变化、遮挡等情况下具有较好的检测功能，同时，SSD-KCF模型具有更高的速率，速率可达到150 fps以上。10段自建动态序列的平均准确率分别为95.74%、96.38%、92.88%、88.98%、94.32%、96.45%、91.78%、90.88%、91.27%和93.88%(见表1)。

表1 SSD-KCF统计物体检测与跟踪准确率与速率

某一段对于人头的检测以及跟踪动态显示结果如图6所示。

图6 SSD-KCF对于人头的检测与跟踪

5 结语

本文结合目标检测算法SSD网络和快速跟踪模型KCF提出了一种新的DTD模式，即SSD-KCF目标检测与跟踪模型。综合了SSD网络在目标检测任务中的高准确率和高召回率，以及KCF算法的高速率，同时提出了时间阈值处理机制和异常峰值处理机制，对跟踪过程中的错误跟踪进行及时规避，能够实时、快速、稳定地检测出动态图像序列中变化角度较大、遮挡较为严重的目标。因此，对智能瞄具等嵌入式机器视觉强调实时性的应用场合具有较高的参考意义。