改进ＹＯＬＯｖ５ 和ＤｅｅｐＳＯＲＴ 的多目标跟踪算法

摘 要 针对多目标因相互交错或被遮挡以及检测目标外观外貌和背景颜色相近等现象 导致目标跟踪的漏检 错检ID 分配紊乱等问题 提出了一种改进YOLOv5 DeepSORT和 跟踪算法 为加强网络对全局上下文特征的提取能力 文章提出优化DeepSORT 的特征提取网络模型 并通过去掉1 层卷积层 增加4 层残差层以及采用自适应平均池化层和增加网络的深度与宽度 对行人提取更加深层次的语义信息 最后 通过实验验证了DeepSORT 目标跟踪算法的优越性 其能够准确地对目标进行跟踪 具有一定的理论探索意义和实用价值

关键词 多目标跟踪 行人识别

中图法分类号 文献标识码A

１ 引言

随着计算机视觉技术［１］ 的高速发展，目标检测与跟踪技术［２］ 已经应用到各个领域中，如自动驾驶、智慧交通以及公共安全监管等。目标跟踪算法可以分为２ 大类，分别为单目标跟踪［３］ 和多目标跟踪［４］ 。单目标跟踪算法是在每张图片中只跟踪一个目标，而多目标跟踪算法则是连续跟踪视频或者图像帧中的多个目标，多目标跟踪更多的是解决相似度计算和数据关联的问题。２０１６ 年，Ｒｅｄｍｏｎ［５］ 提出了一种Ｏｎｅ?Ｓｔａｇｅ 方法，即ＹＯＬＯ 算法，其虽牺牲了检测准度和定位精度，但是检测速度大幅提高，从而达到实时的目标检测要求。ＳＯＲＴ 算法［６］（ Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄＲｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ）是一个非常简单实用的多目标跟踪算法。在ＳＯＲＴ 算法中，仅仅通过ＩＯＵ 来进行匹配，虽然速度极快，但是存在大量身份ＩＤ 互换的现象。ＤｅｅｐＳＯＲＴ 算法［７］ 在ＳＯＲＴ 算法的基础上引入了级联匹配和匈牙利算法将目标轨迹的预测框与检测框进行了数据关联匹配。通过这个扩展，模型能够更好地应对目标被长時间遮挡的情况，将ＩＤ ｓｗｉｔｃｈ 指标降低了４５％。但在实际场景中，面对行人目标姿态变化、光照强度低、背景环境复杂，以及目标间的轨迹交错和遮挡等问题，仍然存在目标漏检、丢失跟踪以及ＩＤ 易互换的现象。针对上述问题，本文提出改进ＹＯＬＯｖ５ 和ＤｅｅｐＳＯＲＴ 算法。

２ ＹＯＬＯｖ５ 算法

Ｕｌｔｒａｌｙｔｉｃｓ 等提出的ＹＯＬＯｖ５ 模型的性能和检测准确度与ＹＯＬＯｖ４ 不相上下， 相较于ＹＯＬＯｖ４，ＹＯＬＯｖ５ 的网络结构更加简单，参数量也更少，其图像自适应缩放策略和锚框自适应策略使ＹＯＬＯｖ５ 无论是训练、预测还是推理速度都明显优于ＹＯＬＯｖ４。整个ＹＯＬＯｖ５ 网络结构分成４ 部分，即Ｉｎｐｕｔ，Ｂａｃｋｂｏｎｅ，Ｎｅｃｋ，Ｈｅａｄ。

（１）Ｉｎｐｕｔ 输入端。ＹＯＬＯｖ５ 继承了ＹＯＬＯｖ４ 所使用的Ｍｏｓａｉｃ 数据增强方式，丰富了检测数据集，同时采用自定义不同长宽锚框的自适应锚框机制，从而实现了既能增加数据集的复杂度，又能减少ＧＰＵ 的内存使用的目标。

（２） Ｂａｃｋｂｏｎｅ 主干网络。ＹＯＬＯｖ５ｓ 的Ｂａｃｋｂｏｎｅ网络是１ 个由ＣＳＰＤａｒｋｎｅｔ５３ 构成的卷积神经网络，它包含５３ 个卷积层，并使用了ＣＳＰ（Ｃｒｏｓｓ?Ｓｔａｇｅ ＰａｒｔｉａｌＮｅｔｗｏｒｋｓ）模块来加快训练和提高准确性。

（３） Ｎｅｃｋ 颈部网络。在ＹＯＬＯｖ４ 的Ｎｅｃｋ 结构中，采用的都是普通的卷积操作，ＹＯＬＯｖ５ 的Ｎｅｃｋ 网络使用了“ ＦＰＮ ＋ ＰＡＮ” 结构， 且ＹＯＬＯｖ５ 借鉴了ＣＳＰｎｅｔ 的设计思想，将ＹＯＬＯｖ４ 使用的ＣＢＬ 模块更换为ＣＳＰ２ 结构，从而保留更多特征信息，加强了网络特征融合能力。

（４）Ｈｅａｄ 输出端。Ｈｅａｄ 输出端是ＹｏＬＯｖ５ 模型中最后一层卷积层，它的作用是将融合后的多尺度特征图进行分类和回归预测，得到目标的位置、类别和置信度等信息。

３ ＤｅｅｐＳＯＲＴ 算法改进

ＤｅｅｐＳＯＲＴ 算法是在整个ＳＯＲＴ 算法的基础上进行改进，其借鉴行人重识别领域的ＲｅＩＤ 网络结构，利用特征提取网络与目标检测框中的特征，当目标因遮挡又重新出现后，可以利用特征提取网络的前后特征对比，重新跟踪目标，从而避免出现ＩＤ 互换现象。但在实测过程中发现，ＤｅｅｐＳＯＲＴ 原始特征网络在行人重叠时容易出现ＩＤ 互相切换的现象，以及造成目标跟丢的情况。为解决此问题，重构ＤｅｅｐＳＯＲＴ 外观特征提取网络模型，在不改变训练速度的基础上，进一步提升ＤｅｅｐＳＯＲＴ 外观特征提取能力。改进外观特征提取网络表如表１ 所列。

４ 实验及结果分析

４．１ 改进特征提取网络训练

本文使用Ｍａｒｋｅｔ?１５０１ 数据集对改进的行人重识别网络进行训练，将训练好的模型导出后用于后续的实验，通过记录每一次迭代的行人外观模型训练结果的损失函数值及误差值来验证外观模型的训练效果。特征提取网络训练结果图如图１ 所示。

从图１ 的Ｌｏｓｓ 以及Ｔｏｐ１?Ｅｒｒｏｒ 曲线变化可知前Ｅｐｏｃｈ２０，模型的损失值和Ｔｏｐ１?Ｅｒｒｏｒ 下降较为迅速，在Ｅｐｏｃｈ２０ 之后，Ｌｏｓｓ 值和Ｔｏｐ１?Ｅｒｒｏｒ 错误率曲线逐渐平缓，当模型迭代４０ 次时，训练集的Ｌｏｓｓ 值和Ｔｏｐ１?Ｅｒｒｏｒ 错误率趋近于２％ ，验证集的Ｌｏｓｓ 值和Ｔｏｐ１?Ｅｒｒｏｒ 错误率分别趋近５２％和１５％。在Ｅｐｏｃｈ６０时模型收敛，此时该模型能够较好地提取更深层次的人体外观特征信息。

４．２ 多目标跟踪算法效果对比

目标跟踪算法选择在ＭＯＴ１６ 数据集上进行测试，选择ＭＯＴ Ｃｈａｌｌｅｎｇｅ 指标作为评分标准，与其他几种经典跟踪算法进行对比实验，并给出了相应的实验结果。目标跟踪算法实验对比如表２ 所列。

４．３ 目标跟踪算法实验示例分析

选择ＭＯＴ１６?０２ 和ＭＯＴ１６?０４ 视频对改进模型进行测试。ＭＯＴ?１６?０２ 视频图、ＭＯＴ?１６?０４ 视频图如图２、图３ 所示。

从图３ 可以看出，该场景行人密集，光线阴暗，背景复杂，在ＭＯＴ?１６?０２ 视频经过人群短暂交错后，在第４０３ 帧和第４６９ 帧中各行人的ＩＤ 信息仍保持不变；在ＭＯＴ?１６?０４ 视频中Ｉｄ 为１ 的目标男子在视频从左往右走动时，经过灯光的遮挡重新出现，检测到其ＩＤ 始终没有发生改变，并且在Ｉｄ 为７３ 的行人经过人群密集处后，检测到其ＩＤ 依旧为７３。这表明该算法在光线较暗的情况下依旧能够有效地跟踪到行人目标，并保持他们的ＩＤ 值不变，不易发生ＩＤ 互换现象。

５ 结束语

本文在ＹＯＬＯｖ５ 和ＤｅｅｐＳＯＲＴ 算法的基础上进行改进，提出结合ＧＡＭ 注意力机制， 加强网络对上下文的特征的提取能力，同时优化ＤｅｅｐＳＯＲＴ 的外观特征提取网络，将１２８ 维提升至１ ０２４ 维和采用不同残差神经层加强对目标外观的提取。在保证精度的前提下，大幅减少行人因重叠导致身份互换现象，最終优化后的模型在ＭＯＴＡ 上提高了０．７２９％，ＭＯＴＰ 提高了１．５４１％，ＩＤＳＷ 下降了１３０，足以证明该模型可以快速有效地实现行人识别与跟踪，完成在复杂场景下的跟踪任务。

参考文献：

［１］ 方佳乐．计算机视觉技术在人工智能领域的应用研究［Ｊ］．中国高新科技，２０２１（２０）：４０?４１．

［２］ 王晓燕，韩笑，王雪婷．图像处理领域运动目标跟踪技术综述［Ｊ］．科学技术创新，２０１８（２５）：９７?９８．

［３］ ＬＵ Ｘ，ＬＩ Ｆ，ＴＡＮＧ Ｊ，ｅｔ ａｌ． Ａ ｎｅｗ ｐｅｒｆｏｒｍａｎｃｅ ｉｎｄｅｘ ｆｏｒｍｅａｓｕｒｉｎｇ ｔｈｅ ｅｆｆｅｃｔ ｏｆ ｓｉｎｇｌｅ ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｋａｌｍａｎｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｍｏｄｅｒｎ Ｐｈｙｓｉｃｓ Ｃ，２０２２，３３（９）：１１?２０．

［４］ ＲＥＤＭＯＮ Ｊ，ＦＡＲＨＡＤＩ Ａ．ＹＯＬＯ９０００：Ｂｅｔｔｅｒ，Ｆａｓｔｅｒ，Ｓｔｒｏｎｇｅｒ［Ｊ］．ＣｏＲＲ，２０１６：２４２?２４８．

［５］ 马琳琳，马建新，韩佳芳，等．基于ＹＯＬＯｖ５ｓ 目标检测算法的研究［Ｊ］．电脑知识与技术，２０２１，１７（２３）：１００?１０３．

［６］ ＢＥＷＬＥＹ Ａ，ＺＯＮＧＹＵＡＮ Ｇ，ＲＡＭＯＳ Ｆ，ｅｔ ａｌ．Ｓｉｍｐｌｅ ｏｎｌｉｎｅａｎｄ ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ ［ Ｃ ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＩｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１６：３４６４?３４６８．

［７］ ＷＯＪＫＥ Ｎ， ＢＥＷＬＥＹ Ａ， ＰＡＵＬＵＳ Ｄ． Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄＲｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ ｗｉｔｈ ａ Ｄｅｅｐ Ａｓｓｏｃｉａｔｉｏｎ Ｍｅｔｒｉｃ［Ｊ］．ＩＥＥＥ，２０１７，２１（２）：３６４５?３６４９．

作者简介：

黄振桂（１９９８—），硕士，研究方向：目标检测与跟踪。