融合4D毫米波雷达与深度视觉的目标检测与跟踪

摘要：为解决现有毫米波雷达和传统机器视觉融合方案在复杂环境下车辆检测准确率较低的问题，首先使用4D毫米波雷达替代传统毫米波雷达，使用自适应卡尔曼滤波算法滤除雷达杂波并跟踪目标；其次使用车辆数据集训练改进深度视觉网络MobileNetV2+SSDLite来提高视觉识别车辆的准确率；最后采用决策融合方案完成毫米波雷达信号和视觉信号融合。通过对比不同环境下的实验结果表明，改进方案可以完成对目标车辆的有效估计与跟踪，在不同环境下都有着很好的车辆识别效果，有着更好的可靠性和鲁棒性。

关键词：毫米波雷达车辆检测卡尔曼滤波神经网络深度视觉目标跟踪

中图分类号：P208

TargetDetectionandTrackingwiththeFusionofthe4DMillimeter-WaveRadarandDepthVision

ZHANGQintaiWANGJingzhuo*

SchoolofElectronicEngineering，JiangsuOceanUniversity，Lianyungang，JiangsuProvince，222000China

Abstract：Inordertosolvetheproblemofthelowvehicledetectionaccuracyoftheexistingfusionschemeofthemillimeter-waveradarandtraditionalmachinevisioninthecomplexenvironment，thisarticlefirstlyusesthe4Dmillimeter-waveradartoreplacethetraditionalmillimeter-waveradar，andusestheadaptiveKalmanfilteringalgorithmtofilteroutradarclutterandtracktargets.Then，itusesvehicledatasetstotrainandimprovethedepthvisionnetworkMobileNetV2+SSDLitetoimprovetheaccuracyofthevisualrecognitionofvehicles.Finally，itusesadecisionfusionschemetocompletethefusionofmillimeter-waveradarsignalsandvisualsignals.Bycomparingexperimentalresultsindifferentenvironments，itisshownthattheimprovedschemecaneffectivelyestimateandtrackthetargetvehicle，whichhasgoodvehiclerecognitioneffectsindifferentenvironmentsandhasbetterreliabilityandrobustness.

KeyWords：Millimeter-waveradar;Vehicledetection;KalmanfilterING;Neuralnetwork;Depthvision;Targettracking

随着汽车保有量的逐渐增大，交通环境变得日益复杂，随之而来的交通事故也越来越多。在此背景下，研究能进行车辆识别、跟踪的车载系统很有必要。车载系统可以通过车载传感器来获取周围环境信息为自动驾驶车辆的决策和控制提供参考依据[1]。

4D毫米波雷达由于在不同天气和光照环境下性能稳定，同时可以解决传统毫米波雷达点云稀疏、输出信息过少的问题，因此4D雷达在目标检测方面的表现要优于传统雷达[2]。

视觉传感器能够采集到信息量丰富且适用于目标识别的数据，被广泛应用到对前方车辆的检测中。随着深度学习领域的发展，基于深度学习进行目标检测的算法主要分为以快速区域卷积网络（FasterRegion-basedConvolutionalNeuralNetwork，FasterR-CNN）[3]为代表的一类基于分类目标检测框架的算法，和另一类以单激发多框检测器（SingleShotMultiBoxDetector，SSD）[4]为代表采用多尺度特征图基于回归的目标检测框架的算法。

在实际应用中使用基于多传感器融合的车辆检测方法能够融合多传感器的优势。赵望宇等人[5]提出一种扩展卡尔曼滤波（ExtendedKalmanFilter，EKF）的目标跟踪方法，用来提高车辆信息检测的稳定性。上述文章的雷达应用方案，尽管考虑到了雷达的噪声对系统的影响，但未考虑噪声的先验统计特性以及雷达应用环境的动态变化，这将影响雷达的跟踪检测效果。

为了解决上述问题，文章使用4D毫米波雷达替代传统毫米波雷达；使用自适应EKF算法对滤波器噪声统计特性实时跟踪和修正；改用MobileNetV2+SSDLite相结合的神经网络来对前方车辆进行检测；最后提出一种决策级融合策略将毫米波雷达与视觉算法相结合，完成对车辆目标的检测。

14D毫米波雷达跟踪

1.1基于AEKF的毫米波雷达跟踪

毫米波雷达选用采埃孚（ZF）的ZFFR-Gen21毫米波雷达，该雷达工作频率为13Hz。使用卡尔曼滤波（EextendedKalmanFiltering，EKF）可以提高车载毫米波雷达目标的位置跟踪准确性，用于毫米波雷达跟踪[6]。但是EKF算法在面对未知噪声时的滤波误差无法稳定，导致其滤波性能变差。AEKF（AdaptiveExtendedKalmanFiltering）通过实时监测观测噪声的变化来调节滤波增益，进而控制状态预测值和状态观测值在滤波结果中的权重，最终达到更好的滤波效果。基于此，本文使用基于AEKF算法的4D毫米波雷达跟踪方法[7]，通过自适应的估计和修正滤波器噪声统计特性，提高滤波的精确度，进而优化估计状态。

使用1阶泰勒展开近似线性化得到状态转移矩阵和更新矩阵。

1.2毫米波雷达在视觉图像上投影

雷达输出信息经过滤波筛选后转换从开始扫描时的点云到最后一次扫描的点云的坐标系，将毫米波雷达信息通过时间对齐和空间坐标系进行转换，从而投射到视觉坐标系中，以便于后续毫米波雷达信息与视觉图像信息融合[8]。

为了实现各传感器信息融合，需要将各个传感器的坐标系进行统一，相机坐标系与雷达坐标系的融合转换模型如下：

式（8）中：为单位正交旋转矩阵，其大小取决于相机的偏航角和俯仰角；为平移向量；为相机焦距；为缩放因子；、分别表示每个单位像素在横、纵轴上的大小；为雷达检测到的目标物在毫米波雷达坐标系中的坐标；为该目标物在图像坐标系中的坐标；为目标物在相机坐标系中的轴坐标。

2基于深度视觉的车辆检测

SSD神经网络算法利用CNN提取特征，能够一次完成目标的检测和分类过程，检测速度也大大提高；将SSD预测层中所有常规卷积替换成可分离卷积，就变成了SSD的修改版本SSDLite。这种设计更符合MobileNets的总体设计，有着更少的参数和更小的计算复杂度，在计算效率上更高。

由于MobileNetV2作为轻量级网络模型有着更快的检测速度和更高的检测效率，因此用MobileNetV2替换SSDLite中的VGG网络。算法的训练和检测使用VoD（View-of-Delft）数据集中的车辆样本[9]，结合采埃孚官方的公开数据集，得到道路实测数据和毫米波雷达的原始数据以及带标注的雷达点云信息。数据集包含26949个小轿车样本，以及2601个卡车或者其他型号车辆。使用车辆目标数据集进行神经网络训练，用其中9000张标注过的数据集进行训练，3000张数据集进行检测。最终计算得到检测的平均准确率AP（AveragePrecision）的值为0.768。

基于MobileNetV2+SSDLite神经网络的检测方法进行车辆识别的平均准确率能达到86.9%，平均漏检率为2.9%，算法检测速度为22fps。该结果表明，基于MobileNetV2+SSDLite神经网络的检测方法有着快速准确识别前方车辆的能力，满足实际应用。

3毫米波雷达信号与深度视觉信息融合

将前文中跟踪到的雷达信号与深度视觉信息相融合，完成对车辆目标的检测。传统对雷达信号与视觉图像特征整合一般都在2D平面，即对雷达点云得到的检测框与视觉图像得到的检测框计算交并比（IOU）。然而在真实的自动驾驶场景中，复杂的交通环境需要满足3D目标检测的特征融合，因此需要计算3D中雷达的预测边界和视觉的预测边界的3DIOU。

当，输出毫米波雷达和视觉信息融合后的检测效果图；当，分别输出视觉检测3D框和毫米波雷达检测的目标位置；若3DIOU为0时分以下两种情况：（1）雷达检测目标为空，无论视觉检测结果如何，都不输出检测结果；（2）当雷达目标检测结果不为空，视觉检测结果为空时，仅输出雷达检测目标位置。

4实验结果分析

对VoD数据集中道路环境下的行驶车辆进行检测研究。进行实验所使用的平台搭载IntelCorei7-8700处理器，NVIDIAGeForceRTX3060Ti显卡。算法基于PyTorch神经网络框架搭建，使用python语言。

实验最终检测结果如表1所示，使用传统毫米波雷达与基于HOG特征的SVN分类器信息融合方案的文献[5]的检测结果如表2所示。

对比表4和表5的数据可以发现，本文所使用的AEKF滤波跟踪后的4D雷达检测效率相较于传统的EKF滤波跟踪的传统毫米波雷达，在检测准确率和漏检率上的表现都要更加优秀。本文采用MobileNetV2+SSDLite的神经网络算法泛用性好，可以在更好地应对复杂交通环境的同时提高视觉检测目标的精确性，而且在相同条件下，改进后的神经网络算法检测速度由15fps提高到22fps。最后，决策级信号融合策略进一步提升了检测车辆目标的精确性，通过信息融合降低光照、阴影、车辆目标外的障碍物等环境影响。提高了对道路上车辆位置、运动状态和几何参数的检测效果。

5结论

本文针对传统雷达点云稀疏以及毫米波雷达与机器视觉融合后的检测实时性、准确性差的问题，使用点云数量更多的4D雷达，通过AEKF滤波跟踪，在未知噪声背景下，利用毫米波雷达的数据不断对滤波器噪声进行估计和修正，从而提高滤波的效果；针对传统计算机视觉检测泛用性差、检测精度较低的问题，采用MobileNetV2+SSDLite神经网络对车辆进行检测；最后通过决策级融合框架策略实现毫米波雷达和视觉信息的融合，进一步提高检测的准确性。实验结果表明，改进后的融合算法在检测精度以及检测速度上相较于传统算法都有提高。后续可通过进一步提高雷达分辨率和目标提取准确性进一步改进目标检测的性能。

参考文献

• FORTUNATIS，SANGUINETTIL，GINIF，etal.MassiveMIMOradarfortargetdetection[J].IEEETransactionsonSignalProcessing，2020，68：859-871.
• BANSALK，RUNGTAK，ZHUS，etal.Pointillism：Accurate3dboundingboxestimationwith multi-radars[C]//Proceedingsofthe18thConferenceonEmbeddedNetworkedSensorSystems.2020：340-353.
• RENS，HEK，GIRSHICKR，etal.Fasterr-cnn：Towardsreal-timeobjectdetectionwithregionproposalnetworks[J].Advancesinneuralinformationprocessingsystems，2015，9199（10.5555）：2969239-2969250.
• LIUW，ANGUELOVD，ERHAND，etal.Ssd：Singleshotmultiboxdetector[C]//ComputerVision–ECCV2016：14thEuropeanConference.Amsterdam，TheNetherlands，SpringerInternationalPublishing，2016：21-37.
• 赵望宇，李必军，单云霄，等.融合毫米波雷达与单目视觉的前车检测与跟踪[J].武汉大学学报（信息科学版），2019，44（12）：1832-1840.
• HENRIQUESJF，CASEIROR，MARTINSP，etal.High-speedtrackingwithkernelizedcorrelationfilters[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2014，37（3）：583-596.
• 甘耀东，郑玲，张志达，等.融合毫米波雷达与深度视觉的多目标检测与跟踪[J].汽车工程，2021，43（7）：1022-1029.
• 王文钦，邵怀宗，陈慧.频控阵雷达：概念，原理与应用[J].电子与信息学报，2016，38（4）：242-253.
• PALFFYA，POOLE，BARATAMS，etal.Multi-classroaduserdetectionwith3+1DradarintheView-of-Delftdataset[J].IEEERoboticsandAutomationLetters，2022，7（2）：4961-4968.