基于毫米波雷达与机器视觉融合的隧道车辆目标检测技术研究

孙永安

（山西交通控股集团 运城北高速公路管理有限公司，山西 运城 044000）

1 研究背景

山西省通车运营高速公路隧道共计684座，累计长度达到945.222 km，隧道数量多距离长，并且隧道是交通事故的高发路段，对公路隧道的日常维护、事故处置和安全管理带来巨大的挑战。在传统的隧道监控视频模式下，隧道监控人员需要人工监控大量的视频画面，并要及时通过视频监控发现事故事件信息，这要求隧道监控人员具有高度集中的注意力，但实际监控效果不够理想。

经过多年的技术投入和发展，基于对车辆运动目标检测的隧道事故事件监测系统已经在隧道现场投入应用较长时间，但是由于传统图像处理算法在技术性能上的局限性，造成系统识别精度差、误报高和漏报频繁，需要很多人工对事件加以确认，浪费大量的人力和物力。因此，有必要研究应用新一代的隧道车辆目标检测技术，以实现对车辆目标的准确高效识别和异常状态自动报警功能[1]。

隧道车辆目标检测技术的检测结果将直接影响隧道监控人员应对事件的指挥和决策。本文根据当前公路隧道车辆目标识别的要求，在准确感知的基础上，运用毫米波雷达全天候、抗遮挡的感知技术特点，进一步解决视频监控技术易受背景多变、光照环境、遮挡等影响的问题，实现隧道内车辆目标状态的准确采集，并进行适度的调整、预警和引导，从而提高高速公路运营的安全水平和道路通行能力。

2 研究现状

2.1 基于机器视觉的隧道车辆目标检测

机器视觉技术已广泛应用于人脸识别、交通监控、城市安防等各个领域。在智能交通技术的研究中，基于机器视觉的目标检测方法可实现对交通标志检测、车道线检测、车辆和行人检测等多个应用场景[2]。基于机器视觉的隧道车辆目标检测方法大致可分为3类：基于车辆特征的目标检测方法、以机器学习方法为基础的目标检测方法和以深度学习神经网络为基础的目标检测方法。

基于深度学习的目标检测方法通过从训练样本图像中来提取车辆特征，在训练中容易出现过拟合，且算法模型复杂，对模型训练有较高的要求。但图形处理器硬件技术的快速发展在一定程度上弥补传统神经网络的不足，使基于深度学习的隧道车辆目标检测方法取得较好的应用前景。图1展示了基于视觉的隧道车辆目标检测技术。

图1 基于视觉的隧道车辆检测技术

2.2 基于交通雷达的隧道车辆目标检测

交通雷达通过微带阵列天线向外发射雷达波，接收目标反射信号，处理后获取交通目标的相对距离、相对速度、方位角度等。毫米波雷达是定义在毫米波频段（波长1～10 nm）内工作的雷达，受环境影响较小[3]。目前在毫米波雷达领域占据较大份额的四家主要制造商有博世（Bosch）、大陆（Continental）、德尔福（Delphi）和美安（Autoliv），其产品在车辆安全领域被广泛使用。图2显示基于毫米波雷达的车辆目标检测情况。

图2 基于毫米波雷达的车辆目标检测技术

毫米波雷达通常只能够获取二维数据，而目前的研究人员已开展激光雷达的研究工作来获取交通空间三维数据，并且已经对相应的车辆目标检测进行了大量研究。随着技术的成熟和成本进一步下降，将在隧道车辆目标检测应用场景迎来更广泛的应用[4]。

2.3 基于毫米波雷达和机器视觉融合的隧道车辆目标检测

由于传感器工作原理的不同，单个传感器通常只能获得被检测目标的部分特征，难以在复杂隧道环境下满足对车辆目标检测的复合要求。为更准确地描述所检测交通目标的特征，通过对多传感器信息进行融合从而获得更全面的目标信息，实现对车辆目标检测的全天候和高可靠性。图3显示基于毫米波雷达和机器视觉融合的车辆目标检测情况。

图3 基于毫米波雷达和机器视觉融合的车辆目标检测

考虑到隧道内的实际工作环境和检测要求，且激光雷达目前的成本较高。隧道车辆目标检测技术可充分结合机器视觉和毫米波雷达的技术特点，采用多传感器信息融合的方法来开展目标检测技术研究。经过多项研究表明，该方法在实时性和准确性方面具有明显的优势。

3 技术路线

在车辆检测中，将毫米波雷达和机器视觉的检测结果进行融合可以有效提高最终检测效果。本文技术路线主要介绍机器视觉和毫米波雷达信息融合的方法，通过对采集数据进行空间、时间和事件信息的融合，实现对各传感器多层次、多空间的信息互补和优化组合处理[5]。

3.1 传感器空间融合

由于视觉传感器和毫米波雷达的安装位置不同，需要将不同传感器坐标系的测量值转换到同一个坐标系中。实现多传感器数据空间融合的关键是建立三维世界坐标系、毫米波雷达坐标系、摄像机坐标系、图像显示坐标系和传感器像素坐标系之间的坐标转换关系。视觉传感器和毫米波雷达的空间融合就是将不同传感器坐标系的采集数据转换到同一个坐标系中。在实际融合中，可通过将毫米波雷达坐标系下的采集目标坐标通过坐标系转换到摄像机对应的像素坐标系下实现多传感器的空间同步。图4显示了各坐标系之间的转换关系。

图4 各坐标系之间的转换关系

3.2 传感器时间融合

在进行多源传感器融合时，还需要保证每个传感器输出的数据是在同一时刻获得的，即需要保障采集数据的同步性，从而保障信息融合结果的准确性。由于不同类型传感器的采样频率存在差异，对采集数据进行后处理的时间也不相同，通过对毫米波雷达传感器和视觉传感器采集数据在同步性上进行统一，以保证多传感器之间检测数据在融合处理时的时间同步性。

为了方便后续进行数据的时间同步，文中使用的视觉传感器的图像采集频率设置为40 Hz，毫米波雷达的采集频率设置为20 Hz。由于视觉传感器采集图像的采样频率较高，将以毫米波雷达的采集频率设置为基准，对视觉传感器采集的图像进行抽帧，将对应时刻的视觉传感器数据与雷达传感器数据进行融合处理。多传感器时间同步采集时刻如图5所示。

图5 多传感器时间同步采集时刻

3.3 车辆目标信息融合

通过将不同传感器坐标系的测量值转换到同一个坐标系中，可将毫米波雷达传感器检测到的车辆交通目标在图像坐标系上进行投影转换，在视觉传感器检测的相应区域进行投影。考虑到车辆目标在世界坐标系中的空间尺寸，将毫米波雷达检测到的交通目标位置为中心，将矩形框基于距离和空间透视变换原理投影到视觉图像上。采用视觉目标检测算法对感兴趣区域进行检测，检测到有效交通目标和矩形检测框。取所有矩形包围框的最外围轮廓边线，并进一步放大10%后将形成新的最大矩形[5]。

如图6所示，图中白色矩形为对应的视觉目标检测框。图中白色矩形为毫米波雷达转换到图像显示坐标系的目标检测框。白色虚线矩形区域为传感器融合后的目标检测框。

图6 基于视觉和毫米波雷达传感器的车辆目标信息融合示意图

4 系统组成与应用

4.1 系统结构与功能

融合毫米波雷达与机器视觉技术的隧道车辆目标检测系统的构成主要包括4部分：融合毫米波雷达和视觉传感的前端传感器、通信数据传输系统、运行服务器和事件检测功能平台。在隧道内安装融合毫米波雷达和视觉传感的前端传感器，按照隧道内原有监控摄像机的安装位置，间隔150 m进行安装。前端采集单元的数据信号利用远程光端机通过光纤传输至就近的网络交换机。系统架构如图7所示。

图7 融合视觉和毫米波雷达信息的隧道车辆目标检测系统结构

系统通过采集前端采集单元的视频通道数据，以组播码流传输方式将实时图像传送给检测主机；检测主机对数字化图像进行预处理和特征提取；通过与毫米波雷达传感器的采集事件进行融合，结合目标检测算法进行事件检测，再通过服务器数据库来保存交通流数据和异常事件结果；可以在客户端功能界面对需要查询的交通流数据、交通事件信息进行查看和导出[6]。

4.2 隧道车辆目标检测与预警算法

系统能根据基于信息融合的车辆目标检测器识别车辆状态，自动检测各类异常事件类型，包括：隧道车辆停驶、车辆逆行、交通事故等。系统可在检测到异常事件后，通过数据后台向隧道监控人员发布预警信息。为便于监控人员查看，可自动将事件所在位置附近的摄像机图像投射到监视墙上显示。

为便于管理人员调查事件和交通事故，系统可设置保存时段自动对事件前后的视频数据进行储存。系统根据部署的隧道情况，可进行个性化的功能配置，对于部署的前端采集单元，可对检测阈值、检测事件类型、检测区域等参数进行设置，以便更准确高效地完成对事件的采集。

4.3 系统的统计与查询功能

通过前端采集单元，系统平台可利用后台服务器数据库对交通事件信息进行存储。系统管理人员可通过数据管理平台对事件进行自定义查询，了解经常发生的事故类型和时间规律。数据管理平台可利用数据库管理功能，灵活地定义各类型统计报表和交通日志，并按照日常管理需要，导出相关的报表和报告。

5 结语

本文研究了融合毫米波雷达与机器视觉的新一代隧道车辆目标检测技术，通过系统的信息交互和处理，实现对多源传感单元数据的动态融合感知、对车辆交通事件的智能管控和智能预警信息发布。通过在隧道内部署融合毫米波雷达与机器视觉的传感器，将车辆目标检测信息传输给运算服务器进行融合分析，检测隧道内风险事件，为隧道监控人员进行事件综合判断提供依据，在保障隧道交通安全运营方面发挥重要作用。