汽车ACC毫米波雷达和视觉传感器目标级融合方法研究*

李宁，沈子鉴，娄素锋，李刚

汽车ACC毫米波雷达和视觉传感器目标级融合方法研究*

李宁1，沈子鉴1，娄素锋2，李刚1

（1.辽宁工业大学，辽宁 锦州 121001；2.辽宁省陆军预备役后勤保障旅，辽宁 锦州 121000）

自适应巡航控制系统是实现未来智能化汽车辅助驾驶的重要功能之一，以往该系统主要采用毫米波雷达感知周围环境，但是容易出现较多的误识别和漏识别情况。针对现存的问题，文章研究了自适应巡航感知系统，不同于以往单一雷达的方案，本设计采用毫米波雷达和视觉传感器融合的办法改善感知系统的性能。通过搭建电动车传感器数据采集系统，编写CAN通信报文解析程序，分析毫米波雷达和视觉传感器特性等，完成了对雷达和视觉信号的采集及处理，实现了感知系统目标级融合。并在巡航和跟车工况下进行离线仿真，验证了目标级融合方案能够有效地提高感知系统的准确性和合理性。

自适应巡航控制系统；毫米波雷达；视觉传感器；目标级融合

前言

自适应巡航控制系统[1-5]（Adaptive Cruise Control，ACC）是实现未来智能化汽车辅助驾驶的重要功能之一[6]，以往该系统主要采用毫米波雷达感知周围环境[7]，但是容易出现较多的误识别和漏识别情况。本设计针对这个问题，研究毫米波雷达和视觉传感器目标级融合的ACC感知系统，并将其应用于汽车的自适应巡航控制上，发挥视觉处理对目标类型和横向运动状态的识别优势，提高整个系统的准确率和合理性。

1 雷达信号的采集及处理

1.1 毫米波雷达数据解析

ARS传感器使用雷达辐射来探测其周围环境，通过CAN口与上位机进行数据通信来完成传输，处理反射信号以Cluster和Object的形式展示出来。Cluster反映了目标原始的位置、速度和信号强度等信息，每个周期都进行新的评估。而Object由Cluster聚类和跟踪后组成，反映了目标的历史轨迹和纬度。本设计使用雷达传感器处理好的目标数据信息，在MATLAB环境下使用m语言实现代码的编写。

1.2 毫米波雷达信息处理

首先对单独的毫米波雷达信号进行处理，经过对雷达CAN报文解析后，得到100个目标的运动状态信息。具体方法分为四个步骤：无目标通道处理；去除虚假目标；区域运动目标提取；主目标筛选。

1.2.1无目标通道处理

将空通道的纵向相对距离设定为200m，避免这类目标在后续处理中造成干扰。

1.2.2去除干扰目标

大部分虚假目标可以通过设定参数阈值过滤掉。如果雷达截面积Object_RCS和目标存在概率Obj_ProbOfExist满足表达式（1）的条件，则输出该目标的实际状态信息，否则认定为无效目标。

将雷达截面积阈值RCS Threshold取值为32，目标存在概率阈值Prob Threshold取值为5。其次对于护栏、路牌等对主目标的选取有很强干扰的目标，利用雷达截面积累加值的变化趋势进行分析，并且增大目标存在概率阈值，多个周期筛选来剔除部分干扰目标。具体表达式如式（2）所示，其中N为当前时刻，n取值为0、1、2，累计10个周期的雷达截面积值作为参数。

1.2.3区域运动目标提取

1.2.4主目标筛选

根据就近目标提取逻辑，选择距离本车纵向距离最近的车辆作为最终筛选出来的主目标。最后，根据选出来的纵向相对距离的ID，提取同一目标所对应的纵向速度和横向距离信息，以便与视觉信息的融合匹配。

2 视觉信号采集及处理

2.1 视觉传感器数据解析

本设计中传感器融合采用的是以毫米波雷达为基础，视觉传感器补充、优化为原则的方案，所以把视觉传感器按要求安装标定，提取其探测的目标类型和位置等信息。

大陆毫米波雷达更新周期为80ms左右，视觉传感器每80~90ms更新一次，同一时刻两传感器在时间上无法严格同步。因此编写解析程序时以车速为基准，对两个传感器进行时间上的对齐。

2.2 视觉传感器信息处理

视觉需要先进行目标识别，然后根据目标在图像中像素大小来估算目标的距离。使用视觉传感器的优点是成本低，可以识别不同的物体，在物体高度和宽度测量精度、车道线识别、行人识别准确度等方面有优势，但是作用距离和测量距离精度不如毫米波雷达，并且容易受到光照、天气等因素的影响。

视觉的目标处理归纳为以下两个步骤：

（1）无目标通道处理

纵向距离均为200m，所以取纵向距离最近的五个目标即可找出视觉传感器的输出结果。

（2）主要目标运动状态提取

首先将最近的目标提取出来后，将标志位传递给次近的目标提取模块，按照目标与本车的纵向距离由近及远地依次输出标志位，给下一个筛选模块，以免重复对一个目标做提取处理。

3 信息融合处理方案

由于ARS408雷达的波束只有水平方向左右扫描，没有在垂直方向扫描，所以不能识别目标的高度信息，只能识别目标在雷达水平方向的方位角。即使雷达可以测量目标高度但垂直视场角很小，也只能优化平直路面的虚警情况，但在路面有坡度或车辆颠簸时可能检测到井盖、高处的交通标志牌，且若上位机程序中简单将高处的目标当成交通标志牌忽略，可能会导致忽略的目标实际是上陡坡的车辆。所以，在雷达不能处理好的情况下，需要融合其他传感器和上位机程序的优化处理。因此，本设计中还需要融合摄像头等传感器去检测目标是车辆、行人，还是井盖、交通路牌、护栏等，进而得出不同处理结果。融合方案是必要的，并且其在系统可靠性、鲁棒性、可信度等方面都具有很大的优势。

目前，在智能驾驶场景下视觉和毫米波雷达的数据融合大致有三种策略：图像级融合、信号级融合、目标级融合。本设计采用的融合方案是毫米波雷达与视觉传感器目标级融合，对两个感知传感器输出的目标分别处理后，将各自处理后的目标再进行匹配融合。

根据行人优先原则，如果视觉传感器的关键主目标的标志位CIPV_Flag为1并且目标物体的类型Obstacle_type也为1时，目标类型是行人，则此时自适应巡航系统应停止驱动或者制动，等待驾驶员操作。如果驾驶员通过交互系统告知继续执行ACC控制，那么系统将会继续探测前方环境，决策接下来的巡航或是跟随控制。本设计采取的融合方案框图如图1所示。

图1 毫米波雷达与视觉传感器目标级融合方案框图

前方视觉传感器认为的关键主目标类型不是行人，则对毫米波雷达信号处理后的主目标运动状态与视觉传感器输出的五个目标逐一进行匹配。

两传感器输出的横向距离、纵向距离的差值范围不超过设定的阈值即认为有匹配目标。此时根据毫米波雷达筛选的主目标与视觉传感器选出的五个目标能够成功匹配的目标数量从无目标匹配到五个目标匹配六种情况。

（1）无目标匹配的情况。采取的方案首先判断视觉设备是否有关键主目标输出，即标志位CIPV_Flag是否为1，若是，则直接输出视觉主目标的运动状态信息，若不是，则输出毫米波雷达的处理后的状态信息。

（2）有一个目标匹配上的情况，输出两传感器的最优值，毫米波雷达的纵向距离和纵向速度，视觉传感器的横向距离。

（3）针对多目标成功匹配上的情况，将进一步计算横纵向距离测量误差最小的最终匹配的目标，并输出该目标的毫米波雷达的纵向距离和纵向速度，视觉传感器的横向距离。

4 感知信号处理实验验证

感知部分由毫米波雷达和视觉传感器组成，驾驶汽车分别模拟巡航工况和跟车工况，采集前方有车和无车行驶时感知传感器的数据。

4.1 巡航工况

在前方同车道内没有目标车时，带有自适应巡航控制功能的车设定自车期望行驶速度为80km/h，本车加速到设定车速的过程作为巡航工况进行分析。

图2中（a）、（b）、（c）分别为毫米波雷达、视觉传感器和融合后的纵向相对距离、横向相对距离，纵向相对速度随时间变化曲线。显然100个雷达目标和5个视觉目标的状态信息经过各自单独处理后均为200m，6m，0m/s2，而且感知融合程序处理后，最终筛选出的结果同样是无目标状态的信息，因此与实际巡航工况的目标状态一致，证明感知部分的处理结果是合理的。

4.2 跟车工况

跟车工况为前方较远处有目标车辆一以较快速度行驶，旁车道有目标车二逐渐切入本车道，并以更快的速度向前行驶，与自车纵向相对距离越来越远，行驶一段距离后目标车二减速，自车靠近前车的行驶过程。毫米波雷达在跟随前车的实际工况下探测100个目标的纵向相对距离随时间变化的曲线如图3所示。若干条轨迹比较光滑且连续的曲线，代表着实际目标的运动变化情况。

图3 毫米波雷达全目标纵向相对距离

视觉传感器设备输出探测到前方五个目标，通过无目标通道处理和输出目标提取两个步骤的处理，将五个目标挑选出来，如图4所示。

图4 视觉输出目标的纵向相对距离

图5 感知程序处理结果

经雷达和视觉单独处理和感知融合程序处理后的结果对比如图5所示。视觉主目标标志位如图6所示。

图6 视觉主目标标志位

5 结论

本文设计了能够采集到毫米波雷达和视觉传感器信号的采集系统，完成了传感器处理信息的提取，实现了两传感器目标级融合。针对感知系统的融合方案，采集了巡航和跟车两种实验工况数据。实验证明：感知系统的融合方案改善了单一传感器误检和漏检的情况，具有合理性和准确性。

[1] 李刚,崔昕旭,宗长富,等.四轮轮毂电机电动车自适应巡航控制[J].科学技术与工程, 2017,17(30):86-91.

[2] 赵伟杰.基于智能网联汽车高级辅助驾驶系统技术的分析[C].四川:四川省汽车工程学会会议论文集,2020:232-235.

[3] 陈康.面向车联网的协同自适应巡航控制研究[D].广州:华南理工大学硕士学位论文,2017.

[4] 高振海,严伟,李红建.汽车自适应巡航线性参变间距控制算法[J]. 吉林大学学报, 2016,46(4):1023-1029.

[5] 高振海,严伟,李红建.基于模拟驾驶员多目标决策的汽车自适应巡航控制算法[J].汽车工程, 2015(6): 667-673.

[6] 谭学治,韩艺.动态背景下运动车辆的检测与跟踪研究[J].移动通信, 2015, 39(11):80-85.

[7] Guiru Liu,Mingzheng Zhou, Lulin Wang, et al. A blind spot detection and warning system based on millimeter wave radar for driver assis -tance[J].Optik-International Journal for Light and Electron Optics, 2017:353-365.

Research on Target Level Fusion Scheme for Automotive ACC Based on Millimeter-wave Radar and Visual Sensor*

Li Ning1, Shen Zijian1, Lou Sufeng2, Li Gang1

( 1.Liaoning University of Technology, Liaoning Jinzhou 121001; 2.Liaoning Army Reserve Logistics Support Brigade, Liaoning Jinzhou 121000 )

The adaptive cruise control system is one of the important functions to realize the intelligent vehicle driving in the future. In the past, the system mainly used millimeter wave radar to sense the surrounding environment, but it is easy to appear more false identification and missing identification.Aiming at the existing problems, the adaptive cruise sensing system is studied in this paper, which is different from the previous single radar scheme. In this design, millimeter wave radar and visual sensor fusion are used to improve the performance of the sensing system. By building the sensor data acquisition system of electric vehicle, writing the CAN communication message analysis program, analyzing the characteristics of millimeter wave radar and visual sensor, the acquisition and processing of radar and visual signal are completed, the target level fusion of the perception system is realized. Under cruise and car-following conditions, the off-line simulation is carried out, which proves that the target level fusion scheme effectively improves the accuracy and rationality of the perception system.

Adaptive cruise control system; Millimeter-wave radar; Visual sensor; Target level fusion

10.16638/j.cnki.1671-7988.2021.07.007

U469.5

B

1671-7988(2021)07-19-04

U469.5

B

1671-7988(2021)07-19-04

李宁（1979-），女，硕士，讲师，就职于辽宁工业大学，研究方向：智能网联汽车。

国家自然基金项目（51675257）。