基于多传感器数据融合的摄像头数据预处理研究

沈平，杨国平

（201620 上海 上海工程技术大学 机械与汽车工程学院）

0 引言

汽车新技术的快速发展逐渐改变着人们的生活方式。汽车技术不仅加快了不同地区人们的交流，而且促进了不同地区的互利共赢[1]。智能辅助驾驶系统（Advanced Driver Assistance System，ADAS）是智能汽车主动安全的重要组成部分，传感器则是实现 ADAS 感知的基石，直接影响智能驾驶车辆（Intelligent driving vehicle，IDV）的决策和控制。不同的传感器采集周围环境信息各有优势与不足。如Camera 可以获取较丰富的信息量，包括目标的种类、目标物与本车的相对距离、车道线等信息，但Camera 容易受到光照条件和天气等环境因素的影响而导致识别目标信息不精确；特别是安装在主车的 CalmCar 摄像头，由于自身参数特性和主车在行驶中的颠簸抖动，识别结果会出现空目标和虚假目标现象。为解决这一问题，MAHLISCHL[2]等人提出基于时空对齐理论，搭建时空对准视觉和多波束激光雷达测量的传感器融合系统，同时进行短程-远程 Radar 和Camera 数据的校准；LAGHMARAA[3]等人基于 Camera 和 Radar 建立数据关联模型，以Radar 数据为参考修正Camera 数据；孙青[4]等人提出了基于 Radar 的障碍物检测算法，在传统 SSD 算法基础上改进识别算法，添加反卷积网络层，提高识别目标的精度，通过建立各坐标系的转换关系最终验证了该算法的有效性。

为了提高Camera 数据的精度，本文对于Camera 采用改进的 GNN 数据关联的方法，根据实时的需求动态调整关联阈值，提高 Camera 采集数据与实际目标匹配精度。

1 有效目标初选

将CalmCar 采集的前方目标与主车的相对距离（S）、车速（V）和加速度（a）进行数据分析，通过多个周期跟踪判断，得出结论：假如CalmCar采集的S、V 和a 的最值没有发生变化，可以断定采集的目标为噪声信息，即为虚假目标。图1 所示为摄像头初选采集前方目标信息显示图。

图1 摄像头识别信号图Fig.1 Camera acquisition signal diagram

如图2 所示为摄像头Camera 在15 s 内识别周围目标物ID 与主车相对距离曲线图，图2 中的曲线代表不同目标物ID 信息，纵坐标是主车与识别目标的相对距离。因为没有经过预处理，所以图2中存在如左上角直线所表示的虚假目标信息。

图2 视觉识别前方目标物实时距离图Fig.2 Visually collecting real-time distance map of front target

2 数据关联

2.1 全局最邻近（GNN）数据关联

经过有效目标的初选后，剔除部分虚假目标等干扰信息，仍会出现Camera 检测的数据与实际目标无法一一对应的情况，本文采用目标数据关联的方法解决此问题。数据关联是将某一时刻传感器识别的多目标信息与实际目标信息相匹配的过程。

目前常用的多目标数据跟踪算法主要有最近邻（NN）方法、全局最近邻（GNN）、概率数据关联（PDA）和联合概率数据关联（JPDA），考虑到计算复杂度和设备性能，本文采用改进的GNN 方法。GNN 的一个关键步骤是生成代价矩阵。计算公式为

式中：εij（k+1）——第i 次采集数据的关联与第j次实际测量产生的新数据；——第i 条关联的预测状态估计值；Zj（k+1）——第i 次采集数据的实际测量值；Sij（k+1）——εij（k+1）的协方差；cost（i，j）——第i 次关联与第j 次实际测量代价函数。代价矩阵如表1 所示。

表1 代价函数检测表Tab.1 Cost function detection

在 k 时刻有3 个有效目标跟踪值，3 个真实测量值，此时代价矩阵为 3×3 矩阵。将数据关联的问题转换为数值分配问题，其中匈牙利算法是一种求解分配问题的组合优化算法。与此同时，在代价矩阵中需要考虑关联阈值，表达式如下：

表2 是代价函数检测表，INF 为变量的最大值，表示传感器探测到的 3、4 和5 数值没有被目标跟踪。

表2 代价函数检测表Tab.2 Cost function detection

2.2 关联阈值的确定

关联阈值决定Camera 识别数据与实际目标匹配精度。在整个过程中关联阈值不能为固定值，需要实时调整。如图3 所示，设定阈值关联阈值为3σ。关联阈值主要由两部分组成，一个是置信区间即符合正态分布的方差σ，另一个为方差的权重系数。根据实时的需求动态调整关联阈值，不仅可以调整置信区间σ，还可以调整σ的权重系数。由于权重系数是一个与置信区间有关的值，因此权重系数的选择需要在确定置信区间后进行实时的设定。在多传感器数据融合过程中，可以根据不同类型传感器各自的特点分别进行不同的置信区间的设定，并且要使用相同的权重系数[5-7]。

图3 关联阈值设定区间分布图Fig.3 Correlation threshold setting interval distribution chart

在目标跟踪的过程中，Sij（k+1）主要取决于H、Pi（k+1│k）和Rj（k+1），在传感器融合策略中，主要运用了集中式融合策略，在融合中心进行不同传感器识别数据的处理。假设经过融合处理后的被预测的轨迹是正确的，表明在上述表达式中特性的轨迹Pi（k+1│k）是正确的。当建立测量方程相等时，即H相等，只需要改变测量噪声Rj（k+1）即可以实现对Sij（k+1）的调节。

3 虚拟仿真与实车验证

3.1 Prescan 与Simulink 联合仿真

采用Prescan 与Simulink 联合仿真平台进行仿真验证，选择合适的摄像头传感器和参数配置。然后进行道路环境的构建及布局，尽量符合实际项目中环境要素。同时，构建一些典型工况通过3D 视图对仿真结果进行显示和评价分析。

场景创建时，利用仿真软件中道路和基础设施模块、车辆模块和行人模块，添加天气设置创建交通场景，模拟真实道路，进行直道和弯道结合的工况的虚拟仿真验证。图4 为在Prescan 仿真软件场景下构建的示意图。

图4 Prescan 场景创建示意图Fig.4 Prescan scene creation diagram

图5（a）为视觉初选目标的曲线图。可以分析得出，在没经过数据预处理的状况下，摄像头探测的目标信息与实际的目标信息探测值不一致，无法保证通过摄像头采集的每一个目标信息都与实际目标信息保持一致。图5（b）为经过目标关联后的摄像头感知目标信息。分析图5（b）曲线，可以从原始目标序列中筛选出5 个有效目标。仿真对比验证后，得出结论：关联后的目标信息可以保证视觉探测目标与实际目标相一致。

图5 摄像头目标预处理图Fig.5 Camera target preprocessing image

3.2 实车验证

采用之前有效目标初选后的数据，利用改进的 GNN 数据关联的方法，根据实时的需求动态调整关联阈值，进行优化Camera 的数据，得到如图6 所示的优化后的数据。

图6 目标数据关联后识别有效目标距离曲线Fig.6 Identifying the effective target distance curve after target data associated

从图6 中分析得出，在主车保持以一定速度匀速行驶的条件下，经过预处理后仅存在4 个有效目标物ID 信息，其中有效目标1 在3.7～5.8 s时间段存在目标丢失的情形；有效目标2 在行驶过程中与主车的相对距离从23 m 增长到44 m；有效目3 在行驶过程中与主车的相对距离从10.3 m 增长到39.0 m；有效目标4 在行驶过程中有减速的行为，与主车的相对距离在16.5～24.0 m 之间。从实际识别目标运动状态与数据曲线可知，经过数据关联后的Camera 可以剔除不可信的虚假目标信息。

4 结论

本文主要研究Camera 原始信号的预处理。对于Camera 采用改进的GNN 数据关联的方法，根据实时的需求动态调整关联阈值，提高Camera 采集数据与实际目标匹配精度。试验验证结果表明：通过对Camera 原始信号的预处理，可以筛选更加精确的有效目标，剔除了不可信的干扰信号。为后续数据融合提供了更加可靠的Camera 数据。