面向停车场场景的多传感器融合匹配算法与融合数据的并行处理

宝鹤鹏，陈超，王磊

（中汽数据（天津）有限公司，天津300380）

0 引言

可大规模量产的自动泊车是当今无人驾驶领域重要的商业落地项目。其中基于停车场场景数据采集相关的测试与场景的累积工作是实现自动泊车量产的重要工作之一。对自动驾驶本身而言，传感器，控制器和执行器从功能安全角度考虑都有着极高的要求。如果略过数据采集，场景的累积（尤其是极端工况场景的累积）这些必备的工作阶段，会造成不可预知的危险的严重后果。

对于停车场自动泊车而言，我们采集的数据主要包括了三种大类的典型的停车场场景，包括：写字楼地下停车场场景，工业园区地上停车场场景，公共场所地上停车场场景，采集的原始数据既囊括了无人、低速、车流少的简单工况，又涵盖了人多、高速、车流大的复杂交通环境。具体的场景分类与定义可参考4.3小节。

从数据采集硬件平台系统搭建，到数据处理融合匹配算法编写，以及数据采集过程，至最后场景提取的数据分析过程，本文都给出了详细的处理过程和技术细节描述。这种从硬件平台搭建到软件算法开发，再到大数据处理分析过程，整个技术流程工具链，无论是采集何种数据类型（自动驾驶类数据、高级辅助类驾驶数据），应对何种工况场景（地下停车场、高速公路），为何种自动驾驶功能（自动泊车、智能物流）累积场景数据，都有很强的借鉴意义，科研价值和商业落地前景。

图1 公共场所地上停车场、写字楼地下停车场实景图

1 采集硬件平台的搭建

我们所使用的传感器硬件平台采集方案，主要依托于视觉摄像头传感器系统和毫米波雷达探测系统。这种传感器组合平台系统的优势在于：既利用了摄像头系统对周围障碍物分类识别的能力，对行人的探测能力，对车道线的检测能力，又融合了毫米波雷达远距离探测障碍物的能力，高精度距离、方位角、速度的检测能力。

表1 摄像头、毫米波雷达各自探测优势比较和融合结果

同时，基于摄像头和毫米波雷达的自动泊车数据采集平台方案，成本相对低廉，是直接面向量产级别的硬件解决方案。目前自动驾驶平台必备的激光雷达传感器，动辄数十万的成本价格，不适用于自动泊车数据采集阶段的硬件配置清单。

表2数据采集系统主流传感器价格比较

传感器平台主要架构如图2，整体架构共包含下列四个子系统，四个子系统的布局如图2所示。

表3 传感器四个子系统功能表

图2 数据采集平台传感器安装示意图

（1）前向视觉+毫米波雷达融合系统

①传感器个数与种类：一枚ARS408毫米波雷达，一枚网口级别的摄像头

②前向传感器融合系统探测范围整体布局：

图3 前向视觉+RADAR系统探测范围示意图

③前向融合传感器系统安装位置：

表4前向融合系统车辆安装具体位置

图4 ARS408毫米波雷达安装位置实景图

1.2 环视鱼眼摄像头监测系统

①传感器个数与种类：4枚鱼眼摄像头，水平视角范围接近180°

②环视摄像头整体布局：

图5鱼眼摄像头系统安装布局示意图

③环视摄像头探测范围：

图6鱼眼摄像头系统探测范围示意图

④环视摄像头系统安装位置：

表5环视系统车辆安装具体位置

图7前向后向环视摄像头安装位置实景图

1.3 侧向盲区摄像头监测系统

①传感器个数与种类：5枚网口级别摄像头；

②盲区监测摄像头整体布局：

图8盲区监测视觉系统安装布局示意图

③盲区监测摄像头探测范围：

图9盲区监测系统探测范围示意图

④盲区监测摄像头系统安装位置：

表6盲区监测系统安装具体位置

图1 0车辆左侧盲区摄像头安装位置实景图

2 硬件传感器平台的空间标定与时间标定

在传感器安装位置确定之后，进行数据采集之前，需要进行硬件系统的标定工作，这主要包括了：空间同步标定和时间同步标定。

2.1 采集平台传感器的空间标定

空间同步指的是，将车辆所有传感器测量得到的数据，统一到车辆同一个坐标系下（通常选取车辆后轴中心点地面投影作为全车基准坐标）。不同传感器对同一个物体测量得到的独立结果，经过坐标系转换后，形成统一致的结果。这涉及到各个坐标系之间的平移变换和旋转变换的问题。通常把传感器坐标系分为两大类。一类是局部坐标系，包括图像坐标系、雷达坐标系、里程计坐标系、本车坐标系等，一类是全局坐标系，例如世界坐标系、WGS-84经纬坐标系、UTM坐标系，用来描述车辆在世界坐标的绝对位置（GPS），或者表征车辆在高精地图上的位置与姿态。

采集平台涉及到的空间坐标系共包括以下六类：像素坐标系，像平面坐标系，相机坐标系，本车坐标系，毫米波雷达坐标系，以及全局坐标系；

摄像头传感器原始数据映射到本车坐标系的空间标定为例，（u,v）为像素坐标，Zc为景深，（X,Y,Z）为本车坐标，转换关系有如下公式：

非摄像头传感器的坐标系到本车坐标系的坐标平移旋转关系如下公式：

其中R为3×3的空间旋转矩阵，t为1×3的空间平移矩阵

以图像传感器为例，具体是利用标定板，标定得到焦点，焦距等内参参数，进行径向切向畸变校正。其中标定3×3矩阵中，内参个数和畸变参数分别为4个和5个。

图1 1摄像头标定板标定法

其他传感器标定的物理量如表：

表7采集平台传感器需要标定的参量

正确标定了各种传感器的空间位置关系，测量其中一种传感器相对于目标物的位置信息，能够得到本车相对于当前目标物的位置关系，图12为一个计算demo，目标物相对于毫米波雷达的位置为（1.0，2.0，0.0），平移旋转变换计算得到目标物相对于本车的位置关系为（1.1，2.0，0.2）。

图1 2毫米波雷达空间标定计算示例

2.2 采集平台传感器的时间标定

时间标志的统一也是多传感器数据采集系统重要的技术环节。不同种类的传感器数据采集系统，分别对环境进行独立的感知，通常情况下各个传感器的刷新频率不同，收集的环境数据也并不在同一个时间点。除了对空间坐标系进行精确的标定之外，各个设备之间也要进行时间的同步。

表8主流感知传感器的刷新频率值

时间同步通常有三种方式：

①不同传感器都具有自己独立的时钟，在数据融合的过程当中，以低频率的传感器为基准，搜索其每一帧的时间戳在高频传感器中最近时间戳的数据帧，进行时间融合；

②采用GPS的时间戳作为其他传感器的时间标准，对其他低频传感器授时，如果被授时的传感器和GPS的采样点不在同一个时间点上，进行非同步时间的内插和外推；

③多个camera的传感器系统，可以使用同一个开关，进行曝光和采样时间点的同步。

3 前向毫米波雷达和摄像头的匹配融合问题

用于多目标动态匹配过程的算法主要包括以下四种：竞标算法、匈牙利算法、GNN算法和JPDA算法；我们主要利用了GNN（Global Nearest Neighbor Algorithm）算法进行了目标匹配：

从相对简单和相对复杂两种场景考虑目标匹配：

①对于多目标物体，相对距离较远，

像素坐标系下没有交叠区域（如图13），那么跟踪每一个bounding box，当有一个RADAR投影值落入矩形框时，我们即将此RADAR的投影值和此bouding box做匹配。

图1 3匹配融合对应的简单场景

②对于障碍物密集区域，不同bounding box之间会有重叠，同一个boundingbox区域会落入多个毫米波雷达的投影点，如图14，图15所示，B1，B2，B3表示三个bouding box的相对位置和大小，R1，R2，R3，R4表示毫米波雷达障碍物感知相对位置。

图1 4全局最近邻匹配图示

可以看到，其中毫米波雷达反馈点R1与摄像头感知框B1进行matching，毫米波雷达反馈点R2与摄像头感知框R2可以匹配，但是R3分别是B2，B3的候选，用GNN算法计算同一个毫米波雷达投影点与多矩形框的分配概率，取其中的分配概率最大值（即计算mahalanobis马氏距离的最小值），作为匹配结果：如果R3与B3的马氏距离最小，则R3与B3进行配对；如果R3与B2的马氏距离最小，再比较R3与R2的马氏距离，舍弃马氏距离大的点。对于那些未被匹配的RADAR投影点（R4），对其进行删除。

图1 5匹配融合对应的复杂场景

匹配后的结果，通过非线性卡尔曼滤波的方式对毫米波雷达和摄像头的距离，速度结果进行融合输出。

多传感器匹配融合过程中仍需解决的问题总结如下：

表9匹配算法仍需要解决的问题

4 原始数据的采集输出与场景标注

基于视觉传感器和毫米波雷达低成本采集平台方案，我们将采集到的数据分为两类，总结如下。

4.1 本车原始数据信息

本车原始数据共包含38个字段信息，其中主要的数据总结如表10。

表1 0本车主要原始数据

4.2 目标障碍物原始数据信息

目标车原始数据共包含16个字段信息，其中主要的数据总结如表11。

表1 1目标车主要输出得到的原始数据

4.3 场景标注信息

基于自动泊车场景，我们定义了停车场，场内场外两种区域，向下包括驶入停车场，泊车入位，驶出停车场等8个Phase，每种Phase向下又包含路口左转，场内直行等18个大类场景，同时，为每个大类场景下分为31类子场景，根据输出的原始采集视频数据，以及4.1,4.2描述的本车目标车的原始数据，我们对各种场景进行原始数据标注，场景划分逻辑结构如图16。

图1 6停车场场景划分逻辑结构图

5 基于原始与标注数据的大数据分析与提取

我们希望通过原始与标注数据，提取并计算包括重要障碍物ID信息、TTC、THW等29个字段，人工手动提取速度慢，我们利用Python编程实现对原始与标注数据的处理，对数以万计的原始数据表格实现了自动化批量处理，自动化生成功能，通过并行的提交作业，我们实现了对写字楼地下停车场，工业园区地上停车场，公共场所地上停车场三类典型的停车场区域，共计10天，360个小时，TB级的原始数据表格进行程序处理，所有数据可以在几个小时内全部完成。用Py⁃thon进行数据处理显示其在大数据数据处理的优越性和高效性，原始处理数据表格如图17所示。

图1 7 Python程序输入的原始数据列表

用Python进行数据处理显示其在大数据数据处理的优越性和高效性，Python代码如图18所示。

图1 8 Python程序代码片段示例

6 结语

本文所主要是面向自动泊车的自动驾驶功能，进行包括写字楼地下停车场，工业园区地上停车场，公共场所地上停车场三类典型的停车场区域的数据采集工作，基于采集的原始数据，生成相应的场景标注数据，并由原始数据，场景标注数据利用Python原代码，进行大数据处理，自动化批量生成目标字段表格。从第一步对于传感器设备的硬件安装标定，到第二步摄像头毫米波雷达软件算法开发，到第三步大数据批量处理代码编写，最后生成需求字段表格报告，整个流程工具链具有非常大的科研和商业价值，此工作也是面向上汽数据采集项目，对于其他的数据采集项目与工作，都有直观、直接的参考价值。