基于CARLA的仿真数据集生成框架研究

2023-12-22王宇唯黄宏成

传动技术 2023年4期

王宇唯黄宏成

(上海交通大学机械与动力工程学院,上海 200240)

1 仿真数据集研究现状

3D检测是自动驾驶技术的基础,随着技术的发展,3D检测也从最初的基于图像和基于点云的方法发展到了基于融合的方法[1］。但随着技术的快速发展,业界也对自动驾驶数据集提出的更高的要求,如要求激光雷达数据要有更高的线数,要求数据集包含多模态数据等。这时,传统多模态数据集时效性差、标注成本高、校准困难等问题就暴露出来,仿真数据集在进行算法快速迭代时成为了不二之选。

仿真数据集具有获取成本低、易获取极端场景、有较强的连续性等特征,已经有如SHIFT[2］这样的多尺度、多场景、多模态的连续性仿真数据集问世。大多数仿真数据集都是基于CARLA这样的仿真平台生成的,但这些平台都不重视点云的第四维度即点云反射率的值(点云的4维分别为x, y, z, intensity),往往通过一些简单的填充方式把一些与反射率无关的值填到第四维上,这在做3D检测算法时会白白损失掉一维重要的信息,在检测车牌、车辆表面、车道线等高反物体上是极其不利的。所以,本文基于BRDF反射率模型对CARLA的激光雷达模型进行了重建,使其可以生成具有较为准确反射率的点云,并利用该模型搭建了一个多模态仿真数据集的生成框架。

2 基于BRDF的激光雷达反射率模型

2.1 CARLA仿真平台及其激光雷达模型

CARLA是一个基于虚幻4引擎为了支持自动驾驶系统的开发、训练和验证而被开发出来的开源自动驾驶仿真平台。CARLA具有很高的灵活性,支持相机、激光雷达、深度相机等多种传感器,支持雨天、雪天、雾天、夜晚等复杂天气与光照情况,支持城镇、乡村、高速、居民区等多种场景,支持控制多个动态或静态交通参与者。同时,CARLA代码完全开源,具有很强的二次开发性,用户可自定义传感器、地图场景、车辆模型等,对自动驾驶感知、决策都能起到强大的赋能作用。

CARLA并未对激光雷达的反射率进行准确建模,其反射率公式为

I=e-ad

(1)

其中a为衰减系数,d为距离,衰减系数与激光波长以及空气有关,同一情况下为定值。不难看出,CARLA对激光雷达反射率的建模只与距离有关,距离越大,反射率越小,与被照射的物体的性质无关,这显然是不符合现实的,所以需要对激光雷达模型进行重建。

2.2 基于BRDF的反射率模型

BRDF(Bidirectional Reflectance Distribution Function)是一种常用在图形学算法中的用于描述光反射现象的基本模型。一般来说,物体对光的反射分为漫反射和镜面反射,对于一个物体,单个光源照射到物体上反射到观测点的辐射强度可以表示为式(2)。

(2)

则反射率可表示为

(3)

其中,Lo是出射的辐亮度,Li是入射的辐亮度,θi是入射角,kd是不发生镜面反射的比例,rd是漫反射的系数,ks是发生镜面反射的比例,rs是镜面反射的系数,他们之间存在以下关系:

(4)

进一步地,根据Cook-Torrance的BRDF模型[3］,反射过程的示意图如图1所示。

图1 BRDF反射过程示意图

其中,L为反射点指向光源的单位向量,N为反射点的法向单位向量,V为反射点指向观察点的单位向量,H为V和L的角平分线单位向量,R是遵循镜面反射的出射单位向量。

ks,kd,rs,rd,分别等于:

(5)

(6)

(7)

(8)

其中,F0为反射率,表达式如式(9)所示。

F0=0.04+(albedo-0.04)×metallic

(9)

(10)

a=roughness2

(11)

到现在,还只剩下albedo、metallic、roughness三个未知量,metallic和roughness容易理解,分别为金属度和粗糙度,为0～1之间的小数,albedo为物体的基础反射率,也为0～1之间的小数,同一物体对不同波长的光的基础反射率是不同的,在UE4引擎中,所有物体的基础反射率都为一个三维的矩阵,分别表示对RGB三个通道的光的基础反射率,由于激光雷达用的是近红外光,物体对激光的基础反射率与红光的近似,所以采用R通道的基础反射率作为物体对激光的基础反射率。通过CARLA的相机传感器接后处理获取到场景的金属度、粗糙度和基础反射率,把得到的属性图像传到client端,后处理的蓝图如下页图2所示。