利用双回波的固态激光雷达与相机外参标定方法

冯 欣,李 杰,余崇圣,钱基业,何 颖,3

(1.重庆理工大学 计算机与工程学院, 重庆 400054;2.中国科学院 重庆绿色智能技术研究院, 重庆 400714;3.重庆知至科技有限公司, 重庆 400025;4.国网重庆市电力公司电力科学研究院, 重庆 400014)

0 引言

目前,激光雷达被广泛应用在自动驾驶、目标检测、三维重建等热门领域[1-7]。其中,激光雷达按照扫描模式的不同可以分为固态激光雷达与机械激光雷达。与机械激光雷达相比,固态激光雷达因非重复性扫描方式可以获取稠密点云,并且具备成本低、尺寸小等优势[8],而成为当前激光雷达应用的研究热点。固态激光雷达能够获取当前空间中高精度的三维点云信息,抗干扰性强[9],但不能提供色彩纹理信息;相机能提供高分辨率的色彩信息[10],但抗干扰性弱。固态激光雷达和相机具有很强的互补性,将两者的信息进行融合,可以获取更加丰富的信息[11-12]。为了融合两者的信息,需要通过外参标定获取两者坐标系之间精确的外参。其中,外参由旋转矩阵和平移向量组成。

外参标定方法分为无目标和基于目标2种。其中,无目标的方法不需要指定的标定物,而是通过获取自然场景下的几何特征进行外参标定。Pandey等[13]通过最大化三维点反射强度与其图像投影点灰度值之间的互信息建立目标函数,使用Barzilai-Borwein算法求解外参。Zhu等[14]通过提取点云的反射强度图和深度图中的边缘,与图像的灰度图中边缘匹配,通过ICP(iterative closest point)求解最佳外参。Gong等[15]利用自然场景下的三面体特征进行外参标定。Yuan等[16]分析了激光的发散角对于边缘特征提取的影响,提出了一种获取连续边缘的方法,通过连续边缘特征构建约束方程求解外参。由于自然场景差异巨大,平面和边缘等特征的质量难以控制,导致无目标的外参标定方法的精度难以保证。

基于目标的外参标定方法是提取一些指定标定物的特征进行外参标定。这些标定物往往是制作精度高并且具有明显几何特征的物体,例如棋盘格标定板、三角板、圆球等。Park等[17]从点云中检测三角板三维顶点,与图像中手动选取的三角板二维顶点匹配,通过PnP(perspective-n-point)方法求解外参。Zhou等[18]利用平面与边缘直线的对应关系构建约束方程求解外参。Cui等[8]提出一种基于点云反射强度与棋盘格颜色相关性的棋盘格角点提取算法,通过棋盘格角点构建约束方程求解外参。Huang等[19]提出一种通过标定板平面点云估计标定板顶点的方法,利用标定板顶点优化求解外参。Beltrán等[20]自制了带有4个圆洞的标定板,通过提取深度不连续点获取圆洞点云,然后拟合出点云中4个圆洞的圆心,与图像中圆心匹配求解外参。Xu等[21]通过RANSAC(random sample consensus)方法拟合三角板平面和边缘特征,以获取三角板的角点特征,通过角点优化求解外参。由于标定板的制作精度高且易于提取特征,因此与无目标方法相比,基于目标的标定方法精度更高。

从上述方法可以看出,从点云中提取准确特征是外参标定的关键步骤。固态激光雷达的点云存在噪声,这种现象在边缘处尤为明显。虽然将固态激光雷达获取的多帧点云进行叠加可以获取稠密点云,但也造成了噪声的叠加。上述问题会影响点云特征的提取,降低外参标定结果的准确度,因此提出了一种利用双回波的固态激光雷达与相机外参标定方法。首先,通过双回波去除含噪声的边缘点云;然后,从剩余的内点云中提取与标定板黑格尺寸一致的3D角点;最后,从图像中提取2D角点,通过PnP算法优化求解外参矩阵。

1 基于双回波的含噪声边缘提取算法

1.1 双回波的产生

激光雷达朝周围物体发射激光,接收从物体返回的激光,通过激光的往返时间计算物体的距离产生点云。从物体返回的激光称为回波,如图1所示。

图1 固态激光雷达通过接收回波产生点云

正常情况下,一根激光只会产生一个回波。但是,若激光在前景边缘就会产生双回波。由于激光具有发散角,因此导致激光打在物体上是一个面,并且激光飞行距离越大,这个面也会越大,如图2所示。当激光打在在前景边缘时,激光会被边缘分割为两个部分,一部分打在前景边缘,另一部分会继续前进打在背景上,此时就会出现一根激光产生双回波的现象。

图2 双回波和膨胀点的产生

1.2 边缘点云噪声

固态激光雷达获取的点云在边缘处存在大量边缘噪声。文献[16]指出边缘噪声可以分为两类,分别是连续噪声点(B)和膨胀噪声点(A),如图3所示。连续噪声点是一连串连接前景与背景的连续点,由激光雷达本身的测量误差引起。膨胀噪声点是超出物体真实范围的点,由激光雷达对于双回波的处理方式引起。单回波模式是大多数激光雷达默认的回波处理模式[22]。单回波模式对于双回波的处理方式是接收双回波中反射强度最大的回波。如图2所示,激光打在前景边缘产生了双回波,并且激光的中心线落在背景上。若前景边缘回波的反射强度大于背景回波的反射强度,则单回波模式会接收前景边缘回波,丢弃背景回波。由于激光雷达以激光中心线为基准产生点云[16],因此在这种情况下前景边缘回波产生的点并不存在于前景内,是一个边缘膨胀点。

图3 2种边缘点云噪声

1.3 基于双回波的含噪声边缘提取算法

边缘点云噪声会对点云特征提取造成影响,导致外参标定精度的降低,因此必须对边缘点云噪声进行处理。激光雷达的单回波模式无法对双回波进行准确处理,而激光雷达的双回波模式可以接收双回波[22]。如图4所示,当激光束落在前景边缘产生双回波时,前景边缘点一定比背景点距离激光雷达更近,所以选择使用双回波模式接收双回波,提出一种基于双回波的含噪声边缘提取算法,算法流程如下:

1) 初始化含噪声的边缘点云E为空集。

2) 接收双回波,定义产生的2个三维点为p1和p2,分别来自前景边缘与背景。

4) 重复步骤3),直至接收完所有双回波,最终输出含噪声的边缘点云E。

图4 基于双回波的含噪声边缘提取算法示意图

由于产生边缘噪声的前提是激光落在边缘,那么肯定会产生双回波,因此该算法提取的边缘点云包含了边缘噪声。

2 利用双回波的外参标定方法

为了避免边缘点云噪声对外参标定的影响,提出一种利用双回波的固态激光雷达与相机外参标定方法,流程如图5所示。

图5 利用双回波的外参标定流程图

2.1 基于内点云的角点特征提取方法

2.1.1获取内点云

使用1块玻璃矩形板作为标定板,如图6(a)所示。在标定板上有若干个黑色方格,由于玻璃的透光性,激光雷达只会接收到黑格点云,如图6(b)所示。为了获取稠密的标定板点云,需要将多帧点云进行叠加。在叠加过程中,边缘噪声也会被叠加,如图6(c)所示。为了避免边缘噪声对点云特征提取的影响,利用双回波提取含噪声的边缘点云,如图6(d)所示,然后将含噪声的边缘点云E从标定板点云中剔除。定义剩余点云为内点云P,结果如图6(e)所示。虽然内点云P不存在边缘噪声,但是由于激光雷达本身存在测量误差,导致内点云P中的三维点不处在同一平面,如图6(f)所示。

图6 利用双回波提取内点云

对内点云P使用RANSAC(random sample consensus)方法拟合平面,然后将内点云P投影至同一平面,有:

P={[kxp,kyp,kzp]|[xp,yp,zp]∈P}

(1)

其中,(A,B,C,D)是RANSAC方法拟合出的平面,参数k定义为:

k=-D/(Axp+Byp+Czp)

(2)

2.1.2提取点云中角点特征

如图7所示,在激光雷达坐标系下构建1个与真实标定板尺寸大小一致的虚拟标定板S,表示虚拟标定板每个黑格的中心点集。S的定义式为:

(3)

(4)

图7 基于内点云的角点提取方法示意图

(5)

最小化代价函数C:

(6)

(7)

式中:N为角点个数,取20。

2.2 提取图像中角点特征

图8 提取图像中角点

2.3 外参求解

(8)

(9)

3 实验

3.1 实验系统搭建与参数配置

使用Livox Avia固态激光雷达和海康单目相机(MV-CA013-A0GC)进行外参标定实验,如图9(a)所示。传感器具体参数如表1和表2所示。采用的标定板是1块矩形玻璃,玻璃上有15个边长为6 cm的黑色方格,如图9(b)所示。

图9 实验设置

表1 固态激光雷达参数

表2 相机参数

3.2 实验结果与分析

将标定板放置在当前空间中的固定位置,然后移动传感器获取7组不同位姿下叠加了100帧的点云与1张图像数据。为了验证双回波的去噪效果,将7组标定板平面点云投影至激光雷达坐标系的yoz平面,统计利用双回波去除含噪声前后x轴方向的标定板平面点云最大厚度以及标准差,结果如图10所示。利用双回波去除边缘噪声后,标定板平面点云最大厚度和标准差皆有一定程度的降低,展现了利用双回波去噪的效果。

为验证不同外参标定方法的数据融合效果,进行以下实验。首先,从7组不同位姿下的数据中选取2～5组数据,分别使用所提方法与基于标定板点云标定方法[19]计算外参。然后,使用传感器录制1组含标定板的点云与图像作为数据融合实验的验证数据。在计算出外参后,将验证数据的内点云投影至图像上,结果如图11所示。其中红色点云是所提方法的投影结果,绿色点云是基于标定板点云标定方法的投影结果。可以看出随着位姿数的增加,2种方法的数据融合效果会越来越好。由于是将内点云进行投影的,因此最佳投影结果是内点云处于标定板黑格的中心部分。另外,所提方法的投影点云比基于标定板平面点云标定方法的投影点云更接近黑格中心,体现出所提方法具有更好的数据融合效果。

角点重投影误差可以评估外参标定精度[19],角点重投影误差越低,代表外参标定精度越高,因此以角点重投影误差为评估指标,将所提方法与基于标定板点云的标定方法[19]进行对比实验。实验方式与文献[19]相同,采用交叉验证的方式。将7组不同位姿数据定义为S1至S7,从S1至S7中选取若干组数据进行外参标定,然后将外参结果应用在全部7组数据中计算角点重投影误差。由于交叉验证的实验结果较多,表3仅展示了部分实验结果,其中GL表示基于标定板点云的标定方法。

图10 去噪实验结果

图11 数据融合结果图

表3 部分重投影误差结果

续表(表3)

交叉验证的最终结果如图12所示。从重投影误差对比结果可以看出,在任意位姿数下,所提方法的重投影误差低于基于标定板点云的标定方法。

图12 重投影误差最终结果

为了更直观地展示所提方法的外参标定的效果,进行点云投影和点云着色实验,结果如图13所示。点云投影是通过所提方法计算出的最佳外参将点云投影至图像,点云着色则是将图像投影至点云中。

图13 数据融合结果

4 结论

由于固态激光雷达的点云误差较大并且噪声多,导致固态激光雷达与相机的外参标定精度降低,因此提出了一种利用双回波的固态激光雷达与相机外参标定方法。利用双回波去除边缘噪声,通过剩余的内点云提取准确的角点特征,最终由PnP算法求解出最优外参。实验结果表明,与同类方法相比,所提方法得到的外参具有更好的数据融合效果,并且平均重投影误差更低,外参标定结果精度更高。