智能车辆中摄像机和激光雷达联合标定技术

郭小兰

摘要：传感器标定是环境识别的基础，多传感器融合技术已经广泛应用在智能汽车环境感知领域。通过建立合理的激光雷达坐标系与摄像机坐标系，利用激光雷达扫描点与摄像机图像的空间约束关系，可求解两坐标系的空间变换关系，从而完成激光雷达与摄像机的空间对淮。同时，采用GPS授时的方法和双缓存当前数据的方法实现传感器间的时间同步。

关键词：智能车辆，摄像机，激光雷达，联合标定

【中图分类号】G718.5

【文献标识码】B

【文章编号】2236-1879（2018）13-0180-01

通过提取标定物在单线激光雷达和图像上的对应特征点来进行摄像机外部参数的标定，从而完成单线激光雷达坐标、摄像机坐标、图像像素坐标等多个传感器坐标的统一，实现激光雷达与摄像机的空间对准。

1.空间上的数据融合

在实际应用中.激光雷达与汽车为刚性连接，两者间的相对姿态和位移固定不变，因此由激光雷达扫描获得的数据点，在环境坐标系中有唯一的位置坐标与之对应。同理，摄像机与汽车也为刚性连接，两者间的相对姿态与位移同样固定不变，针对三维空间的每一个点，同样只存在唯一的一个图像像素与之对应。故而，在同一空间内，每个激光雷达的扫描数据点都在图像空间中存在唯一的一个对应点。

因此，通过建立合理的激光雷达坐标系与摄像机坐标系，利用激光雷达扫描点与摄像机图像的空间约束关系，即可求解两坐标系的空间变换关系，从而完成激光雷达与摄像机的空间对淮，实现激光雷达数据与可见光图像的关联。在此，激光雷达与摄像机的空间对准问题就转变为在给定雷达图像对应点的情况下的函数拟合问题。

摄像机的外部参数通过约束方程求解后，激光雷达、摄像机、图像和相对环境坐标系的相对关系就完全确定，因此激光雷达扫描点可以通过摄像机模型投影至图像像素坐标系上。其像素级数据融合可由下面的方程完成：

当摄像机与激光雷达同时观测点P时.其在摄像机自身环境坐标系中的坐标为，在可见光图像中投影点的坐标为在雷达自身世界坐标中的坐标为。由于摄像机与激光雷达使用了同一个环境坐标系，则有

其中，H为激光雷达的安装高度。

由式（1）和式（2）联立，可得：

对式（3）進行变换可得：

其中由激光雷达的外参标定和摄像机的内参标定可获得与将式（4）展开，如式（5）所示：

由式（5）可知，该方程中有12个未知量。因此，只要特征点不在激光扫描面的同一直线上，方程要得到唯一解，理论上至少需要4组雷达图像对应点对才能得到结果。为了提高精度，使对应点对的数量n>4，此时问题转变为过约束问题，可以利用线性最小二乘法得到最优解。

综上所述，只需要提取足够多的图像雷达对应点对，通过求解线性方程即可获得相关的坐标旋转矩阵和坐标平移矩阵，进而可得到激光雷达数据和其对应图像像素间的变换关系。

现实中，激光雷达扫描线是不可见的，但其扫描的形状是已知的，并且可以直接获取距离和角度信息。因此，利用标定箱，通过对扫描形状的判断。可手工选取出其扫描到标定箱边界的激光点并提取出该点坐标。由于标定箱边界垂直于环境坐标系中的xy平面，可以将该扫描点沿轴z方向移动。从而获得标定箱的顶点在环境坐标系中的坐标值。

通过多次改变标定箱的远近和方位，使其位置尽可能地均匀分布在图像分辨率范围内的各个位置，而通过采集多帧同步后的图像和激光雷达扫描数据，即可获得多组图像雷达对应点对。

2.时间上的数据融合

由于激光雷达、摄像机等传感器的数据采集通道不尽相同，其采样频率也各有差异，故导致了传感器的信息采集在时间上存在差异，继而引出了需要对各传感器数据在时间上进行同步的问题。常采用GPS授时的方法实现传感器间的时间同步，通过给不同的传感器授予不同的GPS时间，将时间变量作为一个同步参数处理。该方法可以获得高精度的融合结果，但实时性受到一定的限制。当然也可以使用多线程技术和数据双缓存技术对激光雷达数据、摄像机数据等进行时间上的同步。创建激光雷达数据采集线程和摄像机数据采集线程，并利用双缓存当前数据的方法可以解决传感器自身接收机制引起的数据滞后问题，保证程序中待处理的数据是当前时刻的最新数据。

为了实现摄像机和激光雷达的空间标定，提取足够多的图像雷达对应点对，通过求解线性方程即可获得相关的坐标旋转矩阵和坐标平移矩阵，进而可得到激光雷达数据和其对应图像像素间的变换关系;同时，采用GPS授时的方法和双缓存当前数据的方法实现传感器间的时间同步。通过这种方法标定之后，两个传感器的信息会很好地进行匹配。