一种开放道路车载双目相机的外参标定方法

刘福明

（广东工贸职业技术学院 广东省广州市 510510）

1 引言

在自动驾驶、ADAS（Advanced Driving Assistance System）、高精度地图采集等领域，常使用相机感知道路标识和避障[1][2]。通常对相机图像上目标检测、跟踪以及视觉测距在相机坐标系下，无法直接获知目标相对车辆的位置关系，需要将其转换至世界坐标系或车辆坐标系，获取目标的世界坐标，从而实现避障、地图道路元素采集和车辆控制等应用。在视觉测量中，除了硬件外，相机内参与外参（相机安装参数，表示相机与车辆坐标系间的相对关系）是显著影响相机感知环境精度的关键因素。因此，如何快速有效地对相机的内、外参标定是辅助驾驶系统、自动驾驶量产、地图数据众包采集和维护的重要环节。

随着视觉测量在各领域的广泛应用，业界对内、外参标定都进行了研究。对于内参标定，传统方法利用棋盘格、圆形阵列标定板等标定物对相机内参进行标定[3-5]，因其具有可操作性和精确而被广泛使用。传统标定方法需要特定的标定物，标定效果和效率依赖操作人员执行能力和熟练程度，一些新方法[6]选取环境中显著的静态特征，采集相同场景不同视角的多帧图像，建立像平面特征点的约束关系，进而根据约束关系实时计算相机内参。通常相机不发生强烈碰撞、拆解等操作，内参不会变化，因此传统标定方法满足大部分应用需求。

为了得到精确的相机外参，一般方法是建立标定场进行辅助标定。zhang 等[5]提出在标定场配备了特定标定物，并利用手眼标定法[7]（即九点标定法）根据标志物与相机之间的空间位姿关系计算相机外参。石丽梅等提出一种外方位元素标定方法，在标定场景中布设高精度GPS 已知控制点，通过重投影建立点的相关性，结合地理参考绝对定位方程和坐标变换，求得相机相对位姿的平移与旋转参数。这类方法能产生精度较高的外参，但是依赖标定场所与标定物配置，对ADAS、自动驾驶等产品的推广与维护有较大限制。Carrera 等[8]、Zhang 和Shen[9]提出在自然环境下结合视觉里程计实时进行相机外参标定，这类方法无需专门的标定场所和特定标定物，可在线计算相机外参。但在车载相机相关应用上，由于道路空旷，道路面因光照成像比较平滑，图像特征点比较少，难以精确建立图像帧间特征点关联与约束关系。孙士杰等[10]基于RGB-D 相机获得地平面的3D 点云，利用MELSAC 方法检测3D 点云中的平面，根据地平面与世界坐标系的约束关系、与相机坐标系的空间关系，计算相机的外参。RGB-D 相机基于深度传感器能直接获得场景的3D点云，然而，在室外开放环境下光照影响，难以得到鲁棒的3D 测量值。陈锦龙等[11]提出采用双目相机获取平整地平面的点云，并拟合出参数化平面，以地平面在世界坐标系和相机坐标系表达，进而求解出世界坐标系和相机坐标系的转换矩阵。该方法用于低速巡检机器人，且标定要求在平整地平面上直行，因此，该方法难以开放道路对车载相机外参标定。

综上所述，在特定场景下外参标定已有完整的解决方案，但针对车载相机在开放道路的辅助驾驶、地图数据采集众包等应用领域，已有方法难以直接适用。本文方法采用双目相机获得道路面点云，利用道路面点云拟合出参数化平面，参考道路标线计算车辆行驶方向矢量，结合参数化平面与车辆行驶方向矢量建立世界坐标系，并根据相机刚性运动特性求解世界坐标系与相机坐标系欧式关系，进而得到相机外参。另外，提出相机外参精度验证方法，在世界坐标系上选取若干点，基于相机外参重投影到图像，透视变换获得俯视图，通过俯视图中道路标线的一致性度量验证相机外参精度。

图3：ROI 基于宽度的灰度值比较车道线检测示意图

图4：基于宽度的灰度值比较车道线检测生成的二值图

图5：霍夫变换检测线段效果图

2 本文方法

本文采用深度相机构建测量模型，利用zhang 等[5]提出的基于平面靶标的标定方法[]对双目相机进行标定，对空间中的任意点p，通过双目测量可计算出该点相对相机的三维坐标。根据半全局匹配算法[12]可计算双目相机所成像中所有匹配点的空间视角内的三维点云坐标，得到视觉场景的视差图。然而，相机坐标系与世界坐标系不重合，在机器人避障、ADAS、高精度地图采集等应用中常常需要测量视觉场景中目标相对车身的坐标，因此需要标定深度相机的安装外参，进而求解世界坐标系与相机坐标系的欧式变换关系[R|T]。

本文主要对深度相机的外参标定，相机的外参为：

如图1所示是深度相机外参标定的主要流程。基于双目相机内参与半全局匹配算法获得场景的视差图；由视差图得到道路面的3D 点云，使用RANSAC 获取最优地平面；在直行道路场景提取车道线并计算车辆前向向量；根据地平面和前向向量构建坐标系转换模型，计算转换矩阵和平移矩阵；基于透视变换评估标定外参并输出标定结果。

图1：深度相机外参标定流程

2.1 相机坐标系与车身坐标系的建立

标定车载深度相机外参的任务为确定相机坐标系与车身坐标系的欧式变化关系，因此，需先分别建立相机坐标系与车身坐标系。相机坐标系采用左手直角坐标系，以双目深度相机为原点所建立3维坐标系Oc，Xc轴沿着相机横向方向，Zc为相机拍摄方向，Yc为垂直相机向上。

通常世界坐标系可以根据具体需求而建立，为了方便计算相机的安装外参，以车身为参考建立世界坐标。在建立车身坐标系时应遵循以下准则：

（1）车身坐标系的原点为相机坐标系原点垂直地平面的投影点Ow；

（2）车身坐标系的Yw轴为车辆正前方向；

（3）车身坐标系的Xw轴为垂直车身向右。

坐标系的建立如图2所示，其中，H 为双目相机相对地平面的安装高度。以上述方式建立世界坐标系和相机坐标系，可以较为方便地描述两个坐标系的欧式变换关系，简化外参标定计算过程。

图2：坐标系建立示意图

2.2 相机外参计算

由于相机运动时刚体运动，同一个向量在各坐标系下的长度和夹角都不会变化，因此两坐标系的变换为欧式变换。如式（1）所示，采用齐次坐标表示刚性运动的变换矩阵。对刚性运动的两个坐标系变换，可以把齐次坐标变换表示为：

2.3 前向矢量计算

为了获得前向矢量，需要在视觉场景中检测与车辆前向平行的道路元素。车道线作为开放道路上最常见的元素，而且当车辆在车道直行时，车道线与车辆的前向矢量平行，因此，基于车道线检测与双目测量计算车辆前向矢量。

由于车道线在图像比其它区域更加显著，因此，根据与周边像素的显著程度定位图像中车道线区域，提出基于宽度的显著性比较的车道线检测方法：

图6：透视变换示意图

2.4 地平面估计与法向量计算

3 相机外参评估模型

通过上述方法得到相机坐标系到世界坐标系的变换矩阵，即外参，为保障外参可用，需要建立外参的评估模型。由于外参标定场景为开放的道路，因此，在道路面放置标识、标定板等验证方法不再适用。参考Á.Catalá-Prat 等[14]，运用外参对原图作透视变换获得俯视图，并根据俯视图中车道线宽度一致性、车道线间平行度、车道线是否平行纵向评估外参准确性。

由公式（1）可求解世界坐标系到相机坐标系的转换矩阵：

其中，Dev 表示外参准确性度量值，值越小外参精度越高（要求dev<2.5）；Devwidth表示车道线宽度一致性度量值；Devangle表示车道线延伸方向与正前方一致性度量值；Wi测试点车道线宽度；μwidth为车道线测试点的平均宽度；Ai为车道线与横向夹角；μ=90为正前朝向，即垂直方向角度；n1为车道线宽度检验点数量，一般要求n1≥6；n2为车道线上用于检验角度直线的数量，一般要求n2≥4。

4 实验与分析

为了验证本文所提出方法，使用星舆TMC201 双目摄像头（如图7所示）装车，主要采集广州生物岛道路视频数据进行测试。计算资源采用了Intel i5 7300 CPU，16GB DDR4 RAM，在64 位Windows 10 基于Python 平台实现算法进行验证。

图7：星舆TMC201 高精度地图采集终端

根据第2 节构建外参评估模型，设置地平面上4 个世界坐标点（单位为厘米）：(-120,500,0)，(120,500,0)，(-120,900,0)，(120,900,0)，分别计算世界坐标点投影在图像中的像素点：。设置透视图的分辨率为1920×1620，在透视图对应的4 个像素点：(810,1540)，(1110,1540)，(810,1240)，(1110,1240)。

选取生物岛和周边采集的若干段视频进行标定验证：

如图8所示，(a)-(c)分别为不同视频采集点外参标定结果，Devwidth表示像素值方差，Devangle表示车道线角度方差，Dev 表示透视图中车道线一致性度量值。(a)根据标定外参把4 点世界坐标投影到图像坐标为(481,1002)，(1505,1003)，(708,774)，(1279, 774)，通过透视变换得到右图，对俯视图计算Dev 为2.064，Devwidth为1.511，Devangle为0.553。(b)为根据标定外参把4 点世界坐标投影到图像坐标为（495,1010），（1522,1005），（717,785），（1288,779），透视变换得到(b)右图，对俯视图计算Dev 为2.018，Devwidth为1.392，Devangle为0.625。(c)根据标定外参把4 点世界坐标投影到图像坐标为：（513,1124）,（1533,1129），（737,895），（1306,897），透视变换得到(c)右图，对俯视图计算Dev 为10.3，Devwidth为3.659，Devangle为6.640。其中，(a)与(b)外参相近，使用安装外参将相同世界坐标重投影到图像像素坐标相近，产生的俯视图相近，根据外参准确性度量值Dev 可知(a)和(b)的外参符合外参标定精度要求。(c)由于地面平整，但车辆发生了明显起伏，标定外参生成的俯视图不符合标定精度要求，dev 为10.3，不符合外参标定精度要求。

图8：标定外参重投影点透视变换效果图

为了验证标定外参对具有普适性，使用图8(a)这组标定外参对本次采集的其它地点的图像进行透视变换，观察俯视图效果，如图9所示。由前面的实验中可知，俯视图中车道线的一致性可用于评估标定参数的精度，因此，外参标定结果适用于本次安装所采集的视频数据。

图9：相同参数不同场景透视变换效果图

5 结论

本文提出一种用于开放道路的车载双目相机安装外参自标定方法。该方法利用选取的车辆行驶的平整、直行道路面拟合参数化平面，基于相机的刚性运动规律，结合道路标识（如车道线）特征，建立世界坐标系，进而计算世界坐标系与相机坐标系的转换关系。有效解决了传统方法依赖场景中布置特殊标志信息，需要人工标定操作等复杂问题，另外，根据相机外参重投影并透视变换，基于俯视图中道路标线的一致性度量验证外参标定精度，有效提高了标定效率，降低标定成本，满足自动驾驶、高精度地图采集众包等应用需求。

值得注意的是，本方法需要人工筛选平整、直行道路视频进行标定，选取标定视频的质量影响标定结果，如图8（c）虽然道路平整、且车辆直行，但是车辆发生明显起伏导致车辆姿态与道路面关系变化，标定结果不符合要求。另外，标定外参结果根据俯视图、一致性度量计算值进行验证，该方法为离线标定，标定效率一定程度受操作人员经验等影响。在后续工作中，可结合imu 等传感器筛选标定道路面、或基于多传感器融合标定，另外，结合外参标定评估模型实现自动标定。