基于空间特征增强的车道线检测算法*

向思佳，曾 凯

（昆明理工大学 信息工程与自动化学院，云南 昆明 650504）

0 引言

车道线检测是计算机视觉的一项重要任务，同时也是自动驾驶和高级辅助系统（Advanced Driving Assistance System，ADAS）的关键任务[1]。作为一种重要的感知技术，车道线检测可以定位道路上的可驾驶区域[2]，为车辆的安全驾驶提供保障。然而由于自动驾驶场景的复杂性，极易出现车道线难以识别的情况，例如，如图1（c）所示，车辆遮挡了车道线；如图1（a）所示，路面问题导致车道线模糊。此外，车道本身具有细长特性，以及常常伴有混淆目标，比如图1（b）中，道路两旁有容易与车道线混淆的栏杆。以上这些复杂场景给车道线的精确检测带来了极大的挑战[3]。车道线检测逐渐成为国内外研究的热点[4]。

图1 车道线检测当前面临的挑战

目前车道线检测算法主要分为基于传统图像处理以及基于深度学习的方法。大多数传统的车道线检测方法是利用各种手动设计的特征，如颜色和纹理，来提取浅层次的交通道路特征[5-6]。这些方法计算量小，无须进行重大调整以适应不同场景。然而，传统图像处理方式的性能取决于测试环境的条件，只能在场景简单、车道线标记清晰的道路环境下取得较好的检测性能[7]。

与传统图像处理方向相比，基于深度学习的方法在复杂场景中表现出更优异的性能。现有的基于深度学习的方法[8-9]利用卷积神经网络（Convolutional Neural Networks，CNN）强大的表征能力来提高车道线检测精度。早期的方法[10-11]通常先生成分割结果，然后采用后处理，如分段聚类和曲线拟合。这些方法效率低下，在进行车道线分割时忽略了全局上下文[2,12]。由于车道线固有的细长的形态结构，需要更加强大的高低层次特征融合，来同时获取全局的空间结构关系[13]。同时车道线检测常常伴有复杂环境因素，如光线变化，以及遮挡问题。因此，仅仅使用CNN 进行局部关系的建模无法精准检测车道线。

文献[11]使用软注意力的方法生成一个空间加权图来丰富上下文信息，但是仅仅使用注意力机制无法推断细长结构的特性之间的依赖关系[14]。空间卷积神经网络（Spatial CNN，SCNN）[12]旨在获得更强的空间关系，将特征图进行逐行切片以及逐列切片，并对每一个特征片进行卷积操作，使得相邻的行列间能传递信息，但是这种方式不适合长距离行列信息的传递[15]。基于此，循环特征移位增强模块（REcurrent Feature-Shift Aggregator，RESA）[3]增加了步长，以及迭代次数，然而信息仍然保持在行列间传递，缺少对不同像素间关系建模的考虑。由于自动驾驶场景的复杂性，细长的车道线较大型车辆较为稀疏，且尺寸差别较大，因此也需要考虑多尺度特征之间的关系建模[16]。

基于上述问题，本文构建了空间特征信息增强网络（Spatial Feature Information Enhancement Network，SFE-Net），包含特征提取网络、上下文感知模块（Context Perception Module，CPM）、空间特征增强模块（Spatial Feature Enhancement Module，SPEM）以及预测网络。上下文感知模块融合不同尺寸特征图信息，同时增强对全局上下文信息关系的建模。空间特征增强模块对特征的空间信息和通道信息进行增强，提高网络模型的车道线特征表征能力及环境适应能力。

1 算法设计与实现

受SCNN 的启发，本文提出了SFE-Net。SFENet 分别由特征提取网络、CPM、SPEM 以及预测网络组成。SFE-Net 的框架结构如图2 所示，其中图中的SE 为压缩激发模块（Squeeze-and-Excitation）。

1.1 特征提取网络

如图2 所示，本文使用ResNet34 作为特征提取网络进行图像特征的提取。经过ResNet34 提取的特征图尺寸为原图像尺寸的1/8。为了进行多尺度空间上下文特征的感知，本文选择ResNet34 的第2、第3 和第4 层特征作为输出。

图2 SFE-Net 框架结构

1.2 CPM

由于卷积神经网络只能提取到特征的局部信息，缺少对全局信息以及上下文语义的考虑。而车道线在图片上呈现出连续细长的条状，神经网络进行局部信息建模时容易将道路两旁的栏杆或其他结构形状相似的障碍物识别成车道线。此外，车道线与大型车辆相比较为稀疏，且容易被车辆遮挡，因此只考虑局部关系的建模无法精准检测车道线。基于上述问题，本文提出了CPM，从而增强网络对于全局上下文信息以及局部信息的联合学习。如图3 所示，CPM 的输入是经过特征提取网络后的3层特征。

图3 CPM 的框架结构

CPM 的计算流程可表示为：

式中：X1，X2，X3为上下文感知模块的输入；y为经过X1，X2两层特征进行多尺度融合后的特征图；y´为经过上下文感知模块增强后的特征图；FFN为前馈网络层；LN为层归一化模块；Att为注意力机制模块。

1.3 SPEM

SPEM 将特征图X∈RC,H,W分别按照H维度和W维度进行切片操作，如图2 所示。其中，C，H，W分别代表特征图的通道数、行数和列数。按照H维度切分后的特征分别经过垂直方向（由上到下以及由下到上）进行两次特征聚合，其表达式为：

式中：Km,c,n为一维卷积核；Xm,i+n-1,j为特征图；m，i+n-1 和j分别为通道、行和列的索引；为经过聚合后的特征。

按照W切分后的特征分别在水平方向（由左到右以及由右到左）进行两次聚合，其表达式为：

式中：SE(·)为通道注意力；F v以及Fh为压缩激发模块输出的特征。

在经过SE 后进行元素相加，特征的空间和通道信息都得到了增强，这一过程，可表示为：

式中：Xc,i,j为CPM 输出的特征图；c，i，j分别为代表通道、行和列的索引；ReLU(·)为非线性激活函数；为经过SPEM 更新后的特征图。通道注意力对每个通道上的权重进行了显式建模，然后对原特征图进行加权，突出每个通道的重要程度。

1.4 预测网络

本文预测网络采用RESA 的双边上采样模块，如图4 所示。每个采样块向上采样两次，最后将特征图恢复到原始大小。双侧上采样模块由粗粒度分支和细粒度分支组成。使用粗粒度分支来恢复粗粒度特征，使用细粒度分支来调整细粒度损失。通过上采样，输出的特征图经过全连接来检测每个车道线是否存在以及存在的概率，并进行分类操作。

图4 中的残差块由4 个3×1 和4 个1×3 卷积，以及批标准化层（BN）和激活函数ReLU 组成。残差块可以保持特征图的形状，并有效地提取特征信息。

图4 预测网络结构

2 实验讨论

本文在当前广泛运用的Tusimple 数据集上进行了实验验证。Tusimple 数据集共有6 408 张图片，包括3 626 张训练图片以及2 782 张测试图片，每张图片的分辨率为1 280×720。在Tusimple 数据集上实验，使用的评价指标是精确度（accuracy），其定义为：

式中：Cclip为正确预测的车道点数；Sclip为每个视频片段中标签点的总数。同时，还评估了预测结果的假阳性率FP和假阴性率FN。

本实验将原始图片的大小调整为368×640。使用随机梯度下降（Stochastic Gradient Descent，SGD）[17]作为优化器来训练本实验的模型，其中动量为0.9，权重衰减为0.000 1。在此基础上，设置实验的学习率为0.02，共训练300 个批次，batchsize 设置为4。

本实验的实验环境为Ubuntu16.04 操作系统，CPU 为Intel(R) Xeon(R) Gold 5120 CPU @ 2.20 GHz，GPU 为NVIDIA Tesla V100，深度学习框架采用Pytorch1.5。

2.1 对比实验

为了验证本文提出的SFE-Net 的有效性，本实验与当前几种最先进的车道线检测方法进行对 比，包 括ENet[18]、PolyLanNet[19]、LaneNet[20]、FastDraw[10]、LSTR[14]。结果如表1 所示，实验检测评估指标为精确度（accuracy）、假阳性率（FP）和假阴性率（FN）。实验结果表明，SFE-Net 达到了96.42%的准确率，优于当前其他算法。

表1 不同方法对比实验结果

2.2 消融实验

本文在第1 节算法实现中，详细描述了CPM以及SPEM 的框架结构，分析了方法实现的理论依据。为了验证每个部分的重要性，本节进行了消融实验，实验结果如表2所示。其中基线网络（Baseline）由ResNet34 以及预测网络组成。

表2 在基础网络ResNet34 上进行消融实验

经实验检验，本文提出的CPM 以及SPEM 对车道线检测的精度有一定的提升。同时也证明了，上下文信息以及多尺度信息对于细长目标的检测有一定的影响。此外，空间信息联合通道信息的增强有助于捕获特征间的关系，利于车道线检测精度的提升。为了更直观地展示本文提出方法的可靠性，在Tusimple 数据集上进行实验，SFE-Net 的检测效果如图5 所示。对于遮挡类目标以及磨损目标，均能有效检测，而且在光照不佳的情况下，SFE-Net也能达到良好的检测效果。

图5 Tusimple 数据集使用检测效果

3 结语

为了在复杂环境下进行车道线检测，本文构建了SFE-Net。该网络中的CPM，能有效捕捉跨尺度信息，并结合上下文环境信息进行感知，SPEM 能有效捕获跨行和跨列的空间关系。同时使用通道注意力对每个通道上的权重进行显式建模，突出每个通道的重要程度。通过在当前经典车道线检测数据集上进行验证评估可知，增强全局上下文信息在车道线检测任务中十分关键，并且本文提出的方法具有较好的检测性能。本文可以为无人驾驶环境感知、车道线偏离预警技术的研究和开发提供思路，促进智能交通领域的发展。