基于视觉的车道线检测算法研究综述

刘宇，韩磊，王程庆，孙扬

基于视觉的车道线检测算法研究综述

刘宇，韩磊，王程庆，孙扬

（河北工程大学 机械与装备工程学院，河北 邯郸 056038）

在实现自动驾驶中，环境感知是其重要任务，而车道线检测算法研究在环境感知中占据着主要位置。传统的车道线检测算法主要依赖于提取特征，而特征会随着环境发生变化，因此易受到环境的影响。随着国内外深度学习的发展，研究者开始利用深度学习技术进行车道线检测算法研究，以尽可能减轻环境因素的影响。文章综述了近年来基于视觉的车道线检测算法研究的进展，主要是基于模型、基于特征的传统车道线检测算法，以及基于深度学习的新兴检测算法，对具有代表性的实现方法进行了详细分析。

车道线检测；计算机视觉；特征；模型；深度学习；图像分割

前言

在自动驾驶中，计算机视觉相较于激光雷达具有价格较低、鲁棒性较好的优势，并且视觉模态可以用于环境理解的所有相关阶段[1]。因此，本文将主要讨论基于视觉的车道线检测算法。而基于视觉的车道线检测算法，主要分为两类：一类是基于传统方法的检测算法，此类包括基于图像特征和基于模型这两种检测方法；另一类是基于深度学习的新兴车道线检测算法。传统的车道线检测算法一般采用三个步骤处理：首先预处理，消除噪声干扰或者进行逆透视变换，检测感兴趣区域（ROI），得到预处理图像，然后在经过预处理的图像上进行特征提取，最后进行车道模型拟合从而识别出车道线。而深度学习方法下的车道线检测一般是将预处理后的车道线图像进行标记，然后在构建好的神经网络模型中进行训练、测试以及验证，模型不断优化，进而得到较为精确的车道线检测模型。

1 基于传统算法的车道线检测

传统的车道线检测方法主要分为基于模型和基于特征两种方法。基于模型的检测方法，是根据提取到的特征对预先定义好的车道线模型进行匹配，将车道线的识别转化为模型中参数的计算问题，其优点是对噪声不敏感，且图像局部被遮盖的情况较少；基于特征的检测方法，是基于车道线的一些特征（如边缘梯度、宽度、强度以及颜色等特征）将图像所有的点标记为车道线点和非车道线点，这种方法要求道路的车道线边缘较为清晰，颜色较为明显，以得到准确的检测结果[2]。常用的算法步骤如图1所示。

1.1 基于模型的检测算法

模型的假设主要有直线模型和曲线模型两种，对于直车道线，一般通过Hough变换建立直线模型进行检测；对于曲车道线，曲线模型则采用随机采样一致算法和高阶曲线（如三阶贝塞尔曲线）拟合的构建方式解决。而直线模型与曲线模型常常需要同时用于车道线检测算法研究中。

对于车道线有直线和曲线可能交替出现的情况，部分研究人员将直线模型与曲线模型结合。隋靓等[3]提出一种高速公路车道线识别算法。该算法由Hough变换与二次曲线模型两者相结合，首先对采集到的图像进行ROI提取；然后在LOG算子对ROI边缘检测的基础上进行Hough变换以检测车道线；再由之前检测出的车道线进一步提取动态ROI，检测新的车道线；最后通过判断两车道线段的方向变化趋势进行直线和二次曲线切换拟合车道线。部分研究者通过分段模型的方式来检测车道线，Minchae Lee等[4]提出的级联粒子滤波器将车道线模型分解为两个子模型用以提高车道线检测系统的实时性和鲁棒性：直线模型和曲线模型。通过结合模型分解方法的级联粒子滤波算法进行车道检测和跟踪，划分车道线模型后，除了可以提高车道状态估计系统的精度外，还可以减少计算时间，保证实时性。

针对曲线模型，段建民等人[5]提出一种改进的顺序随机抽样一致性（RANSAC）的车道线检测算法。首先，在图像预处理阶段，采用改进的SIS阈值算法对车道线图像进行二值化；再构建车道线模型并将之简化为双曲线模型，其后利用改进的顺序RANSAC算法来拟合车道线；最后依据两边的车道线模型进行模型配对，通过选取最多支持数据点的组合确定车道线。该研究利用实际采集的城市快速路视频和加州理工学院的车道线图像数据集，对该算法进行了实验验证。实验结果表明，该算法鲁棒性高，误检率低，能在复杂环境下实时准确地识别车道线。

对于直线模型，吴彦文[6]针对现有车道线检测与跟踪算法效率不高的难题，提出了一种基于视觉传感器与车道线高精度地图相融合的车道线检测与跟踪方法。该方法首先用改进的Hough变换提取边缘线段；然后基于滤波预测与更新车道线模型状态参数；最后结合高精度地图中车道线先验模型参数，跟踪车道线轨迹。

有研究人员通过使用聚类算法和曲线模型结合的方法，杨金鑫等[7]提出一种基于动态搜索框及K-means聚类的三车道检测算法。首先，根据逆透视变换（IPM）将感兴趣区域内部转化成鸟瞰图的形式，利用大津法（OTSU）将单帧图像分成前景和背景两部分区域，然后，在图像底部规定区域内进行直方图分析，得到车道线基准点建立初始搜索框，并在其内部使用K-means算法聚类得到车道线候选点，根据建立的车道线直线模型迭代生成搜索框；最后，将得到的车道线候选点根据贝塞尔曲线对其进行拟合得到检测车道线。而Jitong Wang等[8]则提出了一种基于DBSCAN聚类算法和改进的RANSAC（随机采样一致算法）的快速车道线检测算法。首先，在逆透视映射图像中通过灰度化和二值化对图像进行预处理。然后，通过在二值图像中使用形态腐蚀和消除噪声点进而平滑车道线边缘，遍历二值图像并提取特征点，通过DBSCAN聚类算法对特征点进行聚类。最后，通过使用基于抛物线的改进的RANSAC算法，将每个类别中的点拟合为直线或曲线。

1.2 基于特征的检测算法

车道线特征通常有颜色、边缘梯度、宽度以及强度等。传统特征方法从像素层面出发，依据此特征进行滤波处理，从图像中提取出车道线候选区域。

从颜色特征出发，Chao Ma等[9]提出了一种基于CIELab颜色特征聚类的车道线检测算法。色彩空间可以提供比灰度图像更有价值的信息。该算法证明了通过颜色聚类识别车道线是可行的。再根据道路的几何特征，采用二次曲线匹配车道，提出了最小二乘法来描述二次曲线的参数。而李超等[10]根据道路图像的特征，将图像灰度化后，采用中值滤波去除图像采集过程中引入的噪声，再根据自适应阈值边缘提取检测算法，在提取过程中对原图像进行区域划分，利用改进的Hough变换得到车道候选线，建立动态的ROI，通过帧间关联方法实现对车道线模型的约束和更新。

部分学者着眼于边缘梯度，刘源等[11]依据此方向，首先结合车道线边缘的梯度分布和灰度分布提取边缘特征点；然后依据车道线特征点的连续性和梯度方向的一致性进行特征点聚类得到离散区域，并通过衡量各区域之间的相似度进行区域聚类；最后选出最优类内的点进行拟合。

对于车道线图像特征强度问题，Win等人[12]研究出一种基于Retinex算法的车道检测算法，该算法可以在不同照明条件下进行特征收集以进行车道线检测。此外，采用该算法可以有效减少计算时间并准确检测左右边界。

有研究者将车速和车道线宽度等作为输入性特征，Danilo Cáceres Hernández等[13]提出一种融合车辆速度和车道边缘、颜色、宽度等多个特征的算法提取车道信息。该算法首先基于行车速度提取ROI；然后使用融合车道线颜色、边缘特征的方式，基于依赖距离的概率推测进行分层拟合模型；最后提取车辆两侧的车道的质心、车道线段数量以及各自的拟合模型等信息，利用这些信息估计出车道线的几何模型参数，从而达到检测车道的目的。

针对夜间行驶，李亚娣等[14]实现了车辆所在车道内侧车道线的检测算法。该算法首先采用Laplacian算子对预处理后的图像进行边缘增强，即二值化；然后通过OTSU算法对图像阈值处理，结合Canny算子进行边缘检测；最后在处理后的图像底部1/3区域中，基于斜率约束，利用Hough变换进行直线拟合。

2 基于深度学习的车道线检测

传统的车道线检测方法需要根据不同的行车场景结合经验对参数进行手动调整，易受环境场景影响，如雨雪、大雾、夜晚等，近年来深度学习的发展为解决不同环境场景下的车道线检测提供了新方向。而基于深度学习的计算机视觉领域，神经网络模型的层结构多由数据层、视觉层、激活层、全连接层以及目标函数等构成。随着层数的加深，会出现车道线图像的颜色信息、纹理信息以及轮廓信息等图像高维信息，而位于底层的网络层结构学习到的特征大多只是车道线图像的一些边缘信息。采用深度学习的算法步骤通常如图2所示。本节将介绍主要基于深度学习技术的新兴车道线检测算法研究情况。

对于不同的驾驶场景，Fabio Pizzati等研究人员[15]设计了一种车道线检测算法，该算法基于ROS框架，在多任务CNN的训练过程中使用均方差不确定性估计获得了更好的性能。该算法首先利用两个CNN以及数据融合算法从街道场景中提取信息，然后使用单个CNN处理信息，最后通过与图像标签比对来判定信息是否可用。该算法在获取车道线图像像素信息的同时，不会造成对空白部分检测的失准而致使车道线信息变更。

图2 基于深度学习的车道线检测常见流程

X Zhou[16]提出了一种多任务场景车道线检测算法，设计了同时输出边缘检测图和像素分割的网络。该网络基于FCN，两个输出的预测分支是并行的，每个分支使用多尺度特征级联作为图像表示。该方法使得边缘检测的信息可以有助于提取图像特征以进行像素分割。用于多条道路车道标记检测的现代方法面临几个问题。首先，数据库不足使机器学习技术的相关解决方案难以训练出健壮的应用模型。其次，目前的研究集中在单车道标志检测上，而对单车道标志的关注则较少。为了解决问题，该算法建立了一个具有正确标记车道线的数据库，并开发了一种使用极限学习机（ELM）检测和分类整条道路的车道线标记的方法。

在雨天拍摄的图像会受到低照度的影响，而潮湿的道路会导致光线反射并扭曲车道线标记的外观。在夜间，有限的照明可能造成颜色失真。针对雨天和夜间等不利的驾驶环境，Seokju Lee研究团队[17]提出了一个统一的端到端的可训练多任务网络VPGNet，该网络可实时处理车道线的检测和识别。与此同时，通过构建该网络，此研究团队建立了一个车道线标记基准数据集。在四种不同场景下：无雨、下雨、大雨和夜间，20 000张图像被分为17种车道线标记类别，验证每个任务的重要性，与此同时利用这些图像训练和评估多任务网络的多个版本。

基于深度学习的图像分割技术有两种：语义分割和实例分割，这两种方法均为基于像素级别的。语义分割即对于图像的每个图像都划分出对应的类别，最终实现像素级别的分类。近年来随着深度学习语义分割网络的发展，有很多研究者将其应用于车道线检测，Xingang Pan等[18]提出一种空间卷积（SCNN）方法对车道线进行检测，SCNN比较适合于连续且形状长的结构目标，如车道线和杆等，这类目标有较少的外表线索却有很强的空间关系。车道线图像信息能在像素的行和列之间传递，依赖于传统特征图像层到层的卷积转为空间片到片的卷积。

也有研究团队从实例分割着手，将车道线检测问题作为实例分割问题进行建模，Davy Neven等研究人员[19]提出了一种以50fps运行的快速车道检测算法，该算法可以处理可变数量的车道并应对车道变化，可以端对端地对其进行训练，因为其中每个车道都形成自己的实例。为了在分割车道之前对分割的车道实例进行参数化，团队进一步应用基于图像的警报透视变换，而不是固定的“鸟瞰”变换，以此确保了对道路平面变化具有鲁棒性的车道线拟合。

Qin Zou等[20]通过使用连续驾驶场景的多帧画面来研究车道检测，并结合卷积神经网络（CNN）和递归神经网络（RNN）提出了一种混合深度架构。具体而言，每帧的信息由CNN块提取，然后将多个具有时间序列属性的连续帧的CNN特征反馈入RNN块，以进行特征学习和车道线预测。

3 结论

车道线检测算法要求极好的鲁棒性和实时性，使汽车能在各种行车环境中保持快速且精确的判断。基于视觉的车道线检测算法中，包括基于模型和基于特征在内的传统算法已被逐渐放弃，当前研究人员逐渐转向基于深度学习的方式进行车道线算法研究工作，而神经网络模型主要引入了RNN和CNN，以应对各种驾驶场景。DL对基于视觉的车道线检测技术的发展产生了深远的影响，而车道线检测算法在深度学习方面需要大量的数据集作为支撑，且神经网络模型具有不可解释性，使得车道线检测技术在稳定性上仍有待加强。即使如此，基于深度学习的检测算法的效果仍然强于多数传统算法，因此，个人认为车道线检测的未来发展方向将仍需依托深度学习，通过不断改善算法以解决实时性与准确性的问题，进而满足汽车高速行驶时的鲁棒性和实时性要求。

[1] Xue J,Wang D,Du S,et al.A vision-centered multi-sensor fusing approach to self-localization and obstacle perception for robotic cars[J].Frontiers of Information Technology & Electronic Engineer- ing,2017,18(1):122-138.

[2] 齐美彬,张银霞,潘燕.一种快速的公交专用车道检测方法[J].微型机与应用,2012,31(10):34-37+41.

[3] 隋靓,党建武,王阳萍.基于分段切换模型的快速车道线检测[J].计算机应用与软件,2017,34(08):201-205.

[4] Lee M, Jang C, Sunwoo M. Probabilistic lane detection and lane tracking for autonomous vehicles using a cascade particle filter[J]. Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, 2015, 229(12): 1656-1671.

[5] 段建民,李岳,庄博阳.基于改进SIS算法和顺序RANSAC的车道线检测方法研究[J].计算机测量与控制,2018,26(08):280-284+289.

[6] 吴彦文,张楠,周涛,等.基于多传感融合的车道线检测与跟踪方法的研究[J].计算机应用研究,2018,35(02):600-603+607.

[7] 杨金鑫,范英,樊祺超,等.基于动态区域搜索框及K-means聚类的三车道检测算法[J].科学技术与工程,2019,19(27):253-257.

[8] Wang J,Hong W,Gong L.Lane detection algorithm based on density clustering and ransac[C]//2018 Chinese Control And Decision Con- ference (CCDC).IEEE,2018:919-924.

[9] Ma C,Xie M.A method for lane detection based on color clustering [C]//2010 Third International Conference on Knowledge Discovery and Data Mining.IEEE,2010:200-203.

[10] 李超,刘宏哲,袁家政,等.一种基于帧间关联的实时车道线检测算法[J].计算机科学,2017,44(02):317-323.

[11] 刘源,周聪玲,刘永才,等.基于边缘特征点聚类的车道线检测[J].科学技术与工程,2019,19(27):247-252.

[12] Win S Y, Lwin H H. Lane Boundaries Detection Algorithm based on Retinex with Line Segments Angles Computation[C]//2018 18th International Symposium on Communications and Information Technologies (ISCIT). IEEE, 2018: 160-164.

[13] Cáceres Hernández D,Kurnianggoro L,Filonenko A,et al. Real-time lane region detection using a combination of geometrical and image features[J]. Sensors, 2016, 16(11): 1935.

[14] 李亚娣,黄海波,李相鹏,等.基于Canny算子和Hough变换的夜间车道线检测[J].科学技术与工程,2016,16(31):234-237+242.

[15] Pizzati F, García F. Enhanced free space detection in multiple lanes based on single CNN with scene identification[C]//2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019: 2536-2541.

[16] Zhou X. Experimental study on scene recognition and multiple road lane marks detection based on machine learning methods[D].Sin- gapore:Nanyang Technological University,2018.

[17] Lee S,Kim J,Shin Yoon J,et al.Vpgnet:Vanishing point guided network for lane and road marking detection and recognition[C]// Proceedings of the IEEE international conference on computer vision.2017:1947-1955.

[18] Pan X,Shi J,Luo P,et al.Spatial as deep: Spatial cnn for traffic scene understanding[C]//Thirty-Second AAAI Conference on Artificial Intelligence.2018.

[19] Neven D,De Brabandere B,Georgoulis S, et al. Towards end-to-end lane detection: an instance segmentation approach[C]//2018 IEEE intelligent vehicles symposium (IV). IEEE, 2018: 286-291.

[20] Zou Q,Jiang H,Dai Q,et al.Robust lane detection from continuous driving scenes using deep neural networks[J].IEEE transactions on vehicular technology,2019,69(1):41-54.

Overview of Research on Vision-based Lane Line Detection Algorithms

LIU Yu, HAN Lei, WANG Chengqing, SUN Yang

( School of Mechanical and Equipment Engineering, Hebei University of Engineering, Hebei Handan 056038 )

In the realization of automatic driving, environment perception is an important task, and the research of lane line detection algorithm occupies a major position in environment perception. Traditional lane line detection algorithms mainly rely on extracting features, and features will change with the environment, so they are easily affected by the environment. With the development of deep learning at home and abroad, researchers have begun to use deep learning technology to study lane line detection algorithms to minimize the impact of environmental factors. This article summarizes the research progress of vision-based lane line detection algorithms in recent years, mainly model-based, feature-based traditional lane line detection algorithms, and emerging detection algorithms based on deep learning, and detailed analysis of representative implementation methods.

Lane line detection;Computer vision;Features;Model;Deep learning;Image segmentation

A

1671-7988(2021)22-24-04

U495

A

1671-7988(2021)22-24-04

CLC NO.:U495

刘宇，就读于河北工程大学机械与装备工程学院，主要研究方向：无人驾驶车辆关键技术。

河北省自然基金项目（F2016402106）和河北省教育厅项目（QN215129）。

10.16638/j.cnki.1671-7988.2021.022.006