基于移动激光扫描点云数据栅格化的交通标线分割算法

刘 春，戚远帆，李友源，吴杭彬，姚连璧

（同济大学 测绘与地理信息学院，上海 200092）

随着自动驾驶技术的迅猛发展，高精地图作为自动驾驶的关键基础支撑［1-4］被广泛应用。高精地图不仅辅助实现车道级定位，且能辅助车辆根据交通标线信息实现安全行驶。因此，高精地图需要具备高精度和丰富语义标线信息的车道模型［5］。早期的道路信息及标线提取往往是基于光学影像［6-7］，然而光学影像易受恶劣天气影响［8］。而移动激光扫描（mobile laser scanning，MLS）系统对光照、天气等具有更好的鲁棒性，能在短时间内连续、准确地采集高精度点云［9-10］。因此基于MLS点云开展了大量关于城市道路的标线提取与语义分割的研究。目前相关的研究可以分为以下两种：

其一，基于MLS点云直接提取与分割。文献［11］通过点云强度信息粗筛选出交通标线点云，结合距离阈值精化提取结果，通过点云的连通性分析提取交通标线。文献［12］利用中值滤波平滑路面点的反射强度，结合点云强度的梯度特征与几何特征分割道路点云。文献［13］直接在每个点云的邻域内计算几何特征，利用支持向量机（SVM）分类点云。文献［14］结合几何特征提出了二进制内核描述符（BKD）的局部特征，编码3D点云的形状和强度信息，通过随机森林分类提取道路特征。文献［15］通过自适应区块和多阈值结合强度的方法提取交通标线，采取归一化互相关匹配交通标线点云与模板。然而文献［11-14］更侧重于道路环境整体的语义分割，对于类别多样的交通标线仅粗分为一类，文献［15］对于多种不同语义信息的箭头标线，也未进行精细化分割。

其二，在MLS点云转换到的栅格图像中提取与分割。文献［16］提出与距离相关的阈值函数，以选取最佳的阈值提取交通标线，但未给交通标线赋予语义信息。文献［17］结合霍夫变换（HT）使用模糊推理机制提取交通标线。文献［18］将路面点云投影到正方形格网中，给每个单独标线定义了一个特征向量，利用人工神经网络分类所有的交通标线为人行横道与箭头两类。文献［19］通过反距离加权生成二维栅格图像，利用欧氏聚类从二值图像中提取标线，根据特征属性将交通标线语义关联。但文献［16-17］未对类别复杂的标线进一步细化分割，文献［18-19］虽然开展了标线语义分割工作，然而最多分为了三类。深度学习作为目标检测与分割中新兴的技术手段，也被用于交通标线的提取与分割中，文献［20］提出一种深度学习框架，利用改进的U-net网络提取标线，开发一种多尺度聚类卷积神经网络（CNN）分割标线，提出生成对抗网络（GAN）补全断裂标线。文献［21］提出一种基于密集特征的金字塔网络结构（DFPN）的深度学习模型，引入了损失函数（focal loss）优化分割结果，但仅将7类交通标线赋予语义信息。上述基于深度学习的方法均依赖于大量数据集，且模型设计复杂、可迁移性偏弱。

综上所述，现有从MLS点云提取城市交通标线的研究，存在着未对种类多样的标线进行精细化语义分割，且语义分割模型可解释性弱，依赖于庞大数据集训练的问题。因此，本文基于MLS点云数据，提出城市交通标线的语义分割方法，通过对激光点云强度数据的进一步优化，提高道路场景的语义分割精度，为自动驾驶提供更加丰富的语义信息。

1 城市交通标线语义分割方法

本文提出的基于MLS点云进行城市交通标线语义分割的方法，主要包含道路点云栅格化和交通标线语义分割两步，如图1所示。其中，道路数据栅格化处理是为了将三维点云转化为二维图像。交通标线语义分割则在优化栅格数据基础上，完成路面标线的识别、对象化和语义赋值。

图1 本文算法流程Fig.1 Workflow of proposed method

1.1 标线点云提取

为将路面点云栅格化为二维强度图像，对道路点 云 采 用 反 距 离 加 权 插 值［22］（inverse distance weighted，IDW），构建栅格图像。栅格图像各像素灰度值的计算如式（1）所示：

式中：n为格网中的总点数；Ik为第k个点的强度值；，表 示第k个点到该格网内中心点距离的倒数，即为第k个点的权重。其中Xk为第k个点的横坐标，Yk为第k个点的纵坐标，Xmid为图像中点的横坐标，Ymid为图像中点的纵坐标。

为从栅格图像中提取交通标线点云，对图像执行二值化和对象化处理。考虑到点云强度值受到外部因素（例如大气、热量等）的影响［15］而偏小。由于局部阈值二值化能依据每个像素邻域中的像素值分布自动确定二值化阈值，强度值偏小的道路区域中的标线提取阈值也会相应减小，故本文采取局部阈值二值化的方法提取交通标线。

文献［11］通过比较当前像素灰度值与周围平均灰度值的大小，确定当前像素为前景或是背景，具体计算方式如下式（2）所示，示意图如图2所示，图2中I1为Int(1，1)，I2为Int(x，y-1)，I3为Int(x-1，y)，I4为Int(x，y)。

图2 图像积分Fig.2 Image of computed integral

式中：Int(x，y)为点(x，y)的积分；P(x，y)为点(x，y)的像素值。

为计算局部平均灰度值，如图3所示，Ri为二值化区域边长，以任一像素Pi为中心，按照式（3）计算平均灰度值，以反映该像素周围区域内的整体灰度值大小，即道路激光点云中这片区域的平均强度。

图3 图像二值化示意图Fig.3 Schematic diagram of image binarization

式中：k=(ri-1)/2。将栅格图像中每个像素Pi与平均强度Wpi比较大小，判断出当前像素是否为交通标线。

基于交通标线的二值化信息，采用轮廓跟踪算法分离各标线轮廓，生成由标线轮廓点集S={Pi|Pi=P1， }

P2，…，Pn构成的标线对象。由于实际道路场景中，部分交通标线存在磨损、缺失等情况，标线对象结果偶尔会过分割。故通过计算相邻标线对象间的最近距离r优化分割结果，即令小于设置阈值threshold_r的相邻对象合并，依次优化全部标线对象，直至各标线对象均满足阈值要求，由于道路标线材料色牢度一般较高，断裂间距不会过大，故threshold_r设置为3。

1.2 基于模板匹配的标线点云语义赋值

交通标线语义赋值的难点一方面在于数据采集时天气条件不一、路面材料颜色不同、光照变化明显等客观因素影响标线提取，另一方面在于交通标线种类的繁杂多样增大了语义赋值的难度。标线提取已于1.1节中阐述，本小节将基于交通标线的先验知识，根据交通标线的几何特征进行标线的语义赋值。首先依据矩形度将所有交通标线分为两类：符号标线对象与非符号标线对象；对于矩形度较低的符号标线基于国家标准GB5768.3—2009［23］建立了标准模板数据集，通过模板匹配实现更加精细的语义分割；对于矩形度较高非符号标线依据决策树进行标线识别。且不同于目前标线识别算法的是，本文算法无需深度学习的训练过程，且参数调节便利，具有更高的可解释性。

1.2.1 标线对象特征描述

为获得联通区分割后各标线对象更加丰富的语义信息，需要对其特征信息进行定量描述，计算标线对象的轮廓凸包与最小外接矩形，通过其长度la、宽度wa（图4a）、凸包面积S0，最终得出矩形度R如下：

在联通区分割后的标线对象可以划分为符号标线对象与非符号标线对象。不同于符号标线对象，实线、虚线、斑马线等非符号对象具有更加简单的设计轮廓与更高的矩形度，因此本文根据各标线对象的矩形度设置阈值threshold_R1以区分不同的标线对象，进一步采用不同的语义分割策略获得更丰富的语义分割结果。

1.2.2 符号标线模板匹配

对于矩形度较低的符号标线对象，考虑到其形状多样、轮廓复杂的设计特点，本文根据国家标准GB5768.3—2009［23］建立了标准模板数据集，通过模板匹配的识别模式对标线对象进行识别，从而实现更加丰富的语义分割。

考虑到构成标线对象与模板具有不同的尺度与方位，需将标线对象中各点Pi(xi，yi)∈S转换至匹配目标模板所在基准下，以统一标线对象与模板的尺度和方位。对于匹配目标模板k，其轮廓点集为Ck={Pk，j|Pk，j=Pk，1， }

Pk，2，…，Pk，m，转换后的点云轮廓点P'i(x'i，y'i)由Ck的最小外接矩形长度lb（图4b）确定：

在完成基准的统一后，转换后标线对象的点云轮廓点P'i(x'i，y'i)至标线模板k的最小距离dk，i（图4c、图4d）可表示为

图4 模板匹配示意图Fig.4 Diagram of template matching

当标线对象与标线模板成功匹配时，标线对象的点云轮廓点P'i(x'i，y'i)至标线模板点集Ck的距离dk，i较小，本文采用以下指标来定量衡量匹配结果：

考虑到噪声对象同样具有不规则的形状与较低的矩形度，会夹杂于标线对象中而干扰匹配结果，因此需要设置threshold_D来滤除与匹配模板偏差较大的噪声对象。当标线对象为路口处T字型欠分割实线时，具有较低的矩形度数值，设置阈值threshold_R2，将满足R≤threshold_R2的T型实线从噪声对象中分离。

1.2.3 非符号标线决策树筛选

非符号标线是多种尺寸不一矩形的集合，由于其几何结构较为简单，通过国家标准GB5768.3—2009［23］中标准尺寸规格建立决策树的方式可实现非符号标线的语义分割。若非符号标线对象所对应标准尺寸对象k的长度、宽度分别为lengthk、widthk，则将标准尺寸对象k的语义信息赋值至满足式（8）的非符号标线对象。

式中：threshold_t为尺寸阈值参数，表示标线对象尺寸与标准尺寸偏差的允许范围，该值过大会导致其他标线被误分为正确标线，过小会导致轮廓磨损的正确标线被误分，故设置为1，该参数的选取实验于下文2.6节中有所阐述；length与width为标线对象最小外接矩形的长度和宽度，用于反映点云生成的标线对象尺寸。

非符号标线对象中的实线，具有宽度固定、长度较长的特点，因此当标线对象的标准宽度为widthk时，则认为满足式（9）的标线对象为实线。

2 实验与分析

2.1 实验区域与数据

利用华测AS900L移动激光扫描系统，采集了上海市浦东新区八子区域（图5）的部分城市道路无序点云开展实验，移动激光扫描系统相关参数见表1。实验区域道路环境复杂，包括车道、行人、建筑、路灯等。本文选取了8处不同道路场景的车载激光点云数据进行实验，其中样本01～07为7片独立的实验区域，样本08为一片连续的、长达990 m的非直行道，包含一个完整的交叉口，且有部分标线存在断裂、缺失情况，路况不佳。数据中标线类别丰富，包含实线、虚线、斑马线、箭头等10类交通标线，8片区域总计有72条直线，472条虚线，46条箭头标线，60条斑马线，路段总长为1 703 m，点云密度平均2 706个·m-2。

表1 移动激光扫描系统参数Tab.1 Parameters of mobile laser scanning system

图5 测区位置Fig.5 Location of study area

根据国家标准GB5768—2009中直行箭头、转向箭头、掉头箭头等多种符号标线构建非符号标线模板样本数据（表2），并结合国家标准规范赋予模板样本相应的语义信息，包括：直行、转向、掉头、转向后并道、禁止转向（掉头）、减速慢行等。

表2 匹配模板数据集Tab.2 Matching template dataset

本文的算法在配置有Intel（R）Core（TM）i7-10875H的CPU和40 GB内存的笔记本电脑上运行。如表3所示，处理实验数据所需的总时间为546.76 s，主要的耗时在于标线提取，而语义赋值的效率较高，即使对于总计650个道路标识，耗时也仅为33 s。

表3 计算时间Tab.3 Computing time

2.2 实验方案

2.2.1 参数设置

经过实验，针对本文数据选取的合适参数详见表4。在本文中参数二值化区域边长R是将该边长内像素进行二值化，过大会导致二值化失败，过小会使得标线提取缺失，故设置23。参数threshold_r是为合并由于磨损而断裂的标线，由于断裂的标线间隔不会过大，故设置为3。参数threshold_R2是为了将T型实线从噪声对象中分离，由于T型实线往往矩形度较低，故设置为0.1。在本文模型中有几个较重要的参数：匹配阈值threshold_D，矩形度阈值threshold_R1和尺寸阈值threshold_t，它们的取值将在2.6节中进行讨论。

表4 本文方法的相关参数Tab.4 Related parameters of proposed method

2.2.2 精度评估方法

考虑到所用实验数据没有真实的语义信息，通过人工判别的方式为各交通标线对象提供真值参考信息。为定量评估第1节提出算法的可靠性，对语义赋值结果通过精度P、召回率R和综合评价指标F进行定量评价，计算方式见式（10）—（12）：

式中：nTP即被正确识别的正样本对象数量；nFN是被错误识别的负样本对象数量；nFP为被错误识别的正样本对象数量。

2.3 标线点云提取结果

以Sam04为例，原始三维道路点云（图6）根据布 料 模 拟 滤 波 算 法［24］（cloth simulation filtering，CSF）提取出路面点云，并依据路面边缘邻接点的平面距离和几何高差［19］确定道路边界并提取出道路点云（图6），依据IDW法按插值将滤波后的道路点云转化为强度影像数据，最后进行自适应阈值二值化，交通标线提取和联通区分割后结果如图6所示。从图中可以发现经过图像优化后提取出的栅格图像可以较好地通过二值化识别交通标线，联通区分割也成功地将每个单独的标线分别提取，便于2.4节语义识别工作的展开。

图6 交通标线提取Fig.6 Extraction of traffic markings

2.4 标线语义识别结果

基于2.3节标线点云提取结果，开展交通标线丰富化语义分割实验，结果如图7所示。

图7 交通标线识别结果Fig.7 Results of identification of traffic markings

样本01-08这8组实验的分割结果表明，对于多样、复杂的交通标线，本文所述方法可有效实现交通标线的语义分割。特别对于符号标线，本文的处理策略能够有效地区分不同尺寸、不同形状的多类标线，获取大多数标线的语义信息。

对于存在破损的直行/右转箭头的区域1（Sam04）、和存在破损的直行/左转箭头的区域2（Sam05），本文提出的分割算法均取得了良好的识别效果。

采用精度P、召回率R、综合评价指标F进行定量精度评价，结果如表5所示。对于本次开展实验的8组实验数据，上述方法的精度与召回率的平均值分别为96.04 %与96.92 %，综合评价指标F为96.48%，具有较好的语义分割效果。样本03和样本07两份标线轮廓清晰的实验数据，其精度与召回率均为100%。实验结果表明，本文所提方法可以有效识别复杂多样的交通标线信息，实现良好的语义分割效果。此外，上述方法对于破损的交通标线具有较高的鲁棒性，可以适用于部分不规则的复杂标线数据。

表5 交通标线对象语义识别精度Tab.5 Accuracy of traffic markings semantic identification results

2.5 与其他方法对比

在数据采集方式、数据标线类别等方面，本文分析的点云数据与部分参考文献中所使用的实验数据具有相似的数据特征，因此可以与目前的研究结果进 行 比 较。表6将 本 文 方 法 的 结 果 与Yu［25］、SOILáN［18］等方法的结果进行了对比。结果表明，通过建立了总计15类的匹配模板数据集，本文方法成功识别了实验区域内全部的10类标线，具有最丰富的标线语义分类结果。同时本文方法的标线识别准确性与目前国内外先进方法相接近，虽然精度P略低于［18］方法，但召回率R与综合评价指标F均优于其他方法。

表6 标线分割方法对比Tab.6 Comparison of state of the art methods

2.6 讨论

2.6.1 参数设置分析

图8a、图8b、图8c分别显示了匹配阈值threshold_D、矩形度阈值threshold_R1和尺寸阈值threshold_t对实验的影响，且此处阈值均是基于第2.2.1节进行设置。当匹配阈值threshold_D＜10时，标线点云轮廓的不规则性会明显影响标线的识别效果；矩形度阈值threshold_R1过低会导致部分符号标线点云错误地识别为非符号标线；矩形度阈值threshold_R1过高会遗漏轮廓不明显的非符号标线；尺寸阈值threshold_t的选取应该由标线轮廓的磨损程度决定。结果表示，当threshold_D=10，threshold_R1=0.5，threshold_t=1时，本文方法具有最优的交通标线识别效果。

图8 各参数对结果影响Fig.8 Impacts of parameters

2.6.2 车辆遮挡与禁行区域分析

在马路上和移动激光扫描数据采集车相邻的车辆往往会导致标线的缺失或者周边点云密度的降低。本文的算法无法提取出由于遮挡而造成数据丢失处的道路标识。图9显示了由于车辆造成的遮挡，在数据收集过程中选择车流量较少的时段可以最大限度地降低车辆遮挡造成点云缺失；对缺失数据的路段重复扫描或者安排尾随车辆并排行驶以防其他车辆超过移动激光扫描车辆也可较好解决点云缺失问题。

图9 车辆遮挡示例Fig.9 Example of occluded areas by car

本文实验区域中不包含禁行区域，但在日常出行中，交通部门出于合理分配交通流量、缓解交通负荷的考虑，会在规定时段内禁止全部或者部分车辆在禁行区域内通行。与车辆遮挡类似，这也会造成该区域内的数据缺失，可以考虑在通行时间内对原本禁行的区域中数据进行采集以补齐缺失的数据。

2.6.3 语义赋值错误分析

在本方法的处理结果中，虽然绝大多数交通标线能够被有效识别，但仍存在部分错误分类的交通标线。有不同的误差源会影响本文方法的鲁棒性，井盖等具有高反射性且形状类似交通标线的物体混入在强度图像中（图7误差1区域），会被错误识别为交通标线。同时部分标线由于长期暴露在恶劣天气下，导致标线材料受到磨损失去了反射性或者直接断裂，因此基于模板的匹配识别可能会失败。例如图7的误差2区域中部分交通标线轮廓破损较大，失去了原有设计结构。但是在道路检查维护中，由于磨损而造成的提取错误（即假阴性）是有意义的，因为这表明了此处的交通标线出现破损需要养护。

3 结论

本文提出了一种从移动激光扫描点云数据中分割交通标线的算法。利用反距离加权法将三维点云转变为栅格图像，提高标线对象识别效果。利用自适应阈值二值化提取交通标线对象，并通过模板匹配和决策树识别符号标线、非符号标线及其语义信息。实验表明，本文标线语义分割精度为96.04%，召回率为96.92 %，综合评价指标达96.48 %。在各种道路场景下都取得了稳定的识别结果，可以为高精地图的构建提供丰富而精细的交通标线信息，辅助自动驾驶安全出行与路径决策。

本文的贡献主要有二：其一，提出了一套基于模板匹配和决策树的交通标线语义分割方法，在精度和召回率并不落后于现有方法的同时，包含了更多的语义分类类别；其次，该算法全面基于先验知识而大幅简化标线识别的复杂难度，且避免了机器学习算法繁杂的训练过程。本文方法对于出现断裂和磨损的交通标线会存在误分割等问题，这同样也是目前标线识别过程中的难点问题。下一步的工作应当着重于将所提出的方法进行实际应用。例如，可以通过箭头标线的语义信息来判断交叉路口以及每条车道的通行方向；或者根据路网的交通标线信息还原出该区域的路网渠化和拓扑结构。此外，可以考虑加入入射角校正模型和强度校正模型，以降低噪声对标线提取的影响，提高语义赋值精度。

作者贡献声明：

刘春：确定总体框架，指导实验设计和论文写作。

戚远帆：完成实验，撰写与修改论文。

李友源：完成实验，撰写论文。

吴杭彬：确定总体框架，指导实验设计和论文写作。

姚连璧：指导实验设计。