基于FCN的路面裂缝分割算法*

韩静园， 王育坚， 谭卫雄， 李深圳

(北京联合大学 智慧城市学院，北京 100101)

0 引 言

我国公路交通正处于高速发展时期，交通流量与日俱增，人们对行车安全、舒适和经济的要求不断提高，路面养护的重要性和紧迫性日渐凸显[1,2]。因此，加强路面裂缝图像识别技术的研究具有很大的实际意义。目前，路面裂缝分割方法主要有传统的图像分割方法、基于机器学习的方法和深度学习方法等三种。

很多传统的图像分割方法能够用于解决路面裂缝分割问题。文献[3]针对裂缝较暗的特点，使用不同的阈值进行处理,但阈值的选择存在困难，对噪声和环境比较敏感。使用手动设计的特征表示方法，如Gabor滤波器、HOG等方法在检测背景简单的裂缝时取得了较好的效果，但是对于复杂背景下的图像，分割效果不理想，且参数的选择也耗时耗力。

机器学习方法也常用于路面裂缝分割。根据路面纹理特性，使用支持向量机[4]，采用不同的滤波器提取裂缝特征，利用AdaBoost[5]进行裂缝分类。为了提取出所有疑似裂缝的像素点进行二值化处理[6]，选择K均值聚类检测裂缝。虽然这些方法在一定场合下效果不错，但是泛化能力差，通用性不高。

近年来，深度学习方法开始用于路面裂缝的检测和分割。2016年Lei Z等人使用4层卷积神经网络(convolutional neural networks，CNN)实现了路面裂缝检测[7]，准确度达到87 %。2018年王森等人[8]为了实现逐个像素裂缝检测，在全卷积神经网络(fully convolutional networks，FCN)的基础上提出了CrackFCN模型，但模型的查准率、查全率不高。2019年翁飘等人[9]在FCN8S的基础上提出FCN4S模型，模型加入了第2层池化层的特征，增加了局部信息，从而提高了模型性能，但忽略了裂缝边缘、图案和形状等特征的权重分配。

本文在FCN方法的基础上，通过使用挤压和激励(squeeze and excitation，SE)模块，自适应为裂缝边缘、图案和形状等特征分配权重[10]，构建改进的FCN模型，用于路面裂缝分割，并设计实验进行验证。

1 模型方法原理

1.1 FCN

CNN主要通过多层次的卷积池化组合进行特征提取，再连接若干个全连接层来进行分类。VGG16模型的所有全连接层通过FCN转化成卷积层,是为了解决在连接所有全连接层后，原始图像中目标位置坐标无法与对应的像素点相对应的问题。FCN将最后的三层全连接层改为卷积层，卷积核的大小(C,H,W)分别为(4 096,1,1),(4 096,1,1)和(1 000,1,1)。

针对不同的池化层上采样，FCN分为FCN32S,FCN16S和FCN8S三种模型，如图1所示。

图1 FCN三种模型卷积过程

1.2 挤压和激励

2019年Hu J等人10]通过考虑特征通道之间的关系来提高网络的性能,因此提出了挤压和激励网络(squeeze and excitation networks，SENet)，通过设计SE block自适应校准通道间的特征。SE block的核心就是挤压(squeeze)和激励(excitation)两个运算。

Squeeze运算，就是将得到的多个特征U，采用全局平均池化Fsq(.)操作，然后再对每个特征uc进行压缩，得到C个特征，最后变成1×1×C的实数数列，用zc表示第C个特征输出，公式如式(1)所示

(1)

Excitation运算，是在得到z以后先经过一个全连接层由1×1×C变成1×1×C/r，然后用ReLU激活后，再经过一个全连接层变回1×1×C，最后经过Sigmoid输出，得到特征U上权重

s=Fex(z,W)=σ(g(z,W)=σ(W2δ(W1z))

(2)

利用权重s对原始特征在通道上进行重标定，通过点乘逐个通道加权，提高有用特征的权重，抑制无用特征。

2 改进的FCN

2.1 改进的FCN模型结构

FCN按像素级别进行分类，将整个复杂的裂缝图像分割成只含有裂缝像素的图像，其过程如图2所示。本文利用FCN按像素分类的特点，通过加入SE模块，对FCN模型进行改进，提出一种SE—FCN8S改进模型。SE—FCN8S模型能够调节裂缝边缘、图案和形状等特征的权重，利于提高模型的性能。

图2 FCN裂缝分割过程

SE—FCN8S模型的结构如图3所示。模型输入层是一张224×224×3的图像，经过第1层2次卷积后送入第1个池化层(pool1)，维度变成112×112×64；经过第2层两次卷积后送入第二个池化层(pool2)，维度变成56×56×128；经过第3层3次卷积后送入第3个池化层(pool3)，维度变成28×28×256；经过第4层3次卷积后送入第4个池化层(pool4)，维度变成14×14×512；经过第5层3次卷积后送入第五个池化层(pool5)，维度变成7×7×512；经过3层全卷积后维度变成1×1×2。

图3 SE-FCN8S模型结构

通过上采样(反卷积)将维度变成14×14×2；然后通过与经过SE的pool4进行特征融合后，再一次经过上采样，将维度变成28×28×2；最后通过与经过SE的pool3进行特征融合后，再次经过上采样，将维度变成224×224×2，也是最后的输出，实现了端到端的输出。改进方法在pool3和pool4后加入了SE模块，建模卷积特性通道之间的相互依赖关系，通过挤压和激励，自适应的为裂缝边缘、图案和形状等特征分配权重，进而提高网络性能。

2.2 改进的FCN模型参数

SE-FCN8S模型的参数如表1所示。

表1 SE-FCN8S模型参数

3 实验与分析

3.1 实验环境和数据集

实验环境是在基于Linux系统下搭建Keras深度学习框架。硬件环境是PC台式机，内存32G；2块1080GPU，每块内存8GB；CPU 为Intel®CoreTMi5—2410 M，系统为Ubuntu 14.04.5。

实验数据为线扫描相机采集的京藏高速路段的一部分，包括含有油脂和阴影的裂缝路面。根据裂缝的分类标准，采用横向裂缝、纵向裂缝以及网状裂缝三种具有代表性的图片，共3 000幅，建立自己的路面裂缝数据库(pavement segmentation database,PSDB)，数据库中所有图已全部标注。

3.2 评价标准

在评价路面裂缝分割性能时，主要考虑TP、FP、FN、TN等4种类别，其含义如表2所示。

表2 评价类别

落在每个类别中的像素数量通常用于量化检测的裂缝与实际裂缝之间的一致性。可以从表2中4个基本评价类别推导出一些评价指标，其中以下几个评价指标被广泛使用：查准率P(Precision)，查全率R(Recall)，DSC(dice similarity coefficient)。DSC是P和R的调和平均值。分别定义为

(3)

(4)

(5)

DSC系数结合了查准率P和查全率R两个评价指标，通常被用作综合性评价指标[11]。DSC特别适用于评价目标像素表现不突出时的图像分割，而裂缝分割就是属于这种情况。DSC值位于0～1之间，值越大代表分割效果越好。在实践中，一般认为DSC值超过0.7就意味着有很好的一致性。

3.3 SE-FCN8S模型结构测试与比较

从PSDB库中抽取2 000张图片作为训练，1 000张作为验证，因为这里输入规格为224×224，所以把每张图片切割成224×224的训练图片，则最后的训练集为10 000个，验证集为5 000个。采用VGG16模型，并用ImageNet预训练参数。先应用FCN8S进行裂缝分割调优，然后在同样的学习率和损失函数Loss下对SE-FCN8S进行训练。从图4(a)与图4(b)可以看出，SE-FCN8S的Loss值不管是在训练还是验证时都比FCN8S低。从图4(c)可以看出，单纯使用FCN8S模型，DSC值最大为0.813，效果较好。但加入了SE模型后，SE-FCN8S模型最大的DSC可以达到0.882，提高了将近7 %。

图4 FCN8S与SE-FCN8S的对比

3.4 与其他方法的比较和分析

为验证改进算法的有效性，采用PSDB裂缝数据进行实验，对FCN8S模型、CrackFCN模型[8]、FCN4S模型[9]和本文改进模型 SE-FCN8S进行定性和定量分析。为了分析复杂背景下分割裂缝的有效性，实验中加入了带阴影和油脂的图片。图5中，第1行和第2行是2张带不同阴影图的分割结果，第3行是一张有油脂图的分割结果，第4行和第5行是任意2张图的分割结果。从左往右每列依次是原图和FCN8S,FCN4S,CrackFCN,SE-FCN8S的分割结果。

从图5中可以看出，FCN8S模型存在明显的误分割和分割丢失现象。在油脂图中，FCN8S分割性能较差，将油污等噪声也当作目标处理。FCN4S虽然在误分割方面有所改进，但对于存在阴影且裂缝很细的图片，还是存在误分割现象。CrackFCN虽然在误分割方面表现很好，但也存在大量的分割丢失现象，在有阴影噪声的情况下，裂缝分割性能较差，如图5中第2行所示。本文改进模型SE-FCN8S在误分割和分割丢失方面都表现较好。

图5 FCN8S、FCN4S、CrackFCN和SE-FCN8S定性比较结果

为了定量分析改进方法在复杂背景下的裂缝分割的有效性，随机选取了500幅带阴影和油脂的裂缝图像，还随机选取了2 000幅裂缝图像，分别进行统计，结果如表3和表4所示。

表3 带阴影、油脂图裂缝分割的P值、R值和DSC值

表4 随机图像裂缝分割的P值、R值和DSC值

统计数据与图5的分析结果一致。图像不管是在什么背景下，FCN8S在误分割和分割丢失方面的分割性能都是最低的。FCN4S因为结合了第二次下采样的信息，分割性能有所提升。但FCN4S多结合了裂缝的浅层特征，因此，在复杂背景下可能误把油脂和阴影背景当成目标，结果存在大量的误分割现象，P值很低。对于减少了网络参数的CrackFCN模型，在复杂背景下，因为其网络参数减少，会造成一些与阴影、背景相似的裂缝丢失，因此R值很小。对于本文改进的SE-FCN8S模型，因为在浅层特征与深层特征融合时，加入了SE模块，可以很好地加强目标裂缝的权重，抑制如油脂、阴影等无用特征的权重，提高了裂缝分割性能。在复杂背景下，SE-FCN8S模型的R值上能达到0.88，DSC值也达到了0.85。统计数据也验证了改进方法的鲁棒性和有效性。

4 结 论

FCN模型可以用于路面裂缝的分割，但对于复杂背景下的路面裂缝图像，分割效果不理想。改进模型SE-FCN8S通过加入SE模块，自适应地为裂缝边缘、图案和形状等特征分配权重，提高了路面裂缝分割的性能。实验结果显示，与其他FCN模型相比，SE-FCN8S模型在误检率、漏检率和DSC综合评价指标等方面都有明显的改善。研究结果表明:在分割裂缝图像网络中应用SE-FCN8S模型是有效的。下一步研究工作是考虑在3D分割网络中加入注意力机制，以进一步提高路面裂缝分割的性能。