基于通道注意力与密集连接机制的道路裂缝识别方法研究

廖锡博，黄尚樱

（广东工业大学，广东广州，510006）

1 课题背景与概述

一条公路上裂缝的数量和每条裂缝的长度、宽窄是评价公路路面质量的重要参考指标。裂缝本身对安全所造成的威胁并不是最为严重的，但若不经过及时处理，裂缝可能衍生出其他更为严重的次生病害。如雨水渗入裂缝可能腐蚀路基，加上车辆荷载的长期反复作用，可能导致裂缝加深加宽甚至路面塌陷，危害行车安全。

因此，对路面裂缝进行快速、准确的检测是路面养护工作中最为重要的任务之一。

2 研究内容与目标

近年来，为了更加准确、快速地识别路面裂缝，国内外学者进行了深入的研究，并取得了一定的成就。而其中，较为经典的主要有：

（1）使用中值滤波与原图差值移除图像阴影，并使用汉森矩阵的线性滤波进行裂缝识别；（2）通过渗滤处理算法快速识别大尺寸图像裂缝；（3）通过传统图像预处理进行裂缝识别测量；（4）利用自适应方法提取裂缝区域。

图1 中值滤波与原图差值移除图像阴影方法

上述方法在一定程度上能够对裂缝进行检测识别，但也存在一定的局限性。比如在光照不均匀时对裂缝识别与测量准确性比较差，甚至在进行裂缝测量时，由于裂缝还会出现一定的断点，在裂缝长度和宽度计算上存在着一定的误差。

因此，本文的主要研究内容及主要目标：

（1）能够对光照不均、图片背景复杂从而导致道路裂缝识别效率低的问题进行优化，提高路面裂缝的识别准确率，并且可以将该模型应用在更多的场景中；

（2）通过道路裂缝识别技术，去获得道路裂缝的尺寸、数量与位置信息，为后期道路修复提供数据支撑。

3 道路裂缝识别方法研究

3.1 数据集采集与处理

本文主要采用了SDNET2018数据集，该数据集包含了56,000张具有裂缝和不具有裂缝的混凝土桥地板、墙壁和人行道的RGB图像。数据集中的裂缝长度0.06~25毫米，且含阴影和孔洞等各种噪声信息。

本实验中采用了填充、随机裁剪、随机翻转等策略以对输入图像进行数据增强处理，从而有效地增加数据量以提高神经网络的泛化性能。

图2 SDNET2018数据集

3.2 对比验证实验

本实验使用AlexNet、VGG-16、VGG-19、ResNe t-18、DenseNet等模型进行对比实验，从而对后续设计的模型提供参考。

（1）其中AlexNet在训练与验证中的准确率与损失值出现了较大的差距，即过拟合现象，其泛化准确率仅为78.86%；

（2）VGG-16的泛化准确率为79.47%，而VGG-19在该实验中最佳泛化准确率为77.75%，与VGG-16相比减少了1.72%。存在一定程度的“深度网络退化现象”。

（3）ResNet-18使用了残差连接结构，有效地解决深度神经网络中的深度退化问题，其准确率也提高到了89.74%。

图3 AlexNet准确率及损失值变化情况

图4 VGG16准确率及损失值变化情况

图5 VGG19准确率及损失值变化情况

图6 ResNet—18准确率及损失值变化情况

图7 DenseNet总体结构

除此以外，ResNet-18在训练过程中也比AlexNet、VGG-16与VGG-19稳定。

（4）相比于ResNet-18，DenseNet采用了密集连接的设计，将所有特征图之间两两在通道维度上进行拼接以实现信息的最大化利用，其准确率超过ResNet-18，达到了90.25%。

3.3 算法设计与测试

基于以上实验，最终以DenseNet作为算法模型设计的参考基础。进一步实验表明，DenseNet使用了大量的短路连接结构来重复利用特征图，但并非所有短路连接都是对模型有效的，甚至部分短路连接会起到负面结果，从而干扰神经网络分类结果。

而SE模块作为一种通道注意力模块，能够有效地减少网络中无用或有害的连接，从而保证模型能够控制短路连接的权重从而更好地完成训练。

所以在定性的角度下可以认为，通过在DenseNet上添加SE模块能够提高模型的泛化性能。

因此，在DenseNet的两种连接结构中加入SE模块进行优化，即可得到两种类型的具有通道注意力模块的密集连接网络，分别称为DenseNet-SE和DenseNet-NSE。

DenseNet-SE考虑了密集连接模块之间不同特征图在特征重用时的相对重要程度。

DenseNet-NSE则对不同密集连接模块与降采样模块之间传输的特征图进行了筛选。

DenseNet-SE总 体 结构与DenseNet相同，仅在DenseBlock的短路连接上有所变化。在DenseNet-SE中，DenseBlock中每两个子模块之间都存在着短路连接结构，因此模型在训练的过程中将会鼓励每个子模块按照自己的需要去利用上游模块的特征图信息。

DenseNet-NSE总体结构与DenseNet相同，仅在模块之间的短路连接上有所变化。DenseNet-NSE在DenseBlock与卷积模块之间加入了SE模块。

图8 挤压和激励模块（squeeze and excitation）

图9 DenseNet—SE中SE模块添加位置

3.4 结果校验与分析

通过依次对DenseNet-SE与DenseNet-NSE进行训练，并与上述模型进行对比分析，直观上看，DenseNet-SE与DenseNet-NSE能够提高模型的泛化性能，并且DenseNet-SE的效果更好。

定性认为，如DenseNet-SE一样的注意力连接方式能够增强原版DenseNet中对特征图信息的筛选，以减少了部分无用甚至有害的短路连接，从而提高了神经网络的泛化性能。

图10 DenseNet—NSE中SE模块添加位置

而如DenseNet-NSE一样的注意力连接方式仅能控制模块之间数据的筛选，无法过滤掉密集连接结构中无用或有害的短路连接，因而在泛化性能上高于DenseNet且低于DenseNet-SE。

表1 模型测试集准确率

同时我们也使用DenseNet、DenseNet-NSE与Dense Net-SE在SDNET2018其他两种裂缝（混凝土桥地板、墙壁和人行道）数据集中进行训练，得到的结果如表2。

表2 模型在SDNET2018其他数据集上的情况

实验结果表明，上述结论具有一般性，即DenseNet-SE与DenseNet-NSE都能有效地提高原DenseNet模型的泛化性能。

同时证明在实际中可以使用少量的SE模块促使模型以更加平稳的方式收敛。

4 总结

本文从深度学习图像分类领域中进行了详细研究，并通过大量现有资料设计出了新的深度卷积神经网络DenseNet-SE及其变体DenseNet-NSE。

图11 DenseNet—SE准确率及损失值变化情况

图12 DenseNet—NSE准确率及损失值变化情况

在使用SDNET2018道路裂缝数据集进行训练中得到的结果表明，DenseNet-SE与DenseNet-NSE都能有效地提高原DenseNet模型的泛化性能，且如DenseNet-SE的结构相比于如DenseNet-NSE的结构在测试集中展现出了更好的泛化性能，这一结论在SDNET2018的人行道裂分与砖头裂缝数据集得到了验证。