基于实时语义分割模型的机场道面裂缝检测方法研究

张力波 邵黎明 曹铁

摘要：机场道面裂缝影响着飞机的安全起降，当前机场主要依靠传统的人工巡查方式检测道面裂缝。随着深度学习算法的快速发展，语义分割模型在保证精度的前提下推理速度不断提高，为自动实时检测道面裂缝提供了技术支撑。在此背景下，结合语义分割模型的研究成果，提出了一种在机器人巡检过程中实时检测机场道面裂缝的方法。

关键词：机场道面;裂缝检测;深度学习;实时语义分割

中图分类号：TP391.41;V351.11    文献标志码：A    文章编号：1671-0797（2022）04-0082-04

DOI：10.19514/j.cnki.cn32-1628/tm.2022.04.024

0    引言

裂缝是机场道面最主要的表观结构病害，同时也是威胁飞机安全起降的重要隐患。目前机场主要依靠人工巡检的方式检测道面裂缝，这种传统方法精度差、效率低，且大型机场的跑道面积大使得检测人员的工作量巨大。因此，大型机场对道面裂缝的自动化识别需求越来越强烈。

2012年，被称为“神经网络之父”的Hinton和他的学生Alex Krizhevsky利用深度神经网络理论设计的AlexNet[1]取得ImageNet竞赛冠军，自此之后，人工智能的深度学习方法开始蓬勃发展。到目前为止，深度神经网络在机器视觉领域已经取得大量的研究成果，并在多个工业场景落地使用，如采用FaceNet[2]等人脸识别算法进行人脸识别;GAN[3]网络用于风格化图片的生成;HRnet[4]等姿态检测网络用于检测人或其他感兴趣物体的行为姿态;YOLO[5]、FasterRCNN[6]等目标检测模型用于行人、车辆以及其他感兴趣物体的检测;U-Net[7]、SegNet[8]及DeepLab[9]等语义分割模型用于医学影像中的病变检测、机械制造中的缺陷检测以及自动驾驶中的物体检测。其中，语义分割模型可对无固定形状的缺陷进行检测，但最初的语义分割模型结构复杂，检测速度慢，不利于工业落地。2016年6月推出的ENet[10]相对于SegNet，其检测速度大大提高，在NVIDIA TitanX显卡上实现了每秒检测46张像素尺寸为1 920×1 080的图片。从2016年至今，实时语义分割模型的精度与速度不断提高，其中2021年推出的DDRNet[11]在NVIDIA GTX2080Ti显卡上实现了每秒检测108张像素尺寸为2 048×1 024的图片，已符合工业落地的要求。

道面裂缝的检测在机器视觉领域属于检测任务，当前主要有目标检测和语义分割两大类算法处理检测任务。如图1所示，目标检测算法在图片上检测出感兴趣物体后用方框标记出其在图片上的位置;如图2所示，语义分割算法则能够在检测出感兴趣物体后对物体沿着轮廓进行分割。考虑到裂缝的长度、面积等外观特征后续将用于计算道面损坏情况[12]，本文选择在TensorFlow框架下复现和改进当前性能表现好的实时语义分割模型DDRNet（深度双分辨率网络），用于机场道面裂缝的自动检测。

1    DDRNet概述

1.1    总体结构

DDRNet全称是深度双分辨率网络（Deep Dual-

resolution Networks），总体结构如图3所示，输入图像在经过两个残差块后，特征提取被分成两个具有不同分辨率的平行分支：一个高分辨率分支（图中上路分支）生成相对高分辨率的特征映射，另一个低分辨率分支通过多次下采样操作提取丰富的上下文信息。两个分支之间桥接多个双边融合以实现有效的信息融合，并在最后通过add的形式进行特征融合，融合后的特征经过卷积模块得到最终的预测结果。另外，DDRNet模型提出了能够极大增加感受野的深度聚合金字塔合并模块（DAPPM），该模块比普通的PPM能更充分地提取信息。

1.2    残差块

残差块（Residual Block）是He等提出的残差网络中的基本结构，可以解决深度神经网络的退化问题。残差块的结构如图4所示，其中，X表示输入，H（X）是期望的复杂潜在映射，当网络较深时，难以直接拟合H（X）。模型已经学习到较饱和的准确率时，后续的学习目标则转变为恒等映射的学习，即H（X）=X，从而确保在后面的层次中不会造成精度下降。残差块通过“shortcut connections”的方式，直接把输入X传到输出，使输出结果为H（X）=F（X）+X，其中F（X）称为“残差映射”。F（X）=

H（X）-X，当F（X）=0时即实现恒等映射，于是，残差网络相当于将学习目标从学习复杂潜在映射H（X）变为学习将残差映射F（X）的结果逼近于0，使得准确率不会随着网络的加深而下降。因此，残差块结构的出现，大大加深了深度神经网络的深度。

1.3    双边融合结构

双边融合结构是人体姿态检测网络HRNet中的一种重要结构，通过多次重复的双边融合实现对多分辨率子网络的多尺度特征融合。雙边融合的主要结构如图5所示，高分辨率分支通过卷积层下采样后与低分辨率分支融合，低分辨率分支通过插值上采样层后与高分辨率分支融合。

1.4    DAPPM模块

如图6所示，受MSFNet和Res2Net的启发，DDRNet提出了将深度特征聚合与金字塔池化相结合的DAPPM模块。该模块首先通过大尺度的池化核和步长获得不同分辨率的特征图，不同分辨率的特征图经上采样后再以层次残差的方式进行信息融合，融合后的特征通过1×1卷积进行压缩。为了便于优化，在压缩特征上增加了一个输入的快捷连接。DAPPM提取的信息比PPM更加丰富。

2    模型的训练与结果处理

2.1    数据的收集与增强

深度学习需要大量的数据进行训练，故首先通过自研的道面自动检测机器人从机场收集数据。如图7所示，机器人主要由机器人小车、线阵相机、全景相机、雷达以及工控机组成，其中线阵相机负责采集道面的图像数据，图像数据的尺寸为2 048×2 048;工控机负责机器人小车的自动/远程控制以及采集图片的预处理。机器人采集的图像如图8所示。

其次还要收集公共的裂缝数据集CFD、GAPS384和CRACK500来作为补充。为了进一步扩充训练数据，对各数据集进行了亮度调节、镜像、旋转、裁剪以及仿射弹性变换等数据增强操作。经过数据的收集与增强，共获得36 912幅裂缝图片。

2.2    实验结果

将裂缝图片中的80%作为训练数据对DDRNet模型进行训练，训练完成后用剩余的20%进行测试，部分测试效果如图9所示。本次测试用平均交并比（MIoU）作为算法准确性评价指标，本次调优训练达到的最好效果为MIoU=72.8%，满足对裂纹探测的需求，后续将通过采集更多数据提高模型检测精度。本次测试的主机显卡为NVIDIA RTX3090，对像素尺寸为1 024×1 024图片的检测速度为120 fps。巡检机器人采集图片的像素尺寸为2 048×2 048，可分割为4张1 024×1 024像素尺寸的图片，因此，该算法每秒可检测25张以上巡检机器人采集的图片，达到了实时性的要求。

3    结语

针对道面裂缝病害实时检测以及轮廓提取等问题，本文结合深度学习快速语义分割算法的最新研究成果，采用DDRNet算法对道面裂缝病害进行实时检测。通过实验验证，DDRNet可实现对一台2K摄像机采集图像进行实时检测，且对裂缝病害的检测精度达到了应用要求。在后续的研究工作中，可继续从快速语义分割模型的角度出发，搭建道面病害实时检测系统。

[参考文献]

[1] KRIZHEVSKY A，SUTSKEVER I，HINTON G.ImageNet Classification with Deep Convolutional Neural Networks[J].Communications of the ACM，2017，60（6）：84-90.

[2] SCHROFF F，KALENICHENKO D，PHILBIN J.FaceNet：A Unified Embedding for Face Recognition and Clustering[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2015：815-823.

[3] CHOI Y，CHOI M，KIM M，et al.StarGAN：Unified Generative Adversarial Networks for Multi-domain Image-to-Image Translation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），2018：8789-8797.

[4] SUN K，ZHAO Y，JIANG B R，et al.High-Resolution Representations for Labeling Pixels and Region[J/OL].arXiv：1904.04514，2019.[2021-10-29].https：//arxiv.org/pdf/1904.04514.pdf.

[5] REDMON J，FARHADI A.YOLOv3：An Incremental Impr-ovement[J/OL].arXiv：1804.02767，2018.[2021-10-29].https：//arxiv.org/pdf/1804.02767.pdf.

[6] REN S Q，HE K，GIRSHICK R，et al.Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[7] RONNEBERGER O，FISCHER P，BROX T.U-Net：Convolutional Networks for Biomedical Image Segmentation[J/OL].arXiv：1505.04597，2015.[2021-10-29].https：//arxiv.org/pdf/1505.04597.pdf.

[8] BADRINARAYANAN V，KENDALL A，CIPOLLA R.SegNet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（12）：2481-2495.

[9] CHEN L C，PAPANDREOU G，KOKKINOS I，et al.DeepLab：Semantic Image Segmentation with Deep Convolut-ional Nets，Atrous Convolution，and Fully Connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

[10] PASZKE A，CHAURASIA A，KIM S，et al.ENet：A Deep Neural Network Architecture for Real-Time Semantic Segmentation[J/OL].arXiv：1606.02147， 2016.[2021-10-29].https：//arxiv.org/pdf/1606.02147v1.pdf.

[11] HONG Y D，PAN H H，SUN W C，et al.Deep Dual- resolution Networks for Real-time and Accu-rate Semantic Segmentation of Road Scenes[J].Journal of Latex Class Files，2015，14（8）：1-12.

[12] 民用機场道面评价管理技术规范：MH/T 5024—2019[S].

收稿日期：2021-11-02

作者简介：张力波（1991—），男，四川眉山人，工程师，研究方向：机场安全。

3227500338221