基于计算机视觉的公路边坡裂缝检测方法

傅宇浩， 郭 沛， 刘鹏宇， 李瑶瑶， 陈善继， 王聪聪

(1.中咨数据有限公司，北京 100089; 2.空间信息应用与防灾减灾技术交通运输行业研发中心，北京 100089; 3.北京工业大学 信息学部，北京 100124; 4.先进信息网络北京实验室，北京 100124;5.计算智能与智能系统北京市重点实验室，北京 100124; 6.青海民族大学 物理与电子信息工程学院，青海 西宁 810007)

近年来，随着国家基础建设投资、重视程度的增加，我国山区公路里程呈平稳增长。我国山区公路边坡具有数量多、边坡角度陡峭、坡体表面裸露和稳定性差等特征，且坡体内部地质复杂，缝隙发育、稳定性等问题较为突出。在公路网络大规模建设的同时，山区公路在施工和运营中面临着滑坡、泥石流、崩塌等地质灾害的威胁，山区公路边坡稳定性问题将是一个不可忽视的问题。

滑坡的形成需要经历灾害孕育期、灾害成长期和灾害发生期3个阶段,随着灾害的不断累积叠加,最后产生明显的宏观变形,引起山体滑坡。裂缝是山体滑坡等大部分病害的早期症状，故安全监测集中在此阶段进行。当前边坡裂缝检测仍以人工检测为主，个别路段采用现场埋传感器[1]、GIS[2]等方法，但耗费大量人力物力，且检测精度和效率也不突出。

检测图像中的物体是计算机视觉的基本任务之一。近年来，随着深度学习的不断发展，基于深度学习的计算机视觉在目标检测与图像分割领域取得了令人瞩目的进展，计算机视觉方法逐渐应用到裂缝检测领域。本文提出了基于计算机视觉的边坡裂缝检测方法，通过专业摄像头实时拍摄公路边坡裂缝图片，并将图片作为基于卷积神经网络的边坡裂缝识别模型的输入，识别并标注裂缝区域轮廓，计算裂缝面积，统计裂缝发展方向，时刻监测边坡灾害发生的周期规律,弥补了传统检测方式的不足，具有效率高、成本低等优势，对于边坡滑坡监测预警可以起到很好的帮助作用。

1 相关研究

边坡稳定性的研究至今已有百年，在这百年中，边坡稳定性问题一直困扰着学者。马惠民等[3]研究了5种不同结构的顺层岩质边坡的破坏规律，并总结了5种破坏模式间的相关性，分析了顺层岩质边坡的内在破坏规律；吴振君等[4]利用敏感性因子和随机场变量对边坡滑动面上的不同位置进行了工程加固处理后，发现边坡的安全性明显有所改善；薛锦春等[5]利用数理统计的动态聚类分析法对边坡稳定性的计算参数进行了研究，并利用动态聚类分析法对研究边坡的稳定性进行了分析。

近年来，基于深度学习的方法在计算机视觉方面取得了令人鼓舞的成绩，基于深度学习的像素级图像分割算法开始逐渐用于边坡裂缝中。魏文龙等[6]提出基于轻量化网络MobileNet的桥梁裂缝识别模型，识别准确率可达97.14%。李子豪等[7]提出一种基于ResNet18的四分类神经网络，实现了铁氧体零件裂缝检测。瞿中等[8]提出一种新的模型全U网络实现了混凝土路面裂缝检测，所提算法平均准确率为83.48%。任秋兵等[9]提出了一种基于深度卷积神经网络的水工混凝土裂缝像素级形态分割与特征量化方法，该方法通过改进的U-net深度网络架构，提出适用于水工混凝土裂缝检测的形态分割模型和特征量化方法。Cha等[10]和Gibb等[11]分别采用卷积神经网络对混凝土表面的裂缝进行检测，但是该方法只能完成裂缝检测的定位，并不能完成裂缝长度、宽度的测量；Nishiyama等[12]在裂缝的两侧分别放置靶点，通过判断靶点位置的变化可以计算裂缝的宽度。但是，上述方法在使用中存在一定的局限性，裂缝检测效果对光照不均匀性十分敏感，对于细裂缝的测量准确性差，仅完成了裂缝区域的检测，但并没有完全实现对裂缝宽度的测量以及误差分析。

综上所述，研究设计一种能对边坡裂缝进行精准识别的模型对于公路边坡安全具有极大的市场价值。鉴于卷积神经网络在图像识别领域的突出表现，本文首先利用专业摄像头拍摄并筛选了大量边坡裂缝图片，在岩土专家的指导下，构建了大规模的边坡裂缝数据集。基于此数据集，本文提出了一种基于卷积神经网络的边坡裂缝识别网络，对边坡裂缝进行有针对性的特征提取，结果表明，该模型对应边坡裂缝识别具有较好的效果。

2 裂缝识别模型整体架构

根据以上研究内容，本文自主构建了边坡裂缝数据集，并基于此数据集，提出了一种基于深度卷积神经网络的边坡裂缝分割模型，实现了边坡裂缝的识别。本文的整体框架如图1所示。

图1 裂缝识别算法整体框架

3 裂缝识别网络模型

3.1 卷积神经网络

卷积神经网络(Convolution Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络具有强大的表征学习能力，无需手动选取特征，训练好权重即可得到效果较好的特征分类。卷积神经网络的结构包括输入层、隐含层和输出层。

(1) 输入层。

卷积神经网络的输入层可以处理多维数据。输入层主要是对原始图像进行去均值、归一化和PCA降维等预处理操作。

(2) 隐含层。

一个基本的卷积神经网络的隐含层包含卷积层、池化层和全连接层三类常见结构。卷积层由若干个卷积神经单元组成，通过图像与卷积核的卷积运算，可以实现对输入图像的降维和特征提取；池化层又称为下采样层，池化层夹在连续的卷积层之间，用于压缩数据和参数的量，避免过拟合；全连接层是指将之前卷积层提取的局部特征经过池化层降维后，通过权值矩阵重新组合成完整的图。全连接层将卷积输出的二维特征图转化为一维的向量，在整个卷积神经网络中起到分类的作用。

(3) 输出层。

输出层主要是准备做好最后目标结果的输出。在图像语义分割中，输出层直接输出每个像素的分类结果。

3.2 语义分割

语义分割是指机器自动从图像中分割出对象区域，并识别其中的内容，语义分割是在像素级别上的分割，即将图像中每个像素分配到对应的某个对象类别。图2为裂缝分割输入图像，图3是经过语义分割后的裂缝输出图像。该模型不仅需要识别出裂缝和背景，还要标出每个裂缝对象的边界。因此，分割模型不仅需要实现目标分类，还需要具有像素级的目标预测能力。裂缝分割需要区分裂缝和背景两类像素。

图2 裂缝分割输入图像

图3 语义分割后的输出图像

常用的语义分割性能评价指标有精确度(Precision)、召回率(Recall)、F1-Score和交并比IoU(Intersection over Union)[13-16],其中Precision表示预测为正类的样本中真正的正类所占的比例;Recall表示样本中正类被正确预测的比例;F1-Score在数值上表示二者的调和均值;IoU指的是分割结果与真正标签两个集合的交集和并集之比。

(1)

(2)

(3)

(4)

3.3 基于卷积神经网络的边坡裂缝分割模型FSNet

3.3.1 FSNet网络模型

目前，基于图像的边坡裂缝识别研究并不多，且没有公开的边坡裂缝数据集。为此本文构建了边坡裂缝数据集。基于此数据集，本文提出了一种边坡裂缝识别模型FsNet，可以对边坡裂缝进行更有针对性的特征提取，所设计的边坡裂缝识别网络FSNet结构如图4所示。首先经过一个卷积层。卷积层和池化层提取边坡裂缝浅层信息，然后通过4个重复的stage模块来构建网络。每个stage模块包含不同数量的特征提取单元和一个降采样单元。其中，特征提取单元主要通过将输入通道拆分并与卷积核逐通道进行卷积从而降低了卷积运算的复杂度；降采样单元首先通过逐点卷积实现信息间的整合，然后，通过平均池化和最大池化，实现空间尺度的降采样。最后通过上采样后实现特征分类。这种设计思想使得网络简单易实现，且具有强扩展性。

图4 边坡裂缝识别网络模型

4 实验结果及分析

4.1 数据集

在边坡领域，目前没有公开的边坡裂缝图像数据集，本研究采用北京市房山区现场实拍的边坡裂缝影像数据。原始数据为边坡裂缝图，共有图片11130张，图片分辨率为4624像素×3472像素和1920像素×1080像素，但是部分图像存在拍摄画面模糊、植物遮挡严重、图片视角重复等问题，需对图片进行清洗。

由于采集的图片尺寸很大，用LabelMe标注时会损失很多的纹理细节信息，需要将图片分割为512像素×512像素。在专业岩土专家的指导下，利用LabelMe软件进行了人工标注，形成了初始的裂缝数据集。在标注后，部分图片仍存在植物遮挡严重、图片视角重复等问题，再次对图片进行清洗，最后形成裂缝数据集，共有图片312张。

4.2 实验配置

本文数据集按照8∶1∶1的比例将全部数据划分为训练集、验证集和测试集3部分进行交叉验证，前两者用于构建优化模型，而后者则用于模型性能检验。本文训练时使用MXNet框架，编程语言为Python3.6，损失函数使用的是交叉熵函数，所用的优化器为SGD(Saccharomyces Genome Database)，进行批训练的大小为10，迭代次数为1000，初始学习率为3×10-4。

4.3 实验结果与分析

本文选取未经训练的裂缝图像用于验证模型的分割性能，部分裂缝结果展示如图5所示。从图中可以看出，图5(a)为水平缝，裂缝宽度较小，同时在缝的右下角有间断的不连续的没有规律的小缝，在识别结果中完整地分割显示出来了；图5(b)为水平斜向下缝，缝两边宽度较缝中间宽度大，识别结果较好；图5(c)为水平斜向上缝，该缝光线较强，且成波浪型，在识别结果中并没有很好的识别出来，但基本走势可以显示出来；图5(d)为竖直缝，该缝光线较暗，且宽度不一，在缝的开始阶段有一个很短的水平缝且光线较暗，在识别结果中没有识别出来，但缝整体识别较好。由以上结果可以看出，本文所设计的FSNet模型对于裂缝的该分割效果与裂缝形态较为接近，横纵向裂缝均可以准确定位与识别。从而验证了采用基于计算机视觉的方法对边坡裂缝识别的方法是可行的。表1为量化样本图像的裂缝分割结果，总体精度达到94.21%，综合性能指标F1-Score、IoU均值分别为82.725%和73.48%，表明该模型的识别效果较好，对实际应用场景具有一定的适应性。

表1 样本图1～图4裂缝分割性能量化评估结果

图5 部分裂缝结果展示

5 结束语

边坡裂缝的自动检测及预警可以在很大程度上减小主观因素影响带来的识别误差，节约了人力成本，对公路边坡安全具有指示性的意义。

根据边坡裂缝的特性，本文基于卷积神经网络的深层网络结构，结合自制的边坡裂缝数据集，提出适用于边坡裂缝的形态分割模型，构建模拟场景并设置多方法性能对比仿真实验，结果表明深度学习在边坡检测方面具有无可比拟的优势。

尽管深度学习在计算机视觉方面取得了革命性进步，但在边坡灾害中的应用研究仍处于起步和探索阶段，仍然面临着诸多的难题和挑战。一方面，与传统识别方法[17]相比，深度语义分割模型[18-20]的特征需要从大数据中学习得到的，模型性能会高度依赖训练数据的数量和多样性。而本文的数据集在经过清洗和分割后，在数量和多样性上仍然不具有优势，需要进一步增加数据集的样本量，同时可以看出，本文部分数据集存在过亮或过暗的情况，这对识别算法造成了一定的难度，需针对图像光线过强或过弱的情况对数据集进行有针对性的图像增强。另一方面，虽然本文的分割效果相对较好，但是检测精度仍需进一步提升。