基于ResNet网络模型的排水管道缺陷检测智能识别

2024-01-17李广超李泽伟阮殿勇朱培民何效周

工程地球物理学报 2023年6期

李广超，李泽伟，阮殿勇，张昊，朱培民，何效周

(1.黄河勘测规划设计研究院有限公司,河南郑州 450003;2.中国地质大学地球物理与空间信息学院,湖北武汉 430074)

1 引言

城市排水管道是必不可少的地下重要基础设施之一,承担着城市排水和排污的重要功能,具有大规模和高密度分布的特点。在管道老化、化学腐蚀、外力不均匀挤压、土体松动[1]、植物根系入侵[2]和微生物腐蚀[3]等多种因素的作用下,许多排水管道会形成堵塞、泄漏、破损等多种管道缺陷,并造成污水渗漏和排水不畅,甚至会引起路面塌陷、城市内涝和环境污染等问题[4]。为了避免上述问题,定期组织专业的排水管道检测,及时准确地掌握排水管道的结构稳固和功能保障状况,是维持城市现代化建设和城市生活高质量、高效率运转的基本保证。

目前,排水管道的检测最常用的是通过管道闭路电视(Closed Circuit Television, CCTV)采集图像或视频[5],并依赖人工识别管道的缺陷。这种人工方法需要大量的人力和时间。为了能够实现管道缺陷的自动识别,传统的图像处理和计算机智能算法被应用于排水管道缺陷的检测中,如阈值分割算法[6]、Canny边缘检测算法[7]、支持向量机[8]、基于图片的GIST特征的随机森林算法[9]等。但是这些方法仍存在以下缺点:①管道缺陷必须与背景存在明显差异,否则准确度较差,识别准确率低于75 %;②能够识别的缺陷类型较少;③仍需要人为干预,无法实现自动化。因此,这些算法实用性较差。

近年来,随着人工智能理论和技术的发展,特别是深度学习算法,在图像识别、语音识别和无人驾驶等应用场景中取得了重大进展。由于管道缺陷的识别也是图像识别的一种,许多学者利用各种深度学习算法来尝试管道缺陷识别与分类。例如,一般的卷积神经网络(Convolutional Neural Networks, CNN)和Unet(Unity Networking)网络用于排水管道的多类型缺陷(如根部入侵、裂缝、沉积物)识别算法[10-14],以及基于改进的Faster R-CNN(Region-Convolutional Neural Networks)模型实现了排水管道的缺陷检测等[15,16],为了实现CCTV视频中管道缺陷的自动检测。为了同时实现对排水管道的空间定位和几何属性的分割,周倩倩等提出了基于Deeplabv3+的排水管道缺陷检测和图像分割的方法[17]。

近年来,一种新的深度神经网络模型——残差网络(ResidualNetwork,ResNet),被发展出来[18-20],并在图像分类任务上取得了显著的效果。ResNet的核心思想是通过引入“残差块”或“跳跃连接”来解决深度神经网络中的梯度消失和梯度爆炸问题。传统的深层神经网络会随着网络的加深,梯度逐渐变小,导致训练过程困难,效果下降。而ResNet通过在网络中引入跨层连接,允许信息直接通过一个或多个层级跳跃传播,从而保持梯度的传播和信息流动。ResNet网络模型中的残差连接结构能够提升浅层神经元的利用率,同时多条支路也保持浅层特征有效地应用于网络整体中,提高了网络的识别精度。

为了更快和更方便,且降低对计算资源的需求,本文将管道检测的视频视为图片,并对其进行分类和标注,以生成大量的管道图像数据集;借助ResNet网络模型和结合排水管道缺陷的特点,提出了一种基于深度学习的排水管道缺陷内窥检测智能识别算法PipeResNet。这种算法经过测试,并分别比较了ResNet50、ResNet18、DCNN(Deep Convolution Neural Network)、VGG16和Inceptionv3这5类网络模型在排水管道检测中的应用效果,PipeResNet网络模型的识别精度最优,能够满足在实际排水管道检测中的应用需求。

2 PipeResNet结构设计

为了解决深层网络的退化问题,ResNet网络模型由何凯明等在2015年提出[18]。该模型利用残差连接的思想将浅层网络的输出恒等映射(Identity Mapping)至深层网络中,减少了模型的参数和计算量,提高了网络的性能。图1为ResNet网络模型中的一个典型残差单元结构的例子。

图1 ResNet网络模型的残差单元典型结构Fig.1 The residual element of ResNet

图1中从输入x到输出F(x)代表了ResNet的一个残差块。它包含了两个分支,其中一个是恒等映射路径(xIdentity),即直接将输入作为输出。另一个分支是残差映射路径,通过一些卷积层进行特征变换(F(x))。最后,将恒等映射与残差映射相加,得到最终的输出(F(x) +x)。残差块中的恒等映射路径实现了跳跃连接,允许信息直接绕过一些卷积层传播到更深层次。这种跳跃连接有效地解决了梯度消失和信息丢失的问题,有助于网络的训练和优化。ResNet的架构允许网络非常深,可达几十甚至上百层的规模。通过堆叠残差块,每个残差块将输入特征映射到更高维度的输出特征,从而使网络可以进行更复杂的特征提取。

为了实现区分排水管道各类缺陷的目的,本文以ResNet50的网络结构为基础[21],发展出了PipeResNet网络结构(图2)。PipeResNet50网络结构设计有50个卷积层或全连接层,其中卷积层分为5组,每组卷积层的卷积核数量分别为64、256、512、1 024、2 048。

图2 排水管道缺陷识别神经网络PipeResNet结构Fig.2 Structure of PipeResNet designed for identifying defects of drainage pipe

残差单元从第二组卷积层开始构建。第二、第三、第四和第五组的残差单元个数依次为3、4、6、3。每个残差单元由三层卷积层所构成,其卷积核大小分别为1×1、3×3、1×1。在经过5组卷积层之后,PipeResNet利用平均池化将特征的维度降低至256(最大缺陷类别数),并添加一个Softmax激活函数作为分类器的输出,输出结果为缺陷类别的概率分布。

3 样本集

样本数量及相应的质量对深度学习的算法有着至关重要的作用。本文采用的数据来源于武汉市区的排水管道视频数据,该数据中排水管道的缺陷类型十分复杂,且数量不均衡,部分原始视频存在模糊情况。为了获取足够多的数据样本,本文将排水管道的视频数据转化为图像数据,并将所有图像的大小缩放为480×270,以保证深度学习算法能够得到收敛。为了降低数据的不均衡性,本文对转化后的图像按照缺陷类别进行分类,并利用旋转、平移和镜像等几何变换的方式来扩增缺陷类型的样本数量,以构建数量均衡的各类排水管道缺陷数据集。该数据集包含4500张排水管道样本图像和9种管道缺陷类型,且每类排水管道缺陷的图像个数都为500张。图3展示了该数据集中正常、支管暗接/异物穿插、接口材料脱落、积水、腐蚀/结垢、浮渣、错口、残垣断壁以及变形/破裂9种管道缺陷样本图像。

图3 排水管道9种缺陷样本图像Fig.3 Samples of 9 pipeline defects

4 测试结果与分析

4.1 性能评价标准

在图像分类的任务中,混淆矩阵常用于评价每组图像的预测分类和真实分类。表1为二分类结果的混淆矩阵。对于一个二分类的任务,待测实例包含正类(Positive)和负类(Negative)两个类别,因此分类器将会把实例样本分为真阳性(True Positive,TP)、假阳性(False Positive,FP)、真阴性(True Negative,TN)和假阴性(False Negative,FN)4个类型。

表1 二分类结果的混淆矩阵

预测准确率(Prediction Accuracy,PA)是指被分类器预测正确的样本(包含真阳性和真阴性)占所有样本的比重,其定义形式为:

(1)

4.2 网络的训练与测试

为了评估PipeResNet网络模型的分类性能,本文将武汉市区的一部分排水管道视频数据各个分类中80 %的排水管道图像数据作为训练集,余下的20 %作为测试集。人们采用交叉熵代价函数进行PipeResNet网络模型的学习,具体公式如下:

(2)

式中N表示样本数量,C表示类别数量,yi,j表示第i个标本的真实类别为j的概率,pi,j表式第i个样本预测类别为j的概率。

图5 排水管道缺陷的混淆矩阵Fig.5 Confusion matrix of pipe defects

在训练过程中,本文将训练样本批处理的数量设置为16,训练优化算法采用了Adam优化器,训练迭代次数为50Epoch。本文设置每次训练保存一次网络的权重参数,并记录每轮的损失值和准确率,用来控制模型的迭代次数和收敛速度。图4为PipeResNet网络模型在训练过程中损失值和准确率变化曲线,从图4(a)中损失值的变化曲线可以看出,损失值在前10轮训练中快速下降,随后损失值下降速率变慢,最终损失值分别在训练集和测试集上稳定收敛至0.07和0.11,说明该模型在训练过程中收敛较好。另外,从图4(b)中准确率的变化曲线可以看出,准确率快速上升并趋于稳定,并且训练集的准确率稍高于测试集,最终准确率达到了94.6 %。

图4 PipeResNet模型在训练过程的损失值和准确率变化曲线Fig.4 Loss and accuracy curve of PipeResNet model during training

图5为9类排水管道缺陷的混淆矩阵,矩阵中对角线的元素表示每一类别的准确率,其值越接近于100 %,分类的性能越优异。如图5所示,正常、支管暗接/异物穿插、接口材料脱落、积水、腐蚀/结垢、浮渣、错口、残垣断壁、变形/破裂的识别准确率分别为85.7 %、90.6 %、92.6 %、88.5 %、90.3 %、93.2 %、91.9 %、94.6 %、89.4 %。其中,残垣断壁的检测准确率达到94.6 %,支管暗接/异物穿插、接口材料脱落、腐蚀/结垢、浮渣、错口的检测率都达到了90 %以上,但是正常、积水、变形/破裂这三种类别的准确率相对较低,不到90 %。总体来讲,PipeResNet模型能够将多种不同类型的排水管道缺陷进行正确地区分,检测准确率的平均值达到90.8 %,对大多数缺陷类型的识别都具有较高的可信度。

4.3 与其它网络模型的对比和泛化能力

为了进一步评估PipeResNet的排水管道缺陷内窥检测智能识别方法的效果,本文选取四种常用的图像识别网络模型ResNet18、DCNN、VGG16和Inceptionv3进行对比[22-25]。为了更好地对比不同网络对预测精度的影响,在网络模型训练时,这些网络采用了相同的代价函数、激活函数、Adam优化函数等超参数。表2为五种网络模型对每种类型缺陷的检测准确度。从各神经网络模型对9种类缺陷准确率的平均值来看,分类效果最好和最差的网络模型分别是PipeResNet网络模型和DCNN网络模型,分别达到了90.7 %和83.8 %。从各类缺陷的识别准确度来看,对残垣断壁的识别效果最好,所有网络模型都达到了90 %以上,但是对正常类别的识别效果较差,都未能达到90 %。相比于其它网络,本文所提出的PipeResNet网络模型对支管暗接、材料脱落、残垣断壁、变形/破裂4类缺陷的识别效果最好,但是对正常、腐蚀/结垢和浮渣的识别效果略低于ResNet18。整体分析来看,PipeResNet网络模型对各种类管道缺陷的检测正确率较高,识别效果最好。

表2 五种网络模型对各类管道缺陷的检测准确率(单位:%)

为了检验该算法的泛化能力,笔者在武汉市区另一部分排水管道视频数据集上进行了测试,整体测试误差不大于8 %,验证了该算法的泛化能力。通过分析发现,测试误差主要来源于样本不足,部分缺陷的特征学习不够。值得指出的是,本文算法在预设标签的训练后,是直接迁移到新的数据集上使用。上述泛化和迁移能力的测试,说明笔者设计的算法基本不受影响,具有较强的适应能力。