基于卷积神经网络的路桥设施缺陷检测研究

张徐杏

（重庆市城投路桥管理有限公司，重庆 400000）

1 数据收集和图像预处理

1.1 数据收集

本研究选择了路桥坑凼、修复后的路桥坑凼、桥梁栏杆锈蚀和高强螺栓脱落四类路桥设施缺陷作为研究对象。其中修复后的坑凼严格意义上讲并非是设施缺陷，主要作为提高坑凼的识别率存在。拍摄工具为华为P30pro，由于数据需求较大，设施缺陷寻找较困难，采用对同一缺陷不同角度、不同距离拍摄的方式补充数量。共计收集桥梁栏杆锈蚀图像718张、路桥坑凼780张、修补后坑凼800张、高强螺栓脱落图像393张，最后对每张图像进行了分类和编号，如图1所示。

图1 路桥设施缺陷及病害图像数据收集

1.2 图像增强

在对路桥设施缺陷进行图像采集过程中，由于拍摄天气、光线等因素限制，常常会出现图像呈现不完全、不清楚的情况，将对后续缺陷识别工作带来严重的不良影响[1]。为使图像使用功能更强，本研究使用了直方图平滑处理原始图像，然后使用图像锐化算法改进缺陷特征[2]。同时进一步凸显目标信息，缩减对应地方像素值较少处的灰度级。设g（i，j）为原始图像像素分布，f（i，j）为图像像素在被增强处理后的分布情况，其中i=1，2，…，m；j=1，2，…，n，具体的计算如下。

（1）针对原图，用向量s体现出其灰度直方图分布的情况。

（2）针对原图，用P（i）表示灰度分布概率，通过上一步得出的向量s计算出来，公式如下所示：

式中，Nt为总体的像素量，其总像素为Nt=m×n。

（3）计算图像灰度值的分布概率累加和Pa（i），其中令Pa（0）=0：

（4）进行直方图均衡化后的像素值为f（i，j）：

1.3 图像去噪

在图像收集过程中一定会存在一些因外部干扰导致的噪声，在一定程度上对从图像中提取有效信息造成障碍。传统的中值滤波、双边滤波和小波变换等去噪方式的可行性都得到了一些实验的肯定，但是传统滤波法在使用中面临着算法和工作量大且复杂的问题，同时存在各类性能缺陷，导致结果往往也不具备非常好的稳定性[3]。基于以上情况，本研究在进行图像处理时采用了卷积神经网络算法（CNN），以深度残差网络为基础建立图像去噪模型，间接地获得直接映射，旨在大大缩短去噪用时，保证滤波的有效性。

同时，研究在VGG16网络模型的基础上进行优化修改，最终得到现有的卷积神经网络结构，共包含4个残差结构，由20层具有残差结构的、卷积核体量是3*3*64的级联卷积层组成。将ReLU函数作为各卷积层后的激活函数，在第2到第19卷积层后，每次都对前向传播过程中的数据进行正态分布归一化，将网络训练存在的梯度消失现象进行有效消除。

2 缺陷检测网络模型研究与设计

2.1 算法设计思路

在路桥设施缺陷图像识别实验过程中，获取的数据样本量和网络训练会对实验结果造成直接影响[4-5]。本研究中高强螺栓脱落类图像数量远低于其余三类数量，为解决获取样本数量小带来的影响，笔者建立了一个二阶段缺陷检测模型，该模型使用了深度卷积神经网络方法，分为分割网络、二值图像决策网络两个阶段。其中，分割网络指的是获取路桥设施缺陷图后，对图片中表达设施表面缺陷的像素进行定位，并将这部分缺陷进行分割；二值图像决策网络阶段将分割网络的部分卷积层和输出当成是本阶段的输入数据。在该网络模型中，每个样本所包含的缺陷占比都用一个百分数来表示，可以较为直观地看出设施是否存在缺陷以及缺陷程度。

2.2 二阶段网络结构

第一阶段分割网络结构完成缺陷的识别。分割网络的输入图片像素要求为480*480，输出的分割图片像素要求为60*60。这个部分作为全卷积网络，包含了11个卷积层。为了缩短收敛时间和避免梯度消失，使用ReLU函数在每个卷积层后都进行非线性激活和归一化处理。分割网络结构中前10层卷积层的卷积核规模都是3*3，可以有效地加强分割小尺寸特征的效果。最后一个卷积层的卷积核规模为1*1，卷积输出后使用sigmoid函数进行激活并生成二值图像。

第二阶段决策网络结构完成对二值图像进行分类，方法是将分割层和附加网络的最大和平均全局组合起来。分割网络的第10层卷积层（512个信道）的输出，和单个信道分割输出映射的结果输入决策网络中。接着进行2层卷积和3层最大池化操作，目的是让网络可以覆盖图像中全局信息。卷积操作后对分割网络输出和附加网络输出进行全局平均和最大池化，产生66个输出神经元，使得分割网络、附加网络的输出能够有效地匹配。最后由全连接层生成最终分类的输出，自动对图像中的缺陷部分进行判断。

2.3 路桥设施缺陷检测评价指标

本次研究使用的卷积神经网络缺陷检测算法属于分类算法的范畴，为了评价路桥设施缺陷图像检测方法的性能，对准确率（accuracy），召回率（recall），交并比（IOU）等表现时间复杂度和精度的因素进行考虑。

令测试数据集包含n+1类（L1到Ln）测试数据，其预测结果包含正样本像素（缺陷像素）和负样本像素（非缺陷像素），可以分为：正类预测为正类（True Positives，TP）；负类预测为正类（False Positives，FP）；正类预测为负类（False Negatives，FN）；负类预测为负类（True Negatives，TN）。将像素根据混淆矩阵，计算所使用到的3个公式如下所示：

（1）像素准确率（accuracy）。体现正确分类像素和总像素的比值：

（2）召回率（recall）。展现的是实际预测正确的部分和期望预测正确的部分的比值：

（3）交并比（IOU）。IOU是图像分割的常用准确性标准评价指标，它是预测正确的正样本像素除以期望预测正确像素、被预测为正确像素的负类像素之和：

3 缺陷检测实验

3.1 网络模型训练

本次实验选取了2 091张图像作为训练集，600张图像作为测试集。第一步训练单独针对分割网络进行，在这一步需要将取得的权值数据进行冻结；第二步将参数进行优化，进行针对决策层的训练，在这一过程中要注意控制决策层权重大小。在本次实验中选择4个样本一组进行批处理，训练所使用的样本是随机的，训练分割网络的算法迭代中，平均损失的记录频率是以100次迭代为周期，验证及保存模型的记录频率是以1 000次迭代为周期。

分割和决策网络都是在无动量随机梯度增量的帮助下来进行训练的。如公式（7）分割网络使用交叉熵损失函数进行分割。

式中，N是批处理的大小；b为标签的数量；ya和是第a个像素的真实值概率和预测概率。

3.2 结果分析

使用交叉熵损失函数进行实验的效果分析，结果统计见表1。

表1 交叉熵损失函数下的四类路桥设施缺陷识别accuracy、recall和IOU值

综合对比来看，网络模型对路桥坑凼和桥梁栏杆锈蚀等缺陷判断精确度较好，能比较直观地展示结果，具有较优良的准确性和鲁棒性。将原图、实际缺陷图像、预测缺陷图像进行对比观察，可以非常直观地对桥路设施上的各类缺陷概况进行了解。如图2所示，（a）表示的是存在栏杆锈蚀的设施图片，（b）表示的是栏杆锈蚀实际存在的区域，（c）表示的是预测的结果。

图2 路桥设施原始缺陷与系统检测缺陷对比

但模型在识别高强螺栓脱落方面准确率较低，主要原因在于部分栏杆锈蚀与螺栓脱落孔洞相似，且栏杆锈蚀有效图像数量远高于高强螺栓脱落图像，导致在识别过程中被错误判定，如能保证更大的数据量和更优质的图像，预计将大幅提升识别准确率。

4 结论

本次研究运用卷积神经网络和二阶段网络对路桥设施缺陷检测进行了实验，实验得出模型在处理路桥坑凼、栏杆锈蚀识别上有着较为理想的精确度，可以有效地检测出图中的缺陷部分，对缺陷发现及解决有较好的辅助效果。但模型对高强螺栓脱落类的图像识别效果不佳，除该类图像数量较少外，主要原因是各类缺陷之间存在相似对识别结果造成了干扰。如何优化算法，通过较少的网络模型识别复杂多样的路桥设施缺陷是未来的主要研究方向之一。