基于卷积神经网络的起重机金属结构缺陷检测*

杨 恒 田 兵 李 越 李 卓

太原科技大学 太原 030024

0 引言

随着时代的不断发展，视觉识别在起重机金属结构缺陷检测已取得很大突破。郑祥盘等[1]提出一种双网络并行模型对起重机金属结构缺陷进行检测；Gonda F等[2]提出了一个精简校对的分析框架，通过错误检测及突触聚类以高度交互的三维可视化方式来进行校对工作；曹远杰等[3]则采用改进后的第三代YOLO模型对过往人群是否佩戴口罩进行筛选，利用BN层剪枝算法将网络进行压缩和BN层合并来加速网络；Lu C Y等[4]结合颜色及形状特征进行轮廓匹配进而有效提高识别精度；Feng Y等[5]研究出视觉识别深度模型(H-KPCANet),该模型将单级KPCANet及两级KPCANet优势结合起来提高识别性能；Liu X Y等[6]通过图像预处理算法提高了排序目标对比度，进而构造出圆形和线性结构元素对最大类间方差法分割的多目标区域进行填充和平滑。基于当前起重机金属结构缺陷数据集样本数量较少的事实，本文引入最新的GDR-Net[7]网络对双网络并行模型进行改进，从而使起重机金属结构缺陷检测准确度得到一定程度的提高。

1 浅层次卷积神经网络模型建立

1.1 浅层次卷积神经网络框架

浅层次卷积神经网络框架结构如图1所示。考虑到Sigmoid函数具有单调连续性且输出值在（0，1）之间，采用Sigmoid函数作为框架激活函数。

图1 浅层次卷积神经网络结构图（图中数值为数据维度）

为了提取图像主要特征，在浅层次神经网络架构中引入4个卷积层（采用空洞卷积扩大其感受野[8]），卷积层后紧跟最大池化层以降低数据处理量。数据特征提取完毕之后通过全连接层对特征进行扁平化处理，浅层次模型最后为损失函数层。损失函数选用Softmax，即

式中：Y为真实值，f(x)为模型预测值。

1.2 浅层次卷积神经网络训练过程

在对浅层次网络进行训练时，可利用BP算法对模型参数进行修正[9]。为了加快网络收敛速度，使用随机梯度下降法[10]对模型参数进行迭代训练，进而缩短模型训练时间，参数可表示为

1.3 Softmax分类器

当数据信息处理完毕后，网络会将最终得到的数值输入Softmax分类器中，从而得到不同缺陷类别对应概率，Softmax分类器可表示为

式中：xi为输入图像，E为输出结果期望，θ1、θ2、…、θl为标签对应参数构成矩阵，p为当输入数据为xi时输出值为1或0的概率。

2 叠加卷积神经网络金属结构缺陷检测

2.1 图像数据预处理

将起重机金属结构缺陷数据以随机抽样的方式按照70%、20%、10%的比例分为3个批次，分别将其作为网络结构的训练集、测试集及验证集对网络进行训练及性能测试。利用CCD相机前往起重机使用现场采集缺陷图片，采集到的图像像素大小为1 024×2 048，考虑到网络训练需求，将其以五行十列的方式进行均匀裁剪得到共50张子图。从子图中选取3 000张缺陷类型一致的图像，将其缩放为100×100、227×227规格。100×100规格的图像因其数据量较小，故应用于浅层次网络的训练工作。以227×227规格的图像对GDRNet进行训练,通过人为的方式对各类数值代表的缺陷类别进行定义。为了更好地将图像中的缺陷凸显出来，使网络在训练时能够更快收敛，需要对图像进行中心式归一化处理，计算图像各像素平均值并将其与像素值相减。实际效果如图2所示。

图2 中心式归一化示意图

2.2 叠加卷积神经网络参数选择

叠加卷积神经网络如图3所示。为了充分利用GDR-Net，在全连接层加入一个卷积层分支。考虑到GDR-Net与浅层次网络结合需求，卷积核数量为200，卷积核大小为7×7，这样的设置方式可使其感受野大小得到保证。为了将深层网络的校正作用充分发挥出来，将GDR-Net与浅层次网络通过交叉熵损失函数连接，最后以GDR-Net的最终输出结果对浅层次模型中的参数进行校正。叠加卷积神经网络损失函数为

图3 双网络模型示意图（省略激活函数层、中心归一化层）

式中：Lclassification（θ）为分类器损失函数，Lcross为浅层次网络与GDR-Net网络之间的交叉熵损失函数，t＝（ti）为GDR-Net中最后一个卷积层对数据特征处理后输出的特征向量，s＝（si）为C4层输出的特征向量。

在训练时对GDR-Net与浅层卷积神经网络进行分开训练，其中GDR-Net模型的卷积核函数参数初始化时利用Glorot初始化的方式进行选取，而浅层次卷积神经网络模型在整体训练过程中为了使其参数能够快速收敛，参数利用标准高斯分布进行合理选取[11]。浅层次网络模型数据输入大小为100×100×1，并利用梯度下降法对其进行变换。

此外，对叠加卷积神经网络进行训练。式（2）中α＝1-β，只需通过大量训练确定β超参数值即可求得α。根据网络参数规模，最终决定训练中采用的参数：训练次数为30，每批次图片数量为128，权重衰减系数为0.000 1，α初始值为0.001。根据模型在测试集中的具体表现选择最合理的超参数β值。由图4可知，当取0.2时较合理。

图4 β与模型分类准确率关系图

3 实验与结果分析

3.1 训练样本集大小对分类准确率影响

为了更加直观地观察到不同样本大小对3种模型准确率影响，经分析采用同样的数据以及训练策略分别对叠加卷积神经网络及原模型进行训练测试。根据实验表现将相应数据进行整合，最终结果如图5所示。由图5可知，叠加卷积神经网络准确率高达97.9%，误检量仅为62；而并行网络模型最大准确率仅为95.4%，误检量为123。通过对比可知，叠加卷积神经网络可有效降低误解率，准确率提高了2.5%。

图5 双网络模型与单网络模型不同样本集对比曲线图

3.2 双网络模型与其他模型的对比

为了对叠加卷积神经网络的实际检测效果进行检验，现将该模型与并行模型、SENet模型及传统机器学习方法支持向量机库、BP神经网络进行对比。

图6为利用不同技术对同一缺陷图片检测后得到的最终结果。图中的绿色方框为双网络模型[12]算法测试效果，LibSVM算法测试结果显示为蓝色方框，BP神经网络测试结果显示为白色方框，本文所提出改进模型检测结果显示为红色。由该图不难发现叠加卷积神经网络检测更为精确。

图6 起重机金属结构检测结果图

4 结束语

考虑到当前起重机金属结构缺陷数据集数量少，识别准确率低的问题。本文为传统的双网络并行模型引入了最新的高性能识别网络GDR-Net并将其用于大型起重机金属结构缺陷识别应用中。新的网络通过空洞卷积方式扩大了模型的感受野。经过不同模型对机械结构缺陷图片检测对比之后发现本文所提出的叠加卷积神经网络和并行网络模型相比效果更加优异，具体数据为准确率97.9%，误检量仅为62，检测效果更好。