基于Faster-RCNN的汽车涂胶缺陷检测

朱立忠，李肖静，李文欣

(沈阳理工大学 a.自动化与电气工程学院；b.信息科学与工程学院，沈阳 110159)

沈阳某汽车零部件有限公司在生产过程中由人工涂胶转为机器涂胶后，主要靠人工来检测汽车涂胶的质量，工作效率低且浪费胶料。为提高检测自动化水平，机器视觉检测技术被引入生产流程。在汽车车身零件生产涂胶过程中，由于生产设备和环境扰动等因素，胶条可能会产生断涂、漏涂、过宽或过窄等缺陷，使得零器件粘合的紧固性和密封性受到影响，引起粘合失效，严重时可能会在汽车驾驶过程中车门出现故障，导致人身安全受到威胁，故在粘合工序之前必须精确检测出胶条缺陷并予以剔除。因此，如何精确检测出某条件下的缺陷情况成为需要重点解决的难题。

针对工业图像缺陷检测，诸多该领域内的学者提出了各种识别检测方法，现阶段主要以传统机器视觉算法为主实现缺陷检测。

孙鸽等[1]利用霍夫变换来区分正反图像，通过仿射变换来矫正歪斜图像裁剪出感兴趣区域(Region of Interest，ROI)，最后结合Blob分析法提高检测精度。任秉银等[2]提出了一种针对微小目标缺陷检测来提升准确率的方法，该方法在分类网络的基础上融合了Attention U-Net，实验表明该方法能够在微小目标分割问题中广泛应用。朱立忠等[3]提出了一种基于支持向量机(Support Vector Machines，SVM)的汽车涂胶图像缺陷检测方法，主要利用模式匹配来进行识别，为了优化分类性能采取了多核函数来提高检测准确率。

现有文献描述的工业生产图像缺陷检测方法虽然在一定程度上可以对生产过程中采集到的图像进行检测，但是针对各类复杂生产环境，检测精度、实时性与检测速度难以满足工业检测的需求。本文针对汽车涂胶生产车间环境复杂、采集到的图像不够清晰、生产过程中存在漏涂断涂等缺陷的特点，提出一种基于Faster-RCNN的汽车涂胶图像缺陷检测算法。其创新点在于：①为能够有效提取图像特征，通过将区域生成网络简化的方法融入到基础Faster-RCNN网络中，以克服梯度消失等问题，同时提高小目标检测准确率和检测效率；②针对小目标缺陷在训练中易丢失的特点，在训练模型中使用特征金字塔网络将多尺度的特征图融合，以减小模型对小目标缺陷的丢失速度，提高模型应对极端长宽比和小目标缺陷的泛化能力。

1 图像预处理

针对工业环境照明弱和光照不均等问题，需对图像进行预处理，主要目的是最大限度地消除无用信息、突出感兴趣区域、简化数据，提高特征提取与识别的准确性。依据采集到的图像特点，在常用预处理方法中选择二值化、图像增强与图像多阈值分割的方法对图像进行预处理。

1.1 图像增强

本实验采用拉普拉斯变换进行图像锐化，增强图像的灰度跳变部分[4]，突出感兴趣区域，使工业场景图像中模糊不清的像素点变得清晰。本实验采用的数据集图像为二维离散图像，则对于涂胶图像f(x，y)，在x方向上的二阶微分为

(1)

在y方向上的二阶微分为

(2)

将式(1)和式(2)相加，得到拉普拉斯算子

∇2=[f(x+1，y)+f(x-1，y)+f(x，y+1)+f(x，y-1)]-4f(x，y)

(3)

采用拉普拉斯变换增强方法处理图像前后对比如图1所示。

图1 图像增强前后对比图

由图1可见，使用本文的拉普拉斯变换增强方法，可以极大提高胶条与金属背景的对比度，并缩小背景中胶条较暗的面积以减少干扰。

1.2 图像阈值分割

汽车涂胶车间现场环境复杂，图像中胶条占比小，为将胶条部分从复杂图像中提取出来，本实验使用二进制阈值分割方法。首先设置一个初始估计值作为算法阈值，然后经过多次迭代来更新估计值，直到满足条件。具体步骤如下。

(1)选取T作为初始估计值；

(2)使用阈值T将灰度图像划分为两个区域R1和R2[5]；

(3)对灰度区域R1和R2分别求像素的灰度值μ1和μ2；

(4)计算新的阈值T=(μ1+μ2)/2；

(5)重复步骤(2)～(4)，直到迭代后的阈值T小于初始估计值为止。

经过以上步骤处理后的图像与原图对比如图2所示。

图2 预处理前后图像对比

由图2可见，本文重点研究区域即胶条和胶枪部分从复杂工业场景中成功分割出来。

2 涂胶图像缺陷检测改进系统

汽车涂胶图像缺陷检测改进系统框架流程如图3所示。

由图3可见，汽车涂胶图像缺陷检测改进系统的主要流程为：将处理后的标准图像制作为VOC格式的数据集，将数据集输入到训练网络中提取特征；针对得到的特征图进行Faster-RCNN网络训练，在网络收敛后利用损失函数对网络模型进行微调。为提高检测准确率，选用多尺度训练的方法得到最终的检测模型[6]。在网络框架中，ROI网络的作用是利用候选框与回归位置参数来对锚框的形状和位置进行微调。

图3 汽车涂胶图像缺陷检测改进系统框架图

在实际工业生产场景下，所提取到的图像和训练测试所需图像差距较大。因训练网络中训练样本图像均为单一尺度图像，即使在预处理环节中已经对图像进行了基本处理，但因工业环境复杂或其他原因，也会使采集到的图像发生漏检。多尺度训练可以使最终模型检测准确率较高且具有一定鲁棒性。

2.1 Faster-RCNN网络结构

Faster-RCNN网络结构如图4所示。

图4 Faster-RCNN网络结构

由图4可见，Faster-RCNN网络训练模型不仅采用特征提取网络增强细节提取能力，而且提出了区域推荐网络(Region Proposal Network，RPN)，使网络自身生成推荐区域。与传统神经网络算法相比，极大程度地减少计算成本、提高模型训练和测试效率，使目标检测真正地实现实时性[7]。

Faster-RCNN基础网络结构在处理时由卷积层采用基础的卷积和激活函数来提取图像特征，然后根据区域推荐网络和全连接层共享产生预测框完成分类与回归任务。为提高模型检测速度，Faster-RCNN自行生成推荐框，卷积神经网络将特征提取、候选区域的回归与分类集中整合[8]。

本文将目标检测的前沿技术与汽车涂胶表面缺陷图像的特点相结合，在原始网络的基础上简化区域生成网络提取图像特征；针对小目标缺陷在训练中易丢失的特点，采用特征金字塔网络来对训练模型中的特征图进行融合，生成富有高级与低级语意的特征图，减小模型对小目标缺陷的丢失速度，有效地提高模型应对极端长宽比和小目标缺陷的泛化能力。

2.2 改进的特征提取网络

在传统Faster-RCNN算法中RPN输入图像特征，输出一系列矩阵目标候选框，每个区域带有与对应目标相关的位置信息。传统算法在提取输入图像的特征图时，由于其在训练模型时需要根据误差传播更新权重，可能会造成在网络深度加深时小目标缺陷检测丢失特征信息等问题[9]。因此，为了在汽车涂胶图像中快速提取候选框、生成推荐区域、完成目标分类检测任务，采用简化RPN的方法输出损失函数并求出反向传播数据。

为生成256个目标特征图，传统的区域生成网络需要利用3×3和5×5卷积核。本文拟采用降低计算量的方式来加快识别速度，为了使用尽可能少的卷积核达到与传统网络相同数量的特征图，通过减少一个5×5的卷积核来改进RPN网络结构，即利用一个3×3卷积核来产生256维特征向量，简化的特征提取网络结构如图5所示。

图5 简化的特征提取网络结构

在确定了采集到的涂胶图像中各像素点的长宽比后，采用距离度量公式来确定分类层节点[10]。距离度量公式为

d(box，centroid)=1-IOU(box，centroid)

(4)

式中：box表示锚框；centroid表示锚点；IOU为交并比，表示预测边框和真实边框的交集和并集的比值。

针对采集到的汽车涂胶图像差异较大等情况，预设的4种尺度会产生12种锚点和24个节点，分类层和区域层输出的损失值将被用于求导得到反向传播的数据。在RPN层产生300个候选区域后，即能提取出足够的信息用来对所测图像进行目标分类。

在原始Faster-RCNN模型中，RPN利用最后一层特征提取的方法在小目标缺陷检测中效果不佳。汽车涂胶表面缺陷表现出极端长宽比的特点，为更好地提取并保留小目标的特征，本文使用一种融合特征金字塔网络的区域推荐结构来对极端长宽比与小目标缺陷进行更好的检测。

2.3 改进的区域推荐网络

本文中RPN结构融合不同尺度特征，不仅设计了底高层结构和横向连接来融合高分辨率的底层，而且可以快速构建独立的顶层特征，但卷积池化到最后一层时语义信息丢失严重。为解决多尺度检测中可能出现的映射过程中底层特征语意少等问题，引入特征金字塔网络来提取深层特征，同时对底层语义信息进行最大程度的保留。

针对汽车涂胶缺陷图像出现的极端长宽比与部分缺陷面积极小等情况，本文采用多尺度特征融合的区域推荐模型，经过特征提取后，初始特征图C1、C2、C3与横向连接的特征图P1、P2、P3相融合，得到新特征图，经过一层3×3卷积消除上采样过程中造成的混叠效应，该特征图融合了更多的浅层特征，随后在RPN的作用下完成目标缺陷的分类和回归任务。融合特征金字塔后的RPN结构图如图6所示。

图6 融合特征金字塔的RPN结构

改进后的检测算法能有效地提高模型应对小目标缺陷的泛化能力，与传统采用VGG16和RPN的Faster-RCNN模型相比，汽车涂胶表面缺陷检测的准确率明显提高。

3 实验与结果分析

3.1 数据集设计

本次训练汽车涂胶缺陷检测图像来自沈阳市某汽车零部件有限公司，共有10000张缺陷图像、15000张合格图像，其中包含不同亮度(2000cd/m2、6000 cd/m2、12000 cd/m2)环境下采集的涂胶图像，单张图像尺寸为320×320，将其构建为“0-1”二分类数据集，0表示缺陷样本，1表示合格样本。使用图片标注工具labelImg，导入图片后直接画框标注所属类别，并将标注信息直接在xml文件中进行存放。数据集中断胶图像与合格图像对比如图7所示。

图7 数据集中断胶图像与合格图像对比

3.2 实验过程

本文以简化RPN网络的方法来提取图像特征，采用特征金字塔网络提取并融合多尺度的特征图。若随着epoch次数增加，损失函数在一定时间内变化很小，就可以停止epoch训练来防止过拟合。

实验均在GPU上运行，流程为：将训练数据集输入Faster-RCNN中，经过迭代训练和多轮学习后，学习率和损失率不断降低直至收敛并趋于平稳，将此时得到的数值确定为最优指标；将每100个epoch标记为一个阶段，每个epoch训练320张图；输入测试数据集对本文算法进行测试。损失函数数值随训练次数的变化如图8所示。

图8 损失函数下降图

为验证本文所提方法的有效性，分别使用不同的策略对网络进行训练与测试，具体检测结果见表1所示。

表1 不同策略下检测结果对比

原始Faster-RCNN在网络深度加深时面对小目标缺陷检测过程中容易丢失特征信息，故在策略1中，原始Faster-RCNN的识别准确率仅为90.2%，识别每张图像平均所需时间为0.063s。为降低漏检率，本文简化区域生成网络结构后仅经过一次3×3卷积核直接产生256维特征向量。为解决多尺度检测中可能出现的映射过程中底层特征语意少等问题，本文采用多尺度特征融合的区域推荐模型，在RPN的作用下完成目标缺陷的分类和回归任务。对比策略2和策略3可以发现，简化RPN可以有效减少识别图像所需时间，融入FPN可以有效提高识别准确率；从策略4的结果可见，通过两种方法的改进，可使车辆检测的识别准确率达到97.5%，识别每张图像仅需0.038s。

将本文算法与YOLOv3和Faster-RCNN进行比较，对比结果见表2所示。

表2 不同目标检测算法检测结果对比

YOLOv3在检测过程中借鉴了残差网络结构，能够形成更深的网络层次且检测速度较快，但准确率不够理想[11]；Faster-RCNN是基于区域建议的目标检测算法，准确率较高，但耗时较长；本文在Faster-RCNN基础上简化RPN网络结构，采用多尺度特征融合的区域推荐模型，在提高准确率的同时提高实时性。

为评估本文算法对不同亮度环境下汽车涂胶的检测能力，制作三个来自不同亮度生产环境的数据集，其性能比较结果如表3所示。

表3 不同测试集下性能比较

由表3可见，测试集A在亮度为2000cd/m2环境下采集的2000张正负样本混合图像，识别准确率达到96.5%，识别每张图像所需时间为0.040s；测试集B在亮度为6000cd/m2环境下采集的2000张正负样本混合图像，识别准确率达到97.1%，识别每张图像所需时间为0.039s；测试集C在亮度为12000cd/m2环境下采集的2000张正负样本混合图像，识别准确率达到97.2%，识别每张图像所需时间为0.037s；三个测试集检测效果均较好。由于测试集C图像亮度较高，图像噪声较低，分辨率高，因此相较于测试集A、B而言，其识别准确率更高且检测速率更快；实验结果表明本文算法在不同亮度的车间环境下进行缺陷检测均具有很好的鲁棒性。

4 结论

针对机器自动涂胶过程中产生的漏涂、断胶等严重影响生产的缺陷问题，提出基于Faster-RCNN的汽车涂胶缺陷检测方法。在原始Faster-RCNN网络的基础上采用简化特征提取网络的方法来提取图像特征；针对小目标缺陷在训练中易丢失的特点，在区域推荐网络训练模型中使用了特征金字塔网络将多尺度的特征图融合，并在不同的训练集上进行训练。实验结果表明，本文训练的模型对汽车涂胶缺陷的检测准确率达到97.5%，该方法有效地减少模型对小目标缺陷的丢失，检测速率为每张图像耗时0.038s，在汽车涂胶缺陷实时检测方面达到领先水平。