基于迁移学习的高铁线缆扣件装配检测

2021-10-20冒文彦顾寄南黎良臣

机械设计与制造 2021年10期

冒文彦，顾寄南，黎良臣

（江苏大学机械工程学院，江苏镇江212000）

1 引言

随着高速铁路的快速发展，对高铁线缆扣件的需求也在不断增加。然而，在目前的工业生产中，对于扣件的装配与检测主要依赖于人工的完成，重复的劳动易导致工人的工作效率低下，装配准确率降低等问题。

为了保证高铁线缆扣环的装配效率，企业研发了一套自动化装置，完成扣件的装配和检测。这里主要针对高铁线缆扣环的装配检测开展研究。近年来，国内外对工业零件的智能装配检测已经成为主流趋势，主要依赖机器视觉对图像进行处理。文献［1］通过BP-神经网络对垫片的装配进行检测，以零件表面纹理系数作为训练元素，即在目标区域内通过纹理的特征及系数作为样本，来训练BP-神经网络。文献［2］基于机器视觉对电机转子的换向器和转子端盖进行装配检测，通过采集装配后的图像并进行特征的提取和匹配，最后以像素面积分布、图像对比、距离测量等方式综合判断转子的装配质量。然而这些方法在提高检测精度的同时无法兼顾网络的学习效率。

总之，传统的机器视觉检测方法一般包括图像预处理、图像分割、特征提取、特征分类等步骤，繁冗的过程使检测的精度以及速度大打折扣。而卷积神经网络通过自主学习，对输入的原始图像直接进行特征的提取。另外，通过多个卷积核和卷积层可以提取出图像的深层次特征，能够充分表达目标图像的特点，提升了检测的准确性。目前，国内外对高铁线缆扣件装配的检测研究较少，这里将基于迁移学习，通过卷积神经网络对高铁线缆扣环进行装配检测。

2 目标检测算法

卷积神经网络是深度学习重要分支之一，是专门用于图像识别的深度神经网络。典型的卷积神经网络主要由卷池化层、全连接层组成。通过卷积核实现对图像的特征提取，并利用卷积的权值共享及池化降低参数的数量级，最后实现分类。

2014年Ross Girshick提出R-CNN（区域卷积神经网络），开辟了深度学习在目标检测中的应用。R-CNN采用Selective Search算法对输入的图像提取ROI区域，并使用标准CNN对各区域进行分类。R-CNN需要针对每幅图像的每个候选区域向前传递2000次，且分别训练CNN生成图像特征、分类器及回归模型，直接导致了目标检测效率低下。

为了有效的解决R-CNN模型训练耗时的问题，文献［3］又提出了Fast R-CNN训练模型。Fast R-CNN基于R-CNN新添了一层ROI Pooling层，它能够将特征图上的每一个候选区域进行池化得到固定维度的特征向量，然后直接通过softmax进行识别分类。在分类回归的过程中，bbox regression融入网络内部与区域分类合并成一个multi-task模型，共享卷积特征，保证准确率和速度的同步提升。

文献［4］在后者的结构上加入了RPN网络，结构如图1所示。RPN网络的作用是将输入的一张任意尺寸图像，输出一批矩形候选框，代替Fast R-CNN中的Selective Search的步骤。RPN网络通过滑窗判断目标是否存在于特征图上，但由于目标的大小和长宽比例不一，需要多个尺度的滑窗，采用Anchor机制通过给出的固定基准窗大小，按照倍数及长宽比例得到多种不同的滑窗，有效地解决了这一问题。

在对RPN的训练过程中，必须考虑Ground Truth和Loss Function的问题。为了判断Ground Truth，采用0/1表示，IOU表示预测框与真实框的重叠率，其值为两框的交集除以两框的并集。对于训练过程中的Loss Function，主要包括目标与否的损失误差及bbox的回归误差。在定义Faster R-CNN的损失函数时，仍遵循multi-task loss的定义，最小化目标函数。

由于在工业生产环境中，只会存在光照、灰尘等噪声的影响，环境相对比较稳定，无需采集大量的图像并制作成标签化数据集。为保证检测的准确性，引入迁移学习［5］的方法，针对少量数据集情况，通过已有的预训练网络与相应的目标检测算法相结合，微调网络中已有的权值与偏差，训练出相应的检测模型。

3 基于迁移学习的检测模型构建

3.1 迁移学习

在具体的高铁线缆扣环的装配检测应用中，收集和标注充足的训练样本对网络从头开始训练，需要耗费巨大的人力及时间。因此，采用迁移学习的方法，将已训练好的成熟的网络即base network的前n层替代target network的前n层，并对目标网络的全连接层神经元数目进行随机初始，从而得到最终的学习模型。在避免过度拟合的同时，有效的加快了模型的学习效率。

常见的深度学习网络主要有AlexNet网络、VGG-16、GoolgeNet、以及ResNet等，随着网络层数的不断加深，这些网络对多类别的识别检测越精准。根据这里研究对象的数据集大小以及检测要求，采用AlexNet网络作为特征提取网络，将其迁移至Faster R-CNN目标检测算法的框架中形成完整的训练模型。

3.2 检测模型的构建

AlexNet网络由五个卷积层及三个全连接层组成。RELU作为激活函数的引入有效解决了常规函数Sigmoid导致的梯度弥散问题；在最后的连接层中，采用Dropout随机去除部分神经元，以避免过拟合的产生。

在具体的模型构建过程中，复制AlexNet网络的前22层（包含隐藏层）作为Faster R-CNN目标网络的通用特征提取器，并依据扣件的检测要求修改全连接层的神经元数目的输出。

4 实验

采用的方法主要分为三个步骤：（1）数据集的建立：对高铁线缆扣环进行图像采集，分别建立训练集和测试集；（2）模型训练及测试：导入已建立的数据集，并不断调整模型参数，对输入图像进行检测；（3）实验数据分析：根据训练的结果，通过与传统的机器学习的检测结果进行对比分析，并通过召回率-精确率评估曲线得出结论。

4.1 数据集建立

在深度学习训练的过程中，足量的样本可以提高模型准确率和泛化能力。在图像采集的过程中，考虑不同光照以及不同角度的情况下进行拍照采集用于训练，并对图像进行边界框的标注，并生成统一的标签化数据集。将标注好的数据集按3：1分为训练集和测试集。总共1200张图片，最初图像尺寸为2592*1944像素，为了节省检测的时间，在保证准确率的情况下，将图片尺缩为648*486像素大小。

4.2 模型训练及测试

利用Matlab R2018b软件平台基于Alexnet网络对Faster RCNN目标检测算法进行迁移学习，并根据工件的实际情况，在训练过程过程中不断调整模型的参数，以保证精度的同时，能够得到更快的训练速度。在训练的过程中迭代5轮；初始的学习速率为0.001。为了保证训练的最优效果，将正样本与预测框的重叠比例设置为［0.55 1］，负样本则设置为［0 0.3］，即当IOU＞0.55时为正样本，IOU＜0.3为负样本。

4.3 实验数据分析

通过训练好的目标检测模型，能够有效的得到高铁线缆扣环的各个零件的名称以及置信度，从而判断扣件是否完整、正确的装配，并有效的提高了检测的速度。为了验证此方法的有效性，将基于迁移学习的Faster R-CNN的检测算法与模板匹配的实验结果进行对比，选取在三种不同的光照下拍摄的300张图像用于检测。识别结果对比，如表1所示。根据表格对比的结果，传统的模板匹配对检测环境的噪声比较敏感，而基于迁移学习的Faster R-CNN算法在经过一定量样本的训练后，检测的效果远远优于传统的对象识别方法。

表1 识别准确率Tab.1 The Accuracy of Recognition

为了更好的表达此种方法的检测结果，这里采用平均精确度评估检测效果，并通过绘制召回率-精确率曲线［6］直观的验证，可直观了解五种零件各自的检测结果。结果表明，螺母、螺柱、半环的平均检测精度达到1.000（保留四位有效数字），而垫片由于零件较小，特征较少，平均检测精度可达0.9814，检测效果较好。如图2～图7所示。

图2 Faster R-CNN检测结果示例Fig.2 Example of Faster R-CNN Detection Results

图3 螺柱检测召回率-精确率曲线Fig.3 Detection Results of Stud in PR Cruve

图7 垫片检测召回率-精确率曲线Fig.7 Detection Results of Gasket in PR Cruve

5 结语

深度学习在工业生产中的应用越来越广泛，这里将基于迁移学习的卷积神经网络［7］应用到高铁线缆扣环的装配检测当中，进一步推动了在高铁装备零部件制造领域的应用，促进了卷积神经网络及深度学习应用的进一步发展。经过对实验结果的分析，该方法对五种零件的平均检测准确率最低高达到98.14%。但由于样本数量不充足等问题，使得训练的精度仍有很大的上升空间，下一步将继续通过研究加深CNN网络层数，在保证检测速度的同时改善检测的精确度。