汽车后雨刮装配中支撑塑料帽在线缺陷检测

陈 淳，陈燚涛，柳 雄，宋志峰，刘 旺

汽车后雨刮装配中支撑塑料帽在线缺陷检测

陈 淳，陈燚涛*，柳 雄，宋志峰，刘 旺

（武汉纺织大学 机械工程与自动化学院，湖北 武汉 430200）

针对支撑塑料帽这种薄壁、小型零件在汽车后雨刮器齿轮连杆机构自动装配中存在裂纹、破损及漏装等多类型缺陷，导致人工很难在线识别、传统机器视觉辨识度不高的问题，本文在基于YOLO v3网络多目标缺陷检测算法的基础上，采用k-means聚类方法，使用平均重叠度重新选取目标区域候选边界框尺寸加快了目标检测识别速度及精度；同时使用Mish激活函数替换YOLO v3网络普遍采用的Leaky ReLU激活函数，强化了网络学习能力。实验结果表明，相较于传统的YOLO v3算法，本文改进的YOLO v3具有更高的检测精度和检测速度。该在线缺陷检测方法成功应用在实际汽车后雨刮自动装配线中，满足了支撑塑料帽在线缺陷检测的速度和精度要求，有效地提高了汽车后雨刮器齿轮连杆机构总成装配质量。

机器视觉；目标检测；卷积神经网络；YOLO v3

0 引言

支撑塑料帽是汽车后雨刮器齿轮连杆机构上的一个关键结构零件，由于其尺寸小、壁薄，所以在装配过程中容易出现裂纹、破损、漏装等缺陷，而在自动装配线上一般很难被发现。一旦缺陷零部件被装配成总成后，在使用过程中破裂的支撑塑料帽残片会卡死传动齿轮，从而导致雨刮器异常噪声和跳动、电机过流烧毁等严重问题。

对于此类小尺寸多缺陷类型的零件，在自动装配过程中常用基于机器视觉的多目标检测方式[1-4]，其中基于YOLO网络目标检测是一种常用方法。高春艳等[5]采用了YOLO v3网络对汽车底部危险微小物品进行目标检测；林志成等[6]利用多尺度训练的YOLO v3网络检测了电力巡检图片中的防鸟刺区域，实现防鸟刺部件的识别和故障检测；岳晓新等[7]提出了一种改进的YOLO v3用于道路小目标检测，降低了小目标的漏检率，提高了检测的精度和速度；庾彩红等[8]提出用YOLO v4实现空心杯电枢表面缺陷检测。

为了实现汽车后雨刮器自动装配线中支撑塑料帽各种缺陷的在线快速检测，本文对YOLO v3网络结构进行了改进以保证在检测实时性的基础上提高图像识别精度；利用k-means重新聚类，采用平均重叠度，重新选取区域候选框，加快识别速度；采用迁移学习方法的YOLO网络训练以解决缺陷训练样本不足等问题。

1 对象分析及检测方案

1.1 对象结构及主要缺陷

图1中的a是一种汽车后雨刮器的动力组件，包含了驱动电机、蜗轮蜗杆传动机构、角度放大传动机构及压铸外罩等；b是汽车后雨刮器的角度放大传动机构，它是后雨刮器的关键功能部件；c是角度放大传动机构的驱动齿轮组件，本文的研究对象就是该组件上面的支撑塑料帽。支撑塑料帽为PE材质，压装在驱动齿轮组件的直销顶端，塑料帽顶端与动力组件的压铸外罩内壁接触，其主要功能是支撑角度放大传动机构，保证角度放大传动机构在运行过程中不出现上下窜动和偏摆，从而保证雨刮器无噪音地平稳运转。

图1 汽车后雨刮动力组件

图2是支撑塑料帽在角度放大传动组件装配过程中可能出现的几种主要缺陷。其中(a)为塑料帽注塑成形过程中由于注塑工艺参数等原因导致的未注满缺陷；(b)为塑料帽在压装到圆柱销过程中出现的塑料帽开裂缺陷；(c)为装配过程漏装塑料帽；(d)为塑料帽压装速度过快或压力过小导致的未装配到位的缺陷。以上这4种缺陷导致的不良品在驱动齿轮组件装配过程中必须正确识别并剔除至不合品箱中，否则如果不良品流转到成品中可能会导致角度放大传动机构无法正常装配或装配后出现噪音、振动甚至卡死烧毁电机的严重质量问题。在采用机器视觉检测支撑塑料帽主要缺陷时还需要尽量避免将(e)和(f)这两类正常零件误判为不良品，其中(e)为塑料帽注塑成形时正常产生的浇点，(f)为塑料帽粘附了装配工装夹具上的油污导致的局部污点，否则装配过程中可能因误判而产生大量不良品，从而降低产线效率。

图2 支撑塑料帽在装配中的主要缺陷

1.2 塑料帽缺陷检测方案

角度放大传动机构的装配过程采用了多工位全自动装配流水线布置方案，驱动齿轮组件装配是该流水线的一条子流水线，其装配流程如图3所示。

图3 驱动齿轮组件装配及检测方案

如图4塑料帽缺陷检测平台图所示，为了尽量简化和减少自动装配流水线的结构，驱动齿轮组件装配时采用了齿轮姿态固定的装配方案，而支撑塑料帽出现缺陷的位置不固定，可能沿圆周分布在任意位置，为了全面获取塑料帽完整的外部图像，图像采集系统采用4个海康MV-CA060-11GM面阵灰度相机，相机沿塑料帽圆周间隔90°布置，相机分辨率为3072×2048，固定焦距为6mm，通过千兆以太网接口实时传输非压缩图像，光源选用环形蓝色漫反射光源，确保对工件能够进行稳定且可重复的检测，同时为避免塑料帽底层金属反光。

图4 塑料帽缺陷检测平台

2 基于改进YOLO v3模型的缺陷检测

为了使YOLO v3网络算法更适用于塑料帽目标检测数据集，本文对算法进行了如下改进：首先对于塑料帽数据集进行k-means聚类分析，根据聚类的结果确定算法中的边界框尺寸大小；然后修改YOLO v3网络算法的激活函数，将原来的Leaky ReLU更改为Mish激活函数，提高了网络模型的鲁棒性，缓解梯度的消失问题，加速模型的收敛。

2.1 目标框重新聚类分析

YOLO v3算法[9]引入了anchor的概念，这是一种针对不同尺度的网络层而确立的一种初始候选框，而在以前的目标检测算法当中，主要靠手工选择候选框的尺寸的大小，主观的做法对于检测效果不太理想。所以，利用k-means算法对训练集中的实际边界框进行聚类，并根据聚类的结果选择出具有客观性、代表性的候选框。

标准的YOLO v3网络采用8倍降采样后的特征图用于检测对象中的小目标，由于被检测工件缺陷以及误判点尺寸较小，经过8倍降采样后，易丢失较小的缺陷位置信息，造成错检或漏检的情况。为了解决上述问题，需要提取特征后的信息，在Faster R-CNN中借鉴anchor boxes的概念，使用k-means聚类，并采用平均重叠度(Averange Interscection over Union,Avg IoU)，重新选取一个固定大小的区域候选框，其目标函数为：

本文针对现场采样尺寸为3072×2048pix的图像照片，采用优化聚类方法对目标缺陷数据集的分类进行聚类分析，选择对应K值为9的K-Means聚类算法迭代后选择相应Anchor Box的宽高，表1展示了聚类方法优化前后的Anchor Box。

表1 聚类方法前后的Anchor Box

2.2 激活函数改进

大多数图像数据的呈现为非线性，而一般的神经网络的计算是线性的，而引入激活函数，可以在神经网络中引入非线性，强化网络的学习能力。

原始YOLO v3网络中的激活函数为Leaky ReLU，是一种专门设计用于解决Dead ReLU问题的激活函数，即当输入为负时，ReLU完全失效，在正向传播过程中，有些区域很敏感，有些则不敏感；但是在反向传播过程之中，如果输入为负数，那么梯度将完全为0，其函数为：

把YOLO v3的激活函数由Leaky ReLU更改为Mish激活函数，该函数正值可以达到任意高度，以避免封顶而造成的饱和，复制允许有一个较好的梯度流，避免了ReLU的硬零边界，并且Mish激活函数和Leaky ReLU激活函数相比，Mish激活函数更加平滑，使更好的信息能深入神经网络，从而获得更好的准确性和泛化。其函数为：

2.3 结果对比

式中：TP代表预测样本有缺陷，实际样本有缺陷；FP代表预测样本有缺陷，实际样本没有缺陷；FN代表预测样本没有缺陷，实际样本有缺陷；TN代表预测样本没有缺陷，实际样本没有缺陷。

为了评估本文所述方法的效果，采用相同的样本图片，分别使用了YOLO v3、YOLO V4和本文使用的改进YOLO v3算法，分别在无GPU和有GPU硬件平台下进行了样本训练和对比测试，测试数据结果如表2、表3所示。

表2 与同类算法mAP对比表

表3 与同类算法各缺陷种类准确率实验结果对比表

从表2可以看出，经过训练之后的三种模型，在检测速度上，本文所改进的YOLO v3模型速度在GPU环境能够达到60ms/张，无GPU环境下能够达到550ms/张，明显比另外两种模型的检测速度都快，说明该改进模型具有良好的时效性。

从表3可以看出，除了无塑料帽这一种缺陷的检测上，三种模型的准确率是一致的，其余五种的准确率均是改进的YOLO v3模型更高，说明该改进的模型具有良好的缺陷识别性能。

3 算法应用

3.1 数据集准备以及模型训练

支撑塑料帽缺陷数据样本集通过图4所示的检测平台在实际生产过程中实时采集获取。因为实际缺陷数据样本较少，为了获得更多的样本照片，使用图片数据增强，包括亮度，裁剪，旋转，平移和镜像等，将图片数据增加到4125张，使用图片标注工具Labelimg，标注缺陷种类共6种，分别是油污、裂缝、浇点、缺口、无塑料帽以及未装配到位，划分训练集和测试集的数量比为7:3。

表4 YOLO_v3训练模型参数

3.2 工业流程

（1）如图5工业流程图所示，该种塑料帽在线缺陷检测工业流程如下：

将塑料帽零件缺陷图使用Labelimg进行人工标注，然后使用改进的YOLO v3网络进行训练得到预测模型。

（3）为了更进一步的提高预测模型的准确率，针对识别结果为缺陷种类的图片，将其保存到塑料帽零件缺陷图文件夹中，以2个星期为周期，将新的不良品照片加入训练集，进行后续的再训练，提高模型的准确率，同时将该零件投入废品箱中不再使用；反之，若是良品，则进行后续工序的组装。

图5 工业检测流程图

3.3 工业应用

如图6模型训练界面所示，在加入了2个周期（即1个月）的实际生产不良品图片之后，使用改进的YOLO v3再次进行训练，可以看到mAP和各种缺陷的准确率有明显的提升。

图6 模型训练图

实际生产时软件界面如图7所示，工厂实际生产一天累计总共3412件，合格个数可达3384件，塑料帽缺陷识别准确率为99.18%，该数据可以表明，经过改进的YOLO v3算法可以有效的识别出塑料帽缺陷。

图7 软件界面图

4 结论

把YOLO v3技术应用于汽车后雨刮支撑塑料帽的检测领域，提出了一种基于改进YOLO v3技术的工业塑料帽零件的实时检测方法，该方法通过对特定工业零件进行修正，使用k-means聚类重新生成边界框尺寸，同时替换使用Mish激活函数强化网络学习能力。从实验数据对比来看，基于改进YOLO v3的塑料帽零件检测方法可以实现对后雨刮支撑塑料帽组件的实时有效检测。所用YOLO v3算法目标检测平均精度为97.89%，检测速率在GPU环境下为60ms/张，在无GPU环境下为550ms/张，横向对比YOLO v3以及YOLO v4均有较好的评价指标，验证了该种改进的有效性和优越性。

[1] 尹宏鹏, 陈波, 柴毅, 等. 基于视觉的目标检测与跟踪综述[J]. 自动化学报，2016,42(10):1466-1489.

[2] 李章维, 胡安顺, 王晓飞.基于视觉的目标检测方法综述[J].计算机工程与应用,2020,56(8):1-9.

[3] Zhao Z Q, Zheng P, Xu S T, et al. Object detection with deep learning: a review[J]. IEEE Translations on Neural Networks & Learning Systems, 2019, 30(11):3212-3232.

[4] Ariji Y, Yanashita Y, Kutsuna S, et al. Automatic detection and classification of radiolucent lesions in the mandible on panoramic radiographs using a deep learning object detection technique[J]. Oral surgery, oral medicine, oral pathology and oral radiology, 2019, 128(4): 424-430.

[5] 高春艳, 赵文辉, 张明路, 等. 一种基于YOLOv3的汽车底部危险目标检测算法[J]. 天津大学学报(自然科学与工程技术版), 2020, 53(4): 358 - 365.

[6] 林志成, 缪希仁, 江灏, 等. 基于深度卷积神经网络的输电线路防鸟刺部件识别与故障检测[J]. 电网技术, 2021, 45(1):126 - 133.

[7] 岳晓新, 贾君霞, 陈喜东, 等. 改进YOLO V3的道路小目标检测[J]. 计算机工程与应用, 2020, 56(21): 218-223. 2005-0340.

[8] 庾彩红, 黄海松, 曾锋, 等. 基于YOLO_v4的空心杯电枢表面缺陷实时检测[J]. 组合机床与自动化加工技术, 2021, (6):59-62+66.

[9] Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.

Online Defect Detection of Support Plastic Caps in Automotive Rear Wiper Assembly

CHEN Chun, CHEN Yi-tao, LIU Xiong, SONG Zhi-feng, LIU Wang

(School of Mechanical Engineering and Automation, Wuhan Textile University, Wuhan Hubei 430200, China)

To address the problem that it is difficult to manually identify multiple types of defects such as cracks, breakage and leakage in the automatic assembly of the rear wiper gear linkage mechanism of automobiles, and that the traditional machine vision recognition is not high, this paper adopts the k-means clustering method based on the multi-target defect detection algorithm of YOLO v3 network, and re-selects the target area using the average overlap. The candidate bounding box size speeds up the target detection and recognition speed and accuracy; meanwhile, the Mish activation function is used to replace the Leaky ReLU activation function commonly used in YOLO v3 network to strengthen the network learning ability. The experimental results show that the improved YOLO v3 in this paper has higher detection accuracy and detection speed compared with the traditional YOLO v3 algorithm. The online defect detection method is successfully applied in the actual automotive rear wiper automatic assembly line, which meets the speed and accuracy requirements of online defect detection of the support plastic cap and effectively improves the assembly quality of the automotive rear wiper gear linkage mechanism.

machine vision; target detection; convolutional neural network; YOLO v3

陈燚涛（1972-），男，教授，硕士生导师，研究方向：精冲技术与精冲模具.

TP368.1

A

2095－414X(2022)02－0016－05