基于全卷积的缺陷智能检测技术在冲压线上的应用研究

文／赵兵，王传英，王冬·济南二机床集团有限公司

汽车冲压生产正在向高速、高效、智能化方向发展，同时大型高速全自动冲压线实现的最大难题在于成形零件的质量缺陷检测，因成形零件规格大、曲面复杂等因素，该问题是大型高速冲压生产线实现全自动生产的最后一项技术难题。通过开展基于全卷积网络的单阶段多尺度缺陷检测算法研究，实现了成形零件外观质量缺陷检测的自学习智能算法，基于已有质量缺陷的特征，通过自学习的方式实现冲压线成形零件的质量检测，对于降低冲压生产线人工检测的劳动强度、提高检测效率，提高冲压生产线的自动化、智能化水平具有十分重要的意义。

汽车产业作为国民经济的重要支柱之一，一直以高度自动化、智能化引领制造业的发展，为贯彻“中国制造2025”及“ 双碳”战略，汽车产业逐渐向“低碳”方向发展，这也引起了大多数车企在不降低安全性能的前提下，走向汽车轻量化的方向。基于高强度钢、铝合金、激光拼焊板等材料可有效降低汽车车身重量，该类型材料的应用范围持续扩大，由于该类型材料在冲压成形过程中容易产生破裂、起皱、回弹等缺陷，故对汽车覆盖件冲压生产线线尾质检工作人员提出了更高的要求。

现状概述

目前而言，大型汽车覆盖件的整线生产已实现全自动化，而线尾成形零件的质量缺陷检测依然依赖人工质检方式，由于人工质检受光照强度、个人经验等多种因素的影响，难以实现真实客观的质量评价，且长时间高强度的质检工作对员工而言容易产生疲劳，不利于成形零件的质量管控。目前国外对成形零件的缺陷质检的研发工作走在世界前列，相关概念性产品已在德国宝马工厂进行了技术验证，而我国在此方面还处于技术探索阶段，闫丹丹等人提出一种基于R-FCN 深层卷积神经网络的缺陷检测方法，用于小型金属冲压件的表面质量缺陷检测；南昌大学于江豪提出基于残差神经网络的检测方法，设计开发一套检测异形件的工具，可用于实现小型金属冲压件表面的质量缺陷检测；山东科技大学孙永鹏等人开发基于YOLOv4 算法对冲压线缺陷检测进行研究，可以有效提高检测速率与检测精度；北京理工大学张腾基于灰度值变换等技术，开发出汽车覆盖件质量缺陷检测系统，实现了针对汽车冲压件容易发生的四种缺陷进行图像处理及缺陷识别。

而前述的缺陷检测技术应用于小型冲压件，如电池板等小规格、平板类成形件，这与汽车覆盖件相比区别在于：⑴汽车覆盖件一般为包含曲率变化复杂的曲面，其反光特性复杂，导致缺陷不明显，难以精确辨识；⑵汽车车身覆盖件尺寸大，一个工业相机一次只能采集其局部图像，高生产节拍的冲压线对图像处理的效率要求较高，难以实现在线缺陷检测。

得益于“中国制造2025”的技术推动，自动化、智能化、信息化技术逐渐被应用到促进产业变革，其中视觉技术作为人工智能领域重要组成部分，已越来越多地被用于解决工业检测领域内的实际问题。基于视觉技术的智能检测可有效避免人工检测的弊端，实现数字化、智能化、高精度生产，如广汽乘用车有限公司的李驰等人基于冲压质量模板匹配视觉检测技术，实现冲压件质量缺陷的在线检测应用，但前述相关技术仅应用于机器人冲压生产线上，对于大型高速冲压生产线的技术应用研究还较为匮乏。

基于全卷积的缺陷智能检测技术的应用研究

汽车车身冲压件表面缺陷检测硬件平台搭建

⑴多相机拍摄系统。

针对汽车覆盖件成形零件的尺寸、缺陷的特点，考虑到冲压线线尾布局的限制，设计适用于冲压线线尾质检的多相机拍摄系统，通过多视野同步分析完成大面积工件表面全覆盖式检测。如图1 所示，该系统主要由24 个工业相机及镜头组构成，通过对汽车车身成形零件相关参数范围的评估分析，得到相应相机、镜头参数。

图1 多相机拍摄系统结构图

该支架系统的设计要求为：

1)不能对冲压产线正常生产造成阻挡与影响。

2)不能与冲压线尾质检人员站位产生冲突。

3)不受压力机振动影响。

4)间距、高度、相机挂点需可调节。

⑵光电传感器同步触发拍摄系统。

为实现自动检测需求，需在工件经过拍摄区域时完成自动图像采集。为实现多相机同时拍摄的目的，设计了基于光电传感器的同步触发拍摄系统，该系统主要包含两个模块：光电传感器模块和输入输出模块。

如图2 所示，采用了NPN 系列光电传感器，通过调整传感器灵敏度值，使传感器可正确区分传送带材质和工件金属材质，达到感应到经过工件并向系统发出抓拍信号的目的。

图2 NPN 系列光电传感器

具体工作流程为：工件进入传感器检测范围→传感器感应到工件，红灯亮起→工件离开传感器检测范围，进入拍摄区域→传感器红灯熄灭，向输入输出模块发射电信号，触发24 个工业相机同时拍摄。

基于深度学习的汽车外覆盖件表面缺陷检测技术研究

⑴曲线检测数据库搭建。

基于深度学习的缺陷检测算法，为了调试采集了出现在汽车外覆盖件表面上的缺陷信息，初步构建了基于外覆盖件的缺陷图像数据库。该实验数据库包含划伤、麻点、压伤三类常见缺陷，总数据量为1200份并按8:2 划分为训练集与验证集。图3 为实际采集的缺陷数据库实例。

图3 缺陷数据库实例

⑵基于高分辨率特征的快速区域生成缺陷检测网络。

基于高分辨率特征表示的快速区域生成缺陷检测网络，包括高分辨率缺陷特征提取子网络、缺陷特征金字塔子网络以及缺陷定位与识别子网络等三部分。图4 为基于高分辨率特征表示的快速区域生成缺陷检测网络的整体流程。

图4 基于高分辨率特征的快速区域生成缺陷检测网络

高分辨率缺陷特征提取子网络包括缺陷尺度平衡模块以及多尺度缺陷特征生成模块。缺陷特征金字塔基于提取的高分辨率特征表示，生成用于后续缺陷定位和识别任务的多尺度特征金字塔表示；缺陷定位与识别子网络包括缺陷区域提取模块、缺陷特征区域对齐模块、缺陷检测头模块、检测后处理模块。

⑶高分辨率缺陷特征提取子网络。

汽车外覆盖件高分辨率缺陷特征提取是后续缺陷定位任务和缺陷识别任务的基石。考虑到数据采集过程中的不确定性，工业相机所采集的数据往往包含大量的噪声以及阴影等；此外，缺陷具有占比小、分布广等特点，进一步加剧了特征提取的难度。为了从实时采集的图像中精确提取缺陷的鲁棒特征，提出了基于高分辨率表示的缺陷特征提取子网络。

基于高分辨率表示的缺陷特征提取子网络，利用本地CPU 批量读取采集图片作为子网络的输入，通过缺陷尺度平衡模块以及多尺度缺陷特征生成模块输出4 组不同分辨率、不同深度的缺陷特征图并作为后续特征融合的输入。缺陷尺度平衡模块通过一组特定的卷积层、归一化层以及激活函数层，对输入缺陷图像进行尺度降维的同时提取浅层特征。

多尺度缺陷特征生成模块基于4 个阶段的特征提取，通过建立低分辨率特征图以及对低分辨率缺陷特征进行不断的上采样以获得更高精度的特征图。此外，该模块定义了高低分辨率特征图之间的信息交互，允许不同分辨率特征图之间进行特征融合互补，缓解了现有特征提取子网络存在的多层特征图语义信息和细节信息不一致的问题。

⑷缺陷检测网络训练。

基于高分辨率特征表示的快速区域生成的缺陷检测，需要大量的标注缺陷数据集。标注主要包括图像中缺陷位置信息与类别信息：位置信息用一个矩形框表示，得到矩形框的中心点坐标和长宽；类别信息则为缺陷类别的名字，如压伤、凸点、划伤等。依托于Labeling 的批量标注功能，对收集到的数据集进行标注，图5 展示了部分标注样例。

图5 标注实例

基于全卷积网络的单阶段多尺度缺陷检测算法

⑴基于残差网络的缺陷特征提取模块。

算法使用残差网络进行缺陷特征提取，残差网络主要由卷积层、最大池化层和残差连接组成。残差模块结构如图6 所示，由于该结构的存在，网络通过学习残差部分有效避免了梯度消失或爆炸的现象，提高了网络学习缺陷特征的稳定性。

图6 残差结构示意图

基于不同深度残差网络参数特性，网络学习到的浅层特征中包含了缺陷定位及细节信息，而高层特征中包含了缺陷类别信息，不同层次的缺陷特征将共同用于后续缺陷检测。

⑵基于多尺度特征的缺陷分类与定位模块。

由于不同层级特征包含不同尺度缺陷信息，为检测出各语义层次的不同缺陷，设计了五个检测分支，所有检测分支共享检测头参数。检测头包含分类、中心点度量和边框回归三个分支，分别用于缺陷分类，去掉远离缺陷中心点的低质量定位框和定位边框坐标回归，其流程如图7 所示。

图7 缺陷分类与定位模块

⑶基于非极大值抑制的后处理模块。

为去掉冗余缺陷定位框，提出了基于非极大值抑制(NMS)的后处理模块，分类分支将赋予每个定位框一个类别置信度分数，即每个定位框属于某一类缺陷的概率，非极大值抑制算法将根据这些概率值进行，主要流程为：

1)对于每一类缺陷，首先去掉类别置信度分数小于分类阈值的定位框；

2)将所有定位框进行排序，选择该类得分最高的定位框；

3)去掉与最高分定位框的交并比(IOU)大于要求阈值的定位框；

4)从剩下的定位框中继续选择一个最高分的定位框，去掉与其交并比大于交并比阈值的定位框；

5)对其他类别重复以上过程，找到所有定位框；

6)根据剩下的定位框的类别置信度分数和类别颜色在原图画出预测结果，如图8 所示。

图8 非极大值抑制算法

汽车覆盖件表面缺陷检测软件设计

我们的软件系统主要分为三个子模块：图像采集及参数调试模块、缺陷检测模块和数据更新及模型训练模块。软件基于深度学习技术开发了汽车覆盖件表面缺陷检测系统，该系统在PyCharm 平台下，通过PyQt5 完成了用户交互界面开发，采用了Python 编程语言。并基于Tensorflow、Keras、Pytorch 框架开发了Faster-RCNN、YOLO、FCOS 等缺陷检测算法，实现了快速、高精度的缺陷检测与定位任务。

⑴图像采集及参数调试模块。

该模块在采集初期用于调整各工业相机采集图片的曝光时间、锐化程度、图片对比度及色度，以适应不同光照及生产环境。该模块通过调取大恒水星工业相机(MER-1070-10GM)Python 开发接口，定制了采集控制、图像处理、相机控制等各项参数，实现了默认、手动调整两种模式，如图9 所示。

图9 图像采集及参数调整模块

⑵缺陷检测模块。

该模块通过读取每一个相机拍摄的图片进行实时缺陷检测与检测报告生成。选择合适检测算法之后，可以根据产线具体情况设置手动和自动检测两种模式，其界面如图10 所示。

图10 相机采集及缺陷检测模块

⑶数据更新及模型训练模块。

该模块用于检测模型迭代优化，完成了数据更新标注与模型在线训练两大功能。针对模型训练实现了不同算法(Faster-RCNN、YOLO等)、不同参数配置(优化器、学习率、训练迭代次数等)下的动态训练，并生成训练日志以及可视化训练损失曲线与验证精度曲线。针对数据更新标注，实现了读取标注单张图片以及批量标注的功能，如图11 所示。

图11 数据更新及模型训练模块

项目应用验证

该技术以国内某主流汽车制造企业的PSL4-6900-5000-2500 大型高速自动冲压线为验证对象，在该冲压线线尾布置成形工件质量缺陷智能检测系统，经过近一年的生产验证，实现了所有成形零件的全部自动智能检测，有效提高了质检效率、缺陷检出率，解决了人工抽检率低，质检效果存在较大的人为主观因素等问题，取得了良好的示范应用效果，其实际应用场景如图12 所示。

图12 冲压线覆盖件智能质检系统应用场景

该缺陷智能检测系统在实际生产验证及长时间运行时，依然存在一些待优化的部分，如核心算法独立自主，可以根据需求优化升级。但目前而言，针对整线高速生产一模四件时，其检测的稳定性有待提高；软件封装方面需要与整线控制系统进行整合，以提高其操作便捷性等。