基于三维检测的钢管外表面缺陷检测与识别方法

刘国栋 苏成 王晓晨 吴昆鹏 王少聪 周锦波

关键词：无缝钢管；外表面缺陷检测；3D缺陷尺寸检测；轮廓检测；深度学习

0 引言

无缝钢管被誉为工业血管，广泛应用于化工、石油、海洋、地质及军工等领域，对国家工业、国防建设具有重要意义与战略价值，由于长期处于恶劣工作环境等问题，无缝钢管对产品表面缺陷要求极为严格。对钢管缺陷常用的检测方式包括水压机检测、漏磁探伤检测、荧光粉检测、超声检测、涡流检测、人工检测、视觉二维检测等。其中水压机检测属于离线检测手段，漏磁探伤检测需要经常标定，超声检测、涡流检测方式具有“趋肤效应”，误报率较高，维护成本高，且这几种检测属于接触式测量，探头易损坏，对平滑类缺陷不敏感。人工检测方式漏检率高，不能全方位检测，检出的缺陷可追溯性差，且劳动强度大。

目前主流的检测方式还是基于机器视觉的非接触式测量，运用机器视觉检测方式，通过相机拍照并依靠LED光源或者激光光源，形成高对比度的成像环境，实现非接触式检测缺陷，该检测方式被大量应用在连铸、热轧、宽厚板、钢管等冷、热态场合。目前机器视觉二维检测主要依靠RGB图像方法，通过工业相机采集表面二维灰度图像，计算机对获取的图像的灰度值变化进行处理和识别，确定表面是否有缺陷。但是钢管表面的缺陷都是立体结构，普通的二维检测只能定性地检测出该缺陷有无，对于缺陷的深度或者高度则不能定量检测，导致检测的不准确性。

近几年3D检测方式得到应用，基于3D点云数据作为支撑，钢管表面缺陷信息更加全面，弥补了二维检测不能量化的缺点，为实现钢管外表面缺陷高精度自动检测和识别，本项目运用机器视觉检测系统，提出基于二维三维融合视觉检测技术，提高了钢管外表面缺陷识别精度和检出率。

1 钢管外表面缺陷检测原理

通过三维检测技术实现钢管热态或者冷态的检测，实现钢管表面缺陷的3D检测，对缺陷进行量化检测，提高缺陷的检出率和识别率。无缝钢管表面检测采用3D线激光传感器，原理基于三角测量法：当被测物体沿激光方向发生移动时，位置传感器上的光斑将产生移动，其位移大小对应被测物体的移动距离，因此可通过算法设计，由光斑位移距离计算出被测物体与基线的距离值，如图1所示。如图2所示，3D相机的激光线（X）垂直于钢管径向方向，当钢管沿径向方向运动时，3D相机的采集行频和速度匹配，点云数据组成产品的表面形状轮廓。

2 系统组成

整体系统包括图像、点云数据采集端、速度数据采集端、数据处理端、HMI终端、冷却端、防护设备等。图像、点云数据和速度数据通过千兆网络传输到数据处理端进行存储、分析、运算，将检测出的表面缺陷数据、钢管长度、温度数据保存在数据库中，通过软件处理后在HMI终端进行显示，系统检测流程如图3所示。为适应无缝钢管形状特性和规格多样性，3D相机安装在钢管的一周，实现360°拍摄，且成像系统有足够大的景深，如图4所示。

3 检测算法

3.1 缺陷识别流程

缺陷识别流程如图5所示。通过拍摄钢管外表面，得到钢管外表面的3D点云数据和二维灰度图两种钢管表面信息，3D点云数据与二维灰度图相比，3D点云数据具有钢管表面相应位置的三维坐标（xyz），3D点云数据经过综合处理后，计算对应区域测量点相对于钢管外表基准面的高度差，得到三维系统处理后的图片。再经过二维系统的预处理、缺陷分割、缺陷识别等处理进行缺陷检测。本文通过深度学习智能算法的缺陷检测方法，将图像根据三维尺寸和灰度明顯区域、边界明显区域、纹理明显区域进行提取，并定义为可疑待选的缺陷区域，快速减少处理的图像数据大小，然后运用复合缩放的网络构建方法进行最终的缺陷识别。

3.2 AI深度学习智能算法的缺陷检测方法

开发基于AI深度学习智能算法的缺陷检测方法。采用校正注意力YOLOF方法来检测圆钢表面的缺陷，网络结构如图6所示，主要包含4个组成部分：主干、编码器、解码器和校正注意力模块。

主干部分如图6（a）所示，主要采用ResNet作为主干，C5表示主干网的输出的特征映射，Cout表示该特征映射的通道数，默认是2 048个通道，并且下采样率为32。编码器部分如图6（b）所示，采用YOLOF的扩展编码器，其具体结构如图7所示，包括1个投影层和4个连续的残差块。投影层用一个1×1的卷积层来降低通道数，再用一个3×3卷积层来细化语义上下文，形成具有512个通道的特征映射。残差块采用一个1×1的卷积层来缩减通道数，缩减率为4，然后采用一个3×3的卷积层来扩大感受野，最后再采用一个1×1的卷积层来恢复通道数。解码器部分如图6（c）所示，采用RetinaNet的设计，由两个并行的特定任务组成：回归和分类。回归包括4个卷积层、批量归一化层和Mish层。分类包含2个卷积层，遵循Autoassign， 并为回归中的每个锚点使用对象性预测来证明锚点是否包含对象。分类得分的最终预测是通过将分类输出与对象性预测相乘得到的。校正注意力模块如图6（d）所示，包括局部灰度校正模块、校正注意力网络和异常值分割模块。输入图像经过局部灰度校正得到一个增强图像，然后经过校正注意力网络的编码部分得到特征映射C5′，对其执行以下3个操作：1）与YOLOF主干网络输出的特征C5相加；2）经过空间注意力模型得到一个通道数为1的特征，再与YOLOF编码器部分的输出相乘；3）继续执行注意力网络的解码器，但是这一操作只在训练时执行，验证时不执行。最后，在训练时用到的真实数据采用异常值分割模块来获取，训练主干网络的模糊缺陷检测能力。

3.3 复合缩放的网络构建方法

深度型缺陷先通过深度设定阈值进行二值化处理，二值化后的缺陷区域对应的位置如图8（a）所示，通过图像截取后的子图，经过分类网络模型得到具体类别。采用复合缩放的网络构建方法，使用系数调整3个参数值（深度、宽度、输入图像分辨率），增加网络的深度，去捕获图像中更多像素的特征，如图8（b）所示。

EfficientNet-B4网络模型的整体结构如图9所示，其中检测流程中的分类模型采用基于EfficientNet的网络结构，通过迁移学习训练进行调整。以实际使用的EfficientNet-B4为例（该系列网络中速度和准确度较为均衡的一款模型结构），进行迁移学习时，冻结Block1-Block4，利用管材表面缺陷样本数据训练优化Block5-Block7的网络参数，利用初始的低层次的图像特征，调优高层次的图像特征以适应管材缺陷的识别。在网络头部部分，以管材缺陷类别，重新构建模型的输出头，输出头采用SoftMax层得到各类别缺陷的置信度信息。

4 应用效果

4.1 实际缺陷检测分析

通过缺陷检出分割处理，将图像根据三维尺寸和灰度明显区域、边界明显区域、纹理明显区域进行提取，并定义可疑待选的缺陷区域，快速减少处理的图像数据大小，然后将备选的区域送入分类器模型进行最终的类别判定，类别判定采用置信概率值的方式，可提供置信度的区域类别显示。检测结果如图10所示，其中图10（a）～（d）为缺陷的二维图像，图10（e）～（h）为缺陷点云图渲染的3D图。

本文设计的方法可以同时输入二维图像和三维点云数据进行检测，对比的同类型方法（Yolov3、Yolov5）由于网络结构仅使用二维图像的输入，实验得到的缺陷检出率（式（1））和缺陷误检率（式（2））见表1。由表中数据可分析得到，对于凹坑、青线两类缺陷，由于二维图像特征不明显，使用Yolov3和Yolov5方法检出率不高，本文方法由于使用了三维图像特征，使凹坑、青线缺陷检出率大幅提高；对于外折、轧疤缺陷，其二维图像中的特征足以支撑模型检测，所以在检出率上本文方法提升不明显，但由于使用了三维数据，有效控制了外折、轧疤缺陷的误报，对误报率指标有积极作用。

4.2 本系统现场实际应用

目前系统已经投用在国内某个无缝钢管厂，如图11所示。系统采用6套3D传感器，相机分辨率为2 560×832，采集速率根据现场辊道速度进行自动调整，深度检测精度在0.2 mm， 可有效检测出0.2 mm以上的缺陷。检测系统软件界面如图12所示，不同的缺陷以不同的颜色来进行显示，同时显示二维和三维缺陷图片，便于操作工判断。操作工根据需要可选择周期性缺陷显示、单个缺陷信息显示，便于对检测缺陷的类型、位置、大小及图像进行人工识别，并与检测缺陷的自动判别结果进行对比分析。

系统对缺陷的识别检出主要依靠大量分类准确的样本图像，通过二维数据和三维数据的联合识别可有效提高样本的可靠性。算法程序根据模型处理图像上的一块区域，准确提取疑似缺陷区域，并根据录入的缺陷类别进行准确分类。系统连续几个月的本系统检测数据与人工和漏磁探伤机进行數据对比，分别从报伤管数、漏检、缺陷过检数、缺陷过检率等数据分析。其中：报伤管数为报警有缺陷的钢管数量；漏检为钢管表面有缺陷，但是没有检出；缺陷过检数为检测出的缺陷并不影响钢管质量，此类缺陷不需要检出。

缺陷过检率：

E=（Td-Tm）/Tp×100%（3）

式中：E为缺陷过检率，Td为本系统报伤管数，Tm为漏磁探伤机报伤管数，Tp为对比钢管总数。

检测效果对比见表2。对开放性缺陷可实现不漏检，且过检率控制在2%左右。通过以上对比发现，本系统对开放性缺陷的检出率大于99%，且过检率控制在2%左右，是实现非接触式测量的有利手段。目前漏磁探伤机是钢管厂的标准产品，成熟度高，但是对于横向缺陷以及“宽深比”比较大的缺陷则误检率很高，同时漏磁探伤机需要每4 h标定1次，或者换钢管规格时都需要标定，使用起来很复杂，且成本也非常高。目前通过机器视觉的检测手段不仅缺陷检出率高，同时安装方便简单，成本相对较低，且使用简单，满足大多数钢管厂的使用要求，符合智能制造的统一

思想。

5 结论

1）系统周向布置6个3D相机采集含有钢管表面深度信息的点云数据，分析点云数据实现缺陷的三维检测。使用复合缩放的网络构建方法，通过调整图像深度、宽度、输入图像分辨率，增加网络的深度，去捕获图像中更多像素的特征，对于复杂背景下缺陷的分类准确率有更大的提高，对现场的缺陷识别率可以达到95%以上。二维三维融合检测，代替传统的人工和二维检测，三维信息是二维信息很好的补充，解决二维系统检出率低、识别率低等问题，使得该系统在钢厂智能制造方面发挥更大的作用。

2）本系统只针对圆钢生产线，对异型钢，如H型钢、螺纹钢等产线则缺乏一定经验。在本系统 研究基础上，向异型钢以及高速（速度大于20 m/s）的生产线作进一步研究。

本文摘自《冶金自动化》2024年第1期