基于机器视觉的带钢表面缺陷检测研究进展

米春风，卢 琨，汪文艳，王 兵

(安徽工业大学a.电气与信息工程学院；b.电力电子与运动控制安徽省重点实验室，安徽 马鞍山 243032)

我国一直是钢铁生产和使用大国。随着疫情后的经济复苏，2021年全国粗钢产量达到10.328 亿t，历史上首次突破10 亿t，约为全球粗钢产量的54.02%。同时统计数据显示，全国粗钢消费量约9.95 亿t。热轧带钢是钢铁行业中的主要原材料之一，具有耐腐蚀性、强韧性、便于加工的优点，在航空航天、土地建筑、汽车制造等领域备受青睐[1]。自2000 年以后，我国工业发展迅速，对热轧带钢的需求日益旺盛，轧制生产技术得到很大的发展，生产线也扩充到上百条。

在热轧带钢的生产技术要求中，尺寸精度、版型、表面质量和性能是衡量带钢产品质量的四大关键因素。带钢又是单位体积表面积最大的一种钢材产品，多用于外围构件，表面质量至关重要。带钢实际生产过程中，由于生产工艺或者生产环境等因素的限制，导致带钢表面易出现裂纹、斑块等缺陷，这不仅有损产品外观，而且使产品更易锈蚀和破裂。所以在热轧带钢生产线上存在质量检测环节，据此可将缺陷产品进行回炉重造，做到及时止损。在互联网、大数据不断推动信息化、智能化高速发展的时代，国务院在2015 年发布了《中国制造2025》，将人工智能作为提升国家竞争力、维护国家利益和安全的重大战略[2]。美国、德国、日本等发达国家也纷纷提出了“再工业化”战略[3]。因此，传统的钢铁企业必须尽快完成产业升级，提高产品质量，控制生产成本，这样才能在激烈的国际竞争环境下更好更快的发展。

随着图像处理技术的发展，基于机器视觉的缺陷检测方法已逐渐取代人工检测方法，并在工业现场生产检测环节得到了实践[4-6]。因此，以机器视觉的带钢表面缺陷检测为论述中心，综述自上世纪50 年代以来带钢表面缺陷检测方法，探讨基于机器视觉带钢表面缺陷检测技术的难点和发展趋势，以期为相关研究学者提供较为详实和有效的参考。

1 早期带钢表面缺陷检测方法

根据缺陷模式的不同，常见的热轧带钢表面缺陷大致可分为6 种，如图1。早期带钢表面缺陷检测方法主要包括人工检测法、涡流检测法、红外检测法、漏磁检测法、激光扫描检测法等。

图1 常见的6种带钢表面缺陷Fig.1 Six common surface defects of strip steel

人工检测法是上世纪50至60年代国际上通用的带钢表面缺陷检测方法，通常是由工作人员在生产线上用肉眼去判断是否存在缺陷，有时会使用光源频闪的办法来提高人眼观测的效率。但由于生产线的速度不断加快、人眼视觉灵敏度等影响，人工检测方法无法可靠地捕获缺陷信息，从而产生大量的漏检[7]。另外，工作人员长期处在嘈杂、高温、强光、振动、粉尘的工业生产环境中，不仅影响身体健康，而且容易产生大脑和视觉疲劳等身体负担导致评判标准不一，进而误判。因此，人工检测法存在劳动强度大、效率和准确率低等问题，易造成诸多不必要的损失。

涡流检测法是利用交流线圈靠近钢板缺陷，钢板内部会产生交变电流，进而通过接受线圈返回的信号判断是否存在缺陷[8]。涡流检测对表面状态的要求较高，大面积缺陷对其检测速度的影响较大，不适宜在高速轧制钢板的生产线上使用。

红外检测法是根据带钢表面深浅不同引起的温度变化来判断表面是否存在缺陷[9]。通常是通过在钢坯传送辊道上安置一个高频感应线圈来获取钢坯表面产生的感应电流，缺陷区域感应电流行程增大，电能消耗加剧，进而引起钢坯表面温度的局部上升，通过红外检测仪捕获温度变化来完成对表面缺陷的检测。然而仅通过获取的温度很难对缺陷区域进行精确分类。

漏磁检测法是使用磁轭将钢坯磁化，若钢坯内部均匀无缺陷，钢坯表面几乎无磁场；若钢坯存在缺陷，磁通会产生畸变，形成漏磁场。但缺陷区域较小时很难形成漏磁场，漏磁检测法难以满足实际应用的需求。

激光扫描检测法是上世纪70 至80 年代最常用的钢铁表面缺陷检测方法。其工作原理是激光经多面体棱镜投射到钢板表面，经光电倍增管接受钢板表面发射和散射的光线且将其转化为电信号后，送入计算机进行处理和分析。美国Sick光电子公司研制的缺陷检测系统可识别高达40多种表面缺陷[10]，然而实际生产线中的粉尘和物质会严重影响光线的反射，使得激光扫描检测法的应用受到限制。

2 机器视觉带钢表面缺陷检测方法

上世纪90年代以后，随着硬件设备与机器视觉技术的发展，低成本、效率高且方便维护的基于机器视觉的带钢表面缺陷检测系统成为主流，如图2，其可靠性、高效性、实用性都远优于早期的带钢表面缺陷检测方法。目前，基于机器视觉的表面缺陷检测方法主要分为传统与深度学习方法两种，如图3。

图2 基于机器视觉的缺陷检测系统Fig.2 Defect detection system based on machine vision

图3 基于机器视觉的带钢表面缺陷检测方法分类Fig.3 Classification of strip surface defect detection methods based on machine vision

2.1 传统的机器视觉带钢表面缺陷检测方法

传统的机器视觉缺陷检测方法可分为三类：基于局部异常的缺陷检测方法、基于模板匹配的缺陷检测方法和基于分类的缺陷检测方法。

基于局部异常缺陷检测方法是通过分析纹理来执行的，以找到不符合测试图像中明确定义的正常行为概念的模式。在空间领域，通常采用一阶统计与二阶统计方法，例如，Luo 等[11]基于方差、熵与平均梯度开发了缺陷检测算法，平均精度为92.11%，假阴性率为5.54%；Tsai等[12]使用加权协方差矩阵来检测纹理表面缺陷；Timm等[13]成功地应用威布尔模型来检测纹理表面缺陷；Liu 等[14]建立一种基于哈尔-威布尔方差的模型来表示图像中每个局部补丁的纹理分布，该方法可检测均匀纹理表面任意类型的缺陷，对带钢表面缺陷的平均检测率为96.2%。在频域内，频谱特征通常采用小波变换和傅里叶变换来提取[15-16]。陈海永等[17]融合Gabor小波变换和加权马氏距离阈值化方法检测带钢表面缺陷，检测率为94.13%；徐森等[18]提出一种基于相位谱和加权马氏距离的带钢表面缺陷显著性检测方法，平均检测率为94.7%，单幅图像检测耗时仅15.1 ms；郑建聪等[19]使用基于ORB(oriented FAST and rotated BRIEF)的图像特征点检测方法实现了约92%的检测成功率和3 frame/s的检测速度。

基于模板匹配的缺陷检测方法将无缺陷模板图像引入检测过程中，通过测量给定测试图像与无缺陷模板图像之间的相似度，或通过图像配准等定位操作来完成缺陷检测。图像模板匹配中常用的两种方法是基于归一化互相关的匹配方法和基于特征的匹配方法[20]。前者主要采用空间的一维或二维滑动模板进行图像匹配，后者主要通过提取图像中的点、线、区域等显著特征进行匹配。然而，基于归一化互相关的匹配方法通常计算复杂度较高，导致检测速度较慢，并且对图像的空间位移和旋转较敏感。因此，在带钢表面缺陷检测中一般用基于特征的匹配方法。刘坤等[21]采用局部二值模式特征算子来完成图像的特征编码转换和编码空间的建立，再利用基于马氏距离的阈值化方法进行缺陷的检测与定位，实现了96.7%的检测精度，单幅图像检测耗时40 ms；王俊强等[22]对边缘检测提取的特征进行图像匹配，检测速度为500 m/min。一般来说，基于模板匹配的缺陷检测易受图像成像环境的影响，如视角、光源、传感器等，同一物体在图像中表现出来的空间位置、光学特性、几何特征也会存在较大差异。

传统机器学习的缺陷检测方法通常包含特征提取与分类器调试两部分。图像的特征提取可理解为从高维图像空间到低维特征空间的映射，基本思想是使目标在得到的子空间中具有较小的类内聚散度和较大的类间聚散度，其有效性对后续缺陷目标识别精度、计算复杂度、鲁棒性等均有较大影响[23]。目前常用的图像特征主要有纹理特征、颜色特征、形状特征等，提取后的特征再由分类器完成对目标的识别，常用的分类器有支持向量机(support vector machine，SVM)、BP神经网络、决策树等。由于基于特征提取与分类器调试的算法对各类缺陷的识别精度和识别效率较高，使得基于机器学习的缺陷检测方法成为传统机器视觉方法的主流。Hu等[24]提取了缺陷图像的几何、形状、纹理和灰度四类视觉特征，采取基于混合染色体的分类模型对染色体和SVM 分类模型进行优化，对带钢表面缺陷进行了有效的识别；韩英莉等[25]采用灰度共生矩阵的特征提取,提出了基于BP 神经网络进行带钢缺陷识别与分类的方法，四类缺陷的平均识别率为92%；上海宝钢研究院杨水山等[26]用Boosting算法结合SLIQ(supervised learning in quest)决策树建立组合分类器来识别带钢表面缺陷，识别的准确率达到了90.47%；刘启浪等[27]利用局部二值模式提取带钢表面缺陷特征，利用SVM分类器进行分类实验，取得了良好的识别效果。

2.2 深度学习的带钢表面缺陷检测方法

实际工业生产中，由于检测对象在形状、大小、纹理、颜色、背景、布局和成像光照等方面差异较大，使得复杂环境下对缺陷进行检测分类成为一项艰巨任务[28]。在深度学习的背景下，卷积神经网络(convolutional neural networks，CNN)因具有强大的端对端自动特征提取能力，被广泛用于表面缺陷检测，根据检测任务的不同可分为分类网络、目标检测、实例分割。

一般来说，基于CNN 的网络通常采用现有的网络结构，如VGGNet[29]，ResNet[30]，DenseNet[31]，MobileNet[32]等；或者针对实际的应用问题搭建轻量级的网络结构。其基本思想是输入一副图像，通过反向传播进行网络自主学习，最终输出该图像的类别和该类别的置信度。杨延西等[33]提出一种基于CNN 的带钢表面缺陷检测方法，判断缺陷的准确率在99.99%以上；王立中等[34]提出基于深度学习的带钢表面缺陷识别方法，识别准确率为98.5%；常江等[35]引入生成对抗网络扩充数据集样本的数量，再通过改进MobileNetV3网络识别带钢表面缺陷，实验结果达到了工业现场要求的实时准确分类标准。然而，基于CNN 的缺陷分类方法通常只能实现对一帧图像中缺陷类别的识别，当图像同时存在多种缺陷类别时，只能识别特征显著、区域较大的缺陷，不能对缺陷区域进行定位。

分类网络可通过结合不同的技巧和方式如锚框机制、候选区域的产生及目标分类和回归等，来实现对一帧图像中多类缺陷的识别和区域定位，也称为目标检测网络。王泽鹏等[36]、Ren 等[37]使用Faster R-CNN，经过足量的有效数据训练后取得了良好的检测效果；韩强等[38]为解决结构信息减少导致检测精度低的问题，提出一种特征融合和级联检测网络的Faster R-CNN 钢材表面缺陷检测算法，也取得了良好的检测效果。为解决检测速度慢、检测精度低等问题，李维刚等[39]、Redmon等[40]、Song等[41]提出了一种改进的YOLOv3算法模型，在NEU-DET带钢表面缺陷数据集上达到了80%的平均精度均值(mAP)、50 frame/s的检测速度。

为实现更准确的像素级别定位，实例分割任务孕育而生，即在进一步扩展目标检测网络的基础上，在每一个候选区域加一个用于预测分割掩码的掩码层，实现像素级别的图像实例分割。但实例分割网络的检测速度比目标检测网络慢。He等[42]、翁玉尚等[43]改进Mask R-CNN实例分割网络用于带钢表面缺陷的检测，检测精度为96.02%、检测速度为5.9 frame/s。为解决分割精度低和实时性差的问题，Song等[44]提出了一种基于编码器-解码器残差网络(encoder-decoder residual network,EDRNet)的新型显著性检测方法，在编码器阶段，使用全卷积神经网络提取丰富的多级缺陷特征并融合注意力机制来加速模型的收敛；在解码器阶段，交替采用通道加权块和残差解码器块来融合较浅层的空间特征和深层的语义特征，并逐步恢复预测的空间显著性值，在单块GPU上的检测速度为27 frame/s。

2.3 机器视觉带钢表面缺陷检测方法的应用比较

表1为传统机器视觉和深度学习带钢表面缺陷检测方法的比较。由表1可看出：传统方法的主要优点是不需大量图像样本参与训练，检测速度较快；主要缺点是需手工制作特征，易受检测环境的影响，漏检与误检较多，从而导致方法局限性很大。深度学习方法的主要优点是端对端的自主学习，检测性能较高，拓展性强；缺点是需大量样本参与训练，速度较慢。

表1 机器视觉带钢表面缺陷检测方法的比较Tab.1 Comparison of machine vision detection methods for strip surface defects

表2为机器视觉带钢表面缺陷检测方法的应用效果。

表2 机器视觉带钢表面缺陷检测方法的应用效果Tab.2 Application of machine vision detection methods for strip surface defects

续表2

由表2可看出：早年普遍采用传统方法进行带钢表面缺陷检测，近年基于深度学习的检测方法逐渐成为主流。文献[11，14，17，18，45]采用局部异常的检测方法检测带钢表面缺陷，检测速度快，平均检测率约94%；文献[21，22，46，47]采用模板匹配对多类带钢表面缺陷进行检测，检测速度较快，检测准确度在90%以上；文献[26，27，48-56]使用基于机器学习的检测方法，如集成模型、BP神经网络低、SVM 等，将识别各类缺陷的准确率提升至95%左右；文献[35，57-66]利用CNN 模型，如ResNet，DensNet，MobileNet等，进一步将识别准确度提高至97%左右；文献[36，38，39，62，67-68]采用目标检测网络完成对一帧带钢图像中多类缺陷的识别和区域定位，检测精度约80%，检测速度较低；文献[42，44，69，70]设计实例分割网络实现更准确的像素级别定位，检测精度约95%，但检测速度依然较慢。

3 机器视觉带钢表面缺陷检测技术难点与发展趋势

3.1 技术难点

目前，基于机器视觉的表面缺陷检测方法在理论研究与工业现场实际应用环节均取得了可观的成果，但面临以下技术问题和难点需要解决：

1)图像采集环节易受到现场生产环境和工艺的影响，如光照强弱、噪声干扰等因素，会导致相同类别的缺陷差异较大、不同类别的缺陷差异较小，进而影响模型的学习能力。如何构建稳定、可靠、鲁棒的检测系统，以适应光照变化、噪声以及其他外界不良环境的干扰，是需要考虑的问题。

2)传统机器视觉的检测方法主要依赖人工制作特征，特征制作的好坏对检测性能起决定性作用，同一条件下不同研究人员获得的检测性能也不一定相同。因此，如何降低特征提取的复杂度和不确定性是需要解决的问题之一。

3)工业现场很难收集到海量的缺陷样本，多数是良性样本且缺陷种类繁多。即使传统方法不需大量的缺陷样本参与训练，然而其泛化能力较差。获取足够的缺陷样本是保证实际应用中模型检测性能与鲁棒性能好的前提，此外类别不平衡也是基于机器视觉的表面缺陷检测技术在实际应用中的难题之一。

4)大部分机器视觉的表面缺陷检测方法属于有监督的学习标注方法，尤其对于深度学习方法，数据标注的成本昂贵且耗时。因此，如何解决样本标注问题是一个有应用前景的研究。

5)深度学习的检测方法检测性能较好、鲁棒性较强，然而在网络方面是一个漫长的设计和调整过程。此外，深度学习的模型存在计算量巨大、占用内存也大等问题，难以部署在实际工业生产中。如何保证检测精度的同时提高检测速度是现阶段需要考虑的问题。

3.2 发展趋势

随着计算机技术、传感器技术以及运算处理设备的发展，基于机器视觉的带钢表面缺陷检测技术也必将得到进一步发展，其发展趋势主要表现如下：

1)基于机器视觉的表面缺陷检测技术基本离不开数据的标注，而数据标注的成本昂贵且耗时。因此，开发一种自动数据标注的应用软件是非常有意义的。

2)基于机器视觉的传统方法需要手工提取特征、选择分类器、调试参数，而基于深度学习的方法需要手工设计网络，这种人为参与的工作通常不是最优的。随着计算机技术以及硬件设备的升级换代，自动机器学习和网络架构搜索技术必将逐步代替人工设计。

3)目前基于机器视觉的检测方法主要是针对二维图像数据，而二维图像的视野信息比较单一，无法充分表达产品各方位的视野信息。因此，通过多个工业相机配合收集目标的三维空间信息，实现对缺陷的三维检测是未来的主要发展趋势之一。

4)基于深度学习的方法检测精度高，然而存在计算量巨大且难以部署在资源受限的硬件设备上，近年轻量化网络的提出缓解了这一现象，但却是牺牲检测精度来换取检测速度。因此，使用模型压缩移除模型冗余参数、降低模型复杂度以提高缺陷检测系统的实时性，是未来在线检测系统部署在实际工业生产中的主要趋势。

4 结论

机器视觉的带钢表面缺陷检测方法主要包括基于图像处理/机器学习的机器检测方法和目前较为主流的基于深度学习的检测方法。基于图像处理/机器学习的机器检测方法通常包括图像采集与标注、图像预处理、特征提取与识别等流程；基于深度学习的检测方法通常包括图像的采集、分类/检测/分割数据集的构建与标注、分类/检测/分割网络的设计与搭建。每一个流程都至关重要，直接影响缺陷检测系统的最终性能和效率。因此，如何构建高质量且信息更为丰富的数据集、选择合适的算法，提高系统的稳定性、检测性能和检测速度，是机器视觉部署在实际工业现场的关键所在。