基于YOLOv3的H型钢表面缺陷检测系统

刘亚姣 于海涛 刘宝顺 张磊 纪广胜 王江

摘要：为了提升H型钢的表面质量和安全系数，设计了一种基于YOLOv3算法的型钢表面缺陷检测系统。设计的检测系统由硬件系统和软件系统组成：硬件系统包括八角架式图像采集装置、电动控制系统和通信系统;软件系统采用YOLOv3目标检测算法。现场测试结果表明：1）检测系统可实时采集图像，并根据H型钢的规格型号能够自动调节图像采集装置结构，准确快速地跟踪被检测目标，获得H型钢的高清全景图像;2）检测系统可对H型钢表面缺陷进行在线检测、分类和定位，并兼顾检测精度与检测速度，检测精度为81.25%，检测速度为30.78帧/s;3）检测系统能够准确识别H型钢的结疤、凹坑、划伤和击伤等4类典型缺陷，满足生产过程中表面缺陷检测的实际需求。开发的型钢表面缺陷检测系统为H型钢表面质量智能化检测工作提供了新的选择。

关键词：计算机图像处理; H型钢; 表面缺陷; 检测系统; YOLOv3算法

中图分类号：TU392文献标识码：ADOI： 10.7535/hbgykj.2021yx03010

Abstract： In order to improve the surface quality and safety factor of H-beam， an H-beam surface defect detection system based on YOLOv3 （you only look once） algorithm was designed. The designed detection system was composed of hardware system and software system. Octagonal frame image acquisition device， electric control system and communication system were included in the hardware system. The YOLOv3 target detection algorithm was used in the software system. The field test results show that： 1） the detection system can capture the surface image of H-beam in real time， and automatically adjust the structure of the image acquisition device according to the types of H-beam， accurately and quickly track the detected targets， and obtain high-definition panoramic images of H-beam; 2） the online detection， classification and location of H-beam surface defects can be carried out by the detection system， and both the detection accuracy and the detection speed are taken into account. The detection accuracy is 81.25%， and the detection speed is 30.78 frames/s; 3） the detection system can accurately identify four types of typical defects of H-beam， such as scar， pit， scratch and hit， which can meet the actual requirements of surface defect detection in the production process. The developed surface defect detection system provides a new choice for the intelligent detection of H-beam surface quality.

Keywords：computer image processing; H-beam; surface defect; detection system; YOLOv3 algorithm

H型鋼是各类基础设施建设的重要钢材，但在H型钢生产过程中由于生产工艺和现场环境的复杂性，易导致钢铁表面出现如凹坑、结疤、划伤、击伤等多种类型缺陷，严重影响了H型钢的品质和安全系数[1-2]。因此，对H型钢表面缺陷进行检测和提高型钢表面质量是钢铁企业的首要任务。

钢材表面缺陷检测经历了人工检测、传统光电检测和机器视觉检测3个主要发展阶段[3-4]。目前，国外已经开发出实用的机器视觉钢材表面缺陷检测系统，如在几何形状较为简单的钢板、钢带、钢管等管线材领域。美国Cognex公司研发了具有自学习分类系统的iS-2000钢板表面缺陷检测系统，并在LTV公司中得到推广[5];德国Parsytec公司开发的冷轧钢带表面检测系统hTS-2被成功应用在浦项制铁生产线[6];美国OG公司研发的Hot Eye系统可对高温状态下的线材进行实时表面缺陷识别，在浦项、现代等钢铁生产线均有应用[7]。而中国相关研究起步较晚，东北大学研制的热轧钢带的表面缺陷系统实现了常见缺陷类型的检测[8];北京科技大学、天津大学等研制了冷轧钢板表面缺陷的检测系统[4，9]。而针对H型钢等几何形状相对复杂的钢材而言，鲜有研究。

随着人工智能和深度学习的快速发展，利用机器视觉对表面缺陷进行精准定位与准确识别，在解决表面缺陷检测技术问题上逐渐成熟可行[10]。一般来说，基于深度学习的缺陷检测网络从结构上可划分为以Faster R-CNN[11]为代表的两阶段网络和以YOLO[12]为代表的一阶段网络。YOLO作为一种基于CNN的目标实时检测算法，因其优越的检测速度在实时检测系统中备受关注[13]。文献[14]将最新YOLOv3（you only look once）应用于路面破损的检测和分类中，综合检测准确率达到73.64%，处理速度达到0.034 7 s/张。文献[15]基于YOLO检测算法提出了一个端到端的实时车牌自动识别系统，在公共数据集上取得了良好的效果。上述研究在YOLO的应用拓展方面做了许多工作，验证了该算法在实时检测领域的有效性。

因此，本文结合H型钢表面检测需求，研制了基于YOLOv3的H型钢表面缺陷检测系统，利用八角架式图像采集装置，对生产过程中的不同型号H型钢进行全表面成像;并采用先进的高实时性目标检测算法YOLOv3，对H型钢表面缺陷进行检测识别。第3期刘亚姣，等： 基于YOLOv3的H型钢表面缺陷检测系统河北工业科技第38卷

1表面缺陷检测硬件系统设计

根据H型钢表面特点和表面图像采集的难点，设计了一种八角架式H型钢表面成像系统，如图1所示，以获取H型钢的全方位高质量表面图像。该表面成像系统通过8组线阵相机和光源分别对H型钢上下腹板面、上下翼缘板内侧面、左右翼缘板外侧面进行成像。基于H型钢的众多规格，本系统选择Teledyne DALSA 公司 Linea 系列黑白线阵工业相机及Kowa 公司 LM12HC 和 LM35HC镜头进行 H 型钢表面缺陷检测系统的搭建。同时，考虑H型钢生产现场的照明条件，选择东冠公司的 SLP 远射型线LED 光源作为照明光源。通过该表面成像系统从不同的位置拍摄H型钢的表面，可以满足H型钢全表面成像的要求。

除表面成像系统外，H型钢表面缺陷检测硬件系统还包括电动控制系统和通信系统。电动控制模块通过测距传感器，判断H型钢型号，进而控制电机，将图像采集模块运送到指定位置;通信模块通过PLC、光电开关和速度编码器等设备，控制工业相机的采集状态和采集频率，并建立图像采集模块和电动控制模块之间的信息通信。图像采集模块、电动控制模块和通信模块相互配合，最终实现不同型号H型钢全方位表面图像的智能采集。H型钢表面成像系统流程如图2所示。

根据H型钢生产线的生产实际需求，对系统相关参数如相机行频等进行设置，使其可以解决不同型号型钢在1.2～4 m/s高速生产过程中的全表面缺陷检测需求，进而辅助现场操作人员及时发现缺陷、调整工艺、切割废料。

2表面缺陷检测算法

2.1表面缺陷数据

基于H型钢表面缺陷检测系统，构建了H型钢表面缺陷数据库，并完成了数据标记。该H型钢表面缺陷数据集包含结疤、凹坑、划伤和击伤4种缺陷类型，每类缺陷400张，共计1 600张缺陷图像，如图3所示。从图3中可以看出，结疤缺陷多呈弧形状;凹坑缺陷形态类似小圆点;划伤缺陷大多呈细长线形;击伤缺陷形状多样，呈横向分布。

在实际工业生产中，由于生产设备及生产工艺的提升，大量的缺陷样本往往难以获取，而深度学习模型的训练需要大量数据作支撑，为了提高缺陷检测的性能，以防止少量样本训练造成的过拟合现象，影响模型的泛化能力。本文采用亮度调整、对比度调整、噪声扰动、翻转变换、多角度旋转变换等方法对数据库缺陷数据进行增广，从而将原数据图像数据扩充至7倍。

2.2基于YOLOv3算法的表面缺陷检测

YOLOv3采用基于残差网络的Darknet53网络作为主干网络，整个主干网络共使用5个残差模块，在进入各残差模块之前，首先要进行1次卷积核大小为3×3，步长为2的卷积下采样。每个残差模块分别由多个小的残差单元顺序连接。每个残差单元包含2个卷积层和1个快捷链路层。通过使用残差网络，在层与层之间设置残差边，能有效地解决由于网络加深带来的梯度爆炸和梯度消失问题。在主干网络提取特征后，获得3个不同尺度的特征图，并为每个尺度设定3种先验框，总共利用聚类算法得到9种不同大小的先验框。其中，在尺寸为13×13的特征图上采用（116×90）、（156×198）、（373×326）先验框，感受野最大，适合检测大尺度缺陷;尺寸为26×26的特征图采用（30×61）、（62×45）、（59×119）先验框，具有中等尺度的感受野，适合检测图像中等大小的缺陷;尺寸为52×52的特征图采用（10×13）、（16×30）、（33×23）先验框，感受野最小，适合检测图像中小尺寸的缺陷。在整个网络的中间部分，YOLOv3通过上采样和特征图堆叠，构造特征金字塔网络结构融合大中小3个尺度的特征图信息，进行多尺度预测，加强目标检测能力。整个网络的具体结构如图4所示。

从图4可以看到，原始H型钢缺陷图像经过特征提取网络，得到3种不同尺寸的特征图。低尺寸的特征图包含着更多大面积缺陷，比如划伤、击伤的隐含特征，高尺寸的特征图包含更多小尺寸缺陷，如凹坑、结疤的隐含特征。

3实验与分析

3.1实验参数与评价

实验数据集包含11 200张图像，每类缺陷各2 800张。图像按4∶1随机分为训练集和测试集。实验采用批次迭代训练法，批次大小设置为8，训练轮数设置为100次，權重衰减率为0.000 5，学习率设置为0.000 1，使用随机梯度下降算法（SGD）优化。实验在PC机上进行，使用Intel Xeon Silver 4110 CPU，2080Ti GPU 和 64 GB 内存。

实验选用平均准确率均值（mean average precision，mAP）和每秒帧数（frames per second， FPS）作为模型评价指标。

1）平均准确率均值（mean average precision， mAP）：查准率-召回率（precision-recall，P-R）曲线用于表征检测算法在准确率和召回率之间的平衡。针对每一类表面缺陷，该类别的平均准确率AP定义为P-R曲线的面积;平均准确率均值mAP是所有型钢表面缺陷AP的均值。计算公式为

AP=∫10P（R）dR，mAP=∑Ni=1APi/N。（1）

2）每秒帧数（frames per second， FPS）：每秒帧数用于描述检测算法每秒钟能够检测的图像数量，FPS值越大，算法检测速度越快。

3.2不同检测算法对比分析

为准确评估YOLOv3检测算法的性能，除所使用的YOLOv3算法外，另外使用2种经典目标检测算法Faster R-CNN，SSD作为横向对比算法，检测结果如表1和图5所示。

从表1的数据可以看到，Faster R-CNN与 SSD 和YOLOv3两种横向模型相比，在对型钢表面缺陷数据集进行训练时，Faster R-CNN取得了更高的检测准确率，其检测精度达到了90.13%，但由于其算法

首先需要实现感兴趣区域的生成，再进行精细的缺陷检测，导致检测速度较慢，FPS仅为8.12，平均检测1张图像需要耗时123.15 ms，难以满足在线检测系统实时性要求。而SSD算法通过单阶段网络实现表面缺陷的检测，平均每张图像检测时间为36.71 ms，FPS为27.24，相对于两阶段Faster R-CNN算法，检测速度提升了约3倍，满足了系统实时性的要求。然而，SDD算法虽然检测速度很快，但其检测精度有了明显的下降，仅为70.57%mAP，检测精度达不到要求。本文所采用的YOLOv3算法是至今为止较为优秀的目标检测算法，在型钢缺陷检测的所有算法中表现出了最快的检测速度，检测FPS为30.78。相比SSD算法，YOLOv3算法在保持速度优势的前提下，检测精度大幅提升，达到81.25%，虽与Faster R-CNN算法之间还略有差距，但检测速度比Faster R-CNN算法快了近4倍，可以满足实时检测的需求。图5为3种检测算法在部分缺陷图像中的检测效果，该图侧面反映了表1的检测结果。针对小尺度凹坑缺陷，Faster R-CNN算法准确检测出了全部小尺度缺陷目标，YOLOv3算法检测出较大尺度凹坑，忽略了较小尺度缺陷，而SSD算法未能检测出2个小尺度的凹坑，效果最差。针对划伤、击伤和结疤3种其他类型缺陷，3种算法均能准确检测出目标。

因此，YOLOv3是兼具检测精度和检测速度的表面缺陷检测算法。

4结语

为提高H型钢快速生产过程中表面缺陷检测的自动化程度，研制了一种基于YOLOv3算法的H型钢表面缺陷检测系统。针对H型钢生产过程中，H型钢不同型号全表面动态采集的需求，系统采用了八角架式可调节相机阵列对不同型号H型钢表面进行全覆盖成像。同时，根据型钢表面缺陷特征，采用YOLOv3算法实现H型钢表面缺陷的在线检测，相比其他算法，YOLOv3算法具有81.25%的检测精度和30.78帧/s的检测速度，实验证明所采用的YOLOv3算法对缺陷的检测精度高，且可达到实时的检测效率。因此，本文所设计的系统完全能够满足H型钢生产过程中表面缺陷检测的效率与精度，有利于钢材表面缺陷检测向智能化发展。

由于实际型钢生产过程中表面缺陷较难获取，目前只对结疤、凹坑、划伤和击伤4类缺陷进行了检测，下一步将继续扩充表面缺陷数据集，实现对更多缺陷类型的检测。

参考文献/References：

[1]李硕， 徐树成， 陈金龙. 国内热轧H型钢发展现状综述[J]. 科技创新与应用， 2012（30）： 86.

[2]李宁. 冷轧带钢表面自动监测系统的研究[J]. 电子测试， 2017（13）： 7-8.

LI Ning. Research of automatic monitoring system of cold rolled strip steel surface[J]. Electronic Test， 2017（13）： 7-8.

[3]WANG Anna， HU Chao， XUE Changliang， et al. Recognition and classification of hot strip surface defect based on binary tree SVM[J]. Advanced Materials Research， 2012， 538/539/540/541： 427-430.

[4]韓芳芳. 表面缺陷视觉在线检测关键技术研究[D]. 天津： 天津大学， 2011.

HAN Fangfang. Key Techniques for Surface Defects Online Detection Based on Machine Vision[D]. Tianjin： Tianjin University， 2011.

[5]XIAO Jun， WANG Minjuan， WANG Lamei， et al. Design and implementation of C-iLearning：A cloud-based intelligent learning system[J]. International Journal of Distance Education Technologies， 2013， 11（3）： 79-97.

[6]王阿力. 基于数字图像处理的表面缺损检测研究[D]. 哈尔滨： 哈尔滨工业大学， 2014.

WANG Ali. Research of Surface Error Detection Based on Digital Image Processing[D]. Harbin： Harbin Institute of Technology， 2014.

[7]郗雄涛， 赵亮， 赵江， 等. 热眼在线表面检测系统在高速线材生产中的应用[J]. 河北冶金， 2019（7）： 56-60.

XI Xiongtao， ZHAO Liang， ZHAO Jiang， et al. Application of hot-eye on-line surface detection in high speed wire rod production[J]. Hebei Metallurgy， 2019（7）： 56-60.

[8]SONG Kechen， HU Shaopeng， YAN Yunhui. Automatic recognition of surface defects on hot-rolled steel strip using scattering convolution network[J]. Journal of Computational Information Systems， 2014， 10（7）： 3049-3055.

[9]田思洋. 板带钢表面缺陷目标检测与分类算法研究[D]. 北京： 北京科技大学， 2019.

TIAN Siyang. Research on Object Detection and Classification Algorithms for Surface Defects of Steel Plates and Strips[D]. Beijing： University of Science and Technology Beijing， 2019.

[10]SUN Xiaohong， GU Jinan， TANG Shixi， et al. Research progress of visual inspection technology of steel Products—A review[J]. Applied Sciences， 2018.DOI：10.3390/app8112195.

[11]REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[12]REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas： IEEE， 2016.http：//sci-hub.mksa.top/10.1109/CVPR.2016.91

[13]REDMON J， FARHADI A. YOLOv3： An incremental improvement[EB/OL]. https：//arxiv.org/abs/1804.02767，2019-04-08.

[14]DU Yuchuan， PAN Ning， XU Zihao， et al. Pavement distress detection and classification based on YOLO network[J/OL]. International Journal of Pavement Engineering，2020.http：//sci-hub.mksa.top/10.1080/10298436.2020.171407.

[15]江金洪， 鮑胜利， 史文旭，等. 基于YOLOv3算法改进的交通标志识别算法[J]. 计算机应用， 2020， 40（8）： 2472-2478.

JIANG Jinhong， BAO Shengli， SHI Wenxu， et al. Improved traffic sign recognition algorithm based on YOLOv3 algorithm[J]. Journal of Computer Applications， 2020， 40（8）： 2472-2478.