基于深度学习算法实现锅炉水冷壁壁管缺陷识别

张 雷，吕一仕，杨 佳，徐忠峰，徐光平，3

（1.河北大唐国际王滩发电有限责任公司，河北唐山 063611；2.苏州热工研究院有限公司，江苏苏州 215043；3.北京中安吉泰科技有限公司，北京 100029）

0 引言

机器视觉是由图像处理、机械工程、点光源照明、传感器和计算机软硬件等技术组成。在一些危险的作业环境中，用机器人搭载摄像头等图像采集装置采集作业环境的图像信息，用图像处理技术进行信息提取，做出各种检测和判断，可以在很大程度上代替人工，大大提高检测的效率和自动化水平。

机器视觉的发展速度很快，也越来越成熟，已经应用到了各个行业中，最为广泛的应用是缺陷检测，可以减少人力投入，提高检测精度。

本文主要针对深度学习算法对水冷壁缺陷宏观检测展开研究，利用摄像头近距离采集水冷壁各种数据，将图片数据进行相应的处理分析，完成对锅炉水冷壁的检测工作，最终可以代替人完成检测任务，降低火电厂锅炉维护检测费用以及人员安全风险。

1 深度学习算法

1.1 经典算法模型

计算机的性能提升越来越快，变得越来越智能，在目前的大数据时代，AI（Artificial Intelligence，人工智能）是一个很具研究课题的领域，并且出现了很多优秀的AI 企业，从而使人工智能与我们的生活越来越密切。

作为人工智能的一个分支，机器学习是通过算法让机器从历史数据中学习潜在的规律。但是，由于机器学习需要特征，选取特征费时费力，有时候还会选取到不合适的特征。深度学习可以解决这个问题，它不需要人参与特征选取的过程。

Facebook 在DeepFace 项目中，人脸识别的准确率达到了97%以上，说明深度学习在图像识别方面具有优势。深度学习算法不断优化使深度学习不断发展。

YOLOv5 提供了5 个版本的目标检测网络：YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。

YOLOv5 的网络结构分4 个模块：输入端、Backbone、Neck、Prediction。

（1）输入端对图像进行预处理，采用Mosaic 数据增强、自适应图片缩放、自适应锚定框计算方法。

（2）Backbone 增加了Focus 结构和CSP 结构，其中Focus 结构用来做切片操作。

（3）Neck 采用FPN+PAN 结构，Neck 结构中的CSP2_X 结构增强了网络特征融合。

（4）Prediction 使用GIOU_Loss 函数做Bounding Box 的损失函数。YOLOv5 网络模型检测速度非常快，每幅图像的推理时间只需要0.007 s，达到了140 FPS。

YOLOv5 网络输入端采用Mosaic 数据增强，增加了网络的鲁棒性和检测数据集的多样性。采用自适应锚框方法和自适应图片缩放方式，有效提升检测精度和检测速度。主干网络采用Focus 结构和CSP 网络，Focus 结构的切片操作可以很好的提取特征图，CSP 网络可以增强网络的学习能力，减少模型参数的同时还可以保证检测的准确性，降低计算成本。Neck 网络主要采用了SPP 模块和FPN+PAN，主要是更充分地提取融合特征，在Backbone 和输出端中插入Neck 层。SPP 网络使用不同尺度最大池化，再将得到不同尺度的特征图Concat 的操作。在输出端Bounding box 损失函数为GIOU_Loss，可以提升预测框回归的速度和精度。采用DIOU_NMS（非极大值抑制）的方式，可以提升重叠目标框的检测效果。

图1 为不同版本的YOLOv5 与EfficientDet 检测算法之间的性能比较曲线。横轴表示的是该算法在GPU 上面的推理时间（ms/img），该数值越小越好；纵轴表示的是该算法在COCO 测试数据集上面的AP 指标，该数值越大越好。

图1 性能比较曲线

通过观察可以得出以下的初步结论：

（1）与EfficientDet0 相比，YOLOv5s 不仅可以获得更高的AP指标，而且可以获得更快的推理速度。

（2）与EfficientDet4 相比，YOLOv5x 不仅能够获得更高的AP指标，其推理速度是它的1/5 左右。

图2 为不同版本的YOLOv5 检测算法在COCO2017 验证集与测试集上面的各项指标，具体包括：模型输入大小、AP50指标、Speed、FPS、params 与GFLOPS。

图2 算法指标

1.准确率：所有预测为正样本的结果中，预测正确的比率。

Precision=TP/（TP+FP）

2.所有正样本中被正确预测的比率。

Recall=TP/（TP+FN）

3.PR 曲线

以Recall 为横坐标，Precision 为纵坐标组成的曲线

4.mAP@0.5

TP：IoU＞0.5 的检测框数量（同一GT 只计算一次）

FP：IoU＜=0.5 的检测框数量，或检测到同一个GT 的多余检测框的数量

因此，Precision 和Recall 可以表示为：

Precision=TP/all detection boxes

Recall=TP/all ground truths

5.mAP@0.5:0.95 表示在不同IOU 阈值（从0.5 到0.95，步长0.05）上的平均mA。

（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）

1.2 水冷壁管缺陷分类识别数据集的构建

（1）数据来源。采用机器人搭载的摄像头对水冷壁表面进行视频图像采集。

（2）数据标注。标注工具采用LabelImg，标注工具快捷键比较多，大大的提高标注效率。标注信息为目标框坐标和类别，可以在一张图像上标注多个目标，保存的标注信息为txt 文件。

（3）数据集划分。目标检测训练集共有1500 张图像，存在缺陷作为检测目标，按照8:2 的比例划分训练集和验证集。

（4）数据集优化。由于前期缺陷目标特征学习的不够，在优化前的锅炉水冷壁管缺陷目标检测数据集上训练算法模型mAP 在75%左右。通过制定标注的规范，优化数据集，最终在锅炉水冷壁管缺陷目标检测数据集上训练的算法模型的mAP 达到93%左右。

（5）数据增强。采用Mosaic、旋转、缩放、翻转、颜色变化、灰度化和裁剪等数据增强方法对训练数据进行数据扩充。

（6）数据标注规范：①参考PASCAL VOC 数据集标注规范标注；②只保留清晰度高、目标清晰的图像；③去掉相似图像。

（7）训练过程。采用PyTorch 深度学习框架训练算法模型。采用迁移学习的方法，减少模型训练时间和增强模型检测性能。对输入图像采用旋转、缩放、翻转、颜色变化、灰度化、裁剪和Mosaic 数据增强的方法进行数据扩充。训练时，设置的迭代次数为300 次，选择准确率最高的一次迭代作为实验结果。

1.3 缺陷目标检测结论与分析

1.3.1 准确率曲线

图3 为准确率和置信度的关系，x 轴为置信度，y轴为准确率。设置置信度为某一数值时各个类别识别的准确率。可以看到，置信度越大时类别检测的越准确。这也很好理解，只有Confidence 很大，才被判断是某一类别。但也很好想到，这样的话，会漏检一些置信度低的类别。实验结果曲线符合预期。

图3 准确率和置信度的关系

1.3.2 召回率曲线

图4 为召回率和置信度之间的关系，x 轴为置信度，y 轴为召回率。设置置信度为某一数值时，各个类别查全的概率。可以看到，置信度越小时类别检测的越全面。

图4 召回率和置信度的关系

1.3.3 P—R 曲线

图5 为P—R 曲线，其中：P 代表precision（精准率），R 代表Recall（召回率），P—R 曲线代表精准率与召回率的关系，一般情况下，将Recall 设置为横坐标，Precision 设置为纵坐标。从曲线中可以看到mAP@0.5 准确率达到0.932，实验效果还是可以的，扩充训练集数量和标签数量，提高数据集质量，模型性能还会有所提升。

图5 P—R 曲线

1.3.4 各项指标

图6 提供了模型性能的一些其他指标。定位损失box_loss：预测框与标定框之间的误差（GIOU）；置信度损失obj_loss：计算网络的置信度；分类损失cls_loss：计算锚框与对应的标定分类是否正确；准确率Precision：精度（找对的正类/所有找到的正类）；Recall：真实为Positive 的准确率，即正样本有多少被找出来（召回了多少）；mAP@0.5:0.95：表示不同IOU 阈值（从0.5 到0.95，步长0.05）（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上的平均mAP；mAP@0.5：表示阈值大于0.5的平均mAP。

图6 模型性能其他指标

1.4 检测结果

从图7、图8 检测结果可以看出，模型对水冷壁缺陷的识别效果还是不错的，基本上能按照标注的内容识别出来，符合预期的效果。

图7 检测结果1

图8 检测结果2

2 展望与总结

本文建立的锅炉水冷壁管数据集缺陷类别和检测目标类别较少，且缺陷类别和缺陷目标分布不均衡。未来可以不断地对这两个数据集进行扩充，建立锅炉水冷壁管缺陷数据公开的数据集。

本文锅炉水冷壁管缺陷自动分类识别和检测模型的建立都是采用迁移学习的方法，通过数据增强的方式，在建立的数据集上训练现有的深度学习网络获得自动分类识别和检测模型。可以随着数据集的增加，优化特征提取网络，获得性能更好的锅炉水冷壁管缺陷分类识别和检测模型。

对常见的锅炉水冷壁管检测目标进行分级，将比较容易发生缺陷的区域检测出来进行分级处理，达到危险等级的范围做出预警，由专业的检修人员复核判断是否需要维护处理。

3 结束语

本文提出并且实现了锅炉水冷壁管缺陷目标自动检测的方法，构建了锅炉水冷壁管缺陷目标检测数据集，然后基于深度学习的方法建立了缺陷目标检测模型。在算法模型选择方面，采用迁移学习的方法对YOLOv5 网络训练模型进行实验。采用了数据增强，进行数据扩充。学习率lr 设为0.005，展开迭代次数为300 轮的模型训练，获得在锅炉水冷壁管数据上的最佳缺陷目标检测模型。通过实验数据表明，YOLOv5 算法对本文构建的锅炉水冷壁管缺陷目标特征学习的很充分，检测速度最快，IOU 为0.5，mAP 精度为97%，IOU=0.5:0.95 的值，mAP精度为76.3%。这一研究为锅炉水冷壁管缺陷目标自动检测提供了新的方法，可以提升锅炉机组水冷壁管自动化、高效化和智能化的检测水平，减少电厂锅炉机组的非停时间，提高电厂的经济效益。